WO2020153261A1 - 受光装置および測距装置 - Google Patents
受光装置および測距装置 Download PDFInfo
- Publication number
- WO2020153261A1 WO2020153261A1 PCT/JP2020/001540 JP2020001540W WO2020153261A1 WO 2020153261 A1 WO2020153261 A1 WO 2020153261A1 JP 2020001540 W JP2020001540 W JP 2020001540W WO 2020153261 A1 WO2020153261 A1 WO 2020153261A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light receiving
- light
- unit
- receiving elements
- pixel
- Prior art date
Links
- 239000011159 matrix material Substances 0.000 claims abstract description 7
- 238000005259 measurement Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 51
- 238000000034 method Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 30
- 238000001514 detection method Methods 0.000 description 27
- 238000003384 imaging method Methods 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- ALKZAGKDWUSJED-UHFFFAOYSA-N dinuclear copper ion Chemical compound [Cu].[Cu] ALKZAGKDWUSJED-UHFFFAOYSA-N 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000003867 tiredness Effects 0.000 description 1
- 208000016255 tiredness Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Definitions
- the present invention relates to a light receiving device and a distance measuring device.
- a distance measurement method called the direct ToF (Time of Flight) method is known.
- the direct ToF method the light emitted from the light source is reflected by the object to be measured, the reflected light is received by the light receiving element, and the object is detected based on the time from the emission of the light to the reception of the reflected light. Measure the distance to.
- the direct ToF method a configuration is known in which distance measurement is performed using a pixel array in which light receiving elements are arranged in a two-dimensional lattice.
- an object is linearly scanned in a horizontal direction (or a vertical direction) with light emitted from a light source, and the reflected light is detected using the pixel array described above. There is a way.
- the scanning locus of the light emitted from the light source is not linear, and
- the light reflected from the object may include distortion or deviation. Therefore, in order to perform distance measurement with higher accuracy, it is necessary to take a wide light receiving range in the pixel array that can be simultaneously read out in consideration of these distortions and deviations, which causes an increase in the number of wires.
- the present disclosure has an object to provide a light receiving device and a distance measuring device capable of performing highly accurate distance measuring with a smaller number of wires.
- a light receiving device includes a light receiving unit including a plurality of light receiving elements arranged in a matrix array, and a plurality of read lines for transmitting respective signals read from the plurality of light receiving elements. Of the plurality of light receiving elements are connected to two or more light receiving elements.
- FIG. 6 is a diagram showing an example of a configuration for reading a signal Vpls from each pixel circuit according to the embodiment. It is a figure which shows the example of the scanning method of the pixel array part by existing technology. It is a figure which shows the example of the scanning method of the pixel array part which concerns on embodiment. It is a figure which shows the example of the histogram at the time of reading each pixel circuit by the scanning method of the existing technology.
- FIG. 6 is a diagram for more specifically explaining sharing of read wirings of each pixel circuit according to the embodiment.
- FIG. 6 is a diagram for more specifically explaining sharing of read wirings of each pixel circuit according to the embodiment.
- FIG. 6 is a diagram for more specifically explaining sharing of read wirings of each pixel circuit according to the embodiment.
- FIG. 6 is a diagram which shows the example of the designation
- FIG. 6 is a diagram showing an example of designating a plurality of read areas on the assumption of light source division according to the embodiment.
- FIG. 6 is a flowchart of an example showing a calibration process of a read area according to the embodiment.
- FIG. 6 is a schematic diagram for explaining a calibration process of a read area according to the embodiment. It is a figure which shows the usage example which uses the distance measuring device which concerns on 1st Embodiment by 2nd Embodiment.
- FIG. 1 is a block diagram showing a schematic configuration example of a vehicle control system that is an example of a mobile body control system to which the technology according to the present disclosure can be applied. It is a figure which shows the example of the installation position of an imaging part.
- the present disclosure relates to a technique for performing distance measurement using light.
- ToF Time Of Flight
- the direct ToF method is a method in which the light emitted from the light source is reflected by the object to be measured and the reflected light is received by the light receiving element, and distance measurement is performed based on the time difference between the light emission timing and the light reception timing.
- FIG. 1 is a diagram schematically showing distance measurement by the direct ToF method applicable to each embodiment.
- Distance measuring apparatus 300 includes a light source unit 301 and a light receiving unit 302.
- the light source unit 301 is, for example, a laser diode, and is driven so as to emit laser light in a pulse shape.
- the light emitted from the light source unit 301 is reflected by the DUT 303 and is received by the light receiving unit 302 as reflected light.
- the light receiving unit 302 includes a light receiving element that converts light into an electric signal by photoelectric conversion, and outputs a signal according to the received light.
- the time at which the light source unit 301 emits light is time t 0
- the time at which the light receiving unit 302 receives the reflected light of the light emitted from the light source unit 301 reflected by the DUT 303 is time t 1
- the range finder 300 repeatedly executes the above-mentioned processing a plurality of times.
- the light receiving unit 302 may include a plurality of light receiving elements, and the distance D may be calculated based on each light receiving timing when the reflected light is received by each light receiving element.
- the range finder 300 classifies the time t m (referred to as the light receiving time t m ) from the time t 0 of the light emitting timing to the light receiving timing when the light is received by the light receiving unit 302 based on the class (bins), Generate a histogram.
- the light received by the light receiving unit 302 during the light receiving time t m is not limited to the reflected light obtained by reflecting the light emitted by the light source unit 301 by the object to be measured.
- ambient light around the distance measuring device 300 (light receiving unit 302) is also received by the light receiving unit 302.
- FIG. 2 is a diagram showing an example of a histogram based on the time when the light receiving unit 302 receives light, which is applicable to each embodiment.
- the horizontal axis indicates the bin and the vertical axis indicates the frequency for each bin.
- the bins are obtained by classifying the light receiving time t m for each predetermined unit time d. Specifically, bin #0 is 0 ⁇ t m ⁇ d, bin #1 is d ⁇ t m ⁇ 2 ⁇ d, bin #2 is 2 ⁇ d ⁇ t m ⁇ 3 ⁇ d,..., Bin #(N -2) becomes (N-2) ⁇ d ⁇ t m ⁇ (N-1) ⁇ d.
- the range finder 300 counts the number of times the light receiving time t m is acquired based on the bins, obtains the frequency 310 for each bin, and creates a histogram.
- the light receiving unit 302 also receives light other than the reflected light obtained by reflecting the light emitted from the light source unit 301.
- An example of such light other than the reflected light of interest is the above-mentioned ambient light.
- the portion indicated by the range 311 in the histogram includes the ambient light component due to the ambient light.
- the ambient light is light that is randomly incident on the light receiving unit 302 and becomes noise with respect to the target reflected light.
- the target reflected light is light received according to a specific distance and appears as an active light component 312 in the histogram.
- the bin corresponding to the frequency of peaks in the active light component 312 becomes the bin corresponding to the distance D of the DUT 303.
- the range finder 300 obtains the representative time of the bin (for example, the time at the center of the bin) as the time t 1 described above, and calculates the distance D to the DUT 303 according to the above-described equation (1). be able to. As described above, by using a plurality of light reception results, it is possible to perform appropriate distance measurement for random noise.
- FIG. 3 is a block diagram showing the configuration of an example of an electronic device using the distance measuring device according to each embodiment.
- the electronic device 6 includes a distance measuring device 1, a light source unit 2, a storage unit 3, a control unit 4, and an optical system 5.
- the light source unit 2 corresponds to the above-described light source unit 301, is a laser diode, and is driven so as to emit, for example, laser light in pulses.
- the light source unit 2 can apply a VCSEL (Vertical Cavity Surface Emitting LASER) that emits laser light as a surface light source.
- VCSEL Vertical Cavity Surface Emitting LASER
- an array in which laser diodes are arranged on a line may be used, and a configuration may be applied in which laser light emitted from the laser diode array is scanned in a direction perpendicular to the line.
- Distance measuring device 1 includes a plurality of light receiving elements corresponding to light receiving unit 302 described above.
- the plurality of light receiving elements are arranged, for example, in a two-dimensional lattice shape (matrix shape) to form a light receiving surface.
- the optical system 5 guides light incident from the outside to a light receiving surface included in the distance measuring device 1.
- the control unit 4 controls the overall operation of the electronic device 6. For example, the control unit 4 supplies the distance measuring device 1 with a light emission trigger that is a trigger for causing the light source unit 2 to emit light. The distance measuring device 1 causes the light source unit 2 to emit light at the timing based on this light emission trigger, and stores the time t 0 indicating the light emission timing. Further, the control unit 4 sets a pattern for distance measurement in the distance measuring device 1 in response to an instruction from the outside, for example.
- the range finder 1 counts the number of times that the time information (light receiving time t m ) indicating the timing at which light is received on the light receiving surface is acquired within a predetermined time range, obtains the frequency for each bin, and displays the above histogram. To generate.
- the distance measuring device 1 further calculates the distance D to the object to be measured based on the generated histogram. Information indicating the calculated distance D is stored in the storage unit 3.
- FIG. 4 is a block diagram showing in more detail the configuration of an example of the distance measuring device 1 applicable to each embodiment.
- the distance measuring device 1 includes a pixel array unit 100, a distance measuring processing unit 101, a pixel control unit 102, an overall control unit 103, a clock generation unit 104, a light emission timing control unit 105, and an interface ( I/F) 106.
- the pixel array unit 100, the distance measurement processing unit 101, the pixel control unit 102, the overall control unit 103, the clock generation unit 104, the light emission timing control unit 105, and the interface (I/F) 106 are arranged on, for example, one semiconductor chip. To be done.
- the overall control unit 103 controls the overall operation of the distance measuring device 1 according to a program installed in advance, for example.
- the overall control unit 103 can also execute control according to an external control signal supplied from the outside.
- the clock generation unit 104 generates one or more clock signals used in the range finder 1 based on a reference clock signal supplied from the outside.
- the light emission timing control unit 105 generates a light emission control signal indicating a light emission timing according to a light emission trigger signal supplied from the outside.
- the light emission control signal is supplied to the light source unit 2 and the distance measurement processing unit 101.
- the pixel array unit 100 includes a plurality of pixel circuits 10, 10,... Each of which includes a light receiving element and is arranged in a two-dimensional lattice.
- the operation of each pixel circuit 10 is controlled by the pixel control unit 102 according to an instruction from the overall control unit 103.
- the pixel control unit 102 controls reading of pixel signals from each pixel circuit 10 for each block including (p ⁇ q) pixel circuits 10 of p pixels in the row direction and q pixels in the column direction. be able to.
- the pixel control unit 102 can read the pixel signal from each pixel circuit 10 by scanning each pixel circuit 10 in the row direction and further in the column direction by using the block as a unit.
- the pixel control unit 102 can also individually control each pixel circuit 10. Further, the pixel control unit 102 can set a predetermined region of the pixel array unit 100 as a target region, and set the pixel circuits 10 included in the target region as target pixel circuits 10 for reading pixel signals. Furthermore, the pixel control unit 102 can also collectively scan a plurality of rows (a plurality of lines) and further scan the rows in the column direction to read out pixel signals from each pixel circuit 10.
- the pixel signal read from each pixel circuit 10 is supplied to the distance measurement processing unit 101.
- the distance measurement processing unit 101 includes a conversion unit 110, a generation unit 111, and a signal processing unit 112.
- the pixel signal read from each pixel circuit 10 and output from the pixel array unit 100 is supplied to the conversion unit 110.
- the pixel signal is asynchronously read from each pixel circuit 10 and supplied to the conversion unit 110. That is, the pixel signal is read from the light receiving element and output according to the timing at which light is received in each pixel circuit 10.
- the conversion unit 110 converts the pixel signal supplied from the pixel array unit 100 into digital information. That is, the pixel signal supplied from the pixel array unit 100 is output at the timing when light is received by the light receiving element included in the pixel circuit 10 corresponding to the pixel signal. The conversion unit 110 converts the supplied pixel signal into time information indicating the timing.
- the generation unit 111 generates a histogram based on the time information obtained by converting the pixel signal by the conversion unit 110.
- the generation unit 111 counts the time information based on the unit time d set by the setting unit 113 and generates a histogram. Details of the histogram generation processing by the generation unit 111 will be described later.
- the signal processing unit 112 performs predetermined arithmetic processing based on the histogram data generated by the generation unit 111, and calculates distance information, for example.
- the signal processing unit 112 creates a curve approximation of the histogram based on the data of the histogram generated by the generation unit 111, for example.
- the signal processing unit 112 can detect the peak of the curve to which the histogram is approximated and can calculate the distance D based on the detected peak.
- the signal processing unit 112 can perform filter processing on the curve to which the histogram is approximated when performing the curve approximation of the histogram. For example, the signal processing unit 112 can suppress the noise component by performing low-pass filter processing on the curve to which the histogram is approximated.
- the distance information obtained by the signal processing unit 112 is supplied to the interface 106.
- the interface 106 outputs the distance information supplied from the signal processing unit 112 to the outside as output data.
- MIPI Mobile Industry Processor Interface
- the distance information obtained by the signal processing unit 112 is output to the outside via the interface 106, but this is not limited to this example. That is, the histogram data that is the data of the histogram generated by the generation unit 111 may be output from the interface 106 to the outside. In this case, the distance measurement condition information set by the setting unit 113 can omit the information indicating the filter coefficient.
- the histogram data output from the interface 106 is supplied to, for example, an external information processing device and appropriately processed.
- FIG. 5 is a diagram showing a basic configuration example of the pixel circuit 10 applicable to each embodiment.
- the pixel circuit 10 includes a light receiving element 1000, transistors 1100, 1102 and 1103, an inverter 1104, a switch section 1101, and an AND circuit 1110.
- the light receiving element 1000 converts incident light into an electric signal by photoelectric conversion and outputs the electric signal.
- the light receiving element 1000 converts incident photons (photons) into electric signals by photoelectric conversion, and outputs pulses according to the incidence of photons.
- a single photon avalanche diode is used as the light receiving element 1000.
- the single photon avalanche diode will be referred to as SPAD (Single Photon Avalanche Diode).
- SPAD Single Photon Avalanche Diode
- the SPAD has a characteristic that when a large negative voltage that causes avalanche multiplication is applied to the cathode, electrons generated in response to the incidence of one photon cause avalanche multiplication and a large current flows. By utilizing this characteristic of SPAD, the incident of one photon can be detected with high sensitivity.
- the light receiving element 1000 which is a SPAD, has a cathode connected to the coupling portion 1120 and an anode connected to a voltage source of voltage (-Vbd).
- the voltage (-Vbd) is a large negative voltage for causing avalanche multiplication with respect to SPAD.
- the coupling unit 1120 is connected to one end of the switch unit 1101 whose ON (closed) and OFF (open) are controlled according to the signal EN_PR.
- the other end of the switch unit 1101 is connected to the drain of a transistor 1100 which is a P-channel MOSFET (Metal Oxide Semiconductor Field Effect Transistor).
- the source of the transistor 1100 is connected to the power supply voltage Vdd.
- the coupling portion 1121 supplied with the reference voltage Vref is connected to the gate of the transistor 1100.
- the transistor 1100 is a current source that outputs a current according to the power supply voltage Vdd and the reference voltage Vref from the drain. With such a configuration, a reverse bias is applied to the light receiving element 1000. When photons are incident on the light receiving element 1000 with the switch unit 1101 turned on, avalanche multiplication starts, and a current flows from the cathode of the light receiving element 1000 to the anode.
- a signal extracted from the connection point between the drain of the transistor 1100 (one end of the switch unit 1101) and the cathode of the light receiving element 1000 is input to the inverter 1104.
- the inverter 1104 performs, for example, threshold determination on the input signal, inverts the signal each time the signal exceeds the threshold in the positive direction or the negative direction, and outputs the pulse-shaped signal Vpls.
- the signal Vpls output from the inverter 1104 is input to the first input terminal of the AND circuit 1110.
- the signal EN_F is input to the second input terminal of the AND circuit 1110.
- the AND circuit 1110 outputs the signal Vpls from the pixel circuit 10 via the terminal 1122 when both the signal Vpls and the signal EN_F are in the high state.
- the coupling unit 1120 is further connected to the drains of the transistors 1102 and 1103, which are N-channel MOSFETs, respectively.
- the sources of the transistors 1102 and 1103 are connected to the ground potential, for example.
- a signal XEN_SPAD_V is input to the gate of the transistor 1102.
- the signal XEN_SPAD_H is input to the gate of the transistor 1103.
- the signals XEN_SPAD_V and XEN_SPAD_H are used as two-dimensional lattice-shaped vertical and horizontal control signals for arranging the pixel circuits 10 in the pixel array section 100, respectively. This makes it possible to control the on/off state of each pixel circuit 10 included in the pixel array section 100 for each pixel circuit 10.
- the ON state of the pixel circuit 10 is a state in which the signal Vpls can be output, and the OFF state of the pixel circuit 10 is a state in which the signal Vpls cannot be output.
- the signal XEN_SPAD_H is turned on for the continuous q columns of the two-dimensional lattice, and the signal XEN_SPAD_V is turned on for the continuous p rows. To do.
- the output of each light receiving element 1000 can be made effective in a block shape of p rows ⁇ q columns.
- the signal Vpls is output from the pixel circuit 10 by the AND operation with the signal EN_F by the AND circuit 1110. Therefore, for example, the output of each light receiving element 1000 validated by the signals XEN_SPAD_V and XEN_SPAD_H will be described in more detail. It is possible to control enable/disable.
- the pixel circuit 10 including the light receiving element 1000 whose output is invalid by supplying the signal EN_PR for turning off the switch unit 1101 to the pixel circuit 10 including the light receiving element 1000 whose output is invalid, the supply of the power supply voltage Vdd to the light receiving element 1000 is stopped. Then, the pixel circuit 10 can be turned off. As a result, it is possible to reduce the power consumption of the pixel array section 100.
- These signals XEN_SPAD_V, XEN_SPAD_H, EN_PR, and EN_F are generated by the overall control unit 103, for example, based on parameters stored in a register or the like included in the overall control unit 103.
- the parameter may be stored in the register in advance or may be stored in the register according to an external input.
- the signals XEN_SPAD_V, XEN_SPAD_H, EN_PR, and EN_F generated by the overall control unit 103 are supplied to the pixel array unit 100 by the pixel control unit 102.
- control by the signals EN_PR, XEN_SPAD_V, and XEN_SPAD_H using the switch unit 1101 and the transistors 1102 and 1103 described above is control by analog voltage.
- control by the signal EN_F using the AND circuit 1110 is control by the logic voltage. Therefore, the control by the signal EN_F can be performed at a lower voltage as compared with the control by the signals EN_PR, XEN_SPAD_V and XEN_SPAD_H, and the handling is easy.
- FIG. 6 is a schematic diagram showing an example of a device configuration applicable to the distance measuring apparatus 1 according to each embodiment.
- the distance measuring device 1 is configured by stacking a light receiving chip 20 and a logic chip 21, each of which is a semiconductor chip.
- the light receiving chip 20 and the logic chip 21 are shown in a separated state for the sake of explanation.
- the light receiving elements 1000 included in each of the plurality of pixel circuits 10 are arranged in a two-dimensional lattice shape. Further, in the pixel circuit 10, the transistors 1100, 1102 and 1103, the switch unit 1101, the inverter 1104, and the AND circuit 1110 are formed on the logic chip 21.
- the cathode of the light receiving element 1000 is connected between the light receiving chip 20 and the logic chip 21 via a coupling portion 1120 such as a CCC (Copper-Copper Connection).
- the logic chip 21 is provided with a logic array unit 200 including a signal processing unit that processes a signal acquired by the light receiving element 1000. Further, with respect to the logic chip 21, a signal processing circuit unit 201 for processing a signal acquired by the light receiving element 1000 is provided in the vicinity of the logic array unit 200, and element control for controlling the operation of the distance measuring device 1.
- the part 203 can be provided.
- the signal processing circuit unit 201 can include the distance measurement processing unit 101 described above.
- the element control unit 203 can include the pixel control unit 102, the overall control unit 103, the clock generation unit 104, the light emission timing control unit 105, and the interface 106 described above.
- the configuration on the light receiving chip 20 and the logic chip 21 is not limited to this example.
- the element control section 203 can be arranged, for example, near the light receiving element 1000 for the purpose of other driving or control.
- the element control unit 203 can be provided in any region of the light-receiving chip 20 and the logic chip 21 so as to have any function, in addition to the arrangement shown in FIG.
- FIG. 7 is a diagram more specifically showing a configuration example of the pixel array section 100 according to each embodiment.
- the pixel control unit 102 described with reference to FIG. 4 is illustrated as being separated into a horizontal control unit 102a and a vertical control unit 102b in FIG.
- the pixel array unit 100 includes a total of (x ⁇ y) pixel circuits 10 with x columns in the horizontal direction and y rows in the vertical direction.
- each pixel circuit 10 included in the pixel array unit 100 is controlled for each element 11 including nine pixel circuits 10 in total, three in the horizontal direction and three in the vertical direction.
- a signal EN_SPAD_H corresponding to the above-mentioned signal XEN_SPAD_H for controlling each pixel circuit 10 in a row direction (horizontal direction), that is, in a column unit is a 3-bit signal ([2:0]) in which the element 11 is a unit. Is output from the overall control unit 103 and is supplied to the horizontal control unit 102a. That is, the signals EN_SPAD_H[0], EN_SPAD_H[1], and EN_SPAD_H[2] for the three pixel circuits 10 continuously arranged in the horizontal direction are merged and transmitted by this one 3-bit signal.
- signals EN_SPAD_H#0[2:0], EN_SPAD_H#1[2:0],..., EN_SPAD_H#(x/3)[2:0] are arranged in order from the leftmost element 11 of the pixel array unit 100. ] Is generated by the overall control unit 103 and supplied to the horizontal control unit 102a.
- the horizontal control unit 102a uses the 3-bit value ([0], EN_SPAD_H#0 [2:0], EN_SPAD_H#1 [2:0],..., EN_SPAD_H#(x/3) [2:0]). According to [1] and [2]), each column of the corresponding element 11 is controlled.
- the signal EN_SPAD_V corresponding to the above-mentioned signal XEN_SPAD_V for controlling each pixel circuit 10 in the column direction (vertical direction), that is, in the row unit is a 3-bit signal in which the element 11 is a unit, and is the entire control unit. It is output from 103 and supplied to the vertical control unit 102b. That is, the signals EN_SPAD_V[0], EN_SPAD_V[1], and EN_SPAD_V[2] for the three pixel circuits 10 arranged continuously in the vertical direction are merged and transmitted by this one 3-bit signal.
- signals EN_SPAD_V#0[2:0], EN_SPAD_V#1[2:0],..., EN_SPAD_V#(y/3)[2:0] in order from the element 11 at the lower end of the pixel array unit 100. ] Is generated by the overall control unit 103 and supplied to the vertical control unit 102b.
- the vertical control unit 102b responds according to the 3-bit value of each signal EN_SPAD_V#0[2:0], EN_SPAD_V#1[2:0],..., EN_SPAD_V#(y/3)[2:0]. Control each row of element 11.
- the signal EN_PR is output from the overall control unit 103 and supplied to the vertical control unit 102b as, for example, a 3-bit signal in which the element 11 is a unit, like the signal EN_SPAD_V described above.
- the vertical control unit 102b controls each row of the corresponding element according to the 3-bit value of each signal EN_PR.
- FIGS. 8A and 8B are diagrams showing an example of a detailed configuration of the pixel array section 100 according to each embodiment. More specifically, FIGS. 8A and 8B show control by the signal EN_F.
- the signal EN_F is a signal supplied to each controlled object 130 including a plurality of adjacent columns of the pixel array section 100.
- the controlled object 130 is shown as including three columns according to the size of the element 11.
- the signal EN_F the same signal is supplied to each row included in the control target 130 for each row having a predetermined cycle. That is, in this example in which the controlled object 130 includes three columns, the same signal EN_F is supplied to the three pixel circuits 10 in the same row.
- the signal EN_F is a 42-bit (shown as [41:0]) signal, and the same signal is supplied every 42 rows (7 rows ⁇ 6).
- FIG. 8A the signal EN_F is a 42-bit (shown as [41:0]) signal, and the same signal is supplied every 42 rows (7 rows ⁇ 6).
- signals EN_F#0[41:0], EN_F#1[41:0],..., EN_F#(x/3)[41: every 3 columns from the left end of the pixel array unit 100. 0] is output from the overall control unit 103 and supplied to the horizontal control unit 102a.
- the horizontal control unit 102a controls the respective bits of the signals EN_F#0[41:0], EN_F#1[41:0],..., EN_F#(x/3)[41:0] to correspond to the respective control targets.
- Each row of 130 is supplied.
- the horizontal control unit 102a outputs the signal EN_F#0[0] to the first end and the 42nd (m+1)th line (for the controlled object 130 at the left end of the pixel array unit 100, for example. , m is an integer of 1 or more),..., 42nd (n+1)th row,.
- the horizontal control unit 102a supplies the signal EN_F#0[2] every 42nd row, 42nd (m+2)th row,.
- the top row of the controlled object 130 is the first half of 42 rows, and the signal EN_F#0[20] is supplied.
- a set of the three pixel circuits 10 arranged continuously in the horizontal direction corresponds to a signal EN_F[0] for 42 sets arranged continuously in the vertical direction.
- EN_F[1],..., EN_F[41] are merged and transmitted.
- the pixel array section 100 can be controlled differently for each of a plurality of columns by the signal EN_F. Further, the pixel array section 100 is supplied with the same signal EN_F for each plurality of rows in the plurality of columns. Therefore, each pixel circuit 10 included in the pixel array section 100 can be controlled with the plurality of columns as a minimum unit in the width direction and the plurality of rows as a cycle.
- FIG. 9 is a diagram showing an example of a configuration for reading the signal Vpls from each pixel circuit 10 according to each embodiment.
- the horizontal direction of the drawing is the column direction, as indicated by the arrow in the drawing.
- the read wiring for reading the signal Vpls is shared by every predetermined number of pixel circuits 10 in the column direction.
- the read wiring is shared for each v pixel circuits 10.
- the group 12 u includes pixel circuits 10 11 to 10 1v
- the group 12 u+1 includes pixel circuits 10 21 to 10 2v
- the group 12 u+2 includes 10 31 to 10 3v,.
- each group 12 u , 12 u+1 , 12 u+2 ,... The readout wiring of the pixel circuit 10 corresponding to the position in the group is shared.
- the first pixel circuit 10 11 of the group 12 u, Group 12 u + 1 of the first pixel circuit 10 21, Group 12 u + 2 of The readout wiring of the first pixel circuit 10 31 ,... Is shared.
- a plurality of read wirings are formed by sequentially connecting the read wirings of the respective pixel circuits 10 11 , 10 21 , 10 31 ,... Through OR circuits 41 11 , 41 21 , 41 31 ,. Is being shared.
- OR circuits 41 11 , 41 12 ,..., 41 1v are provided for each of the pixel circuits 10 11 to 10 1v included in the group 12 u , and the OR circuits 41 11 , 41 12 ,... , And the readout wirings of the pixel circuits 10 11 to 10 1v are connected.
- the group 12 Similarly, with respect to u + 1, respectively provided an OR circuit 41 21 ⁇ 41 2v to the pixel circuits 10 21 ⁇ 10 2v included in the group 12 u + 1.
- OR circuits 41 31 to 41 3v are provided for the pixel circuits 10 31 to 10 3v included in the group 12 u+2 .
- the outputs of the OR circuits 41 11 to 41 1v are input to the distance measurement processing unit 101, for example.
- the OR circuit 41 11 has a first input terminal connected to the readout wiring of the pixel circuit 10 11 and a second input terminal connected to the OR circuit 41 21 .
- the output is connected.
- the OR circuit 41 21 has a first input terminal connected to the readout wiring of the pixel circuit 10 21 and a second input terminal connected to the output of the OR circuit 41 31 .
- the vertical control unit 102b simultaneously reads from the pixel circuits 10 corresponding to the positions in the groups 12 u , 12 u+1 , 12 u+2 ,... With the signal EN_SPAD_V. Control not to do. In other words, the vertical control unit 102b controls only one pixel circuit 10 out of the plurality of (v-1) pixel circuits 10 arranged in a column to be readable. In the example of FIG. 9, the vertical control unit 102b controls such that, for example, the pixel circuit 10 11 , the pixel circuit 10 21, and the pixel circuit 10 31 are not simultaneously read. Not limited to this, the horizontal control unit 102a can also control the simultaneous reading in the column direction by using the signal EN_F.
- the vertical control unit 102b can specify the simultaneous reading from the v pixel circuits 10 arranged continuously in the column.
- the vertical control unit 102b can specify the pixel circuits 10 to be simultaneously read out across the groups 12 u , 12 n+1 , 12 u+2 ,. That is, in the configuration shown in FIG. 9, v pixel circuits 10 continuous in the column direction can be simultaneously read.
- the third pixel circuit 10 13 from the beginning in the group 12 u, from the beginning in the group 12 u + 1 to the second pixel circuit 10 22, v pixel circuits arranged in succession It is possible to specify simultaneous reading for 10.
- the vertical control unit 102b designates simultaneous reading from v pixel circuits 10 arranged consecutively in a column
- the vertical control unit 102b controls so as not to read from the other pixel circuits 10 in the column. Therefore, for example, the output of the OR circuit 41 11 becomes the signal Vpls read from any one of the pixel circuits 10 11 , 10 21 , 10 31 ,....
- FIG. 10 is a diagram showing an example of a scanning method of the pixel array unit 100 according to the existing technology.
- the scan locus of the light emitted from the light source may include distortion or deviation and may not be linear.
- the distortion or deviation of the scanning locus is caused by the accuracy of the mechanism for scanning the light emitted from the light source, and is the distortion or deviation peculiar to the apparatus.
- the distortion or deviation of the scan trajectory of the light emitted from the light source is reflected in the reflected light received by the pixel array unit 100.
- FIG. 10 shows an example in which the locus 50 of the reflected light received by the pixel array section 100 meanders.
- the width (height) of the reading area 51a for reading is necessary to be wider than the width (width of the locus 50 of the reflected light) from which the reflected light is desired to be taken in consideration of the meandering of the locus 50. is there.
- reading is performed in units of pixels 53 1 , 53 2 , 53 3 and 53 4 including a plurality of pixel circuits 10. More specifically, in each of the pixels 53 1 to 53 4 , exposure and photon detection are performed in each pixel circuit 10 included in each of the pixels 53 1 to 53 4 , and a signal Vpls is generated. For example, in the pixel 53 1 , histogram generation and peak detection are performed based on the signal Vpls read from each pixel circuit 10 included in the pixel 53 1 , and distance measurement is performed.
- the signal Vpls can also be read out from the pixel circuits 10 included in the regions 52a and 52b where the reflected light is not received. Will be done.
- the pixel circuits 10 included in the regions 52a and 52b become the pixel circuits 10 that are unnecessary for distance measurement because the reflected light of the light emitted from the light source is not received.
- the pixel circuit 10 that performs reading can be selected according to the locus 50 of the reflected light.
- FIG. 11 is a diagram illustrating an example of a scanning method of the pixel array unit 100 according to the first embodiment.
- the readout area is set in units of the pixel circuit 10 or in units of the element 11 including the plurality of pixel circuits 10 according to the locus 50 of the reflected light.
- the readout regions 51b 1 to 51b 8 are set in units of the pixel circuit 10 according to the locus 50 of the reflected light with which the pixel array unit 100 is irradiated.
- the pixel circuits 10 included in the readout regions 51b 1 and 51b 2 that are located on the locus 50 of the reflected light are read out. Specify as.
- the pixel circuits 10 included in the readout regions 51b 3 and 51b 4 that are located on the locus 50 of the reflected light are read out. Specified as 10.
- the readout regions 51b 5 and 51b 6 and the respective pixel circuits 10 included in the readout regions 51b 7 and 51b 8 are designated as the readout pixel circuits 10.
- the width (height) of each read-out area 51b 1 to 51b 8 and the width at which the reflected light is desired to be acquired (the width of the locus 50 of the reflected light), Can be made substantially equal.
- the number of pixel circuits 10 that perform reading can be suppressed to a necessary minimum as compared with the above-described scanning method of the existing technology, and power consumption can be reduced.
- the width of each of the readout regions 51b 1 to 51b 8 is smaller than that of the scanning method of the existing technology, it is possible to reduce the number of readout wirings for performing readout from each pixel circuit 10.
- the regions 52a and 52b in which the reflected light is not received as shown in FIG. 10 can be made extremely small, and the influence of ambient light or the like can be suppressed.
- FIG. 12A is a diagram showing an example of a histogram when each pixel circuit 10 is read by the scanning method of the existing technology illustrated in FIG. 10.
- FIG. 12B is a diagram showing an example of a histogram in the case where each pixel circuit 10 is read by the scanning method according to the first embodiment illustrated in FIG. 11.
- FIGS. 12A and 12B for example, the histogram as described with reference to FIG. 2 is shown as being subjected to the curve approximation by applying the low-pass filter processing.
- the offset 55a includes the measured value by the signal Vpls read from the unnecessary pixel circuit 10 included in the regions 52a and 52b where the reflected light is not received.
- the offset 55b becomes smaller than the offset 55a shown in FIG. 12A.
- the histogram based on the scanning method according to the first embodiment makes it easier to detect peaks as compared with the histogram based on the scanning method according to the existing technology, and by applying the scanning method according to the first embodiment. , It becomes possible to measure the distance with higher accuracy.
- FIG. 13 is a diagram equivalent to FIG. 11 described above, and shows an example in which the readout areas 51b 1 to 51b 8 are set according to the trajectory 50 of the meandering reflected light.
- a region for which reading is to be performed per column is a number of v pixel circuits that is the number of pixel circuits 10 that can be simultaneously read by the horizontal control unit 102a and that are consecutively arranged in a column. 10 shall be included.
- the pixel circuit 10 in which the maximum width (height) of the deviation for each column according to the locus 50 in the region to be read out is r (r>v) is included.
- the readout control in units of the pixel circuit 10 is possible by the signals XEN_SPAD_V and XEN_SPAD_H and the signal EN_F.
- the vertical control unit 102b can specify simultaneous reading for v pixel circuits 10 arranged continuously in the column direction. Further, the vertical control unit 102b can specify that only one pixel circuit 10 among the plurality of pixel circuits 10 arranged in every (v-1) row is to be read out.
- FIG. 14A and FIG. 14B are views for more specifically explaining the sharing of the readout wiring of each pixel circuit 10 according to the first embodiment.
- a black square represents the pixel circuit 10 that is not read by the vertical control unit 102b or is controlled to be in an off state, and a white square is controlled to be read.
- the pixel circuit 10 is shown.
- the vertical control unit 102b simultaneously reads out the v pixel circuits 10 11 to 10 1v corresponding to the region to be read in the column, which is continuously arranged in the column. Is specified.
- the pixel circuits 10 11 to 10 1v are included in one group 12 u .
- the vertical control unit 102b supplies signals XEN_SPAD_V and XEN_SPAD_H for turning off the transistors 1102 and 1103 to the pixel circuits 10 11 to 10 1v , respectively, and a signal EN_PR for turning on the switch unit 1101.
- the horizontal control unit 102a sets the signal EN_F supplied to the pixel circuits 10 11 to 10 1v to the high state. As a result, each of the pixel circuits 10 11 to 10 1v becomes a state in which simultaneous reading is possible.
- the vertical control unit 102b controls the other pixel circuits 10 arranged in the column so as not to perform reading.
- the horizontal control unit 102a supplies, for example, a signal XEN_SPAD_V for turning on the transistor 1102 to the other pixel circuit 10 and a signal EN_PR for turning off the switch unit 1101. Further, the horizontal control unit 102a sets the signal EN_F supplied to the other pixel circuit 10 to the low state. As a result, the other pixel circuits 10 are not read out.
- FIG. 14B is a diagram showing an example of read designation in a column different from the column shown in FIG. 14A (for example, a column adjacent to the column shown in FIG. 14A).
- simultaneous reading is designated for the v pixel circuits 10 13 to 10 22 corresponding to the regions to be read in the different columns.
- the pixel circuits 10 13 to 10 22 are included in two groups 12 u and 12 u+1 .
- the horizontal control unit 102a and the vertical control unit 102b perform control by the signals XEN_SPAD_H, XEN_SPAD_V, EN_F, and EN_PR so as not to perform reading on the other pixel circuits 10 arranged in the column.
- read wirings for v pixel circuits 10 may be prepared, and the number of read wirings can be reduced as compared with existing technology.
- each pixel circuit 10 arranged in a region beyond the region to be read is controlled so as not to be read at the same time, and a read for which wiring delay care is required in 100 psec units or less.
- the wiring is shared. Therefore, it is possible to reduce the target of wiring delay care and the circuits in the subsequent stages that require high-speed operation.
- the vertical control unit 102b stops the supply of the power supply voltage Vdd to each pixel circuit 10 arranged in a region beyond the region to be read by the signal EN_PR. As a result, the power consumption of the pixel circuit 10 which is not irradiated with the reflected light is suppressed, and the power consumption of the pixel array section 100 as a whole is also reduced.
- the horizontal control unit 102a and the vertical control unit 102b can control ON/OFF of the pixel circuit 10 for each block including (p ⁇ q) pixel circuits 10 in p rows ⁇ q columns.
- the ON/OFF of the pixel circuit 10 can be controlled in units of the block of the element 11 including the nine pixel circuits 10 of 3 rows ⁇ 3 columns described with reference to FIG. 7. In this block-by-block control, it is possible to adjust the ON/OFF control unit by making a trade-off with a signal line (for example, a signal line of the signal EN_F) for turning on/off the pixel circuit 10.
- FIG. 15 is a diagram showing an example of a method of designating each read area according to the first embodiment.
- the readout area 61 is designated with reference to the effective area 60 in the pixel array section 100.
- the base point position 62 of the read area 61 is set to, for example, the left end of the read area 61 and the lower end position at the left end, and the base point position 62 is specified by the positions from the left end and the lower end of the effective area 60.
- the read area 61 is designated by being divided into a range 68 on the left side and a range 69 on the right side in FIG.
- the division reference position 65 is designated in the horizontal direction as an offset 63 in the horizontal direction with respect to the base point position 62 of the read area 61. Further, the reference position 65 is designated as the height 64 with respect to the lower end of the effective area 60 in the vertical direction. Further, the position where the height in the vertical direction changes in the range 68 is specified by the adjustment interval 66, and the changing height is specified by the adjustment amount 67. This also applies to the range 69.
- each parameter in the range 68 (each designated value) is stored in, for example, the adjustment register #0 which is one of the registers included in the overall control unit 103, and each parameter in the range 69 is similarly controlled in the overall control. It is stored in the adjustment register #1 which is one of the registers included in the unit 103.
- Each parameter (specified value) of the ranges 68 and 69 may be stored in advance in the adjustment registers #0 and #1 or may be stored by external input to the overall control unit 103.
- the overall control unit 103 reads each parameter for performing each of the above-mentioned designations from the register, and generates, for example, signals EN_SPAD_H, EN_SPAD_V, EN_F, and EN_PR based on the read parameters.
- the overall control unit 103 passes the generated signals EN_SPAD_H and EN_F to the horizontal control unit 102a.
- the horizontal control unit 102a supplies a signal XEN_SPAD_H based on the passed signal EN_SPAD_H to a predetermined column of the pixel array unit 100. Further, the horizontal control unit 102a supplies the passed signal EN_F to a predetermined plurality of columns (for example, three columns) of the pixel array unit 100 and a predetermined row for each predetermined period.
- the overall control unit 103 passes the generated signals EN_SPAD_V and EN_PR to the vertical control unit 102b.
- the vertical control unit 102b supplies the passed signal EN_PR and the signal XEN_SPAD_V based on the signal EN_SPAD_V to a predetermined row of the pixel array unit 100.
- FIG. 16 is a diagram illustrating an example of designating a plurality of reading areas on the assumption of division of a light source according to the first embodiment.
- the light source unit 2 (see FIG. 3) is composed of four laser diodes, and the readout regions 61 1 , 61 2 , 61 3 and 61 4 corresponding to the respective laser diodes are designated.
- the base point positions 65 1 , 65 2 and 65 3 of the read areas 61 2 , 61 3 and 61 4 are designated with respect to the base point position 62 of the leftmost read area 61 1 .
- the base point position 65 1 of the read area 61 2 is designated by the horizontal offset 63 1 with respect to the base point position 62 and the height 64 1 with respect to the lower end of the effective area 60.
- the respective base point positions 65 2 and 65 3 of the read areas 61 3 and 61 4 are offsets 63 2 and 63 3 in the horizontal direction with respect to the base point position 62, and the height 64 with respect to the lower end of the effective area 60. Specified by 2 and 64 3 .
- each read area 61 1 to 61 4 to specify the position of the adjustment interval 66 vertical height changes, the height varying adjustment It is specified by the quantity 67.
- Each designated value designated is stored in the adjustment register as a parameter for designating the reading area.
- the overall control unit 103 reads out the parameters that specify each of the above-mentioned designations from the adjustment register, and generates the signals EN_SPAD_H, EN_SPAD_V, EN_F, and EN_PR based on the read-out parameters, as in the description of FIG.
- the overall control unit 103 passes the generated signals EN_SPAD_H and EN_F to the horizontal control unit 102a, and passes the signal EN_SPAD_VEN_PR to the vertical control unit 102b.
- FIG. 17 is a flowchart of an example showing the calibration processing of the read area according to the first embodiment.
- the object is installed at a fixed distance with respect to the distance measuring device 1 (see FIG. 4) (step S100). It is preferable that the object has high reflectance and uniformity, such as white paper or plate.
- step S101 the pixel circuit 10 that uses the output is selected. Only one pixel circuit 10 may be designated, or a plurality of pixel circuits 10 included in a narrower range than the pixel 53 1 to which the measurement values are added may be selected. Here, description will be made assuming that one pixel circuit 10 is selected.
- FIG. 18 is a schematic diagram for explaining the calibration processing of the read area according to the first embodiment.
- the pixel circuit 10 obj is selected in step S101.
- the distance measuring device 1 causes the light source unit 2 to emit light, for example, under the control of the overall control unit 103, and starts exposure in the pixel circuit 10 obj .
- the distance measurement processing unit 101 in the distance measuring device 1 measures the light reception timing based on the signal Vpls output from the pixel circuit 10 obj and stores the measured value.
- steps S102 and S103 may be repeated a plurality of times to generate a histogram based on the output of the pixel circuit 10 obj at a predetermined position.
- the overall control unit 103 determines whether or not the processes of steps S101 to S103 have been completed for a predetermined area. For example, the overall control unit 103 determines that the processing for a predetermined area is completed when the processing is completed for all the pixel circuits 10 in the pixel array section 100 or the effective area 60. Not limited to this, when the processing is completed for all the pixel circuits 10 included in the pixel 53 1, it may be determined that the processing for a predetermined area is completed, or another area is set and set. It may be determined whether or not the processing is completed within the region.
- step S104 the overall control unit 103 determines that the processing for the predetermined area is not completed (step S104, “No”), the processing is transferred to step S105.
- step S105 the overall control unit 103 sets the shift amount and the direction for designating the pixel circuit 10 that uses the output next. For example, the overall control unit 103 sets the position shifted by one pixel circuit 10 minutes in the vertical direction indicated by the arrow 82 or the horizontal direction indicated by the arrow 83 with respect to the position of the pixel circuit 10 obj .
- the overall control unit 103 returns the process to step S101, specifies the pixel circuit 10 at the position set in step S105 as the pixel circuit 10 obj that newly uses the output, executes the process of step S102 and subsequent steps, and outputs the measured value. accumulate.
- step S104 the overall control unit 103 shifts the processing to step S106.
- step S106 the overall control unit 103 analyzes the output result of the processing in steps S101 to S105, that is, the measurement value accumulated in step S103.
- step S107 the overall control unit 103 determines the read area based on the analysis result of step S106. For example, the overall control unit 103 determines whether or not the position is appropriate as a position to be included in the readout area based on the reaction frequency in the pixel circuit 10 obj at each position.
- the overall control unit 103 stores each parameter indicating the read area determined in step S107 in the register. Thereby, for example, the read area 51b 1 is set.
- the process according to the flowchart of FIG. 17 can be executed when a user who uses the electronic device 6 including the distance measuring device 1 uses the distance measuring function of the distance measuring device 1 and can be used for correcting the read area. .. Not limited to this, when the electronic device 6 including the distance measuring apparatus 1 is shipped, the manufacturer may execute the process according to the flowchart to determine the read area. Further, irrespective of the processing of the flowchart of FIG. 17, in the assembly process of the electronic device 6 including the distance measuring device 1 or the like, the reflected light of the light from the light source unit 2 is changed depending on the mounting position of the light source unit 2 or the like. The locus 50 when the light is received by the unit 100 may be estimated, and each parameter indicating the read area may be generated based on the estimation result and stored in the register.
- FIG. 19 is a diagram showing a usage example in which the distance measuring apparatus 1 according to the above-described first embodiment is used according to the second embodiment.
- the distance measuring device 1 described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays as described below.
- -A device that captures images used for viewing, such as digital cameras and mobile devices with camera functions.
- ⁇ In-vehicle sensors that take images of the front, rear, surroundings, and inside of the vehicle, such as automatic driving and safe driving, and recognition of the driver's condition, surveillance cameras that monitor traveling vehicles and roads, inter-vehicles, etc.
- a device used for traffic such as a distance measurement sensor for distance measurement.
- a device used for home appliances such as TVs, refrigerators, and air conditioners in order to photograph a user's gesture and operate the device according to the gesture.
- -A device used for medical care or healthcare such as an endoscope or a device for taking an angiogram by receiving infrared light.
- -Devices used for security such as surveillance cameras for crime prevention and cameras for person authentication.
- -A device used for beauty such as a skin measuring device for taking a picture of the skin and a microscope for taking a picture of the scalp.
- -Devices used for sports such as action cameras and wearable cameras for sports applications.
- -A device used for agriculture such as a camera for monitoring the condition of fields and crops.
- the technology according to the present disclosure may be applied to devices mounted on various moving bodies such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. Good.
- FIG. 20 is a block diagram showing a schematic configuration example of a vehicle control system which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
- the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
- the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
- a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053 are shown as the functional configuration of the integrated control unit 12050.
- the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
- the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, and a steering angle of the vehicle. It functions as a steering mechanism for adjusting and a control device such as a braking device for generating a braking force of the vehicle.
- the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
- the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
- the body system control unit 12020 may receive radio waves or signals of various switches transmitted from a portable device that substitutes for a key.
- the body system control unit 12020 receives these radio waves or signals and controls the vehicle door lock device, power window device, lamp, and the like.
- the vehicle exterior information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
- the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
- the vehicle exterior information detection unit 12030 causes the image capturing unit 12031 to capture an image of the vehicle exterior and receives the captured image.
- the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
- the vehicle exterior information detection unit 12030 performs, for example, image processing on the received image, and performs object detection processing and distance detection processing based on the result of the image processing.
- the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
- the imaging unit 12031 can output the electric signal as an image or can output the information as distance measurement information.
- the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
- the in-vehicle information detection unit 12040 detects in-vehicle information.
- a driver state detection unit 12041 that detects the state of the driver is connected.
- the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 determines the degree of tiredness or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether or not the driver is asleep.
- the microcomputer 12051 calculates the control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit.
- a control command can be output to 12010.
- the microcomputer 12051 realizes functions of ADAS (Advanced Driver Assistance System) including avoidance or impact mitigation of vehicle, follow-up traveling based on inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
- ADAS Advanced Driver Assistance System
- the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, or the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, thereby It is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation.
- the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
- the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
- the voice image output unit 12052 transmits an output signal of at least one of a voice and an image to an output device capable of visually or audibly notifying information to a passenger or outside the vehicle.
- an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
- the display unit 12062 may include at least one of an onboard display and a head-up display, for example.
- FIG. 21 is a diagram showing an example of the installation position of the imaging unit 12031.
- the vehicle 12100 has imaging units 12101, 12102, 12103, 12104 and 12105 as the imaging unit 12031.
- the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior.
- the image capturing unit 12101 provided on the front nose and the image capturing unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire images in front of the vehicle 12100.
- the image capturing units 12102 and 12103 included in the side mirrors mainly acquire images of the side of the vehicle 12100.
- the image capturing unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
- the front images acquired by the image capturing units 12101 and 12105 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic signal, a traffic sign, a lane, or the like.
- FIG. 21 shows an example of the shooting range of the imaging units 12101 to 12104.
- the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
- the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
- the imaging range 12114 indicates The imaging range of the imaging part 12104 provided in a rear bumper or a back door is shown. For example, by overlaying the image data captured by the image capturing units 12101 to 12104, a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
- At least one of the image capturing units 12101 to 12104 may have a function of acquiring distance information.
- at least one of the image capturing units 12101 to 12104 may be a stereo camera including a plurality of image capturing elements, or may be an image capturing element having pixels for phase difference detection.
- the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object within the imaging range 12111 to 12114 and the temporal change of this distance (relative speed with respect to the vehicle 12100). By determining, the closest three-dimensional object on the traveling path of the vehicle 12100, which is traveling in the substantially same direction as the vehicle 12100 at a predetermined speed (for example, 0 km/h or more), can be extracted as the preceding vehicle. it can. Further, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation of the driver.
- automatic brake control including follow-up stop control
- automatic acceleration control including follow-up start control
- the microcomputer 12051 uses the distance information obtained from the imaging units 12101 to 12104 to convert three-dimensional object data regarding a three-dimensional object into another three-dimensional object such as a two-wheeled vehicle, an ordinary vehicle, a large vehicle, a pedestrian, and a utility pole. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or more than the set value and there is a possibility of collision, the microcomputer 12051 outputs the audio through the audio speaker 12061 and the display unit 12062. A driver can be assisted for collision avoidance by outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010.
- At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
- the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the images captured by the imaging units 12101 to 12104. To recognize such a pedestrian, for example, a procedure of extracting a feature point in an image captured by the image capturing units 12101 to 12104 as an infrared camera, and a pattern matching process on a series of feature points indicating the contour of an object are performed. It is performed by the procedure of determining.
- the audio image output unit 12052 causes the recognized pedestrian to have a rectangular contour line for emphasis.
- the display unit 12062 is controlled so as to superimpose and display.
- the audio image output unit 12052 may control the display unit 12062 to display an icon indicating a pedestrian or the like at a desired position.
- the technology according to the present disclosure can be applied to, for example, the imaging unit 12031 among the configurations described above.
- the distance measuring apparatus 1 according to the first embodiment of the present disclosure described above can be applied to the imaging unit 12031.
- the technology according to the present disclosure it is possible to provide the distance measuring device 1 that measures the distance from the traveling vehicle with a smaller scale.
- a light receiving portion including a plurality of light receiving elements arranged in a matrix array, A plurality of read lines transmitting each signal read from the plurality of light receiving elements, Equipped with The plurality of read lines are Each of the plurality of light receiving elements is a light receiving device connected to two or more light receiving elements.
- a plurality of row control signal lines transmitting a row control signal for controlling the plurality of light receiving elements for each row of the array, A plurality of column control signal lines that transmit a column control signal that controls the plurality of light receiving elements for each column of the array; Further equipped with, The plurality of row control signal lines, Respectively transmitting the row control signal for each of a plurality of rows of the array, The plurality of column control signal lines are The light-receiving device according to (1), which transmits the column control signal for each of the plurality of columns of the array.
- the plurality of group control signal lines for transmitting a group control signal for controlling the plurality of light receiving elements for each group including two or more light receiving elements, The plurality of group control signal lines, The light receiving device according to any one of (1) to (3), which transmits the set control signal for each of two or more sets.
- the plurality of read lines are The light receiving device according to (1), wherein the two or more light receiving elements are connected to each other via an OR circuit.
- the OR circuit includes a first OR circuit and a second OR circuit, A first light receiving element of the two or more light receiving elements is connected to a first input terminal of the first OR circuit, An output terminal of the second OR circuit of the two or more light receiving elements is connected to a second input terminal of the first OR circuit, The light receiving device according to (5), wherein a second light receiving element of the two or more light receiving elements is connected to a first input terminal of the second OR circuit. (7) The light receiving unit, The plurality of read lines are respectively provided along a predetermined direction of rows or columns of the array, The two or more light receiving elements are 7.
- the light-receiving device according to any one of (1) to (6), wherein every (v-1) (v is an integer of 2 or more) are connected to the read line along the predetermined direction of the array.
- the light receiving device according to any one of (1) to (7), wherein the reading of the two or more light receiving elements is designated at different timings.
- the designation unit is The light-receiving device according to (8), wherein the reading of v light-receiving elements arranged continuously along a direction in which the two or more light-receiving elements are connected among the plurality of light-receiving elements is designated at the same timing. .. (10) The designation unit is The light receiving device according to (8) or (9), wherein the reading is designated for a plurality of light receiving elements included in the rectangular area in the array among the plurality of light receiving elements included in the light receiving unit.
- the light receiving unit The light emitted from the light source receives the light including the reflected light reflected by the object
- the designation unit is (8) to (10) for designating a light receiving element for reading out the signal among the plurality of light receiving elements according to an area that is preliminarily acquired and is estimated to be irradiated with the reflected light.
- the light-receiving device according to any one of 1).
- the designation unit is The light-receiving device according to any one of (8) to (11), wherein a light-receiving element for performing the reading is designated based on the parameter stored in the storage unit.
- the storage unit is The light receiving device according to (12), wherein the parameter is stored according to an external input.
- a light receiving portion including a plurality of light receiving elements arranged in a matrix array, A plurality of read lines transmitting each signal read from the plurality of light receiving elements, From a light emission timing when the light source emits light to a light reception timing when the plurality of light receiving elements receive light, a time measuring unit that acquires a measurement value by measuring time.
- a generation unit that generates a histogram of the measured values
- a calculation unit that calculates the distance to the object to be measured based on the histogram, Equipped with The plurality of read lines are A distance measuring device to which two or more light receiving elements are connected, among the plurality of light receiving elements.
- a plurality of row control signal lines transmitting a row control signal for controlling the plurality of light receiving elements for each row of the array, A plurality of column control signal lines that transmit a column control signal that controls the plurality of light receiving elements for each column of the array; Further equipped with, The plurality of row control signal lines, Respectively transmitting the row control signal for each of a plurality of rows of the array, The plurality of column control signal lines are The distance measuring device according to (14), which transmits the column control signal to each of the plurality of columns of the array. (16) The distance measuring device according to (15), wherein at least one of the column control signal and the row control signal includes a power supply control signal for controlling supply of power to the light receiving element.
- the plurality of group control signal lines for transmitting a group control signal for controlling the plurality of light receiving elements for each group including two or more light receiving elements, The plurality of group control signal lines, The distance measuring device according to any one of (14) to (16), which transmits the set control signal for each of two or more sets.
- the plurality of read lines are The distance measuring device according to any one of (14) to (17), wherein each of the two or more light receiving elements is connected via an OR circuit.
- the OR circuit includes a first OR circuit and a second OR circuit, A first light receiving element of the two or more light receiving elements is connected to a first input terminal of the first OR circuit, An output terminal of the second OR circuit of the two or more light receiving elements is connected to a second input terminal of the first OR circuit,
- the light receiving unit, The plurality of read lines are respectively provided along a predetermined direction of rows or columns of the array,
- the two or more light receiving elements are The distance measuring device according to any one of (14) to (19), which is connected to the readout line at every (v-1) (v is an integer of 2 or more) along the predetermined direction of the array. .. (21) Further comprising a designating unit designating a light-receiving element for performing the reading among the plurality of light-receiving elements,
- the designation unit is The distance measuring device according to (14), wherein the reading of the two or more light receiving elements is designated at different timings.
- the designation unit is The distance measurement according to (21), wherein the reading out of v light receiving elements arranged continuously along a direction in which the two or more light receiving elements are connected among the plurality of light receiving elements is designated at the same timing. apparatus.
- the designation unit is The distance measuring device according to (21) or (22), wherein the reading is designated for a plurality of light receiving elements included in the rectangular region in the array among the plurality of light receiving elements included in the light receiving unit.
- the light receiving unit The light emitted from the light source receives the light including the reflected light reflected by the object
- the designation unit is The (21) to (23) for designating a light-receiving element for reading the signal among the plurality of light-receiving elements according to a previously acquired region where the reflected light is estimated to be applied to the light-receiving unit.
- the distance measuring device according to any one of 1) to 4).
- the designation unit is The distance measuring device according to any one of (21) to (24), wherein a light receiving element for performing the reading is designated based on the parameter stored in the storage unit.
- the storage unit is The distance measuring device according to (25), which stores the parameter according to an external input.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Light Receiving Elements (AREA)
Abstract
本開示に係る受光装置は、行列状の配列で配置される複数の受光素子(10)を含む受光部(100)と、複数の受光素子から読み出しを行った各信号を伝送する複数の読み出し線と、を備える。当該受光装置において、複数の読み出し線は、それぞれ、複数の受光素子のうち、2以上の受光素子に接続される。
Description
本発明は、受光装置および測距装置に関する。
光を用いて被測定物までの距離を測定する測距方式の一つとして、直接ToF(Time of Flight)方式と呼ばれる測距手法が知られている。直接ToF方式による測距処理では、光源から射出された光が被測定物により反射された反射光を受光素子により受光し、光が射出されてから反射光として受光されるまでの時間に基づき対象までの距離を計測する。また、直接ToF方式において、受光素子を2次元格子状に配列した画素アレイを用いて測距を行う構成が知られている。
直接ToF方式の測距の方法の一つとして、光源から照射される光で対象を水平方向(あるいは垂直方向)に直線状にスキャンし、その反射光を、上述した画素アレイを用いて検出する方法がある。
直接ToF方式により、光源の光を直線状にスキャンし、その反射光を画素アレイを用いて受光して測距を行う場合、光源から射出される光のスキャン軌跡が直線状にならず、当該光が対象から反射した反射光に、歪やズレが含まれる場合がある。そのため、より高精度の測距を行うためには、画素アレイにおいて同時読み出しが可能な受光範囲を、これら歪やズレを考慮して広く取る必要があり、配線数の増加を招いていた。
本開示は、より少ない配線数で高精度の測距が可能な受光装置および測距装置を提供することを目的とする。
本開示に係る受光装置は、行列状の配列で配置される複数の受光素子を含む受光部と、複数の受光素子から読み出しを行った各信号を伝送する複数の読み出し線と、を備え、複数の読み出し線は、それぞれ、複数の受光素子のうち、2以上の受光素子に接続される。
以下、本開示の各実施形態について、図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
(各実施形態に適用可能な技術)
本開示は、光を用いて測距を行う技術に関するものである。本開示の各実施形態の説明に先んじて、理解を容易とするために、各実施形態に適用可能な技術について説明する。各実施形態では、測距方式として、直接ToF(Time Of Flight)方式を適用する。直接ToF方式は、光源から射出された光が被測定物により反射した反射光を受光素子により受光し、光の射出タイミングと受光タイミングとの差分の時間に基づき測距を行う方式である。
本開示は、光を用いて測距を行う技術に関するものである。本開示の各実施形態の説明に先んじて、理解を容易とするために、各実施形態に適用可能な技術について説明する。各実施形態では、測距方式として、直接ToF(Time Of Flight)方式を適用する。直接ToF方式は、光源から射出された光が被測定物により反射した反射光を受光素子により受光し、光の射出タイミングと受光タイミングとの差分の時間に基づき測距を行う方式である。
図1および図2を用いて、直接ToF方式による測距について、概略的に説明する。図1は、各実施形態に適用可能な直接ToF方式による測距を模式的に示す図である。測距装置300は、光源部301と受光部302とを含む。光源部301は、例えばレーザダイオードであって、レーザ光をパルス状に発光するように駆動される。光源部301から射出された光は、被測定物303により反射され、反射光として受光部302に受光される。受光部302は、光電変換により光を電気信号に変換する受光素子を含み、受光した光に応じた信号を出力する。
ここで、光源部301が発光した時刻(発光タイミング)を時間t0、光源部301から射出された光が被測定物303により反射された反射光を受光部302が受光した時刻(受光タイミング)を時間t1とする。定数cを光速度(2.9979×108[m/sec])とすると、測距装置300と被測定物303との間の距離Dは、次式(1)により計算される。
D=(c/2)×(t1-t0) …(1)
D=(c/2)×(t1-t0) …(1)
測距装置300は、上述の処理を、複数回繰り返して実行する。受光部302が複数の受光素子を含み、各受光素子に反射光が受光された各受光タイミングに基づき距離Dをそれぞれ算出してもよい。測距装置300は、発光タイミングの時間t0から受光部302に光が受光された受光タイミングまでの時間tm(受光時間tmと呼ぶ)を階級(ビン(bins))に基づき分類し、ヒストグラムを生成する。
なお、受光部302が受光時間tmに受光した光は、光源部301が発光した光が被測定物により反射された反射光に限られない。例えば、測距装置300(受光部302)の周囲の環境光も、受光部302に受光される。
図2は、各実施形態に適用可能な、受光部302が受光した時刻に基づく一例のヒストグラムを示す図である。図2において、横軸はビン、縦軸は、ビン毎の頻度を示す。ビンは、受光時間tmを所定の単位時間d毎に分類したものである。具体的には、ビン#0が0≦tm<d、ビン#1がd≦tm<2×d、ビン#2が2×d≦tm<3×d、…、ビン#(N-2)が(N-2)×d≦tm<(N-1)×dとなる。受光部302の露光時間を時間tepとした場合、tep=N×dである。
測距装置300は、受光時間tmを取得した回数をビンに基づき計数してビン毎の頻度310を求め、ヒストグラムを生成する。ここで、受光部302は、光源部301から射出された光が反射された反射光以外の光も受光する。このような、対象となる反射光以外の光の例として、上述した環境光がある。ヒストグラムにおいて範囲311で示される部分は、環境光による環境光成分を含む。環境光は、受光部302にランダムに入射される光であって、対象となる反射光に対するノイズとなる。
一方、対象となる反射光は、特定の距離に応じて受光される光であって、ヒストグラムにおいてアクティブ光成分312として現れる。このアクティブ光成分312内のピークの頻度に対応するビンが、被測定物303の距離Dに対応するビンとなる。測距装置300は、そのビンの代表時間(例えばビンの中央の時間)を上述した時間t1として取得することで、上述した式(1)に従い、被測定物303までの距離Dを算出することができる。このように、複数の受光結果を用いることで、ランダムなノイズに対して適切な測距を実行可能となる。
図3は、各実施形態に係る測距装置を用いた電子機器の一例の構成を示すブロック図である。図3において、電子機器6は、測距装置1と、光源部2と、記憶部3と、制御部4と、光学系5と、を含む。
光源部2は、上述した光源部301に対応し、レーザダイオードであって、例えばレーザ光をパルス状に発光するように駆動される。光源部2は、面光源としてレーザ光を射出するVCSEL(Vertical Cavity Surface Emitting LASER)を適用することができる。これに限らず、光源部2として、レーザダイオードをライン上に配列したアレイを用い、レーザダイオードアレイから射出されるレーザ光をラインに垂直の方向にスキャンする構成を適用してもよい。さらにまた、単光源としてのレーザダイオードを用い、レーザダイオードから射出されるレーザ光を水平および垂直方向にスキャンする構成を適用することもできる。
測距装置1は、上述した受光部302に対応して、複数の受光素子を含む。複数の受光素子は、例えば2次元格子状(行列状)に配列されて受光面を形成する。光学系5は、外部から入射する光を、測距装置1が含む受光面に導く。
制御部4は、電子機器6の全体の動作を制御する。例えば、制御部4は、測距装置1に対して、光源部2を発光させるためのトリガである発光トリガを供給する。測距装置1は、この発光トリガに基づくタイミングで光源部2を発光させると共に、発光タイミングを示す時間t0を記憶する。また、制御部4は、例えば外部からの指示に応じて、測距装置1に対して、測距の際のパターンの設定を行う。
測距装置1は、受光面に光が受光されたタイミングを示す時間情報(受光時間tm)を取得した回数を所定の時間範囲内で計数し、ビン毎の頻度を求めて上述したヒストグラムを生成する。測距装置1は、さらに、生成したヒストグラムに基づき、被測定物までの距離Dを算出する。算出された距離Dを示す情報は、記憶部3に記憶される。
図4は、各実施形態に適用可能な測距装置1の一例の構成をより詳細に示すブロック図である。図4において、測距装置1は、画素アレイ部100と、測距処理部101と、画素制御部102と、全体制御部103と、クロック生成部104と、発光タイミング制御部105と、インタフェース(I/F)106と、を含む。これら画素アレイ部100、測距処理部101、画素制御部102、全体制御部103、クロック生成部104、発光タイミング制御部105およびインタフェース(I/F)106は、例えば1つの半導体チップ上に配置される。
図4において、全体制御部103は、例えば予め組み込まれるプログラムに従い、この測距装置1の全体の動作を制御する。また、全体制御部103は、外部から供給される外部制御信号に応じた制御を実行することもできる。クロック生成部104は、外部から供給される基準クロック信号に基づき、測距装置1内で用いられる1以上のクロック信号を生成する。発光タイミング制御部105は、外部から供給される発光トリガ信号に従い発光タイミングを示す発光制御信号を生成する。発光制御信号は、光源部2に供給されると共に、測距処理部101に供給される。
画素アレイ部100は、2次元格子状に配列される、それぞれ受光素子を含む複数の画素回路10、10、…を含む。各画素回路10の動作は、全体制御部103の指示に従った画素制御部102により制御される。例えば、画素制御部102は、各画素回路10からの画素信号の読み出しを、行方向にp画素、列方向にq画素の、(p×q)個の画素回路10を含むブロック毎に制御することができる。また、画素制御部102は、当該ブロックを単位として、各画素回路10を行方向にスキャンし、さらに列方向にスキャンして、各画素回路10から画素信号を読み出すことができる。これに限らず、画素制御部102は、各画素回路10をそれぞれ単独で制御することもできる。さらに、画素制御部102は、画素アレイ部100の所定領域を対象領域として、対象領域に含まれる画素回路10を、画素信号を読み出す対象の画素回路10とすることができる。さらにまた、画素制御部102は、複数行(複数ライン)を纏めてスキャンし、それを列方向にさらにスキャンして、各画素回路10から画素信号を読み出すこともできる。
各画素回路10から読み出された画素信号は、測距処理部101に供給される。測距処理部101は、変換部110と、生成部111と、信号処理部112と、を含む。
各画素回路10から読み出され、画素アレイ部100から出力された画素信号は、変換部110に供給される。ここで、画素信号は、各画素回路10から非同期で読み出され、変換部110に供給される。すなわち、画素信号は、各画素回路10において光が受光されたタイミングに応じて受光素子から読み出され、出力される。
変換部110は、画素アレイ部100から供給された画素信号を、デジタル情報に変換する。すなわち、画素アレイ部100から供給される画素信号は、当該画素信号が対応する画素回路10に含まれる受光素子に光が受光されたタイミングに対応して出力される。変換部110は、供給された画素信号を、当該タイミングを示す時間情報に変換する。
生成部111は、変換部110により画素信号が変換された時間情報に基づきヒストグラムを生成する。ここで、生成部111は、時間情報を、設定部113により設定された単位時間dに基づき計数し、ヒストグラムを生成する。生成部111によるヒストグラム生成処理の詳細については、後述する。
信号処理部112は、生成部111により生成されたヒストグラムのデータに基づき所定の演算処理を行い、例えば距離情報を算出する。信号処理部112は、例えば、生成部111により生成されたヒストグラムのデータに基づき、当該ヒストグラムの曲線近似を作成する。信号処理部112は、このヒストグラムが近似された曲線のピークを検出し、検出されたピークに基づき距離Dを求めることができる。
信号処理部112は、ヒストグラムの曲線近似を行う際に、ヒストグラムが近似された曲線に対してフィルタ処理を施すことができる。例えば、信号処理部112は、ヒストグラムが近似された曲線に対してローパスフィルタ処理を施すことで、ノイズ成分を抑制することが可能である。
信号処理部112で求められた距離情報は、インタフェース106に供給される。インタフェース106は、信号処理部112から供給された距離情報を、出力データとして外部に出力する。インタフェース106としては、例えばMIPI(Mobile Industry Processor Interface)を適用することができる。
なお、上述では、信号処理部112で求められた距離情報を、インタフェース106を介して外部に出力しているが、これはこの例に限定されない。すなわち、生成部111により生成されたヒストグラムのデータであるヒストグラムデータを、インタフェース106から外部に出力する構成としてもよい。この場合、設定部113が設定する測距条件情報は、フィルタ係数を示す情報を省略することができる。インタフェース106から出力されたヒストグラムデータは、例えば外部の情報処理装置に供給され、適宜、処理される。
図5は、各実施形態に適用可能な画素回路10の基本的な構成例を示す図である。図5において、画素回路10は、受光素子1000と、トランジスタ1100、1102および1103と、インバータ1104と、スイッチ部1101と、AND回路1110と、を含む。
受光素子1000は、入射された光を光電変換により電気信号に変換して出力する。各実施形態においては、受光素子1000は、入射されたフォトン(光子)を光電変換により電気信号に変換し、フォトンの入射に応じたパルスを出力する。各実施形態では、受光素子1000として、単一フォトンアバランシェダイオードを用いる。以下、単一フォトンアバランシェダイオードを、SPAD(Single Photon Avalanche Diode)と呼ぶ。SPADは、カソードにアバランシェ増倍が発生する大きな負電圧を加えておくと、1フォトンの入射に応じて発生した電子がアバランシェ増倍を生じ、大電流が流れる特性を有する。SPADのこの特性を利用することで、1フォトンの入射を高感度で検知することができる。
図5において、SPADである受光素子1000は、カソードが結合部1120に接続され、アノードが電圧(-Vbd)の電圧源に接続される。電圧(-Vbd)は、SPADに対してアバランシェ増倍を発生させるための大きな負電圧である。結合部1120は、信号EN_PRに応じてオン(閉)、オフ(開)が制御されるスイッチ部1101の一端に接続される。スイッチ部1101の他端は、PチャネルのMOSFET(Metal Oxide Semiconductor Field Effect Transistor)であるトランジスタ1100のドレインに接続される。トランジスタ1100のソースは、電源電圧Vddに接続される。また、トランジスタ1100のゲートに、基準電圧Vrefが供給される結合部1121が接続される。
トランジスタ1100は、電源電圧Vddおよび基準電圧Vrefに応じた電流をドレインから出力する電流源である。このような構成により、受光素子1000には、逆バイアスが印加される。スイッチ部1101がオンの状態で受光素子1000にフォトンが入射されると、アバランシェ増倍が開始され、受光素子1000のカソードからアノードに向けて電流が流れる。
トランジスタ1100のドレイン(スイッチ部1101の一端)と受光素子1000のカソードとの接続点から取り出された信号が、インバータ1104に入力される。インバータ1104は、入力された信号に対して例えば閾値判定を行い、当該信号が閾値を正方向または負方向に超える毎に当該信号を反転し、パルス状の信号Vplsとして出力する。
インバータ1104から出力された信号Vplsは、AND回路1110の第1の入力端に入力される。AND回路1110の第2の入力端には、信号EN_Fが入力される。AND回路1110は、信号Vplsと信号EN_Fとが共にハイ(High)状態の場合に、信号Vplsを、端子1122を介して画素回路10から出力する。
図5において、結合部1120は、さらに、それぞれNチャネルのMOSFETであるトランジスタ1102および1103のドレインが接続される。トランジスタ1102および1103のソースは、例えば接地電位に接続される。トランジスタ1102のゲートは、信号XEN_SPAD_Vが入力される。また、トランジスタ1103のゲートは、信号XEN_SPAD_Hが入力される。これらトランジスタ1102および1103の少なくとも一方がオフ状態の場合、受光素子1000のカソードが強制的に接地電位とされ、信号Vplsがロー(Low)状態に固定される。
信号XEN_SPAD_VおよびXEN_SPAD_Hを、それぞれ、画素アレイ部100において各画素回路10が配置される2次元格子状の垂直および水平方向の制御信号として用いる。これにより、画素アレイ部100に含まれる各画素回路10のオン状態/オフ状態を、画素回路10毎に制御可能となる。なお、画素回路10のオン状態は、信号Vplsを出力可能な状態であり、画素回路10のオフ状態は、信号Vplsを出力不可の状態である。
例えば、画素アレイ部100において2次元格子の連続するq列に対して、信号XEN_SPAD_Hをトランジスタ1103がオンとなる状態とし、連続するp行に対して、信号XEN_SPAD_Vをトランジスタ1102がオンとなる状態とする。これにより、p行×q列のブロック状に、各受光素子1000の出力を有効にできる。また、信号Vplsは、AND回路1110により、信号EN_Fとの論理積により画素回路10から出力されるため、例えば信号XEN_SPAD_VおよびXEN_SPAD_Hにより有効とされた各受光素子1000の出力に対して、より詳細に有効/無効を制御可能である。
さらに、例えば出力が無効とされる受光素子1000が含まれる画素回路10に対して、スイッチ部1101をオフ状態とする信号EN_PRを供給することで、当該受光素子1000に対する電源電圧Vddの供給を停止させ、当該画素回路10をオフ状態とすることができる。これにより、画素アレイ部100における消費電力を削減することが可能である。
これら信号XEN_SPAD_V、XEN_SPAD_H、EN_PRおよびEN_Fは、例えば、全体制御部103が有するレジスタなどに記憶されるパラメータに基づき全体制御部103により生成される。パラメータは、当該レジスタに予め記憶させておいてもよいし、外部入力に従い当該レジスタに記憶させてもよい。全体制御部103により生成された各信号XEN_SPAD_V、XEN_SPAD_H、EN_PRおよびEN_Fは、画素制御部102により画素アレイ部100に供給される。
なお、上述した、スイッチ部1101、ならびに、トランジスタ1102および1103を用いた、信号EN_PR、XEN_SPAD_VおよびXEN_SPAD_Hによる制御は、アナログ電圧による制御となる。一方、AND回路1110を用いた信号EN_Fによる制御は、ロジック電圧による制御となる。そのため、信号EN_Fによる制御は、信号EN_PR、XEN_SPAD_VおよびXEN_SPAD_Hによる制御と比較して低電圧にて可能であり、取り扱いが容易である。
図6は、各実施形態に係る測距装置1に適用可能なデバイスの構成の例を示す模式図である。図6において、測距装置1は、それぞれ半導体チップからなる受光チップ20と、ロジックチップ21とが積層されて構成される。なお、図5では、説明のため、受光チップ20とロジックチップ21とを分離した状態で示している。
受光チップ20は、画素アレイ部100の領域において、複数の画素回路10それぞれに含まれる受光素子1000が2次元格子状に配列される。また、画素回路10において、トランジスタ1100、1102および1103、スイッチ部1101、インバータ1104、ならびに、AND回路1110は、ロジックチップ21上に形成される。受光素子1000のカソードは、例えばCCC(Copper-Copper Connection)などによる結合部1120を介して、受光チップ20とロジックチップ21との間で接続される。
ロジックチップ21は、受光素子1000によって取得された信号を処理する信号処理部を含むロジックアレイ部200が設けられる。ロジックチップ21に対して、さらに、当該ロジックアレイ部200と近接して、受光素子1000によって取得された信号の処理を行う信号処理回路部201と、測距装置1としての動作を制御する素子制御部203と、を設けることができる。
例えば、信号処理回路部201は、上述した測距処理部101を含むことができる。また、素子制御部203は、上述した画素制御部102、全体制御部103、クロック生成部104、発光タイミング制御部105およびインタフェース106を含むことができる。
なお、受光チップ20およびロジックチップ21上の構成は、この例に限定されない。また、素子制御部203は、ロジックアレイ部200の制御以外にも、例えば受光素子1000の近傍に、他の駆動や制御の目的で配置することができる。素子制御部203は、図6に示した配置以外にも、受光チップ20およびロジックチップ21の任意の領域に、任意の機能を有するように設けることができる。
図7は、各実施形態に係る画素アレイ部100の構成例をより具体的に示す図である。図4を用いて説明した画素制御部102は、図7においては、水平制御部102aと垂直制御部102bとに分離して示されている。
図7において、画素アレイ部100は、水平方向にx列、垂直方向y行の、計(x×y)個の画素回路10を含む。また、各実施形態では、画素アレイ部100に含まれる各画素回路10は、水平方向に3個、垂直方向に3個の計9個の画素回路10を含むエレメント11毎に制御される。
例えば、行方向(水平方向)、すなわち列単位で各画素回路10を制御するための、上述の信号XEN_SPAD_Hに対応する信号EN_SPAD_Hは、エレメント11を単位とする3ビット信号([2:0]として示す)により全体制御部103から出力され、水平制御部102aに供給される。すなわち、この1つの3ビット信号により、水平方向に連続して配置される3つの画素回路10に対する信号EN_SPAD_H[0]、EN_SPAD_H[1]およびEN_SPAD_H[2]がマージされて伝送される。
図7の例では、画素アレイ部100の左端のエレメント11から順に、信号EN_SPAD_H#0[2:0]、EN_SPAD_H#1[2:0]、…、EN_SPAD_H#(x/3)[2:0]が、全体制御部103により生成され、水平制御部102aに供給される。水平制御部102aは、各信号EN_SPAD_H#0[2:0]、EN_SPAD_H#1[2:0]、…、EN_SPAD_H#(x/3)[2:0]の3ビットの値([0]、[1]、[2]として示す)に従い、それぞれ対応するエレメント11の各列を制御する。
同様に、例えば、列方向(垂直方向)、すなわち行単位で各画素回路10を制御するための、上述の信号XEN_SPAD_Vに対応する信号EN_SPAD_Vは、エレメント11を単位とする3ビット信号で全体制御部103から出力され、垂直制御部102bに供給される。すなわち、この1つの3ビット信号により、垂直方向に連続して配置される3つの画素回路10に対する信号EN_SPAD_V[0]、EN_SPAD_V[1]およびEN_SPAD_V[2]がマージされて伝送される。
図7の例では、画素アレイ部100の下端のエレメント11から順に、信号EN_SPAD_V#0[2:0]、EN_SPAD_V#1[2:0]、…、EN_SPAD_V#(y/3)[2:0]が、全体制御部103により生成され、垂直制御部102bに供給される。垂直制御部102bは、各信号EN_SPAD_V#0[2:0]、EN_SPAD_V#1[2:0]、…、EN_SPAD_V#(y/3)[2:0]の3ビットの値に従い、それぞれ対応するエレメント11の各行を制御する。
なお、図示は省略するが、信号EN_PRは、例えば、上述の信号EN_SPAD_Vと同様に、エレメント11を単位とする3ビット信号として全体制御部103から出力され、垂直制御部102bに供給される。垂直制御部102bは、各信号EN_PRの3ビットの値に従い、それぞれ対応するエレメントの各行を制御する。
図8Aおよび図8Bは、各実施形態に係る画素アレイ部100の細部の構成の例を示す図である。より具体的には、図8Aおよび図8Bでは、信号EN_Fによる制御について示されている。
図8Aに示されるように、信号EN_Fは、画素アレイ部100の隣接する複数列を含む制御対象130毎に供給される信号である。ここでは、エレメント11のサイズに合わせて、制御対象130が3列を含むものとして示されている。また、信号EN_Fは、当該制御対象130に含まれる各行に対し、所定周期の行毎に同一の信号が供給される。すなわち、制御対象130が3列を含むこの例では、同一行の3個の画素回路10に対して、同一の信号EN_Fが供給される。図8Aでは、一例として、信号EN_Fが42ビット([41:0]として示す)の信号とされ、42行(7行×6)毎に同一の信号が供給されるものとして示されている。図8Aの例では、画素アレイ部100の左端から、3列毎に、信号EN_F#0[41:0]、EN_F#1[41:0]、…、EN_F#(x/3)[41:0]、が全体制御部103から出力され、水平制御部102aに供給される。
水平制御部102aは、各信号EN_F#0[41:0]、EN_F#1[41:0]、…、EN_F#(x/3)[41:0]の各ビットを、それぞれ対応する制御対象130の各行に供給する。図8Bに示されるように、水平制御部102aは、例えば画素アレイ部100の左端の制御対象130に対し、信号EN_F#0[0]を、第1行目、第42(m+1)行目(mは1以上の整数)、…、第42(n+1)行目、…と、42行毎に供給する。水平制御部102aは、信号EN_F#0[2]についても同様に、第2行目、第42(m+2)行目、…と、42行毎に供給する。なお、図8Bにおいて、制御対象130の上端の行は、42行単位の前半となっていて、信号EN_F#0[20]が供給される。
すなわち、この42ビットの信号EN_F[41:0]により、水平方向に連続して配置される3つの画素回路10による組が、垂直方向に連続して配置される42組に対する信号EN_F[0]、EN_F[1]、…、EN_F[41]がマージされて伝送される。
このように、画素アレイ部100は、信号EN_Fにより、複数列毎に異なる制御が可能とされる。さらに、画素アレイ部100は、当該複数列内において、複数行毎に同一の信号EN_Fが供給される。したがって、画素アレイ部100に含まれる各画素回路10に対して、当該複数列を幅方向の最小単位として、当該複数行を周期とした制御が可能である。
図9は、各実施形態に係る、各画素回路10から信号Vplsを読み出すための構成の例を示す図である。なお、図9では、図中に矢印で示すように、図の横方向が列方向となっている。
各実施形態では、列方向の所定数の画素回路10毎に、信号Vplsを読み出す読み出し配線を共有化する。図9の例では、v個の画素回路10毎に、読み出し配線を共有化している。例えば、1列に配置される各画素回路10をv個ずつ含むグループ12u、12u+1、12u+2、…を考える。グループ12uは、画素回路1011~101vを、グループ12u+1は、画素回路1021~102vを、グループ12u+2は、1031~103v、…を、それぞれ含む。
各グループ12u、12u+1、12u+2、…において、グループ内での位置が対応する画素回路10の読み出し配線を共有化する。図9の例では、図の右側を位置の先頭側として、グループ12uの第1番目の画素回路1011、グループ12u+1の第1番目の画素回路1021、グループ12u+2の第1番目の画素回路1031、…の読み出し配線を共有化する。図9の例では、各画素回路1011、1021、1031、…の読み出し配線を、順次、OR回路4111、4121、4131、…を介して接続することで、複数の読み出し配線の共有化を行っている。
例えば、グループ12uに対して、グループ12uに含まれる画素回路1011~101vそれぞれに対して、OR回路4111、4112、…、411vを設け、それぞれの第1の入力端に、画素回路1011~101vの読み出し配線を接続する。また、グループ12u+1に対しても同様に、グループ12u+1に含まれる画素回路1021~102vに対してそれぞれOR回路4121~412vを設ける。さらに同様に、グループ12u+2についても、グループ12u+2に含まれる画素回路1031~103vに対してそれぞれOR回路4131~413vを設ける。
なお、各OR回路4111~411vの出力は、例えば測距処理部101に入力される。
画素回路1011、1021および1031を例に取ると、OR回路4111は、第1の入力端に画素回路1011の読み出し配線が接続され、第2の入力端にOR回路4121の出力が接続される。OR回路4121は、第1の入力端に画素回路1021の読み出し配線が接続され、第2の入力端にOR回路4131の出力が接続される。OR回路4131以降についても同様である。
この図9に示す構成に対して、例えば垂直制御部102bは、信号EN_SPAD_Vにより、各グループ12u、12u+1、12u+2、…において位置が対応する各画素回路10から、同時に読み出しを行わないように制御する。換言すれば、垂直制御部102bは、列に、(v-1)個おきに配置される複数の画素回路10のうち1の画素回路10のみ、読み出し可能に制御する。図9の例では、垂直制御部102bは、例えば、画素回路1011と、画素回路1021と、画素回路1031と、から同時に読み出しを行わないように制御する。これに限らず、この列方向の同時読み出しの制御は、水平制御部102aが信号EN_Fを用いて行うことも可能である。
一方、この図9に示す構成では、垂直制御部102bは、列に連続して配置されるv個の画素回路10からの同時読み出しを指定することができる。このとき、垂直制御部102bは、同時に読み出しを行う画素回路10を、グループ12u、12n+1、12u+2、…を跨いで指定することができる。すなわち、図9に示す構成では、列方向に連続するv個の画素回路10が同時読み出し可能である。例えば、グループ12uに含まれる先頭から3番目の画素回路1013から、グループ12u+1に含まれる先頭から2番目の画素回路1022までの、連続して配置されるv個の画素回路10に対して、同時読み出しを指定することが可能である。
また、垂直制御部102bは、列において連続して配置されるv個の画素回路10からの同時読み出しを指定する場合、当該列の他の画素回路10からの読み出しを行わないように制御する。そのため、例えばOR回路4111の出力は、画素回路1011、1021、1031、…の何れか1つの画素回路10から読み出された信号Vplsとなる。
このように、各画素回路10の読み出し配線の接続と、各画素回路10に対する読み出し制御を行うことで、列単位での読み出し配線の数を削減することが可能となる。
(既存技術による画素アレイのスキャン方法の例)
次に、本開示の説明に先立って、既存技術による画素アレイ部100のスキャン方法について、概略的に説明する。図10は、既存技術による画素アレイ部100のスキャン方法の例を示す図である。
次に、本開示の説明に先立って、既存技術による画素アレイ部100のスキャン方法について、概略的に説明する。図10は、既存技術による画素アレイ部100のスキャン方法の例を示す図である。
光源の光を直線状にスキャンし、その反射光を画素アレイ部100により受光する場合において、光源から射出される光のスキャン軌跡に歪やズレが含まれ、直線状にならない場合がある。このスキャン軌跡の歪やズレは、例えば光源から射出された光をスキャンさせる機構の精度に起因するもので、装置特有の歪やズレとなる。光源から射出された光のスキャン軌跡の歪やズレは、画素アレイ部100に受光される反射光に反映される。図10では、画素アレイ部100に受光される反射光の軌跡50が蛇行している例が示されている。このような場合、読み出しを行う読み出し領域51aの幅(高さ)を、軌跡50の蛇行を考慮して、反射光を取得したい幅(反射光の軌跡50の幅)に対して広く取る必要がある。
図10の例では、複数の画素回路10を含む画素531、532、533および534を単位として読み出しが行われる。より具体的には、各画素531~534それぞれにおいて、各画素531~534に含まれる各画素回路10において露光およびフォトン検出が行われ、信号Vplsが生成される。例えば画素531において、画素531に含まれる各画素回路10から読み出された信号Vplsに基づきヒストグラム生成、ピーク検出が行われ、測距が実行される。
ここで、既存技術によれば、反射光の軌跡50を含むように読み出し領域51aが設定されるため、反射光が受光されない領域52aおよび52bに含まれる画素回路10からも、信号Vplsの読み出しが行われることになる。この領域52aおよび52bに含まれる画素回路10は、光源から射出された光の反射光が受光されない、測距には不要な画素回路10となる。
この不要な画素回路10からの読み出しを行うことで、画素アレイ部100や、画素アレイ部100から読み出された信号Vplsに対して信号処理を行う測距処理部101などにおいて、不要な電力が消費されてしまうことになる。また、読み出し範囲が反射光の軌跡50に対して広がるため、信号に対するタイミングケアの必要がある、各画素回路10から読み出しを行うための読み出し配線数が、本来必要な配線数に対して増加してしまう。さらに、不要な画素回路10からの読み出しを行うため、外乱光(環境光)の影響がより大きくなるおそれがある。
[第1の実施形態]
次に、本開示の第1の実施形態について説明する。本開示の第1の実施形態では、画素アレイ部100において、反射光の軌跡50に応じて、読み出しを行う画素回路10を選択可能とする。
次に、本開示の第1の実施形態について説明する。本開示の第1の実施形態では、画素アレイ部100において、反射光の軌跡50に応じて、読み出しを行う画素回路10を選択可能とする。
図11は、第1の実施形態に係る画素アレイ部100のスキャン方法の例を示す図である。第1の実施形態では、反射光の軌跡50に応じて、画素回路10を単位として、あるいは、複数の画素回路10を含むエレメント11を単位として、読み出し領域を設定する。図10の例では、画素アレイ部100に照射される反射光の軌跡50に応じて、画素回路10を単位として、各読み出し領域51b1~51b8を設定している。
例えば、画素531において、当該画素531に含まれる各画素回路10のうち、反射光の軌跡50に掛かる読み出し領域51b1および51b2に含まれる各画素回路10を、読み出しを行う画素回路10として指定する。同様に、画素532において、当該画素532に含まれる各画素回路10のうち、反射光の軌跡50に掛かる読み出し領域51b3および51b4に含まれる各画素回路10を、読み出しを行う画素回路10として指定する。さらに同様に、画素533および534についても、読み出し領域51b5および51b6、ならびに、読み出し領域51b7および51b8それぞれに含まれる各画素回路10を、読み出しを行う画素回路10として指定する。
このように各読み出し領域51b1~51b8を設定することで、各読み出し領域51b1~51b8の幅(高さ)と、反射光を取得したい幅(反射光の軌跡50の幅)と、を略等しくすることが可能となる。これにより、上述した既存技術のスキャン方法と比較して、読み出しを行う画素回路10の個数を必要最小限に抑えることができ、消費電力の削減が可能となる。また、既存技術のスキャン方法と比較して、各読み出し領域51b1~51b8の幅が小さくなるため、各画素回路10から読み出しを行うための読み出し配線数を削減することが可能となる。
さらに、第1の実施形態に係るスキャン方法では、図10に示した、反射光が受光されない領域52aおよび52bを極めて小さくすることができ、外乱光などの影響を抑制することが可能である。
図12Aおよび図12Bを用いて、第1の実施形態に係るスキャン方法による、外乱光の影響の抑制について、より具体的に説明する。図12Aは、図10に例示した、既存技術のスキャン方法により各画素回路10の読み出しを行った場合のヒストグラムの例を示す図である。また、図12Bは、図11に例示した、第1の実施形態に係るスキャン方法により各画素回路10の読み出しを行った場合のヒストグラムの例を示す図である。
なお、この図12Aおよび図12Bでは、例えば図2を用いて説明したようなヒストグラムに対してローパスフィルタ処理を施して当該ヒストグラムを曲線近似したものとして示している。
図12Aにおいて、オフセット55aは、反射光が受光されない領域52aおよび52bに含まれる、不要な画素回路10から読み出された信号Vplsによる計測値を含む。一方、図12Bにおいて、これら領域52aおよび52bに含まれる各画素回路10からの読み出しが行われないため、オフセット55bが、図12Aに示すオフセット55aと比較して少なくなる。
ここで、ヒストグラムにおける小さなピーク56aおよび56bについて考える。図12Bに示す、第1の実施形態に係るスキャン方法によるピーク56bおよびオフセットは、図10に示した、反射光が受光されない領域52aおよび52bに対する計測値を含まない。そのため、オフセット55bに対するピーク56bの比の値は、既存技術のスキャン方法によるオフセット55aに対するピーク56aの比の値に対して大きな値となる。したがって、第1の実施形態に係るスキャン方法に基づくヒストグラムは、既存技術によるスキャン方法に基づくヒストグラムと比較して、ピークの検出が容易となり、第1の実施形態に係るスキャン方法を適用することで、より高精度の測距が可能となる。
(第1の実施形態に係るスキャン方法のより具体的な説明)
次に、第1の実施形態に係る画素アレイ部100におけるスキャン方法について、より具体的に説明する。先ず、図13、ならびに、図14Aおよび図14Bを用いて、各画素回路10の読み出し配線の共有化について説明する。
次に、第1の実施形態に係る画素アレイ部100におけるスキャン方法について、より具体的に説明する。先ず、図13、ならびに、図14Aおよび図14Bを用いて、各画素回路10の読み出し配線の共有化について説明する。
図13は、上述した図11と同等の図であって、蛇行している反射光の軌跡50に応じた各読み出し領域51b1~51b8を設定した例を示している。ここで、画素アレイ部100において1列当りの読み出しを行いたい領域が、水平制御部102aにより列に連続して配置される画素回路10の同時読み出しが可能な個数である、v個の画素回路10を含むものとする。また、当該読み出しを行いたい領域の、軌跡50に従った列毎のズレの最大の幅(高さ)がr個(r>v)の画素回路10を含むものとする。
ここで、図10を用いて説明した既存技術によれば、反射光が照射された位置の画素回路10の読み出しを行う場合、列毎にr個の画素回路10をオン状態(読み出し可能状態)とし、r個の画素回路10に対してそれぞれ読み出し配線を用意する必要がある。
これに対して、第1の実施形態では、信号XEN_SPAD_VおよびXEN_SPAD_H、ならびに、信号EN_Fにより、画素回路10を単位とした読み出し制御が可能である。また、図9を用いて説明したように、垂直制御部102bは、列方向に連続して配置されるv個の画素回路10に対して同時読み出しを指定することが可能である。また、垂直制御部102bは、列において(v-1)個おきに配置される複数の画素回路10のうち1の画素回路10のみ、読み出しを行うように指定することができる。
図14Aおよび図14Bは、第1の実施形態に係る、各画素回路10の読み出し配線の共有化についてより具体的に説明するための図である。なお、図14Aおよび図14Bにおいて、黒四角は、垂直制御部102bにより読み出しを行わない、あるいはオフ状態となるように制御された画素回路10を示し、白四角は、読み出しを行うように制御された画素回路10を示している。
図14Aに示されるように、垂直制御部102bは、ある列に連続して配置される、当該列における読み出しを行いたい領域に対応するv個の画素回路1011~101vに対して同時読み出しを指定する。この画素回路1011~101vは、1つのグループ12uに含まれている。
例えば、垂直制御部102bは、各画素回路1011~101vに対し、それぞれトランジスタ1102および1103をオフ状態にする信号XEN_SPAD_VおよびXEN_SPAD_Hを供給すると共に、スイッチ部1101をオン状態とする信号EN_PRを供給する。また、水平制御部102aは、各画素回路1011~101vに供給する信号EN_Fをハイ状態とする。これにより、各画素回路1011~101vが同時読み出し可能な状態となる。
また、垂直制御部102bは、当該列に配置される他の画素回路10に対して、読み出しを行わないよう制御する。例えば、水平制御部102aは、当該他の画素回路10に対し、例えばトランジスタ1102をオン状態にする信号XEN_SPAD_Vを供給すると共に、スイッチ部1101をオフ状態とする信号EN_PRを供給する。また、水平制御部102aは、当該他の画素回路10に供給する信号EN_Fをロー状態とする。これにより、当該他の画素回路10の読み出しが行われない状態となる。
図14Bは、図14Aに示した列とは異なる列(例えば図14Aに示した列に隣接する列)における読み出し指定の例を示す図である。この図14Bの例では、当該異なる列において読み出しを行いたい領域に対応するv個の画素回路1013~1022に対して同時読み出しを指定する。この画素回路1013~1022は、2つのグループ12uとグループ12u+1とに跨って含まれている。また、水平制御部102aおよび垂直制御部102bは、信号XEN_SPAD_H、XEN_SPAD_V、EN_FおよびEN_PRにより、当該列に配置される他の画素回路10に対して、読み出しを行わないように制御する。
このような構成により、第1の実施形態の構成では、v個の画素回路10に対する読み出し配線を用意すればよく、既存技術に対して読み出し配線の本数を削減することが可能となる。また、読み出しを行いたい領域を超えた領域に配置される各画素回路10が同時に読み出し可能とされないように制御されると共に、100psec単位、あるいは、それ以下の時間で配線遅延のケアが必要な読み出し配線が共有化されている。そのため、配線遅延のケアの対象や、高速動作が必要な後段の回路を削減することが可能である。
さらに、垂直制御部102bは、信号EN_PRにより、読み出しを行いたい領域を超えた領域に配置される各画素回路10に対する電源電圧Vddの供給を停止させている。これにより、反射光が照射されない画素回路10における電力消費が抑制され、画素アレイ部100全体の消費電力も削減される。
なお、上述では、画素回路10を単位として、読み出しを行うか否か(画素回路10のオン/オフ)を制御しているが、これはこの例に限定されない。例えば、水平制御部102aおよび垂直制御部102bは、画素回路10のオン/オフを、p行×q列の、(p×q)個の画素回路10を含むブロック毎に制御することができる。例えば、図7を用いて説明した、3行×3列の9個の画素回路10を含むエレメント11のブロックを単位として、画素回路10のオン/オフを制御することができる。このブロック単位の制御においては、画素回路10をブロック単位でオン/オフするための信号線(例えば信号EN_Fの信号線)とのトレードオフで、オン/オフの制御単位の調整が可能である。
(第1の実施形態に係る読み出し領域指定の具体的な例)
図15および図16を用いて、反射光の軌跡50に応じた読み出し領域の指定について、より具体的に説明する。図15は、第1の実施形態に係る、各読み出し領域の指定方法の例を示す図である。図15において、画素アレイ部100における有効領域60を基準として、読み出し領域61を指定する。読み出し領域61の基点位置62を読み出し領域61の例えば左端、および、当該左端における下端の位置とし、基点位置62を、有効領域60の左端および下端からの位置により指定する。
図15および図16を用いて、反射光の軌跡50に応じた読み出し領域の指定について、より具体的に説明する。図15は、第1の実施形態に係る、各読み出し領域の指定方法の例を示す図である。図15において、画素アレイ部100における有効領域60を基準として、読み出し領域61を指定する。読み出し領域61の基点位置62を読み出し領域61の例えば左端、および、当該左端における下端の位置とし、基点位置62を、有効領域60の左端および下端からの位置により指定する。
また、図15の例では、読み出し領域61は、図15において左側の範囲68と、右側の範囲69とに分割されて指定される。分割の基準位置65は、水平方向には、読み出し領域61の基点位置62に対する水平方向のオフセット63として指定される。また、当該基準位置65は、垂直方向には、有効領域60の下端を基準とした高さ64として指定される。また、範囲68において垂直方向の高さが変わる位置を、調整間隔66により指定し、変化する高さを、調整量67により指定する。これは、範囲69においても同様である。
図15の例では、範囲68の各パラメータ(各指定値)が、例えば全体制御部103が有するレジスタの一つである調整レジスタ#0に記憶され、範囲69の各パラメータが、同様に全体制御部103が有するレジスタの一つである調整レジスタ#1に記憶される。範囲68および69の各パラメータ(指定値)は、これら調整レジスタ#0および#1に予め記憶されていてもよいし、全体制御部103に対する外部入力により記憶させてもよい。
例えば全体制御部103は、上述した各指定を行うための各パラメータをレジスタから読み出し、読み出されたパラメータに基づき、例えば信号EN_SPAD_H、EN_SPAD_V、EN_FおよびEN_PRを生成する。全体制御部103は、生成した信号EN_SPAD_HおよびEN_Fを水平制御部102aに渡す。水平制御部102aは、渡された信号EN_SPAD_Hに基づく信号XEN_SPAD_Hを、画素アレイ部100の所定の列に供給する。また、水平制御部102aは、渡された信号EN_Fを、画素アレイ部100の所定の複数列(例えば3列)、および、所定周期毎の所定行に供給する。さらに、全体制御部103は、生成した信号EN_SPAD_VおよびEN_PRを垂直制御部102bに渡す。垂直制御部102bは、渡された信号EN_PRと、信号EN_SPAD_Vに基づく信号XEN_SPAD_Vとを、画素アレイ部100の所定の行に供給する。
図16は、第1の実施形態に係る、光源の分割を想定して、複数の読み出し領域を指定する例を示す図である。例えば、光源部2(図3参照)を4つのレーザダイオードにて構成し、各レーザダイオードに対応する読み出し領域611、612、613および614を指定する。この場合、例えば、左端の読み出し領域611の基点位置62に対して、各読み出し領域612、613および614の基点位置651、652および653を指定する。
例えば、読み出し領域612の基点位置651は、基点位置62に対する水平方向のオフセット631と、有効領域60の下端を基準とした高さ641により指定される。同様に、読み出し領域613および614の各基点位置652および653は、それぞれ、基点位置62に対する水平方向のオフセット632および633と、有効領域60の下端を基準とした高さ642および643により指定される。
また、図16では省略されているが、図15と同様に、各読み出し領域611~614において、垂直方向の高さが変わる位置を調整間隔66により指定し、変化する高さを、調整量67により指定する。指定された各指定値は、読み出し領域を指定するためのパラメータとして、調整レジスタに記憶される。
例えば全体制御部103は、図15での説明と同様に、上述した各指定を行うパラメータを調整レジスタから読み出し、読み出した各パラメータに基づき各信号EN_SPAD_H、EN_SPAD_V、EN_FおよびEN_PRを生成する。全体制御部103は、生成した信号EN_SPAD_HおよびEN_Fを水平制御部102aに渡し、信号EN_SPAD_VEN_PRを垂直制御部102bに渡す。
(第1の実施形態に適用可能なキャリブレーション処理)
次に、第1の実施形態に係る、読み出し領域のキャリブレーション処理について説明する。上述したように、画素アレイ部100に照射される反射光の軌跡50の歪やズレが装置特有のものである場合、この軌跡50を予め取得することができる。取得した軌跡50の情報に基づき図15および図16で説明した各パラメータを求め、全体制御部103が有する調整レジスタに記憶させる。
次に、第1の実施形態に係る、読み出し領域のキャリブレーション処理について説明する。上述したように、画素アレイ部100に照射される反射光の軌跡50の歪やズレが装置特有のものである場合、この軌跡50を予め取得することができる。取得した軌跡50の情報に基づき図15および図16で説明した各パラメータを求め、全体制御部103が有する調整レジスタに記憶させる。
図17は、第1の実施形態に係る読み出し領域のキャリブレーション処理を示す一例のフローチャートである。例えば、測距装置1(図4参照)に対して一定の距離に対象物を設置する(ステップS100)。対象物は、例えば白い紙や板など、反射率および均一性が高いものが好ましい。
次に、ステップS101で、出力を用いる画素回路10を選択する。画素回路10は、1つのみを指定してもよいし、計測値を加算する例えば画素531よりも狭い範囲に含まれる複数の画素回路10を選択してもよい。ここでは、1つの画素回路10を選択するものとして説明を行う。
図18は、第1の実施形態に係る読み出し領域のキャリブレーション処理を説明するための模式図である。図18において、ステップS101において画素回路10objが選択されたものとする。次のステップS102で、測距装置1は、例えば全体制御部103の制御により光源部2を発光させ、当該画素回路10objにおいて露光を開始する。次のステップS103で、測距装置1において測距処理部101は、画素回路10objから出力された信号Vplsに基づき受光タイミングを計測し、計測値を記憶する。
なお、ステップS102およびステップS103の処理を複数回繰り返して実行して、所定位置での画素回路10objの出力に基づきヒストグラムを生成してもよい。
次のステップS104で、全体制御部103は、ステップS101~ステップS103の処理が所定領域分終了したか否かを判定する。例えば、全体制御部103は、画素アレイ部100内あるいは有効領域60内の全ての画素回路10について処理が終了した場合に、所定領域分の処理が終了したと判定する。これに限らず、画素531に含まれる全ての画素回路10について処理が終了した場合に、所定領域分の処理が終了したと判定してもよいし、さらに別の領域を設定し、設定された領域内で処理が終了したか否かを判定してもよい。
全体制御部103は、所定領域分の処理が終了していないと判定した場合(ステップS104、「No」)、処理をステップS105に移行させる。ステップS105で、全体制御部103は、次に出力を用いる画素回路10を指定するための、ずらし量および方向を設定する。例えば、全体制御部103は、画素回路10objの位置に対して、矢印82で示される垂直方向、または、矢印83で示される水平方向に、1画素回路10分、ずらした位置を設定する。全体制御部103は、処理をステップS101に戻し、ステップS105で設定された位置の画素回路10を新たに出力を用いる画素回路10objとして指定し、ステップS102以降の処理を実行し、計測値を蓄積する。
ステップS104で、全体制御部103は、所定領域分の処理が終了したと判定した場合(ステップS104、「Yes」)、処理をステップS106に移行させる。ステップS106で、全体制御部103は、ステップS101~ステップS105の処理による出力結果、すなわち、ステップS103で蓄積された計測値を解析する。次のステップS107で、全体制御部103は、ステップS106の解析結果に基づき、読み出し領域を決定する。例えば、全体制御部103は、各位置での画素回路10objにおける反応頻度に基づき、その位置が読み出し領域に含める位置として適切か否かを判定する。
全体制御部103は、ステップS107で決定された読み出し領域を示す各パラメータを、レジスタに記憶させる。これにより、例えば読み出し領域51b1が設定される。
この図17のフローチャートによる処理は、当該測距装置1を含む電子機器6を利用するユーザが、測距装置1による測距機能を利用する際に実行し、読み出し領域の補正に用いることができる。これに限らず、当該測距装置1を含む電子機器6の出荷時などに、メーカにおいて当該フローチャートにより処理を実行し、読み出し領域を決定してもよい。さらに、図17のフローチャートの処理に依らず、当該測距装置1を含む電子機器6の組立工程などにおいて光源部2の取り付け位置などに応じて、光源部2からの光の反射光が画素アレイ部100に受光される際の軌跡50を推測し、推測結果に基づき、読み出し領域を示す各パラメータを生成しレジスタに記憶させてもよい。
[第2の実施形態]
次に、本開示の第2の実施形態として、本開示の第1の実施形態の適用例について説明する。図19は、第2の実施形態による、上述の第1の実施形態に係る測距装置1を使用する使用例を示す図である。
次に、本開示の第2の実施形態として、本開示の第1の実施形態の適用例について説明する。図19は、第2の実施形態による、上述の第1の実施形態に係る測距装置1を使用する使用例を示す図である。
上述した測距装置1は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
[本開示に係る技術のさらなる適用例]
(移動体への適用例)
本開示に係る技術は、さらに、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットといった各種の移動体に搭載される装置に対して適用されてもよい。
(移動体への適用例)
本開示に係る技術は、さらに、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットといった各種の移動体に搭載される装置に対して適用されてもよい。
図20は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図20に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、および統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、および車載ネットワークI/F(インタフェース)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット12030は、例えば、受信した画像に対して画像処理を施し、画像処理の結果に基づき物体検出処理や距離検出処理を行う。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図20の例では、出力装置として、オーディオスピーカ12061、表示部12062およびインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図21は、撮像部12031の設置位置の例を示す図である。図21では、車両12100は、撮像部12031として、撮像部12101、12102、12103、12104および12105を有する。
撮像部12101、12102、12103、12104および12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101および車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101および12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図21には、撮像部12101~12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112および12113は、それぞれサイドミラーに設けられた撮像部12102および12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101~12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101~12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101~12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101~12104から得られた距離情報を基に、撮像範囲12111~12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101~12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101~12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101~12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101~12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101~12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031に適用され得る。具体的には、上述した本開示の第1の実施形態に係る測距装置1を撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、走行する車両からの測距を行う測距装置1を、より小規模な構成で提供可能である。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
行列状の配列で配置される複数の受光素子を含む受光部と、
前記複数の受光素子から読み出しを行った各信号を伝送する複数の読み出し線と、
を備え、
前記複数の読み出し線は、
それぞれ、前記複数の受光素子のうち、2以上の受光素子に接続される
受光装置。
(2)
前記複数の受光素子を前記配列の行毎に制御する行制御信号を伝送する複数の行制御信号線と、
前記複数の受光素子を前記配列の列毎に制御する列制御信号を伝送する複数の列制御信号線と、
をさらに備え、
前記複数の行制御信号線は、
それぞれ、前記配列の複数の行それぞれに対する前記行制御信号を伝送し、
前記複数の列制御信号線は、
それぞれ、前記配列の複数の列それぞれに対する前記列制御信号を伝送する
前記(1)に記載の受光装置。
(3)
前記列制御信号および前記行制御信号のうち少なくとも一方は、前記受光素子に対する電源の供給を制御する電源制御信号を含む
前記(2)に記載の受光装置。
(4)
前記複数の受光素子を、2以上の受光素子を含む組毎に制御する組制御信号を伝送する複数の組制御信号線をさらに備え、
前記複数の組制御信号線は、
それぞれ、2以上の前記組それぞれに対する前記組制御信号を伝送する
前記(1)乃至(3)の何れかに記載の受光装置。
(5)
前記複数の読み出し線は、
それぞれ、OR回路を介して前記2以上の受光素子が接続される
前記(1)に記載の受光装置。
(6)
前記OR回路は、第1のOR回路と第2のOR回路とを含み、
前記第1のOR回路の第1の入力端には、前記2以上の受光素子のうち第1の受光素子が接続され、
該第1のOR回路の第2の入力端には、前記2以上の受光素子のうち前記第2のOR回路の出力端が接続され、
該第2のOR回路の第1の入力端には、前記2以上の受光素子のうち第2の受光素子が接続される
前記(5)に記載の受光装置。
(7)
前記受光部は、
前記複数の読み出し線が前記配列の行または列のうち所定の方向に沿ってそれぞれ設けられ、
前記2以上の受光素子は、
前記配列の前記所定の方向に沿って(v-1)個(vは2以上の整数)おきに前記読み出し線に接続される
前記(1)乃至(6)の何れかに記載の受光装置。
(8)
前記複数の受光素子のうち前記読み出しを行う受光素子を指定する指定部をさらに備え、
前記指定部は、
前記2以上の受光素子の前記読み出しを異なるタイミングで指定する
前記(1)乃至(7)の何れかに記載の受光装置。
(9)
前記指定部は、
前記複数の受光素子のうち前記2以上の受光素子が接続される方向に沿って連続して配置されるv個の受光素子の前記読み出しを同じタイミングで指定する
前記(8)に記載の受光装置。
(10)
前記指定部は、
前記読み出しを、前記受光部が含む前記複数の受光素子のうち、前記配列内の矩形領域に含まれる複数の受光素子に対して指定する
前記(8)または(9)に記載の受光装置。
(11)
前記受光部は、
光源から射出された光が対象物により反射された反射光を含む光を受光し、
前記指定部は、
予め取得された、前記反射光が前記受光部に照射されると推測される領域に応じて、前記複数の受光素子のうち前記信号の読み出しを行う受光素子を指定する
前記(8)乃至(10)の何れかに記載の受光装置。
(12)
前記複数の受光素子のうち前記読み出しを行う受光素子を指定するためのパラメータを記憶する記憶部をさらに備え、
前記指定部は、
前記記憶部に記憶される前記パラメータに基づき前記読み出しを行う受光素子を指定する
前記(8)乃至(11)の何れかに記載の受光装置。
(13)
前記記憶部は、
外部入力に応じて前記パラメータの記憶を行う
前記(12)に記載の受光装置。
(14)
行列状の配列で配置される複数の受光素子を含む受光部と、
前記複数の受光素子から読み出しを行った各信号を伝送する複数の読み出し線と、
光源が発光した発光タイミングから、前記複数の受光素子が受光した受光タイミングまで、の時間を計測して計測値を取得する時間計測部と、
前記計測値のヒストグラムを生成する生成部と、
前記ヒストグラムに基づき被測定物までの距離を演算する演算部と、
を備え、
前記複数の読み出し線は、
それぞれ、前記複数の受光素子のうち、2以上の受光素子が接続される
測距装置。
(15)
前記複数の受光素子を前記配列の行毎に制御する行制御信号を伝送する複数の行制御信号線と、
前記複数の受光素子を前記配列の列毎に制御する列制御信号を伝送する複数の列制御信号線と、
をさらに備え、
前記複数の行制御信号線は、
それぞれ、前記配列の複数の行それぞれに対する前記行制御信号を伝送し、
前記複数の列制御信号線は、
それぞれ、前記配列の複数の列それぞれに対する前記列制御信号を伝送する
前記(14)に記載の測距装置。
(16)
前記列制御信号および前記行制御信号のうち少なくとも一方は、前記受光素子に対する電源の供給を制御する電源制御信号を含む
前記(15)に記載の測距装置。
(17)
前記複数の受光素子を、2以上の受光素子を含む組毎に制御する組制御信号を伝送する複数の組制御信号線をさらに備え、
前記複数の組制御信号線は、
それぞれ、2以上の前記組それぞれに対する前記組制御信号を伝送する
前記(14)乃至(16)の何れかに記載の測距装置。
(18)
前記複数の読み出し線は、
それぞれ、OR回路を介して前記2以上の受光素子が接続される
前記(14)乃至(17)の何れかに記載の測距装置。
(19)
前記OR回路は、第1のOR回路と第2のOR回路とを含み、
前記第1のOR回路の第1の入力端には、前記2以上の受光素子のうち第1の受光素子が接続され、
該第1のOR回路の第2の入力端には、前記2以上の受光素子のうち前記第2のOR回路の出力端が接続され、
該第2のOR回路の第1の入力端には、前記2以上の受光素子のうち第2の受光素子が接続される
前記(18)に記載の測距装置。
(20)
前記受光部は、
前記複数の読み出し線が前記配列の行または列のうち所定の方向に沿ってそれぞれ設けられ、
前記2以上の受光素子は、
前記配列の前記所定の方向に沿って(v-1)個(vは2以上の整数)おきに前記読み出し線に接続される
前記(14)乃至(19)の何れかに記載の測距装置。
(21)
前記複数の受光素子のうち前記読み出しを行う受光素子を指定する指定部をさらに備え、
前記指定部は、
前記2以上の受光素子の前記読み出しを異なるタイミングで指定する
前記(14)に記載の測距装置。
(22)
前記指定部は、
前記複数の受光素子のうち前記2以上の受光素子が接続される方向に沿って連続して配置されるv個の受光素子の前記読み出しを同じタイミングで指定する
前記(21)に記載の測距装置。
(23)
前記指定部は、
前記読み出しを、前記受光部が含む前記複数の受光素子のうち、前記配列内の矩形領域に含まれる複数の受光素子に対して指定する
前記(21)または(22)に記載の測距装置。
(24)
前記受光部は、
光源から射出された光が対象物により反射された反射光を含む光を受光し、
前記指定部は、
予め取得された、前記反射光が前記受光部に照射されると推測される領域に応じて、前記複数の受光素子のうち前記信号の読み出しを行う受光素子を指定する
前記(21)乃至(23)の何れかに記載の測距装置。
(25)
前記複数の受光素子のうち前記読み出しを行う受光素子を指定するためのパラメータを記憶する記憶部をさらに備え、
前記指定部は、
前記記憶部に記憶される前記パラメータに基づき前記読み出しを行う受光素子を指定する
前記(21)乃至(24)の何れかに記載の測距装置。
(26)
前記記憶部は、
外部入力に応じて前記パラメータの記憶を行う
前記(25)に記載の測距装置。
(1)
行列状の配列で配置される複数の受光素子を含む受光部と、
前記複数の受光素子から読み出しを行った各信号を伝送する複数の読み出し線と、
を備え、
前記複数の読み出し線は、
それぞれ、前記複数の受光素子のうち、2以上の受光素子に接続される
受光装置。
(2)
前記複数の受光素子を前記配列の行毎に制御する行制御信号を伝送する複数の行制御信号線と、
前記複数の受光素子を前記配列の列毎に制御する列制御信号を伝送する複数の列制御信号線と、
をさらに備え、
前記複数の行制御信号線は、
それぞれ、前記配列の複数の行それぞれに対する前記行制御信号を伝送し、
前記複数の列制御信号線は、
それぞれ、前記配列の複数の列それぞれに対する前記列制御信号を伝送する
前記(1)に記載の受光装置。
(3)
前記列制御信号および前記行制御信号のうち少なくとも一方は、前記受光素子に対する電源の供給を制御する電源制御信号を含む
前記(2)に記載の受光装置。
(4)
前記複数の受光素子を、2以上の受光素子を含む組毎に制御する組制御信号を伝送する複数の組制御信号線をさらに備え、
前記複数の組制御信号線は、
それぞれ、2以上の前記組それぞれに対する前記組制御信号を伝送する
前記(1)乃至(3)の何れかに記載の受光装置。
(5)
前記複数の読み出し線は、
それぞれ、OR回路を介して前記2以上の受光素子が接続される
前記(1)に記載の受光装置。
(6)
前記OR回路は、第1のOR回路と第2のOR回路とを含み、
前記第1のOR回路の第1の入力端には、前記2以上の受光素子のうち第1の受光素子が接続され、
該第1のOR回路の第2の入力端には、前記2以上の受光素子のうち前記第2のOR回路の出力端が接続され、
該第2のOR回路の第1の入力端には、前記2以上の受光素子のうち第2の受光素子が接続される
前記(5)に記載の受光装置。
(7)
前記受光部は、
前記複数の読み出し線が前記配列の行または列のうち所定の方向に沿ってそれぞれ設けられ、
前記2以上の受光素子は、
前記配列の前記所定の方向に沿って(v-1)個(vは2以上の整数)おきに前記読み出し線に接続される
前記(1)乃至(6)の何れかに記載の受光装置。
(8)
前記複数の受光素子のうち前記読み出しを行う受光素子を指定する指定部をさらに備え、
前記指定部は、
前記2以上の受光素子の前記読み出しを異なるタイミングで指定する
前記(1)乃至(7)の何れかに記載の受光装置。
(9)
前記指定部は、
前記複数の受光素子のうち前記2以上の受光素子が接続される方向に沿って連続して配置されるv個の受光素子の前記読み出しを同じタイミングで指定する
前記(8)に記載の受光装置。
(10)
前記指定部は、
前記読み出しを、前記受光部が含む前記複数の受光素子のうち、前記配列内の矩形領域に含まれる複数の受光素子に対して指定する
前記(8)または(9)に記載の受光装置。
(11)
前記受光部は、
光源から射出された光が対象物により反射された反射光を含む光を受光し、
前記指定部は、
予め取得された、前記反射光が前記受光部に照射されると推測される領域に応じて、前記複数の受光素子のうち前記信号の読み出しを行う受光素子を指定する
前記(8)乃至(10)の何れかに記載の受光装置。
(12)
前記複数の受光素子のうち前記読み出しを行う受光素子を指定するためのパラメータを記憶する記憶部をさらに備え、
前記指定部は、
前記記憶部に記憶される前記パラメータに基づき前記読み出しを行う受光素子を指定する
前記(8)乃至(11)の何れかに記載の受光装置。
(13)
前記記憶部は、
外部入力に応じて前記パラメータの記憶を行う
前記(12)に記載の受光装置。
(14)
行列状の配列で配置される複数の受光素子を含む受光部と、
前記複数の受光素子から読み出しを行った各信号を伝送する複数の読み出し線と、
光源が発光した発光タイミングから、前記複数の受光素子が受光した受光タイミングまで、の時間を計測して計測値を取得する時間計測部と、
前記計測値のヒストグラムを生成する生成部と、
前記ヒストグラムに基づき被測定物までの距離を演算する演算部と、
を備え、
前記複数の読み出し線は、
それぞれ、前記複数の受光素子のうち、2以上の受光素子が接続される
測距装置。
(15)
前記複数の受光素子を前記配列の行毎に制御する行制御信号を伝送する複数の行制御信号線と、
前記複数の受光素子を前記配列の列毎に制御する列制御信号を伝送する複数の列制御信号線と、
をさらに備え、
前記複数の行制御信号線は、
それぞれ、前記配列の複数の行それぞれに対する前記行制御信号を伝送し、
前記複数の列制御信号線は、
それぞれ、前記配列の複数の列それぞれに対する前記列制御信号を伝送する
前記(14)に記載の測距装置。
(16)
前記列制御信号および前記行制御信号のうち少なくとも一方は、前記受光素子に対する電源の供給を制御する電源制御信号を含む
前記(15)に記載の測距装置。
(17)
前記複数の受光素子を、2以上の受光素子を含む組毎に制御する組制御信号を伝送する複数の組制御信号線をさらに備え、
前記複数の組制御信号線は、
それぞれ、2以上の前記組それぞれに対する前記組制御信号を伝送する
前記(14)乃至(16)の何れかに記載の測距装置。
(18)
前記複数の読み出し線は、
それぞれ、OR回路を介して前記2以上の受光素子が接続される
前記(14)乃至(17)の何れかに記載の測距装置。
(19)
前記OR回路は、第1のOR回路と第2のOR回路とを含み、
前記第1のOR回路の第1の入力端には、前記2以上の受光素子のうち第1の受光素子が接続され、
該第1のOR回路の第2の入力端には、前記2以上の受光素子のうち前記第2のOR回路の出力端が接続され、
該第2のOR回路の第1の入力端には、前記2以上の受光素子のうち第2の受光素子が接続される
前記(18)に記載の測距装置。
(20)
前記受光部は、
前記複数の読み出し線が前記配列の行または列のうち所定の方向に沿ってそれぞれ設けられ、
前記2以上の受光素子は、
前記配列の前記所定の方向に沿って(v-1)個(vは2以上の整数)おきに前記読み出し線に接続される
前記(14)乃至(19)の何れかに記載の測距装置。
(21)
前記複数の受光素子のうち前記読み出しを行う受光素子を指定する指定部をさらに備え、
前記指定部は、
前記2以上の受光素子の前記読み出しを異なるタイミングで指定する
前記(14)に記載の測距装置。
(22)
前記指定部は、
前記複数の受光素子のうち前記2以上の受光素子が接続される方向に沿って連続して配置されるv個の受光素子の前記読み出しを同じタイミングで指定する
前記(21)に記載の測距装置。
(23)
前記指定部は、
前記読み出しを、前記受光部が含む前記複数の受光素子のうち、前記配列内の矩形領域に含まれる複数の受光素子に対して指定する
前記(21)または(22)に記載の測距装置。
(24)
前記受光部は、
光源から射出された光が対象物により反射された反射光を含む光を受光し、
前記指定部は、
予め取得された、前記反射光が前記受光部に照射されると推測される領域に応じて、前記複数の受光素子のうち前記信号の読み出しを行う受光素子を指定する
前記(21)乃至(23)の何れかに記載の測距装置。
(25)
前記複数の受光素子のうち前記読み出しを行う受光素子を指定するためのパラメータを記憶する記憶部をさらに備え、
前記指定部は、
前記記憶部に記憶される前記パラメータに基づき前記読み出しを行う受光素子を指定する
前記(21)乃至(24)の何れかに記載の測距装置。
(26)
前記記憶部は、
外部入力に応じて前記パラメータの記憶を行う
前記(25)に記載の測距装置。
1 測距装置
2 光源部
3 記憶部
4 制御部
6 電子機器
10,1011,1013,101v,1021,1022,102v,1031,103v,10obj 画素回路
11 エレメント
4111,411v,4121,412v,4131,413v OR回路
50 軌跡
51a,51b1,51b2,51b3,51b4,51b5,51b6,51b7,51b8,61,611,612,613,614 読み出し領域
55a,55b オフセット
56a,56b ピーク
60 有効領域
100 画素アレイ部
102 画素制御部
102a 水平制御部
102b 垂直制御部
2 光源部
3 記憶部
4 制御部
6 電子機器
10,1011,1013,101v,1021,1022,102v,1031,103v,10obj 画素回路
11 エレメント
4111,411v,4121,412v,4131,413v OR回路
50 軌跡
51a,51b1,51b2,51b3,51b4,51b5,51b6,51b7,51b8,61,611,612,613,614 読み出し領域
55a,55b オフセット
56a,56b ピーク
60 有効領域
100 画素アレイ部
102 画素制御部
102a 水平制御部
102b 垂直制御部
Claims (14)
- 行列状の配列で配置される複数の受光素子を含む受光部と、
前記複数の受光素子から読み出しを行った各信号を伝送する複数の読み出し線と、
を備え、
前記複数の読み出し線は、
それぞれ、前記複数の受光素子のうち、2以上の受光素子に接続される
受光装置。 - 前記複数の受光素子を前記配列の行毎に制御する行制御信号を伝送する複数の行制御信号線と、
前記複数の受光素子を前記配列の列毎に制御する列制御信号を伝送する複数の列制御信号線と、
をさらに備え、
前記複数の行制御信号線は、
それぞれ、前記配列の複数の行それぞれに対する前記行制御信号を伝送し、
前記複数の列制御信号線は、
それぞれ、前記配列の複数の列それぞれに対する前記列制御信号を伝送する
請求項1に記載の受光装置。 - 前記列制御信号および前記行制御信号のうち少なくとも一方は、前記受光素子に対する電源の供給を制御する電源制御信号を含む
請求項2に記載の受光装置。 - 前記複数の受光素子を、2以上の受光素子を含む組毎に制御する組制御信号を伝送する複数の組制御信号線をさらに備え、
前記複数の組制御信号線は、
それぞれ、2以上の前記組それぞれに対する前記組制御信号を伝送する
請求項1に記載の受光装置。 - 前記複数の読み出し線は、
それぞれ、OR回路を介して前記2以上の受光素子が接続される
請求項1に記載の受光装置。 - 前記OR回路は、第1のOR回路と第2のOR回路とを含み、
前記第1のOR回路の第1の入力端には、前記2以上の受光素子のうち第1の受光素子が接続され、
該第1のOR回路の第2の入力端には、前記2以上の受光素子のうち前記第2のOR回路の出力端が接続され、
該第2のOR回路の第1の入力端には、前記2以上の受光素子のうち第2の受光素子が接続される
請求項5に記載の受光装置。 - 前記受光部は、
前記複数の読み出し線が前記配列の行または列のうち所定の方向に沿ってそれぞれ設けられ、
前記2以上の受光素子は、
前記配列の前記所定の方向に沿って(v-1)個(vは2以上の整数)おきに前記読み出し線に接続される
請求項1に記載の受光装置。 - 前記複数の受光素子のうち前記読み出しを行う受光素子を指定する指定部をさらに備え、
前記指定部は、
前記2以上の受光素子の前記読み出しを異なるタイミングで指定する
請求項1に記載の受光装置。 - 前記指定部は、
前記複数の受光素子のうち前記2以上の受光素子が接続される方向に沿って連続して配置されるv個の受光素子の前記読み出しを同じタイミングで指定する
請求項8に記載の受光装置。 - 前記指定部は、
前記読み出しを、前記受光部が含む前記複数の受光素子のうち、前記配列内の矩形領域に含まれる複数の受光素子に対して指定する
請求項8に記載の受光装置。 - 前記受光部は、
光源から射出された光が対象物により反射された反射光を含む光を受光し、
前記指定部は、
予め取得された、前記反射光が前記受光部に照射されると推測される領域に応じて、前記複数の受光素子のうち前記信号の読み出しを行う受光素子を指定する
請求項8に記載の受光装置。 - 前記複数の受光素子のうち前記読み出しを行う受光素子を指定するためのパラメータを記憶する記憶部をさらに備え、
前記指定部は、
前記記憶部に記憶される前記パラメータに基づき前記読み出しを行う受光素子を指定する
請求項8に記載の受光装置。 - 前記記憶部は、
外部入力に応じて前記パラメータの記憶を行う
請求項12に記載の受光装置。 - 行列状の配列で配置される複数の受光素子を含む受光部と、
前記複数の受光素子から読み出しを行った各信号を伝送する複数の読み出し線と、
光源が発光した発光タイミングから、前記複数の受光素子が受光した受光タイミングまで、の時間を計測して計測値を取得する時間計測部と、
前記計測値のヒストグラムを生成する生成部と、
前記ヒストグラムに基づき被測定物までの距離を演算する演算部と、
を備え、
前記複数の読み出し線は、
それぞれ、前記複数の受光素子のうち、2以上の受光素子が接続される
測距装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20745628.6A EP3916350A4 (en) | 2019-01-24 | 2020-01-17 | LIGHT RECEIVING DEVICE AND TELEMETRY DEVICE |
CN202080009771.0A CN113302448A (zh) | 2019-01-24 | 2020-01-17 | 光接收装置和距离测量装置 |
US17/310,078 US20220050178A1 (en) | 2019-01-24 | 2020-01-17 | Light reception device and distance measurement device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-010671 | 2019-01-24 | ||
JP2019010671A JP2020118569A (ja) | 2019-01-24 | 2019-01-24 | 受光装置および測距装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020153261A1 true WO2020153261A1 (ja) | 2020-07-30 |
Family
ID=71736082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/001540 WO2020153261A1 (ja) | 2019-01-24 | 2020-01-17 | 受光装置および測距装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220050178A1 (ja) |
EP (1) | EP3916350A4 (ja) |
JP (1) | JP2020118569A (ja) |
CN (1) | CN113302448A (ja) |
TW (1) | TWI732425B (ja) |
WO (1) | WO2020153261A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023171345A1 (ja) * | 2022-03-11 | 2023-09-14 | 株式会社小糸製作所 | 光電変換回路、及び光電変換装置 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021043131A (ja) * | 2019-09-13 | 2021-03-18 | ソニーセミコンダクタソリューションズ株式会社 | 距離測定装置及び該装置における測距機構のずれ調整方法 |
JP2023000505A (ja) | 2021-06-18 | 2023-01-04 | ソニーセミコンダクタソリューションズ株式会社 | 光源制御装置、光源制御方法、及び、測距装置 |
JP2024082067A (ja) * | 2022-12-07 | 2024-06-19 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、製造方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007142738A (ja) * | 2005-11-17 | 2007-06-07 | Sony Corp | 物理情報取得方法および物理情報取得装置 |
JP2010091377A (ja) * | 2008-10-07 | 2010-04-22 | Toyota Motor Corp | 光学式測距装置及び方法 |
JP2016184843A (ja) * | 2015-03-26 | 2016-10-20 | ソニー株式会社 | イメージセンサ、処理方法、及び、電子機器 |
US20170097417A1 (en) * | 2015-10-21 | 2017-04-06 | Samsung Electronics Co., Ltd. | Apparatus for and method of range sensor based on direct time-of-flight and triangulation |
JP2018044923A (ja) | 2016-09-16 | 2018-03-22 | 株式会社東芝 | 光検出器、及び距離測定装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5317591B2 (ja) * | 2008-09-01 | 2013-10-16 | キヤノン株式会社 | 撮像装置 |
JP5207885B2 (ja) * | 2008-09-03 | 2013-06-12 | キヤノン株式会社 | 画素回路、発光表示装置及びそれらの駆動方法 |
TWI525307B (zh) * | 2015-02-10 | 2016-03-11 | 聯詠科技股份有限公司 | 用於影像感測器之感光單元及其感光電路 |
CN113466882A (zh) * | 2017-07-05 | 2021-10-01 | 奥斯特公司 | 光测距装置 |
JP2019015697A (ja) * | 2017-07-11 | 2019-01-31 | ソニーセミコンダクタソリューションズ株式会社 | 距離測定装置及び移動体装置 |
-
2019
- 2019-01-24 JP JP2019010671A patent/JP2020118569A/ja active Pending
-
2020
- 2020-01-15 TW TW109101426A patent/TWI732425B/zh active
- 2020-01-17 WO PCT/JP2020/001540 patent/WO2020153261A1/ja unknown
- 2020-01-17 CN CN202080009771.0A patent/CN113302448A/zh active Pending
- 2020-01-17 US US17/310,078 patent/US20220050178A1/en active Pending
- 2020-01-17 EP EP20745628.6A patent/EP3916350A4/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007142738A (ja) * | 2005-11-17 | 2007-06-07 | Sony Corp | 物理情報取得方法および物理情報取得装置 |
JP2010091377A (ja) * | 2008-10-07 | 2010-04-22 | Toyota Motor Corp | 光学式測距装置及び方法 |
JP2016184843A (ja) * | 2015-03-26 | 2016-10-20 | ソニー株式会社 | イメージセンサ、処理方法、及び、電子機器 |
US20170097417A1 (en) * | 2015-10-21 | 2017-04-06 | Samsung Electronics Co., Ltd. | Apparatus for and method of range sensor based on direct time-of-flight and triangulation |
JP2018044923A (ja) | 2016-09-16 | 2018-03-22 | 株式会社東芝 | 光検出器、及び距離測定装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3916350A4 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023171345A1 (ja) * | 2022-03-11 | 2023-09-14 | 株式会社小糸製作所 | 光電変換回路、及び光電変換装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113302448A (zh) | 2021-08-24 |
TWI732425B (zh) | 2021-07-01 |
EP3916350A4 (en) | 2022-02-23 |
JP2020118569A (ja) | 2020-08-06 |
US20220050178A1 (en) | 2022-02-17 |
EP3916350A1 (en) | 2021-12-01 |
TW202040160A (zh) | 2020-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020153261A1 (ja) | 受光装置および測距装置 | |
WO2020045123A1 (ja) | 受光素子および測距システム | |
JP7044107B2 (ja) | 光センサ、及び、電子機器 | |
WO2020059488A1 (ja) | 受光素子および測距システム | |
WO2020045124A1 (ja) | 受光素子および測距システム | |
WO2020255759A1 (ja) | 測距装置、測距方法、および、測距システム | |
WO2020045125A1 (ja) | 受光素子および測距システム | |
WO2021079789A1 (ja) | 測距装置 | |
WO2020255770A1 (ja) | 測距装置、測距方法、および、測距システム | |
JP2020139810A (ja) | 測定装置および測距装置 | |
WO2020166419A1 (ja) | 受光装置、ヒストグラム生成方法、および測距システム | |
WO2020153272A1 (ja) | 測定装置、測距装置および測定方法 | |
WO2020195898A1 (ja) | 受光装置、測距装置および発光制御方法 | |
US11566939B2 (en) | Measurement device, distance measurement device, electronic device, and measurement method | |
WO2020137318A1 (ja) | 測定装置、測距装置および測定方法 | |
WO2020129474A1 (ja) | 測距装置および計測装置 | |
WO2020255855A1 (ja) | 測距装置および測距方法 | |
WO2020153262A1 (ja) | 計測装置および測距装置 | |
KR20220043125A (ko) | 측정 장치 및 측거 장치 | |
WO2017199487A1 (ja) | 制御装置、制御方法、およびプログラム | |
TW202209868A (zh) | 固態攝像元件、感測系統及固態攝像元件之控制方法 | |
JP2022113394A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20745628 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2020745628 Country of ref document: EP Effective date: 20210824 |