WO2021079789A1 - 測距装置 - Google Patents

測距装置 Download PDF

Info

Publication number
WO2021079789A1
WO2021079789A1 PCT/JP2020/038663 JP2020038663W WO2021079789A1 WO 2021079789 A1 WO2021079789 A1 WO 2021079789A1 JP 2020038663 W JP2020038663 W JP 2020038663W WO 2021079789 A1 WO2021079789 A1 WO 2021079789A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
output
unit
light receiving
measuring device
Prior art date
Application number
PCT/JP2020/038663
Other languages
English (en)
French (fr)
Inventor
久美子 馬原
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2021079789A1 publication Critical patent/WO2021079789A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Definitions

  • the present invention relates to a ranging device.
  • a distance measuring method for measuring the distance to the object to be measured using light
  • a distance measuring method called a direct ToF (Time of Flight) method is known.
  • the direct ToF method the light emitted from the light source receives the reflected light reflected by the object to be measured by the sensor, and the distance to the target is measured based on the time from the emission of the light to the reception as the reflected light. To do.
  • the object of the present disclosure is to provide a distance measuring device capable of distance measurement at a higher speed.
  • the distance measuring device includes a light receiving unit including a light receiving element, a time measuring unit that measures the time from the light emitting timing when the light source emits light to the light receiving timing when the light receiving element receives light, and acquires a measured value.
  • the output control unit includes a generation unit that generates a histogram of values, an output unit that outputs data indicating the distance to the object to be measured based on the histogram, and an output control unit that controls the data to be output to the output unit.
  • the data indicating the first distance is output to the output unit at the first frequency
  • the data indicating the second distance is output to the output unit at the second frequency.
  • the present disclosure relates to a technique for performing distance measurement using light.
  • the ToF (Time Of Flight) method is directly applied as the distance measuring method.
  • the direct ToF method is a method in which the light emitted from the light source receives the reflected light reflected by the object to be measured by the light receiving element, and the distance is measured based on the time difference between the light emission timing and the light receiving timing.
  • FIG. 1 is a diagram schematically showing distance measurement by the direct ToF method applicable to each embodiment.
  • the distance measuring device 300 includes a light source unit 301 and a light receiving unit 302.
  • the light source unit 301 is, for example, a laser diode, and is driven so as to emit laser light in a pulsed manner.
  • the light emitted from the light source unit 301 is reflected by the object to be measured 303 and is received by the light receiving unit 302 as reflected light.
  • the light receiving unit 302 includes a light receiving element that converts light into an electric signal by photoelectric conversion, and outputs a signal corresponding to the received light.
  • the time when the light source unit 301 emits light is time t 0
  • the time when the light receiving unit 302 receives the reflected light reflected by the object to be measured 303 (light receiving timing).
  • the ranging device 300 repeats the above-mentioned processing a plurality of times.
  • the light receiving unit 302 may include a plurality of light receiving elements, and the distance D may be calculated based on each light receiving timing when the reflected light is received by each light receiving element.
  • the ranging device 300 classifies the time t m (called the light receiving time t m ) from the light emitting timing time t 0 to the light receiving timing when the light is received by the light receiving unit 302 based on the class (bins). Generate a histogram.
  • the light received by the light receiving unit 302 during the light receiving time t m is not limited to the reflected light emitted by the light source unit 301 and reflected by the object to be measured.
  • the ambient light around the ranging device 300 (light receiving unit 302) is also received by the light receiving unit 302.
  • FIG. 2 is a diagram showing an example histogram based on the time when the light receiving unit 302 receives light, which is applicable to each embodiment.
  • the horizontal axis indicates the bin and the vertical axis indicates the frequency for each bin.
  • the bins are obtained by classifying the light receiving time t m for each predetermined unit time d. Specifically, bin # 0 is 0 ⁇ t m ⁇ d, bin # 1 is d ⁇ t m ⁇ 2 ⁇ d, bin # 2 is 2 ⁇ d ⁇ t m ⁇ 3 ⁇ d, ..., Bin # (N). -2) is (N-2) ⁇ d ⁇ t m ⁇ (N-1) ⁇ d.
  • the distance measuring device 300 counts the number of times the light receiving time t m is acquired based on the bin, obtains the frequency 310 for each bin, and generates a histogram.
  • the light receiving unit 302 also receives light other than the reflected light reflected from the light emitted from the light source unit 301.
  • As an example of such light other than the target reflected light there is the above-mentioned ambient light.
  • the portion indicated by the range 311 in the histogram includes the ambient light component due to the ambient light.
  • the ambient light is light that is randomly incident on the light receiving unit 302 and becomes noise with respect to the reflected light of interest.
  • the target reflected light is light received according to a specific distance, and appears as an active light component 312 in the histogram.
  • the bin corresponding to the frequency of the peak in the active light component 312 becomes the bin corresponding to the distance D of the object to be measured 303.
  • the distance measuring device 300 acquires the representative time of the bottle (for example, the time in the center of the bottle) as the time t 1 described above, and calculates the distance D to the object to be measured 303 according to the formula (1) described above. be able to. In this way, by using a plurality of light receiving results, it is possible to perform appropriate distance measurement for random noise.
  • FIG. 3 is a block diagram showing a configuration of an example of an electronic device using the distance measuring device according to each embodiment.
  • the electronic device 6 includes a distance measuring device 1, a light source unit 2, a storage unit 3, a control unit 4, and an optical system 5.
  • the light source unit 2 corresponds to the light source unit 301 described above, and is a laser diode, and is driven so as to emit laser light in a pulsed manner, for example.
  • a VCSEL Very Cavity Surface Emitting LASER
  • a VCSEL Very Cavity Surface Emitting LASER
  • an array in which laser diodes are arranged on a line may be used as the light source unit 2, and a configuration in which the laser light emitted from the laser diode array is scanned in a direction perpendicular to the line may be applied.
  • the distance measuring device 1 includes a plurality of light receiving elements corresponding to the above-mentioned light receiving unit 302.
  • the plurality of light receiving elements are arranged in a two-dimensional lattice shape (matrix shape), for example, to form a light receiving surface.
  • the optical system 5 guides light incident from the outside to a light receiving surface included in the distance measuring device 1.
  • the control unit 4 controls the overall operation of the electronic device 6. For example, the control unit 4 supplies the distance measuring device 1 with a light emitting trigger that is a trigger for causing the light source unit 2 to emit light. The distance measuring device 1 causes the light source unit 2 to emit light at a timing based on this light emission trigger, and stores a time t 0 indicating the light emission timing. Further, the control unit 4 sets a pattern for distance measurement for the distance measuring device 1 in response to an instruction from the outside, for example.
  • the ranging device 1 counts the number of times that time information (light receiving time t m ) indicating the timing at which light is received on the light receiving surface is acquired within a predetermined time range, obtains the frequency for each bin, and obtains the above-mentioned histogram. Generate.
  • the distance measuring device 1 further calculates the distance D to the object to be measured based on the generated histogram.
  • the information indicating the calculated distance D is stored in the storage unit 3.
  • FIG. 4 is a block diagram showing in more detail an example of the basic configuration of the distance measuring device 1 applicable to each embodiment.
  • the distance measuring device 1 includes a pixel array unit 100, a distance measuring processing unit 101, a pixel control unit 102, an overall control unit 103, a clock generation unit 104, a light emission timing control unit 105, and an interface ( I / F) 106 and.
  • the pixel array unit 100, the distance measuring processing unit 101, the pixel control unit 102, the overall control unit 103, the clock generation unit 104, the light emission timing control unit 105, and the interface 106 are arranged on, for example, one semiconductor chip.
  • the overall control unit 103 controls the overall operation of the ranging device 1 according to, for example, a program incorporated in advance. Further, the overall control unit 103 can also execute control according to an external control signal supplied from the outside.
  • the clock generation unit 104 generates one or more clock signals used in the distance measuring device 1 based on the reference clock signal supplied from the outside.
  • the light emission timing control unit 105 generates a light emission control signal indicating the light emission timing according to the light emission trigger signal supplied from the outside.
  • the light emission control signal is supplied to the light source unit 2 and also to the distance measuring processing unit 101.
  • the pixel array unit 100 includes a plurality of pixel circuits 10, 10, ...
  • the operation of each pixel circuit 10 is controlled by the pixel control unit 102 according to the instruction of the overall control unit 103.
  • the pixel control unit 102 controls reading of pixel signals from each pixel circuit 10 for each block including p (p ⁇ q) pixel circuits 10 in the row direction and q in the column direction. be able to.
  • the pixel control unit 102 can scan each pixel circuit 10 in the row direction and further scan in the column direction in units of the block to read a pixel signal from each pixel circuit 10.
  • the pixel control unit 102 can also control each pixel circuit 10 independently.
  • the pixel control unit 102 can set a predetermined area of the pixel array unit 100 as a target area, and the pixel circuit 10 included in the target area can be a target pixel circuit 10 for reading a pixel signal. Furthermore, the pixel control unit 102 can collectively scan a plurality of rows (plurality of lines), further scan the plurality of rows (plural lines) in the column direction, and read a pixel signal from each pixel circuit 10.
  • the pixel signal read from each pixel circuit 10 is supplied to the distance measuring processing unit 101.
  • the distance measuring processing unit 101 includes a conversion unit 110, a generation unit 111, and a signal processing unit 112.
  • the pixel signal read from each pixel circuit 10 and output from the pixel array unit 100 is supplied to the conversion unit 110.
  • the pixel signal is asynchronously read from each pixel circuit 10 included in the target area and supplied to the conversion unit 110. That is, the pixel signal is read out from the light receiving element and output according to the timing when the light is received in each pixel circuit 10 included in the target area.
  • the conversion unit 110 converts the pixel signal supplied from the pixel array unit 100 into digital information. That is, the pixel signal supplied from the pixel array unit 100 is output corresponding to the timing at which light is received by the light receiving element included in the pixel circuit 10 to which the pixel signal corresponds. The conversion unit 110 converts the supplied pixel signal into time information indicating the timing.
  • the generation unit 111 generates a histogram based on the time information in which the pixel signal is converted by the conversion unit 110.
  • the generation unit 111 counts the time information based on the unit time d set by the setting unit 113, and generates a histogram.
  • the signal processing unit 112 performs predetermined arithmetic processing based on the histogram data generated by the generation unit 111, and calculates, for example, distance information.
  • the signal processing unit 112 creates an approximate curve of the histogram based on the data of the histogram generated by the generation unit 111, for example.
  • the signal processing unit 112 can detect the peak of the curve to which this histogram is approximated and obtain the distance D based on the detected peak.
  • the signal processing unit 112 can perform filter processing on the curve to which the histogram is approximated. For example, the signal processing unit 112 can suppress a noise component by performing a low-pass filter process on a curve whose histogram is approximated.
  • the signal processing unit 112 can acquire information such as peak intensity, peak start and end positions, etc. based on the approximate curve of this histogram.
  • Each piece of information including distance information acquired from the approximate curve of the histogram in the signal processing unit 112 is referred to as distance measurement information (distance measurement data).
  • the interface 106 functions as an output unit that outputs the distance information supplied from the signal processing unit 112 to the outside as output data. ..
  • MIPI Mobile Industry Processor Interface
  • the distance measurement data including the distance information obtained by the signal processing unit 112 is output to the outside via the interface 106, but this is not limited to this example. That is, the histogram data, which is the histogram data generated by the generation unit 111, may be output from the interface 106 to the outside. In this case, the distance measurement condition information set by the setting unit 113 may omit the information indicating the filter coefficient.
  • the histogram data output from the interface 106 is supplied to, for example, an external information processing device, and is appropriately processed.
  • FIG. 5 is a diagram showing a basic configuration example of the pixel circuit 10 applicable to each embodiment.
  • the pixel circuit 10 includes a light receiving element 1000, transistors 1100, 1102 and 1103, an inverter 1104, a switch unit 1101, and an AND circuit 1110.
  • the light receiving element 1000 converts the incident light into an electric signal by photoelectric conversion and outputs it.
  • the light receiving element 1000 converts the incident photon (photon) into an electric signal by photoelectric conversion, and outputs a pulse corresponding to the incident of the photon.
  • a single photon avalanche diode is used as the light receiving element 1000.
  • the single photon avalanche diode is referred to as SPAD (Single Photon Avalanche Diode).
  • SPAD Single Photon Avalanche Diode
  • SPAD has a characteristic that when a large negative voltage that causes avalanche multiplication is applied to the cathode, electrons generated in response to the incident of one photon cause avalanche multiplication and a large current flows. By utilizing this characteristic of SPAD, the incident of one photon can be detected with high sensitivity.
  • the cathode is connected to the coupling portion 1120 and the anode is connected to the voltage source of the voltage ( ⁇ Vbd).
  • the voltage ( ⁇ Vbd) is a large negative voltage for generating an avalanche multiplication for SPAD.
  • the coupling unit 1120 is connected to one end of the switch unit 1101 whose on (closed) and off (open) are controlled according to the signal EN_PR.
  • the other end of the switch unit 1101 is connected to the drain of the transistor 1100, which is a P-channel MOSFET (Metal Oxide Semiconductor Field Effect Transistor).
  • the source of the transistor 1100 is connected to the power supply voltage Vdd.
  • a coupling portion 1121 to which a reference voltage Vref is supplied is connected to the gate of the transistor 1100.
  • the transistor 1100 is a current source that outputs a current corresponding to the power supply voltage Vdd and the reference voltage Vref from the drain. With such a configuration, a reverse bias is applied to the light receiving element 1000. When a photon is incident on the light receiving element 1000 with the switch unit 1101 turned on, the avalanche multiplication is started, and a current flows from the cathode of the light receiving element 1000 toward the anode.
  • the signal extracted from the connection point between the drain of the transistor 1100 (one end of the switch unit 1101) and the cathode of the light receiving element 1000 is input to the inverter 1104.
  • the inverter 1104 performs, for example, a threshold value determination on the input signal, inverts the signal each time the signal exceeds the threshold value in the positive direction or the negative direction, and outputs the signal as a pulsed signal Vpls.
  • the signal Vpls output from the inverter 1104 is input to the first input terminal of the AND circuit 1110.
  • the signal EN_F is input to the second input end of the AND circuit 1110.
  • the AND circuit 1110 outputs the signal Vpls from the pixel circuit 10 via the terminal 1122 when both the signal Vpls and the signal EN_F are in the high state.
  • the coupling portion 1120 is further connected to the drains of the transistors 1102 and 1103, which are N-channel MOSFETs, respectively.
  • the sources of transistors 1102 and 1103 are connected, for example, to a ground potential.
  • the signal XEN_SPAD_V is input to the gate of the transistor 1102.
  • the signal XEN_SPAD_H is input to the gate of the transistor 1103.
  • the signals XEN_SPAD_V and XEN_SPAD_H are used as two-dimensional grid-like vertical and horizontal control signals in which each pixel circuit 10 is arranged in the pixel array unit 100, respectively.
  • the on / off state of each pixel circuit 10 included in the pixel array unit 100 can be controlled for each pixel circuit 10.
  • the on state of the pixel circuit 10 is a state in which the signal Vpls can be output, and the off state of the pixel circuit 10 is a state in which the signal Vpls cannot be output.
  • the signal XEN_SPAD_H is set to the state in which the transistor 1103 is turned on for the continuous q columns of the two-dimensional lattice
  • the signal XEN_SPAD_V is set to the state in which the transistor 1102 is turned on for the continuous p rows.
  • the output of each light receiving element 1000 can be enabled in a block shape of p rows ⁇ q columns.
  • the signal Vpls are output from the pixel circuit 10 by the AND circuit 1110 by the logical product of the signal EN_F, the output of each light receiving element 1000 enabled by the signals XEN_SPAD_V and XEN_SPAD_H, for example, is more detailed. Enable / disable can be controlled.
  • the pixel circuit 10 including the light receiving element 1000 whose output is invalidated by supplying the signal EN_PR that turns off the switch unit 1101 to the pixel circuit 10 including the light receiving element 1000 whose output is invalidated, the supply of the power supply voltage Vdd to the light receiving element 1000 is stopped.
  • the pixel circuit 10 can be turned off. This makes it possible to reduce the power consumption of the pixel array unit 100.
  • These signals XEN_SPAD_V, XEN_SPAD_H, EN_PR and EN_F are generated by the overall control unit 103 based on the parameters stored in the register of the overall control unit 103, for example.
  • the parameters may be stored in the register in advance, or may be stored in the register according to an external input.
  • Each signal XEN_SPAD_V, XEN_SPAD_H, EN_PR and EN_F generated by the overall control unit 103 is supplied to the pixel array unit 100 by the pixel control unit 102.
  • the control by the signals EN_PR, XEN_SPAD_V and XEN_SPAD_H using the switch unit 1101 and the transistors 1102 and 1103 described above is controlled by the analog voltage.
  • the control by the signal EN_F using the AND circuit 1110 is the control by the logic voltage. Therefore, the control by the signal EN_F can be performed at a lower voltage than the control by the signals EN_PR, XEN_SPAD_V and XEN_SPAD_H, and is easy to handle.
  • FIG. 6 is a schematic diagram showing an example of a device configuration applicable to the distance measuring device 1 according to each embodiment.
  • the distance measuring device 1 is configured by stacking a light receiving chip 20 made of a semiconductor chip and a logic chip 21, respectively.
  • the light receiving chip 20 and the logic chip 21 are shown in a separated state.
  • the light receiving elements 1000 included in each of the plurality of pixel circuits 10 are arranged in a matrix in the region of the pixel array unit 100. Further, in the pixel circuit 10, the transistors 1100, 1102 and 1103, the switch unit 1101, the inverter 1104, and the AND circuit 1110 are formed on the logic chip 21.
  • the cathode of the light receiving element 1000 is connected between the light receiving chip 20 and the logic chip 21 via, for example, a coupling portion 1120 by a CCC (Copper-Copper Connection) or the like.
  • the logic chip 21 is provided with a logic array unit 200 including a signal processing unit that processes a signal acquired by the light receiving element 1000.
  • the signal processing circuit unit 201 that processes the signal acquired by the light receiving element 1000 in close proximity to the logic array unit 200, and the element control that controls the operation as the distance measuring device 1. Section 203 and may be provided.
  • the signal processing circuit unit 201 can include the distance measuring processing unit 101 described above.
  • the element control unit 203 can include the pixel control unit 102, the overall control unit 103, the clock generation unit 104, the light emission timing control unit 105, and the interface 106 described above.
  • the configuration on the light receiving chip 20 and the logic chip 21 is not limited to this example.
  • the element control unit 203 can be arranged for the purpose of other driving or control, for example, in the vicinity of the light receiving element 1000, in addition to the control of the logic array unit 200.
  • the element control unit 203 can be provided in an arbitrary region of the light receiving chip 20 and the logic chip 21 so as to have an arbitrary function.
  • FIG. 7A and 7B are diagrams showing an example of a scanning method of the pixel array unit 100 applicable to each embodiment.
  • the pixel array unit 100 has a size in which Y rows of X (for example, 600) pixel circuits 10 are arranged. That is, the pixel array unit 100 has a total of (X) X columns (X) and Y rows (Y) in the row direction (horizontal direction in FIG. 7A) and the column direction (vertical direction in FIG. 7A), respectively.
  • ⁇ Y) pixel circuits 10 are arranged in a matrix arrangement.
  • the block 11 including p ⁇ q pixel circuits 10 is treated as one pixel in the pixel array unit 100. That is, in the pixel array unit 100, distance measurement is performed for each block 11 which is a block including p ⁇ q pixel circuits 10.
  • the block 11 is an addition unit for adding the number of light receiving times t m when generating a histogram. More specifically, for each block 11, distance measurement processing such as exposure, photon detection, histogram generation, and peak detection is executed in each pixel circuit 10 included in the block 11.
  • the block 11 can be treated as one pixel because the detection results of the plurality of pixel circuits 10 are collected and output as one.
  • the block 11 is shown as including 5 ⁇ 4 pixel circuits 10 for the sake of explanation.
  • the block 11 will be referred to as an element 11 in consideration of the fact that the block 11 is treated as a pixel.
  • the pixel array unit 100 is divided into a plurality of regions, and the distance measuring process is sequentially performed on the divided regions.
  • FIG. 7B is a diagram schematically showing the execution of the distance measuring process in which the pixel array unit 100 is divided into a plurality of regions. As shown in FIG. 7B, the pixel array unit 100 is vertically divided into regions according to the height of the element 11, and distance measurement processing is executed for each divided region.
  • each region in which the pixel array unit 100 is vertically divided according to the height of the element 11 is referred to as a line.
  • the area including all the lines in the pixel array unit 100 is called a frame.
  • the frame is an area in the pixel array unit 100 that includes all the pixel circuits 10 that are effective for distance measurement.
  • the period for scanning all the elements 11 included in the frame is called the frame period, and the period for scanning all the elements 11 included in the line is called the line period.
  • the distance measurement process on the lower end line of the pixel array unit 100 is completed (first time)
  • the distance measurement process is executed for each element 11 on the line immediately above it (second time).
  • the pixel array unit 100 is scanned in the horizontal direction in units of 11 elements to perform distance measurement processing, and the scan in units of lines is sequentially executed for lines adjacent in the vertical direction.
  • Distance measurement is performed in units of distance measurement for one line.
  • the distance measurement process for one frame is completed, the distance measurement process for the next frame period is executed in the same manner.
  • FIG. 8 is a diagram showing an example of the relationship between the frame period, the line period, and the distance measuring process, which can be applied to each embodiment.
  • the progress of time is shown to the right, and the frame period, line period, and distance measurement data are shown from the top.
  • the high state indicates the period during which the scan of each element 11 is executed.
  • each line period has a length of, for example, several tens [ ⁇ sec], and distance measurement processing is executed at this number of several tens [ ⁇ sec], distance measurement data X is output, and a plurality of distance measurement data X are output within one frame period.
  • Line processing is executed.
  • One frame period has a length of, for example, several [msec]. That is, it is necessary that all the results of the distance measuring process by each element 11 included in one line are output from the distance measuring device 1 (interface 106) within a period of several tens of [ ⁇ sec].
  • FIG. 9 is a diagram showing more specifically a configuration example of the pixel array unit 100 according to each embodiment.
  • the pixel control unit 102 described with reference to FIG. 4 is shown separately as a horizontal control unit 102a and a vertical control unit 102b in FIG.
  • the pixel array unit 100 includes a total of (xxy) pixel circuits 10 in x columns in the horizontal direction and y rows in the vertical direction. Further, in FIG. 9 and the examples of FIGS. 10 and 11 described later, the element 11 is shown as including three pixel circuits 10 in the horizontal direction and three in the vertical direction, for a total of nine pixel circuits 10.
  • the signal EN_SPAD_H corresponding to the above-mentioned signal XEN_SPAD_H for controlling each pixel circuit 10 in the row direction (horizontal direction), that is, in a column unit is a 3-bit signal ([2: 0]) in which the element 11 is a unit. Is output from the overall control unit 103 and supplied to the horizontal control unit 102a. That is, the signals EN_SPAD_H [0], EN_SPAD_H [1], and EN_SPAD_H [2] for the three pixel circuits 10 arranged continuously in the horizontal direction are merged and transmitted by this one 3-bit signal.
  • the signals EN_SPAD_H # 0 [2: 0], EN_SPAD_H # 1 [2: 0], ..., EN_SPAD_H # (x / 3) [2: 0], in order from the leftmost element 11 of the pixel array unit 100. ] Is generated by the overall control unit 103 and supplied to the horizontal control unit 102a.
  • the horizontal control unit 102a has a 3-bit value ([0],] of each signal EN_SPAD_H # 0 [2: 0], EN_SPAD_H # 1 [2: 0], ..., EN_SPAD_H # (x / 3) [2: 0].
  • Each column of the corresponding element 11 is controlled according to (shown as [1] and [2]).
  • the signal EN_SPAD_V corresponding to the above-mentioned signal XEN_SPAD_V for controlling each pixel circuit 10 in the column direction (vertical direction), that is, in row units is a 3-bit signal having element 11 as a unit and is an overall control unit. It is output from 103 and supplied to the vertical control unit 102b. That is, the signals EN_SPAD_V [0], EN_SPAD_V [1], and EN_SPAD_V [2] for the three pixel circuits 10 arranged continuously in the vertical direction are merged and transmitted by this one 3-bit signal.
  • the signals EN_SPAD_V # 0 [2: 0], EN_SPAD_V # 1 [2: 0], ..., EN_SPAD_V # (y / 3) [2: 0], in order from the element 11 at the lower end of the pixel array unit 100. ] Is generated by the overall control unit 103 and supplied to the vertical control unit 102b.
  • the vertical control unit 102b corresponds to each signal according to the three-bit values of EN_SPAD_V # 0 [2: 0], EN_SPAD_V # 1 [2: 0], ..., EN_SPAD_V # (y / 3) [2: 0]. Control each row of element 11.
  • the signal EN_PR is output from the overall control unit 103 as a 3-bit signal with the element 11 as a unit and supplied to the vertical control unit 102b, for example, like the signal EN_SPAD_V described above.
  • the vertical control unit 102b controls each line of the corresponding element according to the 3-bit value of each signal EN_PR.
  • FIGS. 10 and 11 are diagrams showing an example of the detailed configuration of the pixel array unit 100 according to each embodiment. More specifically, FIGS. 10 and 11 show control by the signal EN_F.
  • the signal EN_F is a signal supplied for each control target 130 including a plurality of adjacent rows of the pixel array unit 100.
  • the controlled object 130 is shown as including three columns according to the size of the element 11.
  • the signal EN_F the same signal is supplied to each line included in the control target 130 for each line having a predetermined cycle. That is, in this example in which the control target 130 includes three columns, the same signal EN_F is supplied to the three pixel circuits 10 in the same row.
  • the signal EN_F is a 42-bit (shown as [41: 0]) signal, and the same signal is supplied every 42 lines (7 lines ⁇ 6).
  • FIG. 10 the example of FIG.
  • signals EN_F # 0 [41: 0], EN_F # 1 [41: 0], ..., EN_F # (x / 3) [41: 0] is output from the overall control unit 103 and supplied to the horizontal control unit 102a.
  • the horizontal control unit 102a controls each bit of each signal EN_F # 0 [41: 0], EN_F # 1 [41: 0], ..., EN_F # (x / 3) [41: 0], respectively. Supply to each line of 130. As shown in FIG. 11, the horizontal control unit 102a transmits the signal EN_F # 0 [0] to the control target 130 at the left end of the pixel array unit 100, for example, in the first line and the 42nd line (m + 1) line ( m is an integer of 1 or more), ..., 42nd (n + 1) th row, ..., And is supplied every 42 rows.
  • the horizontal control unit 102a supplies the signal EN_F # 0 [2] to the second line, the 42nd line (m + 2) line, ..., Every 42 lines.
  • the uppermost row of the control target 130 is the first half of the 42 row unit, and the signal EN_F # 0 [20] is supplied.
  • the 42-bit signal EN_F [41: 0] the set of three pixel circuits 10 arranged continuously in the horizontal direction is the signal EN_F [0] for the 42 sets arranged continuously in the vertical direction.
  • EN_F [1], ..., EN_F [41] are merged and transmitted.
  • the pixel array unit 100 can be controlled differently for each of a plurality of columns by the signal EN_F. Further, the pixel array unit 100 is supplied with the same signal EN_F for each of a plurality of rows (for each line) in the plurality of columns. Therefore, for each pixel circuit 10 included in the pixel array unit 100, it is possible to control the plurality of columns as the minimum unit in the width direction and the plurality of rows (lines) as the period.
  • FIG. 12 is a diagram showing an example of a configuration for reading signal Vpls from each pixel circuit 10 applicable to each embodiment.
  • the horizontal direction of the figure is the column direction.
  • the read wiring for reading the signal Vpls is shared for each of a predetermined number of pixel circuits 10 in the column direction.
  • the read wiring is shared for each of the v pixel circuits 10.
  • group 12 u includes pixel circuits 10 11 to 10 1v
  • group 12 u + 1 includes pixel circuits 10 21 to 10 2v
  • group 12 u + 2 includes 10 31 to 10 3v , and so on.
  • each group 12 u , 12 u + 1 , 12 u + 2 , ... The read wiring of the pixel circuit 10 whose position in the group corresponds is shared.
  • the first pixel circuit 10 11 of the group 12 u Group 12 u + 1 of the first pixel circuit 10 21, Group 12 u + 2 of The read wiring of the first pixel circuit 10 31 , ... Is shared.
  • a plurality of read wirings are connected by sequentially connecting the read wirings of the pixel circuits 10 11 , 10 21 , 10 31 , ... Via the OR circuits 41 11 , 41 21 , 41 31, .... Is being shared.
  • OR circuits 41 11 , 41 12 , ..., 41 1v are provided for each of the pixel circuits 10 11 to 10 1v included in group 12 u, and at the first input terminal of each. , Pixel circuit 10 11 to 10 Connect the read wiring of 1v.
  • the group 12 Similarly, with respect to u + 1, respectively provided an OR circuit 41 21 ⁇ 41 2v to the pixel circuits 10 21 ⁇ 10 2v included in the group 12 u + 1.
  • OR circuits 41 31 to 41 3v are provided for the pixel circuits 10 31 to 10 3v included in the group 12 u + 2, respectively.
  • the outputs of the OR circuits 41 11 to 41 1v are input to, for example, the distance measuring processing unit 101.
  • the OR circuit 41 11 the read wiring of the pixel circuit 10 11 is connected to the first input terminal, and the OR circuit 41 21 is connected to the second input terminal. The output is connected.
  • the OR circuit 41 21 the read wiring of the pixel circuit 10 21 is connected to the first input terminal, and the output of the OR circuit 41 31 is connected to the second input terminal. The same applies to the OR circuit 41 31 and later.
  • the vertical control unit 102b simultaneously reads out from each pixel circuit 10 whose position corresponds to each group 12 u , 12 u + 1 , 12 u + 2, ... By the signal EN_SPAD_V. Is controlled so as not to be performed. In other words, the vertical control unit 102b controls only one of the plurality of pixel circuits 10 arranged in the row every (v-1) so that it can be read out. In the example of FIG. 12, the vertical control unit 102b controls, for example, not to read from the pixel circuit 10 11 and the pixel circuit 10 21 and the pixel circuit 10 31 at the same time. Not limited to this, the control of simultaneous reading in the column direction can also be performed by the horizontal control unit 102a using the signal EN_F.
  • the vertical control unit 102b can specify simultaneous reading from v pixel circuits 10 arranged continuously in a row.
  • the vertical control unit 102b can specify the pixel circuit 10 that reads out at the same time across the groups 12 u , 12n + 1, 12 u + 2, .... That is, in the configuration shown in FIG. 12, v continuous pixel circuits 10 in the column direction can be simultaneously read out.
  • the third pixel circuit 10 13 from the beginning in the group 12 u, from the beginning in the group 12 u + 1 to the second pixel circuit 10 22, v pixel circuits arranged in succession It is possible to specify simultaneous reading for 10.
  • the vertical control unit 102b specifies simultaneous reading from v pixel circuits 10 arranged continuously in a row
  • the vertical control unit 102b controls so as not to read from other pixel circuits 10 in the row. Therefore, for example, the output of the OR circuit 41 11 is the signal Vpls read from the pixel circuit 10 of any one of the pixel circuits 10 11 , 10 21 , 10 31, ....
  • the first embodiment of the present disclosure makes it possible to suppress the output band rate-determining when outputting distance measurement data and other information (referred to as attribute data). More specifically, in the first embodiment, the frequency of output is different between the distance measurement data and the other information (attribute data). More specifically, when the distance measurement data is output at the first frequency, the attribute data is output at a second frequency lower than the first frequency.
  • FIG. 13 is a diagram for explaining an example of output processing by the existing technology.
  • FIG. 13 is a diagram corresponding to FIG. 8 described above, and since the meaning of each part is the same as that of FIG. 8, the description thereof is omitted here.
  • the plurality of attribute data p, q, r and s are output in synchronization with the distance measurement data X, respectively.
  • five systems of data are output for each line, for example, the output band of the interface 106 is compressed. Therefore, even when the distance measuring process is executed at high speed, the processing speed as a whole becomes the output band rate-determining.
  • each information output from the interface 106 is switched by communication with an external host device.
  • FIG. 14 is a diagram for explaining an example in which the output of attribute data is switched by communication with the host device according to the existing technology.
  • FIG. 14 is a diagram corresponding to FIG. 8 described above, and since the meaning of each part is the same as that of FIG. 8, the description thereof is omitted here. Further, in FIG. 14, the system of the ranging data X is omitted.
  • the setting for switching between the output of the attribute data p and the output of the attribute data q has a sufficient time, for example. It needs to be executed between frames 351. Since it takes a long time for the output of the attribute data p to switch to the output of the next attribute data q, it may be difficult to output the information at an appropriate timing.
  • FIG. 15 is a block diagram showing a configuration of an example of the distance measuring device according to the first embodiment.
  • a setting unit 113 In the distance measuring device 1a according to the first embodiment, a setting unit 113, a set value storage unit 114, and an output control unit 140 are added to the distance measuring device 1 shown in FIG. 4 described above. There is.
  • a temperature measuring unit 150 and an illuminance measuring unit 151 are shown as means for acquiring some of the attribute data.
  • the temperature measuring unit 150 measures the temperature of the pixel array unit 100 and outputs temperature information.
  • the illuminance measuring unit 151 measures the illuminance (brightness) outside the distance measuring device 1, that is, the illuminance of the ambient light, and outputs the illuminance value.
  • the set value storage unit 114 stores one or more distance measurement condition information used when the distance measurement device 1 executes distance measurement.
  • the distance measurement condition information sets, for example, setting information including information indicating a unit time d when the generation unit 111 generates a histogram, a filter coefficient used by the signal processing unit 112 for filter processing, and a distance measurement pattern. Includes information to do.
  • the set value storage unit 114 can further store information indicating the type of peak shape of the histogram data and output control information related to output control of distance measurement information. Each information stored in the set value storage unit 114 can be rewritten, for example, by the control of the overall control unit 103 according to the external control signal.
  • the setting unit 113 reads out the distance measurement condition information from the set value storage unit 114 according to the control of the overall control unit 103, and sets parameters and the like for the generation unit 111 and the signal processing unit 112 based on the read distance measurement condition information. Do.
  • the output control unit 140 outputs the distance measurement data output from the signal processing unit 112 to the interface 106. At this time, the output control unit 140 can select and output the information specified by, for example, the setting unit 113, among the information included in the distance measurement data.
  • the output control unit 140 is supplied with distance measurement data from the signal processing unit 112. Further, the output control unit 140 supplies the temperature information output from the temperature measurement unit 150 and the illuminance information output from the illuminance measurement unit 151 as attribute data. Further, the output control unit 140 can acquire voltage value information indicating the voltage of the power supply supplied to the pixel array unit 100 from the pixel array unit 100 via a path (not shown) as attribute data. Furthermore, the output control unit 140 acquires, as attribute data, information (referred to as external output information) for output to the outside of the distance measuring device 1 among the information stored in the set value storage unit 114. Can be done.
  • the output control unit 140 controls the output of these distance measurement data and attribute data to the interface 106. For example, the output control unit 140 controls the output timing of the distance measurement data and each information included in the attribute data based on the output control information stored in the set value storage unit 114. Further, the output control unit 140 can also control the output of the distance measurement data for each element 11 based on the output control information stored in the set value storage unit 114.
  • FIG. 16 is a diagram for explaining the output process in the ranging device 1a according to the first embodiment. Since the meaning of each part is the same as that of FIG. 8, the description thereof is omitted here.
  • the output control unit 140 switches a plurality of attribute data p, q, r and s in a distance measurement unit (line unit). That is, the output control unit 140 outputs a plurality of attribute data p, q, r and s from the interface 106 for each type of data in a time division manner.
  • one frame includes eight lines, and distance measurement data X 1 , X 2 , ..., X 8 are output in synchronization with each line according to the distance measurement in each line.
  • Distance measurement data X 1 and attribute data p are output according to the distance measurement of the first line (the left end of FIG. 16).
  • Distance measurement data X 2 and attribute data q are output according to the distance measurement of the second line.
  • the distance measurement data X 3 and the attribute data r are output according to the distance measurement of the third line
  • the distance measurement data X 4 and the attribute data s are output according to the distance measurement of the fourth line. ..
  • the data output in each line becomes two systems, the distance measurement data and the attribute data of one system, and is compared with the example of the existing technology described with reference to FIG. 13, for example. , The pressure on the output band is suppressed.
  • the output control unit 140 switches the output of these attribute data p, q, r and s on / off for each distance measurement. For example, the output control unit 140 acquires each attribute data p, q, r and s at a predetermined timing, and stores the acquired attribute data p, q, r and s in a register provided in the output control unit 140, respectively. To do. The output control unit 140 switches a register for reading attribute data for each distance measurement (for each line). In this way, by switching the attribute data to be output among the plurality of attribute data inside the output control unit 140, faster output switching can be performed as compared with the example of the existing technique described with reference to, for example, FIG. realizable. Therefore, the distance measuring device 1a to which the first embodiment is applied can realize a higher speed distance measuring process.
  • FIG. 17 is a diagram showing an example of a histogram based on the time when each element 11 (pixel circuit 10) receives a light.
  • the histogram 50 shown in FIG. 17 is approximated by a curve, and the horizontal axis is time t.
  • the left end is the time t 0 of the light emission timing by the light source unit 2.
  • the light receiving timing is delayed toward the right, indicating that the light emitted by the light source unit 2 is reflected at a longer distance. That is, in FIG. 17, the distance D from the object to be measured increases toward the right.
  • the time t 10, t 11 and t 12, respectively histogram peak 51a, 51b and 51c are detected.
  • the time t 10 , t 11 and t 12 at which these peaks 51a, 51b and 51c are detected are referred to as peak positions, respectively.
  • the height obtained by subtracting the ambient light component shown in the range 311 as an offset in the histogram of FIG. 2 is called a peak intensity.
  • the start position P st the time when the peak 51a starts is called the start position P st
  • the time when the peak 51a ends is called the end position P ed.
  • the start position P st and the end position P ed can be detected by, for example, differentiating the histogram 50 that approximates the curve.
  • the signal processing unit 112 acquires the above-mentioned peak position, peak intensity, start position P st, and end position P ed based on the histogram generated by the generation unit 111.
  • the signal processing unit 12 further acquires shape information indicating the shape of the peak of the histogram.
  • 18A, 18B and 18C are diagrams schematically showing an example of the peak shape of the histogram.
  • FIG. 18A shows an example in which one peak 51 is detected between a pair of start position P st and end position P ed in the histogram 50.
  • the shape of the peak 51 is called a normal shape.
  • FIG. 18B shows an example in which two peaks 51d and 51e whose positions are close to each other are detected between the pair of start position P st and end position P ed in the histogram 50.
  • the distance between the peaks 51d and 51e is higher than the offset height of the histogram 50 by a predetermined value or more, it is considered that one peak is broken at the peaks 51d and 51e, and the two peaks 51d and 51e whose positions are close to each other are considered to be broken.
  • the shape according to is called a peak crack shape.
  • FIG. 18C shows an example in which the peak 51f is detected in the histogram 50 including a large number of peaks that are extremely close to each other and are continuous between the pair of start position P st and end position P ed.
  • the shape of the peak 51f including a large number of peaks that are extremely close to each other and is continuous is called a peak continuous generation shape.
  • the signal processing unit 112 analyzes the histogram 50 supplied from the generation unit 111 to determine whether the shape of the peak included in the histogram 50 is a normal shape, a peak cracking shape, or a peak continuous generation shape.
  • the shape information indicating the shape of the peak is associated with the peak information.
  • the output control unit 140 outputs any of the following information (1) to (3) as distance measurement data for each element 11.
  • the total information of the histogram 50 is information indicating the frequency in each bin of the histogram 50.
  • the output control unit 140 receives all the information of the histogram 50 generated by the generation unit 111 from the signal processing unit 112 and outputs it as distance measurement data.
  • the signal processing unit 112 analyzes the histogram 50 received from the generation unit 111 to obtain the start position P st and the end position P ed of the peak. When a plurality of peaks are detected in one histogram 50, the start position P st and the end position P ed are obtained for each of the plurality of peaks.
  • the signal processing unit 112 outputs information indicating the start position P st and the end position P ed of these peaks and information indicating the frequency in each bin between the start position P st and the end position P ed. Pass to.
  • the output control unit 140 outputs these information received from the signal processing unit 112 as distance measurement data.
  • the signal processing unit 112 analyzes the histogram 50 received from the generation unit 111, and analyzes the peak position, the start position P st and the end position P ed of the peak at the peak position, and the peak intensity of the peak. And shape information. When a plurality of peaks are detected in one histogram 50, the information is obtained for each of the plurality of peaks.
  • the signal processing unit 112 passes each of these pieces of information to the output control unit 140.
  • the output control unit 140 outputs these information received from the signal processing unit 112 as distance measurement data.
  • the attribute data includes (4) information related to the pixel (element 11), (5) information related to ambient light, (6) information related to calibration of the pixel array unit 100, and (7) information related to the pixel array unit 100. It can be roughly divided into information on parameters that affect operation.
  • Header information such as pixel identification information for identifying pixels, that is, elements 11.
  • information for identifying the element 11 to be scanned by the pixel array unit 100 that is, the element 11 to which the pixel signal is output in the distance measuring device 1a is passed from the overall control unit 103 to the distance measuring processing unit 101.
  • the conversion unit 110 converts the pixel signal supplied from the pixel array unit 100 into time information, and adds pixel identification information as header information to this time information.
  • the function for adding pixel identification information is always on or always off.
  • the ambient light is measured by the illuminance measuring unit 151. More specifically, the output control unit 140 measures the external illuminance of the distance measuring device 1 measured from the illuminance measuring unit 151 during the period when the light source unit 2 does not emit the laser light during the distance measuring process. Measured as the illuminance of ambient light.
  • the distance measuring device 1a outputs the disturbance light information indicating the measured illuminance of the disturbance light at a frequency of about once in a few line period or once in a few frame period. Further, it can be considered that the disturbance light information does not change in the adjacent pixels (element 11), and depending on the scene, it is also possible to output the disturbance light information due to the disturbance light measured immediately before.
  • the pixel array unit 100 performs calibration, for example, periodically in order to accurately measure the light receiving timing.
  • correction of wiring delay of the pixel array unit 100 can be mentioned.
  • a reference pulse is input to one end of the line of the pixel array unit 100, and the delay amount at the other end is measured. The accuracy can be further improved by measuring the delay amount multiple times on different lines during one frame period.
  • Information related to calibration (calibration information) is acquired and output at a frequency of, for example, about once every several line periods.
  • the distance measuring device 1a acquires, for example, wiring delay correction information for light receiving element detection and sampling, which is obtained based on the measured delay amount, as calibration information.
  • the temperature of the pixel array unit 100 and the voltage of the power supply supplied to the pixel array unit 100 are parameters that affect the operation of the pixel array unit 100.
  • the distance measuring device 1a measures the temperature by, for example, a temperature measuring unit 150 provided in close contact with the pixel array unit 100. Further, the distance measuring device 1a measures the voltage of the power supply supplied to the pixel array unit 100 by, for example, the overall control unit 103 or the pixel control unit 102.
  • the temperature and voltage of the pixel array unit 100 by the distance measuring device 1a are output at a frequency of, for example, about once in one frame period.
  • the information indicating these temperatures and voltages can be used, for example, as the calibration information for correcting the distance measurement data based on the pixel signal output from the pixel array unit 100 described above.
  • information indicating the attribute data to be output and information indicating the frequency of outputting the attribute data are stored in advance in, for example, the setting value storage unit 114. Further, with respect to the distance measurement data, any of the above-mentioned (1) all information of the histogram 50, (2) information of the histogram 50 around the peak, and (3) peak information of the distance measurement data is stored in the set value storage unit 114. Information indicating whether to output can also be stored in advance.
  • the output control unit 140 acquires these information stored in the set value storage unit 114 via the setting unit 113, selects distance measurement data to be output according to the acquired information, and determines the output timing of each attribute data. Control. Not limited to this, the output control unit 140 has a memory, and the distance measurement data to be output, the information indicating the attribute data to be output, and the information indicating the frequency of outputting the attribute data are stored in this memory in advance. You may leave it.
  • FIG. 19 is a diagram for explaining the output process in the ranging device 1a according to the modified example of the first embodiment.
  • the attribute data p, q, r and s are a plurality of attribute data p, q, r and s as shown as patterns (1) to (4). It is possible to output in a pattern.
  • pattern (1) is a pattern in which each attribute data p, q, r and s are sequentially output for each line period.
  • the pattern (2) is a pattern in which the attribute data p and q are alternately output for each line period.
  • the pattern (3) is a pattern in which the attribute data p is output in a 1-line period, the attribute data q is output in a 2-line period, and the attribute data r is output in a 1-line period.
  • the pattern (4) is a pattern in which the attribute data p is output in a 3-line period, the attribute data q is output in a 4-line period, and the attribute data r is output in a 1-line period. Note that these patterns (1) to (4) are examples for explanation and are not limited thereto.
  • each attribute data p, q, r and s is stored in advance in, for example, the set value storage unit 114.
  • the output control unit 140 acquires the information stored in the set value storage unit 114 via the setting unit 113, and stores the attribute data p, q, r and s according to the pattern shown in the acquired information. Select the register to read the attribute data from the register. As a result, the pressure on the output band is suppressed, and each attribute data p, q, r and s can be output at an appropriate timing.
  • the second embodiment of the present disclosure makes it possible to reduce the output ranging data. More specifically, in the second embodiment, when the first ranging data is output at the first frequency, the second ranging data is output at a second frequency lower than the first frequency. To do.
  • the configuration of the distance measuring device 1a according to the first embodiment described with reference to FIG. 15 can be applied as it is, so that the description of the device configuration will be omitted.
  • FIG. 20 is a diagram for explaining the output processing of the ranging data according to the second embodiment.
  • FIG. 20 is a diagram corresponding to FIG. 17 described above, and shows an example of a histogram 50 based on the time when each element 11 (pixel circuit 10) receives a light.
  • the time t 10, t 11 and t 12 the peak 51a of each histogram 50, 51b and 51c are detected.
  • FIG. 21 is a diagram schematically showing an example of distance measurement processing by the entire pixel array unit 100.
  • the area 340 corresponds to the frame in the pixel array unit 100. That is, FIG. 21 schematically shows the scene seen from the area 340.
  • the ranging device 1a first horizontally scans the area 341a corresponding to the line at the lower end of the area 340, and when the scanning of the area 341a is completed, the horizontal scan is performed on each line included in the area 340. Switch vertically and repeat. When the scan of the area 341b, which is the uppermost line of the area 340, is completed, the scan of the area 340 is completed.
  • the target object 342 exists at a short distance and the target object 343 exists at a long distance.
  • the target object 342 corresponds to, for example, the peak 51a in FIG. 20
  • the target object 343 corresponds to, for example, the peak 51c in FIG.
  • the distance D th is longer than the distance corresponding to the time t 10 and shorter than the distance corresponding to the times t 11 and t 12 .
  • the distance data corresponding to a short distance (distance less than the distance D th) with respect to the distance D th a first distance measurement data described above.
  • long distance relative to the distance D th distance D th or more distance
  • a second distance measurement data described above.
  • the first ranging data includes the ranging data corresponding to the time t 10
  • the second ranging data includes the ranging data corresponding to the times t 11 and t 12. Is included.
  • the frequency of outputting the second ranging data is made lower than the frequency of outputting the first ranging data. That is, in general, there is less change in the scene at a long distance than at a short distance. Therefore, for example, define a distance D th as the threshold value, the distance D is output by thinning the distance measurement data measured from a distance of the distance range for th, the distance D th output of the far distance measurement data to Suppress.
  • the distance measurement data measured from a long distance range with respect to the distance D th is referred to as long distance region data
  • the distance measurement data measured from a short distance range with respect to the distance D th is referred to as long distance area data. It is called short-distance region data.
  • the thinning method is switched according to a predetermined pattern so that the distance measurement data of the thinned element 11 can be interpolated.
  • the output control unit 140 uses the element 11 at the odd-numbered position of the odd-numbered line and the even-numbered element 11 of the even-numbered line in the odd-numbered frame period (referred to as the frame (odd)). Do not output long-distance area data.
  • the even-numbered frame period referred to as an even
  • the output control unit 140 uses the element 11 at the even-numbered position of the even-numbered line and the odd-numbered element 11 of the even-numbered line. Do not output long-distance area data.
  • the element 11 includes (5 ⁇ 4) pixel circuits 10 in the row and column directions, and the frame includes 5 lines. Shown. Further, each line is defined as the first line L # 1, the second line L # 2, the third line L # 3, ... From the lower end of the frame, and the arrangement in the direction perpendicular to the line of the element 11 is arranged in the first column (column). ) Col # 1, the second column Col # 2, the third column Col # 3, ... Further, among the elements 11, the shaded elements 11 output short-distance region data and long-distance region data.
  • FIG. 22A is a diagram showing an example of thinning out in an odd numbered frame period (odd number) according to the second embodiment.
  • odd-numbered lines 1st line L # 1 and 3rd line L # 3 in the element 11 of the odd-numbered columns Col # 1, Col # 3, ... (That is, the odd-numbered element 11 in the line) .
  • the second line L # 2 and the fourth line L # 4 which are even-numbered lines, the elements 11 of the even-numbered columns Col # 2, Col # 4, ... (That is, the even-numbered elements 11 in the line).
  • the long-distance region data is not output.
  • FIG. 22B is a diagram showing an example of thinning out in an even-numbered frame period (even) according to the second embodiment.
  • the first line L # 1 and the third line L # 3, which are odd-numbered lines in the element 11 of the even-numbered columns Col # 2, Col # 4, ... (That is, the even-numbered element 11 in the line).
  • the second line L # 2 and the fourth line L # 4 which are even-numbered lines, the odd-numbered columns Col # 1, Col # 3, ... Element 11 (that is, the odd-numbered element 11 in the line) ),
  • the long-distance region data is not output.
  • the long-distance region data in the element 11 is interpolated in the frame with respect to the element 11 that does not output the long-distance region data. It is possible to interpolate using the adjacent element 11 of the element 11 and the element 11 whose positions correspond to each other in a plurality of frame periods adjacent in time.
  • the element 11 that does not output the long-distance region data based on the threshold distance D th is provided, but this is not limited to this example.
  • an element 11 that outputs up to n long-distance region data and an element 11 that outputs up to (n / 2) pieces of long-distance region data may be provided based on the distance D th.
  • the element 11 that does not output the peak information whose peak intensity in the long-distance region data is equal to or less than a predetermined value may be provided.
  • the third embodiment of the present disclosure makes it possible to reduce the output ranging data. More specifically, in the third embodiment, the element 11 that suppresses the output of the long-distance region data is determined based on the condition determination.
  • FIG. 23 is a schematic diagram for explaining the output process according to the third embodiment. Note that FIG. 23 shows the same scene as FIG. 21 described above.
  • the target object 342 is detected at a short distance, for example, a distance less than the above-mentioned threshold distance D th, at the elements 11a, 11b and 11c.
  • the target object 343 is detected at a long distance, for example, a distance D th or more of the above-mentioned threshold value, in the elements 11d and 11e.
  • N distance measurement data can be output for each line within a certain output band. That is, when the line includes m elements 11, the average number of distance measurement data output by each element 11 is N / m [elements]. In this case, the number of distance measurement data output by each element 11 is adjusted based on the distance of the target object detected for each element 11.
  • each element 11 can output four peaks (distance measurement data).
  • the elements 11a, 11b and 11c in which the short-distance target object 342 is detected can output six peaks
  • the elements 11d and 11e in which the long-distance target object 343 is detected can output six peaks.
  • Two peaks can be output. That is, while maintaining the number of peaks that can be output in the entire region 341c within a certain output band, the number of outputs of long-distance peaks is reduced and the number of outputs of short-distance peaks is increased.
  • the distance measuring device 1a to which the third embodiment is applied can realize a higher speed distance measuring process.
  • FIG. 24 is an example flowchart showing the output process according to the third embodiment.
  • the process according to the flowchart of FIG. 24 is executed for each element 11, for example.
  • the output control unit 140 determines whether or not the target object detected by the element 11 is a long-distance object based on the distance measurement data of the target element 11 supplied from the signal processing unit 112. To do.
  • the output control unit 140 determines that the object is a long-distance object (step S100, “Yes”), the output control unit 140 shifts the process to step S101.
  • step S101 the output control unit 140 sets the number of output data of the element 11 to a predetermined minimum value, and shifts the process to step S120.
  • step S100 when the output control unit 140 determines that the target object detected in step S100 is a short-distance object (step S100, "No"), the output control unit 140 shifts the process to step S110.
  • step S110 the output control unit 140 calculates the peak value (maximum value) of the number of output data that can be output within the output band.
  • step S111 the output control unit 140 sets the peak value calculated in step S110 to the number of output data, and shifts the process to step S120.
  • step S120 the output control unit 140 outputs distance measurement data according to the number of output data set in step S101 or step S111.
  • the determination is made for the element 11 immediately after the distance measurement process is executed, but this is not limited to this example.
  • the target element 11 corresponds to the target element 11, for example, based on the distance measurement result of the element 11 in the immediately preceding frame or the distance measurement result of the elements 11 around the target element 11 in the immediately preceding frame. It is also possible to determine the number of output data in.
  • the number of distance measurement data to be output is adjusted according to the distance to the target object, but this is not limited to this example.
  • distance measurement data is always output (for example, every line period), and other information (for example, attribute data) is thinned out, for example, in a period of several frames. It can also be output once. In this case, it is also possible to switch the element 11 that outputs other information in the odd-numbered and even-numbered frame periods or lines. At this time, it is preferable that the number of distance measurement data outputs per frame is constant.
  • FIG. 25 is a diagram showing a first embodiment and a modification thereof, and a usage example using the distance measuring device 1a according to the second and third embodiments.
  • the distance measuring device 1a includes, for example, visible light, infrared light, ultraviolet light, X-rays, and the like as follows. It can be used in various cases to sense the light of.
  • -A device that captures images used for viewing, such as digital cameras and mobile devices with camera functions.
  • in-vehicle sensors that photograph the front, rear, surroundings, inside of the vehicle, etc., surveillance cameras that monitor traveling vehicles and roads, inter-vehicle distance, etc.
  • a device used for traffic such as a distance measuring sensor that measures the distance.
  • -A device used for home appliances such as TVs, refrigerators, and air conditioners in order to take a picture of a user's gesture and operate the device according to the gesture.
  • -Devices used for medical treatment and healthcare such as endoscopes and devices that perform angiography by receiving infrared light.
  • -Devices used for security such as surveillance cameras for crime prevention and cameras for personal authentication.
  • -Devices used for beauty such as a skin measuring device that photographs the skin and a microscope that photographs the scalp.
  • -Devices used for sports such as action cameras and wearable cameras for sports applications.
  • -Agricultural equipment such as cameras for monitoring the condition of fields and crops.
  • FIG. 26 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the image pickup unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microprocessor 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits an output signal of at least one of audio and an image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 27 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has image pickup units 12101, 12102, 12103, 12104, 12105 as the image pickup unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100, for example.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 25 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more.
  • the microprocessor 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle runs autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microprocessor 12051 identifies obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to, for example, the imaging unit 12031 among the configurations described above.
  • the image pickup unit 12031 the first embodiment of the present disclosure and its modifications, and the distance measuring device 1a according to the second and third embodiments can be applied to the image pickup unit 12031.
  • the technique according to the present disclosure to the imaging unit 12031, it is possible to perform distance measurement at a higher speed, and it is possible to perform distance measurement from a traveling vehicle with higher accuracy.
  • the present technology can also have the following configurations.
  • a light receiving part including a light receiving element and a light receiving part
  • a time measuring unit that measures the time from the light emitting timing when the light source emits light to the light receiving timing when the light receiving element receives light and acquires the measured value.
  • a generator that generates a histogram of the measured values and An output unit that outputs data indicating the distance to the object to be measured based on the histogram, and an output unit.
  • An output control unit that controls the data to be output to the output unit, With The output control unit Of the data indicating the distance, the data indicating the first distance is output to the output unit at the first frequency, and the data indicating the second distance is output to the output unit at the second frequency.
  • Distance measuring device Of the data indicating the distance, the data indicating the first distance is output to the output unit at the first frequency, and the data indicating the second distance is output to the output unit at the second frequency.
  • the first distance is a distance included in the first distance range.
  • the second distance is a distance included in a second distance range that is farther than the first distance range.
  • the output control unit The data indicating the second distance is output to the output unit at the second frequency lower than the first frequency.
  • (3) The time measuring unit The measured value is acquired for each pixel including one or more light receiving elements, and the measured value is acquired.
  • the output control unit The data indicating the first distance and the data indicating the second distance are switched for each pixel and output to the output unit.
  • (4) The output control unit The data indicating the first distance to be output to the output unit and the data indicating the second distance are switched according to a predetermined pattern.
  • the distance measuring device according to any one of (1) to (3) above.
  • the light receiving elements included in the light receiving unit are arranged in a matrix-like arrangement.
  • the output control unit The pattern for outputting the data indicating the first distance and the data indicating the second distance is switched for each frame period.
  • the distance measuring device according to (4) above.
  • the output control unit Based on the measured value, it is determined whether the data indicating the distance for each pixel is output to the output unit at the first frequency or the second frequency.
  • the distance measuring device according to (3) above.
  • the output control unit Based on the measured values of the pixels around the target pixel among the pixels, data indicating the distance of the target pixel is output to the output unit at either the first frequency or the second frequency. Determine if you want to The distance measuring device according to (3) above.
  • the light receiving elements included in the light receiving unit are arranged in a matrix-like arrangement.
  • the output control unit All the effective light receiving signals included in the array, which were measured immediately before, as to whether the data indicating the distance for each pixel is output to the output unit at the first frequency or the second frequency. Judgment is made based on the measured value of the frame including the element.
  • the distance measuring device according to (3) above.
  • the output control unit The data indicating the first distance and the data different from the data indicating the second distance are further output by the output unit at a third frequency lower than the first frequency.
  • the distance measuring device according to any one of (1) to (8).
  • the different data It includes one or more light receiving elements, and includes identification information for identifying a pixel, which is a unit for the time measuring unit to acquire the measured value.
  • An illuminance measuring unit for measuring the illuminance outside the distance measuring device is further provided.
  • the different data Includes information indicating the illuminance measured by the illuminance measuring unit.
  • (12) The different data Includes calibration information to correct the measurements.
  • the calibration information is Including information on wiring delay in the light receiving unit, The distance measuring device according to (12) above.
  • a thermometer side portion for measuring the temperature of the light receiving portion is further provided.
  • the calibration information is Contains information indicating the temperature measured by the thermometer side.
  • the calibration information is Includes information indicating the voltage of the power supply supplied to the light receiving unit.
  • a light receiving part including a light receiving element and a light receiving part
  • a time measuring unit that measures the time from the light emitting timing when the light source emits light to the light receiving timing when the light receiving element receives light and acquires the measured value.
  • a generator that generates a histogram of the measured values and An output unit that outputs data indicating the distance to the object to be measured based on the histogram, and an output unit.
  • An output control unit that controls the output unit and With The output control unit The output unit is controlled so that the data indicating the distance is output at the first frequency and the data different from the data indicating the distance is output at the second frequency.
  • Distance measuring device 17.
  • the output control unit The different data is output to the output unit at the second frequency lower than the first frequency.
  • the output control unit The different data is output to the output unit in a time-division manner for each type of the different data.
  • (19) The output control unit The output unit outputs the different data at a timing based on a predetermined pattern.
  • the distance measuring device according to any one of (16) to (18).
  • the time measuring unit The measured value is acquired for each pixel including one or more light receiving elements, and the measured value is acquired.
  • the different data Includes identification information that identifies the pixel
  • An illuminance measuring unit for measuring the illuminance outside the distance measuring device is further provided.
  • the different data Includes information indicating the illuminance measured by the illuminance measuring unit.
  • the different data Includes calibration information to correct the measurements.
  • the calibration information is Including information on wiring delay in the light receiving unit, The distance measuring device according to (22) above.
  • thermometer side portion for measuring the temperature of the light receiving portion is further provided.
  • the calibration information is Contains information indicating the temperature measured by the thermometer side.
  • the calibration information is Includes information indicating the voltage of the power supply supplied to the light receiving unit.
  • the output control unit Data indicating a distance different from the data indicating the distance is output to the output unit at a third frequency lower than the first frequency.
  • the distance is a distance included in the first distance range.
  • the other distance is a distance included in a second distance range that is farther than the first distance range.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

より高速な測距が可能な測距装置(1a)を提供する。本開示に係る測距装置は、受光素子(1000)を含む受光部(100)と、光源が発光した発光タイミングから受光素子が受光した受光タイミングまで、の時間を計測して計測値を取得する時間計測部(110)と、計測値のヒストグラムを生成する生成部(111)と、ヒストグラムに基づく被測定物までの距離を示すデータを出力する出力部(106)と、出力部に出力させるデータを制御する出力制御部(140)と、を備える。出力制御部は、距離を示すデータのうち、第1の距離を示すデータを第1の頻度で出力部に出力させ、第2の距離を示すデータを第2の頻度で出力部に出力させる。

Description

測距装置
 本発明は、測距装置に関する。
 光を用いて被測定物までの距離を測定する測距方式の一つとして、直接ToF(Time of Flight)方式と呼ばれる測距手法が知られている。直接ToF方式では、光源から射出された光が被測定物により反射された反射光をセンサにより受光し、光が射出されてから反射光として受光されるまでの時間に基づき対象までの距離を計測する。
特開2008-076390号公報
 直接ToF方式の測距では、センサから、測距結果を含む様々な内部情報が出力される。直接ToF方式により高速に測距を行いたい場合に、これらの内部情報を逐次的に全て出力していると、出力帯域律速により、測距の速度が制限されてしまう。
 本開示は、より高速な測距が可能な測距装置を提供することを目的とする。
 本開示に係る測距装置は、受光素子を含む受光部と、光源が発光した発光タイミングから受光素子が受光した受光タイミングまで、の時間を計測して計測値を取得する時間計測部と、計測値のヒストグラムを生成する生成部と、ヒストグラムに基づく被測定物までの距離を示すデータを出力する出力部と、出力部に出力させるデータを制御する出力制御部と、を備え、出力制御部は、距離を示すデータのうち、第1の距離を示すデータを第1の頻度で出力部に出力させ、第2の距離を示すデータを第2の頻度で出力部に出力させる。
各実施形態に適用可能な直接ToF方式による測距を模式的に示す図である。 各実施形態に適用可能な、受光部が受光した時刻に基づく一例のヒストグラムを示す図である。 各実施形態に係る測距装置を用いた電子機器の一例の構成を示すブロック図である。 各実施形態に適用可能な測距装置の構成例をより詳細に示すブロック図である。 各実施形態に適用可能な画素回路の基本的な構成例を示す図である。 各実施形態に係る測距装置に適用可能なデバイスの構成の例を示す模式図である。 各実施形態に適用可能な画素アレイ部のスキャン方法の例を示す図である。 各実施形態に適用可能な画素アレイ部のスキャン方法の例を示す図である。 各実施形態に適用可能な、フレーム、ラインおよび測距処理の関係の例を示す図である。 各実施形態に係る画素アレイ部の構成例をより具体的に示す図である。 各実施形態に係る画素アレイ部の細部の構成の例を示す図である。 各実施形態に係る画素アレイ部の細部の構成の例を示す図である。 各実施形態に適用可能な、各画素回路から信号Vplsを読み出すための構成の例を示す図である。 既存技術による測距データおよび属性データの出力処理の例を説明するための図である。 既存技術による、属性データの出力をホスト装置との通信により切り替える例を説明するための図である。 第1の実施形態に係る測距装置の一例の構成を示すブロック図である。 第1の実施形態に係る測距装置における出力処理について説明するための図である。 各エレメント(画素回路)が受光した時刻に基づくヒストグラムの例を示す図である。 ヒストグラムのピーク形状の例を模式的に示す図である。 ヒストグラムのピーク形状の例を模式的に示す図である。 ヒストグラムのピーク形状の例を模式的に示す図である。 第1の実施形態の変形例に係る測距装置における出力処理について説明するための図である。 第2の実施形態に係る測距データの出力処理を説明するための図である。 画素アレイ部全体による測距処理の例を模式的に示す図である。 第2の実施形態に係る、奇数番のフレーム(odd)における間引きの例を示す図である。 第2の実施形態に係る、偶数番のフレーム(even)における間引きの例を示す図である。 第3の実施形態に係る出力処理を説明するための模式図である。 第3の実施形態に係る出力処理を示す一例のフローチャートである。 第1の実施形態およびその変形例、ならびに、第2、第3の実施形態に係る測距装置を使用する使用例を示す図である。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の例を示す図である。
 以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
 以下、本開示の実施形態について、下記の順序に従って説明する。
1.各実施形態に適用可能な技術
 1-1.測距処理の概略的な説明
 1-2.測距装置の構成例
 1-3.画素アレイ部のスキャン方法
 1-4.エレメント単位、画素回路単位の読み出し制御例
2.第1の実施形態
 2-1.既存技術について
 2-2.第1の実施形態に係る出力処理
 2-3.測距装置から出力される情報の例
 2-4.変形例
3.第2の実施形態
4.第3の実施形態
5.第4の実施形態
 5-1.本開示の撮像装置を車両に搭載する場合のより具体的な例
[1.各実施形態に適用可能な技術]
(1-1.測距処理の概略的な説明)
 先ず、本開示の各実施形態に適用可能な技術について説明する。本開示は、光を用いて測距を行う技術に関するものである。各実施形態では、測距方式として、直接ToF(Time Of Flight)方式を適用する。直接ToF方式は、光源から射出された光が被測定物により反射した反射光を受光素子により受光し、光の射出タイミングと受光タイミングとの差分の時間に基づき測距を行う方式である。
 図1および図2を用いて、直接ToF方式による測距について、概略的に説明する。図1は、各実施形態に適用可能な直接ToF方式による測距を模式的に示す図である。測距装置300は、光源部301と受光部302とを含む。光源部301は、例えばレーザダイオードであって、レーザ光をパルス状に発光するように駆動される。光源部301から射出された光は、被測定物303により反射され、反射光として受光部302に受光される。受光部302は、光電変換により光を電気信号に変換する受光素子を含み、受光した光に応じた信号を出力する。
 ここで、光源部301が発光した時刻(発光タイミング)を時間t0、光源部301から射出された光が被測定物303により反射された反射光を受光部302が受光した時刻(受光タイミング)を時間t1とする。定数cを光速度(2.9979×108[m/sec])とすると、測距装置300と被測定物303との間の距離Dは、次式(1)により計算される。
D=(c/2)×(t1-t0)  …(1)
 測距装置300は、上述の処理を、複数回繰り返して実行する。受光部302が複数の受光素子を含み、各受光素子に反射光が受光された各受光タイミングに基づき距離Dをそれぞれ算出してもよい。測距装置300は、発光タイミングの時間t0から受光部302に光が受光された受光タイミングまでの時間tm(受光時間tmと呼ぶ)を階級(ビン(bins))に基づき分類し、ヒストグラムを生成する。
 なお、受光部302が受光時間tmに受光した光は、光源部301が発光した光が被測定物により反射された反射光に限られない。例えば、測距装置300(受光部302)の周囲の環境光も、受光部302に受光される。
 図2は、各実施形態に適用可能な、受光部302が受光した時刻に基づく一例のヒストグラムを示す図である。図2において、横軸はビン、縦軸は、ビン毎の頻度を示す。ビンは、受光時間tmを所定の単位時間d毎に分類したものである。具体的には、ビン#0が0≦tm<d、ビン#1がd≦tm<2×d、ビン#2が2×d≦tm<3×d、…、ビン#(N-2)が(N-2)×d≦tm<(N-1)×dとなる。受光部302の露光時間を時間tepとした場合、tep=N×dである。
 測距装置300は、受光時間tmを取得した回数をビンに基づき計数してビン毎の頻度310を求め、ヒストグラムを生成する。ここで、受光部302は、光源部301から射出された光が反射された反射光以外の光も受光する。このような、対象となる反射光以外の光の例として、上述した環境光がある。ヒストグラムにおいて範囲311で示される部分は、環境光による環境光成分を含む。環境光は、受光部302にランダムに入射される光であって、対象となる反射光に対するノイズとなる。
 一方、対象となる反射光は、特定の距離に応じて受光される光であって、ヒストグラムにおいてアクティブ光成分312として現れる。このアクティブ光成分312内のピークの頻度に対応するビンが、被測定物303の距離Dに対応するビンとなる。測距装置300は、そのビンの代表時間(例えばビンの中央の時間)を上述した時間t1として取得することで、上述した式(1)に従い、被測定物303までの距離Dを算出することができる。このように、複数の受光結果を用いることで、ランダムなノイズに対して適切な測距を実行可能となる。
(1-2.測距装置の構成例)
 図3は、各実施形態に係る測距装置を用いた電子機器の一例の構成を示すブロック図である。図3において、電子機器6は、測距装置1と、光源部2と、記憶部3と、制御部4と、光学系5と、を含む。
 光源部2は、上述した光源部301に対応し、レーザダイオードであって、例えばレーザ光をパルス状に発光するように駆動される。光源部2は、面光源としてレーザ光を射出するVCSEL(Vertical Cavity Surface Emitting LASER)を適用することができる。これに限らず、光源部2として、レーザダイオードをライン上に配列したアレイを用い、レーザダイオードアレイから射出されるレーザ光をラインに垂直の方向にスキャンする構成を適用してもよい。さらにまた、単光源としてのレーザダイオードを用い、レーザダイオードから射出されるレーザ光を水平および垂直方向にスキャンする構成を適用することもできる。
 測距装置1は、上述した受光部302に対応して、複数の受光素子を含む。複数の受光素子は、例えば2次元格子状(行列状)に配列されて受光面を形成する。光学系5は、外部から入射する光を、測距装置1が含む受光面に導く。
 制御部4は、電子機器6の全体の動作を制御する。例えば、制御部4は、測距装置1に対して、光源部2を発光させるためのトリガである発光トリガを供給する。測距装置1は、この発光トリガに基づくタイミングで光源部2を発光させると共に、発光タイミングを示す時間t0を記憶する。また、制御部4は、例えば外部からの指示に応じて、測距装置1に対して、測距の際のパターンの設定を行う。
 測距装置1は、受光面に光が受光されたタイミングを示す時間情報(受光時間tm)を取得した回数を所定の時間範囲内で計数し、ビン毎の頻度を求めて上述したヒストグラムを生成する。測距装置1は、さらに、生成したヒストグラムに基づき、被測定物までの距離Dを算出する。算出された距離Dを示す情報は、記憶部3に記憶される。
 図4は、各実施形態に適用可能な測距装置1の基本的な構成の例をより詳細に示すブロック図である。図4において、測距装置1は、画素アレイ部100と、測距処理部101と、画素制御部102と、全体制御部103と、クロック生成部104と、発光タイミング制御部105と、インタフェース(I/F)106と、を含む。これら画素アレイ部100、測距処理部101、画素制御部102、全体制御部103、クロック生成部104、発光タイミング制御部105およびインタフェース106は、例えば1つの半導体チップ上に配置される。
 図4において、全体制御部103は、例えば予め組み込まれるプログラムに従い、この測距装置1の全体の動作を制御する。また、全体制御部103は、外部から供給される外部制御信号に応じた制御を実行することもできる。クロック生成部104は、外部から供給される基準クロック信号に基づき、測距装置1内で用いられる1以上のクロック信号を生成する。発光タイミング制御部105は、外部から供給される発光トリガ信号に従い発光タイミングを示す発光制御信号を生成する。発光制御信号は、光源部2に供給されると共に、測距処理部101に供給される。
 画素アレイ部100は、行列状の配列で配置される、それぞれ受光素子を含む複数の画素回路10、10、…を含む。各画素回路10の動作は、全体制御部103の指示に従った画素制御部102により制御される。例えば、画素制御部102は、各画素回路10からの画素信号の読み出しを、行方向にp個、列方向にq個の、(p×q)個の画素回路10を含むブロック毎に制御することができる。また、画素制御部102は、当該ブロックを単位として、各画素回路10を行方向にスキャンし、さらに列方向にスキャンして、各画素回路10から画素信号を読み出すことができる。これに限らず、画素制御部102は、各画素回路10をそれぞれ単独で制御することもできる。
 さらに、画素制御部102は、画素アレイ部100の所定領域を対象領域として、対象領域に含まれる画素回路10を、画素信号を読み出す対象の画素回路10とすることができる。さらにまた、画素制御部102は、複数行(複数ライン)を纏めてスキャンし、それを列方向にさらにスキャンして、各画素回路10から画素信号を読み出すこともできる。
 各画素回路10から読み出された画素信号は、測距処理部101に供給される。測距処理部101は、変換部110と、生成部111と、信号処理部112と、を含む。
 各画素回路10から読み出され、画素アレイ部100から出力された画素信号は、変換部110に供給される。ここで、画素信号は、対象領域に含まれる各画素回路10から非同期で読み出され、変換部110に供給される。すなわち、画素信号は、対象領域に含まれる各画素回路10において光が受光されたタイミングに応じて受光素子から読み出され、出力される。
 変換部110は、画素アレイ部100から供給された画素信号を、デジタル情報に変換する。すなわち、画素アレイ部100から供給される画素信号は、当該画素信号が対応する画素回路10に含まれる受光素子に光が受光されたタイミングに対応して出力される。変換部110は、供給された画素信号を、当該タイミングを示す時間情報に変換する。
 生成部111は、変換部110により画素信号が変換された時間情報に基づきヒストグラムを生成する。ここで、生成部111は、時間情報を、設定部113により設定された単位時間dに基づき計数し、ヒストグラムを生成する。
 信号処理部112は、生成部111により生成されたヒストグラムのデータに基づき所定の演算処理を行い、例えば距離情報を算出する。信号処理部112は、例えば、生成部111により生成されたヒストグラムのデータに基づき、当該ヒストグラムの近似曲線を作成する。信号処理部112は、このヒストグラムが近似された曲線のピークを検出し、検出されたピークに基づき距離Dを求めることができる。
 信号処理部112は、ヒストグラムの曲線近似を行う際に、ヒストグラムが近似された曲線に対してフィルタ処理を施すことができる。例えば、信号処理部112は、ヒストグラムが近似された曲線に対してローパスフィルタ処理を施すことで、ノイズ成分を抑制することが可能である。
 なお、詳細は後述するが、信号処理部112は、このヒストグラムの近似曲線に基づき、ピーク強度、ピークの開始および終了位置などの情報を取得できる。この信号処理部112においてヒストグラムの近似曲線から取得される、距離情報を含む各情報を、測距情報(測距データ)と呼ぶ。
 信号処理部112で求められた距離情報を含む測距データは、インタフェース106に供給される。インタフェース106は、信号処理部112から供給された距離情報を、出力データとして外部に出力する出力部として機能する。。インタフェース106としては、例えばMIPI(Mobile Industry Processor Interface)を適用することができる。
 なお、上述では、信号処理部112で求められた距離情報を含む測距データを、インタフェース106を介して外部に出力しているが、これはこの例に限定されない。すなわち、生成部111により生成されたヒストグラムのデータであるヒストグラムデータを、インタフェース106から外部に出力する構成としてもよい。この場合、設定部113が設定する測距条件情報は、フィルタ係数を示す情報を省略することができる。インタフェース106から出力されたヒストグラムデータは、例えば外部の情報処理装置に供給され、適宜、処理される。
 図5は、各実施形態に適用可能な画素回路10の基本的な構成例を示す図である。図5において、画素回路10は、受光素子1000と、トランジスタ1100、1102および1103と、インバータ1104と、スイッチ部1101と、AND回路1110と、を含む。
 受光素子1000は、入射された光を光電変換により電気信号に変換して出力する。各実施形態においては、受光素子1000は、入射されたフォトン(光子)を光電変換により電気信号に変換し、フォトンの入射に応じたパルスを出力する。各実施形態では、受光素子1000として、単一フォトンアバランシェダイオードを用いる。以下、単一フォトンアバランシェダイオードを、SPAD(Single Photon Avalanche Diode)と呼ぶ。SPADは、カソードにアバランシェ増倍が発生する大きな負電圧を加えておくと、1フォトンの入射に応じて発生した電子がアバランシェ増倍を生じ、大電流が流れる特性を有する。SPADのこの特性を利用することで、1フォトンの入射を高感度で検知することができる。
 図5において、SPADである受光素子1000は、カソードが結合部1120に接続され、アノードが電圧(-Vbd)の電圧源に接続される。電圧(-Vbd)は、SPADに対してアバランシェ増倍を発生させるための大きな負電圧である。結合部1120は、信号EN_PRに応じてオン(閉)、オフ(開)が制御されるスイッチ部1101の一端に接続される。スイッチ部1101の他端は、PチャネルのMOSFET(Metal Oxide Semiconductor Field Effect Transistor)であるトランジスタ1100のドレインに接続される。トランジスタ1100のソースは、電源電圧Vddに接続される。また、トランジスタ1100のゲートに、基準電圧Vrefが供給される結合部1121が接続される。
 トランジスタ1100は、電源電圧Vddおよび基準電圧Vrefに応じた電流をドレインから出力する電流源である。このような構成により、受光素子1000には、逆バイアスが印加される。スイッチ部1101がオンの状態で受光素子1000にフォトンが入射されると、アバランシェ増倍が開始され、受光素子1000のカソードからアノードに向けて電流が流れる。
 トランジスタ1100のドレイン(スイッチ部1101の一端)と受光素子1000のカソードとの接続点から取り出された信号が、インバータ1104に入力される。インバータ1104は、入力された信号に対して例えば閾値判定を行い、当該信号が閾値を正方向または負方向に超える毎に当該信号を反転し、パルス状の信号Vplsとして出力する。
 インバータ1104から出力された信号Vplsは、AND回路1110の第1の入力端に入力される。AND回路1110の第2の入力端には、信号EN_Fが入力される。AND回路1110は、信号Vplsと信号EN_Fとが共にハイ(High)状態の場合に、信号Vplsを、端子1122を介して画素回路10から出力する。
 図5において、結合部1120は、さらに、それぞれNチャネルのMOSFETであるトランジスタ1102および1103のドレインが接続される。トランジスタ1102および1103のソースは、例えば接地電位に接続される。トランジスタ1102のゲートは、信号XEN_SPAD_Vが入力される。また、トランジスタ1103のゲートは、信号XEN_SPAD_Hが入力される。これらトランジスタ1102および1103の少なくとも一方がオフ状態の場合、受光素子1000のカソードが強制的に接地電位とされ、信号Vplsがロー(Low)状態に固定される。
 信号XEN_SPAD_VおよびXEN_SPAD_Hを、それぞれ、画素アレイ部100において各画素回路10が配置される2次元格子状の垂直および水平方向の制御信号として用いる。これにより、画素アレイ部100に含まれる各画素回路10のオン状態/オフ状態を、画素回路10毎に制御可能となる。なお、画素回路10のオン状態は、信号Vplsを出力可能な状態であり、画素回路10のオフ状態は、信号Vplsを出力不可の状態である。
 例えば、画素アレイ部100において2次元格子の連続するq列に対して、信号XEN_SPAD_Hをトランジスタ1103がオンとなる状態とし、連続するp行に対して、信号XEN_SPAD_Vをトランジスタ1102がオンとなる状態とする。これにより、p行×q列のブロック状に、各受光素子1000の出力を有効にできる。また、信号Vplsは、AND回路1110により、信号EN_Fとの論理積により画素回路10から出力されるため、例えば信号XEN_SPAD_VおよびXEN_SPAD_Hにより有効とされた各受光素子1000の出力に対して、より詳細に有効/無効を制御可能である。
 さらに、例えば出力が無効とされる受光素子1000が含まれる画素回路10に対して、スイッチ部1101をオフ状態とする信号EN_PRを供給することで、当該受光素子1000に対する電源電圧Vddの供給を停止させ、当該画素回路10をオフ状態とすることができる。これにより、画素アレイ部100における消費電力を削減することが可能である。
 これら信号XEN_SPAD_V、XEN_SPAD_H、EN_PRおよびEN_Fは、例えば、全体制御部103が有するレジスタなどに記憶されるパラメータに基づき全体制御部103により生成される。パラメータは、当該レジスタに予め記憶させておいてもよいし、外部入力に従い当該レジスタに記憶させてもよい。全体制御部103により生成された各信号XEN_SPAD_V、XEN_SPAD_H、EN_PRおよびEN_Fは、画素制御部102により画素アレイ部100に供給される。
 なお、上述した、スイッチ部1101、ならびに、トランジスタ1102および1103を用いた、信号EN_PR、XEN_SPAD_VおよびXEN_SPAD_Hによる制御は、アナログ電圧による制御となる。一方、AND回路1110を用いた信号EN_Fによる制御は、ロジック電圧による制御となる。そのため、信号EN_Fによる制御は、信号EN_PR、XEN_SPAD_VおよびXEN_SPAD_Hによる制御と比較して低電圧にて可能であり、取り扱いが容易である。
 図6は、各実施形態に係る測距装置1に適用可能なデバイスの構成の例を示す模式図である。図6において、測距装置1は、それぞれ半導体チップからなる受光チップ20と、ロジックチップ21とが積層されて構成される。なお、図6では、説明のため、受光チップ20とロジックチップ21とを分離した状態で示している。
 受光チップ20は、画素アレイ部100の領域において、複数の画素回路10それぞれに含まれる受光素子1000が行列状に配列される。また、画素回路10において、トランジスタ1100、1102および1103、スイッチ部1101、インバータ1104、ならびに、AND回路1110は、ロジックチップ21上に形成される。受光素子1000のカソードは、例えばCCC(Copper-Copper Connection)などによる結合部1120を介して、受光チップ20とロジックチップ21との間で接続される。
 ロジックチップ21は、受光素子1000によって取得された信号を処理する信号処理部を含むロジックアレイ部200が設けられる。ロジックチップ21に対して、さらに、当該ロジックアレイ部200と近接して、受光素子1000によって取得された信号の処理を行う信号処理回路部201と、測距装置1としての動作を制御する素子制御部203と、を設けることができる。
 例えば、信号処理回路部201は、上述した測距処理部101を含むことができる。また、素子制御部203は、上述した画素制御部102、全体制御部103、クロック生成部104、発光タイミング制御部105およびインタフェース106を含むことができる。
 なお、受光チップ20およびロジックチップ21上の構成は、この例に限定されない。また、素子制御部203は、ロジックアレイ部200の制御以外にも、例えば受光素子1000の近傍に、他の駆動や制御の目的で配置することができる。素子制御部203は、図6に示した配置以外にも、受光チップ20およびロジックチップ21の任意の領域に、任意の機能を有するように設けることができる。
(1-3.画素アレイ部のスキャン方法)
 次に、各実施形態に適用可能な画素アレイ部100のスキャン方法の例について、概略的に説明する。図7Aおよび図7Bは、各実施形態に適用可能な画素アレイ部100のスキャン方法の例を示す図である。
 例えば図7Aにおいて、画素アレイ部100は、X個(例えば600個)の画素回路10配置される行がY本配置されるサイズを有する。すなわち、画素アレイ部100は、行方向(図7Aにおける水平方向)、および、列方向(図7Aにおける垂直方向)にそれぞれX列(X個)およびY行(Y個)の、合計で(X×Y)個の画素回路10が行列状の配列で配置されて構成される。
 ここで、本開示では、図7Aに示されるように、画素アレイ部100において、p個×q個の画素回路10を含むブロック11を、1つの画素として扱う。すなわち、画素アレイ部100において、p個×q個の画素回路10を含むブロックであるブロック11毎に測距が行われる。ブロック11は、ヒストグラム生成の際に受光時間tmの数を加算する加算単位である。より具体的には、ブロック11毎に、ブロック11に含まれる各画素回路10において露光、フォトン検出、ヒストグラム生成、ピーク検出といった測距処理が実行される。ブロック11は、複数の画素回路10による検出結果が1つに纏められて出力されるため、1つの画素として扱うことができる。図7Aおよび後述する図7Bでは、説明のため、ブロック11が5個×4個の画素回路10を含むものとして示している。
 以下では、ブロック11が画素として扱われることを考慮して、ブロック11をエレメント11と呼ぶ。
 図7Aに示されるように、画素アレイ部100の全面の各エレメント11において、同時に測距処理が実行された場合、消費電力や、データの通信帯域、回路規模などの点での制約がある。そのため、画素アレイ部100を複数の領域に分割し、分割した領域に対して順次に測距処理を行う。
 図7Bは、この画素アレイ部100を複数領域に分割した測距処理の実行を概略的に示す図である。図7Bに示されるように、画素アレイ部100を、垂直方向に、エレメント11の高さに応じた領域に分割し、分割した領域毎に測距処理を実行する。
 以下では、画素アレイ部100をエレメント11の高さに応じて垂直方向に分割した各領域を、ラインと呼ぶ。また、画素アレイ部100において全ラインを含む領域を、フレームと呼ぶ。換言すれば、フレームは、画素アレイ部100において、測距に対して有効な画素回路10を全て含む領域である。フレームに含まれる全エレメント11をスキャンする期間をフレーム期間と呼び、ラインに含まれる全エレメント11をスキャンする期間をライン期間と呼ぶ。
 図7Bにおいて、画素アレイ部100の下端のラインにおける測距処理が終了すると(1回目)、その1つ上のラインにおいて、エレメント11毎に測距処理が実行される(2回目)。以降同様にして、画素アレイ部100をエレメント11単位で水平方向にスキャンして測距処理を行い、このライン単位のスキャンを、垂直方向に隣接するラインに対して順次実行する。測距は、この1ライン分の測距を単位として実行される。1フレーム分の測距処理が終了すると、次のフレーム期間の測距処理が同様にして実行される。
 図8は、各実施形態に適用可能な、フレーム期間、ライン期間および測距処理の関係の例を示す図である。図8において、右方向に時間の進行を示し、上段からフレーム期間、ライン期間および測距データを示している。また、ライン期間において、ハイ(High)状態が各エレメント11のスキャンが実行される期間を示す。図8の例では、各ライン期間は、例えば数10[μsec]の長さとされ、この数10[μsec]で測距処理が実行されて測距データXが出力され、1フレーム期間内で複数ラインの処理が実行される。1フレーム期間は、例えば数[msec]の長さを有する。すなわち、1本のラインに含まれる各エレメント11による測距処理の結果は、測距装置1(インタフェース106)から、数10[μsec]の期間内に全て出力される必要がある。
(1-4.エレメント単位、画素回路単位の読み出し制御例)
 次に、各実施形態に適用可能な、エレメント400単位、画素回路10単位に読み出し制御の例について説明する。図9は、各実施形態に係る画素アレイ部100の構成例をより具体的に示す図である。図4を用いて説明した画素制御部102は、図9においては、水平制御部102aと垂直制御部102bとに分離して示されている。
 図9において、画素アレイ部100は、水平方向にx列、垂直方向y行の、計(x×y)個の画素回路10を含む。また、図9、ならびに、後述する図10および図11の例では、エレメント11は、水平方向に3個、垂直方向に3個の計9個の画素回路10を含むものとして示している。
 例えば、行方向(水平方向)、すなわち列単位で各画素回路10を制御するための、上述の信号XEN_SPAD_Hに対応する信号EN_SPAD_Hは、エレメント11を単位とする3ビット信号([2:0]として示す)により全体制御部103から出力され、水平制御部102aに供給される。すなわち、この1つの3ビット信号により、水平方向に連続して配置される3つの画素回路10に対する信号EN_SPAD_H[0]、EN_SPAD_H[1]およびEN_SPAD_H[2]がマージされて伝送される。
 図9の例では、画素アレイ部100の左端のエレメント11から順に、信号EN_SPAD_H#0[2:0]、EN_SPAD_H#1[2:0]、…、EN_SPAD_H#(x/3)[2:0]が、全体制御部103により生成され、水平制御部102aに供給される。水平制御部102aは、各信号EN_SPAD_H#0[2:0]、EN_SPAD_H#1[2:0]、…、EN_SPAD_H#(x/3)[2:0]の3ビットの値([0]、[1]、[2]として示す)に従い、それぞれ対応するエレメント11の各列を制御する。
 同様に、例えば、列方向(垂直方向)、すなわち行単位で各画素回路10を制御するための、上述の信号XEN_SPAD_Vに対応する信号EN_SPAD_Vは、エレメント11を単位とする3ビット信号で全体制御部103から出力され、垂直制御部102bに供給される。すなわち、この1つの3ビット信号により、垂直方向に連続して配置される3つの画素回路10に対する信号EN_SPAD_V[0]、EN_SPAD_V[1]およびEN_SPAD_V[2]がマージされて伝送される。
 図9の例では、画素アレイ部100の下端のエレメント11から順に、信号EN_SPAD_V#0[2:0]、EN_SPAD_V#1[2:0]、…、EN_SPAD_V#(y/3)[2:0]が、全体制御部103により生成され、垂直制御部102bに供給される。垂直制御部102bは、各信号EN_SPAD_V#0[2:0]、EN_SPAD_V#1[2:0]、…、EN_SPAD_V#(y/3)[2:0]の3ビットの値に従い、それぞれ対応するエレメント11の各行を制御する。
 なお、図示は省略するが、信号EN_PRは、例えば、上述の信号EN_SPAD_Vと同様に、エレメント11を単位とする3ビット信号として全体制御部103から出力され、垂直制御部102bに供給される。垂直制御部102bは、各信号EN_PRの3ビットの値に従い、それぞれ対応するエレメントの各行を制御する。
 図10および図11は、各実施形態に係る画素アレイ部100の細部の構成の例を示す図である。より具体的には、図10および図11では、信号EN_Fによる制御について示されている。
 図10に示されるように、信号EN_Fは、画素アレイ部100の隣接する複数列を含む制御対象130毎に供給される信号である。ここでは、エレメント11のサイズに合わせて、制御対象130が3列を含むものとして示されている。また、信号EN_Fは、当該制御対象130に含まれる各行に対し、所定周期の行毎に同一の信号が供給される。すなわち、制御対象130が3列を含むこの例では、同一行の3個の画素回路10に対して、同一の信号EN_Fが供給される。図10では、一例として、信号EN_Fが42ビット([41:0]として示す)の信号とされ、42行(7行×6)毎に同一の信号が供給されるものとして示されている。図10の例では、画素アレイ部100の左端から、3列毎に、信号EN_F#0[41:0]、EN_F#1[41:0]、…、EN_F#(x/3)[41:0]、が全体制御部103から出力され、水平制御部102aに供給される。
 水平制御部102aは、各信号EN_F#0[41:0]、EN_F#1[41:0]、…、EN_F#(x/3)[41:0]の各ビットを、それぞれ対応する制御対象130の各行に供給する。図11に示されるように、水平制御部102aは、例えば画素アレイ部100の左端の制御対象130に対し、信号EN_F#0[0]を、第1行目、第42(m+1)行目(mは1以上の整数)、…、第42(n+1)行目、…と、42行毎に供給する。水平制御部102aは、信号EN_F#0[2]についても同様に、第2行目、第42(m+2)行目、…と、42行毎に供給する。なお、図11において、制御対象130の上端の行は、42行単位の前半となっていて、信号EN_F#0[20]が供給される。
 すなわち、この42ビットの信号EN_F[41:0]により、水平方向に連続して配置される3つの画素回路10による組が、垂直方向に連続して配置される42組に対する信号EN_F[0]、EN_F[1]、…、EN_F[41]がマージされて伝送される。
 このように、画素アレイ部100は、信号EN_Fにより、複数列毎に異なる制御が可能とされる。さらに、画素アレイ部100は、当該複数列内において、複数行毎(ライン毎)に同一の信号EN_Fが供給される。したがって、画素アレイ部100に含まれる各画素回路10に対して、当該複数列を幅方向の最小単位として、当該複数行(ライン)を周期とした制御が可能である。
 図12は、各実施形態に適用可能な、各画素回路10から信号Vplsを読み出すための構成の例を示す図である。なお、図12では、図中に矢印で示すように、図の横方向が列方向となっている。
 各実施形態では、列方向の所定数の画素回路10毎に、信号Vplsを読み出す読み出し配線を共有化する。図12の例では、v個の画素回路10毎に、読み出し配線を共有化している。例えば、1列に配置される各画素回路10をv個ずつ含むグループ12u、12u+1、12u+2、…を考える。グループ12uは、画素回路1011~101vを、グループ12u+1は、画素回路1021~102vを、グループ12u+2は、1031~103v、…を、それぞれ含む。
 各グループ12u、12u+1、12u+2、…において、グループ内での位置が対応する画素回路10の読み出し配線を共有化する。図12の例では、図の右側を位置の先頭側として、グループ12uの第1番目の画素回路1011、グループ12u+1の第1番目の画素回路1021、グループ12u+2の第1番目の画素回路1031、…の読み出し配線を共有化する。図12の例では、各画素回路1011、1021、1031、…の読み出し配線を、順次、OR回路4111、4121、4131、…を介して接続することで、複数の読み出し配線の共有化を行っている。
 例えば、グループ12uに対して、グループ12uに含まれる画素回路1011~101vそれぞれに対して、OR回路4111、4112、…、411vを設け、それぞれの第1の入力端に、画素回路1011~101vの読み出し配線を接続する。また、グループ12u+1に対しても同様に、グループ12u+1に含まれる画素回路1021~102vに対してそれぞれOR回路4121~412vを設ける。さらに同様に、グループ12u+2についても、グループ12u+2に含まれる画素回路1031~103vに対してそれぞれOR回路4131~413vを設ける。
 なお、各OR回路4111~411vの出力は、例えば測距処理部101に入力される。
 画素回路1011、1021および1031を例に取ると、OR回路4111は、第1の入力端に画素回路1011の読み出し配線が接続され、第2の入力端にOR回路4121の出力が接続される。OR回路4121は、第1の入力端に画素回路1021の読み出し配線が接続され、第2の入力端にOR回路4131の出力が接続される。OR回路4131以降についても同様である。
 この図12に示す構成に対して、例えば垂直制御部102bは、信号EN_SPAD_Vにより、各グループ12u、12u+1、12u+2、…において位置が対応する各画素回路10から、同時に読み出しを行わないように制御する。換言すれば、垂直制御部102bは、列に、(v-1)個おきに配置される複数の画素回路10のうち1の画素回路10のみ、読み出し可能に制御する。図12の例では、垂直制御部102bは、例えば、画素回路1011と、画素回路1021と、画素回路1031と、から同時に読み出しを行わないように制御する。これに限らず、この列方向の同時読み出しの制御は、水平制御部102aが信号EN_Fを用いて行うことも可能である。
 一方、この図12に示す構成では、垂直制御部102bは、列に連続して配置されるv個の画素回路10からの同時読み出しを指定することができる。このとき、垂直制御部102bは、同時に読み出しを行う画素回路10を、グループ12u、12n+1、12u+2、…を跨いで指定することができる。すなわち、図12に示す構成では、列方向に連続するv個の画素回路10が同時読み出し可能である。例えば、グループ12uに含まれる先頭から3番目の画素回路1013から、グループ12u+1に含まれる先頭から2番目の画素回路1022までの、連続して配置されるv個の画素回路10に対して、同時読み出しを指定することが可能である。
 また、垂直制御部102bは、列において連続して配置されるv個の画素回路10からの同時読み出しを指定する場合、当該列の他の画素回路10からの読み出しを行わないように制御する。そのため、例えばOR回路4111の出力は、画素回路1011、1021、1031、…の何れか1つの画素回路10から読み出された信号Vplsとなる。
 このように、各画素回路10の読み出し配線の接続と、各画素回路10に対する読み出し制御を行うことで、列単位での読み出し配線の数を削減することが可能となる。
[2.第1の実施形態]
 次に、本開示の第1の実施形態について説明する。本開示の第1の実施形態は、測距データと、それ以外の情報(属性データと呼ぶ)とを出力する場合の出力帯域律速を抑制可能とするものである。より具体的には、第1の実施形態では、測距データと、それ以外の情報(属性データ)とで、出力する頻度を異ならせる。より具体的には、測距データを第1の頻度で出力する場合に、属性データを、第1の頻度より低い第2の頻度で出力する。
(2-1.既存技術について)
 先ず、理解を容易とするために、既存技術による測距データおよび属性データの出力について、概略的に説明する。ここでは、ライン毎に、ラインに含まれる全てのエレメント11による測距データXがライン毎に測距装置1から出力され、属性データは、属性データp、q、rおよびsの4種類が測距装置1から出力されるものとする。属性データの具体例については、後述する。
 図13は、既存技術による出力処理の例を説明するための図である。図13は、上述した図8と対応する図であって、各部の意味は、図8と共通であるため、ここでの説明を省略する。図13に示すように、既存技術では、複数の属性データp、q、rおよびsは、それぞれ、測距データXと同期して出力されていた。この方法では、ライン毎に5系統のデータが出力されることになり、例えばインタフェース106の出力帯域が圧迫される。そのため、測距処理を高速に実行した場合であっても、全体としての処理速度は、出力帯域律速となってしまう。
 また、属性データp、q、rおよびsは、それぞれ複数回の測距に付き1回の出力で足りる場合がある。既存技術によれば、この場合、インタフェース106から出力される各情報を、外部のホスト装置との通信により切り替えていた。図14は、既存技術による、属性データの出力をホスト装置との通信により切り替える例を説明するための図である。図14は、上述した図8と対応する図であって、各部の意味は、図8と共通であるため、ここでの説明を省略する。また、図14において、測距データXの系統が省略されている。
 図14の例の場合、ホスト装置との通信処理に所定の時間を要するため、例えば属性データpの出力と、属性データqの出力と、を切り替えるための設定は、時間に余裕のある、例えばフレーム間351に実行する必要がある。属性データpの出力が次の属性データqの出力に切り替わるまでの時間が長いため、適切なタイミングで情報を出力することが困難となるおそれがある。
(2-2.第1の実施形態に係る出力処理)
 次に、第1の実施形態に係る測距データおよび属性データの出力処理について説明する。第1の実施形態では、異なる複数の属性データの出力を、測距毎すなわち測距データの出力のタイミングに同期して切り替える。
 図15は、第1の実施形態に係る測距装置の一例の構成を示すブロック図である。図15において、第1の実施形態に係る測距装置1aは、上述した図4に示した測距装置1に対して、設定部113、設定値記憶部114および出力制御部140が追加されている。
 また、図15では、属性データのうち幾つかを取得する手段として、温度測定部150と照度測定部151とが示されている。温度測定部150は、画素アレイ部100の温度を測定し、温度情報を出力する。照度測定部151は、測距装置1の外部の照度(明るさ)すなわち環境光の照度を測定し、照度値を出力する。
 設定値記憶部114は、測距装置1が測距を実行する際に用いる1以上の測距条件情報を記憶する。測距条件情報は、例えば、生成部111がヒストグラムを生成する際の単位時間dを示す情報と、信号処理部112がフィルタ処理に用いるフィルタ係数と、を含む設定情報と、測距パターンを設定するための情報と、を含む。また、設定値記憶部114は、ヒストグラムデータのピーク形状の種別を示す情報と、測距情報の出力制御に関する出力制御情報と、をさらに記憶することができる。設定値記憶部114に記憶される各情報は、例えば外部制御信号に従った全体制御部103の制御により、書き換えることができる。
 設定部113は、例えば全体制御部103の制御に従い、設定値記憶部114から測距条件情報を読み出し、読み出した測距条件情報に基づき、生成部111および信号処理部112に対するパラメータなどの設定を行う。
 出力制御部140は、信号処理部112から出力される測距データをインタフェース106に対して出力する。このとき、出力制御部140は、測距データに含まれる各情報のうち、例えば設定部113により指定された情報を選択して出力することができる。
 出力制御部140は、上述したように、信号処理部112から測距データが供給される。また、出力制御部140は、温度測定部150から出力された温度情報と、照度測定部151から出力された照度情報と、が属性データとして供給される。さらに、出力制御部140は、画素アレイ部100から、図示されない経路を介して、画素アレイ部100に供給される電源の電圧を示す電圧値情報を、属性データとして取得することができる。さらにまた、出力制御部140は、設定値記憶部114に記憶される各情報のうち、測距装置1の外部に出力するための情報(外部出力情報と呼ぶ)を、属性データとして取得することができる。
 出力制御部140は、これら測距データおよび属性データの、インタフェース106に対する出力を制御する。例えば、出力制御部140は、設定値記憶部114に記憶される出力制御情報に基づき、これら測距データ、および、属性データに含まれる各情報の出力タイミングを制御する。また、出力制御部140は、設定値記憶部114に記憶される出力制御情報に基づき、測距データの出力をエレメント11毎に制御することも可能である。
 図16は、第1の実施形態に係る測距装置1aにおける出力処理について説明するための図である。各部の意味は、図8と共通であるため、ここでの説明を省略する。図16において、属性データは、属性データp、q、rおよびsの4種類が測距装置1aから、それぞれ1フレーム期間に少なくとも1回、測距装置1aから出力されればよいものとする。図16の例では、出力制御部140は、複数の属性データp、q、rおよびsを、測距単位(ライン単位)で切り替えている。すなわち、出力制御部140は、複数の属性データp、q、rおよびsを、時分割で、データの種類毎にインタフェース106から出力させる。
 より具体的に説明する。図16において、説明のため、1フレームが8ラインを含み、各ラインにおける測距に応じて、各ラインに同期して測距データX1、X2、…、X8が出力されるものとする。第1ライン目(図16の左端)の測距に応じて、測距データX1と、属性データpとが出力される。第2ライン目の測距に応じて、測距データX2と、属性データqとが出力される。同様にして、第3ライン目の測距に応じて測距データX3および属性データrが出力され、第4ライン目の測距に応じて測距データX4および属性データsが出力される。
 これによれば、各ライン(測距単位)において出力されるデータが、測距データと、1系統の属性データの2系統となり、例えば図13を用いて説明した既存技術の例と比較して、出力帯域の圧迫が抑制される。
 出力制御部140は、これら属性データp、q、rおよびsの出力のオン/オフを、測距毎に切り替える。例えば、出力制御部140は、各属性データp、q、rおよびsを所定のタイミングで取得し、取得した各属性データp、q、rおよびsを、出力制御部140が備えるレジスタにそれぞれ格納する。出力制御部140は、測距毎(ライン毎)に、属性データを読み出すレジスタを切り替える。このように、複数の属性データのうち出力する属性データを、出力制御部140の内部で切り替えることで、例えば図14を用いて説明した既存技術の例と比較して、より高速な出力切り替えを実現できる。したがって、第1の実施形態が適用された測距装置1aは、より高速な測距処理を実現可能である。
(2-3.測距装置から出力される情報の例)
 次に、第1の実施形態に係る測距装置1aにおいて、出力制御部140により出力される測距データおよび属性データの例について説明する。
 先ず、図17および図18A~図18Cを用いて測距データの例について説明する。図17は、各エレメント11(画素回路10)が受光した時刻に基づくヒストグラムの例を示す図である。なお、図17に示されるヒストグラム50は、曲線にて近似されており、横軸が時間tとされている。
 図17において、例えば左端が光源部2による発光タイミングの時間t0であるものとする。右方向に向けて受光タイミングが遅くなり、光源部2で発光された光がより遠距離にて反射されたことを示している。すなわち、図17において右方向に向けて、被測定物との距離Dが大きくなる。
 図17の例では、時間t10、t11およびt12に、それぞれヒストグラムのピーク51a、51bおよび51cが検出されている。これらピーク51a、51bおよび51cが検出された各時間t10、t11およびt12を、それぞれピーク位置と呼ぶ。また、図2のヒストグラムにおいて範囲311で示した環境光成分をオフセットとして差し引いた高さを、ピーク強度と呼ぶ。また、ピーク51aを例に取り、ピーク51aが開始する時間を開始位置Pst、終了する時間を終了位置Pedと呼ぶ。開始位置Pstおよび終了位置Pedは、例えば曲線近似したヒストグラム50の微分をとることで検出できる。
 信号処理部112は、生成部111において生成されたヒストグラムに基づき、上述のピーク位置と、ピーク強度と、開始位置Pstおよび終了位置Pedとを取得する。
 信号処理部12は、さらに、ヒストグラムのピークの形状を示す形状情報を取得する。図18A、図18Bおよび図18Cは、ヒストグラムのピーク形状の例を模式的に示す図である。図18Aは、ヒストグラム50において一対の開始位置Pstおよび終了位置Pedの間に1つのピーク51が検出される例を示している。このピーク51の形状を、通常形状と呼ぶ。
 図18Bは、ヒストグラム50において一対の開始位置Pstおよび終了位置Pedの間に、位置が近接した2つのピーク51dおよび51eが検出される例を示している。この図18Bの場合、ピーク51dおよび51eの間がヒストグラム50のオフセット高さより所定以上高いため、ピーク51dおよび51eが1つのピークが割れたものと考え、この位置が近接した2つのピーク51dおよび51eによる形状を、ピーク割れ形状と呼ぶ。
 また、図18Cは、ピーク51fが、ヒストグラム50において一対の開始位置Pstおよび終了位置Pedの間に、極めて近接し且つ連続した多数のピークを含んで検出される例を示している。この極めて近接し且つ連続した多数のピークを含むピーク51fの形状を、ピーク連続発生形状と呼ぶ。
 信号処理部112は、生成部111から供給されたヒストグラム50を解析して、ヒストグラム50に含まれるピークの形状が通常形状、ピーク割れ形状およびピーク連続発生形状の何れであるかを求め、例えば当該ピークの情報に対して、ピークの形状を示す形状情報を関連付ける。
 第1の実施形態では、出力制御部140は、エレメント11毎に、次の(1)~(3)の情報のうち何れかを測距データとして出力する。
(1)ヒストグラム50の全情報
 この場合、ヒストグラム50の全情報とは、ヒストグラム50の各ビンにおける頻度を示す情報となる。出力制御部140は、生成部111で生成されたヒストグラム50の全情報を、信号処理部112から受け取り、測距データとして出力する。
(2)ピーク周辺のヒストグラム50の情報
 信号処理部112は、生成部111から受け取ったヒストグラム50を解析してピークの開始位置Pstおよび終了位置Pedを求める。1つのヒストグラム50に複数のピークが検出された場合には、これら複数のピークそれぞれについて、開始位置Pstおよび終了位置Pedを求める。信号処理部112は、これらピークの開始位置Pstおよび終了位置Pedを示す情報と、当該開始位置Pstおよび終了位置Pedの間の各ビンにおける頻度を示す情報と、を出力制御部140に渡す。出力制御部140は、信号処理部112から受け取ったこれらの情報を、測距データとして出力する。
(3)ピーク情報
 信号処理部112は、生成部111から受け取ったヒストグラム50を解析して、ピーク位置と、当該ピーク位置のピークの開始位置Pstおよび終了位置Pedと、当該ピークのピーク強度および形状情報と、を求める。1つのヒストグラム50に複数のピークが検出された場合には、これら複数のピークそれぞれについて、これらの情報を求める。信号処理部112は、これらの各情報を、出力制御部140に渡す。出力制御部140は、信号処理部112から受け取ったこれらの情報を、測距データとして出力する。
 上述した(1)ヒストグラム50の全情報、(2)ピーク周辺のヒストグラム50の情報、および、(3)ピーク情報、のうち、データを受け取って得られる情報量、および、出力データ量は、それぞれ(1)>(2)>(3)となる。また、(1)ヒストグラム50の全情報、から、(2)ピーク周辺のヒストグラム50の情報、を作成することができる。さらに、(2)ピーク周辺のヒストグラム50の情報、から、(3)ピーク情報、を作成することができる。すなわち、(1)から(2)、(2)から(3)と、情報量を圧縮し出力データ量を小さくすることができる。
 次に、測距装置1から出力される属性データの例について説明する。属性データは、(4)画素(エレメント11)に係る情報と、(5)外乱光に係る情報と、(6)画素アレイ部100のキャリブレーションに係る情報と、(7)画素アレイ部100の動作に影響を与えるパラメータの情報と、に大別できる。
(4)画素に係る情報
 画素すなわちエレメント11を識別するための画素識別情報などのヘッダ情報である。例えば、画素アレイ部100においてスキャンの対象となる、すなわち、測距装置1aにおいて、画素信号が出力されるエレメント11を識別する情報が、全体制御部103から測距処理部101に渡される。測距処理部101において、例えば変換部110は、画素アレイ部100から供給される画素信号を時間情報に変換し、この時間情報にヘッダ情報として画素識別情報を付加する。なお、画素識別情報を付加する機能は、常時オンまたは常時オフとする。
(5)外乱光に係る情報
 外乱光は、照度測定部151により測定される。より具体的には、出力制御部140は、照度測定部151から、測距処理中の、光源部2においてレーザ光が発光されていない期間に測定された測距装置1の外部の照度を、外乱光の照度として測定する。測距装置1aは、測定した外乱光の照度を示す外乱光情報を、数ライン期間に1回程度の頻度、あるいは、数フレーム期間に1回の頻度で出力する。また、外乱光情報は、隣接する画素(エレメント11)では変化が無いものと考えることができ、シーンによっては、直前に測定された外乱光による外乱光情報を出力することも可能である。
(6)キャリブレーションに係る情報
 画素アレイ部100は、受光タイミングを正確に測定するために、キャリブレーションを例えば定期的に実行する。キャリブレーションの一例として、画素アレイ部100の配線遅延の補正が挙げられる。例えば、基準パルスを画素アレイ部100のラインの一端に入力して、他端での遅延量を測定する。1フレーム期間中に異なるラインで複数回、遅延量を測定することで、より精度を上げることができる。キャリブレーションに係る情報(キャリブレーション情報)は、例えば数ライン期間に1回程度の頻度で取得され出力される。測距装置1aは、例えば、測定された遅延量に基づき求められる、受光素子検出およびサンプリングの配線遅延補正情報を、キャリブレーション情報として取得する。
(7)画素アレイ部100の動作に影響を与えるパラメータの情報
 画素アレイ部100の温度、画素アレイ部100に供給される電源の電圧は、画素アレイ部100の動作に影響を与えるパラメータである。測距装置1aは、例えば画素アレイ部100に密着して設けられる温度測定部150により温度を測定する。また、測距装置1aは、例えば全体制御部103あるいは画素制御部102により、画素アレイ部100に供給される電源の電圧を測定する。測距装置1aによる、画素アレイ部100の温度および電圧は、例えば1フレーム期間に1回程度の頻度で出力される。これら温度および電圧を示す情報は、例えば上述した、画素アレイ部100から出力される画素信号に基づく測距データを補正するためのキャリブレーション情報として用いることができる。
 上述した各属性データに関し、出力する属性データを示す情報や、当該属性データを出力する頻度を示す情報は、例えば、設定値記憶部114に予め記憶される。また、設定値記憶部114に対して、測距データに関し、上述した(1)ヒストグラム50の全情報、(2)ピーク周辺のヒストグラム50の情報、および、(3)ピーク情報、のうち何れを出力するかを示す情報も、予め記憶させておくことができる。
 出力制御部140は、設定値記憶部114に記憶されるこれらの情報を、設定部113を介して取得し、取得した情報に従い出力する測距データの選択、および、各属性データの出力タイミングを制御する。これに限らず、出力制御部140がメモリを有し、出力する測距データと、出力する属性データを示す情報、および、当該属性データを出力する頻度を示す情報とを、このメモリに予め記憶しておいてもよい。
(2-4.変形例)
 次に、第1の実施形態の変形例について説明する。第1の実施形態の変形例は、属性データの出力タイミングを、複数のパターンから選択可能としたものである。図19は、第1の実施形態の変形例に係る測距装置1aにおける出力処理について説明するための図である。図19に示されるように、ライン期間毎に出力される測距データXに対して、属性データp、q、rおよびsは、パターン(1)~(4)として示されるように、複数のパターンでの出力が可能とされている。
 図19の例では、パターン(1)は、各属性データp、q、rおよびsがライン期間毎に順次出力されるパターンである。パターン(2)は、属性データpおよびqがライン期間毎に交互に出力されるパターンである。パターン(3)は、属性データpが1ライン、属性データqが2ライン期間、属性データrが1ライン期間で出力されるパターンである。また、パターン(4)は、属性データpが3ライン期間、属性データqが4ライン期間、属性データrが1ライン期間で出力されるパターンである。なお、これらのパターン(1)~(4)は、説明のための例であって、これらに限定されるものではない。
 これらパターン(1)~(4)のうち、各属性データp、q、rおよびsを出力するために用いるパターンを示す情報は、例えば設定値記憶部114に予め記憶される。出力制御部140は、設定値記憶部114に記憶される当該情報を、設定部113を介して取得し、取得した情報に示されるパターンに従い、各属性データp、q、rおよびsが格納されるレジスタから、属性データを読み出すレジスタを選択する。これにより、出力帯域の圧迫が抑制されると共に、各属性データp、q、rおよびsを、適切なタイミングで出力することができる。
[3.第2の実施形態]
 次に、本開示の第2の実施形態について説明する。本開示の第2の実施形態は、出力する測距データを削減可能とするものである。より具体的には、第2の実施形態では、第1の測距データを第1の頻度で出力する場合に、第2の測距データを、第1の頻度より低い第2の頻度で出力する。
 なお、第2の実施形態では、図15を用いて説明した第1の実施形態に係る測距装置1aの構成をそのまま適用できるので、装置構成についての説明を省略する。
 図20は、第2の実施形態に係る測距データの出力処理を説明するための図である。図20は、上述した図17と対応する図であって、各エレメント11(画素回路10)が受光した時刻に基づくヒストグラム50の例を示している。図20において、時間t10、t11およびt12に、それぞれヒストグラム50のピーク51a、51bおよび51cが検出されている。
 図21は、画素アレイ部100全体による測距処理の例を模式的に示す図である。図21において、領域340は、画素アレイ部100におけるフレームに対応する。すなわち、図21は、領域340から見たシーンを模式的に示している。測距装置1aは、先ず、領域340の下端の、ラインに対応する領域341aを水平方向にスキャンし、領域341aのスキャンが終了すると、この水平方向のスキャンを、領域340に含まれる各ラインを垂直方向に順次切り替えて、繰り返し実行する。領域340の上端のラインである領域341bのスキャンが終了すると、領域340に対するスキャンが完了する。
 領域340において、近距離に対象物体342が存在し、遠距離に対象物体343が存在するものとする。この場合、対象物体342は、例えば図20のピーク51aに対応し、対象物体343は、例えば図20のピーク51cに対応する。
 ここで、所定の距離Dthを考える。図20の例では、距離Dthは、時間t10に対応する距離より遠距離であって、時間t11およびt12に対応する距離より近距離とされている。この距離Dthに対して近い距離(距離Dth未満の距離)に対応する測距データを、上述した第1の測距データとする。一方、距離Dthに対して遠い距離(距離Dth以上の距離)を、上述した第2の測距データとする。
 図20の例では、第1の測距データには、時間t10に対応する測距データが含まれ、第2の測距データには、時間t11およびt12に対応する各測距データが含まれる。第2の測距データを出力する頻度を、第1の測距データを出力する頻度よりも低くする。すなわち、一般的に、遠距離では、近距離と比較して、シーンの変化が少ない。そのため、例えば閾値となる距離Dthを定め、距離Dthに対して遠距離の距離範囲から計測された測距データを間引いて出力し、距離Dthに対して遠距離の測距データの出力を抑制する。
 以下では、距離Dthに対して遠距離の距離範囲から計測された測距データを、遠距離領域データと呼び、距離Dthに対して近距離の距離範囲から計測された測距データを、近距離領域データと呼ぶ。
 このとき、第2の実施形態では、間引いたエレメント11の測距データを補間可能なように、間引き方を予め定められたパターンに従い切り替える。例えば、出力制御部140は、奇数番のフレーム期間(フレーム(odd)とする)において、奇数番のラインの奇数番の位置のエレメント11と、偶数番のラインの偶数番のエレメント11と、で遠距離領域データを出力しない。また、出力制御部140は、偶数番のフレーム期間(フレーム(even)とする)において、奇数番のラインの偶数番の位置のエレメント11と、偶数番のラインの奇数番のエレメント11と、で遠距離領域データを出力しない。
 図22Aおよび図22Bを用いて、より具体的に説明する。なお、図22Aおよび図22Bでは、説明のため、画素アレイ部100において、エレメント11は、行、列方向に(5×4)個の画素回路10を含み、フレームは、5ラインを含むものとして示している。また、各ラインは、フレームの下端から第1ラインL#1、第2ラインL#2、第3ラインL#3、…とされ、エレメント11のラインに垂直方向の並びを第1カラム(列)Col#1、第2カラムCol#2、第3カラムCol#3、…としている。さらに、各エレメント11のうち、斜線を付したエレメント11は、近距離領域データおよび遠距離領域データを出力する。
 図22Aは、第2の実施形態に係る、奇数番のフレーム期間(odd)における間引きの例を示す図である。奇数番のラインである第1ラインL#1、第3ラインL#3では、奇数番のカラムCol#1、Col#3、…のエレメント11(すなわち、ライン内の奇数番のエレメント11)において、遠距離領域データを出力しない。一方、偶数番のラインである第2ラインL#2、第4ラインL#4では、偶数番のカラムCol#2、Col#4、…のエレメント11(すなわち、ライン内の偶数番のエレメント11)において、遠距離領域データを出力しない。
 図22Bは、第2の実施形態に係る、偶数番のフレーム期間(even)における間引きの例を示す図である。奇数番のラインである第1ラインL#1、第3ラインL#3では、偶数番のカラムCol#2、Col#4、…のエレメント11(すなわち、ライン内の偶数番のエレメント11)において、遠距離領域データを出力しない。一方、偶数番のラインである第2ラインL#2、第4ラインL#4では、奇数番のカラムCol#1、Col#3、…のエレメント11(すなわち、ライン内の奇数番のエレメント11)において、遠距離領域データを出力しない。
 このように、各フレーム期間において遠距離領域データを出力しないエレメント11を予め設定しておくことで、測距装置1aから出力される測距データを削減することが可能となり、より高速な測距処理を実現可能である。
 また、フレーム期間毎およびライン毎に交互に、遠距離領域データを出力しないエレメント11を切り替えることで、当該エレメント11における遠距離領域データを、遠距離領域データを出力しないエレメント11に対し、フレーム内の隣接するエレメント11、および、時間的に隣接する複数のフレーム期間で位置が対応するエレメント11を用いて、補間することが可能となる。
 なお、上述では、閾値の距離Dthに基づき遠距離領域データを出力しないエレメント11を設けているが、これはこの例に限定されない。例えば、距離Dthに基づき、遠距離領域データをn個まで出力するエレメント11と、(n/2)個まで出力するエレメント11と、を設けてもよい。また、距離Dthに基づき、遠距離領域データにおけるピーク強度が所定以下のピーク情報を出力しないエレメント11を設けてもよい。
[4.第3の実施形態]
 次に、本開示の第3の実施形態について説明する。本開示の第3の実施形態は、出力する測距データを削減可能とするものである。より具体的には、第3の実施形態では、条件判定に基づき、遠距離領域データの出力を抑制するエレメント11を決定する。
 図23は、第3の実施形態に係る出力処理を説明するための模式図である。なお、図23は、上述した図21と同一のシーンが示されている。図23において、ラインとしての領域341cのスキャンにおいて、エレメント11a、11bおよび11cにて、対象物体342が近距離、例えば上述の閾値の距離Dth未満の距離に検出されたものとする。また、当該領域341cのスキャンにおいて、エレメント11dおよび11eにて、対象物体343が遠距離、例えば上述の閾値の距離Dth以上の距離に検出されたものとする。
 ここで、測距データの出力帯域を考え、ある一定の出力帯域内において、ライン毎にN個の測距データを出力可能であるものとする。すなわち、ラインがm個のエレメント11を含む場合、各エレメント11が出力する平均の測距データ数は、N/m[個]となる。この場合において、各エレメント11について検出された対象物体の距離に基づき、各エレメント11において出力する測距データの数を調整する。
 例えば、図23の領域341cにおいて、各エレメント11が4個のピーク(測距データ)を出力可能であるものとする。この場合に、近距離の対象物体342が検出されたエレメント11a、11bおよび11cでは、6個のピークを出力可能とする一方で、遠距離の対象物体343が検出されたエレメント11dおよび11eでは、2個のピークを出力可能とする。すなわち、一定の出力帯域内において領域341cの全体で出力可能なピーク数を維持しつつ、遠距離のピークの出力数を減らし、近距離のピークの出力数を増やす。
 このように、測距結果に基づきエレメント11毎に出力する測距データの数を調整することで、当該エレメント11が含まれるラインにおける出力帯域律速を回避しつつ、適切に測距データを出力することが可能となる。またこれにより、第3の実施形態が適用された測距装置1aは、より高速な測距処理を実現可能である。
 図24は、第3の実施形態に係る出力処理を示す一例のフローチャートである。この図24のフローチャートによる処理は、例えばエレメント11毎に実行される。ステップS100で、出力制御部140は、信号処理部112から供給された対象のエレメント11における測距データに基づき、当該エレメント11で検出された対象物体が遠距離の物体であるか否かを判定する。出力制御部140は、遠距離の物体であると判定した場合(ステップS100、「Yes」)、処理をステップS101に移行させる。
 ステップS101で、出力制御部140は、当該エレメント11の出力データ数を予め定められた最小値に設定し、処理をステップS120に移行させる。
 一方、出力制御部140は、ステップS100で検出された対象物体が近距離の物体であると判定した場合(ステップS100、「No」)、処理をステップS110に移行させる。ステップS110で、出力制御部140は、出力帯域内で出力可能な出力データ数のピーク値(最大値)を算出する。次のステップS111で、出力制御部140は、ステップS110で算出されたピーク値を、出力データ数に設定し、処理をステップS120に移行させる。
 ステップS120で、出力制御部140は、ステップS101またはステップS111で設定された出力データ数に応じて、測距データを出力する。
 なお、上述では、測距処理を実行直後のエレメント11に対して判定を行っているが、これはこの例に限定されない。例えば、対象のエレメント11の周辺のエレメント11における測距結果に基づき、対象のエレメント11における出力データ数の判定を実行することができる。また、対象のエレメント11に対応する、例えば直前のフレームにおけるエレメント11の測距結果、あるいは、当該直前のフレームにおける対象のエレメント11の周辺のエレメント11での測距結果に基づき、対象のエレメント11における出力データ数の判定を実行することもできる。
 また、上述では、対象物体が検出されたエレメント11について、当該対象物体までの距離に応じて、出力する測距データの数を調整していたが、これはこの例に限定されない。例えば、対象物体として遠距離の対象物体のみが検出されたエレメント11について、測距データは常時(例えばライン期間毎)出力し、その他の情報(例えば属性データ)は間引いて、例えば数フレーム期間に1回、出力することもできる。またこの場合、奇数番および偶数番のフレーム期間あるいはラインで、その他の情報を出力するエレメント11を切り替えることも可能である。このとき、1フレーム当たりの測距データの出力数は、一定とすると好ましい。
[5.第4の実施形態]
 次に、第4の実施形態として、本開示に係る、第1の実施形態およびその変形例、ならびに、第2、第3の実施形態による測距装置1aの適用例について説明する。図25は、上述の第1の実施形態およびその変形例、ならびに、第2、第3の実施形態に係る測距装置1aを使用する使用例を示す図である。
 上述した第1の実施形態およびその変形例、ならびに、第2、第3の実施形態による測距装置1aは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
(5-1.本開示の測距装置を車両に搭載する場合のより具体的な例)
 本開示に係る測距装置1aの応用例として、当該測距装置1aを車両に搭載して使用する場合のより具体的な例について説明する。図26は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
 車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図26に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
 駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
 ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
 車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
 撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
 車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
 マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
 音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図26の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
 図27は、撮像部12031の設置位置の例を示す図である。図27では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
 撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
 なお、図25には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
 撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
 例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
 撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
 以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031に適用され得る。具体的には、撮像部12031として、本開示の第1の実施形態およびその変形例、ならびに、第2、第3の実施形態に係る測距装置1aを、撮像部12031に適用できる。撮像部12031に本開示に係る技術を適用することにより、より高速な測距が可能となり、走行する車両からの測距をより高精度に実行することが可能となる。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
 なお、本技術は以下のような構成も取ることができる。
(1)
 受光素子を含む受光部と、
 光源が発光した発光タイミングから前記受光素子が受光した受光タイミングまで、の時間を計測して計測値を取得する時間計測部と、
 前記計測値のヒストグラムを生成する生成部と、
 前記ヒストグラムに基づく被測定物までの距離を示すデータを出力する出力部と、
 前記出力部に出力させるデータを制御する出力制御部と、
を備え、
 前記出力制御部は、
 前記距離を示すデータのうち、第1の距離を示すデータを第1の頻度で前記出力部に出力させ、第2の距離を示すデータを第2の頻度で前記出力部に出力させる、
測距装置。
(2)
 前記第1の距離は、第1の距離範囲に含まれる距離であり、
 前記第2の距離は、該第1の距離範囲よりも遠い距離の第2の距離範囲に含まれる距離であり、
 前記出力制御部は、
 前記第2の距離を示すデータを、前記第1の頻度よりも低い前記第2の頻度で、前記出力部に出力させる、
前記(1)に記載の測距装置。
(3)
 前記時間計測部は、
 1以上の前記受光素子を含む画素毎に前記計測値を取得し、
 前記出力制御部は、
 前記第1の距離を示すデータと、前記第2の距離を示すデータとを、前記画素毎に切り替えて前記出力部に出力させる、
前記(1)または(2)に記載の測距装置。
(4)
 前記出力制御部は、
 前記出力部に出力させる前記第1の距離を示すデータと、前記第2の距離を示すデータと、を予め定められたパターンに従い切り替える、
前記(1)乃至(3)の何れかに記載の測距装置。
(5)
 前記受光部に含まれる前記受光素子は、行列状の配列で配置され、
 前記出力制御部は、
 前記第1の距離を示すデータと、前記第2の距離を示すデータと、を出力する前記パターンを、フレーム期間毎に切り替える、
前記(4)に記載の測距装置。
(6)
 前記出力制御部は、
 前記画素毎の前記距離を示すデータを前記第1の頻度および前記第2の頻度の何れで前記出力部に出力させるかを、該計測値に基づき判定する、
前記(3)に記載の測距装置。
(7)
 前記出力制御部は、
 前記画素のうち対象となる対象画素の周辺の画素それぞれの前記計測値に基づき、該対象画素の前記距離を示すデータを前記第1の頻度および前記第2の頻度の何れで前記出力部に出力させるかを判定する、
前記(3)に記載の測距装置。
(8)
 前記受光部に含まれる前記受光素子は、行列状の配列で配置され、
 前記出力制御部は、
 前記画素毎の前記距離を示すデータを前記第1の頻度および前記第2の頻度の何れで前記出力部に出力させるかを、直前に計測された、前記配列に含まれる全ての有効な前記受光素子を含むフレームの前記計測値に基づき判定する、
前記(3)に記載の測距装置。
(9)
 前記出力制御部は、
 前記第1の距離を示すデータおよび前記第2の距離を示すデータとは異なるデータを、前記第1の頻度よりも低い第3の頻度でさらに前記出力部により出力させる、
前記(1)乃至(8)の何れかに記載の測距装置。
(10)
 前記異なるデータは、
 1以上の前記受光素子を含み、前記時間計測部が前記計測値を取得する単位である画素を識別する識別情報を含む、
前記(9)に記載の測距装置。
(11)
 当該測距装置の外部の照度を測定する照度測定部をさらに備え、
 前記異なるデータは、
 前記照度測定部により測定された前記照度を示す情報を含む、
前記(9)または(10)に記載の測距装置。
(12)
 前記異なるデータは、
 前記計測値を補正するためのキャリブレーション情報を含む、
前記(9)乃至(11)の何れかに記載の測距装置。
(13)
 前記キャリブレーション情報は、
 前記受光部における配線遅延の情報を含む、
前記(12)に記載の測距装置。
(14)
 前記受光部の温度を計測する温度計側部をさらに備え、
 前記キャリブレーション情報は、
 前記温度計側部が計測した前記温度を示す情報を含む、
前記(12)または(13)に記載の測距装置。
(15)
 前記キャリブレーション情報は、
 前記受光部に供給される電源の電圧を示す情報を含む、
前記(12)乃至(14)の何れかに記載の測距装置。
(16)
 受光素子を含む受光部と、
 光源が発光した発光タイミングから前記受光素子が受光した受光タイミングまで、の時間を計測して計測値を取得する時間計測部と、
 前記計測値のヒストグラムを生成する生成部と、
 前記ヒストグラムに基づく被測定物までの距離を示すデータを出力する出力部と、
 前記出力部を制御する出力制御部と、
を備え、
 前記出力制御部は、
 前記距離を示すデータを第1の頻度で出力し、前記距離を示すデータとは異なるデータを第2の頻度で出力するように前記出力部を制御する、
測距装置。
(17)
 前記出力制御部は、
 前記異なるデータを、前記第1の頻度よりも低い前記第2の頻度で前記出力部に出力させる、
前記(16)に記載の測距装置。
(18)
 前記出力制御部は、
 前記異なるデータを、該異なるデータの種類毎に時分割で前記出力部に出力させる、
前記(16)または(17)に記載の測距装置。
(19)
 前記出力制御部は、
 予め定められたパターン基づくタイミングで、前記異なるデータを前記出力部により出力させる、
前記(16)乃至(18)の何れかに記載の測距装置。
(20)
 前記時間計測部は、
 1以上の前記受光素子を含む画素毎に前記計測値を取得し、
 前記異なるデータは、
 前記画素を識別する識別情報を含む、
前記(16)乃至(19)の何れかに記載の測距装置。
(21)
 当該測距装置の外部の照度を測定する照度測定部をさらに備え、
 前記異なるデータは、
 前記照度測定部により測定された前記照度を示す情報を含む、
前記(16)乃至(20)の何れかに記載の測距装置。
(22)
 前記異なるデータは、
 前記計測値を補正するためのキャリブレーション情報を含む、
前記(16)乃至(21)の何れかに記載の測距装置。
(23)
 前記キャリブレーション情報は、
 前記受光部における配線遅延の情報を含む、
前記(22)に記載の測距装置。
(24)
 前記受光部の温度を計測する温度計側部をさらに備え、
 前記キャリブレーション情報は、
 前記温度計側部が計測した前記温度を示す情報を含む、
前記(22)または(23)に記載の測距装置。
(25)
 前記キャリブレーション情報は、
 前記受光部に供給される電源の電圧を示す情報を含む、
前記(22)乃至(24)の何れかに記載の測距装置。
(26)
 前記出力制御部は、
 前記距離を示すデータとは別の距離を示すデータを、前記第1の頻度よりも低い第3の頻度で前記出力部に出力させる、
前記(16)乃至(25)の何れかに記載の測距装置。
(27)
 前記距離は、第1の距離範囲に含まれる距離であり、
 前記別の距離は、該第1の距離範囲よりも遠い距離の第2の距離範囲に含まれる距離である、
前記(26)に記載の測距装置。
1,1a,300 測距装置
10 画素回路
11,11a,11b,11c,11d,11e エレメント
50 ヒストグラム
51a,51b,51c,51d,51e,51f ピーク
100 画素アレイ部
101 測距処理部
102 画素制御部
103 全体制御部
104 クロック生成部
105 発光タイミング制御部
106 インタフェース
111 生成部
112 信号処理部
113 設定部
114 設定値記憶部
140 出力制御部
150 温度測定部
151 照度測定部
340,341a,341b,341c 領域
342,343 対象物体

Claims (27)

  1.  受光素子を含む受光部と、
     光源が発光した発光タイミングから前記受光素子が受光した受光タイミングまで、の時間を計測して計測値を取得する時間計測部と、
     前記計測値のヒストグラムを生成する生成部と、
     前記ヒストグラムに基づく被測定物までの距離を示すデータを出力する出力部と、
     前記出力部に出力させるデータを制御する出力制御部と、
    を備え、
     前記出力制御部は、
     前記距離を示すデータのうち、第1の距離を示すデータを第1の頻度で前記出力部に出力させ、第2の距離を示すデータを第2の頻度で前記出力部に出力させる、
    測距装置。
  2.  前記第1の距離は、第1の距離範囲に含まれる距離であり、
     前記第2の距離は、該第1の距離範囲よりも遠い距離の第2の距離範囲に含まれる距離であり、
     前記出力制御部は、
     前記第2の距離を示すデータを、前記第1の頻度よりも低い前記第2の頻度で、前記出力部に出力させる、
    請求項1に記載の測距装置。
  3.  前記時間計測部は、
     1以上の前記受光素子を含む画素毎に前記計測値を取得し、
     前記出力制御部は、
     前記第1の距離を示すデータと、前記第2の距離を示すデータとを、前記画素毎に切り替えて前記出力部に出力させる、
    請求項1に記載の測距装置。
  4.  前記出力制御部は、
     前記出力部に出力させる前記第1の距離を示すデータと、前記第2の距離を示すデータと、を予め定められたパターンに従い切り替える、
    請求項1に記載の測距装置。
  5.  前記受光部に含まれる前記受光素子は、行列状の配列で配置され、
     前記出力制御部は、
     前記第1の距離を示すデータと、前記第2の距離を示すデータと、を出力する前記パターンを、フレーム期間毎に切り替える、
    請求項4に記載の測距装置。
  6.  前記出力制御部は、
     前記画素毎の前記距離を示すデータを前記第1の頻度および前記第2の頻度の何れで前記出力部に出力させるかを、該計測値に基づき判定する、
    請求項3に記載の測距装置。
  7.  前記出力制御部は、
     前記画素のうち対象となる対象画素の周辺の画素それぞれの前記計測値に基づき、該対象画素の前記距離を示すデータを前記第1の頻度および前記第2の頻度の何れで前記出力部に出力させるかを判定する、
    請求項3に記載の測距装置。
  8.  前記受光部に含まれる前記受光素子は、行列状の配列で配置され、
     前記出力制御部は、
     前記画素毎の前記距離を示すデータを前記第1の頻度および前記第2の頻度の何れで前記出力部に出力させるかを、直前に計測された、前記配列に含まれる全ての有効な前記受光素子を含むフレームの前記計測値に基づき判定する、
    請求項3に記載の測距装置。
  9.  前記出力制御部は、
     前記第1の距離を示すデータおよび前記第2の距離を示すデータとは異なるデータを、前記第1の頻度よりも低い第3の頻度でさらに前記出力部により出力させる、
    請求項1に記載の測距装置。
  10.  前記異なるデータは、
     1以上の前記受光素子を含み、前記時間計測部が前記計測値を取得する単位である画素を識別する識別情報を含む、
    請求項9に記載の測距装置。
  11.  当該測距装置の外部の照度を測定する照度測定部をさらに備え、
     前記異なるデータは、
     前記照度測定部により測定された前記照度を示す情報を含む、
    請求項9に記載の測距装置。
  12.  前記異なるデータは、
     前記計測値を補正するためのキャリブレーション情報を含む、
    請求項9に記載の測距装置。
  13.  前記キャリブレーション情報は、
     前記受光部における配線遅延の情報を含む、
    請求項12に記載の測距装置。
  14.  前記受光部の温度を計測する温度計側部をさらに備え、
     前記キャリブレーション情報は、
     前記温度計側部が計測した前記温度を示す情報を含む、
    請求項12に記載の測距装置。
  15.  前記キャリブレーション情報は、
     前記受光部に供給される電源の電圧を示す情報を含む、
    請求項12に記載の測距装置。
  16.  受光素子を含む受光部と、
     光源が発光した発光タイミングから前記受光素子が受光した受光タイミングまで、の時間を計測して計測値を取得する時間計測部と、
     前記計測値のヒストグラムを生成する生成部と、
     前記ヒストグラムに基づく被測定物までの距離を示すデータを出力する出力部と、
     前記出力部を制御する出力制御部と、
    を備え、
     前記出力制御部は、
     前記距離を示すデータを第1の頻度で出力し、前記距離を示すデータとは異なるデータを第2の頻度で出力するように前記出力部を制御する、
    測距装置。
  17.  前記出力制御部は、
     前記異なるデータを、前記第1の頻度よりも低い前記第2の頻度で前記出力部に出力させる、
    請求項16に記載の測距装置。
  18.  前記出力制御部は、
     前記異なるデータを、該異なるデータの種類毎に時分割で前記出力部に出力させる、
    請求項16に記載の測距装置。
  19.  前記出力制御部は、
     予め定められたパターン基づくタイミングで、前記異なるデータを前記出力部により出力させる、
    請求項16に記載の測距装置。
  20.  前記時間計測部は、
     1以上の前記受光素子を含む画素毎に前記計測値を取得し、
     前記異なるデータは、
     前記画素を識別する識別情報を含む、
    請求項16に記載の測距装置。
  21.  当該測距装置の外部の照度を測定する照度測定部をさらに備え、
     前記異なるデータは、
     前記照度測定部により測定された前記照度を示す情報を含む、
    請求項16に記載の測距装置。
  22.  前記異なるデータは、
     前記計測値を補正するためのキャリブレーション情報を含む、
    請求項16に記載の測距装置。
  23.  前記キャリブレーション情報は、
     前記受光部における配線遅延の情報を含む、
    請求項22に記載の測距装置。
  24.  前記受光部の温度を計測する温度計側部をさらに備え、
     前記キャリブレーション情報は、
     前記温度計側部が計測した前記温度を示す情報を含む、
    請求項22に記載の測距装置。
  25.  前記キャリブレーション情報は、
     前記受光部に供給される電源の電圧を示す情報を含む、
    請求項22に記載の測距装置。
  26.  前記出力制御部は、
     前記距離を示すデータとは別の距離を示すデータを、前記第1の頻度よりも低い第3の頻度で前記出力部に出力させる、
    請求項16に記載の測距装置。
  27.  前記距離は、第1の距離範囲に含まれる距離であり、
     前記別の距離は、該第1の距離範囲よりも遠い距離の第2の距離範囲に含まれる距離である、
    請求項26に記載の測距装置。
PCT/JP2020/038663 2019-10-21 2020-10-13 測距装置 WO2021079789A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-192232 2019-10-21
JP2019192232A JP2021067534A (ja) 2019-10-21 2019-10-21 測距装置

Publications (1)

Publication Number Publication Date
WO2021079789A1 true WO2021079789A1 (ja) 2021-04-29

Family

ID=75620509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038663 WO2021079789A1 (ja) 2019-10-21 2020-10-13 測距装置

Country Status (2)

Country Link
JP (1) JP2021067534A (ja)
WO (1) WO2021079789A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176646A1 (ja) * 2022-03-18 2023-09-21 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2024122487A1 (ja) * 2022-12-07 2024-06-13 パナソニックIpマネジメント株式会社 情報処理装置、情報処理システム、制御システム、情報処理方法、情報処理プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085040A1 (ja) * 2021-11-15 2023-05-19 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距システム及び測距方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013117277A1 (de) * 2012-02-10 2013-08-15 Robert Bosch Gmbh Radarsensor mit überwachungsschaltung
JP2014081254A (ja) * 2012-10-16 2014-05-08 Toyota Central R&D Labs Inc 光学的測距装置
US20150041625A1 (en) * 2013-08-06 2015-02-12 Stmicroelectronics (Research & Development) Limited Time to digital converter and applications thereof
JP2016170114A (ja) * 2015-03-13 2016-09-23 株式会社東芝 距離測定装置及び光検出器
US20170052065A1 (en) * 2015-08-20 2017-02-23 Apple Inc. SPAD array with gated histogram construction
JP2017142228A (ja) * 2015-12-10 2017-08-17 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 自動車用のレーダ装置を運転するための方法
JP2017201760A (ja) * 2016-05-06 2017-11-09 株式会社ニコン 撮像装置および測距装置
US20180329064A1 (en) * 2017-05-09 2018-11-15 Stmicroelectronics (Grenoble 2) Sas Method and apparatus for mapping column illumination to column detection in a time of flight (tof) system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013117277A1 (de) * 2012-02-10 2013-08-15 Robert Bosch Gmbh Radarsensor mit überwachungsschaltung
JP2014081254A (ja) * 2012-10-16 2014-05-08 Toyota Central R&D Labs Inc 光学的測距装置
US20150041625A1 (en) * 2013-08-06 2015-02-12 Stmicroelectronics (Research & Development) Limited Time to digital converter and applications thereof
JP2016170114A (ja) * 2015-03-13 2016-09-23 株式会社東芝 距離測定装置及び光検出器
US20170052065A1 (en) * 2015-08-20 2017-02-23 Apple Inc. SPAD array with gated histogram construction
JP2017142228A (ja) * 2015-12-10 2017-08-17 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 自動車用のレーダ装置を運転するための方法
JP2017201760A (ja) * 2016-05-06 2017-11-09 株式会社ニコン 撮像装置および測距装置
US20180329064A1 (en) * 2017-05-09 2018-11-15 Stmicroelectronics (Grenoble 2) Sas Method and apparatus for mapping column illumination to column detection in a time of flight (tof) system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176646A1 (ja) * 2022-03-18 2023-09-21 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2024122487A1 (ja) * 2022-12-07 2024-06-13 パナソニックIpマネジメント株式会社 情報処理装置、情報処理システム、制御システム、情報処理方法、情報処理プログラム

Also Published As

Publication number Publication date
JP2021067534A (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
WO2021079789A1 (ja) 測距装置
WO2020153261A1 (ja) 受光装置および測距装置
US20220137193A1 (en) Measurement apparatus, ranging apparatus, and measurement method
WO2020255770A1 (ja) 測距装置、測距方法、および、測距システム
JP2020034523A (ja) 受光素子および測距システム
WO2020255759A1 (ja) 測距装置、測距方法、および、測距システム
WO2020153272A1 (ja) 測定装置、測距装置および測定方法
US20220276379A1 (en) Device, measuring device, distance measuring system, and method
WO2020195898A1 (ja) 受光装置、測距装置および発光制御方法
US20220128690A1 (en) Light receiving device, histogram generating method, and distance measuring system
WO2020137318A1 (ja) 測定装置、測距装置および測定方法
US11566939B2 (en) Measurement device, distance measurement device, electronic device, and measurement method
WO2020255855A1 (ja) 測距装置および測距方法
WO2020153262A1 (ja) 計測装置および測距装置
US20220268890A1 (en) Measuring device and distance measuring device
WO2020129474A1 (ja) 測距装置および計測装置
WO2024135122A1 (ja) 撮像装置、制御装置およびスパイキングニューラルネットワーク

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20879869

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20879869

Country of ref document: EP

Kind code of ref document: A1