WO2020116039A1 - 測距装置及び測距方法 - Google Patents

測距装置及び測距方法 Download PDF

Info

Publication number
WO2020116039A1
WO2020116039A1 PCT/JP2019/041034 JP2019041034W WO2020116039A1 WO 2020116039 A1 WO2020116039 A1 WO 2020116039A1 JP 2019041034 W JP2019041034 W JP 2019041034W WO 2020116039 A1 WO2020116039 A1 WO 2020116039A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
histogram
memory
unit
pixel value
Prior art date
Application number
PCT/JP2019/041034
Other languages
English (en)
French (fr)
Inventor
坂口　浩章
長谷川　浩一
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN201980009616.6A priority Critical patent/CN111630409A/zh
Priority to DE112019000310.0T priority patent/DE112019000310T5/de
Priority to US16/964,673 priority patent/US20200348416A1/en
Publication of WO2020116039A1 publication Critical patent/WO2020116039A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Definitions

  • the present disclosure relates to a distance measuring device and a distance measuring method.
  • ToF sensors distance image sensors
  • SPADs Single Photon Avalanche Diodes
  • CMOS Complementary Metal Oxide Semiconductor
  • the time from the light source emitting light to the reflected light entering the SPAD (hereinafter referred to as flight time) is measured as a physical quantity multiple times, and a histogram of the physical quantity generated from the measurement result is obtained. Based on this, the distance to the object is specified.
  • the BIN number in the histogram corresponds to the distance to the object from the law of constant light speed. Therefore, the necessary and sufficient histogram BIN number is different between the case where the distance measurement target is near and the case where the distance measurement target is far. That is, a small number of BINs is sufficient when the distance is to be measured in the vicinity, and a large number of BINs is required when the distance to a farther object is measured.
  • the number of BINs in the histogram corresponds to the size (also called depth) of the memory area that stores the histogram. Therefore, a shallow memory area is sufficient when the distance is to be measured in the near range, and a deeper memory area is required when the distance is to be measured farther.
  • the present disclosure proposes a distance measuring device and a distance measuring method capable of efficiently using memory resources depending on the situation.
  • a distance measuring device includes a control register that holds any one of a plurality of pixel modes as a set value, and a plurality of light receiving devices that detect incidence of photons, respectively.
  • a pixel value generation unit that generates a pixel value of each pixel for each sampling period by totaling, and a memory that stores, for each pixel, a histogram of the pixel values calculated by the pixel value generation unit for each sampling period.
  • each pixel is composed of one or more light receiving elements of the plurality of light receiving elements, and when the first pixel mode is held in the control register, the area of the first size in the memory is If the second pixel mode is allocated to each pixel and the control register holds the second pixel mode, a region of the second size different from the first size in the memory is allocated to each pixel.
  • FIG. 3 is a circuit diagram showing a schematic configuration example of a SPAD pixel according to the first embodiment.
  • FIG. 3 It is a block diagram which shows the more detailed structural example of the addition part which concerns on 1st Embodiment.
  • FIG. 3 is a block diagram showing a schematic configuration example of a histogram processing unit according to the first embodiment.
  • FIG. 6 is a block diagram for explaining an operation performed by the histogram generation unit according to the first embodiment in one sampling.
  • FIG. 6 is a block diagram for explaining an operation performed by the histogram generation unit according to the first embodiment in one sampling, focusing on one histogram generation unit (first pixel mode).
  • 6 is a timing chart for explaining an operation performed by the histogram generation unit for one light emission of the light emitting unit according to the first embodiment (first pixel mode).
  • FIG. 6 is a block diagram for explaining an operation performed by the histogram generation unit according to the first embodiment in one sampling (second pixel mode).
  • 6 is a timing chart for explaining an operation performed by the histogram generation unit for one light emission of the light emitting unit according to the first embodiment (second pixel mode).
  • FIG. 6 is a block diagram for explaining an operation performed by the histogram generation unit for one light emission of the light emitting unit according to the first embodiment in one sampling.
  • FIG. 6 is a block diagram for explaining an operation performed by the histogram generation unit according to the first embodiment in one sampling (third pixel mode).
  • 6 is a timing chart for explaining an operation performed by the histogram generation unit for one light emission of the light emitting unit according to the first embodiment (third pixel mode).
  • FIG. 6 is a block diagram for explaining an operation performed by the histogram generation unit according to the first embodiment in one sampling (fourth pixel mode).
  • 7 is a timing chart for explaining an operation performed by the histogram generation unit for one light emission of the light emitting unit according to the first embodiment (fourth pixel mode).
  • FIG. 6 is a diagram for explaining the operation of the histogram generation unit according to the first embodiment.
  • FIG. 3 is a flowchart showing a schematic operation example of the ToF sensor according to the first embodiment.
  • FIG. 1 It is a figure which shows an example of the histogram produced in the memory with respect to the 3rd light emission of the light emission part which concerns on 1st Embodiment.
  • FIG. 1 It is a schematic diagram which shows the schematic structural example of the ToF sensor as a distance measuring device which concerns on 2nd Embodiment.
  • a ToF sensor using SPAD has a SPAD array in which a plurality of SPADs are arranged in a two-dimensional lattice.
  • the SPADs of the SPAD array are grouped into macropixels, each macropixel consisting of one or more SPADs.
  • One macro pixel corresponds to one pixel in the ranging image. Therefore, when the number of SPADs forming one macro pixel and the shape of the area are determined, the number of macro pixels of the entire ToF sensor is determined, and thereby the resolution of the ranging image is determined. Therefore, for example, by setting the SPAD number of one macro pixel to a small value, it is possible to increase the resolution of the range image acquired by the ToF sensor.
  • the SPAD number of one macro pixel is set to a small value, the dynamic range of the pixel value obtained from one macro pixel becomes narrow, and weak reflected light from a distant object has disturbance light of a substantially constant intensity (also called background light). ), it becomes difficult to distinguish reflected light from ambient light.
  • the resolution and the number of BINs can be changed to realize efficient use of memory resources according to the situation and rebalance the resolution and the dynamic range according to the situation.
  • a range-finding device and a range-finding method capable of performing the above will be described with specific examples.
  • FIG. 1 is a block diagram showing a schematic configuration example of a ToF sensor as a distance measuring device according to this embodiment.
  • the ToF sensor 1 includes a control unit 11, a control register 12, a light emitting unit 13, a light receiving unit 14, an adding unit 15, a histogram processing unit 16, and a distance estimating/calculating unit 18. , And an external interface (I/F) 19.
  • I/F external interface
  • the control unit 11 is configured by an information processing device such as a CPU (Central Processing Unit), and controls each unit of the ToF sensor 1. At that time, the control unit 11 controls each unit of the ToF sensor 1 according to the pixel mode stored as a set value in the control register 12.
  • an information processing device such as a CPU (Central Processing Unit)
  • CPU Central Processing Unit
  • the ToF sensor 1 has a plurality of pixel modes in which the resolution, the distance measuring range, and the like of the ToF sensor 1 are different, and the pixel mode may be switched based on an instruction from the external host 80 or the like or a judgment of the control unit 11. ..
  • the pixel mode may be set, for example, by the control unit 11 registering a value input from the host 80 or the like via the external I/F 19 in the control register 12 corresponding to the pixel mode. It may be set by the control unit 11 making an appropriate judgment and changing the set value of the pixel mode in the control register 12.
  • the host 80 may be, for example, an ECU (Engine Control Unit) mounted in an automobile or the like when the ToF sensor 1 is mounted in the automobile or the like.
  • an autonomous mobile robot such as a domestic pet robot, an autonomous mobile body such as a robot cleaner, an unmanned aerial vehicle, or a follow-up transport robot
  • the host 80 controls the autonomous mobile body. It may be a control device or the like.
  • the control register 12 holds, for example, the pixel mode of the ToF sensor 1 as a set value.
  • the details of the pixel mode of the ToF sensor 1 will be described later with reference to an example, but in the present description, the case where the pixel modes 0 to 3 exist is illustrated.
  • the pixel mode 0 is a pixel mode having the highest resolution among the pixel modes 0 to 3 and a narrow ranging range
  • the pixel mode 3 is the widest ranging range among the pixel modes 0 to 3.
  • the pixel mode has a low resolution
  • the pixel modes 1 and 2 are the pixel modes of the resolution and the ranging range between the pixel mode 0 and the pixel mode 3.
  • the light emitting unit 13 is composed of, for example, one or a plurality of semiconductor laser diodes, and emits a pulsed laser beam L1 having a predetermined time width at a predetermined cycle (also referred to as a light emitting cycle).
  • the light emitting unit 13 emits the laser light L1 toward at least an angle range equal to or larger than the angle of view of the light receiving unit 14. Further, the light emitting unit 13 emits the laser light L1 having a time width of 1 ns (nanosecond) at a period of 1 GHz (gigahertz), for example.
  • the laser light L1 emitted from the light emitting unit 13 is reflected by the object 90, for example, when the object 90 is present within the range, and enters the light receiving unit 14 as reflected light L2.
  • the light receiving unit 14 will be described in detail later, but includes, for example, a plurality of SPAD pixels arranged in a two-dimensional lattice, and the number of SPAD pixels that detect the incidence of photons after the light emitting unit 13 emits light (hereinafter, the number of detected SPAD pixels). (For example, the number of detection signals described later) is output.
  • the light receiving unit 14 detects the incidence of photons at a predetermined sampling period for each light emission of the light emitting unit 13, and outputs the detected number.
  • the adding unit 15 totalizes the detection numbers output from the light receiving unit 14 for each of a plurality of SPAD pixels (e.g., corresponding to one or a plurality of macro pixels described later), and sends the totalized value to the histogram processing unit 16 as a pixel value. Output.
  • the histogram processing unit 16 uses the pixel value obtained for each one or a plurality of macro pixels as the flight time on the horizontal axis (e.g., corresponding to the number indicating the sampling order (hereinafter referred to as the sampling number)) and the vertical axis on the vertical axis. Create a histogram of cumulative pixel values.
  • the histogram is created in the memory 17 in the histogram processing unit 16, for example.
  • SRAM Static Random Access Memory
  • the memory 17 is not limited to this, and various memories such as DRAM (Dynamic RAM) can be used as the memory 17.
  • the distance estimation/calculation unit 18 specifies the flight time when the cumulative pixel value reaches a peak from the histogram created by the histogram processing unit 16. In addition, the distance estimation/calculation unit 18 estimates or calculates the distance from the ToF sensor 1 or a device equipped with the same to the object 90 existing in the distance measurement range based on the specified flight time. Then, the distance estimation/calculation unit 18 outputs the estimated or calculated distance information to the host 80 or the like via the external I/F 19, for example.
  • Light receiving unit Fig. 2 is a block diagram showing a schematic configuration example of the light receiving unit according to the present embodiment.
  • the light receiving unit 14 includes a timing control circuit 141, a drive circuit 142, a SPAD array 143, and an output circuit 144.
  • the SPAD array 143 includes a plurality of SPAD pixels 20 arranged in a two-dimensional lattice.
  • pixel drive lines LD vertical direction in the drawing
  • output signal lines LS horizontal direction in the drawing
  • One end of the pixel drive line LD is connected to the output end corresponding to each column of the drive circuit 142
  • one end of the output signal line LS is connected to the input end corresponding to each row of the output circuit 144.
  • the drive circuit 142 includes a shift register, an address decoder, and the like, and drives each SPAD pixel 20 of the SPAD array 143 simultaneously with all pixels or in column units. Therefore, the drive circuit 142 applies a quench voltage V_QCH described later to at least each SPAD pixel 20 in the selected column in the SPAD array 143 and a selection control voltage V_SEL described below to each SPAD pixel 20 in the selected column. And a circuit for applying the voltage. Then, the drive circuit 142 applies the selection control voltage V_SEL to the pixel drive line LD corresponding to the column to be read, thereby selecting the SPAD pixel 20 used for detecting the incidence of photons in column units.
  • a signal (referred to as a detection signal) V_OUT output from each SPAD pixel 20 in the column selectively scanned by the drive circuit 142 is input to the output circuit 144 through each of the output signal lines LS.
  • the output circuit 144 outputs the detection signal V_OUT input from each SPAD pixel 20 to the adder 15 (see FIG. 1) provided for each macro pixel described later.
  • the timing control circuit 141 includes a timing generator that generates various timing signals, and controls the drive circuit 142 and the output circuit 144 based on the various timing signals generated by the timing generator.
  • FIG. 3 is a schematic diagram showing a schematic configuration example of the SPAD array according to the present embodiment.
  • the SPAD array 143 has a configuration in which a plurality of SPAD pixels 20 are arranged in a two-dimensional lattice pattern, for example.
  • the plurality of SPAD pixels 20 are grouped into a plurality of macro pixels 30 each including a predetermined number of SPAD pixels 20 arranged in the row and/or column direction.
  • the shape of the region connecting the outer edges of the SPAD pixels 40 located at the outermost periphery of each macro pixel 30 is a predetermined shape (for example, a rectangle).
  • the plurality of macro pixels 30 arranged in the column direction are divided into a plurality of pixel groups 31 each having a predetermined number.
  • FIG. 4 is a circuit diagram showing a schematic configuration example of the SPAD pixel according to the present embodiment.
  • the SPAD pixel 20 includes a photodiode 21 as a light receiving element and a readout circuit 22 that detects that photons are incident on the photodiode 21.
  • the photodiode 21 generates an avalanche current when a photon is incident while a reverse bias voltage V_SPAD of a breakdown voltage (breakdown voltage) or more is applied between its anode and cathode.
  • the read circuit 22 includes a quench resistor 23, a digital converter 25, an inverter 26, a buffer 27, and a selection transistor 24.
  • the quench resistor 23 is composed of, for example, an N-type MOSFET (Metal Oxide Semiconductor Field Effect Transistor; hereinafter referred to as an NMOS transistor), its drain is connected to the anode of the photodiode 21, and its source is connected via the selection transistor 24. It is grounded. Further, a quench voltage V_QCH that is set in advance for causing the NMOS transistor to act as a quench resistor is applied to the gate of the NMOS transistor that constitutes the quench resistor 23 from the drive circuit 142 via the pixel drive line LD. ..
  • the photodiode 21 is SPAD.
  • the SPAD is an avalanche photodiode that operates in the Geiger mode when a reverse bias voltage equal to or higher than the breakdown voltage (breakdown voltage) is applied between its anode and cathode, and can detect the incidence of one photon.
  • the digital converter 25 includes a resistor 251 and an NMOS transistor 252.
  • the NMOS transistor 252 has its drain connected to the power supply voltage VDD via the resistor 251, and its source grounded. Further, the voltage of the connection point N1 between the anode of the photodiode 21 and the quench resistor 23 is applied to the gate of the NMOS transistor 252.
  • the inverter 26 includes a P-type MOSFET (hereinafter referred to as a PMOS transistor) 261 and an NMOS transistor 262.
  • the drain of the PMOS transistor 261 is connected to the power supply voltage VDD, and the source thereof is connected to the drain of the NMOS transistor 262.
  • the NMOS transistor 262 has its drain connected to the source of the PMOS transistor 261, and its source grounded.
  • the voltage of the connection point N2 between the resistor 251 and the drain of the NMOS transistor 252 is applied to the gate of the PMOS transistor 261 and the gate of the NMOS transistor 262, respectively.
  • the output of the inverter 26 is input to the buffer 27.
  • the buffer 27 is a circuit for impedance conversion. When an output signal is input from the inverter 26, the buffer 27 impedance-converts the input output signal and outputs it as a detection signal V_OUT.
  • the selection transistor 24 is, for example, an NMOS transistor, the drain of which is connected to the source of the NMOS transistor that constitutes the quench resistor 23, and the source of which is grounded.
  • the selection transistor 24 is connected to the drive circuit 142, and when the selection control voltage V_SEL from the drive circuit 142 is applied to the gate of the selection transistor 24 via the pixel drive line LD, the off state is changed to the on state. ..
  • the readout circuit 22 illustrated in FIG. 4 operates as follows, for example. That is, first, while the selection control voltage V_SEL is applied from the drive circuit 142 to the selection transistor 24 and the selection transistor 24 is in the ON state, the photodiode 21 has a reverse bias voltage V_SPAD equal to or higher than the breakdown voltage (breakdown voltage). Is applied. As a result, the operation of the photodiode 21 is permitted.
  • the selection control voltage V_SEL is not applied from the drive circuit 142 to the selection transistor 24, and the reverse bias voltage V_SPAD is not applied to the photodiode 21 while the selection transistor 24 is in the OFF state. Is prohibited.
  • the high level detection signal V_OUT is output from the buffer 27.
  • the voltage applied between the anode and the cathode of the photodiode 21 becomes smaller than the breakdown voltage, whereby the avalanche current stops and the voltage at the connection point N1 is stopped.
  • the NMOS transistor 452 is turned off and the output of the detection signal V_OUT from the buffer 27 is stopped (low level).
  • the avalanche current is stopped and the NMOS transistor 452 is turned off from the timing when the photon is incident on the photodiode 21 and the avalanche current is generated, which causes the NMOS transistor 452 to be turned on.
  • the high-level detection signal V_OUT is output for the period until the timing.
  • the output detection signal V_OUT is input to the addition unit 15 (see FIG. 1) for each macro pixel 30 via the output circuit 144. Therefore, the detection signals V_OUT corresponding to the number (detection number) of the SPAD pixels 20 in which the photon incidence is detected among the plurality of SPAD pixels 20 configuring one macro pixel 30 are input to each addition unit 15.
  • FIG. 5 is a block diagram showing a more detailed configuration example of the adder unit according to the present embodiment.
  • the addition unit 15 includes, for example, a pulse shaping unit 151 and a received light number counting unit 152.
  • the pulse shaping unit 151 shapes the pulse waveform of the detection signal V_OUT input from the SPAD array 143 via the output circuit 144 into a pulse waveform having a time width according to the operation clock of the addition unit 15.
  • the received light number counting unit 152 counts the detection signal V_OUT input from the corresponding macro pixel 30 in each sampling period, thereby determining the number (detection number) of the SPAD pixels 20 in which photon incidence is detected in each sampling period. It counts and outputs this count value as the pixel value d of the macro pixel 30.
  • [i] is an identifier for identifying the macro pixel 30 in each pixel group 31, and in the present example, from “0” to “0”. Values up to 7'(see FIG. 3).
  • [j] is an identifier for specifying the pixel group 31, and is a value from “0” to “5” (see FIG. 3) in this example.
  • [8:0] indicates the number of bits of the pixel value d[i][j]. This also applies to pixel values D[i][j] described later. Therefore, in FIG.
  • the addition unit 15 is a 9-bit pixel value that can take a value of “0” to “511” based on the detection signal V_OUT input from the macro pixel 30 specified by the identifiers i and j. Generating d is illustrated.
  • the sampling cycle is a cycle for measuring the time (flying time) from the emission of the laser light L1 by the light emitting unit 13 to the detection of incidence of photons by the light receiving unit 14.
  • the sampling cycle is set to a cycle shorter than the light emitting cycle of the light emitting unit 13. For example, by shortening the sampling cycle, it is possible to estimate or calculate the flight time of photons emitted from the light emitting unit 13 and reflected by the object 90 with higher time resolution. This means that by increasing the sampling frequency, it is possible to estimate or calculate the distance to the object 90 with higher distance measurement resolution.
  • the speed of light C is constant ( Since C ⁇ 300,000,000 m (meter)/s (second), the distance L to the object 90 can be estimated or calculated by the following formula (1).
  • L C ⁇ t/2 (1)
  • the sampling period will be 1 ns (nanosecond). In that case, one sampling period corresponds to 15 cm (centimeter). This indicates that the distance measurement resolution is 15 cm when the sampling frequency is 1 GHz.
  • the sampling cycle is 0.5 ns (nanosecond), and thus one sampling cycle corresponds to 7.5 cm (centimeter). This indicates that the distance measurement resolution can be halved when the sampling frequency is doubled. As described above, by increasing the sampling frequency and shortening the sampling cycle, it is possible to more accurately estimate or calculate the distance to the object 90.
  • FIG. 6 is a block diagram showing a schematic configuration example of the histogram processing unit according to the present embodiment. Note that, in FIG. 6, the configuration of the SPAD array 143 and the addition unit 15 are also illustrated for the sake of clarity. Although the memory 17 is omitted in FIG. 6 for convenience of description, it is assumed that the memory 17 is included in each of the histogram generation units 1630 to 1637.
  • the adders 15 are provided in a one-to-one correspondence.
  • the histogram processing unit 16 in FIG. 1 is commonly used for the pixel number variable parallel addition unit 161 provided in a one-to-one relationship with the pixel group 31 in the SPAD array 143 and for the plurality of pixel number variable parallel addition units 161.
  • the matrix transposing unit 162 is provided, and the histogram generating units 1630 to 1637 (hereinafter, when the histogram generating units 1630 to 1637 are not distinguished, the reference numeral is 163).
  • the addition unit 15, the pixel number variable parallel addition unit 161, and the matrix transposition unit 162 correspond to, for example, a pixel value generation unit in the claims.
  • FIG. 7 to FIG. 10 are block diagrams showing more detailed configuration examples of the pixel variable parallel adder according to the present embodiment.
  • FIG. 7 shows a schematic configuration example of the pixel number variable parallel addition unit 161 when the pixel mode is “0”, and
  • FIG. 8 shows the pixel number variable parallel addition unit when the pixel mode is “1”.
  • 9 shows a schematic configuration example of 161.
  • FIG. 9 shows a schematic configuration example of the pixel number variable parallel addition unit 161 when the pixel mode is “2”.
  • FIG. 10 shows a schematic configuration example when the pixel mode is “3”. The example of schematic structure of the pixel number variable parallel addition part 161 is shown.
  • Pixel mode 0 (first pixel mode)
  • the pixel mode “0” is set from the control unit 11, in other words, the pixel mode with the highest resolution and the narrowest ranging range among all the pixel modes (hereinafter,
  • one macro pixel corresponds to one pixel in the ranging image. Therefore, the resolution of the ToF sensor 1 is the number of macro pixels 30 per unit area.
  • the pixel mode “1” is set by the control unit 11, in other words, the resolution is second highest among all pixel modes and the range-finding range is second narrowest.
  • the pixel mode hereinafter, referred to as the second pixel mode
  • the implementation of the adder 41 may be realized by executing a predetermined program, for example.
  • the pixel values of are added to generate a 12-bit pixel value D.
  • the adder 41 To generate a 12-bit pixel value D, and the generated 12-bit pixel value D has the same pixel value D[4][j][11:0] and pixel value D[5][j ] [11:0] are output.
  • To generate a 12-bit pixel value D and the generated 12-bit pixel value D has the same pixel value D[6][j][11:0] and pixel value D[7][j ] [11:0] are output.
  • the values obtained from the two macro pixels 30 are added, and two pixel values D[2k][j][11:0] and D[2k+1] having the same value are added. [J][11:0] are generated.
  • the two macro pixels 30 correspond to one pixel in the ranging image. Therefore, in the second pixel mode, the resolution of the ToF sensor 1 is, for example, half that of the first pixel mode.
  • Pixel mode 2 (third pixel mode)
  • the control unit 11 when the pixel mode “2” is set by the control unit 11, in other words, the resolution is the third highest and the distance measuring range is the third narrowest in all the pixel modes.
  • the pixel mode hereinafter referred to as the third pixel mode
  • Each adder 45 can be realized by, for example, further mounting two adders 42 that add two outputs of the four adders 41 that are mounted when the second pixel mode is set. ..
  • the implementation of the adder 42 may be realized by executing a predetermined program, like the adder 41, for example.
  • a 12-bit pixel value D is generated.
  • the generated 12-bit pixel value D is output as pixel values D[4][j][11:0] to D[7][j][11:0] having the same value.
  • the values obtained from the four macro pixels 30 are added, and four pixel values D[4k][j][11:0] and D[4k+1] having the same value are added. [J][11:0], D[4k+2][j][11:0], and D[4k+3][j][11:0] are generated.
  • the four macro pixels 30 correspond to one pixel in the ranging image. Therefore, in the third pixel mode, the resolution of the ToF sensor 1 is, for example, 1/4 of that in the first pixel mode.
  • the adder 46 can be realized, for example, by further mounting the adder 43 that adds the outputs of the two adders 42 that are additionally mounted when the third pixel mode is set.
  • the implementation of the adder 43 may be realized by executing a predetermined program, like the adders 41 and 42, for example.
  • eight macro pixels 30 correspond to one pixel in the ranging image. Therefore, in the fourth pixel mode, the resolution of the ToF sensor 1 is, for example, 1/8 of that in the first pixel mode.
  • the number of pixel values d added by the pixel number variable parallel addition unit 161 is changed according to the pixel mode.
  • FIG. 11 is a block diagram showing a schematic configuration example of the matrix transposing unit according to the present embodiment.
  • the matrix transposing unit 162 receives a total of 48 pixel values D[i][j] (hereinafter, referred to as a pixel value matrix) arranged in 8 rows and 6 columns from the 6 pixel number variable parallel adding unit 161. It The matrix transposition unit 162 transposes the input matrix of the pixel value matrix of 8 rows and 6 columns to generate a pixel value matrix of 6 rows and 8 columns.
  • the matrix transposing unit 162 inputs the pixel value matrix after the matrix transposition for each column to the histogram generating unit 163 in the subsequent stage.
  • histogram generating units 1630 to 1637 are provided one-to-one with respect to the columns. Therefore, the pixel value column 490 is input to the histogram generation unit 1630, the pixel value column 491 is input to the histogram generation unit 1631, the pixel value column 492 is input to the histogram generation unit 1632, and the pixel value column 493 is input to the histogram generation unit 1633.
  • the pixel value sequence 494 is input to the histogram generation unit 1634, the pixel value sequence 495 is input to the histogram generation unit 1635, the pixel value sequence 496 is input to the histogram generation unit 1636, and the pixel value sequence 497 is input to the histogram generation unit 1636. It is input to the unit 1637.
  • the reference numeral is 49.
  • FIGS. 12, 13, 15, 17, and 19 illustrate operations performed by the histogram generating section according to the present embodiment in one sampling.
  • FIG. 14, FIG. 16, FIG. 18, and FIG. 20 are timing charts for explaining the operation performed by the histogram generation unit for one light emission of the light emitting unit according to this embodiment.
  • 12, FIG. 13, and FIG. 14 are diagrams for explaining the histogram generation unit when the pixel mode is “0”, and FIGS. 15 and 16 are cases where the pixel mode is “1”.
  • FIG. 17 and FIG. 18 are diagrams for explaining the histogram generation unit in the case where the pixel mode is “2”, and FIGS. It is a figure for demonstrating the histogram generation part in case a mode is "3".
  • BIN numbers (also referred to as BINIDX) of the histograms in the memories 1700 to 1705 correspond to the memory addresses of the memories 1700 to 1705, for example. Further, one BIN of each histogram corresponds to one sampling cycle. Therefore, in this example, the smaller the BIN number, the more the sampling executed at the initial timing from the light emission of the light emitting unit 13, that is, the sampling with the smaller sampling number. Note that FIG. 13 illustrates the case where sampling is performed 256 times for each light emission of the light emitting unit 13.
  • the number Smax (8 in this example) of macro pixels 30 included in one pixel group 31 is multiplied by the number Nc (6 in this example) of pixel groups 31 ( In this example, 48 histograms are created in the memory 17.
  • the information indicating which BIN the current sampling number corresponds to may be input to the histogram processing unit 16 from the control unit 11 or the like, or the current sampling may be performed inside the histogram processing unit 16 or the addition unit 15.
  • the histogram generation unit 163 may identify the number of the number or the elapsed time from the light emission of the light emitting unit 13 and specify the histogram based on the management value.
  • the enable signals EN0 to EN7 for permitting or prohibiting the writing to the memories 170 to 177 are maintained at the high level (permission level) during the period in which the sampling is performed a predetermined number of times (the period of the sampling numbers P0 to P255 in FIG. 14). It As a result, writing to Nc memories (memory 1700 to 1705 in the example shown in FIG. 13) in each of the memories 170 to 177 is permitted, and finally a total of 48 lights are emitted for each light emission of the light emitting unit 13. Two histograms are created in the memory 17.
  • the histogram generation unit 163 creates one histogram using two pixel values D having the same value. Specifically, one histogram is created using the pixel values D[0][j] and D[1][j], and the pixel values D[2][j] and D[3][j] are calculated. One histogram is created using the pixel values D[4][j] and D[5][j], and one histogram is created using the pixel values D[6][j] and D[7]. Create one histogram using [j].
  • the histogram generation unit 163 stores the two memories 170 and 171, 172 and 173, 174 and 175, and 176 and 177 that are the storage destinations of the two pixel values D having the same value. To generate one histogram each. At this time, one of the memories 170, 172, 174 and 176 is assigned to the first half BIN of the histogram, and the other memory 171, 173, 175 and 177 is assigned to the second half BIN of the histogram.
  • the number of BINs in the histogram can be doubled, and the range can be widened.
  • the value of the pixel value D[2k][j] (j 0 to 5) of (the following integers) of the BIN corresponding to the current sampling number in the histograms stored in the memories 170, 172, 174 and 176.
  • Nc histograms (6 in this example) in which the BIN number is doubled are created in the memories 170 and 171, and Nc number (6 in this example) in which the BIN number is doubled in the memories 172 and 173.
  • a histogram is created, and Nc pieces (6 in this example) with double the number of BINs are created in the memories 174 and 175.
  • Nc pieces (6 in this example) with the doubled BIN number are created in the memories 176 and 177. ) Is created.
  • the sampling operation described with reference to FIG. 15 has a predetermined number of sampling times, for example, the first pixel mode. Is repeated twice (512 times in this example).
  • the second pixel mode only the memories 170, 172, 174, and 176 for the first half of the second pixel mode histogram are used during the first half of the second pixel mode histogram (for example, the period of sampling numbers P0 to P255).
  • High level enable signals EN0, EN2, EN4 and EN6 for permitting writing are applied, and low level enable signals EN1, EN3, EN5 and EN7 for inhibiting writing are provided to the memories 171, 173, 175 and 177 for the second half.
  • the low level enable signal EN0 for prohibiting writing is written in the memories 170, 172, 174 and 176 for the first half.
  • EN2, EN4, and EN6 are applied, and high-level enable signals EN1, EN3, EN5, and EN7 that permit writing are applied to the memories 171, 173, 175, and 177 for the second half.
  • Nc (6 in this example) histograms are created in the memories 176 and 177 using the pixel values D of 6 and 7.
  • Smax/2 ⁇ Nc (24 in this example) histograms are created for one emission of the light emitting unit 13.
  • the histogram generation unit 163 creates one histogram using four pixel values D having the same value. Specifically, one histogram is created using the pixel values D[0][j] to D[3][j], and the pixel values D[4][j] to D[7][j] are calculated. To create one histogram.
  • the histogram generation unit 163 creates one histogram using each of the four memories 170 to 173 and 174 to 177 that are the storage destinations of the four pixel values D having the same value. ..
  • the first memories 170 and 174 are assigned to the first 1/4 bin of the histogram
  • the second memories 171 and 175 are assigned to the second 1/4 bin of the histogram
  • the third memories 172 and 176 are assigned.
  • the number of BINs in the histogram can be increased four times, so that the distance measuring range can be further widened.
  • the value of the pixel value D[4k+1][j] of 4k+1 is added to the value of BIN corresponding to the current sampling number in the histograms stored in the memories 171 and 175, and then the histogram generation units 1632 and 1636.
  • Nc histograms (6 in this example) having four times the number of BINs are created in the memories 170 to 173, and Nc histograms (six in this example) having four times the BIN number are stored in the memories 174 and 177.
  • a histogram is created.
  • the sampling operation described with reference to FIG. 17 is performed a predetermined number of times, for example, the first pixel mode. Is repeated four times as many times as the number of sampling times (1024 times in this example).
  • the third pixel mode only in the memories 170 and 174 for the first quarter portion during the period for creating the first quarter of the histogram (for example, the period of sampling numbers P0 to P255).
  • High level enable signals EN0 and EN4 for permitting writing are applied, and low level enable signals EN1, EN2, EN3, EN5, EN6 for inhibiting writing are provided to the other memories 171, 172, 173, 175, 176 and 177.
  • EN7 EN7.
  • the memories 173 and 177 for the last 1/4 portion are set to the high level that allows writing.
  • the enable signals EN3 and EN7 are applied, and low level enable signals EN0, EN1, EN2, EN4, EN5 and EN6 for inhibiting writing are applied to the other memories 170, 171, 172, 174, 175 and 176.
  • Six histograms in this example) are created in the memories 174 to 177.
  • Smax/4 ⁇ Nc (12 in this example) histograms are created for one light emission of the light emitting unit 13.
  • the histogram generation unit 163 creates one histogram using all (eight) pixel values D having the same value.
  • the histogram generation unit 163 creates one histogram using the eight memories 170 to 177 that are the storage destinations of the eight pixel values D.
  • the first memory 170 is assigned to the first 1/8 bin of the histogram
  • the second memory 171 is assigned to the second 1/8 bin of the histogram
  • the third memory 172 is assigned to the third bin of the histogram.
  • Nc (6 in this example) histograms in which the number of BINs is 8 times are created in the memories 170 to 177.
  • the sampling operation described with reference to FIG. 19 has a predetermined number of sampling times, for example, the first pixel mode. Is repeated eight times (2048 times in this example). At that time, in the fourth pixel mode, the period in which the high-level enable signals EN0 to EN7 for permitting writing are applied are sequentially switched in the order of the memories 170 to 177.
  • Smax/8 ⁇ Nc (six in this example) histograms are created for one emission of the light emitting unit 13.
  • FIG. 21 is a diagram for explaining the operation of the histogram generation unit according to the present embodiment.
  • FIG. 21 illustrates, as an example, the flow when the histogram generation unit 1630 illustrated in FIG. 13 creates a histogram in the memory 1700.
  • the other memories 1701 to 1705 and the other histogram generation unit 1631 are illustrated. The same can be applied to ⁇ 1637. That is, the configuration shown in FIG. 21 is provided for each memory (memory 1700 to 1705 in the example shown in FIG. 13) that individually stores each histogram.
  • the histogram generation unit 1630 includes a total of six configurations shown in FIG. 21 so as to correspond to the memories 1700 to 1705 one-to-one.
  • the histogram generation unit 1630 includes selectors 51 and 64, an adder (+1) 52, and D-flip-flops (FF) 53, 54, 56, 61, 62 and 65 as synchronization circuits. , The adder 63, and the SRAM 55 as the memory 1700.
  • the SRAM 55 to which the read address READ_ADDR is input and the SRAM 55 to which the WRITE_ADDR is input are the same SRAM (memory 1700).
  • the D-FFs 61 and 62 surrounded by broken lines, the adder 63, the selector 64, and the D-FF 65 operate as an adding circuit 60 that calculates a cumulative pixel value.
  • the selector 51 is input with the start address of the SRAM 55 corresponding to the first BIN number of the histogram (this is set to “0”). Further, in the histogram generation processing for the first sampling, the selector 51 is supplied with a control signal for outputting the input start address ‘0’ via the control line (not shown). Therefore, the input head address "0" is output from the selector 51 as the address ADDR.
  • the output address ADDR is input to the D-FF 53 and the adder (+1) 52, respectively.
  • the outputs of D-FF53 and D-FF61 are synchronized. Therefore, the D-FF 61 outputs the pixel value D[i][j] at the timing when the D-FF 53 outputs the address ADDR.
  • the address ADDR output from the D-FF 53 is input to the D-FF 54 and the SRAM 55 as a read address READ_ADDR.
  • the pixel value D[i][j] output from the D-FF 61 is input to the D-FF 62.
  • Outputs of the D-FF 54, SRAM 55, and D-FF 62 are synchronized. Therefore, at the timing when the D-FF 54 outputs the address ADDR, the accumulated pixel value READ_DATA[i] stored in BIN corresponding to the read address READ_ADDR is output from the SRAM 55, and the pixel value D[i ] [J] is output.
  • the address ADDR output from the D-FF 54 is input to the D-FF 56.
  • the cumulative pixel value READ_DATA[i] read from the SRAM 55 is input to the adder 63.
  • the pixel value D[i][j] output from the D-FF 62 is input to the adder 63 and the selector 64.
  • the selector 64 receives a control signal for outputting the input pixel value D[i][j] via a control line (not shown). Therefore, the input pixel value D[i][j] is output from the selector 64 to the D-FF 65 as write data BIN_DATA[j].
  • D-FF56 and D-FF65 are synchronized. Therefore, the D-FF 65 outputs the write data BIN_DATA[j] at the timing when the D-FF 56 outputs the address ADDR.
  • the address ADDR output from the D-FF 56 is input to the SRAM 55 as a write address WRITE_ADDR. Further, write data BIN_DATA[j] is also input to the SRAM 55 in synchronization with the input of the write address WRITE_ADDR. Therefore, the write data BIN_DATA[j] input to the SRAM 55 is stored in the BIN designated by the write address WRITE_ADDR as an accumulated pixel value.
  • the selector 51 receives the control signal for outputting the value input from the adder (+1) 52.
  • the adder (+1) 52 outputs a value obtained by incrementing the address ADDR output from the selector 51 by 1. Therefore, in the histogram generation processing for the second and subsequent samplings, the selector 51 outputs the next address ADDR obtained by incrementing the previous address ADDR by 1.
  • the output address ADDR is input to the D-FF 53 and the adder (+1) 52, respectively.
  • the D-FF 61 Since the outputs of the D-FF 53 and the D-FF 61 are synchronized, the D-FF 61 outputs the pixel value D[i][j] at the timing when the D-FF 53 outputs the address ADDR.
  • the D-FF 54, the SRAM 55, and the D-FF 62 are synchronized, the accumulated pixels stored in the BIN corresponding to the read address READ_ADDR from the SRAM 55 at the timing when the D-FF 54 outputs the address ADDR.
  • the value READ_DATA[i] is output, and the pixel value D[i][j] is output from the D-FF 62.
  • the selector 64 receives a control signal for outputting the value input from the adder 63.
  • the adder 63 outputs a value obtained by adding the cumulative pixel value READ_DATA[i] read from the SRAM 55 and the pixel value D[i][j] output from the D-FF 62. Therefore, in the histogram generation processing for the second and subsequent samplings, the value obtained by adding the pixel value D[i][j] for this time to the cumulative pixel value READ_DATA[i] up to now is written from the selector 64 as the write data BIN_DATA[ j] is output.
  • a histogram for one light emission of the light emitting unit 13 is created in the memory 17. Then, by repeating this operation for a predetermined number of times of light emission, a histogram for estimating or calculating the distance to the object 90 existing within the range is created.
  • FIG. 22 is a flowchart showing a schematic operation example of the ToF sensor according to the present embodiment. In FIG. 22, the operation of the control unit 11 (see FIG. 1) will be focused and described.
  • the control unit 11 first obtains the pixel mode set in the control register 12 (step S11), and subsequently, it is determined whether or not the pixel mode is “0”. That is, it is determined whether or not the first pixel mode is set (step S12).
  • the control unit 11 causes the histogram processing unit 16 to execute the first histogram processing (see, for example, FIG. 7, FIG. 11, FIG. 12, FIG. 13, and FIG. 14) (step S15), and proceeds to step S27.
  • Step S16 the control unit 11 determines whether the pixel mode is “1”, that is, whether the second pixel mode is set.
  • the control unit 11 causes the histogram processing unit 16 to execute the second histogram processing (see, for example, FIGS. 8, 11, 15, and 16) (step S19), and proceeds to step S27.
  • the control unit 11 determines whether the pixel mode is “2”, that is, whether the third pixel mode is set. (Step S20).
  • the control unit 11 causes the histogram processing unit 16 to execute the third histogram processing (see, for example, FIG. 9, FIG. 11, FIG. 17, and FIG. 18) (step S23), and proceeds to step S27.
  • step S27 the control unit 11 determines the distance to the object 90 existing within the distance measuring range based on the histogram generated in any one of the first to fourth histogram processing (step S15, S19, S23 or S26). Estimate or calculate. After that, the control unit 11 determines whether or not to end this operation (step S28), and when it ends (YES in step S28), ends this operation. On the other hand, when not ending (NO in step S28), the control unit 11 returns to step S11 and executes the subsequent operations.
  • FIG. 23 is a flowchart showing an example of the histogram generation processing executed by the histogram generation unit in the first histogram processing shown in step S15 of FIG.
  • the histogram generation unit 1630 in the histogram generation unit 163 is focused for simplification of the description, but the same can be applied to the other histogram generation units 1631 to 1637. Further, in the following description, for the sake of clarity, it is assumed that the BIN number (BINIDX) and the sampling number (N) match.
  • the histogram generation unit 1630 first sets “1” to the number of times M of light emission for specifying how many times the current light emission by the light emitting unit 13 is the light emission. Along with the setting (step S101), the sampling number N for specifying the current sampling number is reset to "0" (step S102). Next, the histogram generation unit 1630 inputs the enable signals EN0 to EN7 of the permission level to all the memories 170 to 177, thereby permitting the writing to all the memories 170 to 177 (step S103). Note that the sampling number N is managed by a counter (not shown) in the histogram generation unit 163.
  • the histogram generation unit 1630 determines whether or not the sampling number N has reached the maximum number of times Nmax of sampling (step S106), and if it has reached (YES in step S106), the process proceeds to step S108. On the other hand, when the sampling number N has not reached the number of times of sampling Nmax (NO in step S106), the histogram generation unit 1630 increments the sampling number N by 1 (step S107), and then returns to step S104 and thereafter. Execute the operation repeatedly.
  • step S108 the histogram generation unit 1630 determines whether or not the light emission of the light emitting unit 13 has reached the predetermined number of times Mmax, for example, and when it has reached (YES in step S108), the first histogram generation The process ends. On the other hand, when the predetermined number Mmax has not been reached (NO in step S108), the histogram generation unit 1630 increments the light emission number M of the light emitting unit 13 by 1 (step S109), and then returns to step S101 and thereafter. Perform an action. This makes it possible to create a histogram based on the M times of light emission of the light emitting unit 13, and thus it is possible to more accurately estimate or calculate the distance to the object 90.
  • FIG. 24 is a flowchart showing an example of the histogram generation process executed by the histogram generation unit in the second histogram process shown in step S19 of FIG.
  • the histogram generation unit 1630 in the histogram generation unit 163 is focused for simplification of the description, but the same can be applied to the other histogram generation units 1631 to 1637.
  • the same operations as those shown in FIG. 23 are designated by the same reference numerals, and detailed description thereof will be omitted.
  • the histogram generation unit 1630 first sets “1” to the number of times M of light emission for specifying how many times the current light emission by the light emitting unit 13 is light emission.
  • the variable Q is set (step S101)
  • the maximum value Qmax of the variable Q is set to "1” (step S201)
  • the variable Q is reset to "0" (step S202).
  • the histogram generation unit 1630 resets the sampling number N to “0”, similarly to step S102 in FIG. 23 (step S102).
  • the histogram generation unit 1630 applies to the 2k+Qth memory (memory 170, 172, 174 and 176 or memory 171, 173, 175 and 177 in the example shown in FIG. 15) of the memories 170 to 177. Then, by inputting the enable signal of the permission level (in the example shown in FIG. 16, enable signals EN0, EN2, EN4 and EN6, or enable signals EN1, EN3, EN5 and EN7), writing to the 2k+Qth memory is performed. Permit (step S203).
  • the histogram generation unit 1630 creates the first half or the second half of each histogram by performing the same operations as those shown in steps S104 to S107 in FIG. 23 until the sampling number N reaches Nmax.
  • the histogram generation unit 1630 determines whether or not the variable Q has reached Qmax (step S204), and if it has reached (YES in step S204), the process proceeds to step S108. On the other hand, when the variable Q has not reached Qmax (NO in step S204), the histogram generation unit 1630 increments the variable Q by 1 (step S205), and then returns to step S102 to execute the subsequent operations. Now create the other half of each histogram.
  • FIG. 25 is a flowchart showing an example of the histogram generation processing executed by the histogram generation unit in the third histogram processing shown in step S23 of FIG.
  • the histogram generation unit 1630 in the histogram generation unit 163 is focused for simplification of the description, but the same can be applied to the other histogram generation units 1631 to 1637.
  • the same operation as the operation illustrated in FIG. 23 or 24 is denoted by the same reference numeral, and detailed description thereof will be omitted.
  • steps S201 and S203 of FIG. 24 are replaced with steps S301 and S302 of FIG. 25, respectively.
  • step S301 the histogram generation unit 1630 sets Qmax, which is the maximum value of the variable Q, to “3”.
  • step S302 the histogram generation unit 1630 causes the 4k+Qth memory of the memories 170 to 177 (in the example shown in FIG. 17, the memories 170 and 174, the memories 171 and 175, the memories 172 and 176, or the memories 173 and 177). ) By inputting an enable signal (in the example shown in FIG. 18, enable signals EN0 and EN4, enable signals EN1 and EN5, enable signals EN2 and EN6, or enable signals EN3 and EN7) of Permit writing to the 4k+Qth memory.
  • enable signals EN0 and EN4 enable signals EN1 and EN5
  • enable signals EN2 and EN6, or enable signals EN3 and EN7 enable signals of Permit writing to the 4k+Qth memory.
  • the histogram generation unit 1630 performs the same operation as that shown in steps S102 to S107 until the sampling number N reaches from 0 to Nmax for each value of the variable Q. By executing this, each histogram is created by 1/4.
  • the histogram generation unit 1630 proceeds to step S108, and repeatedly executes the above-described operation until the light emission number M of the light emitting unit 13 reaches the predetermined number Mmax.
  • FIG. 26 is a flowchart showing an example of the histogram generation processing executed by the histogram generation unit in the fourth histogram processing shown in step S26 of FIG.
  • the histogram generation unit 1630 in the histogram generation unit 163 is focused for simplification of the description, but the same can be applied to the other histogram generation units 1631 to 1637.
  • the same operation as that shown in any of FIGS. 23 to 25 is designated by the same reference numeral, and detailed description thereof will be omitted.
  • the fourth histogram generation processing shown in FIG. 26 is the same operation as the second histogram generation processing shown in FIG. 24 or the third histogram generation processing shown in FIG. 25, and steps S201 and S203 of FIG. 24 or steps of FIG. S301 and S302 are replaced with steps S401 and S402 of FIG. 26, respectively.
  • step S401 the histogram generation unit 1630 sets Qmax, which is the maximum value of the variable Q, to '7'.
  • step S402 the histogram generation unit 1630 causes the 8k+Qth memory (memory 170, 171, 172, 173, 174, 175, 176, or 177 in the example shown in FIG. 19) of the memories 170 to 177 to be stored. Then, by inputting the enable signal (enable signal EN0, EN1, EN2, EN3, EN4, EN5, EN6, or EN7 in the example shown in FIG. 20) of the permission level, writing to the 8k+Qth memory is permitted. ..
  • the histogram generation unit 1630 performs the same operation as that shown in steps S102 to S107 until the sampling number N reaches from 0 to Nmax for each value of the variable Q. By executing it, each histogram is created 1 ⁇ 8 each.
  • the histogram generation unit 1630 proceeds to step S108, and repeatedly executes the above-described operation until the light emission number M of the light emitting unit 13 reaches the predetermined number Mmax.
  • the pixel values for each sampling number N obtained by sampling for the first light emission are stored in the memory 17.
  • a histogram is created in which D is stored in the corresponding BIN.
  • the accumulated pixel value of the pixel value in which the reflected light L2 is detected and the noise such as the ambient light L0 are caused. It is possible to increase the difference from the cumulative pixel value. This makes it possible to increase the reliability of the discrimination between the reflected light L2 and the noise, so that the distance to the object 90 can be estimated or calculated more accurately.
  • the distance estimation/calculation unit 18 estimates or calculates the distance to the object 90 based on the histogram in the memory 17 created by the histogram processing unit 16. For example, the distance estimation/calculation unit 18 identifies the BIN number having the peak cumulative pixel value in each histogram, and converts the identified BIN number into flight time or distance information to estimate the distance to the object 90. Or calculate.
  • the BIN number at which the cumulative pixel value has a peak is specified in the histograms stored in each of the memories 170 to 177, and the distance to the object 90 is determined based on the specified BIN number. Estimate or calculate.
  • the BIN number at which the cumulative pixel value reaches a peak in each of the histograms composed of the memories 170 and 171, 172 and 173, 174 and 175, or 176 and 177 is specified,
  • the distance to the object 90 is estimated or calculated based on the specified BIN number
  • the cumulative pixel value is calculated in each of the histograms configured by the memories 170 to 173 or 174 to 177.
  • the peak BIN number is specified, the distance to the object 90 is estimated or calculated based on the specified BIN number, and in the fourth pixel mode, the cumulative pixels in the histogram configured by the memories 170 to 177 are calculated.
  • the BIN number having a peak value is specified, and the distance to the object 90 is estimated or calculated based on the specified BIN number.
  • the conversion of the BIN number into flight time or distance information may be performed using a conversion table stored in advance in a predetermined memory, or a conversion formula for converting the BIN number into flight time or distance information. May be held in advance and converted using this conversion formula.
  • a method of specifying the BIN number of the BIN having the largest value or a fitting to a histogram, and the cumulative pixel value peaks from the obtained function curve is possible to use various methods such as a method of specifying the BIN number that becomes
  • the usage patterns of the memories 170 to 177 are switched according to the pixel mode. For example, in the first pixel mode, a total of 48 histograms are created in each of the memories 170 to 177, and in the second pixel mode, two of the memories 170 to 177 are combined to create a total of 24 histograms. In the 3-pixel mode, a total of 12 histograms are created by combining four of the memories 170 to 177, and in the fourth pixel mode, a total of 6 histograms are created by combining all of the memories 170 to 177.
  • the usage pattern of the memory 17 is used when a deep memory area is not required (for example, when distance measurement is performed near) and when a deep memory area is required (for example, distance measurement is performed for a long distance). Since it is possible to switch the memory resources, it is possible to efficiently use the memory resource depending on the situation.
  • the number of macro pixels 30 corresponding to one pixel in the ranging image can be switched according to the pixel mode.
  • the resolution of the ToF sensor 1 can be changed according to the situation. For example, if you do not need a wide dynamic range, such as when measuring a close range, you need a wide dynamic range that increases resolution and obtains a fine range-finding image to measure a distance. In this case, it is possible to effectively change the resolution according to the situation, such as reducing the resolution and acquiring a distance measurement image with a wide dynamic range.
  • Second Embodiment In the first embodiment, a distance measuring device called a flash type has been described with an example. On the other hand, in the second embodiment, a distance measuring device called a scan type will be described with an example. In the following description, the same components as those in the first embodiment are designated by the same reference numerals, and the duplicated description will be omitted.
  • FIG. 32 is a schematic diagram showing a schematic configuration example of the ToF sensor as the distance measuring device according to the present embodiment.
  • the ToF sensor 2 includes a control device 200, a condenser lens 201, a half mirror 202, a micro mirror 203, a light receiving lens 204, a scanning unit 205, a light emitting unit 213, and a light receiving unit. And 214.
  • the micro mirror 203 and the scanning unit 205 correspond to, for example, a scanning unit that scans light incident on an array unit (e.g., corresponding to the SPAD array 143) in the claims.
  • the scanning unit may further include at least one of the condenser lens 201, the half mirror 202, and the light receiving lens 204.
  • the light emitting unit 213 is configured by, for example, one or a plurality of semiconductor laser diodes, like the light emitting unit 13 according to the first embodiment, and emits a pulsed laser beam L1 having a predetermined time width for a predetermined period (light emission). It emits in a cycle. Further, the light emitting unit 13 emits the laser light L1 having a time width of 1 ns (nanosecond) at a period of 1 GHz (gigahertz), for example.
  • the condenser lens 201 condenses the laser light L1 emitted from the light emitting unit 213. For example, the condenser lens 201 condenses the laser light L1 so that the spread of the laser light L1 is about the angle of view of the light receiving unit 214.
  • the half mirror 202 reflects at least a part of the incident laser beam L1 toward the micro mirror 203.
  • an optical element such as a polarization mirror that reflects a part of the light and transmits another part of the light.
  • the micro mirror 203 is attached to the scanning unit 205 so that the angle can be changed with the center of the reflecting surface as an axis.
  • the scanning unit 205 horizontally swings or vibrates the micro mirror 203 so that the image SA of the laser beam L1 reflected by the micro mirror 203 reciprocates in a predetermined scanning area AR in the horizontal direction.
  • the scanning unit 205 swings or vibrates the micromirror 203 in the horizontal direction so that the image SA of the laser beam L1 reciprocates in a predetermined scanning area AR in 1 ms (millisecond).
  • a stepping motor, a piezo element, or the like can be used for swinging or vibrating the micro mirror 203.
  • the reflected light L2 of the laser light L1 reflected by the object 90 existing within the distance measuring range is incident on the micromirror 203 from the opposite direction to the laser light L1 with the same optical axis as the emission axis of the laser light L1 as the incident axis. ..
  • the reflected light L2 incident on the micro mirror 203 is incident on the half mirror 202 along the same optical axis as the laser light L1, and part of the light is transmitted through the half mirror 202.
  • the image of the reflected light L2 transmitted through the half mirror 202 is formed on the macro pixel row 243 in the light receiving unit 214 by passing through the light receiving lens 204.
  • the control device 200 includes, for example, a control unit 11, a control register 12, an addition unit 15, a histogram processing unit 16, a memory 17, a distance estimation/calculation unit 18, and an external I/F 19. These may be similar to those exemplified in the first embodiment, for example. However, the control unit 11 according to the present embodiment controls the scan unit 205 in addition to the units illustrated in FIG.
  • the detection signal V_OUT output from each SPAD pixel 20 in each macro pixel 30 of the macro pixel column 243 is supplied to the addition unit 15 at a predetermined sampling cycle, as in the first embodiment. Is entered. Similar to the first embodiment, the adder 15 aggregates the number of detection signals V_OUT output from the light receiver 214 for each one or a plurality of macro pixels, and the aggregated value is sent to the histogram processor 16 as a pixel value. Output.
  • the histogram processing unit 16 creates a histogram according to the pixel mode in the memory 17, as in the first embodiment. Then, the distance estimation/calculation unit 18 estimates or calculates the distance to the object 90 based on the histogram created in the memory 17, as in the first embodiment.
  • the flash type TOF sensor 1 can switch the usage mode of the memories 170 to 177 according to the pixel mode.
  • the usage pattern of the memory 17 is used when a deep memory area is not required (for example, when distance measurement is performed near) and when a deep memory area is required (for example, distance measurement is performed for a long distance). Since it is possible to switch the memory resources, it is possible to efficiently use the memory resource depending on the situation.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is applicable to any type of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). It may be realized as a device mounted on the body.
  • FIG. 33 is a block diagram showing a schematic configuration example of a vehicle control system 7000 that is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, a vehicle exterior information detection unit 7400, a vehicle interior information detection unit 7500, and an integrated control unit 7600. ..
  • the communication network 7010 that connects these multiple control units complies with any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores a program executed by the microcomputer or parameters used for various arithmetic operations, and a drive circuit that drives various controlled devices. Equipped with.
  • Each control unit is equipped with a network I/F for communicating with other control units via the communication network 7010, and is also capable of wired or wireless communication with devices or sensors inside or outside the vehicle. A communication I/F for performing communication is provided. In FIG.
  • the integrated control unit 7600 a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, an audio image output unit 7670, An in-vehicle network I/F 7680 and a storage unit 7690 are illustrated.
  • the other control units also include a microcomputer, a communication I/F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, and a steering angle of the vehicle. It functions as a steering mechanism for adjusting and a control device such as a braking device for generating a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the shaft rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an accelerator pedal operation amount, a brake pedal operation amount, or a steering wheel steering operation. At least one of the sensors for detecting the angle, the engine speed, the rotation speed of the wheels, etc. is included.
  • the drive system control unit 7100 controls the internal combustion engine, the drive motor, the electric power steering device, the brake device, and the like by performing arithmetic processing using the signal input from the vehicle state detection unit 7110.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
  • the body system control unit 7200 may receive radio waves or signals of various switches transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls the vehicle door lock device, power window device, lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310 that is the power supply source of the drive motor according to various programs. For example, the battery control unit 7300 receives information such as the battery temperature, the battery output voltage, and the remaining capacity of the battery from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals to control the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the exterior information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image capturing unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside-vehicle information detection unit 7420 detects, for example, an environment sensor for detecting current weather or weather, or another vehicle around the vehicle equipped with the vehicle control system 7000, an obstacle, a pedestrian, or the like. At least one of the ambient information detection sensors of.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 34 shows an example of the installation positions of the imaging unit 7410 and the vehicle exterior information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, 7918 are provided at at least one of the front nose of the vehicle 7900, the side mirrors, the rear bumper, the back door, and the upper part of the windshield inside the vehicle.
  • the image capturing unit 7910 provided on the front nose and the image capturing unit 7918 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic signal, a traffic sign, a lane, or the like.
  • FIG. 34 shows an example of the shooting ranges of the respective image pickup units 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors
  • the imaging range d is The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by overlaying the image data captured by the image capturing units 7910, 7912, 7914, 7916, a bird's-eye view image of the vehicle 7900 viewed from above can be obtained.
  • the vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, sides, corners of the vehicle 7900 and on the upper portion of the windshield inside the vehicle may be ultrasonic sensors or radar devices, for example.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and windshield of the vehicle 7900 may be, for example, LIDAR devices.
  • These vehicle exterior information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle exterior information detection unit 7400 causes the image capturing unit 7410 to capture an image of the vehicle exterior and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives the detection information from the vehicle exterior information detection unit 7420 connected thereto.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives information on the received reflected waves.
  • the vehicle exterior information detection unit 7400 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to the object outside the vehicle based on the received information.
  • the vehicle exterior information detection unit 7400 may perform image recognition processing or distance detection processing that recognizes a person, a car, an obstacle, a sign, characters on the road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or position adjustment on the received image data, combines the image data captured by different image capturing units 7410, and generates an overhead image or a panoramic image. Good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different image capturing units 7410.
  • the in-vehicle information detection unit 7500 detects in-vehicle information.
  • a driver state detection unit 7510 that detects the state of the driver is connected.
  • the driver state detection unit 7510 may include a camera that captures an image of the driver, a biometric sensor that detects biometric information of the driver, a microphone that collects voice in the vehicle, and the like.
  • the biometric sensor is provided on, for example, a seat surface or a steering wheel, and detects biometric information of an occupant sitting on a seat or a driver who holds the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or determine whether the driver is asleep. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls overall operations in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by, for example, a device such as a touch panel, a button, a microphone, a switch or a lever that can be input and operated by a passenger. Data obtained by voice-recognizing voice input by a microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Furthermore, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600. A passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication with various devices existing in the external environment 7750.
  • the general-purpose communication I/F 7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution), or LTE-A (LTE-Advanced).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution-Advanced
  • a wireless LAN also referred to as Wi-Fi (registered trademark)
  • Bluetooth registered trademark
  • the general-purpose communication I/F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to an operator) via a base station or an access point, for example. You may.
  • the general-purpose communication I/F 7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a driver, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal). May be connected with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I/F 7630 is a communication I/F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I/F 7630 uses, for example, a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or a cellular communication protocol, which is a combination of a lower layer IEEE 802.11p and an upper layer IEEE 1609. May be implemented.
  • the dedicated communication I/F 7630 is typically a vehicle-to-vehicle communication, a vehicle-to-infrastructure communication, a vehicle-to-home communication, and a vehicle-to-pedestrian communication. ) Perform V2X communications, a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite) and performs positioning to determine the latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging a signal with the wireless access point, or may acquire the position information from a terminal having a positioning function, such as a mobile phone, PHS, or smartphone.
  • the beacon receiving unit 7650 receives, for example, a radio wave or an electromagnetic wave transmitted from a wireless station or the like installed on the road, and acquires information such as the current position, traffic jam, traffic closure, and required time.
  • the function of beacon reception unit 7650 may be included in dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates a connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 is connected to a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface, or MHL (Mobile High) via a connection terminal (and a cable if necessary) not shown. -Definition Link)) and other wired connections may be established.
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Mobile High
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that the passenger has, or an information device that is carried in or attached to the vehicle.
  • the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I/F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I/F 7680 sends and receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 passes through at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information acquired by the above. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the acquired information on the inside and outside of the vehicle, and outputs a control command to the drive system control unit 7100. Good.
  • the microcomputer 7610 realizes the functions of ADAS (Advanced Driver Assistance System) that includes collision avoidance or impact mitigation of the vehicle, follow-up traveling based on inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, vehicle lane departure warning, etc. You may perform the coordinated control aiming at.
  • the microcomputer 7610 controls the driving force generation device, the steering mechanism, the braking device, and the like based on the acquired information about the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform cooperative control for the purpose of driving etc.
  • ADAS Advanced Driver Assistance System
  • a general-purpose communication I/F 7620 a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a vehicle collision, a pedestrian or the like approaching or entering a closed road, based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the voice image output unit 7670 transmits an output signal of at least one of a voice and an image to an output device capable of visually or audibly notifying information to a passenger of the vehicle or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • the display unit 7720 may include at least one of an onboard display and a head-up display, for example.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be a device other than these devices, such as headphones, a wearable device such as a glasses-type display worn by a passenger, a projector, or a lamp.
  • the display device When the output device is a display device, the display device displays results obtained by various processes performed by the microcomputer 7610 or information received from another control unit in various formats such as text, images, tables, and graphs. Display visually.
  • the output device is a voice output device, the voice output device converts an audio signal composed of reproduced voice data, acoustic data, or the like into an analog signal, and outputs it audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of one of the control units may be given to another control unit. That is, if the information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • the computer program for realizing each function of the ToF sensor 1 or 2 according to the present embodiment described with reference to FIG. 1 or 32 can be installed in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed, for example, via a network without using a recording medium.
  • the ToF sensor 1 or 2 can be applied to the integrated control unit 7600 of the application example shown in FIG. 33.
  • the control unit 11, the control register 12, the addition unit 15, the histogram processing unit 16, the memory 17, the distance estimation/calculation unit 18, and the external I/F 19 of the ToF sensor 1 or 2 are the microcomputer 7610 of the integrated control unit 7600
  • the storage unit 7690 corresponds to the in-vehicle network I/F 7680.
  • the vehicle control system 7000 may correspond to the host 80 in FIG. 1.
  • the ToF sensor 1 or 2 according to the present embodiment described with reference to FIG. 1 or 32 is a module for the integrated control unit 7600 shown in FIG. 33 (for example, one die). Integrated circuit module) configured by Alternatively, the ToF sensor 1 or 2 according to the present embodiment described with reference to FIG. 1 or 32 may be realized by a plurality of control units of the vehicle control system 7000 shown in FIG. 33.
  • a control register that holds any of a plurality of pixel modes as a set value, An array section in which a plurality of light receiving elements for detecting the incidence of photons are arranged, A read circuit for reading a detection signal from each of the light receiving elements at a predetermined sampling period; A pixel value generation unit that generates a pixel value of each pixel for each sampling period by summing up the number of the detection signals read from each of the plurality of light receiving elements at the sampling period on a pixel-by-pixel basis, A memory that stores, for each pixel, a histogram of the pixel value for each sampling period calculated by the pixel value generation unit; Equipped with Each pixel is composed of one or more light receiving elements of the plurality of light receiving elements, If the control register holds the first pixel mode, a memory region of a first size in the memory is allocated for each pixel, A distance measuring device, wherein when the second pixel mode is held in the control register, a memory area of
  • the pixel value generation unit An adder that aggregates the number of the detection signals output from each of the plurality of light receiving elements for each of a first predetermined number of the light receiving elements and outputs a first pixel value; A variable parallel adder that outputs the pixel value of each pixel based on the first pixel value output from the adder; Including, When the first pixel mode is held in the control register, the variable parallel adder outputs the first pixel value as the pixel value of each pixel as it is, and the second pixel mode is output to the control register. When held, the distance measuring apparatus according to (1), wherein a value obtained by adding at least two of the first pixel values is output as the pixel value of each pixel.
  • the plurality of light receiving elements in the array section are grouped into a plurality of macro pixels each formed of the first predetermined number of light receiving elements,
  • the plurality of macro pixels are grouped into a third predetermined number of pixel groups each of which includes a second predetermined number of the macro pixels,
  • the variable parallel addition unit adds the at least two first pixel values acquired from at least two macro pixels belonging to the same pixel group.
  • the distance measuring device according to (2) in which the pixel value of each pixel is calculated.
  • the variable parallel adder when the second pixel mode is held in the control register, uses the pixel value obtained by adding the first pixel value as the target of the addition.
  • the distance measuring device which outputs the same number as the number of values.
  • the memory includes a memory area corresponding to each of the first predetermined number of light receiving elements in a one-to-one relationship, When the first pixel mode is held in the control register, the histogram of one pixel is stored in one memory area, and when the second pixel mode is held in the control register, at least The distance measuring apparatus according to any one of (2) to (4), wherein the histogram of one pixel is stored in two memory areas.
  • the memory includes a memory area corresponding to each of the first predetermined number of light receiving elements on a one-to-one basis, When the first pixel mode is held in the control register, the histogram of one pixel is stored in one memory area, and when the second pixel mode is held in the control register, at least Storing the histogram of one of the pixels in two of the memory areas, The pixel value having the same value output from the variable parallel adder is stored in different memory areas of the at least two memory areas storing the histogram of one pixel. ) The distance measuring device described in.
  • the pixel value generation unit outputs the pixel value for each pixel as a pixel value matrix in which a row direction element is the third predetermined number and a column direction is the second predetermined number,
  • the distance measuring device according to (3) or (4), wherein the pixel value generation unit further includes a matrix transposition unit that transposes a matrix of the pixel value matrix.
  • the memory comprises the third predetermined number of first memories, Each first memory includes the second predetermined number of memory areas,
  • the pixel value generation unit outputs the pixel value for each pixel as a pixel value matrix in which elements in the row direction are the third predetermined number and column directions are the second predetermined number,
  • the distance measuring device according to (6), wherein the pixel value generation unit further includes a matrix transposition unit that transposes a matrix of the pixel value matrix.
  • One memory address of the memory corresponds to one BIN of the histogram,
  • the method further comprises a histogram generation unit that creates the histogram by writing the pixel values calculated by the pixel value generation unit for each sampling period in the memory address order of the memory.
  • the distance measuring device according to any one of items.
  • the histogram generation unit adds the pixel value for each sampling period calculated by the pixel value generation unit to a value already stored in the memory address as a write destination, and the measurement according to (9) above.
  • Distance device (11) Further comprising a light emitting unit that emits pulsed laser light in a range including at least a part of the angle of view of the array unit, When the first pixel mode is held in the control register, the histogram generation unit creates the histogram using the pixel values for the first sampling times, and the control register holds the second pixel mode. In this case, the distance measuring device according to (9) or (10), wherein the histogram is created using the pixel values for the second sampling number different from the first sampling number.
  • the distance measuring device according to any one of (1) to (11), further including a distance estimating/calculating unit that estimates or calculates a distance to an object based on the histogram stored in the memory.
  • the light receiving element is a SPAD (Single Photon Avalanche Diode).
  • the distance measuring range in the second pixel mode is longer than the distance measuring range in the first pixel mode, The resolution in the first pixel mode is higher than the resolution in the first pixel mode.
  • the rangefinder according to any one of (1) to (13).
  • the distance measuring device according to any one of (1) to (14), which is a flash type in which the plurality of light receiving elements are arranged in a two-dimensional lattice.
  • the distance measuring device according to any one of (1) to (15), further including a scanning unit that scans light incident on the array unit.
  • the control register holds one of a plurality of pixel modes as a set value, A pixel value of each pixel is generated for each sampling period by totaling the number of detection signals read out in a predetermined sampling period from each of the plurality of light receiving elements, Storing a histogram of the pixel values for each sampling period in a memory for each pixel, Each pixel is composed of one or more light receiving elements of the plurality of light receiving elements, If the control register holds the first pixel mode, a memory region of a first size in the memory is allocated for each pixel, When the second pixel mode is held in the control register, a memory area of a second size different from the first size in the memory is assigned to each pixel.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

状況に応じてメモリリソースを効率的に利用する。実施形態に係る測距装置は、画素モードを保持する制御レジスタ（２１）と、フォトンの入射を検出する複数の受光素子が配列するアレイ部（１４３）と、前記受光素子それぞれから所定のサンプリング周期で検出信号を読み出す読出し回路（２２）と、前記複数の受光素子から読み出された前記検出信号の数を画素単位で集計することで前記サンプリング周期ごとに各画素の画素値を生成する画素値生成部（１５、１６１、１６２）と、前記サンプリング周期ごとの前記画素値のヒストグラムを前記画素ごとに格納するメモリ（１７）とを備え、前記制御レジスタに第１画素モードが保持されている場合、前記メモリにおける第１サイズの領域が各画素に割り当てられ、前記制御レジスタに第２画素モードが保持されている場合、前記メモリにおける前記第１サイズとは異なる第２サイズの領域が各画素に割り当てられる。

Description

測距装置及び測距方法
　本開示は、測距装置及び測距方法に関する。
　近年、ＴｏＦ（Time-of-Flight）法により距離計測を行う距離画像センサ（以下、ＴｏＦセンサという）が注目されている。例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）半導体集積回路技術を用いて作成された、平面的に配置する複数のＳＰＡＤ（Single　Photon　Avalanche　Diode）を利用して対象物までの距離を計測するＴｏＦセンサが存在する。
　ＳＰＡＤを利用したＴｏＦセンサでは、光源が発光してからその反射光がＳＰＡＤに入射までの時間（以下、飛行時間という）を物理量として複数回計測し、その計測結果から生成された物理量のヒストグラムに基づいて、対象物までの距離が特定される。
特開２０１０－０９１３７８号公報 特開２０１６－１７６７５０号公報
　ここで、ヒストグラムのＢＩＮ数は、光速度一定の法則から、対象物までの距離に相当する。そのため、近くを測距対象とする場合と遠くまでを測距対象とする場合とでは、必要十分なヒストグラムのＢＩＮ数が異なる。すなわち、近くを測距対象とする場合には少ないＢＩＮ数で十分である一方、より遠くの物体までを測距する場合には、より多くのＢＩＮ数が必要となる。
　また、ヒストグラムのＢＩＮ数は、ヒストグラムを格納するメモリ領域のサイズ（深さともいう）に対応している。したがって、近くを測距対象とする場合には浅いメモリ領域で十分である一方、より遠くまでを測距する場合には、より深いメモリ領域が要求される。
　しかしながら、従来では、測距対象の範囲に関わらず、一定のサイズのメモリ領域が使用されていた。そのため、近くを測距する場合など、深いメモリ領域を必要としない場合には、実質的に使用していないメモリ領域が発生し、メモリリソースの効率的な利用がなされていないという課題が存在した。
　そこで本開示では、状況に応じてメモリリソースを効率的に利用することが可能な測距装置及び測距方法を提案する。
　上記の課題を解決するために、本開示に係る一形態の測距装置は、複数の画素モードのうちの何れかを設定値として保持する制御レジスタと、それぞれフォトンの入射を検出する複数の受光素子が配列するアレイ部と、前記受光素子それぞれから所定のサンプリング周期で検出信号を読み出す読出し回路と、前記複数の受光素子それぞれから前記サンプリング周期で読み出された前記検出信号の数を画素単位で集計することで前記サンプリング周期ごとに各画素の画素値を生成する画素値生成部と、前記画素値生成部で算出された前記サンプリング周期ごとの前記画素値のヒストグラムを前記画素ごとに格納するメモリとを備え、各画素は、前記複数の受光素子のうちの１つ以上の受光素子で構成され、前記制御レジスタに第１画素モードが保持されている場合、前記メモリにおける第１サイズの領域が各画素に対して割り当てられ、前記制御レジスタに第２画素モードが保持されている場合、前記メモリにおける前記第１サイズとは異なる第２サイズの領域が各画素に対して割り当てられる。
第１の実施形態に係る測距装置としてのＴｏＦセンサの概略構成例を示すブロック図である。 第１の実施形態に係る受光部の概略構成例を示すブロック図である。 第１の実施形態に係るＳＰＡＤアレイの概略構成例を示す模式図である。 第１の実施形態に係るＳＰＡＤ画素の概略構成例を示す回路図である。 第１の実施形態に係る加算部のより詳細な構成例を示すブロック図である。 第１の実施形態に係るヒストグラム処理部の概略構成例を示すブロック図である。 第１の実施形態に係る画素数可変並列加算部のより詳細な構成例を示すブロック図である（第１画素モード）。 第１の実施形態に係る画素数可変並列加算部のより詳細な構成例を示すブロック図である（第２画素モード）。 第１の実施形態に係る画素数可変並列加算部のより詳細な構成例を示すブロック図である（第３画素モード）。 第１の実施形態に係る画素数可変並列加算部のより詳細な構成例を示すブロック図である（第４画素モード）。 第１の実施形態に係る行列転置部の概略構成例を示すブロック図である。 第１の実施形態に係るヒストグラム生成部が１回のサンプリングで実行する動作を説明するためのブロック図である。 第１の実施形態に係るヒストグラム生成部が１回のサンプリングで実行する動作を１つのヒストグラム生成部に着目して説明するためのブロック図である（第１画素モード）。 第１の実施形態に係る発光部の１回の発光に対してヒストグラム生成部が実行する動作を説明するためのタイミングチャートである（第１画素モード）。 第１の実施形態に係るヒストグラム生成部が１回のサンプリングで実行する動作を説明するためのブロック図である（第２画素モード）。 第１の実施形態に係る発光部の１回の発光に対してヒストグラム生成部が実行する動作を説明するためのタイミングチャートである（第２画素モード）。 第１の実施形態に係るヒストグラム生成部が１回のサンプリングで実行する動作を説明するためのブロック図である（第３画素モード）。 第１の実施形態に係る発光部の１回の発光に対してヒストグラム生成部が実行する動作を説明するためのタイミングチャートである（第３画素モード）。 第１の実施形態に係るヒストグラム生成部が１回のサンプリングで実行する動作を説明するためのブロック図である（第４画素モード）。 第１の実施形態に係る発光部の１回の発光に対してヒストグラム生成部が実行する動作を説明するためのタイミングチャートである（第４画素モード）。 第１の実施形態に係るヒストグラム生成部の動作を説明するための図である。 第１の実施形態に係るＴｏＦセンサの概略動作例を示すフローチャートである。 図２２のステップＳ１５に示す第１ヒストグラム処理においてヒストグラム生成部が実行するヒストグラム生成処理の一例を示すフローチャートである。 図２２のステップＳ１９に示す第２ヒストグラム処理においてヒストグラム生成部が実行するヒストグラム生成処理の一例を示すフローチャートである。 図２２のステップＳ２３に示す第３ヒストグラム処理においてヒストグラム生成部が実行するヒストグラム生成処理の一例を示すフローチャートである。 図２２のステップＳ２６に示す第４ヒストグラム処理においてヒストグラム生成部が実行するヒストグラム生成処理の一例を示すフローチャートである。 第１の実施形態に係る発光部の１回目の発光に対してメモリ内に作成されるヒストグラムの一例を示す図である。 第１の実施形態に係る発光部の２回目の発光に対して得られた各サンプリング番号での画素値の一例を示す図である。 第１の実施形態に係る発光部の２回目の発光に対してメモリ内に作成されるヒストグラムの一例を示す図である。 第１の実施形態に係る発光部の３回目の発光に対して得られた各サンプリング番号での画素値の一例を示す図である。 第１の実施形態に係る発光部の３回目の発光に対してメモリ内に作成されるヒストグラムの一例を示す図である。 第２の実施形態に係る測距装置としてのＴｏＦセンサの概略構成例を示す模式図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．はじめに
　　２．第１の実施形態
　　　２．１　測距装置（ＴｏＦセンサ）
　　　２．２　受光部
　　　２．３　ＳＰＡＤアレイ
　　　２．４　ＳＰＡＤ画素
　　　２．５　ＳＰＡＤ画素の概略動作例
　　　２．６　加算部
　　　２．７　サンプリング周期
　　　２．８　ヒストグラム処理部
　　　　２．８．１　画素数可変並列加算部
　　　　　２．８．１．１　画素モード＝０（第１画素モード）
　　　　　２．８．１．２　画素モード＝１（第２画素モード）
　　　　　２．８．１．３　画素モード＝２（第３画素モード）
　　　　　２．８．１．４　画素モード＝３（第４画素モード）
　　　　２．８．２　行列転置部
　　　　２．８．３　ヒストグラム生成部の概略構成例
　　　　　２．８．３．１　第１画素モード（画素モード＝０）
　　　　　　２．８．３．１．１　１回のサンプリングに実行する動作
　　　　　　２．８．３．１．２　１回の発光に対して実行する動作
　　　　　２．８．３．２　第２画素モード（画素モード＝１）
　　　　　　２．８．３．２．１　１回のサンプリングに実行する動作
　　　　　　２．８．３．２．２　１回の発光に対して実行する動作
　　　　　２．８．３．３　第３画素モード（画素モード＝２）
　　　　　　２．８．３．３．１　１回のサンプリングに実行する動作
　　　　　　２．８．３．３．２　１回の発光に対して実行する動作
　　　　　２．８．３．４　第４画素モード（画素モード＝３）
　　　　　　２．８．３．４．１　１回のサンプリングに実行する動作
　　　　　　２．８．３．４．２　１回の発光に対して実行する動作
　　　２．９　ヒストグラム処理の回路例
　　　２．１０　動作例
　　　　２．１０．１　第１ヒストグラム生成処理
　　　　２．１０．２　第２ヒストグラム生成処理
　　　　２．１０．３　第３ヒストグラム生成処理
　　　　２．１０．４　第４ヒストグラム生成処理
　　　２．１１　ヒストグラム作成の具体例
　　　２．１２　距離推定／算出部
　　　２．１３　作用・効果
　　３．第２の実施形態
　　　３．１　測距装置（ＴｏＦセンサ）
　　　３．２　作用・効果
　　４．応用例
　１．はじめに
　上述したように、近くを測距対象とする場合とより遠くまでを測距対象とする場合とでは、要求されるメモリ領域の深さが異なるという課題が存在する。
　また、近くを測距対象とする場合とより遠くまでを測距対象とする場合とでは、ＴｏＦセンサで取得した測距画像に対して求められる必要十分な解像度が異なるという課題も存在する。
　例えば、ＳＰＡＤを利用したＴｏＦセンサは、複数のＳＰＡＤが２次元格子状に配列するＳＰＡＤアレイを備えている。ＳＰＡＤアレイの複数のＳＰＡＤは、それぞれが１つ以上のＳＰＡＤよりなる複数のマクロ画素にグループ化される。１つのマクロ画素は、測距画像における１つの画素に対応する。したがって、１つのマクロ画素を構成するＳＰＡＤの数とその領域の形状とを決めると、ＴｏＦセンサ全体のマクロ画素数が決定され、それにより、測距画像の解像度が決定されることとなる。そこで例えば、１マクロ画素のＳＰＡＤ数を小さい値とすることで、ＴｏＦセンサが取得する距離画像の解像度を上げることが可能となる。
　しかしながら、１マクロ画素のＳＰＡＤ数を小さい値とすると、１マクロ画素から得られる画素値のダイナミックレンジが狭くなり、遠くの物体からの弱い反射光が略一定の強度の外乱光（背景光ともいう）に埋もれ、反射光と外乱光との弁別が困難になるという課題が発生する。
　そのため、遠方に存在する物体や反射率の低い物体の検出性能を高めるためには、１マクロ画素のＳＰＡＤ数を大きくして画素値のダイナミックレンジを広げることが求められる。
　このように、ＳＰＡＤを利用したＴｏＦセンサに対しては、１マクロ画素のＳＰＡＤ数を小さくして高解像度を実現しつつ、小さいＢＩＮ数でメモリを使用する使用形態と、１マクロ画素のＳＰＡＤ数を大きくして広いダイナミックレンジを実現しつつ、大きいＢＩＮ数でメモリを使用する使用形態との、相反する使用形態を単一のＳＰＡＤアレイで実現させたいという要望が存在する。
　そこで以下の実施形態では、解像度とＢＩＮ数とを変更可能とすることで、状況に応じたメモリリソースの効率的な利用を実現するとともに、状況に応じた解像度とダイナミックレンジとのリバランスを取ることが可能な測距装置及び測距方法について、具体例を挙げて説明する。
　２．第１の実施形態
　まず、第１の実施形態について、以下に図面を参照して詳細に説明する。なお、本実施形態では、ＳＰＡＤ画素が２次元格子状に配列して一度に広角の測距画像を取得する、フラッシュ型と称される測距装置について、例を挙げて説明する。
　２．１　測距装置（ＴｏＦセンサ）
　図１は、本実施形態に係る測距装置としてのＴｏＦセンサの概略構成例を示すブロック図である。図１に示すように、ＴｏＦセンサ１は、制御部１１と、制御レジスタ１２と、発光部１３と、受光部１４と、加算部１５と、ヒストグラム処理部１６と、距離推定／算出部１８と、外部インタフェース（Ｉ／Ｆ）１９とを備える。
　制御部１１は、例えば、ＣＰＵ（Central　Processing　Unit）などの情報処理装置で構成され、ＴｏＦセンサ１の各部を制御する。その際、制御部１１は、制御レジスタ１２に設定値として格納されている画素モードに応じて、ＴｏＦセンサ１の各部を制御する。
　ＴｏＦセンサ１は、ＴｏＦセンサ１の解像度や測距範囲等が異なる複数の画素モードを備えており、外部のホスト８０等からの指示や制御部１１の判断に基づき、画素モードが切り替えられてよい。この画素モードは、例えば、外部Ｉ／Ｆ１９を介してホスト８０等から入力された値を制御部１１が制御レジスタ１２に画素モードに対応した設定値を登録することで設定されてもよいし、制御部１１が適宜判断して制御レジスタ１２内の画素モードの設定値を変更することで設定されてもよい。
　ホスト８０は、例えば、ＴｏＦセンサ１が自動車等に実装される場合には、自動車等に搭載されているＥＣＵ（Engine　Control　Unit）などであってよい。また、ＴｏＦセンサ１が家庭内ペットロボットなどの自律移動ロボットやロボット掃除機や無人航空機や追従運搬ロボットなどの自律移動体に搭載されている場合には、ホスト８０は、その自律移動体を制御する制御装置等であってよい。
　制御レジスタ１２は、例えば、ＴｏＦセンサ１の画素モードを設定値として保持する。ＴｏＦセンサ１の画素モードには、その詳細については後述において例を挙げて説明するが、本説明では、画素モード０から画素モード３が存在する場合を例示する。例えば、画素モード０は、画素モード０～３のうちで最も解像度が高い一方、測距範囲が狭い画素モードであり、画素モード３は、画素モード０～３のうちで最も測距範囲が広い一方、解像度が低い画素モードであり、画素モード１及び２は、画素モード０と画素モード３との間の解像度及び測距範囲の画素モードであるとする。
　発光部１３は、例えば、１つ又は複数の半導体レーザダイオードで構成されており、所定時間幅のパルス状のレーザ光Ｌ１を所定周期（発光周期ともいう）で出射する。発光部１３は、少なくとも、受光部１４の画角以上の角度範囲に向けてレーザ光Ｌ１を出射する。また、発光部１３は、例えば、１ＧＨｚ（ギガヘルツ）の周期で、１ｎｓ（ナノ秒）の時間幅のレーザ光Ｌ１を出射する。発光部１３から出射したレーザ光Ｌ１は、例えば、測距範囲内に物体９０が存在する場合には、この物体９０で反射して、反射光Ｌ２として、受光部１４に入射する。
　受光部１４は、その詳細については後述するが、例えば、２次元格子状に配列した複数のＳＰＡＤ画素を備え、発光部１３の発光後にフォトンの入射を検出したＳＰＡＤ画素の数（以下、検出数という）に関する情報（例えば、後述における検出信号の数に相当）を出力する。受光部１４は、例えば、発光部１３の１回の発光に対し、所定のサンプリング周期でフォトンの入射を検出してその検出数を出力する。
　加算部１５は、受光部１４から出力された検出数を複数のＳＰＡＤ画素（例えば、後述する１又は複数のマクロ画素に相当）ごとに集計し、その集計値を画素値としてヒストグラム処理部１６へ出力する。
　ヒストグラム処理部１６は、１又は複数のマクロ画素ごとに得られた画素値から、横軸を飛行時間（例えば、サンプリングの順序を示す番号（以下、サンプリング番号という）に相当）とし、縦軸を累積画素値としたヒストグラムを作成する。ヒストグラムは、例えば、ヒストグラム処理部１６内のメモリ１７に作成される。このメモリ１７には、例えば、ＳＲＡＭ（Static　Random　Access　Memory）等を用いることができる。ただし、これに限定されず、ＤＲＡＭ（Dynamic　RAM）など、種々のメモリをメモリ１７として使用することが可能である。
　距離推定／算出部１８は、ヒストグラム処理部１６が作成したヒストグラムから累積画素値がピークとなる際の飛行時間を特定する。また、距離推定／算出部１８は、特定した飛行時間に基づいて、ＴｏＦセンサ１又はこれを搭載するデバイスから測距範囲内に存在する物体９０までの距離を推定又は算出する。そして、距離推定／算出部１８は、推定又は算出した距離の情報を、例えば、外部Ｉ／Ｆ１９を介してホスト８０等に出力する。
　２．２　受光部
　図２は、本実施形態に係る受光部の概略構成例を示すブロック図である。図２に示すように、受光部１４は、タイミング制御回路１４１と、駆動回路１４２と、ＳＰＡＤアレイ１４３と、出力回路１４４とを備える。
　ＳＰＡＤアレイ１４３は、２次元格子状に配列する複数のＳＰＡＤ画素２０を備える。複数のＳＰＡＤ画素２０に対しては、列ごとに画素駆動線ＬＤ（図面中の上下方向）が接続され、行ごとに出力信号線ＬＳ（図面中の左右方向）が接続される。画素駆動線ＬＤの一端は、駆動回路１４２の各列に対応した出力端に接続され、出力信号線ＬＳの一端は、出力回路１４４の各行に対応した入力端に接続される。
　駆動回路１４２は、シフトレジスタやアドレスデコーダなどを含み、ＳＰＡＤアレイ１４３の各ＳＰＡＤ画素２０を、全画素同時や列単位等で駆動する。そこで、駆動回路１４２は、少なくとも、ＳＰＡＤアレイ１４３内の選択列における各ＳＰＡＤ画素２０に、後述するクエンチ電圧Ｖ＿ＱＣＨを印加する回路と、選択列における各ＳＰＡＤ画素２０に、後述する選択制御電圧Ｖ＿ＳＥＬを印加する回路とを含む。そして、駆動回路１４２は、読出し対象の列に対応する画素駆動線ＬＤに選択制御電圧Ｖ＿ＳＥＬを印加することで、フォトンの入射を検出するために用いるＳＰＡＤ画素２０を列単位で選択する。
　駆動回路１４２によって選択走査された列の各ＳＰＡＤ画素２０から出力される信号（検出信号という）Ｖ＿ＯＵＴは、出力信号線ＬＳの各々を通して出力回路１４４に入力される。出力回路１４４は、各ＳＰＡＤ画素２０から入力された検出信号Ｖ＿ＯＵＴを、後述するマクロ画素ごとに設けられた加算部１５（図１参照）へ出力する。
　タイミング制御回路１４１は、各種のタイミング信号を生成するタイミングジェネレータ等を含み、タイミングジェネレータで生成された各種のタイミング信号を基に、駆動回路１４２及び出力回路１４４を制御する。
　２．３　ＳＰＡＤアレイ
　図３は、本実施形態に係るＳＰＡＤアレイの概略構成例を示す模式図である。図３に示すように、ＳＰＡＤアレイ１４３は、例えば、複数のＳＰＡＤ画素２０が２次元格子状に配列した構成を備える。複数のＳＰＡＤ画素２０は、行及び／又は列方向に配列する所定数ずつのＳＰＡＤ画素２０で構成された複数のマクロ画素３０にグループ化されている。各マクロ画素３０の最外周に位置するＳＰＡＤ画素４０の外側の縁を結んだ領域の形状は、所定の形状（例えば、矩形）をなしている。
　また、列方向に配列する複数のマクロ画素３０は、所定数ずつの複数の画素グループ３１に区切られている。図３に示す例では、列方向に配列する＃０～＃４７の計４８つのマクロ画素３０が、ｊ＝０～６の計６つの画素グループ３１に区切られている。したがって、各画素グループ３１には、ｉ＝０～７の計８つのマクロ画素３０が属している。
　２．４　ＳＰＡＤ画素
　図４は、本実施形態に係るＳＰＡＤ画素の概略構成例を示す回路図である。図４に示すように、ＳＰＡＤ画素２０は、受光素子としてのフォトダイオード２１と、フォトダイオード２１にフォトンが入射したことを検出する読出し回路２２とを備える。フォトダイオード２１は、そのアノードとカソードとの間に降伏電圧（ブレークダウン電圧）以上の逆バイアス電圧Ｖ＿ＳＰＡＤが印加されている状態でフォトンが入射すると、アバランシェ電流を発生する。
　読出し回路２２は、クエンチ抵抗２３と、デジタル変換器２５と、インバータ２６と、バッファ２７と、選択トランジスタ２４とを備える。クエンチ抵抗２３は、例えば、Ｎ型のＭＯＳＦＥＴ（Metal　Oxide　Semiconductor　Field　Effect　Transistor。以下、ＮＭＯＳトランジスタという）で構成され、そのドレインがフォトダイオード２１のアノードに接続され、そのソースが選択トランジスタ２４を介して接地されている。また、クエンチ抵抗２３を構成するＮＭＯＳトランジスタのゲートには、当該ＮＭＯＳトランジスタをクエンチ抵抗として作用させるために予め設定されているクエンチ電圧Ｖ＿ＱＣＨが、駆動回路１４２から画素駆動線ＬＤを介して印加される。
　本実施形態において、フォトダイオード２１はＳＰＡＤである。ＳＰＡＤは、そのアノードとカソードとの間に降伏電圧（ブレークダウン電圧）以上の逆バイアス電圧が印加されるとガイガーモードで動作するアバランシェフォトダイオードであり、１つのフォトンの入射を検出可能である。
　デジタル変換器２５は、抵抗２５１とＮＭＯＳトランジスタ２５２とを備える。ＮＭＯＳトランジスタ２５２は、そのドレインが抵抗２５１を介して電源電圧ＶＤＤに接続され、そのソースが接地されている。また、ＮＭＯＳトランジスタ２５２のゲートには、フォトダイオード２１のアノードとクエンチ抵抗２３との接続点Ｎ１の電圧が印加される。
　インバータ２６は、Ｐ型のＭＯＳＦＥＴ（以下、ＰＭＯＳトランジスタという）２６１とＮＭＯＳトランジスタ２６２とを備える。ＰＭＯＳトランジスタ２６１は、そのドレインが電源電圧ＶＤＤに接続され、そのソースがＮＭＯＳトランジスタ２６２のドレインに接続されている。ＮＭＯＳトランジスタ２６２は、そのドレインがＰＭＯＳトランジスタ２６１のソースに接続され、そのソースが接地されている。ＰＭＯＳトランジスタ２６１のゲート及びＮＭＯＳトランジスタ２６２のゲートには、それぞれ抵抗２５１とＮＭＯＳトランジスタ２５２のドレインとの接続点Ｎ２の電圧が印加される。インバータ２６の出力は、バッファ２７に入力される。
　バッファ２７は、インピーダンス変換のための回路であり、インバータ２６から出力信号を入力すると、その入力した出力信号をインピーダンス変換し、検出信号Ｖ＿ＯＵＴとして出力する。
　選択トランジスタ２４は、例えば、ＮＭＯＳトランジスタであり、そのドレインがクエンチ抵抗２３を構成するＮＭＯＳトランジスタのソースに接続され、そのソースが接地されている。選択トランジスタ２４は、駆動回路１４２に接続されており、選択トランジスタ２４のゲートに駆動回路１４２からの選択制御電圧Ｖ＿ＳＥＬが画素駆動線ＬＤを介して印加されると、オフ状態からオン状態に変化する。
　２．５　ＳＰＡＤ画素の概略動作例
　図４に例示した読出し回路２２は、例えば、以下のように動作する。すなわち、まず、駆動回路１４２から選択トランジスタ２４に選択制御電圧Ｖ＿ＳＥＬが印加されて選択トランジスタ２４がオン状態となっている期間、フォトダイオード２１には降伏電圧（ブレークダウン電圧）以上の逆バイアス電圧Ｖ＿ＳＰＡＤが印加される。これにより、フォトダイオード２１の動作が許可される。
　一方、駆動回路１４２から選択トランジスタ２４に選択制御電圧Ｖ＿ＳＥＬが印加されておらず、選択トランジスタ２４がオフ状態となっている期間、逆バイアス電圧Ｖ＿ＳＰＡＤがフォトダイオード２１に印加されないことから、フォトダイオード２１の動作が禁止される。
　選択トランジスタ２４がオン状態であるときにフォトダイオード２１にフォトンが入射すると、フォトダイオード２１においてアバランシェ電流が発生する。それにより、クエンチ抵抗２３にアバランシェ電流が流れ、接続点Ｎ１の電圧が上昇する。接続点Ｎ１の電圧がＮＭＯＳトランジスタ２５２のオン電圧よりも高くなると、ＮＭＯＳトランジスタ２５２がオン状態になり、接続点Ｎ２の電圧が電源電圧ＶＤＤから０Ｖに変化する。そして、接続点Ｎ２の電圧が電源電圧ＶＤＤから０Ｖに変化すると、ＰＭＯＳトランジスタ２６１がオフ状態からオン状態に変化すると共にＮＭＯＳトランジスタ２６２がオン状態からオフ状態に変化し、接続点Ｎ３の電圧が０Ｖから電源電圧ＶＤＤに変化する。その結果、バッファ２７からハイレベルの検出信号Ｖ＿ＯＵＴが出力される。
　その後、接続点Ｎ１の電圧が上昇し続けると、フォトダイオード２１のアノードとカソードとの間に印加されている電圧が降伏電圧よりも小さくなり、それにより、アバランシェ電流が止まって、接続点Ｎ１の電圧が低下する。そして、接続点Ｎ１の電圧がＮＭＯＳトランジスタ４５２のオン電圧よりも低くなると、ＮＭＯＳトランジスタ４５２がオフ状態になり、バッファ２７からの検出信号Ｖ＿ＯＵＴの出力が停止する（ローレベル）。
　このように、読出し回路２２は、フォトダイオード２１にフォトンが入射してアバランシェ電流が発生し、これによりＮＭＯＳトランジスタ４５２がオン状態になったタイミングから、アバランシェ電流が止まってＮＭＯＳトランジスタ４５２がオフ状態になるタイミングまでの期間、ハイレベルの検出信号Ｖ＿ＯＵＴを出力する。出力された検出信号Ｖ＿ＯＵＴは、出力回路１４４を介して、マクロ画素３０ごとの加算部１５（図１参照）に入力される。したがって、各加算部１５には、１つのマクロ画素３０を構成する複数のＳＰＡＤ画素２０のうちでフォトンの入射が検出されたＳＰＡＤ画素２０の数（検出数）の検出信号Ｖ＿ＯＵＴが入力される。
　２．６　加算部
　図５は、本実施形態に係る加算部のより詳細な構成例を示すブロック図である。図５に示すように、加算部１５は、例えば、パルス整形部１５１と、受光数カウント部１５２とを備える。
　パルス整形部１５１は、ＳＰＡＤアレイ１４３から出力回路１４４を介して入力した検出信号Ｖ＿ＯＵＴのパルス波形を、加算部１５の動作クロックに応じた時間幅のパルス波形に整形する。
　受光数カウント部１５２は、対応するマクロ画素３０からサンプリング周期ごとに入力された検出信号Ｖ＿ＯＵＴをカウントすることで、フォトンの入射が検出されたＳＰＡＤ画素２０の個数（検出数）をサンプリング周期ごとに計数し、この計数値をマクロ画素３０の画素値ｄとして出力する。
　なお、図５における画素値ｄ［ｉ］［ｊ］［８：０］のうち、［ｉ］は、各画素グループ３１におけるマクロ画素３０を特定する識別子であり、本例では‘０’から‘７’までの値（図３参照）である。また、［ｊ］は、画素グループ３１を特定するための識別子であり、本例では‘０’から‘５’までの値（図３参照）である。さらに、［８：０］は、画素値ｄ［ｉ］［ｊ］のビット数を示している。これは、後述する画素値Ｄ［ｉ］［ｊ］においても同様である。したがって、図５には、加算部１５が、識別子ｉ及びｊで特定されるマクロ画素３０から入力された検出信号Ｖ＿ＯＵＴに基づき、‘０’～‘５１１’の値を取り得る９ビットの画素値ｄを生成することが例示されている。
　２．７　サンプリング周期
　ここで、サンプリング周期とは、発光部１３がレーザ光Ｌ１を出射してから受光部１４でフォトンの入射が検出されるまでの時間（飛行時間）を計測する周期である。このサンプリング周期には、発光部１３の発光周期よりも短い周期が設定される。例えば、サンプリング周期をより短くすることで、より高い時間分解能で、発光部１３から出射して物体９０で反射したフォトンの飛行時間を推定又は算出することが可能となる。これは、サンプリング周波数をより高くすることで、より高い測距分解能で物体９０までの距離を推定又は算出することが可能となることを意味している。
　例えば、発光部１３がレーザ光Ｌ１を出射して、このレーザ光Ｌ１が物体９０で反射し、この反射光Ｌ２が受光部１４に入射するまでの飛行時間をｔとすると、光速Ｃが一定（Ｃ≒３００，０００，０００ｍ（メートル）／ｓ（秒）であることから、物体９０までの距離Ｌは、以下の式（１）のように推定又は算出することができる。
Ｌ＝Ｃ×ｔ／２　　（１）
　そこで、サンプリング周波数を１ＧＨｚとすると、サンプリング周期は１ｎｓ（ナノ秒）となる。その場合、１つのサンプリング周期は、１５ｃｍ（センチメートル）に相当する。これは、サンプリング周波数を１ＧＨｚとした場合の測距分解能が１５ｃｍであることを示している。また、サンプリング周波数を２倍の２ＧＨｚとすると、サンプリング周期は０．５ｎｓ（ナノ秒）となるため、１つのサンプリング周期は、７．５ｃｍ（センチメートル）に相当する。これは、サンプリング周波数を２倍とした場合、測距分解能を１／２にすることができることを示している。このように、サンプリング周波数を高くしてサンプリング周期を短くすることで、より精度良く、物体９０までの距離を推定又は算出することが可能となる。
　２．８　ヒストグラム処理部
　つづいて、本実施形態に係るヒストグラム処理部１６について、以下に図面を参照して詳細に説明する。
　図６は、本実施形態に係るヒストグラム処理部の概略構成例を示すブロック図である。なお、図６では、明確化のため、ＳＰＡＤアレイ１４３の構成及び加算部１５も図示されている。また、図６では、説明の都合上、メモリ１７が省略されているが、各ヒストグラム生成部１６３０～１６３７内に含まれているものとする。
　図６に示すように、ＳＰＡＤアレイ１４３における複数のマクロ画素３０に対しては、一対一に加算部１５が設けられている。また、図１におけるヒストグラム処理部１６は、ＳＰＡＤアレイ１４３における画素グループ３１に対して一対一に設けられた画素数可変並列加算部１６１と、複数の画素数可変並列加算部１６１に対して共通に設けられた行列転置部１６２と、ヒストグラム生成部１６３０～１６３７（以下、ヒストグラム生成部１６３０～１６３７を区別しない場合、その符号を１６３とする）とを備える。加算部１５と、画素数可変並列加算部１６１と、行列転置部１６２とは、例えば、請求の範囲における画素値生成部に相当する。
　２．８．１　画素数可変並列加算部
　図７～図１０は、本実施形態に係る画素数可変並列加算部のより詳細な構成例を示すブロック図である。なお、図７は、画素モードが‘０’である場合の画素数可変並列加算部１６１の概略構成例を示し、図８は、画素モードが‘１’である場合の画素数可変並列加算部１６１の概略構成例を示し、図９は、画素モードが‘２’である場合の画素数可変並列加算部１６１の概略構成例を示し、図１０は、画素モードが‘３’である場合の画素数可変並列加算部１６１の概略構成例を示している。
　２．８．１．１　画素モード＝０（第１画素モード）
　まず、図７に示すように、制御部１１から画素モード‘０’が設定された場合、言い換えれば、全ての画素モードの中で最も解像度が高く且つ最も測距範囲が狭い画素モード（以下、第１画素モードという）が設定された場合、画素数可変並列加算部１６１は、加算部１５から入力された計８つの８ビットの画素値ｄ［ｉ］［ｊ］［８：０］（ｉ＝０～７）を、それぞれの値を代えずに、計８つの１２ビットの画素値Ｄ［ｉ］［ｊ］［１１：０］（ｉ＝０～７）として出力する。したがって、画素数可変並列加算部１６１からは、計８つの１２ビットの画素値Ｄ［ｉ］［ｊ］［１１：０］（ｉ＝０～７）が並列に出力される。この場合、１つのマクロ画素が測距画像における１つの画素に相当する。したがって、ＴｏＦセンサ１の解像度は、単位面積あたりのマクロ画素３０の数となる。
　２．８．１．２　画素モード＝１（第２画素モード）
　次に、図８に示すように、制御部１１から画素モード‘１’が設定された場合、言い換えれば、全ての画素モードの中で２番目に解像度が高く且つ２番目に測距範囲が狭い画素モード（以下、第２画素モードという）が設定された場合、画素数可変並列加算部１６１には、ｉ＝２ｋ（ｋは０以上３以下の整数）の画素値ｄ［２ｋ］［ｊ］［８：０］と、ｉ＝２ｋ＋１の画素値ｄ［ｊ］［２ｋ＋１］［８：０］とを加算する４つの加算器４１が実装される。なお、加算器４１の実装は、例えば、所定のプログラムを実行することで実現されてよい。
　ｉ＝０の画素値ｄ［０］［ｊ］［８：０］とｉ＝１の画素値ｄ［１］［ｊ］［８：０］とが入力される加算器４１は、これら８ビットの画素値を加算して１２ビットの画素値Ｄを生成する。生成された１２ビットの画素値Ｄは、ｉ＝０の画素値Ｄ［０］［ｊ］［１１：０］及びｉ＝１の画素値Ｄ［１］［ｊ］［１１：０］として、画素数可変並列加算部１６１から出力される。したがって、画素値Ｄ［０］［ｊ］［１１：０］と画素値Ｄ［１］［ｊ］［１１：０］とは、同じ値を持つ。
　同様に、ｉ＝２の画素値ｄ［２］［ｊ］［８：０］とｉ＝３の画素値ｄ［３］［ｊ］［８：０］とが入力される加算器４１は、これらを加算して１２ビットの画素値Ｄを生成し、生成された１２ビットの画素値Ｄは、同じ値を持つ画素値Ｄ［２］［ｊ］［１１：０］及び画素値Ｄ［３］［ｊ］［１１：０］として出力される。ｉ＝４の画素値ｄ［４］［ｊ］［８：０］とｉ＝５の画素値ｄ［５］［ｊ］［８：０］とが入力される加算器４１は、これらを加算して１２ビットの画素値Ｄを生成し、生成された１２ビットの画素値Ｄは、同じ値を持つ画素値Ｄ［４］［ｊ］［１１：０］及び画素値Ｄ［５］［ｊ］［１１：０］として出力される。ｉ＝６の画素値ｄ［６］［ｊ］［８：０］とｉ＝７の画素値ｄ［７］［ｊ］［８：０］とが入力される加算器４１は、これらを加算して１２ビットの画素値Ｄを生成し、生成された１２ビットの画素値Ｄは、同じ値を持つ画素値Ｄ［６］［ｊ］［１１：０］及び画素値Ｄ［７］［ｊ］［１１：０］として出力される。
　このように、第２画素モードでは、２つのマクロ画素３０から得られた値を加算して、同じ値を持つ２つの画素値Ｄ［２ｋ］［ｊ］［１１：０］及びＤ［２ｋ＋１］［ｊ］［１１：０］を生成している。これは、第２画素モードでは、２つのマクロ画素３０が測距画像における１つの画素に対応することを示している。したがって、第２画素モードでは、ＴｏＦセンサ１の解像度が、例えば、第１画素モードの１／２となる。
　なお、この場合でも、画素数可変並列加算部１６１からは、計８つの１２ビットの画素値Ｄ［ｉ］［ｊ］［１１：０］（ｉ＝０～７）が並列に出力される。
　２．８．１．３　画素モード＝２（第３画素モード）
　次に、図９に示すように、制御部１１から画素モード‘２’が設定された場合、言い換えれば、全ての画素モードの中で３番目に解像度が高く且つ３番目に測距範囲が狭い画素モード（以下、第３画素モードという）が設定された場合、画素数可変並列加算部１６１には、ｉ＝４ｋ（ｋは０又は１）の画素値ｄ［４ｋ］［ｊ］［８：０］と、ｉ＝４ｋ＋１の画素値ｄ［４ｋ＋１］［ｊ］［８：０］と、ｉ＝４ｋ＋２の画素値ｄ［４ｋ＋２］［ｊ］［８：０］と、ｉ＝４ｋ＋３の画素値ｄ［４ｋ＋３］［ｊ］［８：０］とを加算する２つの加算器４５が実装される。
　各加算器４５は、例えば、第２画素モードが設定された際に実装された４つの加算器４１の出力を２つずつ加算する２つの加算器４２をさらに実装することで実現することができる。加算器４２の実装は、例えば、加算器４１と同様に、所定のプログラムを実行することで実現されてよい。
　ｉ＝０～３の画素値ｄ［０］［ｊ］［８：０］～ｄ［３］［ｊ］［８：０］が入力される加算器４５は、これら８ビットの画素値を加算して１２ビットの画素値Ｄを生成する。生成された１２ビットの画素値Ｄは、ｉ＝０～３の画素値Ｄ［０］［ｊ］［１１：０］～Ｄ［３］［ｊ］［１１：０］として、画素数可変並列加算部１６１から出力される。したがって、画素値Ｄ［０］［ｊ］［１１：０］～Ｄ［３］［ｊ］［１１：０］は、それぞれ同じ値を持つ。
　同様に、ｉ＝４～７の画素値ｄ［４］［ｊ］［８：０］～ｄ［７］［ｊ］［８：０］が入力される加算器４５は、これらを加算して１２ビットの画素値Ｄを生成する。生成された１２ビットの画素値Ｄは、同じ値を持つ画素値Ｄ［４］［ｊ］［１１：０］～Ｄ［７］［ｊ］［１１：０］として出力される。
　このように、第３画素モードでは、４つのマクロ画素３０から得られた値を加算して、同じ値を持つ４つの画素値Ｄ［４ｋ］［ｊ］［１１：０］、Ｄ［４ｋ＋１］［ｊ］［１１：０］、Ｄ［４ｋ＋２］［ｊ］［１１：０］及びＤ［４ｋ＋３］［ｊ］［１１：０］を生成している。これは、第３画素モードでは、４つのマクロ画素３０が測距画像における１つの画素に対応することを示している。したがって、第３画素モードでは、ＴｏＦセンサ１の解像度が、例えば、第１画素モードの１／４となる。
　なお、この場合でも、画素数可変並列加算部１６１からは、計８つの１２ビットの画素値Ｄ［ｉ］［ｊ］［１０：０］（ｉ＝０～７）が並列に出力される。
　２．８．１．４　画素モード＝３（第４画素モード）
　次に、図１０に示すように、制御部１１から画素モード‘３’が設定された場合、言い換えれば、全ての画素モードの中で最も解像度が低く且つ最も測距範囲が広い画素モード（以下、第４画素モードという）が設定された場合、画素数可変並列加算部１６１には、全ての画素値ｄ［ｉ］［ｊ］［８：０］（ｉ＝０～７）を加算する加算器４６が実装される。
　加算器４６は、例えば、第３画素モードが設定された際に追加実装された２つの加算器４２の出力を加算する加算器４３をさらに実装することで実現することができる。加算器４３の実装は、例えば、加算器４１及び４２と同様に、所定のプログラムを実行することで実現されてよい。
　加算器４６は、入力された全ての画素値ｄ［ｉ］［ｊ］［８：０］（ｉ＝０～７）を加算して１２ビットの画素値Ｄを生成する。生成された１２ビットの画素値Ｄは、ｉ＝０～７の画素値Ｄ［０］［ｊ］［１１：０］～Ｄ［７］［ｊ］［１１：０］として、画素数可変並列加算部１６１から出力される。したがって、画素値Ｄ［０］［ｊ］［１１：０］～Ｄ［７］［ｊ］［１１：０］は、それぞれ同じ値を持つ。
　このように、第４画素モードでは、８つのマクロ画素３０から得られた値を加算して、同じ値を持つ８つの画素値Ｄ［ｉ］［ｊ］［１１：０］（ｉ＝０～７）を生成している。これは、第４画素モードでは、８つのマクロ画素３０が測距画像における１つの画素に対応することを示している。したがって、第４画素モードでは、ＴｏＦセンサ１の解像度が、例えば、第１画素モードの１／８となる。
　なお、この場合でも、画素数可変並列加算部１６１からは、計８つの１２ビットの画素値Ｄ［ｉ］［ｊ］［１１：０］（ｉ＝０～７）が並列に出力される。
　このように、本実施形態では、画素モードに応じて、画素数可変並列加算部１６１が加算する画素値ｄの数が変更される。
　２．８．２　行列転置部
　図１１は、本実施形態に係る行列転置部の概略構成例を示すブロック図である。図１１に示すように、行列転置部１６２には、ｊ＝０～７の画素グループ３１それぞれに対して一対一に対応する６つの画素数可変並列加算部１６１それぞれから、８つの画素値Ｄ［ｉ］［ｊ］（ｉ＝０～７、ｊ＝０～５）（以下、画素値列４８０～４８５という）が入力される。すなわち、行列転置部１６２には、６つの画素数可変並列加算部１６１から、８行６列に配列した合計４８つの画素値Ｄ［ｉ］［ｊ］（以下、画素値行列という）が入力される。行列転置部１６２は、この入力された８行６列の画素値行列の行列を転置することで、６行８列の画素値行列を生成する。
　そして行列転置部１６２は、行列転置後の画素値行列を、列ごとに、後段のヒストグラム生成部１６３に入力する。行列転置後の画素値列４９０～４９７に対しては、列に対して一対一に、ヒストグラム生成部１６３０～１６３７が設けられている。したがって、画素値列４９０はヒストグラム生成部１６３０に入力され、画素値列４９１はヒストグラム生成部１６３１に入力され、画素値列４９２はヒストグラム生成部１６３２に入力され、画素値列４９３はヒストグラム生成部１６３３に入力され、画素値列４９４はヒストグラム生成部１６３４に入力され、画素値列４９５はヒストグラム生成部１６３５に入力され、画素値列４９６はヒストグラム生成部１６３６に入力され、画素値列４９７はヒストグラム生成部１６３７に入力される。以下、画素値列４９０～４９７を区別しない場合、その符号を４９とする。
　２．８．３　ヒストグラム生成部の概略構成例
　図１２及び図１３、図１５、図１７、並びに、図１９は、本実施形態に係るヒストグラム生成部が１回のサンプリングで実行する動作を説明するためのブロック図である。また、図１４、図１６、図１８及び図２０は、本実施形態に係る発光部の１回の発光に対してヒストグラム生成部が実行する動作を説明するためのタイミングチャートである。なお、図１２、図１３及び図１４は、画素モードが‘０’である場合のヒストグラム生成部を説明するための図であり、図１５及び図１６は、画素モードが‘１’である場合のヒストグラム生成部を説明するための図であり、図１７及び図１８は、画素モードが‘２’である場合のヒストグラム生成部を説明するための図であり、図１９及び図２０は、画素モードが‘３’である場合のヒストグラム生成部を説明するための図である。
　２．８．３．１　第１画素モード（画素モード＝０）
　まず、ヒストグラム生成部１６３に第１画素モード（画素モード＝０）が設定された場合について説明する。
　２．８．３．１．１　１回のサンプリングに実行する動作
　図１２に示すように、制御部１１から画素モード＝０、すなわち、第１画素モードが設定された場合、ヒストグラム生成部１６３０～１６３７それぞれは、行列転置部１６２から入力された画素値列４９の値を、それぞれに対応するメモリ１７０～１７７に格納されている各ヒストグラムにおける、現在のサンプリング番号に対応するＢＩＮの値に加算する。
　この動作を、ヒストグラム生成部１６３０に着目してより詳細に説明すると、図１３に示すように、ヒストグラム生成部１６３０内のメモリ１７０には、画素グループ３１と同数のメモリ１７００～１７０５が含まれている。各メモリ１７００～１７０５は、ｊ＝０～５の画素グループ３１と一対一に対応付けられており、それぞれが対応する画素グループ３１におけるマクロ画素３０から得られた画素値に基づくヒストグラムを格納する。
　各メモリ１７００～１７０５内のヒストグラムのＢＩＮ番号（ＢＩＮＩＤＸとも記す）は、例えば、メモリ１７００～１７０５それぞれのメモリアドレスに対応している。また、各ヒストグラムの１つのＢＩＮは、１つのサンプリング周期に対応している。したがって、本例では、小さいＢＩＮ番号であるほど、発光部１３の発光から初期のタイミングで実行されたサンプリング、すなわち、若いサンプリング番号のサンプリングに対応している。なお、図１３には、発光部１３の１回の発光に対して２５６回のサンプリングを実行する場合が例示されている。
　ヒストグラム生成部１６３０は、入力された画素値列４９０（マクロ画素３０の識別子ｉは‘０’）のうち、画素グループ３１の識別子ｊが‘０’である画素値Ｄ［０］［０］を、ｊ＝０に対応する画素グループ３１用のメモリ（以下、ｊ＝０のメモリという）１７００内のヒストグラムにおける、現在のサンプリング番号に対応するＢＩＮの値に加算する。例えば、現在のサンプリング番号がＢＩＮＩＤＸ＝５０に対応する場合、ヒストグラム生成部１６３０は、画素値Ｄ［０］［０］を、メモリ１７００内のヒストグラムにおけるＢＩＮＩＤＸ＝５０のＢＩＮに格納されている値に加算する。
　同様に、ヒストグラム生成部１６３０は、ｊ＝１～５の画素グループ３１におけるマクロ画素３０から取得された画素値Ｄ［０］［１］～Ｄ［０］［５］を、ｊ＝１～５のメモリ１７０１～１７０５内のヒストグラムにおける、現在のサンプリング番号に対応するＢＩＮの値に加算する。
　以上の動作をヒストグラム生成部１６３０～１６３７それぞれにおいて実行することで、現在のサンプリング番号で取得された画素値Ｄ［ｉ］［ｊ］（ｉ＝０～７、ｊ＝０～５）が各メモリ１７００～１７０５内のヒストグラムにおける対応するＢＩＮの値に加算される。その結果、第１画素モードでは、１つの画素グループ３１に含まれるマクロ画素３０の数Ｓｍａｘ（本例では８つ）に、画素グループ３１の数Ｎｃ（本例では６つ）をかけた数（本例では４８つ）のヒストグラムが、メモリ１７内に作成される。
　なお、現在のサンプリング番号がどのＢＩＮに対応するかの情報は、例えば、制御部１１等からヒストグラム処理部１６に入力されてもよいし、ヒストグラム処理部１６や加算部１５の内部で現在のサンプリング番号が何番目であるかや、発光部１３の発光からの経過時間を管理しておき、その管理値に基づいてヒストグラム生成部１６３が特定してもよい。
　２．８．３．１．２　１回の発光に対して実行する動作
　また、図１４に示すように、図１２及び図１３を用いて説明したサンプリング動作は、所定のサンプリング回数（本例では、２５６回）、繰返し実行される。所定回数のサンプリングが実行される期間（図１４におけるサンプリング番号Ｐ０～Ｐ２５５の期間）中、メモリ１７０～１７７に対する書込みを許可又は禁止するイネーブル信号ＥＮ０～ＥＮ７は、ハイレベル（許可レベル）に維持される。それにより、各メモリ１７０～１７７内のＮｃ個のメモリ（図１３に示す例では、メモリ１７００～１７０５）に対する書込みが許可され、最終的に、発光部１３の１回の発光に対して計４８つのヒストグラムがメモリ１７内に作成される。
　２．８．３．２　第２画素モード（画素モード＝１）
　次に、ヒストグラム生成部１６３に第２画素モード（画素モード＝１）が設定された場合について説明する。
　２．８．３．２．１　１回のサンプリングに実行する動作
　図１５に示すように、制御部１１から画素モード‘１’、すなわち、第２画素モードが設定された場合、画素数可変並列加算部１６１による画素値Ｄの加算（図８参照）により、画素値列４９における、ｉ＝０及び１の画素値Ｄ［０］［ｊ］及びＤ［１］［ｊ］は同じ値となり、ｉ＝２及び３の画素値Ｄ［２］［ｊ］及びＤ［３］［ｊ］は同じ値となり、ｉ＝４及び５の画素値Ｄ［４］［ｊ］及びＤ［５］［ｊ］は同じ値となり、ｉ＝６及び７の画素値Ｄ［６］［ｊ］及びＤ［７］［ｊ］は同じ値となる。
　そこで、第２画素モードでは、ヒストグラム生成部１６３は、同じ値を持つ２つの画素値Ｄを用いて１つのヒストグラムを作成する。具体的には、画素値Ｄ［０］［ｊ］及びＤ［１］［ｊ］を用いて１つのヒストグラムを作成し、画素値Ｄ［２］［ｊ］及びＤ［３］［ｊ］を用いて１つのヒストグラムを作成し、画素値Ｄ［４］［ｊ］及びＤ［５］［ｊ］を用いて１つのヒストグラムを作成し、画素値Ｄ［６］［ｊ］及びＤ［７］［ｊ］を用いて１つのヒストグラムを作成する。
　言い換えれば、第２画素モードでは、ヒストグラム生成部１６３は、同じ値を持つ２つの画素値Ｄの格納先となる２つのメモリ１７０及び１７１、１７２及び１７３、１７４及び１７５、並びに、１７６及び１７７を用いて、それぞれ１つのヒストグラムを作成する。その際、一方のメモリ１７０、１７２、１７４及び１７６をヒストグラムの前半のＢＩＮに割り当て、他方のメモリ１７１、１７３、１７５及び１７７をヒストグラムの後半のＢＩＮに割り当てる。例えば、一方のメモリ１７０、１７２、１７４及び１７６をヒストグラムのＢＩＮＩＤＸ＝０～２５５のＢＩＮに割り当て、他方のメモリ１７１、１７３、１７５及び１７７をヒストグラムのＢＩＮＩＤＸ＝２５６～５１１のＢＩＮに割り当てる。これにより、ヒストグラムのＢＩＮ数を２倍に増加させることが可能となるため、測距範囲を広げることが可能となる。
　具体的には、まず、ヒストグラム生成部１６３のうちのヒストグラム生成部１６３０、１６３２、１６３４及び１６３６が、行列転置部１６２から入力された画素値列４９のうち、ｉ＝２ｋ（ｋは０以上３以下の整数）の画素値Ｄ［２ｋ］［ｊ］（ｊ＝０～５）の値を、メモリ１７０、１７２、１７４及び１７６に格納されているヒストグラムにおける、現在のサンプリング番号に対応するＢＩＮの値に加算し、次に、残りのヒストグラム生成部１６３１、１６３３、１６３５及び１６３７が、ｉ＝２ｋ＋１の画素値Ｄ［２ｋ＋１］［ｊ］（ｊ＝０～５）の値を、メモリ１７１、１７３、１７５及び１７７に格納されているヒストグラムにおける、現在のサンプリング番号に対応するＢＩＮの値に加算する。
　それにより、メモリ１７０及び１７１でＢＩＮ数が２倍のＮｃ個（本例では６つ）のヒストグラムが作成され、メモリ１７２及び１７３でＢＩＮ数が２倍のＮｃ個（本例では６つ）のヒストグラムが作成され、メモリ１７４及び１７５でＢＩＮ数が２倍のＮｃ個（本例では６つ）のヒストグラムが作成され、メモリ１７６及び１７７でＢＩＮ数が２倍のＮｃ個（本例では６つ）のヒストグラムが作成される。
　２．８．３．２．２　１回の発光に対して実行する動作
　また、図１６に示すように、図１５を用いて説明したサンプリング動作は、所定のサンプリング回数、例えば、第１画素モードのサンプリング回数の２倍のサンプリング回数（本例では、５１２回）、繰返し実行される。その際、第２画素モードでは、第２画素モードヒストグラムの前半部分を作成する期間（例えば、サンプリング番号Ｐ０～Ｐ２５５の期間）には、前半部分用のメモリ１７０、１７２、１７４及び１７６にのみ、書込みを許可するハイレベルのイネーブル信号ＥＮ０、ＥＮ２、ＥＮ４及びＥＮ６を与え、後半部分用のメモリ１７１、１７３、１７５及び１７７には、書込みを禁止するローレベルのイネーブル信号ＥＮ１、ＥＮ３、ＥＮ５及びＥＮ７を与える。それにより、サンプリング番号Ｐ０～Ｐ２５５の期間には、ｉ＝０、２、４及び６の画素値Ｄを用いて、ヒストグラムの前半部分（例えば、ＢＩＮＩＤＸ＝０～２５５のＢＩＮに相当）がメモリ１７０、７２、１７４及び１７６に作成される。
　一方、ヒストグラムの後半部分を作成する期間（例えば、サンプリング番号Ｐ２５６～Ｐ５１１の期間）には、前半部分用のメモリ１７０、１７２、１７４及び１７６には、書込みを禁止するローレベルのイネーブル信号ＥＮ０、ＥＮ２、ＥＮ４及びＥＮ６を与え、後半部分用のメモリ１７１、１７３、１７５及び１７７には、書込みを許可するハイレベルのイネーブル信号ＥＮ１、ＥＮ３、ＥＮ５及びＥＮ７を与える。それにより、サンプリング番号Ｐ０～Ｐ２５５の期間には、ｉ＝１、３、５及び７の画素値Ｄを用いて、ヒストグラムの後半部分（例えば、ＢＩＮＩＤＸ＝２５６～５１１のＢＩＮに相当）がメモリ１７１、１７３、１７５及び１７７に作成される。
　その結果、ｉ＝０及び１の画素値Ｄを用いてＮｃ個（本例では６つ）のヒストグラムがメモリ１７０及び１７１に作成され、ｉ＝２及び３の画素値Ｄを用いてＮｃ個（本例では６つ）のヒストグラムがメモリ１７２及び１７３に作成され、ｉ＝４及び５の画素値Ｄを用いてＮｃ個（本例では６つ）のヒストグラムがメモリ１７４及び１７５に作成され、ｉ＝６及び７の画素値Ｄを用いてＮｃ個（本例では６つ）のヒストグラムがメモリ１７６及び１７７に作成される。それにより、本例では、最終的に、発光部１３の１回の発光に対してＳｍａｘ／２×Ｎｃ個（本例では２４つ）のヒストグラムが作成される。
　２．８．３．３　第３画素モード（画素モード＝２）
　次に、ヒストグラム生成部１６３に第３画素モード（画素モード＝２）が設定された場合について説明する。
　２．８．３．３．１　１回のサンプリングに実行する動作
　図１７に示すように、制御部１１から画素モード‘２’、すなわち、第３画素モードが設定された場合、画素数可変並列加算部１６１による画素値Ｄの加算（図９参照）により、画素値列４９における、ｉ＝０～３の画素値Ｄ［０］［ｊ］～Ｄ［３］［ｊ］は同じ値となり、ｉ＝４～７の画素値Ｄ［４］［ｊ］～Ｄ［７］［ｊ］は同じ値となる。
　そこで、第３画素モードでは、ヒストグラム生成部１６３は、同じ値を持つ４つの画素値Ｄを用いて１つのヒストグラムを作成する。具体的には、画素値Ｄ［０］［ｊ］～Ｄ［３］［ｊ］を用いて１つのヒストグラムを作成し、画素値Ｄ［４］［ｊ］～Ｄ［７］［ｊ］を用いて１つのヒストグラムを作成する。
　言い換えれば、第３画素モードでは、ヒストグラム生成部１６３は、同じ値を持つ４つの画素値Ｄの格納先となる４つのメモリ１７０～１７３並びに１７４～１７７を用いて、それぞれ１つのヒストグラムを作成する。その際、最初のメモリ１７０及び１７４をヒストグラムの最初の１／４のＢＩＮに割り当て、２番目のメモリ１７１及び１７５をヒストグラムの２番目の１／４のＢＩＮに割り当て、３番目のメモリ１７２及び１７６をヒストグラムの３番目の１／４のＢＩＮに割り当て、最後のメモリ１７３及び１７７をヒストグラムの残りの１／４のＢＩＮに割り当てる。これにより、ヒストグラムのＢＩＮ数を４倍に増加させることが可能となるため、測距範囲をさらに広げることが可能となる。
　具体的には、まず、ヒストグラム生成部１６３のうちのヒストグラム生成部１６３０及び１６３４が、行列転置部１６２から入力された画素値列４９のうち、ｉ＝４ｋ（ｋは０又は１）の画素値Ｄ［４ｋ］［ｊ］の値を、メモリ１７０及び１７４に格納されているヒストグラムにおける、現在のサンプリング番号に対応するＢＩＮの値に加算し、次に、ヒストグラム生成部１６３１及び１６３５が、ｉ＝４ｋ＋１の画素値Ｄ［４ｋ＋１］［ｊ］の値を、メモリ１７１及び１７５に格納されているヒストグラムにおける、現在のサンプリング番号に対応するＢＩＮの値に加算し、次に、ヒストグラム生成部１６３２及び１６３６が、ｉ＝４ｋ＋２の画素値Ｄ［４ｋ＋２］［ｊ］の値を、メモリ１７２及び１７６に格納されているヒストグラムにおける、現在のサンプリング番号に対応するＢＩＮの値に加算し、最後にヒストグラム生成部１６３３及び１６３７が、ｉ＝４ｋ＋３の画素値Ｄ［４ｋ＋３］［ｊ］の値を、メモリ１７３及び１７７に格納されているヒストグラムにおける、現在のサンプリング番号に対応するＢＩＮの値に加算する。
　それにより、メモリ１７０～１７３でＢＩＮ数が４倍のＮｃ個（本例では６つ）のヒストグラムが作成され、メモリ１７４及び１７７でＢＩＮ数が４倍のＮｃ個（本例では６つ）のヒストグラムが作成される。
　２．８．３．３．２　１回の発光に対して実行する動作
　また、図１８に示すように、図１７を用いて説明したサンプリング動作は、所定のサンプリング回数、例えば、第１画素モードのサンプリング回数の４倍のサンプリング回数（本例では、１０２４回）、繰返し実行される。その際、第３画素モードでは、ヒストグラムの最初の１／４を作成する期間（例えば、サンプリング番号Ｐ０～Ｐ２５５の期間）には、最初の１／４の部分用のメモリ１７０及び１７４にのみ、書込みを許可するハイレベルのイネーブル信号ＥＮ０及びＥＮ４を与え、他のメモリ１７１、１７２、１７３、１７５、１７６及び１７７には、書込みを禁止するローレベルのイネーブル信号ＥＮ１、ＥＮ２、ＥＮ３、ＥＮ５、ＥＮ６及びＥＮ７を与える。それにより、サンプリング番号Ｐ０～Ｐ２５５の期間には、ｉ＝０及び４の画素値Ｄを用いて、ヒストグラムの最初の１／４部分（例えば、ＢＩＮＩＤＸ＝０～２５５のＢＩＮに相当）がメモリ１７０及び１７４に作成される。
　次に、ヒストグラムの２番目の１／４を作成する期間（例えば、サンプリング番号Ｐ２５６～Ｐ５１１の期間）には、２番目の１／４の部分用のメモリ１７１及び１７５にのみ、書込みを許可するハイレベルのイネーブル信号ＥＮ１及びＥＮ５を与え、他のメモリ１７０、１７２、１７３、１７４、１７６及び１７７には、書込みを禁止するローレベルのイネーブル信号ＥＮ０、ＥＮ２、ＥＮ３、ＥＮ４、ＥＮ６及びＥＮ７を与える。それにより、サンプリング番号Ｐ２５６～Ｐ５１１の期間には、ｉ＝１及び５の画素値Ｄを用いて、ヒストグラムの２番目の１／４部分（例えば、ＢＩＮＩＤＸ＝２５６～５１１のＢＩＮに相当）がメモリ１７１及び１７５に作成される。
　次に、ヒストグラムの３番目の１／４を作成する期間（例えば、サンプリング番号Ｐ５１２～Ｐ７６７の期間）には、３番目の１／４の部分用のメモリ１７２及び１７６にのみ、書込みを許可するハイレベルのイネーブル信号ＥＮ２及びＥＮ６を与え、他のメモリ１７０、１７１、１７３、１７４、１７５及び１７７には、書込みを禁止するローレベルのイネーブル信号ＥＮ０、ＥＮ１、ＥＮ３、ＥＮ４、ＥＮ５及びＥＮ７を与える。それにより、サンプリング番号Ｐ５１２～Ｐ７６７の期間には、ｉ＝２及び６の画素値Ｄを用いて、ヒストグラムの３番目の１／４部分（例えば、ＢＩＮＩＤＸ＝５１２～７６７のＢＩＮに相当）がメモリ１７２及び１７６に作成される。
　そして、ヒストグラムの残りの１／４を作成する期間（例えば、サンプリング番号Ｐ７６８～Ｐ１０２３の期間）には、最後の１／４の部分用のメモリ１７３及び１７７にのみ、書込みを許可するハイレベルのイネーブル信号ＥＮ３及びＥＮ７を与え、他のメモリ１７０、１７１、１７２、１７４、１７５及び１７６には、書込みを禁止するローレベルのイネーブル信号ＥＮ０、ＥＮ１、ＥＮ２、ＥＮ４、ＥＮ５及びＥＮ６を与える。それにより、サンプリング番号Ｐ７６８～Ｐ１０２３の期間には、ｉ＝３及び７の画素値Ｄを用いて、ヒストグラムの最後の１／４部分（例えば、ＢＩＮＩＤＸ＝７６８～１０２３のＢＩＮに相当）がメモリ１７３及び１７７に作成される。
　その結果、ｉ＝０～３の画素値Ｄを用いてＮｃ個（本例では６つ）のヒストグラムがメモリ１７０～１７３に作成され、ｉ＝４～７の画素値Ｄを用いてＮｃ個（本例では６つ）のヒストグラムがメモリ１７４～１７７に作成される。それにより、本例では、最終的に、発光部１３の１回の発光に対してＳｍａｘ／４×Ｎｃ個（本例では１２つ）のヒストグラムが作成される。
　２．８．３．４　第４画素モード（画素モード＝３）
　次に、ヒストグラム生成部１６３に第４画素モード（画素モード＝３）が設定された場合について説明する。
　２．８．３．４．１　１回のサンプリングに実行する動作
　図１９に示すように、制御部１１から画素モード‘３’、すなわち、第４画素モードが設定された場合、画素数可変並列加算部１６１による画素値Ｄの加算（図９参照）により、画素値列４９における、ｉ＝０～７の全ての画素値Ｄ［０］［ｊ］～Ｄ［７］［ｊ］は同じ値となる。
　そこで、第４画素モードでは、ヒストグラム生成部１６３は、同じ値である全て（８つ）の画素値Ｄを用いて１つのヒストグラムを作成する。言い換えれば、第４画素モードでは、ヒストグラム生成部１６３は、８つの画素値Ｄの格納先となる８つのメモリ１７０～１７７を用いて、１つのヒストグラムを作成する。その際、最初のメモリ１７０をヒストグラムの最初の１／８のＢＩＮに割り当て、２番目のメモリ１７１をヒストグラムの２番目の１／８のＢＩＮに割り当て、３番目のメモリ１７２をヒストグラムの３番目の１／８のＢＩＮに割り当て、４番目のメモリ１７３をヒストグラムの４番目の１／８のＢＩＮに割り当て、５番目のメモリ１７４をヒストグラムの５番目の１／８のＢＩＮに割り当て、６番目のメモリ１７５をヒストグラムの６番目の１／８のＢＩＮに割り当て、７番目のメモリ１７６をヒストグラムの７番目の１／８のＢＩＮに割り当て、最後のメモリ１７７をヒストグラムの残りの１／８のＢＩＮに割り当てる。これにより、ヒストグラムのＢＩＮ数を８倍に増加させることが可能となるため、測距範囲をさらに広げることが可能となる。
　具体的には、まず、ヒストグラム生成部１６３のうちのヒストグラム生成部１６３０が、行列転置部１６２から入力された画素値列４９のうち、ｉ＝０の画素値Ｄ［０］［ｊ］の値を、メモリ１７０に格納されているヒストグラムにおける、現在のサンプリング番号に対応するＢＩＮの値に加算する。以降も同様に、ヒストグラム生成部１６３１～１６３７が順次、ｉ＝１～７の画素値Ｄ［１］［ｊ］～Ｄ［７］［ｊ］の値を、メモリ１７１～１７７に格納されているヒストグラムにおける、現在のサンプリング番号に対応するＢＩＮの値に加算する。
　それにより、メモリ１７０～１７７でＢＩＮ数が８倍のＮｃ個（本例では６つ）のヒストグラムが作成される。
　２．８．３．４．２　１回の発光に対して実行する動作
　また、図２０に示すように、図１９を用いて説明したサンプリング動作は、所定のサンプリング回数、例えば、第１画素モードのサンプリング回数の８倍のサンプリング回数（本例では、２０４８回）、繰返し実行される。その際、第４画素モードでは、書込みを許可するハイレベルのイネーブル信号ＥＮ０～ＥＮ７を与える期間が、メモリ１７０～１７７の順番で順次切り替えられる。
　それにより、サンプリング番号Ｐ０～Ｐ２５５の期間には、ｉ＝０の画素値Ｄを用いて、ヒストグラムの最初の１／８部分（例えば、ＢＩＮＩＤＸ＝０～２５５のＢＩＮに相当）がメモリ１７０に作成され、サンプリング番号Ｐ２５６～Ｐ５１１の期間には、ｉ＝１の画素値Ｄを用いて、ヒストグラムの２番目の１／８部分（例えば、ＢＩＮＩＤＸ＝２５６～５１１のＢＩＮに相当）がメモリ１７１に作成され、サンプリング番号Ｐ５１２～Ｐ７６７の期間には、ｉ＝２の画素値Ｄを用いて、ヒストグラムの３番目の１／８部分（例えば、ＢＩＮＩＤＸ＝５１２～７６７のＢＩＮに相当）がメモリ１７２に作成され、サンプリング番号Ｐ７６８～Ｐ１０２３の期間には、ｉ＝３の画素値Ｄを用いて、ヒストグラムの４番目の１／８部分（例えば、ＢＩＮＩＤＸ＝７６８～１０２３のＢＩＮに相当）がメモリ１７３に作成され、サンプリング番号Ｐ１０２４～Ｐ１２７９の期間には、ｉ＝４の画素値Ｄを用いて、ヒストグラムの５番目の１／８部分（例えば、ＢＩＮＩＤＸ＝１０２４～１２７９のＢＩＮに相当）がメモリ１７４に作成され、サンプリング番号Ｐ１２８０～Ｐ１５３５の期間には、ｉ＝５の画素値Ｄを用いて、ヒストグラムの６番目の１／８部分（例えば、ＢＩＮＩＤＸ＝１２８０～１５３５のＢＩＮに相当）がメモリ１７５に作成され、サンプリング番号Ｐ１５３６～Ｐ１７９１の期間には、ｉ＝６の画素値Ｄを用いて、ヒストグラムの７番目の１／８部分（例えば、ＢＩＮＩＤＸ＝１５３６～１７９１のＢＩＮに相当）がメモリ１７６に作成され、サンプリング番号Ｐ１７９２～Ｐ２０４７の期間には、ｉ＝７の画素値Ｄを用いて、ヒストグラムの最後の１／８部分（例えば、ＢＩＮＩＤＸ＝１７９２～２０４７のＢＩＮに相当）がメモリ１７７に作成され、その結果、ｉ＝０～７の画素値Ｄを用いてＮｃ個（本例では６つ）のヒストグラムがメモリ１７０～１７７に作成される。それにより、本例では、最終的に、発光部１３の１回の発光に対してＳｍａｘ／８×Ｎｃ個（本例では６つ）のヒストグラムが作成される。
　２．９　ヒストグラム処理の回路例
　図２１は、本実施形態に係るヒストグラム生成部の動作を説明するための図である。なお、図２１には、例として、図１３に示すヒストグラム生成部１６３０がメモリ１７００内にヒストグラムを作成する際の流れを例示するが、他のメモリ１７０１～１７０５、並びに、他のヒストグラム生成部１６３１～１６３７に対しても、同様に適用することが可能である。すなわち、図２１に示す構成は、個々のヒストグラムを個別に格納するメモリ（図１３に示す例では、メモリ１７００～１７０５）ごとに設けられている。例えば、ヒストグラム生成部１６３０は、図２１に示す構成を、メモリ１７００～１７０５それぞれに一対一に対応するように、計６つ備えている。
　図２１に示すように、ヒストグラム生成部１６３０は、セレクタ５１及び６４と、加算器（＋１）５２と、同期回路としてのＤ－フリップフロップ（ＦＦ）５３、５４、５６、６１、６２及び６５と、加算器６３と、メモリ１７００としてのＳＲＡＭ５５とを備える。なお、読出しアドレスＲＥＡＤ＿ＡＤＤＲが入力されるＳＲＡＭ５５と、ＷＲＩＴＥ＿ＡＤＤＲが入力されるＳＲＡＭ５５とは同じＳＲＡＭ（メモリ１７００）である。
　このような構成において、破線で囲まれたＤ－ＦＦ６１及び６２と、加算器６３と、セレクタ６４と、Ｄ－ＦＦ６５とは、累積画素値を算出する加算回路６０として動作する。
　１回目のサンプリングに対するヒストグラム生成処理では、まず、セレクタ５１に、ヒストグラムの最初のＢＩＮ番号に相当するＳＲＡＭ５５の先頭アドレス（これを‘０’とする）が入力される。また、１回目のサンプリングに対するヒストグラム生成処理では、セレクタ５１に、不図示の制御線を介して、入力された先頭アドレス‘０’を出力させる制御信号が入力されている。したがって、セレクタ５１からは、入力された先頭アドレス‘０’がアドレスＡＤＤＲとして出力される。出力されたアドレスＡＤＤＲは、Ｄ－ＦＦ５３と加算器（＋１）５２とにそれぞれ入力される。
　一方、加算回路６０の初段のＤ－ＦＦ６１には、最初のサンプリング（例えば、サンプリング番号Ｐ０）により得られた画素値Ｄ［ｉ］［ｊ］（ただし、本説明では、ｉ＝０及びｊ＝０）が入力される。
　Ｄ－ＦＦ５３とＤ－ＦＦ６１との出力は同期される。したがって、Ｄ－ＦＦ５３がアドレスＡＤＤＲを出力するタイミングで、Ｄ－ＦＦ６１が画素値Ｄ［ｉ］［ｊ］を出力する。
　Ｄ－ＦＦ５３から出力されたアドレスＡＤＤＲは、Ｄ－ＦＦ５４に入力されるとともに、読出しアドレスＲＥＡＤ＿ＡＤＤＲとしてＳＲＡＭ５５に入力される。一方、Ｄ－ＦＦ６１から出力された画素値Ｄ［ｉ］［ｊ］は、Ｄ－ＦＦ６２に入力される。
　Ｄ－ＦＦ５４とＳＲＡＭ５５とＤ－ＦＦ６２との出力は同期される。したがって、Ｄ－ＦＦ５４がアドレスＡＤＤＲを出力するタイミングで、ＳＲＡＭ５５から読出しアドレスＲＥＡＤ＿ＡＤＤＲに対応するＢＩＮに格納されている累積画素値ＲＥＡＤ＿ＤＡＴＡ［ｉ］が出力されるとともに、Ｄ－ＦＦ６２から画素値Ｄ［ｉ］［ｊ］が出力される。
　Ｄ－ＦＦ５４から出力されたアドレスＡＤＤＲは、Ｄ－ＦＦ５６に入力される。一方、ＳＲＡＭ５５から読み出された累積画素値ＲＥＡＤ＿ＤＡＴＡ［ｉ］は、加算器６３に入力される。また、Ｄ－ＦＦ６２から出力された画素値Ｄ［ｉ］［ｊ］は、加算器６３に入力されるとともに、セレクタ６４に入力される。
　１回目のサンプリングに対するヒストグラム生成処理では、セレクタ６４には、不図示の制御線を介して、入力された画素値Ｄ［ｉ］［ｊ］を出力させる制御信号が入力されている。したがって、セレクタ６４からは、入力された画素値Ｄ［ｉ］［ｊ］が書込みデータＢＩＮ＿ＤＡＴＡ［ｊ］としてＤ－ＦＦ６５に出力される。
　Ｄ－ＦＦ５６とＤ－ＦＦ６５との出力は同期される。したがって、Ｄ－ＦＦ５６がアドレスＡＤＤＲを出力するタイミングで、Ｄ－ＦＦ６５が書込みデータＢＩＮ＿ＤＡＴＡ［ｊ］を出力する。
　Ｄ－ＦＦ５６から出力されたアドレスＡＤＤＲは、書込みアドレスＷＲＩＴＥ＿ＡＤＤＲとして、ＳＲＡＭ５５に入力される。また、ＳＲＡＭ５５には、書込みアドレスＷＲＩＴＥ＿ＡＤＤＲの入力と同期して、書込みデータＢＩＮ＿ＤＡＴＡ［ｊ］も入力される。したがって、ＳＲＡＭ５５に入力された書込みデータＢＩＮ＿ＤＡＴＡ［ｊ］は、書込みアドレスＷＲＩＴＥ＿ＡＤＤＲで指定されたＢＩＮに累積画素値として格納される。
　次に、２回目以降のサンプリングに対するヒストグラム生成処理では、セレクタ５１には、加算器（＋１）５２から入力された値を出力させる制御信号が入力されている。加算器（＋１）５２は、セレクタ５１から出力されたアドレスＡＤＤＲを１インクリメントした値を出力する。したがって、２回目以降のサンプリングに対するヒストグラム生成処理では、セレクタ５１からは、前回のアドレスＡＤＤＲを１インクリメントすることで得られた次のアドレスＡＤＤＲが出力される。出力されたアドレスＡＤＤＲは、Ｄ－ＦＦ５３と加算器（＋１）５２とにそれぞれ入力される。
　一方、加算回路６０の初段のＤ－ＦＦ６１には、２回目以降のサンプリング（例えば、サンプリング番号Ｐ１以降）により得られた画素値Ｄ［ｉ］［ｊ］（ただし、本説明では、ｉ＝０及びｊ＝０）が入力される。
　Ｄ－ＦＦ５３とＤ－ＦＦ６１との出力は同期されていることから、Ｄ－ＦＦ５３がアドレスＡＤＤＲを出力するタイミングで、Ｄ－ＦＦ６１が画素値Ｄ［ｉ］［ｊ］を出力する。
　そして、Ｄ－ＦＦ５４とＳＲＡＭ５５とＤ－ＦＦ６２との出力は同期されていることから、Ｄ－ＦＦ５４がアドレスＡＤＤＲを出力するタイミングで、ＳＲＡＭ５５から読出しアドレスＲＥＡＤ＿ＡＤＤＲに対応するＢＩＮに格納されている累積画素値ＲＥＡＤ＿ＤＡＴＡ［ｉ］が出力されるとともに、Ｄ－ＦＦ６２から画素値Ｄ［ｉ］［ｊ］が出力される。
　２回目以降のサンプリングに対するヒストグラム生成処理では、セレクタ６４には、加算器６３から入力された値を出力させる制御信号が入力されている。加算器６３は、ＳＲＡＭ５５から読み出された累積画素値ＲＥＡＤ＿ＤＡＴＡ［ｉ］と、Ｄ－ＦＦ６２から出力された画素値Ｄ［ｉ］［ｊ］とを加算した値を出力する。したがって、２回目以降のサンプリングに対するヒストグラム生成処理では、セレクタ６４からは、これまでの累積画素値ＲＥＡＤ＿ＤＡＴＡ［ｉ］に今回分の画素値Ｄ［ｉ］［ｊ］を加算した値が書込みデータＢＩＮ＿ＤＡＴＡ［ｊ］として出力される。これにより、ＳＲＡＭ５５における今回のサンプリング（サンプリング番号）に対応するＢＩＮには、累積画素値ＲＥＡＤ＿ＤＡＴＡ［ｉ］に今回分の画素値Ｄ［ｉ］［ｊ］を加算することで得られた累積画素値が格納される。
　以上の動作を所定のサンプリング回数繰返し実行することで、発光部１３の１回の発光に対するヒストグラムがメモリ１７内に作成される。そして、この動作を所定の発光回数分繰返し実行することで、測距範囲内に存在する物体９０までの距離を推定又は算出するためのヒストグラムが作成される。
　２．１０　動作例
　図２２は、本実施形態に係るＴｏＦセンサの概略動作例を示すフローチャートである。なお、図２２では、制御部１１（図１参照）の動作に着目して説明する。
　図２２に示すように、本動作では、まず、制御部１１は、制御レジスタ１２に設定されている画素モードを取得し（ステップＳ１１）、つづいて、画素モードが‘０’であるか否か、すなわち、第１画素モードが設定されているか否かを判定する（ステップＳ１２）。画素モードが‘０’である場合（ステップＳ１２のＹＥＳ）、制御部１１は、発光部１３の１回の発光に対して実行するサンプリングの回数（サンプリング回数）ＮｍａｘにＮを設定し（ステップＳ１３）、つづいて、画素数可変並列加算部１６１及びヒストグラム生成部１６３に、画素モード＝０を設定する（ステップＳ１４）。その後、制御部１１は、ヒストグラム処理部１６に第１ヒストグラム処理（例えば、図７、図１１、図１２、図１３及び図１４参照）を実行させ（ステップＳ１５）、ステップＳ２７へ進む。
　また、画素モードが‘０’でない場合（ステップＳ１２のＮＯ）、制御部１１は、画素モードが‘１’であるか否か、すなわち、第２画素モードが設定されているか否かを判定する（ステップＳ１６）。画素モードが‘１’である場合（ステップＳ１６のＹＥＳ）、制御部１１は、サンプリング回数Ｎｍａｘに２Ｎを設定し（ステップＳ１７）、つづいて、画素数可変並列加算部１６１及びヒストグラム生成部１６３に、画素モード＝１を設定する（ステップＳ１８）。その後、制御部１１は、ヒストグラム処理部１６に第２ヒストグラム処理（例えば、図８、図１１、図１５及び図１６参照）を実行させ（ステップＳ１９）、ステップＳ２７へ進む。
　さらに、画素モードが‘１’でない場合（ステップＳ１６のＮＯ）、制御部１１は、画素モードが‘２’であるか否か、すなわち、第３画素モードが設定されているか否かを判定する（ステップＳ２０）。画素モードが‘２’である場合（ステップＳ２０のＹＥＳ）、制御部１１は、サンプリング回数Ｎｍａｘに４Ｎを設定し（ステップＳ２１）、つづいて、画素数可変並列加算部１６１及びヒストグラム生成部１６３に、画素モード＝２を設定する（ステップＳ２２）。その後、制御部１１は、ヒストグラム処理部１６に第３ヒストグラム処理（例えば、図９、図１１、図１７及び図１８参照）を実行させ（ステップＳ２３）、ステップＳ２７へ進む。
　さらにまた、画素モードが‘２’でない場合（ステップＳ２０のＮＯ）、制御部１１は、画素モードが‘３’であると判断して、サンプリング回数Ｎｍａｘに８Ｎを設定し（ステップＳ２４）、つづいて、画素数可変並列加算部１６１及びヒストグラム生成部１６３に、画素モード＝３を設定する（ステップＳ２５）。その後、制御部１１は、ヒストグラム処理部１６に第４ヒストグラム処理（例えば、図１０、図１１、図１９及び図２０参照）を実行させ（ステップＳ２６）、ステップＳ２７へ進む。
　ステップＳ２７では、制御部１１は、第１～第４ヒストグラム処理のいずれか（ステップＳ１５、Ｓ１９、Ｓ２３又はＳ２６）で生成されたヒストグラムに基づき、測距範囲内に存在する物体９０までの距離を推定又は算出する。その後、制御部１１は、本動作を終了するか否かを判定し（ステップＳ２８）、終了する場合（ステップＳ２８のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ２８のＮＯ）、制御部１１は、ステップＳ１１へリターンし、以降の動作を実行する。
　２．１０．１　第１ヒストグラム生成処理
　図２３は、図２２のステップＳ１５に示す第１ヒストグラム処理においてヒストグラム生成部が実行するヒストグラム生成処理の一例を示すフローチャートである。なお、以下の説明では、説明の簡略化のため、ヒストグラム生成部１６３におけるヒストグラム生成部１６３０に着目するが、他のヒストグラム生成部１６３１～１６３７に対しても同様の適用することが可能である。また、以下の説明では、明確化のため、ＢＩＮ番号（ＢＩＮＩＤＸ）とサンプリング番号（Ｎ）とが一致しているものとする。
　図２３に示すように、第１ヒストグラム生成処理では、ヒストグラム生成部１６３０は、まず、現在の発光部１３による発光が何回目の発光であるかを特定するための発光回数Ｍに‘１’を設定する（ステップＳ１０１）とともに、現在のサンプリングが何番目であるかを特定するためのサンプリング番号Ｎを‘０’にリセットする（ステップＳ１０２）。次に、ヒストグラム生成部１６３０は、全てのメモリ１７０～１７７に対して、許可レベルのイネーブル信号ＥＮ０～ＥＮ７を入力することで、全てのメモリ１７０～１７７に対する書込みを許可する（ステップＳ１０３）。なお、サンプリング番号Ｎは、ヒストグラム生成部１６３内の不図示のカウンタにより管理されているものとする。
　次に、ヒストグラム生成部１６３０は、ＳＰＡＤアレイ１４３のＳＰＡＤ画素２０から読み出された検出信号に基づいて算出された画素値Ｄの列（画素値列４９）を行列転置部１６２から入力し（ステップＳ１０４）、入力した画素値列４９における各画素値Ｄ［ｉ］［ｊ］＝Ｄ［０］［０］～Ｄ［０］［５］を、メモリ１７０に格納された‘ｊ’毎のヒストグラムにおけるＢＩＮＩＤＸ＝ＮのＢＩＮの値に加算する（ステップＳ１０５）。なお、ＳＰＡＤ画素２０からの検出信号の読出しは、上述したように、所定のサンプリング周期で繰返し実行されているものとする。
　次に、ヒストグラム生成部１６３０は、サンプリング番号Ｎが最大値であるサンプリング回数Ｎｍａｘに達しているか否かを判定し（ステップＳ１０６）、達している場合（ステップＳ１０６のＹＥＳ）、ステップＳ１０８へ進む。一方、サンプリング番号Ｎがサンプリング回数Ｎｍａｘに達していない場合（ステップＳ１０６のＮＯ）、ヒストグラム生成部１６３０は、サンプリング番号Ｎを１インクリメントし（ステップＳ１０７）、その後、ステップＳ１０４へリターンして、以降の動作を繰返し実行する。
　ステップＳ１０８では、ヒストグラム生成部１６３０は、例えば、発光部１３の発光が予め定められた所定回数Ｍｍａｘに達しているか否かを判定し、達している場合（ステップＳ１０８のＹＥＳ）、第１ヒストグラム生成処理を終了する。一方、所定回数Ｍｍａｘに達していない場合（ステップＳ１０８のＮＯ）、ヒストグラム生成部１６３０は、発光部１３の発光回数Ｍを１インクリメントし（ステップＳ１０９）、その後、ステップＳ１０１へリターンして、以降の動作を実行する。これにより、発光部１３のＭ回の発光に基づいてヒストグラムを作成することが可能となるため、より正確に物体９０までの距離を推定又は算出することが可能となる。
　２．１０．２　第２ヒストグラム生成処理
　図２４は、図２２のステップＳ１９に示す第２ヒストグラム処理においてヒストグラム生成部が実行するヒストグラム生成処理の一例を示すフローチャートである。なお、以下の説明では、説明の簡略化のため、ヒストグラム生成部１６３におけるヒストグラム生成部１６３０に着目するが、他のヒストグラム生成部１６３１～１６３７に対しても同様の適用することが可能である。また、図２４に示す動作において、図２３に示す動作と同様の動作については、同一の符号を付し、その詳細な説明を省略する。
　図２４に示すように、第２ヒストグラム生成処理では、ヒストグラム生成部１６３０は、まず、現在の発光部１３による発光が何回目の発光であるかを特定するための発光回数Ｍに‘１’を設定し（ステップＳ１０１）、変数Ｑの最大値であるＱｍａｘを‘１’に設定する（ステップＳ２０１）とともに、変数Ｑを‘０’にリセットする（ステップＳ２０２）。つづいて、ヒストグラム生成部１６３０は、図２３におけるステップＳ１０２と同様に、サンプリング番号Ｎを‘０’にリセットする（ステップＳ１０２）。
　次に、ヒストグラム生成部１６３０は、メモリ１７０～１７７のうち、２ｋ＋Ｑ番目のメモリ（図１５に示す例では、メモリ１７０、１７２、１７４及び１７６、又は、メモリ１７１、１７３、１７５及び１７７）に対して、許可レベルのイネーブル信号（図１６に示す例では、イネーブル信号ＥＮ０、ＥＮ２、ＥＮ４及びＥＮ６、又は、イネーブル信号ＥＮ１、ＥＮ３、ＥＮ５及びＥＮ７）を入力することで、２ｋ＋Ｑ番目のメモリに対する書込みを許可する（ステップＳ２０３）。
　次に、ヒストグラム生成部１６３０は、サンプリング番号ＮがＮｍａｘに達するまで、図２３におけるステップＳ１０４～Ｓ１０７に示す動作と同様の動作を実行することで、各ヒストグラムの前半部分又は後半部分を作成する。
　次に、ヒストグラム生成部１６３０は、変数ＱがＱｍａｘに達しているか否かを判定し（ステップＳ２０４）、達している場合（ステップＳ２０４のＹＥＳ）、ステップＳ１０８へ進む。一方、変数ＱがＱｍａｘに達していない場合（ステップＳ２０４のＮＯ）、ヒストグラム生成部１６３０は、変数Ｑを１インクリメントし（ステップＳ２０５）、その後、ステップＳ１０２へリターンして以降の動作を実行することで、各ヒストグラムの残りの半分を作成する。
　２．１０．３　第３ヒストグラム生成処理
　図２５は、図２２のステップＳ２３に示す第３ヒストグラム処理においてヒストグラム生成部が実行するヒストグラム生成処理の一例を示すフローチャートである。なお、以下の説明では、説明の簡略化のため、ヒストグラム生成部１６３におけるヒストグラム生成部１６３０に着目するが、他のヒストグラム生成部１６３１～１６３７に対しても同様の適用することが可能である。また、図２５に示す動作において、図２３又は図２４に示す動作と同様の動作については、同一の符号を付し、その詳細な説明を省略する。
　図２５に示す第３ヒストグラム生成処理は、図２４に示した第２ヒストグラム生成処理と同様の動作において、図２４のステップＳ２０１及びＳ２０３が、それぞれ図２５のステップＳ３０１及びＳ３０２に置き換えられている。
　ステップＳ３０１では、ヒストグラム生成部１６３０は、変数Ｑの最大値であるＱｍａｘを‘３’に設定する。
　ステップＳ３０２では、ヒストグラム生成部１６３０は、メモリ１７０～１７７のうち、４ｋ＋Ｑ番目のメモリ（図１７に示す例では、メモリ１７０及び１７４、メモリ１７１及び１７５、メモリ１７２及び１７６、又は、メモリ１７３及び１７７）に対して、許可レベルのイネーブル信号（図１８に示す例では、イネーブル信号ＥＮ０及びＥＮ４、イネーブル信号ＥＮ１及びＥＮ５、イネーブル信号ＥＮ２及びＥＮ６、又は、イネーブル信号ＥＮ３及びＥＮ７）を入力することで、４ｋ＋Ｑ番目のメモリに対する書込みを許可する。
　次に、ヒストグラム生成部１６３０は、図２４におけるステップＳ１０４～Ｓ２０５と同様に、変数Ｑの値ごとに、サンプリング番号Ｎが０からＮｍａｘに達するまで、ステップＳ１０２～Ｓ１０７に示す動作と同様の動作を実行することで、各ヒストグラムを１／４ずつ作成する。
　その後、ヒストグラム生成部１６３０は、ステップＳ１０８へ進み、発光部１３の発光回数Ｍが所定回数Ｍｍａｘに達するまで、上述した動作を繰返し実行する。
　２．１０．４　第４ヒストグラム生成処理
　図２６は、図２２のステップＳ２６に示す第４ヒストグラム処理においてヒストグラム生成部が実行するヒストグラム生成処理の一例を示すフローチャートである。なお、以下の説明では、説明の簡略化のため、ヒストグラム生成部１６３におけるヒストグラム生成部１６３０に着目するが、他のヒストグラム生成部１６３１～１６３７に対しても同様の適用することが可能である。また、図２６に示す動作において、図２３～図２５のいずれかに示す動作と同様の動作については、同一の符号を付し、その詳細な説明を省略する。
　図２６に示す第４ヒストグラム生成処理は、図２４に示した第２ヒストグラム生成処理又は図２５に示した第３ヒストグラム生成処理と同様の動作において、図２４のステップＳ２０１及びＳ２０３又は図２５のステップＳ３０１及びＳ３０２が、それぞれ図２６のステップＳ４０１及びＳ４０２に置き換えられている。
　ステップＳ４０１では、ヒストグラム生成部１６３０は、変数Ｑの最大値であるＱｍａｘを‘７’に設定する。
　ステップＳ４０２では、ヒストグラム生成部１６３０は、メモリ１７０～１７７のうち、８ｋ＋Ｑ番目のメモリ（図１９に示す例では、メモリ１７０、１７１、１７２、１７３、１７４、１７５、１７６、又は、１７７）に対して、許可レベルのイネーブル信号（図２０に示す例では、イネーブル信号ＥＮ０、ＥＮ１、ＥＮ２、ＥＮ３、ＥＮ４、ＥＮ５、ＥＮ６、又は、ＥＮ７）を入力することで、８ｋ＋Ｑ番目のメモリに対する書込みを許可する。
　次に、ヒストグラム生成部１６３０は、図２４におけるステップＳ１０４～Ｓ２０５と同様に、変数Ｑの値ごとに、サンプリング番号Ｎが０からＮｍａｘに達するまで、ステップＳ１０２～Ｓ１０７に示す動作と同様の動作を実行することで、各ヒストグラムを１／８ずつ作成する。
　その後、ヒストグラム生成部１６３０は、ステップＳ１０８へ進み、発光部１３の発光回数Ｍが所定回数Ｍｍａｘに達するまで、上述した動作を繰返し実行する。
　２．１１　ヒストグラム作成の具体例
　つづいて、以上のような構成及び動作に基づいたヒストグラムの作成について、具体例を挙げて説明するなお、以下の説明では、画素モード＝２、すなわち、第３画素モードが設定されている場合を例示するが、他の画素モードに対しても、同様に適用することが可能である。
　図２７は、発光部の１回目の発光（Ｍ＝１）に対してメモリ内に作成されるヒストグラムの一例を示す図である。図２８は、発光部の２回目の発光（Ｍ＝２）に対して得られた各サンプリング番号での画素値の一例を示す図である。図２９は、発光部の２回目の発光（Ｍ＝２）に対してメモリ内に作成されるヒストグラムの一例を示す図である。図３０は、発光部の３回目の発光（Ｍ＝３）に対して得られた各サンプリング番号での画素値の一例を示す図である。図３１は、発光部の３回目の発光（Ｍ＝３）に対してメモリ内に作成されるヒストグラムの一例を示す図である。なお、図２７から図３１に示すヒストグラムは、ｉ及びｊが同じ値の画素値Ｄ［ｉ］［ｊ］～Ｄ［ｉ＋３］［ｊ］を用いて作成されているものとする。
　まず、図２７に示すように、発光部１３の１回目の発光（Ｍ＝１）に対しては、メモリ１７内には、１回の発光に対するサンプリングによって得られたサンプリング番号Ｎ毎の画素値Ｄが対応するＢＩＮに格納されたヒストグラムが作成される。
　そこで、発光部１３の２回目の発光（Ｍ＝２）に対し、図２８に例示するようなヒストグラムが得られた場合、メモリ１７内には、図２９に示すように、１回目の発光（Ｍ＝１）に対して得られたヒストグラムの各ＢＩＮの値に、２回目の発光（Ｍ＝２）に対して得られたヒストグラムの各ＢＩＮの値が加算されたヒストグラムが作成される。
　同様に、発光部１３の３回目の発光（Ｍ＝３）に対し、図３０に例示するようなヒストグラムが得られた場合、図３１に示すように、メモリ１７内のヒストグラムにおける各ＢＩＮには、１回目の発光（Ｍ＝１）から３回目の発光（Ｍ＝３）までに得られた画素値の累積値（累積画素値）が格納される。
　このように、発光部１３の複数回の発光に対して得られた画素値Ｄを累積することで、反射光Ｌ２を検出した画素値の累積画素値と、外乱光Ｌ０などのノイズに起因した累積画素値との差を大きくすることが可能となる。それにより、反射光Ｌ２とノイズとの弁別の信頼性を高めることが可能となるため、より正確に物体９０までの距離を推定又は算出することが可能となる。
　２．１２　距離推定／算出部
　次に、本実施形態に係る距離推定／算出部１８について、以下に説明する。距離推定／算出部１８は、ヒストグラム処理部１６により作成されたメモリ１７内のヒストグラムに基づいて、物体９０までの距離を推定又は算出する。例えば、距離推定／算出部１８は、各ヒストグラムにおいて累積画素値がピーク値となるＢＩＮ番号を特定し、特定したＢＩＮ番号を飛行時間又は距離情報に換算することで、物体９０までの距離を推定又は算出する。
　例えば、第１画素モードである場合には、メモリ１７０～１７７それぞれに格納されたヒストグラムにおいて累積画素値がピークとなるＢＩＮ番号を特定し、特定されたＢＩＮ番号に基づいて物体９０までの距離を推定又は算出する。また、第２画素モードである場合には、メモリ１７０及び１７１、１７２及び１７３、１７４及び１７５、又は、１７６及び１７７で構成されるヒストグラムそれぞれにおいて累積画素値がピークとなるＢＩＮ番号を特定し、特定されたＢＩＮ番号に基づいて物体９０までの距離を推定又は算出し、第３画素モードである場合には、メモリ１７０～１７３、又は、１７４～１７７で構成されるヒストグラムそれぞれにおいて累積画素値がピークとなるＢＩＮ番号を特定し、特定されたＢＩＮ番号に基づいて物体９０までの距離を推定又は算出し、第４画素モードである場合には、メモリ１７０～１７７で構成されるヒストグラムにおいて累積画素値がピークとなるＢＩＮ番号を特定し、特定されたＢＩＮ番号に基づいて物体９０までの距離を推定又は算出する。
　なお、ＢＩＮ番号から飛行時間又は距離情報への換算は、予め所定のメモリ内に格納されている換算テーブルを用いて実行されてもよいし、ＢＩＮ番号を飛行時間又は距離情報に変換する変換式を予め保持しておき、この変換式を用いて換算されてもよい。
　また、累積画素値のピークとなるＢＩＮ番号の特定では、最も値が大きいＢＩＮのＢＩＮ番号を特定する方法や、ヒストグラムに対してフィッティングをし、それにより得られた関数曲線から累積画素値がピークとなるＢＩＮ番号を特定する方法など、種々の方法を用いることが可能である。
　２．１３　作用・効果
　以上のように、本実施形態によれば、画素モードに応じてメモリ１７０～１７７の使用形態が切り替えられる。例えば、第１画素モードでは、メモリ１７０～１７７それぞれで計４８つのヒストグラムが作成され、第２画素モードでは、メモリ１７０～１７７のうちの２つずつを組み合わせて計２４つのヒストグラムが作成され、第３画素モードでは、メモリ１７０～１７７のうちの４つずつを組み合わせて計１２つのヒストグラムが作成され、第４画素モードでは、メモリ１７０～１７７の全てを組み合わせて計６つのヒストグラムが作成される。それにより、深いメモリ領域を必要としない場合（例えば、近くを測距する場合）と、深いメモリ領域を必要とする場合（例えば、遠くまでを測距する場合）とで、メモリ１７の使用形態を切り替えることが可能となるため、状況に応じてメモリリソースを効率的に利用することが可能となる。
　また、本実施形態によれば、書込みが行なわれないメモリ１７０～１７７に対しては、書込みを禁止するイネーブル信号ＥＮ０～ＥＮ７を供給してメモリを休止状態にすることが可能となるため、消費電力を低減することも可能となる。
　さらに、本実施形態によれば、測距画像における１つの画素に対応するマクロ画素３０の数が画素モードに応じて切り替えられる。それにより、状況に応じてＴｏＦセンサ１の解像度を変更する変更することも可能となる。例えば、近い範囲を測距する場合のような広いダイナミックレンジを必要としない場合には、解像度を高めてきめ細かい測距画像を取得し、遠くまで測距するような広いダイナミックレンジを必要とする場合には、解像度を落として広いダイナミックレンジで測距画像を取得するというように、状況に応じて解像度を効果的に変更することが可能となる。
　３．第２の実施形態
　第１の実施形態では、フラッシュ型と称される測距装置について、例を挙げて説明した。これに対し、第２の実施形態では、スキャン型と称される測距装置について、例を挙げて説明する。なお、以下の説明において、第１の実施形態と同様の構成については、同一の符号を付し、その重複する説明を省略する。
　３．１　測距装置（ＴｏＦセンサ）
　図３２は、本実施形態に係る測距装置としてのＴｏＦセンサの概略構成例を示す模式図である。図１に示すように、ＴｏＦセンサ２は、制御装置２００と、集光レンズ２０１と、ハーフミラー２０２と、マイクロミラー２０３と、受光レンズ２０４と、スキャン部２０５と、発光部２１３と、受光部２１４とを備える。マイクロミラー２０３と、スキャン部２０５とは、例えば、請求の範囲における、アレイ部（例えば、ＳＰＡＤアレイ１４３に相当）に入射する光を走査する走査部に相当する。なお、この走査部には、他にも、集光レンズ２０１、ハーフミラー２０２及び受光レンズ２０４のうちの少なくとも１つが含まれてもよい。
　受光部２１４は、例えば、第１の実施形態で例示したマクロ画素３０が垂直方向（列方向に対応）に配列した構造を備える。すなわち、受光部２１４は、例えば、図３で例示したＳＰＡＤアレイ１４３の一部の列（１列又は数列）で構成することができる。以下、このＳＰＡＤアレイ１４３の一部の列を、マクロ画素列２４３と称する。そこで、図３に例示したＳＰＡＤアレイ１４３を引用すると、本実施形態に係るマクロ画素列２４３は、例えば、列方向に配列する＃０～＃４７の計４８つのマクロ画素３０が、ｊ＝０～６の計６つの画素グループ３１に区切られた構造を有する。
　発光部２１３は、例えば、第１の実施形態にかかる発光部１３と同様に、１つ又は複数の半導体レーザダイオードで構成されており、所定時間幅のパルス状のレーザ光Ｌ１を所定周期（発光周期）で出射する。また、発光部１３は、例えば、１ＧＨｚ（ギガヘルツ）の周期で、１ｎｓ（ナノ秒）の時間幅のレーザ光Ｌ１を出射する。
　集光レンズ２０１は、発光部２１３から出射したレーザ光Ｌ１を集光する。例えば、集光レンズ２０１は、レーザ光Ｌ１の広がりが受光部２１４の画角分程度となるように、レーザ光Ｌ１を集光する。
　ハーフミラー２０２は、入射したレーザ光Ｌ１の少なくとも一部を、マイクロミラー２０３へ向けて反射する。なお、ハーフミラー２０２に代えて、偏光ミラーなど、一部の光を反射し、他の一部の光を透過する光学素子を用いることも可能である。
　マイクロミラー２０３は、反射面の中心を軸として角度を変化させることができるように、スキャン部２０５に取り付けられている。スキャン部２０５は、例えば、マイクロミラー２０３で反射したレーザ光Ｌ１の像ＳＡが所定の走査エリアＡＲを水平方向に往復するように、マイクロミラー２０３を水平方向に揺動又は振動させる。例えば、スキャン部２０５は、レーザ光Ｌ１の像ＳＡが所定の走査エリアＡＲを１ｍｓ（ミリ秒）で往復するように、マイクロミラー２０３を水平方向に揺動又は振動させる。なお、マイクロミラー２０３の揺動又は振動には、ステッピングモータやピエゾ素子などを利用することができる。
　測距範囲内に存在する物体９０で反射したレーザ光Ｌ１の反射光Ｌ２は、レーザ光Ｌ１の出射軸と同じ光軸を入射軸として、レーザ光Ｌ１とは反対方向からマイクロミラー２０３に入射する。マイクロミラー２０３に入射した反射光Ｌ２は、レーザ光Ｌ１と同じ光軸でハーフミラー２０２に入射し、その一部がハーフミラー２０２を透過する。
　ハーフミラー２０２を透過した反射光Ｌ２の像は、受光レンズ２０４を介することで、受光部２１４におけるマクロ画素列２４３に結像される。
　制御装置２００は、例えば、制御部１１と、制御レジスタ１２と、加算部１５と、ヒストグラム処理部１６と、メモリ１７と、距離推定／算出部１８と外部Ｉ／Ｆ１９とを備える。これらは、例えば、第１の実施形態において例示したものと同様であってよい。ただし、本実施形態に係る制御部１１は、図１に例示した各部に加え、スキャン部２０５も制御する。
　以上のような構成において、加算部１５には、第１の実施形態と同様に、マクロ画素列２４３の各マクロ画素３０における各ＳＰＡＤ画素２０から出力された検出信号Ｖ＿ＯＵＴが、所定のサンプリング周期で入力される。加算部１５は、第１の実施形態と同様に、受光部２１４から出力された検出信号Ｖ＿ＯＵＴの数を１又は複数のマクロ画素ごとに集計し、その集計値を画素値としてヒストグラム処理部１６へ出力する。
　ヒストグラム処理部１６は、第１の実施形態と同様に、画素モードに応じたヒストグラムを、メモリ１７内に作成する。そして、距離推定／算出部１８は、第１の実施形態と同様に、メモリ１７内に作成されたヒストグラムに基づき、物体９０までの距離を推定又は算出する。
　３．２　作用・効果
　以上のように、フラッシュ型のＴＯＦセンサ１に限らず、スキャン型のＴＯＦセンサ２においても、画素モードに応じてメモリ１７０～１７７の使用形態を切り替えることが可能である。それにより、深いメモリ領域を必要としない場合（例えば、近くを測距する場合）と、深いメモリ領域を必要とする場合（例えば、遠くまでを測距する場合）とで、メモリ１７の使用形態を切り替えることが可能となるため、状況に応じてメモリリソースを効率的に利用することが可能となる。
　その他の構成、動作及び効果は、第１の実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　４．応用例
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３３に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３３では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図３４は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３４には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図３３に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link））等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３３の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図３３に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１又は図３２を用いて説明した本実施形態に係るＴｏＦセンサ１又は２の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１又は図３２を用いて説明した本実施形態に係るＴｏＦセンサ１又は２は、図３３に示した応用例の統合制御ユニット７６００に適用することができる。例えば、ＴｏＦセンサ１又は２の制御部１１、制御レジスタ１２、加算部１５、ヒストグラム処理部１６、メモリ１７、距離推定／算出部１８及び外部Ｉ／Ｆ１９は、統合制御ユニット７６００のマイクロコンピュータ７６１０、記憶部７６９０、車載ネットワークＩ／Ｆ７６８０に相当する。ただし、これに限定されず、車両制御システム７０００が図１におけるホスト８０に相当してもよい。
　また、図１又は図３２を用いて説明した本実施形態に係るＴｏＦセンサ１又は２の少なくとも一部の構成要素は、図３３に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１又は図３２を用いて説明した本実施形態に係るＴｏＦセンサ１又は２が、図３３に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　複数の画素モードのうちの何れかを設定値として保持する制御レジスタと、
　それぞれフォトンの入射を検出する複数の受光素子が配列するアレイ部と、
　前記受光素子それぞれから所定のサンプリング周期で検出信号を読み出す読出し回路と、
　前記複数の受光素子それぞれから前記サンプリング周期で読み出された前記検出信号の数を画素単位で集計することで前記サンプリング周期ごとに各画素の画素値を生成する画素値生成部と、
　前記画素値生成部で算出された前記サンプリング周期ごとの前記画素値のヒストグラムを前記画素ごとに格納するメモリと、
　を備え、
　各画素は、前記複数の受光素子のうちの１つ以上の受光素子で構成され、
　前記制御レジスタに第１画素モードが保持されている場合、前記メモリにおける第１サイズのメモリ領域が各画素に対して割り当てられ、
　前記制御レジスタに第２画素モードが保持されている場合、前記メモリにおける前記第１サイズとは異なる第２サイズのメモリ領域が各画素に対して割り当てられる
　測距装置。
（２）
　前記画素値生成部は、
　　前記複数の受光素子それぞれから出力された前記検出信号の数を第１所定数の前記受光素子ごとに集計して第１画素値を出力する加算部と、
　　前記加算部から出力された前記第１画素値に基づいて各画素の前記画素値を出力する可変並列加算部と、
　を含み、
　前記可変並列加算部は、前記制御レジスタに前記第１画素モードが保持されている場合、前記第１画素値をそのまま各画素の前記画素値として出力し、前記制御レジスタに前記第２画素モードが保持されている場合、少なくとも２つの前記第１画素値を加算した値を各画素の前記画素値として出力する
　前記（１）に記載の測距装置。
（３）
　前記アレイ部における前記複数の受光素子は、それぞれ前記第１所定数の受光素子で構成された複数のマクロ画素にグループ化されており、
　前記複数のマクロ画素は、それぞれ第２所定数の前記マクロ画素で構成された第３所定数の画素グループにグループ化されており、
　前記可変並列加算部は、前記制御レジスタに前記第２画素モードが保持されている場合、同一の前記画素グループに属する少なくとも２つのマクロ画素から取得された前記少なくとも２つの第１画素値を加算して各画素の前記画素値を算出する
　前記（２）に記載の測距装置。
（４）
　前記可変並列加算部は、前記制御レジスタに前記第２画素モードが保持されている場合、前記第１画素値を加算して得られた前記画素値を、当該加算の対象とした前記第１画素値の数と同じ数、出力する前記（３）に記載の測距装置。
（５）
　前記メモリは、前記第１所定数の受光素子それぞれに対して一対一に対応するメモリ領域を含み、
　前記制御レジスタに前記第１画素モードが保持されている場合、１つの前記メモリ領域で１つの前記画素の前記ヒストグラムを格納し、前記制御レジスタに前記第２画素モードが保持されている場合、少なくとも２つの前記メモリ領域で１つの前記画素の前記ヒストグラムを格納する
　前記（２）～（４）の何れか１項に記載の測距装置。
（６）
　前記メモリは、前記第１所定数の受光素子それぞれに対して一対一に対応するメモリ領域を含み、
　前記制御レジスタに前記第１画素モードが保持されている場合、１つの前記メモリ領域で１つの前記画素の前記ヒストグラムを格納し、前記制御レジスタに前記第２画素モードが保持されている場合、少なくとも２つの前記メモリ領域で１つの前記画素の前記ヒストグラムを格納し、
　前記可変並列加算部から出力された同じ値を持つ前記画素値は、１つの前記画素の前記ヒストグラムを格納する前記少なくとも２つの前記メモリ領域のうち、互いに異なる前記メモリ領域に格納される
　前記（４）に記載の測距装置。
（７）
　前記画素値生成部は、前記画素ごとの前記画素値を、行方向の要素を前記第３所定数とし、列方向を前記第２所定数とした画素値行列として出力し、
　前記画素値生成部は、前記画素値行列の行列を転置する行列転置部をさらに含む
　前記（３）又は（４）に記載の測距装置。
（８）
　前記メモリは、前記第３所定数の第１メモリよりなり、
　各第１メモリは、前記第２所定数の前記メモリ領域を含み、
　前記画素値生成部は、前記画素ごとの前記画素値を、行方向の要素を前記第３所定数とし、列方向を前記第２所定数とした画素値行列として出力し、
　前記画素値生成部は、前記画素値行列の行列を転置する行列転置部をさらに含む
　前記（６）に記載の測距装置。
（９）
　前記メモリの１つのメモリアドレスは、前記ヒストグラムの１つのＢＩＮに対応し、
　前記画素値生成部で算出された前記サンプリング周期ごとの前記画素値を前記メモリのメモリアドレス順に当該メモリに書き込むことで前記ヒストグラムを作成するヒストグラム生成部をさらに備える前記（１）～（８）の何れか１項に記載の測距装置。
（１０）
　前記ヒストグラム生成部は、前記画素値生成部で算出された前記サンプリング周期ごとの前記画素値を、書込み先となる前記メモリアドレスに既に格納されている値に加算する前記（９）に記載の測距装置。
（１１）
　前記アレイ部の画角の少なくとも一部を含む範囲にパルス状のレーザ光を出射する発光部をさらに備え、
　前記ヒストグラム生成部は、前記制御レジスタに第１画素モードが保持されている場合、第１サンプリング回数分の前記画素値を用いて前記ヒストグラムを作成し、前記制御レジスタに第２画素モードが保持されている場合、前記第１サンプリング回数とは異なる第２サンプリング回数分の前記画素値を用いて前記ヒストグラムを作成する
　前記（９）又は（１０）に記載の測距装置。
（１２）
　前記メモリに格納されている前記ヒストグラムに基づいて物体までの距離を推定又は算出する距離推定／算出部をさらに備える前記（１）～（１１）の何れか１項に記載の測距装置。
（１３）
　前記受光素子は、ＳＰＡＤ（Single　Photon　Avalanche　Diode）である前記（１）～（１２）の何れか１項に記載の測距装置。
（１４）
　前記第２画素モードの測距範囲は、前記第１画素モードの測距範囲よりも長く、
　前記第１画素モードの解像度は、前記第１画素モードの解像度よりも高い
　前記（１）～（１３）の何れか１項に記載の測距装置。
（１５）
　前記複数の受光素子が２次元格子状に配列するフラッシュ型である前記（１）～（１４）の何れか１項に記載の測距装置。
（１６）
　前記アレイ部に入射する光を走査する走査部をさらに備える前記（１）～（１５）の何れか１項に記載の測距装置。
（１７）
　複数の画素モードのうちの何れかを設定値として制御レジスタに保持させ、
　複数の受光素子それぞれから所定のサンプリング周期で読み出された検出信号の数を画素単位で集計することで前記サンプリング周期ごとに各画素の画素値を生成し、
　前記サンプリング周期ごとの前記画素値のヒストグラムを前記画素ごとにメモリに格納する
　ことを含み、
　各画素は、前記複数の受光素子のうちの１つ以上の受光素子で構成され、
　前記制御レジスタに第１画素モードが保持されている場合、前記メモリにおける第１サイズのメモリ領域が各画素に対して割り当てられ、
　前記制御レジスタに第２画素モードが保持されている場合、前記メモリにおける前記第１サイズとは異なる第２サイズのメモリ領域が各画素に対して割り当てられる
　測距方法。
　１、２　ＴｏＦセンサ
　１１　制御部
　１２　制御レジスタ
　１３、２１３　発光部
　１４、２１４　受光部
　１５　加算部
　１６　ヒストグラム処理部
　１７　メモリ
　１８　距離推定／算出部
　１９　外部Ｉ／Ｆ
　２０　ＳＰＡＤ画素
　２１　フォトダイオード
　２２　読出し回路
　２３　クエンチ抵抗
　２４　選択トランジスタ
　２５　デジタル変換器
　２６　インバータ
　２７　バッファ
　３０　マクロ画素
　３１　画素グループ
　４８０～４８５、４９０～４９７　画素値列
　５１、６４　セレクタ
　５２　加算器（＋１）
　５３、５４、５６、６１、６２、６５　Ｄ－ＦＦ
　５５　ＳＲＡＭ
　６３　加算器
　８０　ホスト
　９０　物体
　１４１　タイミング制御回路
　１４２　駆動回路
　１４３　ＳＰＡＤアレイ
　１４４　出力回路
　１５１　パルス整形部
　１５２　受光数カウント部
　１６１　画素数可変並列加算部
　１６２　行列転置部
　１６３、１６３０～１６３７　ヒストグラム生成部
　１７０～１７７、１７００～１７０５　メモリ
　２００　制御装置
　２０１　集光レンズ
　２０２　ハーフミラー
　２０３　マイクロミラー
　２０４　受光レンズ
　２０５　スキャン部
　２４３　マクロ画素列
　２５１　抵抗
　２５２、２６２　ＮＭＯＳトランジスタ
　２６１　ＰＭＯＳトランジスタ
　ＡＲ　走査エリア
　ＳＡ　像
　Ｌ０　外乱光
　Ｌ１　レーザ光
　Ｌ２　反射光
　ＬＤ　画素駆動線
　ＬＳ　出力信号線
　Ｐ０～Ｐ２０４７　サンプリング番号

Claims (17)

  1. 　複数の画素モードのうちの何れかを設定値として保持する制御レジスタと、
    　それぞれフォトンの入射を検出する複数の受光素子が配列するアレイ部と、
    　前記受光素子それぞれから所定のサンプリング周期で検出信号を読み出す読出し回路と、
    　前記複数の受光素子それぞれから前記サンプリング周期で読み出された前記検出信号の数を画素単位で集計することで前記サンプリング周期ごとに各画素の画素値を生成する画素値生成部と、
    　前記画素値生成部で算出された前記サンプリング周期ごとの前記画素値のヒストグラムを前記画素ごとに格納するメモリと、
    　を備え、
    　各画素は、前記複数の受光素子のうちの１つ以上の受光素子で構成され、
    　前記制御レジスタに第１画素モードが保持されている場合、前記メモリにおける第１サイズの領域が各画素に対して割り当てられ、
    　前記制御レジスタに第２画素モードが保持されている場合、前記メモリにおける前記第１サイズとは異なる第２サイズの領域が各画素に対して割り当てられる
    　測距装置。
  2. 　前記画素値生成部は、
    　　前記複数の受光素子それぞれから出力された前記検出信号の数を第１所定数の前記受光素子ごとに集計して第１画素値を出力する加算部と、
    　　前記加算部から出力された前記第１画素値に基づいて各画素の前記画素値を出力する可変並列加算部と、
    　を含み、
    　前記可変並列加算部は、前記制御レジスタに前記第１画素モードが保持されている場合、前記第１画素値をそのまま各画素の前記画素値として出力し、前記制御レジスタに前記第２画素モードが保持されている場合、少なくとも２つの前記第１画素値を加算した値を各画素の前記画素値として出力する
    　請求項１に記載の測距装置。
  3. 　前記アレイ部における前記複数の受光素子は、それぞれ前記第１所定数の受光素子で構成された複数のマクロ画素にグループ化されており、
    　前記複数のマクロ画素は、それぞれ第２所定数の前記マクロ画素で構成された第３所定数の画素グループにグループ化されており、
    　前記可変並列加算部は、前記制御レジスタに前記第２画素モードが保持されている場合、同一の前記画素グループに属する少なくとも２つのマクロ画素から取得された前記少なくとも２つの第１画素値を加算して各画素の前記画素値を算出する
    　請求項２に記載の測距装置。
  4. 　前記可変並列加算部は、前記制御レジスタに前記第２画素モードが保持されている場合、前記第１画素値を加算して得られた前記画素値を、当該加算の対象とした前記第１画素値の数と同じ数、出力する請求項３に記載の測距装置。
  5. 　前記メモリは、前記第１所定数の受光素子それぞれに対して一対一に対応するメモリ領域を含み、
    　前記制御レジスタに前記第１画素モードが保持されている場合、１つの前記メモリ領域で１つの前記画素の前記ヒストグラムを格納し、前記制御レジスタに前記第２画素モードが保持されている場合、少なくとも２つの前記メモリ領域で１つの前記画素の前記ヒストグラムを格納する
    　請求項２に記載の測距装置。
  6. 　前記メモリは、前記第１所定数の受光素子それぞれに対して一対一に対応するメモリ領域を含み、
    　前記制御レジスタに前記第１画素モードが保持されている場合、１つの前記メモリ領域で１つの前記画素の前記ヒストグラムを格納し、前記制御レジスタに前記第２画素モードが保持されている場合、少なくとも２つの前記メモリ領域で１つの前記画素の前記ヒストグラムを格納し、
    　前記可変並列加算部から出力された同じ値を持つ前記画素値は、１つの前記画素の前記ヒストグラムを格納する前記少なくとも２つの前記メモリ領域のうち、互いに異なる前記メモリ領域に格納される
    　請求項４に記載の測距装置。
  7. 　前記画素値生成部は、前記画素ごとの前記画素値を、行方向の要素を前記第３所定数とし、列方向を前記第２所定数とした画素値行列として出力し、
    　前記画素値生成部は、前記画素値行列の行列を転置する行列転置部をさらに含む
    　請求項３に記載の測距装置。
  8. 　前記メモリは、前記第３所定数の第１メモリよりなり、
    　各第１メモリは、前記第２所定数の前記メモリ領域を含み、
    　前記画素値生成部は、前記画素ごとの前記画素値を、行方向の要素を前記第３所定数とし、列方向を前記第２所定数とした画素値行列として出力し、
    　前記画素値生成部は、前記画素値行列の行列を転置する行列転置部をさらに含む
    　請求項６に記載の測距装置。
  9. 　前記メモリの１つのメモリアドレスは、前記ヒストグラムの１つのＢＩＮに対応し、
    　前記画素値生成部で算出された前記サンプリング周期ごとの前記画素値を前記メモリのメモリアドレス順に当該メモリに書き込むことで前記ヒストグラムを作成するヒストグラム生成部をさらに備える請求項１に記載の測距装置。
  10. 　前記ヒストグラム生成部は、前記画素値生成部で算出された前記サンプリング周期ごとの前記画素値を、書込み先となる前記メモリアドレスに既に格納されている値に加算する請求項９に記載の測距装置。
  11. 　前記アレイ部の画角の少なくとも一部を含む範囲にパルス状のレーザ光を出射する発光部をさらに備え、
    　前記ヒストグラム生成部は、前記制御レジスタに第１画素モードが保持されている場合、第１サンプリング回数分の前記画素値を用いて前記ヒストグラムを作成し、前記制御レジスタに第２画素モードが保持されている場合、前記第１サンプリング回数とは異なる第２サンプリング回数分の前記画素値を用いて前記ヒストグラムを作成する
    　請求項９に記載の測距装置。
  12. 　前記メモリに格納されている前記ヒストグラムに基づいて物体までの距離を推定又は算出する距離推定／算出部をさらに備える請求項１に記載の測距装置。
  13. 　前記受光素子は、ＳＰＡＤ（Single　Photon　Avalanche　Diode）である請求項１に記載の測距装置。
  14. 　前記第２画素モードの測距範囲は、前記第１画素モードの測距範囲よりも長く、
    　前記第１画素モードの解像度は、前記第１画素モードの解像度よりも高い
    　請求項１に記載の測距装置。
  15. 　前記複数の受光素子が２次元格子状に配列するフラッシュ型である請求項１に記載の測距装置。
  16. 　前記アレイ部に入射する光を走査する走査部をさらに備える請求項１に記載の測距装置。
  17. 　複数の画素モードのうちの何れかを設定値として制御レジスタに保持させ、
    　複数の受光素子それぞれから所定のサンプリング周期で読み出された検出信号の数を画素単位で集計することで前記サンプリング周期ごとに各画素の画素値を生成し、
    　前記サンプリング周期ごとの前記画素値のヒストグラムを前記画素ごとにメモリに格納する
    　ことを含み、
    　各画素は、前記複数の受光素子のうちの１つ以上の受光素子で構成され、
    　前記制御レジスタに第１画素モードが保持されている場合、前記メモリにおける第１サイズの領域が各画素に対して割り当てられ、
    　前記制御レジスタに第２画素モードが保持されている場合、前記メモリにおける前記第１サイズとは異なる第２サイズの領域が各画素に対して割り当てられる
    　測距方法。
PCT/JP2019/041034 2018-12-03 2019-10-18 測距装置及び測距方法 WO2020116039A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980009616.6A CN111630409A (zh) 2018-12-03 2019-10-18 测距装置和测距方法
DE112019000310.0T DE112019000310T5 (de) 2018-12-03 2019-10-18 Entfernungsmessvorrichtung und entfernungsmessverfahren
US16/964,673 US20200348416A1 (en) 2018-12-03 2019-10-18 Ranging device and ranging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-226594 2018-12-03
JP2018226594A JP2020091117A (ja) 2018-12-03 2018-12-03 測距装置及び測距方法

Publications (1)

Publication Number Publication Date
WO2020116039A1 true WO2020116039A1 (ja) 2020-06-11

Family

ID=70974527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041034 WO2020116039A1 (ja) 2018-12-03 2019-10-18 測距装置及び測距方法

Country Status (6)

Country Link
US (1) US20200348416A1 (ja)
JP (1) JP2020091117A (ja)
CN (1) CN111630409A (ja)
DE (1) DE112019000310T5 (ja)
TW (1) TW202030500A (ja)
WO (1) WO2020116039A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022042013A1 (zh) * 2020-08-31 2022-03-03 华为技术有限公司 一种dTOF传感模组、终端设备及测距方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11573302B2 (en) * 2019-10-17 2023-02-07 Argo AI, LLC LiDAR system comprising a Geiger-mode avalanche photodiode-based receiver having pixels with multiple-return capability
DE102020126799A1 (de) * 2020-10-13 2022-04-14 Sick Ag Distanzmessung mit einem Lichtlaufzeitverfahren
DE112021005860T5 (de) * 2020-11-02 2023-08-24 Sony Semiconductor Solutions Corporation Fotodetektor und optisches detektonssystem
TWI805152B (zh) * 2020-12-26 2023-06-11 以色列商趣眼有限公司 用於產生影像的方法、電光系統及非暫時性電腦可讀媒體
JP2022126067A (ja) * 2021-02-18 2022-08-30 ソニーセミコンダクタソリューションズ株式会社 受光装置、測距装置及び受光装置の信号処理方法
CN112799097B (zh) * 2021-04-14 2023-11-28 深圳阜时科技有限公司 深度图和灰度图的获取方法、深度相机、以及电子设备
TWI816292B (zh) * 2022-01-26 2023-09-21 佳世達科技股份有限公司 超音波斜向陣列製造方法及超音波斜向陣列

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120262696A1 (en) * 2009-09-11 2012-10-18 Robert Bosch Gmbh Optical Distance Measuring Device
US20170350967A1 (en) * 2016-06-06 2017-12-07 Princeton Lightwave, Inc. LiDAR SYSTEM AND METHOD
JP2018044923A (ja) * 2016-09-16 2018-03-22 株式会社東芝 光検出器、及び距離測定装置
US20180259624A1 (en) * 2015-11-11 2018-09-13 Ibeo Automotive Systems GmbH Method and device for optically measuring distances
JP2019032305A (ja) * 2017-07-11 2019-02-28 フォンダッツィオーネ ブルーノ ケスラーＦｏｎｄａｚｉｏｎｅ Ｂｒｕｎｏ Ｋｅｓｓｌｅｒ 距離を計測するための光電センサ及び方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208403B1 (en) * 2014-06-16 2015-12-08 Qualcomm Incorporated Systems and methods for processing image data associated with line detection
US10620300B2 (en) * 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
WO2018190276A1 (ja) * 2017-04-10 2018-10-18 株式会社デンソー 光計測装置
US10324170B1 (en) * 2018-04-05 2019-06-18 Luminar Technologies, Inc. Multi-beam lidar system with polygon mirror

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120262696A1 (en) * 2009-09-11 2012-10-18 Robert Bosch Gmbh Optical Distance Measuring Device
US20180259624A1 (en) * 2015-11-11 2018-09-13 Ibeo Automotive Systems GmbH Method and device for optically measuring distances
US20170350967A1 (en) * 2016-06-06 2017-12-07 Princeton Lightwave, Inc. LiDAR SYSTEM AND METHOD
JP2018044923A (ja) * 2016-09-16 2018-03-22 株式会社東芝 光検出器、及び距離測定装置
JP2019032305A (ja) * 2017-07-11 2019-02-28 フォンダッツィオーネ ブルーノ ケスラーＦｏｎｄａｚｉｏｎｅ Ｂｒｕｎｏ Ｋｅｓｓｌｅｒ 距離を計測するための光電センサ及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022042013A1 (zh) * 2020-08-31 2022-03-03 华为技术有限公司 一种dTOF传感模组、终端设备及测距方法
EP4194892A4 (en) * 2020-08-31 2024-01-24 Huawei Tech Co Ltd DTOF DETECTION MODULE, TERMINAL DEVICE AND DISTANCE MEASUREMENT METHOD

Also Published As

Publication number Publication date
US20200348416A1 (en) 2020-11-05
JP2020091117A (ja) 2020-06-11
TW202030500A (zh) 2020-08-16
CN111630409A (zh) 2020-09-04
DE112019000310T5 (de) 2020-09-17

Similar Documents

Publication Publication Date Title
WO2020116039A1 (ja) 測距装置及び測距方法
JP7246863B2 (ja) 受光装置、車両制御システム及び測距装置
TWI828695B (zh) 受光裝置及測距裝置
WO2020153275A1 (ja) 測距装置、車載システム及び測距方法
JP2021128084A (ja) 測距装置および測距方法
US20220003849A1 (en) Distance measuring device and distance measuring method
WO2021019939A1 (ja) 受光装置及び受光装置の制御方法、並びに、測距装置
EP3904826A1 (en) Distance measuring device and distance measuring method
WO2020153182A1 (ja) 光検出装置及び光検出装置の駆動方法、並びに、測距装置
WO2021161858A1 (ja) 測距装置および測距方法
WO2022004502A1 (ja) 撮像装置及び撮像方法
WO2022176532A1 (ja) 受光装置、測距装置及び受光装置の信号処理方法
WO2021161857A1 (ja) 測距装置および測距方法
WO2023089884A1 (ja) 光検出装置、撮像装置および測距装置
WO2023281824A1 (ja) 受光装置、測距装置及び受光装置の制御方法
WO2023281825A1 (ja) 光源装置、測距装置及び測距方法
WO2023145344A1 (ja) 受光素子、および電子機器
WO2023162734A1 (ja) 測距装置
WO2024095625A1 (ja) 測距装置および測距方法
WO2023190279A1 (ja) 測距装置
WO2023248855A1 (ja) 光検出装置及び電子機器
WO2024034271A1 (ja) 光検出素子及び電子機器
WO2023162733A1 (ja) 測距装置及び測距方法
WO2023223928A1 (ja) 測距装置及び測距システム
WO2023243527A1 (en) Solid-state image-capturing device, and image-capturing apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19893459

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19893459

Country of ref document: EP

Kind code of ref document: A1