WO2021029270A1 - 測定装置および測距装置 - Google Patents

測定装置および測距装置 Download PDF

Info

Publication number
WO2021029270A1
WO2021029270A1 PCT/JP2020/029766 JP2020029766W WO2021029270A1 WO 2021029270 A1 WO2021029270 A1 WO 2021029270A1 JP 2020029766 W JP2020029766 W JP 2020029766W WO 2021029270 A1 WO2021029270 A1 WO 2021029270A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
distance
measured
light
measuring device
Prior art date
Application number
PCT/JP2020/029766
Other languages
English (en)
French (fr)
Inventor
恭二 横山
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/624,844 priority Critical patent/US20220268890A1/en
Priority to EP20851965.2A priority patent/EP4015992A4/en
Priority to DE112020003847.5T priority patent/DE112020003847T5/de
Priority to JP2021539218A priority patent/JPWO2021029270A1/ja
Priority to KR1020227003510A priority patent/KR20220043125A/ko
Priority to CN202080055841.6A priority patent/CN114207472A/zh
Publication of WO2021029270A1 publication Critical patent/WO2021029270A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G01S7/4866—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak by fitting a model or function to the received signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems

Definitions

  • the present disclosure relates to a measuring device and a ranging device.
  • a distance measuring method for measuring the distance to the object to be measured using light
  • a distance measuring method called a direct ToF (direct Time of Flight) method is known.
  • the object to be measured is based on the time from the emission timing indicating the emission of light by the light source to the reception timing when the reflected light reflected by the object to be measured is received by the light receiving element. Find the distance to.
  • the time from the injection timing to the light receiving timing when the light is received by the light receiving element is measured, and the time information indicating the measured time is stored in the memory.
  • This measurement is executed a plurality of times, and a histogram is created based on a plurality of time information stored in the memory by the multiple measurements. Based on this histogram, the distance to the object to be measured is obtained.
  • a measuring device and a distance measuring device that can reduce the processing time and the labor of parameter adjustment and improve the accuracy.
  • a measuring device includes a plurality of light receiving elements and a recognition unit.
  • the plurality of light receiving elements are arranged on the first substrate and output a signal when the light emitted from the light source and reflected by the object to be measured is received.
  • the recognition unit is arranged on a second substrate different from the first substrate, and recognizes information on the distance to the object to be measured by using a machine learning model based on the output signals of the plurality of light receiving elements.
  • the processing time and the labor of parameter adjustment can be reduced, and the accuracy can be improved.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 1 It is a figure which shows another example of the distribution of the time information of a pixel. It is a figure which shows the use example using the measuring apparatus to which the said embodiment and modification are applicable. It is a block diagram which shows the schematic structure example of the vehicle control system which is an example of the mobile body control system to which the technique which concerns on this disclosure can apply. It is a figure which shows the example of the installation position of the imaging unit.
  • the direct ToF method is a technique in which light emitted from a light source receives reflected light reflected by an object to be measured by a light receiving element, and distance measurement is performed based on the time difference between the light emission timing and the light receiving timing.
  • FIG. 1 is a diagram schematically showing an example of distance measurement by the direct ToF method.
  • the distance measuring device 300a includes a light source unit 301a and a light receiving unit 302a.
  • the light source unit 301a is, for example, a laser diode, and is driven so as to emit laser light in a pulsed manner.
  • the light emitted from the light source unit 301a is reflected by the object to be measured 303a and is received by the light receiving unit 302a as reflected light.
  • the light receiving unit 302a includes a light receiving element that converts light into an electric signal by photoelectric conversion, and outputs a signal corresponding to the received light.
  • the time when the light source unit 301a emits light is time t em
  • the time when the light receiving unit 302a receives the reflected light reflected by the object to be measured 303a (light receiving timing).
  • the distance measuring device 300a repeats the above-mentioned processing a plurality of times.
  • the distance D may be calculated based on each light receiving timing in which the light receiving unit 302a includes a plurality of light receiving elements and the reflected light is received by each light receiving element.
  • the ranging device 300a classifies the time t m (called the light receiving time t m ) from the light emitting timing time t em to the light receiving timing when the light is received by the light receiving unit 302a based on the class (bins). Generate a histogram.
  • the light received by the light receiving unit 302a during the light receiving time t m is not limited to the reflected light emitted by the light source unit 301a and reflected by the object 303a.
  • the ambient light around the ranging device 300a (light receiving unit 302a) is also received by the light receiving unit 302a.
  • FIG. 2 is a diagram showing an example histogram based on the time when the light receiving unit 302a receives light.
  • the horizontal axis indicates the bin and the vertical axis indicates the frequency for each bin.
  • the bins are obtained by classifying the light receiving time t m for each predetermined unit time d. Specifically, bin # 0 is 0 ⁇ t m ⁇ d, bin # 1 is d ⁇ t m ⁇ 2 ⁇ d , bin # 2 2 ⁇ d ⁇ t m ⁇ 3 ⁇ d, ..., bottles # (N -2) is (N-2) ⁇ d ⁇ t m ⁇ (N-1) ⁇ d.
  • the distance measuring device 300a counts the number of times the light receiving time t m is acquired based on the bins to obtain the frequency 310a for each bin, and generates a histogram.
  • the light receiving unit 302a also receives light other than the reflected light reflected from the light emitted from the light source unit 301a.
  • the ambient light there is the above-mentioned ambient light.
  • the portion indicated by the range 311a in the histogram includes the ambient light component due to the ambient light.
  • the ambient light is light that is randomly incident on the light receiving unit 302a and becomes noise with respect to the reflected light of interest.
  • the target reflected light is light received according to a specific distance, and appears as an active light component 312a in the histogram.
  • the bin corresponding to the frequency of the peak in the active light component 312a is the bin corresponding to the distance D of the object to be measured 303a.
  • Distance measuring device 300a by obtaining a representative time of the bottle (for example, a central time bins) as the time t re described above, according to the equation (1) described above, calculates the distance D to the object to be measured 303a be able to. In this way, by using a plurality of light receiving results, it is possible to perform appropriate distance measurement for random noise.
  • the distance measuring method using the above-mentioned histogram it is necessary to acquire a plurality of light receiving results before the time tre , which is the light receiving timing, is detected, and the light receiving timing detection process takes time. Further, in order to generate a histogram, a memory for storing the light receiving time t m is required, which increases the circuit scale of the device. Moreover, since in order to properly detect the time t re from the histogram, it is necessary to set an appropriate threshold value for each generated histogram, it becomes necessary filtering and threshold setting process therefor, the processing load becomes large. In addition, depending on the required distance accuracy, a filter coefficient that can reliably remove noise and a threshold value for appropriately detecting the time tre are required, so the development man-hours for setting these are also increased. ..
  • the distance measuring method using the histogram is desired to be improved from the viewpoint of processing time, processing load or memory reduction. Therefore, in the technique of the present disclosure, the distance from the light receiving timing (time tre ) of the light receiving unit to the object to be measured is recognized by using a machine learning model without generating a histogram.
  • time tre time tre
  • FIG. 3 is a diagram for explaining an outline of the distance measuring method according to the embodiment of the present disclosure.
  • the distance measuring method shown in FIG. 3 is executed by the measuring device 1 (not shown in FIG. 3). Further, the measuring device 1 has a light receiving unit 302 having a plurality of pixels (light receiving elements).
  • the light receiving unit 302 of the measuring device 1 outputs each light receiving timing at which the reflected light from the object to be measured is received for each light receiving element (step S1).
  • the measuring device 1 recognizes the time tre corresponding to the distance to the object to be measured by using the machine learning model based on the light receiving timing distribution 310 (step S2). Specifically, the measuring device 1 learns the machine learning model M in advance by using the distribution of the light receiving timing by the plurality of light receiving elements as the input data and the time tre corresponding to the distance to the object to be measured as the correct answer data. ..
  • the measuring device 1 inputs the light receiving timing output by the light receiving unit 302 in step S1 as input data to the machine learning model M, and sets the output result of the machine learning model M as the time t re corresponding to the distance to the object to be measured. get.
  • the measuring device 1 generates data including the distance from the acquired time tr e to the object to be measured (step S3).
  • the measuring device 1 does not need to generate a histogram by recognizing the time tr e corresponding to the distance to the object to be measured by using the machine learning model in which the light receiving timing is input. , The time to measure the distance can be shortened. Further, the processing required for generating the histogram becomes unnecessary, and the measuring device 1 can reduce the processing load for measuring the distance. Further, the memory for generating the histogram becomes unnecessary, and the circuit scale of the measuring device 1 can be reduced.
  • FIG. 4 is a block diagram showing an example of the configuration of the distance measuring system according to the embodiment of the present disclosure.
  • the distance measuring system 6 shown in FIG. 4 includes a measuring device 1, a light source 2, a storage device 7, a control device 4, an optical system 5, and an imaging device 8.
  • the light source 2 is, for example, a laser diode, and is driven so as to emit laser light in a pulsed manner.
  • a VCSEL Very Cavity Surface Emitting LASER
  • a configuration in which laser light emitted from the laser diode array is scanned in a direction perpendicular to the line may be applied.
  • the measuring device 1 includes a plurality of light receiving elements.
  • the plurality of light receiving elements are arranged in a two-dimensional lattice, for example, to form a light receiving surface.
  • the measuring device 1 recognizes the time tre corresponding to the distance to the object to be measured by using machine learning based on the output signals of the plurality of light receiving elements, and generates the distance data.
  • the calculated distance data is stored in, for example, the storage device 7.
  • the optical system 5 guides light incident from the outside to a light receiving surface included in the measuring device 1.
  • the device including the light source 2 and the measuring device 1 is also referred to as a distance measuring device.
  • the image pickup device 8 is, for example, an RGB camera that captures an RGB image of the subject space in which the object to be measured exists.
  • the control device 4 controls the overall operation of the ranging system 6.
  • the control device 4 supplies the measurement device 1 with a light emission trigger signal that is a trigger for causing the light source 2 to emit light.
  • the measuring device 1 causes the light source 2 to emit light at a timing based on the light emission trigger signal, and stores a time t em indicating the light emission timing.
  • the control device 4 sets a pattern at the time of distance measurement for the measuring device 1 in response to an instruction from the outside, for example.
  • control device 4 controls switching of the machine learning model M used for machine learning by the measuring device 1 based on the RGB image captured by the imaging device 8.
  • the measuring device 1 selects, for example, a machine learning model M according to the type of the object to be measured according to the control of the control device 4.
  • FIG. 5 is a block diagram showing an example of the configuration of the measuring device 1 according to the embodiment of the present disclosure.
  • the measuring device 1 has an interface with a pixel array unit 100, a distance measuring processing unit 101, a pixel control unit 102, an overall control unit 103, a clock generation unit 104, and a light emission control unit 105.
  • (I / F) unit 106 and model storage unit 107 are included.
  • the overall control unit 103 controls the overall operation of the measuring device 1 according to, for example, a program incorporated in advance. Further, the overall control unit 103 can also execute control according to an external control signal supplied from the outside.
  • the clock generation unit 104 generates one or more clock signals used in the measuring device 1 based on the reference clock signal supplied from the outside.
  • the light emission control unit 105 generates a light emission control signal indicating the light emission timing according to the light emission trigger signal supplied from the outside.
  • the light emission control signal is supplied to the light source 2 and also to the distance measuring processing unit 101.
  • the pixel array unit 100 is a light receiving unit that is arranged in a two-dimensional lattice and includes a plurality of pixels 10, 10, ...
  • the operation of each pixel 10 is controlled by the pixel control unit 102 according to the instruction of the overall control unit 103.
  • the pixel control unit 102 controls each pixel 10 so that the output signal of each pixel 10 is read out at once.
  • the pixel 10 has, for example, a SPAD (Single Photon Avalanche Diode) element as a light receiving element.
  • SPAD Single Photon Avalanche Diode
  • the distance measuring processing unit 101 measures the distance D to the object to be measured based on the output signal read from each pixel 10.
  • the distance measuring processing unit 101 includes a conversion unit 110, a recognition unit 111, a data generation unit 112, and a model switching unit 113.
  • the conversion unit 110 converts the output signal supplied from the pixel array unit 100 into digital information.
  • the output signal supplied from the pixel array unit 100 is output corresponding to the timing when light is received by the light receiving element included in the pixel 10 corresponding to the pixel signal.
  • the conversion unit 110 converts the supplied output signal into time information of a digital value indicating the timing.
  • the output signals of all the pixels 10 of the pixel array unit 100 are input to the conversion unit 110.
  • the conversion unit 110 converts all the output signals into time information and outputs the time information to the recognition unit 111.
  • the recognition unit 111 includes a DNN (Deep Neural Network) 111a, which is an example of a machine learning model.
  • the DNN111a has time information corresponding to the distance D from the time information corresponding to the output signals of all the pixels 10 (hereinafter, also referred to as the time information of each pixel 10) to the object to be measured (hereinafter, also referred to as the time information of the object to be measured). It is a multi-layered algorithm modeled on a human brain neural network (neural network) designed by machine learning to recognize).
  • DNN111a is an example, and the recognition unit 111 may use a model (learner) of any type such as a regression model such as SVM as a machine learning model.
  • the recognition unit 111 recognizes the time information of the object to be measured by inputting the time information of each pixel 10 input from the conversion unit 110 into the DNN 111a and executing the DNN process. Then, the recognition unit 111 outputs the DNN result output from the DNN 111a to the data generation unit 112 as the recognition result.
  • the data generation unit 112 generates output data from the DNN result input from the recognition unit 111 and outputs it to the storage device 7. Specifically, the data generation unit 112 calculates the distance D to the measurement object based on the time information of the measurement object recognized by the recognition unit 111, generates output data, and outputs the output data to the I / F unit 106. ..
  • the model switching unit 113 switches the machine learning model of the recognition unit 111.
  • the model switching unit 113 reads out the model stored in the model storage unit 107 and supplies it to the DNN 111a, for example, based on an instruction from the control device 4.
  • the output data generated by the data generation unit 112 is supplied to the I / F unit 106.
  • the I / F unit 106 is, for example, MIPI (Mobile Industry Processor Interface), and outputs output data to, for example, a storage device 7.
  • MIPI Mobile Industry Processor Interface
  • the I / F unit 106 may output the output data to the control device 4 or an external device (not shown).
  • FIG. 6 is a schematic view showing an example of the laminated structure of the measuring device 1 according to the embodiment of the present disclosure.
  • the first substrate P1 on which the pixel array unit 100 is arranged, the second substrate P2 on which the conversion unit 110 is arranged, and the recognition unit 111 are arranged. It has a substrate P3 and.
  • the pixel array unit 100 is arranged on the first substrate P1.
  • a light receiving element among the pixels 10 of the pixel array unit 100 is arranged on the first substrate P1, and other circuit configurations included in the pixels 10 include substrates other than the first substrate P1 such as the second substrate P2. May be placed in.
  • a conversion unit 110 is arranged on the second substrate P2.
  • the conversion unit 110 has a time digital conversion circuit 110a for each pixel 10, a time digital conversion circuit corresponding to each pixel 10 is arranged on the second substrate P2.
  • the time digital conversion circuit (TDC) 110a measures the time when the output signal from the pixel 10 is supplied, and converts the measured time into time information by a digital value.
  • the TDC 110a is a circuit that generates one time information for one pixel 10, and the conversion unit 110 has, for example, the same number of TDC 110a as the number of pixels 10.
  • the TDC 110a includes, for example, a counter that counts the time from the irradiation timing when the light source 2 irradiates light to the light reception timing when the pixel 10 receives light.
  • the counter starts time measurement (counting) in synchronization with the light emission control signal supplied from the light emission control unit 105.
  • the counter ends the time measurement according to the inversion timing of the output signal supplied from the pixel 10.
  • the TDC 110a outputs the time information obtained by converting the count number from the start to the end of the time measurement by the counter into a digital value to the recognition unit 111.
  • the recognition unit 111 is arranged on the third substrate P3.
  • a logic circuit other than the recognition unit 111 such as a data generation unit 112 or an overall control unit 103, may be arranged on the third substrate P3.
  • logic circuits such as the data generation unit 112, the model switching unit 113, and the overall control unit 103 may be arranged on another board (not shown).
  • Time information is supplied from all TDC 110a to the recognition unit 111 arranged on the third substrate P3.
  • the recognition unit 111 recognizes the time information of the object to be measured by recognizing the time information of each pixel 10 supplied from all the TDC 110a as an input by the machine learning model.
  • the pixel array unit 100, the conversion unit 110, and the recognition unit 111 are arranged on different substrates (first to third substrates P1 to P3), and the measuring device 1 has all the pixels.
  • the light receiving time of 10 is measured at one time.
  • the recognition unit 111 can recognize the time information of the object to be measured based on the output signals of all the pixels 10. Therefore, the measuring device 1 can detect the distance D to the object to be measured without generating the histogram, and the processing and the memory for generating the histogram become unnecessary.
  • the present invention is not limited to this.
  • the pixel array unit 100, the conversion unit 110, and the recognition unit 111 may be arranged on one substrate.
  • the case where the output signals of all the pixels 10 are read at once is shown as an example, but the reading method of the pixels 10 is not limited to this.
  • the output signal may be read out for each pixel 10 in a predetermined area.
  • the output signal may be read out for each pixel 10, row or column.
  • the measuring device 1 may have a memory for storing the output signal (or the time information obtained by converting the output signal into time) read for each pixel 10.
  • the recognition unit 111 is input with the time information corresponding to the output signals of all the pixels 10.
  • the recognition unit 111 recognizes the time information of the object to be measured by inputting the time information of each pixel 10 into the DNN 11a and executing the DNN process.
  • FIG. 7 is a diagram for explaining an outline of the neural network.
  • the neural network 40 is composed of three types of layers, an input layer 41, an intermediate layer 42, and an output layer 43, and has a network structure in which nodes included in each layer are connected by a link.
  • the circle in FIG. 7 corresponds to a node, and the arrow corresponds to a link.
  • the operation at the node and the weighting at the link are performed in the order from the input layer 41 to the intermediate layer 42 and from the intermediate layer 42 to the output layer 43, and the output data is output from the output layer 43. Is output.
  • those having a predetermined number of layers or more are also called DNN (Deep Neural Network) or deep learning.
  • the neural network 40 shown in FIG. 7 is only an example, and any network configuration may be used as long as a desired function can be realized.
  • the case where the output layer 43 has one node is shown for the sake of simplicity, but for example, in the case of the classification model, the number of nodes of the output layer 43 is a plurality (for example, classification). The number of classes to be used) may be used.
  • neural networks can approximate arbitrary functions.
  • the neural network can learn the network structure that matches the teacher data by using a calculation method such as backpropagation. Therefore, by constructing the model by the neural network, the model is released from the restriction of the expressive ability that the model is designed within the range that can be understood by humans.
  • the machine learning model used by the recognition unit 111 for recognizing time information is not limited to the DNN 111a, and may be configured by various networks.
  • the machine learning model may be a model (learner) of any format, such as a regression model such as SVM (Support Vector Machine).
  • the machine learning model may be various regression models such as a non-linear regression model and a linear regression model.
  • FIGS. 8 and 9 are diagrams for explaining an example of a machine learning model.
  • the light emitted from the light source 2 is reflected by the object to be measured and received by the measuring device 1. At this time, how much reflected light reaches the measuring device 1 changes depending on the type of the object to be measured.
  • the object to be measured is a car
  • most of the irradiation light is reflected by, for example, a body portion formed of a flat surface and received by the measuring device 1. Therefore, from the pixel 10 for receiving ambient light, the greater the pixel 10 for receiving reflected light in the vicinity of the light receiving timing t c corresponding to the distance to the object to be measured.
  • the light receiving timing distribution is such that the number of pixels that receive the reflected light increases in a predetermined range including the light receiving timing t c .
  • the vertical axis shows the frequency for each bin and the horizontal axis shows the bin (time t), showing the relationship between the light receiving timing of each pixel and the number of pixels.
  • the graph shown in FIG. 8 is a graph showing at what time many pixels received the reflected light.
  • the object to be measured is a tree
  • a part of the irradiation light is diffusely reflected on the surface of the tree, so that the reflected light reaching the measuring device 1 is less than that in the case of a car. Therefore, as shown in FIG. 9, the distribution of the light reception timing is increased in the vicinity of the light receiving timing t t for the distance to the object to be measured, as compared with the case the object to be measured is a car, the light receiving timing t t
  • the number of pixels that receive reflected light in the vicinity decreases.
  • the distribution of the light receiving timing changes not only with the distance D to the object to be measured but also with the type of the object to be measured. Therefore, in the embodiment of the present disclosure, the machine learning model is learned for each type of the object to be measured such as a car, a building, a road, a pedestrian, and a tree. This makes it possible to improve the recognition accuracy of the time information of the object to be measured.
  • the machine learning model is pre-constructed based on supervised learning as supervised data by associating the distribution of the light receiving timing with the time information of the measured object for each type of the object to be measured. Further, it is assumed that the constructed machine learning model is stored in the model storage unit 107 in advance.
  • the recognition unit 111 switches the machine learning model used for recognizing the time information by reading the machine learning model from the model storage unit 107 based on the instruction of the model switching unit 113.
  • a machine learning model may be constructed for each scene in the subject space.
  • a machine learning model may be constructed for each hour such as day or night, for each weather such as rainy or sunny weather, or for each place such as a country, region, urban area, or mountainous area.
  • ambient light other than the reflected light received by each pixel 10 changes between day and night.
  • the light receiving timing of the pixel 10 changes due to the reflection by the raindrops.
  • road conditions, signs, and surrounding environment differ depending on the country, region, urban area, and mountainous area.
  • a machine learning model for each scene in the subject space, it is possible to improve the recognition accuracy of the time information of the object to be measured in the subject space. Further, for example, when recognizing the distance D to the car in the urban area in the daytime, a machine learning model may be constructed for each combination of the scene and the type of the object to be measured.
  • FIG. 10 is a diagram for explaining recognition of time information by the recognition unit 111.
  • the fact that the light source 2 irradiates the irradiation light is also described as a shot.
  • the recognition unit 111 acquires, for example, the time information obtained by converting the output signal from the pixel array unit 100 by the conversion unit 110 for each shot.
  • the recognition unit 111 inputs the time information acquired for each shot into the DNN 111a, and acquires the recognition result of the time information corresponding to the distance D of the object to be measured.
  • the recognition unit 111 sequentially acquires time information of the distribution as shown in FIG. 10 corresponding to the first to Nth shots by the light source 2.
  • the distance D to the object to be measured corresponding to each shot is obtained as described above. It is calculated based on the above equation (1).
  • the time information t 1 to t N output from the recognition unit 111 corresponds to the em ⁇ tr re of the equation (1).
  • the data generation unit 112 may calculate the distance D to the object to be measured for each of the first to Nth shots, or the data generation unit 112 may calculate the distance to the object to be measured for each of a plurality of shots. D may be calculated. At this time, the data generation unit 112 may calculate the distance D by using the average value of the time information of the object to be measured in the plurality of shots.
  • the data generation unit 112 may determine whether or not the value of the time information of the object to be measured has converged, and the distance D may be calculated using the time information in the shot determined to have converged. When the value of the time information converges and the data generation unit 112 calculates the distance D, the data generation unit 112 determines that the recognition by the recognition unit 111 has been completed, and ends the measurement of the distance of the object to be measured. You may try to do it.
  • the measuring device 1 may complete the measurement of the distance D in one shot. That is, when the recognition unit 111 performs DNN processing on the time information of each pixel 10 acquired corresponding to one shot, recognizes the time information of the object to be measured, and the data generation unit 112 calculates the distance D, the measuring device The measurement of the distance D according to 1 may be completed. In this way, by calculating the distance D using the machine learning model, the measuring device 1 can measure the distance D in the shortest one shot, and the measurement time of the distance D can be shortened.
  • FIG. 11 is a block diagram showing a configuration example of the control device 4 according to the embodiment of the present disclosure.
  • the control device 4 is realized by, for example, an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor. Further, the control device 4 may include a ROM (Read Only Memory) for storing programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) for temporarily storing parameters and the like that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control device 4 detects an object to be measured, recognizes a scene in the subject space, and controls switching of the machine learning model of the measuring device 1 based on the captured image of the imaging device 8. Specifically, the control device 4 functions as an acquisition unit 401, an extraction unit 402, a scene recognition unit 403, a distance measurement determination unit 406, a model selection unit 404, and a notification unit 405.
  • the acquisition unit 401 acquires an RGB image from the image pickup device 8.
  • the acquisition unit 401 may acquire information regarding, for example, the imaging time and the imaging location of the RGB image.
  • Such information may be acquired from the image pickup apparatus 8, or may be acquired from a sensor such as a GPS sensor (not shown).
  • a sensor may be included in the ranging system 6 or may be an external sensor.
  • the extraction unit 402 extracts the object to be measured from the RGB image.
  • the extraction unit 402 performs image processing such as template matching to extract an object to be measured such as a tree, a vehicle, or a road from an RGB image. Further, the extraction unit 402 may extract, for example, an empty area, a ground area including a road, or the like from the color information of the RGB image. Alternatively, the extraction unit 402 may extract the object to be measured, the empty area, the ground area, or the like using a machine learning model such as DNN.
  • the scene recognition unit 403 recognizes the scene in the subject space from the RGB image. Alternatively, the scene recognition unit 403 may recognize the scene from information regarding the imaging time, the imaging location, and the like of the RGB image. Further, the scene recognition unit 403 may acquire information necessary for scene recognition from an external device or the like via a network (not shown).
  • the scene is information indicating the subject space represented by peripheral information such as season, time, weather, or place.
  • the scene recognition unit 403 recognizes, for example, whether the subject space is daytime or nighttime from the brightness (brightness) of the RGB image. Further, the scene recognition unit 403 may recognize the scene based on the extraction result by the extraction unit 402. For example, when the extraction unit 402 detects a building, a pedestrian, a car, or the like as an object to be measured, the scene recognition unit 403 recognizes that the subject space is an urban area.
  • the scene recognition by the scene recognition unit 403 is not limited to the one based on the RGB image, and the scene may be recognized from information other than the RGB image.
  • the scene recognition unit 403 may recognize the season, time, etc. of the subject space from the imaging date and time of the RGB image.
  • the scene recognition unit 403 may recognize the location of the subject space from the imaging location of the RGB image.
  • the scene recognition unit 403 may recognize the weather in the subject space based on, for example, the detection result of the rain detection sensor and the RGB image. In this way, the scene recognition unit 403 may recognize the scene in the subject space based on the detection results of the plurality of sensors and the like.
  • the scene recognition unit 403 may recognize the scene in the subject space by using a machine learning model such as DNN.
  • the scene recognition unit 403 may input an RGB image to the DNN, or may input information such as a shooting date and time and a detection result of the rain detection sensor to the DNN in addition to the RGB image.
  • the scene recognition unit 403 recognizes the scene in the subject space based on the detection result of the sensor including the RGB image, for example.
  • the scene recognition unit 403 recognizes, for example, that the subject space is "in Japan”, “urban area”, “sunny”, and "evening".
  • the distance measurement determination unit 406 determines the distance measurement position (distance measurement point) for measuring the distance D based on the extraction result of the extraction unit 402 and the recognition result of the scene recognition unit 403. Further, the distance measuring determination unit 406 determines the values of various parameters related to the light emitting system such as the direction and power of irradiation by the light source 2 and the pulse shape. Further, the distance measuring determination unit 406 selects the values of various parameters related to the light receiving system, such as the exposure period and the frame rate of the pixel array unit 100.
  • FIGS. 12 and 13 are diagrams for explaining the distance measuring position determined by the distance measuring determination unit 406.
  • the extraction unit 402 extracts the tree Tr, the road R, the car C1, the house H, the pedestrian Pe, and the empty area SR from the RGB image M1.
  • the distance measurement determination unit 406 determines which distance D to be measured in the subject space is to be measured based on the extraction result of the extraction unit 402. Further, the distance measuring determination unit 406 determines at which position of the object to be measured the distance D is measured.
  • the distance measuring determination unit 406 determines that, for example, the distance D to the pedestrian Pe is measured at five points indicated by "+" in FIG.
  • the number N1 of the distance D to be measured for each object to be measured is, for example, predetermined for each type of the object to be measured, and the distance measuring determination unit 406 determines the distance measuring position in the RGB image M1 according to the number N1, in other words.
  • the direction of the light emitted from the light source 2 is determined.
  • the distance measuring determination unit 406 increases the number of measurements N1 determined for each type of the object to be measured, for example, when the object to be measured is a moving object such as a pedestrian Pe or a car C1, and a stationary object such as a tree Tr or a house H. In the case of, the amount should be less than in the case of a moving object (see FIG. 12). Further, a background such as a road R may have a smaller number of measurements N1 than a stationary object. Further, it is not necessary to measure the distance D in the area where there is no object to be measured, such as the empty area SR.
  • the distance measurement determination unit 406 determines to measure the distance D to the object to be measured excluding the empty area SR.
  • the distance measurement determination unit 406 determines the direction of the light emitted from the light source 2 (distance measurement position) based on the type of the object to be measured extracted by the extraction unit 402 and the position in the RGB image.
  • the distance measurement determination unit 406 determines one position A1 as the measurement position for measuring the distance D to the vehicle C2. To do. This is because when the car C2 is oriented sideways, the side surface of the car C2 is formed of a substantially flat surface, so that the distance D to the car C2 does not change significantly regardless of the position of the side surface. In this way, when the object to be measured has a plane, the distance measuring determination unit 406 determines the representative position of the plane as the distance measuring position. As a result, the distance measuring system 6 can reduce the number of times the measuring device 1 measures the distance D to the object to be measured.
  • the distance measuring determination unit 406 determines one representative position, but the present invention is not limited to this.
  • the distance measuring determination unit 406 may determine a plurality of representative positions.
  • the distance measuring determination unit 406 may determine the distance measuring position according to the scene by using the recognition result of the scene recognition unit 403. For example, when the time zone of the subject space is "night", the distance measuring determination unit 406 may set the number of measurements N1 of the distance D to the object to be measured to be larger than that when the time zone is "day”. .. That is, the distance measurement determination unit 406 determines the measurement position so that the distance D to the object to be measured is measured at more measurement positions when the time zone is "night” than in the case of "day". You may.
  • the model selection unit 404 determines, for example, a distance measurement model used for recognizing the distance D of the object to be measured by the measuring device 1 based on the extraction result of the extraction unit 402 and the recognition result of the scene recognition unit 403. Select for each distance measurement position determined by unit 406.
  • the model selection unit 404 selects a machine learning model constructed by supervised learning with the pedestrian as correct answer data. In this way, the model selection unit 404 selects the machine learning model according to the type of the object to be measured extracted by the extraction unit 402, for example.
  • the model selection unit 404 may select a machine learning model according to the scene by using the recognition result of the scene recognition unit 403. For example, when the weather in the subject space is "rain", the model selection unit 404 is in the scene based on the recognition result of the scene, such as selecting a machine learning model constructed based on the measurement data collected in the rain. Select a machine learning model.
  • the model selection unit 404 may select a machine learning model based on, for example, the extraction result of the extraction unit 402 and the recognition result of the scene recognition unit 403. For example, a keyword related to the machine learning model is associated in advance, and the model selection unit 404 selects a machine learning model to which the same keywords as the extraction result and the recognition result are associated. Specifically, for example, when the extraction result is "car” and the scene recognition result is "daytime” or "rain", the model selection unit 404 associates the extraction result and the scene recognition result with a plurality of machine learning models. Match the keywords and select the machine learning model with the highest degree of matching between the results and the keywords.
  • the model selection unit 404 may select the model using machine learning.
  • the model selection unit 404 selects the machine learning model used for measuring the distance D by inputting the extraction result and the scene recognition result into the DNN, which is an example of the machine learning model, and executing the DNN process. ..
  • the notification unit 405 notifies the measuring device 1 of the selection result of the model selection unit 404.
  • the notification unit 405 notifies the measuring device 1 of information that specifies, for example, the machine learning model selected by the model selection unit 404.
  • the model selection unit 404 selects the values of the parameters related to the light emitting system and the light receiving system, the value of the selected parameters is notified to the measuring device 1 or the light source 2.
  • FIG. 14 is a flowchart showing an example of the procedure of the model selection process according to the embodiment of the present disclosure.
  • control device 4 acquires an RGB image from the image pickup device 8 (step S201). Next, the control device 4 extracts the object to be measured by extracting the feature amount from the RGB image (step S202).
  • control device 4 recognizes the scene of the RGB image (step S203).
  • the control device 4 determines the distance measurement position of the distance D of the object to be measured based on the object to be measured extracted in step S202 and the scene recognized in step S203 (step S204).
  • the control device 4 selects a machine learning model for each distance measuring position (step S205), and notifies the measuring device 1 of the determined distance measuring position and the corresponding machine learning model (step S206).
  • FIG. 15 is a flowchart showing an example of the procedure of the measurement process according to the embodiment of the present disclosure.
  • the measuring device 1 first switches the machine learning model used for recognition of the recognition unit 111 based on the notification of the control device 4 and the distance measuring position (step S101). Subsequently, the measuring device 1 controls the light source 2 to irradiate the light (step S102).
  • the measuring device 1 measures the time from when the light source 2 irradiates the light to when the pixel 10 receives the light in all the pixels 10 (step S103).
  • the measuring device 1 recognizes the time information of the object to be measured from the time measurement results of all the pixels 10 by using the machine learning model (step S104).
  • the measuring device 1 generates data including the distance D to the measured object based on the recognized time information of the measured object (step S105).
  • the measuring device 1 includes a plurality of light receiving elements (pixels 10) and a recognition unit 111.
  • the plurality of light receiving elements are arranged on the first substrate P1 and output a signal when the light emitted from the light source 2 and reflected by the object to be measured is received.
  • the recognition unit 111 is arranged on a second substrate (corresponding to the third substrate P3 of the above embodiment) different from the first substrate P1 and uses a machine learning model based on output signals of a plurality of light receiving elements. Recognize the distance D to the object to be measured.
  • the measuring device 1 can recognize the time information of the object to be measured based on the output signals of the plurality of light receiving elements, and can reduce the processing time required for measuring the distance D to the object to be measured. it can. Further, since the measuring device 1 does not generate a histogram and does not require a memory, it is possible to reduce the time and effort for parameter adjustment as compared with the measurement of the distance D using the histogram, and the accuracy can be improved. ..
  • control device 4 selects the machine learning model based on the RGB image, but the present invention is not limited to this.
  • the measuring device 1 may select a machine learning model based on the time information of all the pixels 10.
  • the model switching unit 113 of the measuring device 1 selects a machine learning model according to the distribution, and switches the machine learning model used for recognition by the recognition unit 111.
  • the model switching unit 113 may acquire the distribution of the time information of the pixels 10 from the conversion unit 110, or may acquire it from the recognition unit 111, for example.
  • FIG. 16 is a diagram showing an example of the distribution of time information of the pixel 10.
  • the model switching unit 113 of the measuring device 1 may change the values of various parameters related to the light emitting system such as the direction and power of irradiation by the light source 2 and the pulse shape based on the distribution. For example, when the time information of the pixels 10 has a random distribution as shown in FIG. 16, the model switching unit 113 determines that the distance D to the object to be measured is far, and increases the irradiation power or is covered in the irradiation direction. The values of various parameters are changed so that the irradiation direction is changed by judging that there is no object to be measured. The model switching unit 113 outputs the changed parameter to, for example, the light emission control unit 105. Alternatively, the light emission control unit 105 may change various parameters based on the distribution.
  • FIG. 17 is a diagram showing another example of the distribution of time information of the pixel 10.
  • the model switching unit 113 of the measuring device 1 may change the values of various parameters related to the light emitting system such as the direction and power of irradiation by the light source 2 and the pulse shape based on the distribution.
  • the model switching unit 113 outputs the changed parameter to, for example, the light emission control unit 105.
  • the light emission control unit 105 may change various parameters based on the distribution.
  • the measuring device 1 changes various parameters of the light emitting system
  • various parameters of the light receiving system such as the light receiving sensitivity may be changed.
  • the measuring device 1 switches the machine learning model based on the time information of the pixel 10, and changes various parameters of the light emitting system or the light receiving system, so that the measuring device 1 can move the distance to the object to be measured.
  • the measurement accuracy of D can be improved.
  • the recognition unit 111 of the measuring device 1 recognizes the time information of the object to be measured, but the present invention is not limited to this.
  • the recognition unit 111 of the measuring device 1 may input the time information of each pixel 10 into the DNN 111a to recognize the distance D to the object to be measured. In this way, the recognition unit 111 recognizes information related to the distance D to the object to be measured, such as the time information of the object to be measured and the distance D.
  • control device 4 selects the machine learning model based on the imaging result of the imaging device 8, but the machine learning model may be selected based on the sensing result of another sensor device.
  • the sensing result of an infrared sensor such as a near infrared light (IR) sensor, a short wave infrared (SWIR) sensor, a medium wave infrared (MWIR) sensor, or a long wave infrared (LWIR) sensor
  • the control device 4 may select the machine learning model.
  • a machine learning model based on the sensing result of a LIDAR (Laser Imaging Detection and Ranking) sensor in which the control device 4 measures the distance D based on the light in a frequency band different from the frequency band of the light emitted from the light source 2. May be selected.
  • the control device 4 may select the machine learning model based on the sensing result of the RADAR (Radio Detecting and Ringing) sensor.
  • RADAR Radio Detecting and Ringing
  • control device 4 may select the machine learning model by combining the sensing results of various sensors including the image pickup device 8 described above.
  • the recognition unit 111 may recognize the time information of the object to be measured by using the sensing results of the various sensors described above.
  • the outputs of the various sensors described above are input to the recognition unit 111.
  • the recognition unit 111 recognizes the time information of the object to be measured by inputting the time information of each pixel 10 and the outputs of the various sensors described above into the DNN 111a and executing the DNN process. In this way, by using the outputs of various sensors, it is possible to improve the recognition accuracy of the time information of the object to be measured by the recognition unit 111.
  • the measuring device 1 switches the machine learning model to measure the distance D to the object to be measured, but the present invention is not limited to this.
  • the measuring device 1 may measure the distance D to the object to be measured using one machine learning model.
  • the measuring device 1 measures the distance D to a specific object to be measured such as a car
  • the measuring device 1 measures the distance D using, for example, one machine learning model specialized for the car. May be good.
  • the data generation unit 112 and the model switching unit 113 are provided inside the measuring device 1
  • the data generating unit 112 and the model switching unit 112 and the model switching unit are provided in the application processor provided outside the distance measuring device.
  • a unit 113 may be provided.
  • the distance measurement determination unit 406 and the model selection unit 404 are provided inside the control device 4, but the measurement device 1 is provided with the distance measurement determination unit 406 and the model selection unit 404. May be good.
  • the model selection unit 404 may be provided in the measuring device 1 by including the function of the model selection unit 404 in the model switching unit 113.
  • the measuring device 1 is arranged on the first substrate P1 and has a plurality of light receiving elements (pixels 10) that output a signal when the light emitted from the light source 2 and reflected by the object to be measured is received. ) And a third substrate P3 different from the first substrate P1. Based on the output signals of a plurality of light receiving elements, the machine learning model (DNN111a) is used to recognize information on the distance D to the object to be measured.
  • the recognition unit 111 is provided.
  • the measuring device 1 can measure the distance D to the object to be measured without generating a histogram, and the processing time required for measuring the distance D can be reduced.
  • the measuring device 1 measures the time from the light emitting timing when the light source 2 emits light to the light receiving timing when the light receiving element receives light based on the output signals of the plurality of light receiving elements, and acquires the measured value.
  • a time measuring unit (converting unit 110) is further provided.
  • the recognition unit 111 recognizes information about the distance D by using a machine learning model in which a plurality of measured values corresponding to each of the plurality of light receiving elements are input.
  • the measuring device 1 can measure the distance D to the object to be measured without generating a histogram, and the processing time required for measuring the distance D can be reduced.
  • the recognition unit 111 recognizes the information regarding the distance D based on the measurement value measured by the time measurement unit (conversion unit 110) when the light source 2 emits light once.
  • the measuring device 1 can reduce the measurement time of the distance D by recognizing the information regarding the distance D by the recognition unit 111 by emitting light once by the light source 2.
  • the recognition unit 111 provides information on the distance D based on the measured values measured by the time measurement unit (conversion unit 110) corresponding to each light emission when the light source 2 emits light a plurality of times. Recognize.
  • the measuring device 1 can improve the measurement accuracy of the distance D by recognizing the information regarding the distance D by the recognition unit 111 by emitting light a plurality of times by the light source 2.
  • the recognition unit 111 determines that the information regarding the distance D has been recognized, the recognition unit 111 ends the recognition of the information regarding the distance D.
  • the recognition unit 111 recognizes the information regarding the distance D, the recognition process is terminated, so that the measuring device 1 can improve the measurement accuracy of the distance D.
  • the recognition unit 111 recognizes the information regarding the distance D by using the neural network as a machine learning model.
  • the measuring device 1 can improve the measurement accuracy of the distance D.
  • connection between the first substrate P1 and the third substrate P3 according to the embodiment and the modification is the connection between the copper electrodes.
  • the degree of freedom in designing the measuring device 1 is improved, and the measuring device 1 can be miniaturized.
  • the distance measuring device is arranged on the light source 2 that irradiates the object to be measured with light and the first substrate P1, and receives a signal when the light reflected from the object to be measured is received.
  • a plurality of light receiving elements (pixels 10) to be output are arranged on a third substrate P3 different from the first substrate P1, and are measured using a machine learning model (DNN111a) based on output signals of the plurality of light receiving elements. It includes a recognition unit 111 that recognizes information about a distance D to an object.
  • the distance measuring device can measure the distance D to the object to be measured without generating a histogram, and the processing time required for measuring the distance D can be reduced.
  • FIG. 18 is a diagram showing a usage example using the measuring device 1 to which the above-described embodiment and modification can be applied.
  • the above-mentioned measuring device 1 can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-ray, as described below.
  • -A device that captures images used for viewing, such as digital cameras and mobile devices with camera functions.
  • in-vehicle sensors that photograph the front, rear, surroundings, interior of the vehicle, etc., surveillance cameras that monitor traveling vehicles and roads, inter-vehicle distance, etc.
  • a device used for traffic such as a distance measuring sensor that measures a distance.
  • -A device used in home appliances such as TVs, refrigerators, and air conditioners to photograph a user's gesture and operate the device according to the gesture.
  • -Devices used for medical treatment and healthcare such as endoscopes and devices that perform angiography by receiving infrared light.
  • -Devices used for security such as surveillance cameras for crime prevention and cameras for personal authentication.
  • -A device used for beauty such as a skin measuring device that photographs the skin and a microscope that photographs the scalp.
  • -Devices used for sports such as action cameras and wearable cameras for sports applications.
  • -Devices used for agriculture such as cameras for monitoring the condition of fields and crops.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 19 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the imaging unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, so that the driver can control the driver. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs cooperative control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger or the outside of the vehicle of the information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 20 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as, for example, the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 20 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, electric poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 determines that the recognized pedestrian has a square contour line for emphasis.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • the ranging system 6 of FIG. 4 can be applied to the imaging unit 12031.
  • the present technology can also have the following configurations.
  • a plurality of light receiving elements arranged on the first substrate and outputting a signal when the light emitted from the light source and reflected by the object to be measured is received.
  • a recognition unit that is arranged on a second substrate different from the first substrate and recognizes information on the distance to the object to be measured by using a machine learning model based on the output signals of the plurality of light receiving elements.
  • a measuring device provided with.
  • a time measuring unit for measuring the time from the light emitting timing when the light source emits light to the light receiving timing received by the light receiving element and acquiring the measured value is further provided.
  • the measuring device wherein the recognition unit recognizes information on the distance by using the machine learning model in which a plurality of the measured values corresponding to the plurality of light receiving elements are input.
  • the recognition unit recognizes information on the distance based on the measured value measured by the time measuring unit when the light source emits light once.
  • the recognition unit recognizes information on the distance based on the measured value measured by the time measuring unit corresponding to each light emission.
  • the recognition unit ends the recognition of the information regarding the distance.
  • the measuring device according to any one of (1) to (5), wherein the recognition unit recognizes information on the distance by using a neural network as the machine learning model.
  • the connection between the first substrate and the second substrate is a connection between copper electrodes.
  • a light source that irradiates the object to be measured with light, A plurality of light receiving elements arranged on the first substrate and outputting a signal when receiving light reflected from the object to be measured, and a plurality of light receiving elements.
  • a recognition unit that is arranged on a second substrate different from the first substrate and recognizes information on the distance to the object to be measured by using a machine learning model based on the output signals of the plurality of light receiving elements.
  • Measuring device 2 Light source 4 Control device 6 Distance measuring system 8 Imaging device 10 pixels 100 pixels Array unit 107 Model storage unit 110 Conversion unit 111 Recognition unit 112 Data generation unit 113 Model switching unit 401 Acquisition unit 402 Extraction unit 403 Scene recognition unit 404 Model selection unit 405 Notification unit 406 Distance measurement determination unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本開示に係る測定装置（１）が提供される。測定装置（１）は、複数の受光素子と、認識部（１１１）と、を備える。複数の受光素子は、第１の基板（Ｐ１）に配置され、光源から照射され被測定物で反射される光を受光した際に信号を出力する。認識部（１１１）は、第１の基板（Ｐ１）とは異なる第２の基板（Ｐ３）に配置され、複数の受光素子の出力信号に基づき、機械学習モデルを用いて被測定物までの距離に関する情報を認識する。

Description

測定装置および測距装置
　本開示は、測定装置および測距装置に関する。
　光を用いて被測定物までの距離を測定する測距方式の一つとして、直接ＴｏＦ(direct　Time　of　Flight)方式と呼ばれる測距手法が知られている。直接ＴｏＦ方式による測距処理では、光源による光の射出を示す射出タイミングから、当該光が被測定物により反射された反射光が受光素子に受光される受光タイミングまでの時間に基づき、被測定物までの距離を求める。
　より具体的には、射出タイミングから、受光素子により光が受光された受光タイミングまでの時間を計測し、計測された時間を示す時間情報をメモリに記憶する。この計測を複数回実行し、メモリに記憶された複数回の計測による複数の時間情報に基づきヒストグラムを作成する。このヒストグラムに基づき、被測定物までの距離を求める。
特開２０１６－１７６７５０号公報
　しかしながら、上記の従来技術では、ヒストグラムを生成したり、このヒストグラムをしきい値判定し時間情報を検出したり、被測定物までの距離を求めるために種々の処理が必要となり、処理時間がかかるという問題があった。また、種々の処理に必要なパラメータを調整する手間がかかるという問題があった。さらに、距離の算出精度は、時間情報を記憶するメモリのメモリ量や、ヒストグラムの階級（ビン（bins））の数等に依存するため、精度を向上させることが難しいという問題があった。
　そこで、本開示では、処理時間、パラメータ調整の手間を低減させることができ、精度を向上させることができる測定装置および測距装置を提案する。
　本開示によれば、測定装置が提供される。測定装置は、複数の受光素子と、認識部と、を備える。複数の受光素子は、第１の基板に配置され、光源から照射され被測定物で反射される光を受光した際に信号を出力する。認識部は、前記第１の基板とは異なる第２の基板に配置され、前記複数の受光素子の出力信号に基づき、機械学習モデルを用いて前記被測定物までの距離に関する情報を認識する。
　本開示によれば、処理時間、パラメータ調整の手間を低減させることができ、精度を向上させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
直接ＴｏＦ方式による測距の一例を模式的に示す図である。 受光部が受光した時刻に基づく一例のヒストグラムを示す図である。 本開示の実施形態にかかる測距方法の概要を説明するための図である。 本開示の実施形態にかかる測距システムの構成の一例を示すブロック図である。 本開示の実施形態にかかる測定装置の構成の一例を示すブロック図である。 本開示の実施形態にかかる測定装置の積層構造の一例を示す概略図である。 ニューラルネットワークの概要を説明するための図である。 機械学習モデルの例を説明するための図である。 機械学習モデルの例を説明するための図である。 認識部による時間情報の認識について説明するための図である。 本開示の実施形態にかかる制御装置の構成例を示すブロック図である。 測距決定部が決定する測距位置について説明するための図である。 測距決定部が決定する測距位置について説明するための図である。 本開示の実施形態に係るモデル選択処理の手順の一例を示すフローチャートである。 本開示の実施形態に係る測定処理の手順の一例を示すフローチャートである。 画素の時間情報の分布の一例を示す図である。 画素の時間情報の分布の他の例を示す図である。 上述の実施形態および変形例を適用可能な測定装置を使用する使用例を示す図である。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の例を示す図である。
　以下に、本開示の各実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
（ヒストグラムを用いた測距方法）
　本開示の実施形態の説明に先んじて、理解を容易とするために、測距方法の一つとして、ヒストグラムを用いて測距を行う技術について説明する。この場合の測距技術として、直接ＴｏＦ(direct　Time　Of　Flight)方式を適用する。直接ＴｏＦ方式は、光源から射出された光が被測定物により反射した反射光を受光素子により受光し、光の射出タイミングと受光タイミングとの差分の時間に基づき測距を行う技術である。
　図１および図２を用いて、直接ＴｏＦ方式による測距方法の一例について、概略的に説明する。図１は、直接ＴｏＦ方式による測距の一例を模式的に示す図である。測距装置３００ａは、光源部３０１ａと受光部３０２ａとを含む。光源部３０１ａは、例えばレーザダイオードであって、レーザ光をパルス状に発光するように駆動される。光源部３０１ａから射出された光は、被測定物３０３ａにより反射され、反射光として受光部３０２ａに受光される。受光部３０２ａは、光電変換により光を電気信号に変換する受光素子を含み、受光した光に応じた信号を出力する。
　ここで、光源部３０１ａが発光した時刻（発光タイミング）を時間ｔem、光源部３０１ａから射出された光が被測定物３０３ａにより反射された反射光を受光部３０２ａが受光した時刻（受光タイミング）を時間ｔreとする。定数ｃを光速度（２．９９７９×１０8［ｍ／ｓｅｃ］）とすると、測距装置３００ａと被測定物３０３ａとの間の距離Ｄは、次式（１）により計算される。
Ｄ＝(ｃ／２)×(ｔem－ｔre)　　…（１）
　測距装置３００ａは、上述の処理を、複数回繰り返して実行する。受光部３０２ａが複数の受光素子を含み、各受光素子に反射光が受光された各受光タイミングに基づき距離Ｄをそれぞれ算出してもよい。測距装置３００ａは、発光タイミングの時間ｔemから受光部３０２ａに光が受光された受光タイミングまでの時間ｔm（受光時間ｔmと呼ぶ）を階級（ビン(bins)）に基づき分類し、ヒストグラムを生成する。
　なお、受光部３０２ａが受光時間ｔmに受光した光は、光源部３０１ａが発光した光が被測定物３０３ａにより反射された反射光に限られない。例えば、測距装置３００ａ（受光部３０２ａ）の周囲の環境光も、受光部３０２ａに受光される。
　図２は、受光部３０２ａが受光した時刻に基づく一例のヒストグラムを示す図である。図２において、横軸はビン、縦軸は、ビンごとの頻度を示す。ビンは、受光時間ｔmを所定の単位時間ｄごとに分類したものである。具体的には、ビン＃０が０≦ｔm＜ｄ、ビン＃１がｄ≦ｔm＜２×ｄ、ビン＃２が２×ｄ≦ｔm＜３×ｄ、…、ビン＃（Ｎ－２）が(Ｎ－２)×ｄ≦ｔm＜(Ｎ－１)×ｄとなる。受光部３０２ａの露光時間を時間ｔepとした場合、ｔep＝Ｎ×ｄである。
　測距装置３００ａは、受光時間ｔmを取得した回数をビンに基づき計数してビンごとの頻度３１０ａを求め、ヒストグラムを生成する。ここで、受光部３０２ａは、光源部３０１ａから射出された光が反射された反射光以外の光も受光する。このような、対象となる反射光以外の光の例として、上述した環境光がある。ヒストグラムにおいて範囲３１１ａで示される部分は、環境光による環境光成分を含む。環境光は、受光部３０２ａにランダムに入射される光であって、対象となる反射光に対するノイズとなる。
　一方、対象となる反射光は、特定の距離に応じて受光される光であって、ヒストグラムにおいてアクティブ光成分３１２ａとして現れる。このアクティブ光成分３１２ａ内のピークの頻度に対応するビンが、被測定物３０３ａの距離Ｄに対応するビンとなる。測距装置３００ａは、そのビンの代表時間（例えばビンの中央の時間）を上述した時間ｔreとして取得することで、上述した式（１）に従い、被測定物３０３ａまでの距離Ｄを算出することができる。このように、複数の受光結果を用いることで、ランダムなノイズに対して適切な測距が実行可能となる。
　しかしながら、上述したヒストグラムを用いる測距方法では、受光タイミングである時間ｔreを検出するまでに、複数の受光結果を取得する必要があり、受光タイミングの検出処理に時間がかかってしまう。また、ヒストグラムを生成するために、受光時間ｔmを記憶しておくメモリが必要となり、装置の回路規模が大きくなってしまう。また、ヒストグラムから時間ｔreを適切に検出するためには、生成したヒストグラムごとに適切なしきい値を設定する必要があり、そのためのフィルタリング処理やしきい値設定処理が必要になるため、処理負荷が大きくなってしまう。また、求められる距離精度によっては確実にノイズを除去できるフィルタ係数や、時間ｔreを適切に検出するためのしきい値が必要となるため、これらを設定するための開発工数も増加してしまう。
　このように、ヒストグラムを用いる測距方法は、処理時間や、処理負荷あるいはメモリ削減といった観点から改善が望まれる。そこで、本開示の技術では、ヒストグラムは生成せずに、機械学習モデルを用いて受光部の受光タイミング（時間ｔre）から被測定物までの距離を認識する。以下、図３を用いてかかる技術の概要について説明する。
（実施形態）
［測距方法の概要］
　図３は、本開示の実施形態にかかる測距方法の概要を説明するための図である。図３に示す測距方法は、測定装置１（図３での図示は省略する）によって実行される。また、測定装置１は、複数の画素（受光素子）を有する受光部３０２を有する。
　図３に示すように、測定装置１の受光部３０２は、被測定物での反射光が受光された各受光タイミングを受光素子ごとに出力する（ステップＳ１）。測定装置１は、受光タイミングの分布３１０に基づき、機械学習モデルを用いて被測定物までの距離に対応する時間ｔreを認識する（ステップＳ２）。具体的に、測定装置１は、複数の受光素子による受光タイミングの分布を入力データとし、被測定物までの距離に対応する時間ｔreを正解データとして、機械学習モデルＭを予め学習しておく。測定装置１は、ステップＳ１で受光部３０２が出力した受光タイミングを入力データとして、機械学習モデルＭに入力し、機械学習モデルＭの出力結果を被測定物までの距離に対応する時間ｔreとして取得する。
　測定装置１は、取得した時間ｔreから被測定物までの距離を含むデータを生成する（ステップＳ３）。
　このように、測定装置１が受光タイミングを入力とする機械学習モデルを用いて被測定物までの距離に対応する時間ｔreを認識することで、測定装置１は、ヒストグラムを生成する必要がなく、距離を測定する時間を短縮することができる。また、ヒストグラムの生成に必要な処理が不要となり、測定装置１は、距離を測定する処理負荷を低減することができる。また、ヒストグラムを生成するためのメモリが不要となり、測定装置１の回路規模を削減することができる。
［測距システムの構成］
　図４は、本開示の実施形態にかかる測距システムの構成の一例を示すブロック図である。図４に示す測距システム６は、測定装置１と、光源２と、記憶装置７と、制御装置４と、光学系５と、撮像装置８と、を含む。
　光源２は、例えばレーザダイオードであって、レーザ光をパルス状に発光するように駆動される。光源２は、面光源としてレーザ光を射出するＶＣＳＥＬ（Vertical　Cavity　Surface　Emitting　LASER）を適用することができる。これに限らず、光源２として、レーザダイオードをライン上に配列したアレイを用い、レーザダイオードアレイから射出されるレーザ光をラインに垂直の方向にスキャンする構成を適用してもよい。さらにまた、単光源としてのレーザダイオードを用い、レーザダイオードから射出されるレーザ光を水平および垂直方向にスキャンする構成を適用することもできる。
　測定装置１は、複数の受光素子を含む。複数の受光素子は、例えば２次元格子状に配列されて受光面を形成する。測定装置１は、複数の受光素子の出力信号に基づき、機械学習を用いて被測定物までの距離に対応する時間ｔreを認識し、距離データを生成する。算出された距離データは、例えば記憶装置７に記憶される。光学系５は、外部から入射する光を、測定装置１が含む受光面に導く。なお、以下、光源２および測定装置１を含む装置を測距装置ともいう。
　撮像装置８は、例えば被測定物が存在する被写体空間のＲＧＢ画像を撮像するＲＧＢカメラである。
　制御装置４は、測距システム６の全体の動作を制御する。例えば、制御装置４は、測定装置１に対して、光源２を発光させるためのトリガである発光トリガ信号を供給する。測定装置１は、この発光トリガ信号に基づくタイミングで光源２を発光させると共に、発光タイミングを示す時間ｔemを記憶する。また、制御装置４は、例えば外部からの指示に応じて、測定装置１に対して、測距の際のパターンの設定を行う。
　また、制御装置４は、撮像装置８が撮像したＲＧＢ画像に基づき、測定装置１による機械学習に用いる機械学習モデルＭの切り替えを制御する。測定装置１は、制御装置４の制御に応じて、例えば被測定物の種別に応じた機械学習モデルＭを選択する。
［測定装置の構成］
　図５は、本開示の実施形態にかかる測定装置１の構成の一例を示すブロック図である。図５に示すように、測定装置１は、画素アレイ部１００と、測距処理部１０１と、画素制御部１０２と、全体制御部１０３と、クロック生成部１０４と、発光制御部１０５と、インタフェース（Ｉ／Ｆ）部１０６と、モデル記憶部１０７と、を含む。
　全体制御部１０３は、例えば予め組み込まれるプログラムに従い、測定装置１の全体の動作を制御する。また、全体制御部１０３は、外部から供給される外部制御信号に応じた制御を実行することもできる。クロック生成部１０４は、外部から供給される基準クロック信号に基づき、測定装置１内で用いられる１以上のクロック信号を生成する。発光制御部１０５は、外部から供給される発光トリガ信号に従い発光タイミングを示す発光制御信号を生成する。発光制御信号は、光源２に供給されると共に、測距処理部１０１に供給される。
　画素アレイ部１００は、２次元格子状に配列される、それぞれ受光素子を含む複数の画素１０、１０、…を含む受光部である。各画素１０の動作は、全体制御部１０３の指示に従った画素制御部１０２により制御される。例えば、画素制御部１０２は、各画素１０の出力信号が一度に読み出されるように各画素１０を制御する。また画素１０は、受光素子として例えばＳＰＡＤ（Single　Photon　Avalanche　Diode）素子を有する。
　測距処理部１０１は、各画素１０から読み出された出力信号に基づき、被測定物までの距離Ｄを測定する。測距処理部１０１は、変換部１１０と、認識部１１１と、データ生成部１１２と、モデル切替部１１３と、を含む。
　変換部１１０は、画素アレイ部１００から供給された出力信号を、デジタル情報に変換する。画素アレイ部１００から供給される出力信号は、当該画素信号が対応する画素１０に含まれる受光素子に光が受光されたタイミングに対応して出力される。変換部１１０は、供給された出力信号を、当該タイミングを示すデジタル値の時間情報に変換する。変換部１１０には、画素アレイ部１００の全ての画素１０の出力信号が入力される。変換部１１０は、全ての出力信号を時間情報に変換し、認識部１１１に出力する。
　認識部１１１は、機械学習モデルの一例であるＤＮＮ（Deep　Neural　Network）１１１ａを備える。ＤＮＮ１１１ａは、全画素１０の出力信号にそれぞれ対応した時間情報（以下、各画素１０の時間情報ともいう）から被測定物までの距離Ｄに対応した時間情報（以下、被測定物の時間情報ともいう）を認識するように機械学習によって設計された人間の脳神経回路（ニューラルネットワーク）をモデルとした多階層構造のアルゴリズムである。なお、ＤＮＮ１１１ａは一例であり、認識部１１１が、機械学習モデルとして、例えばＳＶＭ等の回帰モデル等、任意の形式のモデル（学習器）を用いてもよい。
　認識部１１１は、変換部１１０から入力される各画素１０の時間情報をＤＮＮ１１１ａへ入力してＤＮＮ処理を実行することにより、被測定物の時間情報を認識する。そして、認識部１１１は、ＤＮＮ１１１ａから出力されるＤＮＮ結果を認識結果としてデータ生成部１１２へ出力する。
　データ生成部１１２は、認識部１１１から入力されるＤＮＮ結果から出力データを生成し、記憶装置７へ出力する。具体的に、データ生成部１１２は、認識部１１１が認識した被測定物の時間情報に基づき、被測定物までの距離Ｄを算出して出力データを生成し、Ｉ／Ｆ部１０６へ出力する。
　モデル切替部１１３は、認識部１１１の機械学習モデルを切り替える。モデル切替部１１３は、例えば制御装置４からの指示に基づき、モデル記憶部１０７に記憶されたモデルを読み出してＤＮＮ１１１ａに供給する。
　Ｉ／Ｆ部１０６には、データ生成部１１２で生成された出力データが供給される。Ｉ／Ｆ部１０６は、例えばＭＩＰＩ(Mobile　Industry　Processor　Interface)であり、出力データを例えば記憶装置７へ出力する。あるいは、Ｉ／Ｆ部１０６が出力データを制御装置４や外部装置（図示省略）へ出力してもよい。
（測定装置の積層構造）
　ここで、図６を用いて測定装置１の積層構造について概略的に説明する。図６は、本開示の実施形態にかかる測定装置１の積層構造の一例を示す概略図である。図６に示すように、測定装置１は、画素アレイ部１００が配置される第１の基板Ｐ１と、変換部１１０が配置される第２の基板Ｐ２と認識部１１１が配置される第３の基板Ｐ３と、を有する。
　図６に示すように、画素アレイ部１００は、第１の基板Ｐ１に配置される。なお、第１の基板Ｐ１には、画素アレイ部１００の画素１０のうち受光素子が配置され、画素１０に含まれるその他の回路構成は例えば第２の基板Ｐ２など第１の基板Ｐ１以外の基板に配置されてもよい。
　第２の基板Ｐ２には、変換部１１０が配置される。例えば、変換部１１０が、画素１０ごとに時間デジタル変換回路１１０ａを有する場合、第２の基板Ｐ２には、各画素１０に対応する時間デジタル変換回路が配置される。
　ここで、時間デジタル変換回路（ＴＤＣ）１１０ａは、画素１０からの出力信号が供給された時間を計測し、計測された時間をデジタル値による時間情報に変換する。このように、ＴＤＣ１１０ａは、１つの画素１０に対して１つの時間情報を生成する回路であり、変換部１１０は、例えば、画素１０の数と同じ数のＴＤＣ１１０ａを有する。
　ＴＤＣ１１０ａは、例えば光源２が光を照射した照射タイミングから、画素１０が光を受光した受光タイミングまでの時間をカウントするカウンタを含む。カウンタは、発光制御部１０５から供給される発光制御信号に同期して時間の計測（カウント）を開始する。カウンタは、画素１０から供給される出力信号の反転タイミングに応じて時間の計測を終了する。ＴＤＣ１１０ａは、カウンタが時間の計測を開始してから終了するまでのカウント数をデジタル値に変換した時間情報を認識部１１１に出力する。
　図６に示す第１の基板Ｐ１および第２の基板Ｐ２の接合には、例えば互いに接合面に形成された銅電極同士を接続する、いわゆるＣｕ－Ｃｕ接合が用いられる。あるいは、第１の基板Ｐ１および第２の基板Ｐ２の接合に、例えばそれぞれの接合面を平坦化して両者を電子間力で貼り合わせる、いわゆる直接接合や、その他、バンプ接合などを用いてもよい。
　第３の基板Ｐ３には、認識部１１１が配置される。なお、第３の基板Ｐ３に、認識部１１１以外の、例えばデータ生成部１１２や全体制御部１０３などのロジック回路が配置されてもよい。あるいは、データ生成部１１２やモデル切替部１１３、全体制御部１０３などのロジック回路を、別の基板（図示省略）に配置してもよい。
　第３の基板Ｐ３に配置された認識部１１１には、全てのＴＤＣ１１０ａから時間情報が供給される。認識部１１１は、全てのＴＤＣ１１０ａから供給された各画素１０の時間情報を入力として機械学習モデルで認識することで、被測定物の時間情報を認識する。
　図６に示す第２の基板Ｐ２および第３の基板Ｐ３の接合には、例えば互いに接合面に形成された銅電極同士を接続する、いわゆるＣｕ－Ｃｕ接合が用いられる。あるいは、第２の基板Ｐ２および第３の基板Ｐ３の接合に、例えばそれぞれの接合面を平坦化して両者を電子間力で貼り合わせる、いわゆる直接接合や、その他、バンプ接合などを用いてもよい。
　このように、本開示の実施形態では、画素アレイ部１００、変換部１１０および認識部１１１をそれぞれ異なる基板（第１～第３の基板Ｐ１～Ｐ３）に配置し、測定装置１が全ての画素１０の受光時間を一度に計測する。これにより、認識部１１１は、全ての画素１０の出力信号に基づいて被測定物の時間情報を認識することができる。そのため、測定装置１は、ヒストグラムを生成することなく、被測定物までの距離Ｄを検出することができ、ヒストグラムを生成するための処理やメモリが不要となる。
　なお、ここでは、画素アレイ部１００、変換部１１０および認識部１１１をそれぞれ異なる基板（第１～第３の基板Ｐ１～Ｐ３）に配置する例を示したが、これに限定されない。例えば、画素アレイ部１００、変換部１１０および認識部１１１を１つの基板に配置してもよい。
　また、ここでは、全画素１０の出力信号を一度に読み出す場合を例に示したが、画素１０の読み出し方法はこれに限定されない。例えば所定領域の画素１０ごとに出力信号を読み出すようにしてもよい。あるいは、例えば画素１０、行または列ごとに出力信号を読み出すようにしてもよい。この場合、測定装置１が画素１０ごとに読み出した出力信号（あるいは出力信号を時間に変換した時間情報）を記憶するメモリを有していてもよい。
（機械学習モデル）
　次に、図７～図９を用いて認識部１１１が距離Ｄの認識に用いる機械学習モデルついて説明する。上述したように、認識部１１１には、画素１０全ての出力信号に対応する時間情報が入力される。認識部１１１は、ＤＮＮ１１ａに各画素１０の時間情報を入力してＤＮＮ処理を実行することにより、被測定物の時間情報を認識する。
　図７を用いて、機械学習モデルのニューラルネットワークの一例を説明する。図７は、ニューラルネットワークの概要を説明するための図である。
　図７に示すように、ニューラルネットワーク４０は、入力層４１、中間層４２及び出力層４３の３種の層からなり、各層に含まれるノード同士がリンクで接続されたネットワーク構造を有する。図７における円形はノードに相当し、矢印はリンクに相当する。入力層４１に入力データが入力されると、入力層４１から中間層４２へ、中間層４２から出力層４３への順に、ノードにおける演算とリンクにおける重み付けとが行われ、出力層４３から出力データが出力される。なお、ニューラルネットワークのうち、所定数以上の層を有するものは、ＤＮＮ（Deep　Neural　Network）あるいはディープラーニングとも称される。
　また、図７に示すニューラルネットワーク４０は、一例に過ぎず、所望の機能を実現可能であればどのようなネットワーク構成であってもよい。例えば、図７の例では、説明を簡単にするために出力層４３のノードが１個である場合を示すが、例えば、分類モデルである場合、出力層４３のノードの数は複数（例えば分類するクラス数）であってもよい。
　なお、ニューラルネットワークは、任意の関数を近似できることが知られている。ニューラルネットワークは、バックプロパゲーション等の計算手法を用いることで、教師データに合うネットワーク構造を学習することができる。そのため、ニューラルネットワークによりモデルを構成することにより、モデルは、人が理解できる範囲内で設計される、という表現能力の制約から解放される。
　なお、認識部１１１が時間情報の認識に用いる機械学習モデルは、ＤＮＮ１１１ａに限定されず、種々のネットワークにより構成されてもよい。例えば、機械学習モデルは、ＳＶＭ（Support　Vector　Machine）等の回帰モデル等、任意の形式のモデル（学習器）であってもよい。例えば、機械学習モデルは、非線形の回帰モデルや線形の回帰モデル等、種々の回帰モデルであってもよい。
　また、認識部１１１が時間情報の認識に用いる機械学習モデルは、被測定物の種類に応じて切り替えられる。かかる点について、図８および図９を用いて説明する。図８および図９は、機械学習モデルの例を説明するための図である。
　光源２から照射された光は、被測定物に反射して測定装置１で受光される。このとき、どれくらいの反射光が測定装置１まで到達するかは被測定物の種類によって変化する。
　図８に示すように、被測定物が車である場合、照射光の多くは、例えば平面で構成されるボディ部分に反射して測定装置１で受光される。そのため、環境光を受光する画素１０より、被測定物までの距離に応じた受光タイミングｔｃ付近で反射光を受光する画素１０が多くなる。
　したがって、図８のグラフに示すように、受光タイミングの分布は、受光タイミングｔｃを含む所定範囲で反射光を受光した画素数が多くなる分布となる。なお、図８に示すグラフは、縦軸がビンごとの頻度、横軸がビン（時間ｔ）を示しており、各画素の受光タイミングと画素数との関係を示している。換言すると、図８に示すグラフは、どの時刻に反射光を受光した画素が多いかを示すグラフである。
　一方、図９に示すように、被測定物が木である場合、照射光の一部は木の表面で乱反射するため、測定装置１まで到達する反射光は車の場合に比べて少なくなる。そのため、図９に示すように、受光タイミングの分布は、被測定物までの距離に応じた受光タイミングｔｔ付近で多くなるが、被測定物が車である場合に比べて、受光タイミングｔｔ付近で反射光を受光した画素数は少なくなる。
　このように、受光タイミングの分布は、被測定物までの距離Ｄだけでなく、被測定物の種類によっても変化する。そこで、本開示の実施形態では、例えば、車、建物、道路、歩行者や木といった被測定物の種類ごとに機械学習モデルを学習する。これにより、被測定物の時間情報の認識精度を向上させることができる。
　なお、機械学習モデルは、被測定物の種類ごとに、受光タイミングの分布と被測定物の時間情報を関連付けて教師データとして教師あり学習に基づいて予め構築されているものとする。また、構築された機械学習モデルは、予めモデル記憶部１０７に記憶されているものとする。認識部１１１は、モデル切替部１１３の指示に基づき、モデル記憶部１０７から機械学習モデルを読み出すことで、時間情報の認識に用いる機械学習モデルを切り替える。
　なお、機械学習モデルの構築は、上述した被測定物の種類ごとに限定されない。例えば、被写体空間のシーンごとに機械学習モデルを構築してもよい。具体的には、例えば昼や夜といった時間ごと、雨天や晴天といった天気ごと、あるいは国、地域、市街地や山間部といった場所ごとに機械学習モデルを構築してもよい。昼と夜とでは、各画素１０が受光する反射光以外の例えば環境光が変化する。また、雨天の場合は、雨粒による反射によって画素１０の受光タイミングが変化する。また、国、地域、市街地や山間部によって道路状況や標識、周囲環境が異なる。そのため、被写体空間のシーンごとに機械学習モデルを構築することで、被写体空間にある被測定物の時間情報の認識精度を向上させることができる。また、例えば、昼間の市街地で車までの距離Ｄを認識する場合など、シーンと被測定物の種類との組み合わせごとに機械学習モデルを構築してもよい。
（機械学習モデルによる距離認識）
　次に、図１０を用いて、認識部１１１による被測定物の時間情報の認識について説明する。図１０は、認識部１１１による時間情報の認識について説明するための図である。以下、光源２が照射光を照射することをショットとも記載する。
　認識部１１１は、例えば１ショットごとに画素アレイ部１００からの出力信号を変換部１１０で変換した時間情報を取得する。認識部１１１は、１ショットごとに取得した時間情報をＤＮＮ１１１ａに入力し、被測定物の距離Ｄに対応する時間情報の認識結果を取得する。
　例えば、図１０に示すように、光源２がＮ回照射光を照射する場合を例に説明する。このとき、光源２による第ｎ回目の照射を第ｎショット（ｎ＝１～Ｎ）と呼ぶ。認識部１１１は、光源２による第１～第Ｎショットに対応して、図１０に示すような分布の時間情報を順次取得する。
　認識部１１１は、第１～第Ｎショットそれぞれについて、画素１０の時間情報を取得すると、順次ＤＮＮ１１１ａに入力し、被測定物の時間情報を認識する。例えば、図１０に示す例では、認識部１１１は、第１ショットに対応して時間情報ｔ１をＤＮＮ１１ａによる認識結果として取得し、データ生成部１１２へ出力する。同様に、認識部１１１は、第ｎショットに対応して時間ｔｎ（ｎ＝２～Ｎ）をＤＮＮ１１ａによる認識結果として取得し、データ生成部１１２へ出力する。
　データ生成部１１２は、例えば、認識部１１１から第１～第Ｎショットごとに被測定物の時間情報ｔ１～ｔＮを順次取得すると、各ショットに対応する被測定物までの距離Ｄを上述した式（１）に基づいて算出する。なお、認識部１１１から出力される時間情報ｔ１～ｔＮが式（１）のｔem－ｔreに対応する。
　このように、データ生成部１１２は、第１～第Ｎショットごとに被測定物までの距離Ｄを算出してもよく、あるいは、データ生成部１１２は、複数ショットごとに被測定物までの距離Ｄを算出してもよい。このとき、データ生成部１１２が、複数ショットにおける被測定物の時間情報の平均値を用いて距離Ｄを算出してもよい。
　あるいは、データ生成部１１２が被測定物の時間情報の値が収束したか否かを判定し、収束したと判定したショットにおける時間情報を用いて距離Ｄを算出してもよい。なお、時間情報の値が収束し、データ生成部１１２が距離Ｄを算出した場合に、データ生成部１１２が、認識部１１１による認識が終了したと判定し、被測定物の距離の測定を終了するようにしてもよい。
　なお、ここでは、光源２が複数回照射した光に基づいて距離Ｄを算出する場合について説明したが、例えば測定装置１が１ショットで距離Ｄの測定を終了してもよい。すなわち、認識部１１１が１ショットに対応して取得した各画素１０の時間情報にＤＮＮ処理を施して、被測定物の時間情報を認識し、データ生成部１１２が距離Ｄを算出すると、測定装置１による距離Ｄの測定を終了するようにしてもよい。このように、機械学習モデルを用いて距離Ｄを算出することで、測定装置１は、最短１ショットで距離Ｄを測定することができ、距離Ｄの測定時間を短縮することができる。
［制御装置］
　続いて、図１１を用いて制御装置４の詳細について説明する。制御装置４は、測距システムの制御を行うとともに、モデル切替部１１３による機械学習モデルの切り替えを制御する。ここでは、主に、制御装置４が機械学習モデルの切り替え制御を行う点について説明する。なお、図１１は、本開示の実施形態にかかる制御装置４の構成例を示すブロック図である。
　制御装置４は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ等の電子回路によって実現される。また、制御装置４は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含んでいてもよい。
　制御装置４は、撮像装置８の撮像画像に基づき、被測定物の検出、被写体空間のシーン認識を行い、測定装置１の機械学習モデルの切り替え制御を行う。具体的には、制御装置４は、取得部４０１、抽出部４０２、シーン認識部４０３、測距決定部４０６、モデル選択部４０４および通知部４０５として機能する。
　取得部４０１は、撮像装置８からＲＧＢ画像を取得する。取得部４０１は、例えばＲＧＢ画像の撮像時刻や撮像場所等に関する情報を取得してもよい。かかる情報は、撮像装置８から取得してもよく、例えばＧＰＳセンサ（図示省略）等のセンサから取得してもよい。かかるセンサは測距システム６が有していてもよく、外部センサであってもよい。
　抽出部４０２は、ＲＧＢ画像から被測定物を抽出する。抽出部４０２は、例えばテンプレートマッチング等の画像処理を行い、ＲＧＢ画像から木や車両、道路といった被測定物を抽出する。また、抽出部４０２が、例えばＲＧＢ画像の色情報から空領域や道路を含む地面領域等を抽出してもよい。あるいは、抽出部４０２がＤＮＮ等、機械学習モデルを用いて被測定物、空領域や地面領域等を抽出してもよい。
　シーン認識部４０３は、ＲＧＢ画像から被写体空間のシーンを認識する。あるいは、シーン認識部４０３は、ＲＧＢ画像の撮像時刻や撮像場所等に関する情報からシーンを認識してもよい。また、シーン認識部４０３が、シーン認識に必要な情報を、ネットワーク（図示省略）を介して外部装置等から取得してもよい。
　ここで、シーンとは、例えば季節、時刻、天気または場所等の周辺情報によって表される被写体空間を示す情報である。ＲＧＢ画像からシーンを認識する場合、シーン認識部４０３は、例えば、ＲＧＢ画像の明るさ（明度）から被写体空間が昼間であるか夜間であるかを認識する。また、シーン認識部４０３は、抽出部４０２による抽出結果に基づき、シーンを認識してもよい。例えば、抽出部４０２が被測定物として建物や歩行者、車等を検出した場合、シーン認識部４０３は、被写体空間が市街地であると認識する。
　なお、シーン認識部４０３によるシーン認識はＲＧＢ画像に基づくものに限定されず、ＲＧＢ画像以外の情報からシーンを認識するようにしてもよい。例えば、シーン認識部４０３がＲＧＢ画像の撮像日時から、被写体空間の季節や時刻等を認識してもよい。また、シーン認識部４０３がＲＧＢ画像の撮像場所から被写体空間の場所を認識してもよい。シーン認識部４０３は、例えば雨検出センサの検出結果およびＲＧＢ画像に基づき、被写体空間の天候を認識してもよい。このように、シーン認識部４０３は、複数のセンサ等の検出結果に基づいて被写体空間のシーンを認識してもよい。あるいは、時刻情報や天候などをネットワークを介して外部装置から取得することも可能である。
　あるいは、シーン認識部４０３は、ＤＮＮ等の機械学習モデルを用いて被写体空間のシーンを認識してもよい。この場合、シーン認識部４０３は、ＤＮＮにＲＧＢ画像を入力してもよく、ＲＧＢ画像に加え、撮影日時や雨検出センサの検出結果等の情報をＤＮＮに入力してもよい。
　このように、シーン認識部４０３は、例えばＲＧＢ画像を含むセンサの検出結果に基づき、被写体空間のシーンを認識する。シーン認識部４０３は、例えば、被写体空間が「日本国内」、「市街地」、「晴れ」および「夕方」であることを認識する。
　測距決定部４０６は、抽出部４０２の抽出結果およびシーン認識部４０３の認識結果に基づき、距離Ｄを測定する測距位置（測距点）を決定する。また、測距決定部４０６は、光源２による照射の方向やパワー、パルス形状等、発光系に関連する各種パラメータの値を決定する。また、測距決定部４０６は、画素アレイ部１００の露光期間やフレームレート等、受光系に関連する各種パラメータの値を選択する。
　ここで、図１２および図１３を参照して、測距決定部４０６が決定する測距位置（測距点）について説明する。図１２および図１３は、測距決定部４０６が決定する測距位置について説明するための図である。
　なお、ここでは、図１２に示すように、抽出部４０２がＲＧＢ画像Ｍ１から木Ｔｒ、道路Ｒ、車Ｃ１、家Ｈ、歩行者Ｐｅおよび空領域ＳＲを抽出したものとする。このとき、測距決定部４０６は、抽出部４０２の抽出結果に基づき、被写体空間に存在するどの被測定物までの距離Ｄを測定するか決定する。また測距決定部４０６は、被測定物のどの位置における距離Ｄを測定するか決定する。
　具体的には、測距決定部４０６は、例えば、歩行者Ｐｅまでの距離Ｄを、図１２に「＋」で示す５カ所において測定すると決定する。被測定物ごとに測定する距離Ｄの数Ｎ１は、例えば被測定物の種類ごとに予め決まっており、測距決定部４０６は、かかる数Ｎ１に応じてＲＧＢ画像Ｍ１における測距位置、換言すると光源２から照射される光の方向を決定する。
　測距決定部４０６は、被測定物の種類ごとに定められる測定数Ｎ１を、例えば被測定物が歩行者Ｐｅや車Ｃ１等の動体の場合に最も多くし、木Ｔｒや家Ｈといった静止物体の場合は、動体の場合より少なくなるようにする（図１２参照）。また、道路Ｒのような背景は、静止物体より測定数Ｎ１が少なくてもよい。また、空領域ＳＲのように被測定物のない領域は、距離Ｄの測定を行わなくてもよい。すなわち、空領域ＳＲには被測定物がないと考えられるため、光源２は、空領域ＳＲに向けて光を照射する必要がない。そこで、測距決定部４０６は、空領域ＳＲを除く被測定物までの距離Ｄを測定すると決定する。
　このように、測距決定部４０６は、光源２から照射される光の方向（測距位置）を、抽出部４０２が抽出した被測定物の種類とＲＧＢ画像における位置とに基づいて決定する。
　あるいは、図１３に示すように、例えば、抽出部４０２が横向きの車Ｃ２を抽出した場合、測距決定部４０６は、車Ｃ２までの距離Ｄを測定する測定位置として、位置Ａ１を１つ決定する。これは、車Ｃ２が横向きの場合、車Ｃ２の側面はほぼ平面で構成されるため、車Ｃ２までの距離Ｄは側面のどの位置で測定しても大きくは変わらないためである。このように、被測定物が平面を有する場合、測距決定部４０６は、平面の代表位置を測距位置に決定する。これにより、測距システム６は、測定装置１による被測定物までの距離Ｄの測定回数を削減することができる。
　なお、ここでは、測距決定部４０６が代表位置を１つ決定するとしたが、これに限定されない。測距決定部４０６が複数の代表位置を決定するようにしてもよい。
　また、測距決定部４０６は、シーン認識部４０３の認識結果を用いてシーンに応じた測距位置を決定するようにしてもよい。例えば被写体空間の時間帯が「夜」である場合、測距決定部４０６は、時間帯が「昼」の場合よりも被測定物までの距離Ｄの測定数Ｎ１が多くなるようにしてもよい。すなわち、測距決定部４０６は、時間帯が「夜」の場合、「昼」の場合より多くの測定位置で被測定物までの距離Ｄが測定されるように、測定位置を決定するようにしてもよい。
　図１１に戻り、モデル選択部４０４は、抽出部４０２の抽出結果およびシーン認識部４０３の認識結果に基づき、測定装置１による被測定物の距離Ｄの認識に用いる機械学習モデルを例えば測距決定部４０６が決定した測距位置ごとに選択する。
　具体的に、モデル選択部４０４は、例えば、抽出部４０２が歩行者を抽出した場合、歩行者を正解データとして教師あり学習で構築した機械学習モデルを選択する。このように、モデル選択部４０４は、例えば、抽出部４０２が抽出した被測定物の種類に応じて機械学習モデルを選択する。
　あるいは、モデル選択部４０４がシーン認識部４０３の認識結果を用いて、シーンに応じた機械学習モデルを選択するようにしてもよい。例えば、被写体空間の天候が「雨」の場合、雨天時に収集した測定データに基づいて構築された機械学習モデルを選択するなど、モデル選択部４０４は、シーンの認識結果に基づき、シーンにあった機械学習モデルを選択する。
　また、モデル選択部４０４は、例えば、抽出部４０２の抽出結果およびシーン認識部４０３の認識結果に基づき、機械学習モデルを選択するようにしてもよい。例えば、機械学習モデルに予め関連するキーワードが紐付けられており、モデル選択部４０４は、抽出結果および認識結果と同じキーワードが紐付けられた機械学習モデルを選択する。具体的に、例えば抽出結果が「車」であり、シーン認識結果が「昼間」、「雨」である場合、モデル選択部４０４は、抽出結果およびシーン認識結果と複数の機械学習モデルに紐付けられたキーワードとを照合し、結果とキーワードとの一致度が最も高い機械学習モデルを選択する。
　あるいは、モデル選択部４０４が、機械学習を用いてモデル選択を行ってもよい。この場合、モデル選択部４０４は、例えば機械学習モデルの一例であるＤＮＮに、抽出結果およびシーン認識結果を入力してＤＮＮ処理を実行することにより、距離Ｄの測定に用いる機械学習モデルを選択する。
　通知部４０５は、モデル選択部４０４の選択結果を測定装置１に通知する。通知部４０５は、例えばモデル選択部４０４が選択した機械学習モデルを指定する情報を測定装置１に通知する。また、モデル選択部４０４が発光系および受光系に関連するパラメータの値を選択した場合は、選択したパラメータの値を測定装置１または光源２に通知する。
［測距処理手順］
　次に、測距システム６が実行する測距処理手順の一例を説明する。まず、制御装置４によるモデル選択処理について説明し、その後、測定装置１による測定処理手順について説明する。
（モデル選択処理）
　図１４は、本開示の実施形態に係るモデル選択処理の手順の一例を示すフローチャートである。
　図１４に示すように、制御装置４は、撮像装置８からＲＧＢ画像を取得する（ステップＳ２０１）。次に、制御装置４は、ＲＧＢ画像から特徴量を抽出することで、被測定物を抽出する（ステップＳ２０２）。
　続いて、制御装置４は、ＲＧＢ画像のシーンを認識する（ステップＳ２０３）。制御装置４は、ステップＳ２０２で抽出した被測定物およびステップＳ２０３で認識したシーンに基づき、被測定物の距離Ｄの測距位置を決定する（ステップＳ２０４）。
　制御装置４は、測距位置ごとに機械学習モデルを選択し（ステップＳ２０５）、決定した測距位置および対応する機械学習モデルを測定装置１に通知する（ステップＳ２０６）。
（測定処理）
　図１５は、本開示の実施形態に係る測定処理の手順の一例を示すフローチャートである。
　図１５に示すように、測定装置１は、まず、制御装置４の通知および測距位置に基づき、認識部１１１の認識に用いる機械学習モデルを切り替える（ステップＳ１０１）。続いて測定装置１は、光源２を制御して光を照射させる（ステップＳ１０２）。
　測定装置１は、全ての画素１０において、光源２が光を照射してから画素１０で当該光を受光するまでの時間を計測する（ステップＳ１０３）。測定装置１は、機械学習モデルを用いて、全ての画素１０における時間の計測結果から、被測定物の時間情報を認識する（ステップＳ１０４）。測定装置１は、認識した被測定物の時間情報に基づき、被測定物までの距離Ｄを含むデータを生成する（ステップＳ１０５）。
　以上、説明したように、本開示の実施形態にかかる測定装置１は、複数の受光素子（画素１０）と、認識部１１１と、を備える。複数の受光素子は、第１の基板Ｐ１に配置され、光源２から照射され被測定物で反射される光を受光した際に信号を出力する。認識部１１１は、第１の基板Ｐ１とは異なる第２の基板（上記実施形態の第３の基板Ｐ３に対応）に配置され、複数の受光素子の出力信号に基づき、機械学習モデルを用いて被測定物までの距離Ｄを認識する。
　これにより、測定装置１は、複数の受光素子の出力信号に基づいて被測定物の時間情報を認識することができ、被測定物までの距離Ｄの測定に必要な処理時間を低減させることができる。また、測定装置１は、ヒストグラムを生成せず、メモリも必要としないことから、ヒストグラムを用いた距離Ｄの測定に比べてパラメータ調整の手間を低減させることができ、精度を向上させることができる。
［変形例］
　なお、上記実施形態では、制御装置４がＲＧＢ画像に基づき、機械学習モデルを選択するとしたが、これに限定されない。例えば、測定装置１が、全画素１０の時間情報に基づき、機械学習モデルを選択するようにしてもよい。
　例えば、図１６に示すように、画素１０の時間情報の分布が特定の領域で密とならずランダムな分布であったとする。この場合、測定装置１のモデル切替部１１３は、かかる分布に応じた機械学習モデルを選択し、認識部１１１の認識で利用する機械学習モデルを切り替える。モデル切替部１１３は、例えば、変換部１１０から画素１０の時間情報の分布を取得してもよく、認識部１１１から取得してもよい。なお、図１６は、画素１０の時間情報の分布の一例を示す図である。
　あるいは、測定装置１の例えばモデル切替部１１３は、かかる分布に基づき、光源２による照射の方向やパワー、パルス形状等、発光系に関連する各種パラメータの値を変更するようにしてもよい。例えば、モデル切替部１１３は、画素１０の時間情報が図１６に示すようにランダムな分布の場合、被測定物までの距離Ｄが遠いと判定して照射パワーを大きくしたり、照射方向に被測定物がないと判定して照射方向を変更したりするよう各種パラメータの値を変更する。モデル切替部１１３は、変更したパラメータを例えば発光制御部１０５に出力する。あるいは、発光制御部１０５が、かかる分布に基づき、各種パラメータを変更するようにしてもよい。
　また、図１７に示すように、画素１０の時間情報の分布が特定の領域に集中する分布であったとする。すなわち、画素１０による受光タイミングの検出結果が飽和した分布の場合、測定装置１のモデル切替部１１３は、かかる分布に応じた機械学習モデルを選択し、認識部１１１の認識で利用する機械学習モデルを切り替える。なお、図１７は、画素１０の時間情報の分布の他の例を示す図である。
　あるいは、測定装置１の例えばモデル切替部１１３は、かかる分布に基づき、光源２による照射の方向やパワー、パルス形状等、発光系に関連する各種パラメータの値を変更するようにしてもよい。モデル切替部１１３は、変更したパラメータを例えば発光制御部１０５に出力する。あるいは、発光制御部１０５が、かかる分布に基づき、各種パラメータを変更するようにしてもよい。
　なお、ここでは、測定装置１が発光系の各種パラメータを変更するとしたが、例えば受光感度など、受光系の各種パラメータを変更するようにしてもよい。
　このように、測定装置１が画素１０の時間情報に基づき、機械学習モデルを切り替えたり、発光系または受光系の各種パラメータを変更したりすることで、測定装置１は、被測定物までの距離Ｄの測定精度を向上させることができる。
　また、上記実施形態では、測定装置１の認識部１１１が被測定物の時間情報を認識するとしたが、これに限定されない。測定装置１の認識部１１１が、各画素１０の時間情報をＤＮＮ１１１ａに入力して、被測定物までの距離Ｄを認識するようにしてもよい。このように、認識部１１１は、被測定物の時間情報や距離Ｄなど、被測定物までの距離Ｄに関する情報を認識する。
　なお、上記実施形態では、制御装置４が撮像装置８の撮像結果に基づき、機械学習モデルを選択するとしたが、他のセンサ装置のセンシング結果に基づいて機械学習モデルを選択してもよい。
　例えば、撮像装置８の代わりに近赤外光（IR）センサや短波赤外（SWIR）センサ、中波赤外（MWIR）センサ、長波赤外（LWIR）センサなどの赤外センサのセンシング結果に基づいて、制御装置４が機械学習モデルを選択するようにしてもよい。あるいは、制御装置４が、光源２から照射される光の周波数帯域とは異なる周波数帯域の光に基づいて距離Ｄを測定するＬＩＤＡＲ（Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）センサのセンシング結果に基づいて機械学習モデルを選択するようにしてもよい。また、制御装置４が、ＲＡＤＡＲ（Ｒａｄｉｏ　Ｄｅｔｅｃｔｉｎｇ　ａｎｄ　Ｒａｎｇｉｎｇ）センサのセンシング結果に基づいて機械学習モデルを選択するようにしてもよい。
　あるいは、制御装置４が、上述した撮像装置８を含む各種センサのセンシング結果を組み合わせて、機械学習モデルを選択するようにしてもよい。
　また、上述した各種センサのセンシング結果を用いて、認識部１１１が被測定物の時間情報を認識するようにしてもよい。この場合、上述した各種センサの出力が認識部１１１に入力される。認識部１１１は、各画素１０の時間情報および上述した各種センサの出力をＤＮＮ１１１ａに入力してＤＮＮ処理を実行することにより、被測定物の時間情報を認識する。このように、各種センサの出力も用いることで、認識部１１１による被測定物の時間情報の認識精度を向上させることができる。
　なお、上記実施形態では、測定装置１が機械学習モデルを切り替えて被測定物までの距離Ｄを測定するとしたが、これに限定されない。例えば、１つの機械学習モデルで複数種類の被測定物に対応できる場合は、測定装置１が１つの機械学習モデルを用いて被測定物までの距離Ｄを測定するようにしてもよい。あるいは、測定装置１が例えば車など特定の被測定物までの距離Ｄを測定する場合も、測定装置１が例えば車に特化した１つの機械学習モデルを用いて距離Ｄを測定するようにしてもよい。
　また、例えば、実施形態では、データ生成部１１２およびモデル切替部１１３が測定装置１の内部に設けられる例について示したが、測距装置の外部に設けられるアプリケーションプロセッサにデータ生成部１１２およびモデル切替部１１３を設けてもよい。
　あるいは、例えば、実施形態では、測距決定部４０６およびモデル選択部４０４が制御装置４の内部に設けられる例について示したが、測定装置１に測距決定部４０６およびモデル選択部４０４を設けてもよい。この場合、モデル切替部１１３にモデル選択部４０４の機能を含めることで、測定装置１にモデル選択部４０４を設けるようにしてもよい。
［効果］
　実施形態および変形例にかかる測定装置１は、第１の基板Ｐ１に配置され、光源２から照射され被測定物で反射される光を受光した際に信号を出力する複数の受光素子（画素１０）と、第１の基板Ｐ１とは異なる第３の基板Ｐ３に配置され、複数の受光素子の出力信号に基づき、機械学習モデル（ＤＮＮ１１１ａ）を用いて被測定物までの距離Ｄに関する情報を認識する認識部１１１と、を備える。
　これにより、測定装置１は、ヒストグラムを生成せずに被測定物までの距離Ｄを測定することができ、距離Ｄの測定に必要な処理時間を低減することができる。
　また、実施形態および変形例にかかる測定装置１は、複数の受光素子の出力信号に基づき、光源２が発光した発光タイミングから受光素子が受光した受光タイミングまでの時間を計測し、計測値を取得する時間計測部（変換部１１０）をさらに備える。認識部１１１は、複数の受光素子それぞれに対応する複数の計測値を入力とする機械学習モデルを用いて距離Ｄに関する情報を認識する。
　これにより、測定装置１は、ヒストグラムを生成せずに被測定物までの距離Ｄを測定することができ、距離Ｄの測定に必要な処理時間を低減することができる。
　また、実施形態および変形例にかかる認識部１１１は、光源２が１回発光したときに時間計測部（変換部１１０）が計測した計測値に基づき、距離Ｄに関する情報を認識する。
　このように、光源２による１度の発光で認識部１１１が距離Ｄに関する情報を認識することで、測定装置１は、距離Ｄの測定時間を低減することができる。
　また、実施形態および変形例にかかる認識部１１１は、光源２が複数回発光したときに、時間計測部（変換部１１０）が各発光に対応して計測した計測値に基づき、距離Ｄに関する情報を認識する。
　このように、光源２による複数回の発光で認識部１１１が距離Ｄに関する情報を認識することで、測定装置１は、距離Ｄの測定精度を向上させることができる。
　また、実施形態および変形例にかかる認識部１１１は、距離Ｄに関する情報を認識したと判定した場合に、距離Ｄに関する情報の認識を終了する。
　このように、認識部１１１が距離Ｄに関する情報を認識した場合に認識処理を終了することで、測定装置１は、距離Ｄの測定精度を向上させることができる。
　また、実施形態および変形例にかかる認識部１１１は、機械学習モデルとしてニューラルネットワークを用いて距離Ｄに関する情報を認識する。
　これにより、測定装置１は、距離Ｄの測定精度を向上させることができる。
　また、実施形態および変形例にかかる第１の基板Ｐ１と第３の基板Ｐ３との間の接続は、銅電極同士の接続である。
　これにより、測定装置１の設計の自由度が向上し、また、測定装置１の小型化が可能となる。
　また、実施形態および変形例にかかる測距装置は、被測定物に光を照射する光源２と、第１の基板Ｐ１に配置され、被測定物から反射される光を受光した際に信号を出力する複数の受光素子（画素１０）と、第１の基板Ｐ１とは異なる第３の基板Ｐ３に配置され、複数の受光素子の出力信号に基づき、機械学習モデル（ＤＮＮ１１１ａ）を用いて被測定物までの距離Ｄに関する情報を認識する認識部１１１と、を備える。
　これにより、測距装置は、ヒストグラムを生成せずに被測定物までの距離Ｄを測定することができ、距離Ｄの測定に必要な処理時間を低減することができる。
［本開示にかかる技術の適用例］
　次に、本開示の実施形態および変形例の適用例について説明する。図１８は、上述の実施形態および変形例を適用可能な測定装置１を使用する使用例を示す図である。
　上述した測定装置１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
（移動体への適用例）
　本開示に係る技術（本技術）は、様々な製品へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２０は、撮像部１２０３１の設置位置の例を示す図である。
　図２０では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、図４の測距システム６は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、車両周辺の障害物までの距離の算出速度を向上させることができる。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　第１の基板に配置され、光源から照射され被測定物で反射される光を受光した際に信号を出力する複数の受光素子と、
　前記第１の基板とは異なる第２の基板に配置され、前記複数の受光素子の出力信号に基づき、機械学習モデルを用いて前記被測定物までの距離に関する情報を認識する認識部と、
　を備える測定装置。
（２）
　前記複数の受光素子の前記出力信号に基づき、光源が発光した発光タイミングから前記受光素子が受光した受光タイミングまでの時間を計測し、計測値を取得する時間計測部をさらに備え、
　前記認識部は、前記複数の受光素子それぞれに対応する複数の前記計測値を入力とする前記機械学習モデルを用いて前記距離に関する情報を認識する
　（１）に記載の測定装置。
（３）
　前記認識部は、前記光源が１回発光したときに前記時間計測部が計測した前記計測値に基づき、前記距離に関する情報を認識する（２）に記載の測定装置。
（４）
　前記認識部は、前記光源が複数回発光したときに、前記時間計測部が各発光に対応して計測した前記計測値に基づき、前記距離に関する情報を認識する（２）に記載の測定装置。
（５）
　前記距離に関する情報を認識したと判定した場合に、前記認識部は、前記距離に関する情報の認識を終了する（４）に記載の測定装置。
（６）
　前記認識部は、前記機械学習モデルとしてニューラルネットワークを用いて前記距離に関する情報を認識する（１）～（５）のいずれか１つに記載の測定装置。
（７）
　前記第１の基板と前記第２の基板との間の接続は、銅電極同士の接続である（１）～（６）のいずれか１つに記載の測定装置。
（８）
　被測定物に光を照射する光源と、
　第１の基板に配置され、前記被測定物から反射される光を受光した際に信号を出力する複数の受光素子と、
　前記第１の基板とは異なる第２の基板に配置され、前記複数の受光素子の出力信号に基づき、機械学習モデルを用いて前記被測定物までの距離に関する情報を認識する認識部と、
　を備える測距装置。
１　測定装置
２　光源
４　制御装置
６　測距システム
８　撮像装置
１０　画素
１００　画素アレイ部
１０７　モデル記憶部
１１０　変換部
１１１　認識部
１１２　データ生成部
１１３　モデル切替部
４０１　取得部
４０２　抽出部
４０３　シーン認識部
４０４　モデル選択部
４０５　通知部
４０６　測距決定部

Claims (8)

  1. 　第１の基板に配置され、光源から照射され被測定物で反射される光を受光した際に信号を出力する複数の受光素子と、
    　前記第１の基板とは異なる第２の基板に配置され、前記複数の受光素子の出力信号に基づき、機械学習モデルを用いて前記被測定物までの距離に関する情報を認識する認識部と、
    　を備える測定装置。
  2. 　前記複数の受光素子の前記出力信号に基づき、光源が発光した発光タイミングから前記受光素子が受光した受光タイミングまでの時間を計測し、計測値を取得する時間計測部をさらに備え、
    　前記認識部は、前記複数の受光素子それぞれに対応する複数の前記計測値を入力とする前記機械学習モデルを用いて前記距離に関する情報を認識する
    　請求項１に記載の測定装置。
  3. 　前記認識部は、前記光源が１回発光したときに前記時間計測部が計測した前記計測値に基づき、前記距離に関する情報を認識する請求項２に記載の測定装置。
  4. 　前記認識部は、前記光源が複数回発光したときに、前記時間計測部が各発光に対応して計測した前記計測値に基づき、前記距離に関する情報を認識する請求項２に記載の測定装置。
  5. 　前記距離に関する情報を認識したと判定した場合に、前記認識部は、前記距離に関する情報の認識を終了する請求項４に記載の測定装置。
  6. 　前記認識部は、前記機械学習モデルとしてニューラルネットワークを用いて前記距離に関する情報を認識する請求項５に記載の測定装置。
  7. 　前記第１の基板と前記第２の基板との間の接続は、銅電極同士の接続である請求項６に記載の測定装置。
  8. 　被測定物に光を照射する光源と、
    　第１の基板に配置され、前記被測定物から反射される光を受光した際に信号を出力する複数の受光素子と、
    　前記第１の基板とは異なる第２の基板に配置され、前記複数の受光素子の出力信号に基づき、機械学習モデルを用いて前記被測定物までの距離に関する情報を認識する認識部と、
    　を備える測距装置。
PCT/JP2020/029766 2019-08-13 2020-08-04 測定装置および測距装置 WO2021029270A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US17/624,844 US20220268890A1 (en) 2019-08-13 2020-08-04 Measuring device and distance measuring device
EP20851965.2A EP4015992A4 (en) 2019-08-13 2020-08-04 MEASURING DEVICE AND DISTANCE MEASURING DEVICE
DE112020003847.5T DE112020003847T5 (de) 2019-08-13 2020-08-04 Messungsvorrichtung und entfernungsmessungsvorrichtung
JP2021539218A JPWO2021029270A1 (ja) 2019-08-13 2020-08-04
KR1020227003510A KR20220043125A (ko) 2019-08-13 2020-08-04 측정 장치 및 측거 장치
CN202080055841.6A CN114207472A (zh) 2019-08-13 2020-08-04 测量装置和测距装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-148675 2019-08-13
JP2019148675 2019-08-13

Publications (1)

Publication Number Publication Date
WO2021029270A1 true WO2021029270A1 (ja) 2021-02-18

Family

ID=74569568

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/029766 WO2021029270A1 (ja) 2019-08-13 2020-08-04 測定装置および測距装置

Country Status (8)

Country Link
US (1) US20220268890A1 (ja)
EP (1) EP4015992A4 (ja)
JP (1) JPWO2021029270A1 (ja)
KR (1) KR20220043125A (ja)
CN (1) CN114207472A (ja)
DE (1) DE112020003847T5 (ja)
TW (1) TWI748588B (ja)
WO (1) WO2021029270A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016176750A (ja) 2015-03-19 2016-10-06 株式会社豊田中央研究所 光学的測距装置
WO2017057056A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2019044487A1 (ja) * 2017-08-28 2019-03-07 ソニーセミコンダクタソリューションズ株式会社 測距装置、及び、測距方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760837B1 (en) * 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
JP2018129374A (ja) * 2017-02-07 2018-08-16 ソニーセミコンダクタソリューションズ株式会社 半導体装置および半導体装置の製造方法
JP2020537146A (ja) * 2017-10-13 2020-12-17 ザ・リージェンツ・オブ・ザ・ユニバーシティ・オブ・ミシガンＴｈｅ Ｒｅｇｅｎｔｓ Ｏｆ Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｍｉｃｈｉｇａｎ 材料感知光画像化、検出、及び測距（ｌｉｄａｒ）システム
US20190212445A1 (en) * 2018-01-10 2019-07-11 Integrated Device Technology, Inc. Laser distance sensing using prior measurement information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016176750A (ja) 2015-03-19 2016-10-06 株式会社豊田中央研究所 光学的測距装置
WO2017057056A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2019044487A1 (ja) * 2017-08-28 2019-03-07 ソニーセミコンダクタソリューションズ株式会社 測距装置、及び、測距方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4015992A4

Also Published As

Publication number Publication date
KR20220043125A (ko) 2022-04-05
TW202204931A (zh) 2022-02-01
TW202111351A (zh) 2021-03-16
DE112020003847T5 (de) 2022-05-19
US20220268890A1 (en) 2022-08-25
EP4015992A1 (en) 2022-06-22
TW202208877A (zh) 2022-03-01
CN114207472A (zh) 2022-03-18
EP4015992A4 (en) 2022-10-12
TWI748588B (zh) 2021-12-01
JPWO2021029270A1 (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
US7486802B2 (en) Adaptive template object classification system with a template generator
US20220232182A1 (en) Image recognition device, solid-state imaging device, and image recognition method
WO2020255770A1 (ja) 測距装置、測距方法、および、測距システム
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
WO2021029262A1 (ja) 装置、測定装置、測距システムおよび方法
JP2020139810A (ja) 測定装置および測距装置
WO2020153261A1 (ja) 受光装置および測距装置
WO2021065494A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020153272A1 (ja) 測定装置、測距装置および測定方法
WO2021010174A1 (ja) 受光装置、および、受光装置の駆動方法
WO2020166419A1 (ja) 受光装置、ヒストグラム生成方法、および測距システム
WO2020137318A1 (ja) 測定装置、測距装置および測定方法
WO2021029270A1 (ja) 測定装置および測距装置
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
TWI839653B (zh) 測定裝置及測距裝置
WO2020255855A1 (ja) 測距装置および測距方法
TWI839646B (zh) 測定裝置及測距裝置
WO2020129474A1 (ja) 測距装置および計測装置
WO2021065495A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2020153262A1 (ja) 計測装置および測距装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20851965

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021539218

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020851965

Country of ref document: EP

Effective date: 20220314