WO2020196510A1 - 測距装置 - Google Patents

測距装置 Download PDF

Info

Publication number
WO2020196510A1
WO2020196510A1 PCT/JP2020/012997 JP2020012997W WO2020196510A1 WO 2020196510 A1 WO2020196510 A1 WO 2020196510A1 JP 2020012997 W JP2020012997 W JP 2020012997W WO 2020196510 A1 WO2020196510 A1 WO 2020196510A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
pixel
image
distance
background light
Prior art date
Application number
PCT/JP2020/012997
Other languages
English (en)
French (fr)
Inventor
一樹 加藤
柳井　謙一
謙太 東
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN202080025163.9A priority Critical patent/CN113646660B/zh
Publication of WO2020196510A1 publication Critical patent/WO2020196510A1/ja
Priority to US17/486,198 priority patent/US20220011440A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/12—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof structurally associated with, e.g. formed in or on a common substrate with, one or more electric light sources, e.g. electroluminescent light sources, and electrically or optically coupled thereto
    • H01L31/16—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof structurally associated with, e.g. formed in or on a common substrate with, one or more electric light sources, e.g. electroluminescent light sources, and electrically or optically coupled thereto the semiconductor device sensitive to radiation being controlled by the light source or sources
    • H01L31/167—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof structurally associated with, e.g. formed in or on a common substrate with, one or more electric light sources, e.g. electroluminescent light sources, and electrically or optically coupled thereto the semiconductor device sensitive to radiation being controlled by the light source or sources the light sources and the devices sensitive to radiation all being semiconductor devices characterised by potential barriers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H01L31/101—Devices sensitive to infrared, visible or ultraviolet radiation
    • H01L31/102—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier
    • H01L31/107—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier the potential barrier working in avalanche mode, e.g. avalanche photodiodes

Definitions

  • the present disclosure relates to a distance measuring device that measures a distance to an object.
  • a distance measuring device As a distance measuring device, light is irradiated, the irradiated light receives the reflected light reflected by the object, and the time (ToF: Time of Flight) from the irradiation of the irradiation light to the reception is calculated.
  • Various distance measuring devices have been proposed for measuring the distance to an object by using the obtained time (see Patent Document 1).
  • a distance measuring device in addition to a distance image which is an image including reflected light and having a distance value measured in each direction as a value of each pixel, it can be used as an object by sunlight or street light.
  • a background light image which is an image having the reflected light received by the ranging device as background light (also referred to as ambient light) and its intensity as the value of each pixel, is acquired. Then, the threshold intensity is determined based on the intensity of the specified background light, and the reflected light in the distance image is detected as light having the intensity threshold value or more.
  • both a distance image and a background light image are acquired with the same resolution (resolution). For this reason, for example, when a distance image is captured at a high resolution in a sunny day, there is a problem that noise becomes large and it becomes difficult to acquire the distance accurately. On the contrary, in a relatively dark environment such as in the evening, at night, or in a tunnel, the influence of noise is small, so that a higher resolution distance image can be obtained while maintaining measurement accuracy, but it is low. Only distance images with resolution can be obtained.
  • a distance measuring device for measuring the distance to an object.
  • This distance measuring device has an irradiation unit that irradiates the irradiation light and a light receiving surface in which a plurality of light receiving elements capable of receiving the reflected light of the irradiated light are arranged in a plane shape, and is set to be changeable.
  • a light receiving unit that outputs a light receiving signal according to the light receiving state of the light receiving element included in each pixel and the output light receiving signal are used, with a group of the light receiving elements within the pixel range of the same size as one pixel.
  • the distance image acquisition unit that acquires the distance to the object in the irradiation range of the irradiation light including the object in each pixel and the output received signal are used in each pixel.
  • a background light image acquisition unit that acquires a background light image indicating the light receiving intensity of the background light, an information acquisition unit that acquires intensity-related information related to the intensity of the background light, and the above-mentioned information related to the acquired intensity-related information.
  • the size of the pixel range is independently set for the distance image and the background light image according to the intensity of the background light, and the resolution of the distance image and the resolution of the background light image are controlled. It is provided with a resolution control unit.
  • the size of the pixel range is set independently for the distance image and the background light image according to the intensity of the background light related to the acquired intensity-related information. Since the resolution of the distance image and the resolution of the background light image are controlled, the resolutions of the distance image and the background light image can be appropriately set according to the usage environment of the distance measuring device.
  • the present disclosure can also be realized in various forms other than the distance measuring device.
  • it can be realized in the form of a vehicle equipped with a distance measuring device, a distance measuring method, a computer program for realizing these devices and methods, a storage medium for storing the computer program, and the like.
  • FIG. 1 is an explanatory view showing a vehicle equipped with a distance measuring device as an embodiment of the present disclosure and an irradiation range of irradiation light.
  • FIG. 2 is a block diagram showing a configuration of the distance measuring device of the first embodiment.
  • FIG. 3 is an explanatory diagram showing an example of the transition of the total value of the number of received light outputs output from the MP adder.
  • FIG. 4 is a flowchart showing the procedure of the distance measuring process of the first embodiment.
  • FIG. 5 is an explanatory diagram showing an example of a distance image and a background light image in a bright environment according to the first embodiment.
  • FIG. 1 is an explanatory view showing a vehicle equipped with a distance measuring device as an embodiment of the present disclosure and an irradiation range of irradiation light.
  • FIG. 2 is a block diagram showing a configuration of the distance measuring device of the first embodiment.
  • FIG. 3 is an explanatory diagram showing an example of the transition of the total value of
  • FIG. 6 is an explanatory diagram showing an example of a distance image and a background light image in a dark environment according to the first embodiment.
  • FIG. 7 is a flowchart showing the procedure of the distance measuring process according to the third embodiment.
  • FIG. 8 is an explanatory diagram showing an example of the surrounding environment of the vehicle when the distance measuring process according to the third embodiment is executed.
  • FIG. 9 is an explanatory diagram showing an example of a distance image and a background light image according to the third embodiment.
  • FIG. 10 is an explanatory diagram showing another example of the surrounding environment of the vehicle when the distance measuring process according to the third embodiment is executed.
  • FIG. 11 is an explanatory diagram showing another example of the distance image and the background light image in the third embodiment.
  • FIG. 12 is a block diagram showing a configuration of the distance measuring device according to the fourth embodiment.
  • FIG. 13 is a flowchart showing the procedure of the distance measuring process according to the fourth embodiment.
  • the origin is the emission center position of the irradiation light Lz
  • the front direction of the vehicle 500 is the Y axis
  • the width direction from the left to the right of the vehicle 500 is the X axis
  • the vertical upper direction is Z through the origin. It is represented as an axis. As shown in FIG.
  • the irradiation light Lz is vertically long light in the Z-axis direction, and is irradiated by one-dimensional scanning in a direction parallel to the XY plane.
  • the ranging device 10 receives background light in addition to reflected light of irradiation light Lz from an object.
  • the background light means light different from the irradiation light Lz (direct light), or light that is reflected by the object and received by the distance measuring device 10.
  • the light different from the irradiation light Lz corresponds to, for example, sunlight or light from a street lamp.
  • the distance measuring device 10 specifies the intensity of the background light by using the information related to the intensity of the light received from the predetermined range Ar, and sets the threshold value based on the intensity.
  • the light having an intensity equal to or higher than the set threshold value is specified as the reflected light from the object, and the time from irradiating the irradiation light Lz to receiving the reflected light, that is, , Identify the flight time TOF (Time of Flight) of light.
  • the distance to the object is calculated assuming that the flight time TOF is the time for the light to reciprocate between the vehicle 500 and the object.
  • the above-mentioned predetermined range Ar is a range corresponding to the pixel G described later.
  • the distance measuring device 10 is a distance between the irradiation unit 20, the light receiving unit 30, the four macro pixel (MP) adders 41, 42, 43, 44, and the pixel adder 45. It includes an image acquisition unit 50, an information acquisition unit 81, and a resolution control unit 82.
  • MP macro pixel
  • the irradiation unit 20 irradiates the irradiation light Lz.
  • the irradiation unit 20 includes a laser light source 21, an irradiation control unit 22, and a scanning unit 23.
  • the laser light source 21 is composed of a semiconductor laser diode, and irradiates pulsed laser light as irradiation light Lz at predetermined intervals.
  • the predetermined period is set in advance by experiments or the like as a period longer than the period required for the irradiation light Lz to be irradiated and the reflected light from the object within the predetermined range to be received by the distance measuring device 10. ..
  • the irradiation light Lz emitted from the laser light source 21 is formed into a vertically long irradiation light Lz as shown in FIG. 1 by an optical system (not shown).
  • the irradiation control unit 22 controls the irradiation of the pal laser light from the laser light source 21 and the rotation of the mirror 232.
  • the scanning unit 23 performs one-dimensional scanning of the irradiation light Lz over a predetermined measurement range by rotating the mirror 232 around the rotation shaft 231.
  • the mirror 232 is configured by, for example, a MEMS mirror. The rotation of the mirror 232 is controlled by the irradiation control unit 22.
  • the irradiation unit 20 irradiates the irradiation light Lz while changing the direction of irradiating the irradiation light Lz with respect to the measurement range.
  • the laser light source 21 any other type of laser light source such as a solid-state laser may be used instead of the laser diode element.
  • the irradiation light Lz may be horizontally long, and the scanning may be two-dimensional scanning.
  • the irradiation light Lz irradiated by the irradiation unit 20 is reflected by the object OB within the measurement range.
  • the reflected light reflected by the object OB is received by the light receiving unit 30.
  • the light receiving unit 30 receives the reflected light through an optical system (not shown) configured so that the size of the reflected light on the light receiving surface S1 is smaller than the size of the light receiving surface S1.
  • the reflected light may be received by the light receiving unit 30 so that a part of the reflected light (for example, the end portion in the longitudinal direction) protrudes from the light receiving surface S1.
  • the light receiving unit 30 includes a plurality of pixels G in a two-dimensional arrangement on the light receiving surface S1.
  • each pixel G includes a total of four macro pixels MP1 to MP4, which are 2 vertical ⁇ 2 horizontal.
  • Each macro pixel MP1 to MP4 has a total of 25 light receiving elements 31 (5 vertical ⁇ 5 horizontal). Therefore, in the example of FIG. 1, each pixel G includes a total of 100 light receiving elements 31 (10 vertical ⁇ 10 horizontal).
  • the light receiving element 31 includes a SPAD (single photon avalanche diode).
  • each macropixel MP1 to MP4 When light (photon) is input, SPAD outputs a pulse-shaped output signal (hereinafter, also referred to as "light receiving signal") indicating the incident of light with a certain probability. Therefore, in the example of FIG. 2, each macropixel MP1 to MP4 outputs 0 to 25 light-receiving signals depending on the intensity of the light received. Further, the pixel G as a whole outputs 0 to 100 received light signals depending on the intensity of the received light.
  • the MP adder 41 is connected to each light receiving element 31 constituting the macro pixel MP1, and adds the number of light receiving signals output from the light receiving element 31 in the macro pixel MP1.
  • the other MP adders 42 to 44 are connected to the light receiving elements 31 constituting the macro pixels MP2 to MP4, and the number of light receiving signals output from the light receiving elements 31 in the macro pixels MP2 to MP4. (Hereinafter, also referred to as "the number of received light") are added.
  • FIG. 2 shows only the four MP adders 41 to 44 corresponding to the four macro pixels MP1 to MP4 constituting one pixel G, but the distance measuring device 10 uses the other pixels G. It is equipped with a plurality of MP adders for the macro pixels to be configured.
  • the pixel adder 45 adds the number of received light received by one pixel G, that is, the number of received light signals output from the light receiving element 31 included in one pixel. Specifically, the pixel adder 45 is connected to four MP adders 41 to 44, and the addition result from each MP adder 41 to 44, that is, the light received in each macro pixel MP1 to MP4. Enter the sum of the numbers and add them together.
  • the pixel adder 45 is provided for each pixel G, but in FIG. 2, only the pixel adder 45 corresponding to one pixel G is shown. Further, when the pixel range is changed, the pixel adder 45 adds up the total values input from each macro pixel in the changed pixel range.
  • the distance image acquisition unit 50 acquires a distance image.
  • the distance image means an image showing the distance to an object in each pixel G calculated based on the light receiving intensity of each pixel G.
  • the distance image acquisition unit 50 includes a distance measurement histogram memory 51, a peak detection unit 52, a threshold determination unit 53, and a distance calculation unit 54.
  • the distance measuring histogram memory 51 stores a light receiving intensity of each pixel G, that is, a histogram in which the number of light received in each pixel G is arranged for each unit period (hereinafter, referred to as “distance measuring histogram”).
  • the distance measuring histogram memory 51 receives and stores the total value of the pixels G received from the pixel adder 45, that is, the number of received light of the pixels G.
  • the distance measuring histogram memory 51 is provided in each pixel G.
  • the distance measurement histogram memory 51 may be configured by, for example, a rewritable non-volatile memory such as an EEPROM (Electrically Erasable Programmable Read-Only Memory).
  • the peak detection unit 52 receives more than the determination threshold determined by the threshold determination unit 72 in each irradiation cycle T for each pixel G based on the distance measurement histogram (number of light received) stored in the distance measurement histogram memory 51. Detects the peak of and identifies the time at that time. In the example of FIG. 3, the peak at time t11 and the peak at time t21 are detected.
  • the threshold value determination unit 53 is a threshold value used when determining whether or not the peak of the ranging histogram (number of received light) detected by the peak detection unit 71 is a peak due to the reflected light of the irradiation light Lz (hereinafter, “determination”). Also called “threshold”) is determined.
  • the threshold value determination unit 72 is determined based on the background light image. Details of the method for determining the determination threshold will be described later.
  • the distance calculation unit 54 calculates the distance to the object. Specifically, the distance to the object is calculated by using the period from the irradiation time of the irradiation light Lz to the peak time detected by the peak detection unit 71 as the flight time TOF. In the example of FIG. 3, the determination threshold Thr is determined by the peak detection unit 71, and the distance calculation unit 73 sets the period ⁇ t1 from the time t0 to the time t11 because the number of received light is equal to or greater than the determination threshold Thr at the time t11. The distance to the object is calculated as the flight time TOF. Similarly, since the number of received light is equal to or greater than the determination threshold Thr at time t21, the distance calculation unit 73 calculates the distance to the object with the period ⁇ t2 from time t2 to time t21 as the flight time TOF.
  • the background light image acquisition unit 60 acquires a background light image which is an image showing the light receiving intensity of the background light in each pixel G.
  • the background light image acquisition unit 60 includes a first counter 61 and a second counter 62.
  • the counters 61 and 62 are connected to four MP adders 41 to 44, respectively.
  • the first counter 61 adds the number of received light outputs from the four MP adders 41 to 44 in the first half of the irradiation cycle of the irradiation light Lz.
  • the second counter 62 adds the number of received light outputs from the four MP adders 41 to 44 in the latter half of the irradiation cycle of the irradiation light Lz.
  • the horizontal axis shows the time
  • the vertical axis shows the total value of the number of received lights output from the four MP adders 41 to 44.
  • the period from time t0 to time t2 and the period from time t2 to time t4 indicate the irradiation cycle T of the irradiation light Lz, respectively.
  • Time t1 is half the time of the period from time t0 to time t2
  • time t3 is half the time of the period from time t2 to time t4.
  • the first counter 61 adds the number of received light during the first half period Ta (time t0 to t1) of the irradiation cycle T from time t0 to time t2.
  • the first counter 61 adds the number of received light during the first half period Ta (time t2 to t3) of the irradiation cycle T from time t2 to time t4. Further, the second counter 62 adds the number of received light in the latter half period Tb (time t1 to t2) of the irradiation cycle T from the time t0 to the time t2. Similarly, the second counter 62 adds the number of received light in the latter half period Tb (time t3 to t4) of the irradiation cycle T from time t2 to time t4.
  • the number of received light peaks occurs at time t11 in the irradiation cycle T from time t0 to time t2.
  • This peak is a peak generated by receiving reflected light.
  • the period ⁇ t1 from the time t1 to t11 at this time corresponds to the flight time TOF.
  • a peak in the number of received light is generated at time t21.
  • This peak is a peak generated by receiving reflected light.
  • the period ⁇ t2 from the time t2 to t21 at this time corresponds to the flight time TOF.
  • the peak time of the number of received light and in the example of FIG. 3, the time t11 and the time t21 are also referred to as peak times.
  • the number of received light that is not 0 (zero) is measured even at times other than the peak. This is due to the background light.
  • the background light image acquisition unit 60 uses the number of received light in the first half period Ta and the second half period Tb, which does not include the time when the peak is detected, to generate the background light. Get an image. Details of the acquisition of such a background light image will be described later.
  • the background light image acquisition unit 60 includes a set of a first counter 61 and a second counter 62 for each pixel G. However, for convenience of illustration in FIG. 2, counters 61 and 62 corresponding to one pixel G are provided. Represents only the set of.
  • the information acquisition unit 81 shown in FIG. 2 acquires information related to the intensity of the background light (hereinafter, referred to as “intensity-related information”).
  • the following (i) to (iv) correspond to the strength-related information.
  • (Iii) Information showing the detection result of the solar radiation sensor 512 shown in FIG. 1 included in the vehicle 500.
  • Information indicating an operating state of the wiper device 513 shown in FIG. 1 included in the vehicle 500 Information related to the intensity of the background light.
  • the above information (i) is acquired from the background light image acquisition unit 60. Similar to the threshold value determination unit 72, the background light image acquisition unit 60 obtains the average number of light received in the background light image, and transmits information about the average number of light received to the information acquisition unit 81 as information indicating the intensity of the background light image. To do.
  • the above information (ii) means information indicating whether the light 511 is on or off, and is acquired from an ECU (Electronic Control Unit) that controls the light 511.
  • the above information (iii) means the amount of solar radiation detected by the solar radiation sensor 512, and is acquired from the ECU that controls the solar radiation sensor 512.
  • the above information (iv) means information indicating whether or not the wiper device 513 is operating, and is acquired from the ECU that controls the wiper device 513.
  • the resolution control unit 82 independently sets the size of the pixel range for the distance image and the background light image according to the intensity of the background light related to the intensity-related information acquired by the information acquisition unit 81.
  • the resolution of the distance image and the resolution of the background light image are controlled.
  • the pixel adder 45 acquires the number of received light from all MP adders included in one pixel and adds them up according to the pixel range set by the resolution control unit 82.
  • the background light image acquisition unit 60 acquires the number of received light from all the MP adders included in one pixel according to the pixel range set by the resolution control unit 82, and acquires the number of received light from the first counter 61 or the second counter 61 or the second. Add up by the counter 62.
  • the details of the processing executed by the resolution control unit 82 will be described later.
  • the distance measuring process shown in FIG. 4 is a process for measuring the distance to an object. Such distance measurement processing is executed when the ignition of the vehicle 500 is turned on.
  • an interface for receiving instructions from the user to start and end the distance measurement process in advance for example, a physical button provided on the instrument panel or a menu screen displayed on the monitor, gives a start instruction by the user.
  • the distance measurement process may be started when the above is accepted. Steps S105 to S150, which will be described later, included in the distance measuring process are repeatedly executed every irradiation cycle T.
  • the information acquisition unit 81 acquires background light intensity related information (step S105). Specifically, all the above-mentioned information (i) to (iv) are acquired. For the information (i), the average number of received light received in the entire background light image obtained in the previous cycle is acquired.
  • the resolution control unit 82 specifies the brightness environment of the irradiation range of the irradiation light Lz based on the intensity-related information obtained in step S105 (step S110).
  • the bright environment means either a bright environment (hereinafter referred to as "bright environment") or an environment darker than the bright environment (hereinafter referred to as “dark environment”).
  • the resolution control unit 82 determines that the environment is bright when the average number of received background lights is equal to or greater than the threshold value, and that the environment is dark when the average number of received background lights is less than the threshold value.
  • step S110 regarding the above information (i), the average number of received light of the background light image is equal to or more than the threshold value, the above information (ii) indicates that the light 511 is in the extinguished state, and the above information (iii) is the solar radiation sensor 12.
  • the detection result of is above the predetermined solar radiation threshold, and when the above (iv) indicates that the wiper device 513 is not operating, it is specified as a bright environment, and in other cases, it is a dark environment. Identify as. Generally, it is identified as a bright environment when the vehicle 500 is traveling in a place different from the shade of a building or the inside of a tunnel in the daytime on a sunny day. On the other hand, it is identified as a dark environment at night, in the shadow of a building, or when traveling in a tunnel.
  • the resolution control unit 82 independently determines the resolution of the distance image and the background light image according to the brightness environment specified in step S110 (step S115).
  • step S115 in a bright environment, the resolution control unit 82 lowers the resolution of the distance image Fd1 by making the pixel range larger than the reference pixel range, and sets the pixel range of the background light image Fb1 to the reference pixel range.
  • the size of the pixel Gd1 of the distance image Fd1 in the bright environment is larger than the size of the pixel Gb1 of the background light image Fb1, that is, the pixel G. That is, the distance image has a lower resolution than the background light image.
  • the width of the pixel Ga1 is three times the width of the pixel G
  • the length of the pixel Ga1 is four times the height of the pixel G.
  • the specific size of the pixel Ga1 is not limited to the size of the present embodiment, and may be any size larger than the pixel G.
  • the resolution control unit 82 sets the pixel range of the distance image Fd2 as the reference pixel range in the dark environment, and lowers the resolution of the background light image Fb2 by increasing the pixel range.
  • the pixel range of the background light image Fb2 in the dark environment shown in FIG. 6 is the same as the pixel range of the distance image Fd1 in the bright environment shown in FIG.
  • the pixel range of the background light image Fb2 in the dark environment may be different from the pixel range of the distance image Fd1 in the bright environment. However, it is made larger than the size of the reference pixel range (pixel G). That is, the background light image has a lower resolution than the distance image. The reason for setting such a resolution in step S115 will be described later.
  • FIGS. 5 and 6 only the size of each pixel (pixel range) is shown, and the light receiving intensity in each pixel is omitted.
  • the resolution control unit 82 associates the MP adder with the pixel adder 45 according to the resolution of the distance image determined in step S115, that is, the pixel range of the distance image.
  • the background light image acquisition unit 60 associates the MP adder with the two counters 61 and 62 according to the resolution of the distance image determined in step S115, that is, the pixel range of the distance image ( Step S120).
  • the number of MP adders three times horizontally and four times the number of MPs vertically compared to the reference pixel range (pixel G) shown in FIG.
  • the adder for one pixel is associated with the adder 45 for one pixel.
  • four MP adders 41 to 44 are associated with the two counters 61 and 62, respectively.
  • the irradiation unit 20 irradiates the irradiation light Lz (step S125).
  • the reflected light from the object OB is received by the light receiving element 31 and a light receiving signal is output.
  • step S120 the number of received light is added to the pixel adder 45 associated with the MP adder, and the number of received light is added to the two counters 61 and 62.
  • the distance image acquisition unit 50 acquires a distance image, that is, information indicating the number of received light of each pixel (step S130).
  • the background light image acquisition unit 60 acquires a background light image (step S135).
  • a method of acquiring a background light image will be described. First, the background light image acquisition unit 60 identifies for each pixel G whether a peak is detected in either the first half period Ta or the second half period Tb of the previous irradiation cycle T. Next, the number of received light during the period in the current irradiation cycle T corresponding to the period specified as the period in which the peak is detected is specified by using the first counter 61 and the second counter 62. For example, as shown in FIG. 3, for the pixel G shown in FIG.
  • the background light image acquisition unit 60 identifies each pixel G by converting the number of received light specified in the current irradiation cycle T into the number of received light over the entire irradiation cycle T.
  • the number of received light in the latter half period Tb that is, the value of the second counter 62
  • the number of received light over the entire irradiation cycle T is specified by doubling the value.
  • the number of received light in Ta during the first half period that is, the value of the first counter 61
  • the number of received light over the entire irradiation cycle T is specified by doubling the value. Will be done.
  • the total value of the value of the first counter 61 and the value of the second counter 62 is the total irradiation cycle T. It is specified as the number of received light.
  • the period of 1/2 of the irradiation cycle T that is, the first half period Ta and the second half period Tb corresponds to the subordinate concept of the unit period in the present disclosure.
  • the threshold value determination unit 72 determines the determination threshold value using the background light image acquired in step S135 (step S140). At this time, the determination threshold value is determined for each pixel G according to the resolution of the distance image. For example, for one pixel Gd1 of the distance image Fd1 shown in FIG. 5, the average value of the number of received light receptions of the background light image of a total of 12 pixels Gb1 existing at the corresponding positions in the background light image is obtained, and the average value is obtained. The determination threshold is determined as a value larger than the value.
  • the peak detection unit 71 applies the determination threshold determined in step S140 to the distance image acquired in step S130 to specify the peak time (step S145). As described above, in the example of FIG. 3, times t11 and t21 are specified as peak times.
  • the distance calculation unit 73 calculates the distance to the object OB by using the peak time specified in step S145 (step S150).
  • step S115 the reason why the resolution is lowered by making the pixel range of the distance image in the bright environment and the pixel range of the background light image in the dark environment larger than the reference pixel range will be described.
  • the background light is strong, so if one pixel is configured with a small amount of SPAD, the intensity ratio of the reflected light detected in each pixel to the background light becomes small, in other words, the S / N ratio deteriorates.
  • the reflected light (object OB) cannot be specified accurately. Therefore, in the present embodiment, for a distance image in a bright environment, the resolution is lowered by making the pixel range larger than the reference pixel range, whereby one pixel is formed by many SPADs and noise (background light). ) Is suppressed so that the reflected light (object OB) can be accurately identified.
  • the brightness of the background light is weak, so if one pixel is configured with a small amount of SPAD, the background light may hardly be detected. Therefore, in the present embodiment, for the background light image in the dark environment, the resolution is lowered by making the pixel range larger than the reference pixel range, whereby one pixel is configured by many SPADs to provide the background light. I try to identify it accurately.
  • the pixel range of the distance image and the background light image are independently determined according to the intensity of the background light related to the acquired intensity-related information. Since the size is set to control the resolution of the distance image and the resolution of the background light image, the resolutions of the distance image and the background light image can be appropriately set according to the usage environment of the distance measuring device.
  • the size of the pixel range of the distance image is set larger and the resolution is lowered as compared with the case where the intensity is low, so that noise (background).
  • the influence of light is suppressed so that the reflected light (object OB) can be accurately identified. Therefore, even when the object OB exists at a long distance from the vehicle 500, the distance to the object OB can be accurately measured.
  • the size of the pixel range of the background light image is set larger and the resolution is lowered as compared with the case where the intensity is high. Can be accurately identified. Therefore, an appropriate value can be set as the determination threshold value, and the reflected light (peak) from the object OB can be accurately detected.
  • the brightness environment that is, the high and low intensity of the background light is specified by using the above-mentioned four information (i) to (iv), the brightness environment can be accurately specified.
  • SPAD is provided as the light receiving element 31, the presence or absence of light receiving in each pixel G can be accurately specified.
  • the background light image used for determining the determination threshold value is acquired by using the number of received light during the period in which the peak is not detected among the two first half period Ta and the second half period Tb constituting the irradiation cycle T.
  • the intensity of the background light can be accurately specified without being affected by the reflected light.
  • a period before irradiation of the irradiation light Lz, which is different from the irradiation cycle T is not required, so that the background light image can be efficiently acquired.
  • the determination threshold value can be set to an appropriate value even when the brightness environment is partially changed within the irradiation range.
  • Second embodiment Since the device configuration of the distance measuring device 10 of the second embodiment is the same as that of the distance measuring device 10 of the first embodiment, the same components are designated by the same reference numerals, and detailed description thereof will be omitted. Further, since the procedure of the distance measuring process of the second embodiment is the same as the procedure of the distance measuring process of the first embodiment shown in FIG. 4, the same procedure is designated by the same reference numeral, and a detailed description thereof will be given. Is omitted.
  • the detailed procedure of the distance measuring process step S115 is different from that of the first embodiment. Specifically, in a bright environment, the resolution control unit 82 sets the pixel range of the distance image as the reference pixel range, and increases the resolution of the background light image by reducing the pixel range. Further, in a dark environment, the resolution control unit 82 raises the resolution by making the pixel range smaller than the reference pixel range for the distance image, and sets the pixel range as the reference pixel range for the background light image.
  • the intensity of the background light can be sufficiently detected even with a small amount of SPAD. Therefore, by reducing the pixel range, the intensity of the background light can be acquired with high resolution.
  • the background light as noise is weak, it is easy to identify the reflected light from the object. Therefore, the reflected light can be accurately specified even if the pixel range is reduced, and a distance image with high accuracy and high resolution can be acquired. Therefore, the object OB existing at a long distance can be accurately identified, and the small object OB existing at a short distance can be accurately identified.
  • the distance measuring device 10 of the second embodiment described above has the same effect as the distance measuring device 10 of the first embodiment.
  • the resolution of the background light image is increased by reducing the pixel range, so that the intensity of the background light can be obtained with high resolution.
  • the resolution of the distance image is increased by making the pixel range smaller than the reference pixel range, so that the distance image can be acquired with high resolution. Therefore, the object OB existing at a long distance can be accurately identified, and the small object OB existing at a short distance can be accurately identified.
  • the distance measuring process of the third embodiment shown in FIG. 7 is the first in that steps S105a, S110a, S115a, S140a, S145a, and S150a are executed instead of steps S105, S110, S115, S140, S145, and S150. It is different from the distance measuring process of the embodiment. Since the other procedure of the distance measuring process of the third embodiment is the same as the procedure of the distance measuring process of the first embodiment, the same procedure is designated by the same reference numeral and detailed description thereof will be omitted.
  • the information acquisition unit 81 acquires background light intensity-related information for each predetermined area (step S105a).
  • the predetermined area is a rectangular area whose length is four times the pixel G (reference pixel range) and the width is three times the pixel G (reference pixel range).
  • step S105a only the above (i) of the above information (i) to (iv) is acquired for each predetermined area, and the other three information (ii) to (iv) are obtained in the first embodiment. Get in the same way as.
  • the pixel value of the background light of each pixel G included in the predetermined region (the total value of the number of received light during the period when the peak was not detected in the previous irradiation cycle T) is acquired.
  • the resolution control unit 82 specifies the brightness environment (bright environment or dark environment) of the irradiation range of the irradiation light Lz for each predetermined region based on the intensity-related information obtained in step S105a (step S110a).
  • the present embodiment is different from the first embodiment in that the brightness environment is divided into three stages and specified. That is, in a bright environment where the average number of received background lights is higher than the first threshold, in a medium environment where the average number of received background lights is less than or equal to the first threshold and larger than the second threshold, and below the second threshold. It is specified by being divided into a total of three stages of an environment in a certain dark environment. The second threshold value is lower than the first threshold value.
  • the resolution control unit 82 independently determines the resolution of the distance image and the background light image for each predetermined region according to the brightness environment specified in step S110 (step S115a).
  • Image Fg0 shown in FIG. 8 represents an example of the surrounding environment in front of the vehicle 500 when the distance measuring process is executed.
  • in front of the vehicle 500 there is a sun SN and an oncoming vehicle CA traveling in the opposite lane of the road RD.
  • the background light is strong in the area where the sun SN exists when viewed from the vehicle 500. Therefore, the predetermined region included in such a region is specified as a bright environment. Therefore, as shown in the upper part of FIG. 9, in the distance image Fg1, a large pixel range is specified as one pixel Gd3 for a predetermined region included in the region P11 corresponding to the sun SN. On the other hand, in the distance image Fg1, the predetermined region included in the other region P12 other than the region P11 is specified as a medium environment, and a medium-sized pixel range is specified as one pixel Gd4. ..
  • the pixel range of the predetermined region specified as the bright environment in the distance image is the same as the predetermined region, the vertical is four times the pixel G (reference pixel range), and the horizontal is the pixel G (reference pixel). It is a rectangular area that is three times the range). Further, in the distance image, the pixel range of the predetermined region specified as the medium environment is a rectangular region in which the vertical is twice the pixel G (reference pixel range) and the horizontal is one times the pixel G (reference pixel range). is there.
  • a small pixel range is specified as one pixel Gb3 for a predetermined area included in the area P11 specified as a bright environment.
  • a medium pixel range is specified as one pixel Gb4 for a predetermined region included in the other region P12 other than the region P11.
  • the pixel range of the predetermined region specified as the bright environment in the background light image is the same as the reference pixel range.
  • the pixel range of the predetermined region specified as the medium environment in the background light image is a rectangular region in which the vertical is twice the pixel G (reference pixel range) and the horizontal is one times the pixel G (reference pixel range). is there.
  • the region P11 in the background light image Fg2 corresponds to the subordinate concept of the bright part in the present disclosure.
  • the region P12 in the background light image Fg2 corresponds to a subordinate concept of a portion other than the bright portion in the present disclosure.
  • the region P11 in the distance image Fg1 corresponds to the subordinate concept of the bright part corresponding portion in the present disclosure.
  • the region P12 in the distance image Fg1 corresponds to a subordinate concept of a portion other than the bright portion corresponding portion in the present disclosure.
  • Image Fg3 shown in FIG. 10 represents another example of the surrounding environment in front of the vehicle 500 when the distance measuring process is executed.
  • in front of the vehicle 500 there is a building BD and an oncoming vehicle CA traveling in the opposite lane of the road RD.
  • the shadow SD of the building BD extends to the road RD.
  • the predetermined area included in the area is specified as a dark environment. Therefore, as shown in the upper part of FIG. 11, in the distance image Fg4, a small pixel range is specified as one pixel Gd5 for a predetermined region included in the region P41 corresponding to the shadow SD.
  • the predetermined region included in the other region P42 other than the region P41 is specified as a medium environment, and a medium-sized pixel range is specified as one pixel Gd6. ..
  • the pixel range of the processing area specified as the dark environment in the distance image is the same as the reference pixel range.
  • a large pixel range is specified as one pixel Gb5 for a predetermined area included in the area P41 specified as a dark environment.
  • the predetermined region included in the other region P42 other than the region P41 is determined to be a medium environment, and a medium-sized pixel range is specified as one pixel Gb6.
  • the region P42 in the background light image Fg5 corresponds to the subordinate concept of the bright part in the present disclosure.
  • the region P41 in the background light image Fg5 corresponds to a subordinate concept of a portion other than the bright portion in the present disclosure.
  • region P42 in the distance image Fg4 corresponds to the subordinate concept of the bright part corresponding portion in the present disclosure. Further, the region P41 in the distance image Fg4 corresponds to a subordinate concept of a portion other than the bright portion corresponding portion in the present disclosure.
  • step S115a As shown in FIG. 7, after the execution of step S115a, the above-mentioned steps 120 to S150 are executed.
  • the distance measuring device 10 of the third embodiment described above has the same effect as the distance measuring device 10 of the first embodiment.
  • the distance and reflected light can be measured with high resolution in the region where the background light (noise) is weak, and the background light is Distance and reflected light can be specified accurately even in a strong region.
  • the background light can be accurately identified even in a region where the background light (noise) is weak, and the background light (noise) can be specified. In the region where is strong, a more appropriate value can be set as the determination threshold value.
  • the distance measuring device 10a of the fourth embodiment includes points for distance measuring histogram memories 91, 92, 93, 94 in place of the MP adders 41 to 44, and a distance image acquisition unit 50. It is different from the distance measuring device 10 of the first embodiment in that the distance image acquisition unit 50a is provided instead of the distance measuring device 10. Since the other configurations of the ranging device 10a of the fourth embodiment are the same as those of the ranging device 10 of the first embodiment, the same components are designated by the same reference numerals and detailed description thereof will be omitted. ..
  • the distance measuring histogram memory 91 is connected to each light receiving element 31 constituting the macro pixel MP1, and displays a histogram for the macro pixel MP1, that is, the number of light receiving signals output from the light receiving element 31 in the macro pixel MP1. Store the histograms arranged for each unit period.
  • the other distance measuring histogram memories 91 to 94 are histograms for macro pixels MP2 to MP4, that is, light receiving signals output from the light receiving elements 31 in the macro pixels MP2 to MP4. Store a histogram in which the number of is arranged for each unit period.
  • the distance image acquisition unit 50a is different from the distance image acquisition unit 50 of the first embodiment in that the distance measurement histogram memory 51 is not provided and the pixel adder 45 is provided. Since the other configurations of the distance image acquisition unit 50a of the fourth embodiment are the same as those of the distance image acquisition unit 50 of the first embodiment, the same components are designated by the same reference numerals and detailed description thereof will be given. Omit.
  • the pixel adder 45 is connected to the above-mentioned distance measurement histogram memories 91 to 94.
  • the pixel adder 45 acquires a histogram from the distance measuring histogram memory selected from the distance measuring histogram memories 91 to 94 according to the pixel range set by the resolution control unit 82, and obtains these histograms.
  • Generate a distance measurement histogram by adding (summing). For example, in the case of a bright environment, for a distance image, the histograms of all four macro pixels MP1 to MP4 may be added to form a distance measurement histogram of one pixel.
  • the histogram of the macro pixel MP1 and the histogram of the macro pixel MP4 are added to form a distance measurement histogram of one pixel, and similarly, the histogram of the macro pixel MP2 and the histogram of the macro pixel MP3 are obtained. And may be added to obtain a distance measurement histogram of one pixel.
  • the distance measuring process of the fourth embodiment shown in FIG. 13 is the first in that step S120a is executed instead of step S120, steps S125 to S135 are omitted, and steps S126 and S128 are additionally executed. It is different from the distance measuring process of one embodiment. Since the other procedures in the distance measuring process of the fourth embodiment are the same as those of the distance measuring process of the first embodiment, the same procedures are designated by the same reference numerals and detailed description thereof will be omitted.
  • the resolution control unit 82 associates the distance measuring histogram memory with the pixel adder 45 according to the resolution of the distance image determined in step S115, that is, the pixel range of the distance image.
  • the background light image acquisition unit 60 associates the distance measurement histogram memory with the two counters 61 and 62 according to the resolution of the distance image determined in step S115, that is, the pixel range of the distance image.
  • Step S120a After step S120a, the irradiation of the irradiation light Lz (step S125) is omitted, and the background light of the selected macropixel MP is added up according to the resolution set in step S115 to acquire the background light image (step). S126).
  • a distance image is acquired from the histogram generated by adding with the pixel adder 45 according to the resolution set in step S115 (step S128).
  • the distance measurement histogram memories 91 to 94 are provided for each of the macro pixels MP1 to MP4, information on the number of received light received in each of the macro pixels MP1 to MP4 has already been obtained. Therefore, after the resolutions of the distance image and the background light image are determined in step S115, the data stored in the distance measurement histogram memories 91 to 94 (distance measurement histogram) without irradiating the irradiation light Lz again. ), The determination threshold can be determined, the peak time can be specified, and the distance can be calculated. After the completion of step S128, the above-mentioned steps S140 to S150 are executed.
  • the distance measuring device 10a of the fourth embodiment described above has the same effect as the distance measuring device 10 of the first embodiment.
  • the determination threshold value is determined for each pixel G, but the present disclosure is not limited to this.
  • one determination threshold may be determined for the entire image.
  • the average value of the pixel values (number of received light) of all the pixels G may be obtained and determined as a value larger than the average value.
  • the determination threshold value is the average value of the number of received light received by all the pixels existing at the corresponding positions in the background light image with respect to one pixel of the distance image.
  • it may be a statistical value such as the dispersion or the median value of all the pixels existing at the corresponding positions in the background light image.
  • the information (i) is the number of received light indicating the intensity of the background light image in the previous irradiation cycle T.
  • the present disclosure is not limited to this.
  • the number of received light indicating the intensity of the background light image in the irradiation cycle T two times before may be used.
  • statistical values such as an average value, a total value, a median value, and a variance of the intensities of the background light images in a plurality of irradiation cycles T before the previous time may be used.
  • the intensity-related information used when specifying the brightness environment is a total of four pieces of information (i) to (iv), but the present disclosure is not limited to this.
  • the user may visually determine the brightness environment and input the determination result to the vehicle 500 from a predetermined user interface.
  • the information indicating the brightness environment input from the predetermined user interface corresponds to the intensity-related information.
  • a part of the information (i) to (iv) may be omitted.
  • the loudness and pitch of the sound acquired by the microphone mounted on the vehicle 500 may be used as the intensity-related information.
  • the sound when the sound is louder than the threshold intensity, it is estimated to be daytime and the environment is specified as a bright environment, and when the sound is equal to or less than the threshold intensity, it is estimated to be nighttime. It may be specified as a dark environment.
  • the resolution of the distance image and the resolution of the background light image are determined in the distance measurement process, but the determination of the resolution is executed as a process different from the distance measurement process. You may. Specifically, as the resolution determination process, first, irradiation of the irradiation light Lz and reception of the reflected light are performed, and then the above-mentioned steps S105 to S120 and S140 are executed. In the distance measuring process, steps S125, S130, S135, S145, and S150 are executed. Even in such a configuration, the same effect as that of each embodiment is obtained.
  • reflection intensity image the same resolution as the distance image may be determined.
  • the ranging device 10 of each embodiment can be applied to, for example, the following devices.
  • it can be applied to a route generation device that generates a travel route of a vehicle 500.
  • the distance to the object OB detected by the distance measuring device 10 may be used when generating a route for avoiding an obstacle on a traveling road.
  • it can be applied to an automatic operation control device.
  • the speed and steering amount of the vehicle 500 may be determined by using the distance to the object OB detected by the distance measuring device 10.
  • it can be applied to a detection result display device for displaying the distance to the object OB to the occupants of the vehicle 500.
  • the occupant of the vehicle 500 can visually confirm the distance to the object existing in front of the vehicle 500. Further, for example, it can be applied to a remote information acquisition device that notifies the remote control control device of the situation around the vehicle 500. In such a configuration, even if a distance image or a background light image is transmitted to a remote control device (for example, a server device) on the operator side that remotely controls the vehicle 500, in addition to information on the distance to the object OB. Good.
  • the distance measuring device 10 may be fixedly installed instead of being mounted on the vehicle 500.
  • the distance measuring device 10 may be mounted on a surveillance camera (fixed point camera) to acquire an image and measure the distance to the object OB.
  • the background light image used when determining the determination threshold value uses the number of received light during the period in which the peak is not detected among the two first half period Ta and the second half period Tb constituting the irradiation cycle T.
  • the present disclosure is not limited to this.
  • it may be acquired by using the total number of received light during all periods of the irradiation cycle T regardless of the presence or absence of a peak.
  • a value obtained by multiplying the total number of received light during all periods of the irradiation cycle T by a predetermined ratio may be set as the determination threshold value.
  • the first half period Ta and the second half period Tb are uniformly divided into two equal parts, but the present disclosure is not limited to this.
  • the first half period Ta may be 9/10
  • the second half period Tb may be the remaining (1/10).
  • the light reception in the latter half period Tb can be limited to the light reception of the reflected light from a very long distance where the object is almost certainly not present, that is, the light reception acquired in the non-irradiation period. Therefore, the peak determination by the background light image acquisition unit 60 may be omitted, and the total number of received light received in the latter half period Tb may be used as the background light intensity.
  • an arbitrary kind of statistical value such as an average value, a median value, a standard deviation, and a dispersion of the number of received light may be used instead of the total number of received light.
  • the configuration of the distance measuring device 10 in each embodiment is merely an example and can be changed in various ways.
  • the brightness environment has two stages
  • the brightness environment has three stages, but any number of stages may be used.
  • the resolution (size of the pixel range) of each image (distance image and background light image) in each brightness environment may be set to an arbitrary value.
  • the size of the predetermined region of the third embodiment may be any size.
  • one of the distance image and the background light image divided into four equal parts may be used as a predetermined area.
  • any light receiving element other than SPAD may be used as the light receiving element 31
  • the ranging device 10 and its method described in the present disclosure are provided by configuring a processor and memory programmed to perform one or more functions embodied by a computer program. It may be realized by a dedicated computer. Alternatively, the ranging device 10 and its method described in the present disclosure may be realized by a dedicated computer provided by configuring the processor with one or more dedicated hardware logic circuits. Alternatively, the ranging device 10 and its method described in the present disclosure comprises a processor and memory programmed to perform one or more functions and a processor composed of one or more hardware logic circuits. It may be realized by one or more dedicated computers configured by a combination. Further, the computer program may be stored in a computer-readable non-transitional tangible recording medium as an instruction executed by the computer.
  • the present disclosure is not limited to the above-described embodiment, and can be realized by various configurations within a range not deviating from the purpose.
  • the technical features in each embodiment corresponding to the technical features in the embodiments described in the column of the outline of the invention may be used to solve some or all of the above-mentioned problems, or one of the above-mentioned effects. It is possible to replace or combine as appropriate to achieve a part or all. Further, if the technical feature is not described as essential in the present specification, it can be appropriately deleted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【解決手段】測距装置（１０）は、照射部（２０）と、複数の受光要素（３１）が面状に配列された受光面（Ｓ１）を有し、画素範囲内の受光要素の集まりを一画素として、各画素に含まれる受光要素の受光状態に応じた受光信号を出力する受光部（３０）と、受光信号を利用して各画素における照射光の照射範囲内の物体までの距離を示す距離画像を取得する距離画像取得部（５０）と、受光信号を利用して背景光画像を取得する背景光画像取得部（６０）と、背景光の強度に関連する強度関連情報を取得する情報取得部（８１）と、強度関連情報に関連する背景光の強度に応じて、距離画像と背景光画像とに対してそれぞれ独立して画素範囲の大きさを設定して解像度を制御する解像度制御部（８２）と、を備える。

Description

測距装置 関連出願の相互参照
　本出願は、２０１９年３月２８日に出願された日本出願番号２０１９－６３６５０号に基づくもので、ここにその記載内容を援用する。
　本開示は、対象物までの距離を測定する測距装置に関する。
　従来より、測距装置として、光を照射し、かかる照射光が対象物で反射した反射光を受光し、照射光を照射してから受光するまでの時間（ＴｏＦ：Time of Flight）を算出し、得られた時間を利用して対象物までの距離を測定する測距装置が種々提案されている（特許文献１参照）。このような測距装置では、反射光を含む画像であって各方位で測定した距離の値を各画素の値として持った画像である距離画像に加え、日光や街灯の明かりなどにより対象物に反射した光を測距装置が受光した値を背景光（環境光とも呼ぶ）とし、その強度を各画素の値として持った画像である背景光画像が取得される。そして、特定された背景光の強度に基づき閾値強度が決定され、距離画像内の反射光は、かかる強度閾値以上の光として検出される。
特開２０１７－１７３２９８号公報
　特許文献１の測距装置などの従来の測距装置では、距離画像も背景光画像もいずれも同じ解像度（分解能）で取得されていた。このため、例えば、晴れた昼間に高解像度で距離画像を撮像すると、ノイズが大きくなり距離を精度良く取得することが困難になるという問題がある。また、これとは逆に、夕方や夜やトンネル内といった比較的暗い環境ではノイズの影響が少ないために、より高解像度な距離画像を、測定精度を維持しつつ得られるにも関わらず、低解像度の距離画像しか得ることができない。加えて、例えば、比較的暗い環境において高解像度で背景光画像が取得された場合、各画素においてほとんど光を検出できず背景光の強度が極端に低く特定されてしまう。この場合、反射光以外の明かりも対象物からの反射光であると誤検出されるおそれがある。このようなことから、測距装置の使用環境に応じて、距離画像および背景光画像の解像度を適切に設定可能な技術が望まれる。
　本開示は、以下の形態として実現することが可能である。
　本開示の一形態として、対象物までの距離を測定する測距装置が提供される。この測距装置は、照射光を照射する照射部と、照射された前記照射光の反射光を受光可能な複数の受光要素が面状に配列された受光面を有し、変更可能に設定されている大きさの画素範囲内の前記受光要素の集まりを一画素として、各画素に含まれる前記受光要素の受光状態に応じた受光信号を出力する受光部と、出力された前記受光信号を利用して、各画素における前記対象物を含む前記照射光の照射範囲内の物体までの距離を示す距離画像を取得する距離画像取得部と、出力された前記受光信号を利用して、各画素における背景光の受光強度を示す背景光画像を取得する背景光画像取得部と、前記背景光の強度に関連する強度関連情報を取得する情報取得部と、取得された前記強度関連情報に関連する前記背景光の強度に応じて、前記距離画像と前記背景光画像とに対してそれぞれ独立して前記画素範囲の大きさを設定して、前記距離画像の解像度と前記背景光画像の解像度とを制御する解像度制御部とを備える。
　上記形態の測距装置によれば、取得された強度関連情報に関連する背景光の強度に応じて、距離画像と背景光画像とに対してそれぞれ独立して画素範囲の大きさを設定して、距離画像の解像度と背景光画像の解像度とを制御するので、測距装置の使用環境に応じて、距離画像および背景光画像の解像度を適切に設定できる。
　本開示は、測距装置以外の種々の形態で実現することも可能である。例えば、測距装置を備える車両、測距方法、これらの装置や方法を実現するためのコンピュータプログラム、かかるコンピュータプログラムを記憶した記憶媒体等の形態で実現することができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、本開示の一実施形態としての測距装置を搭載した車両と照射光の照射範囲を示す説明図であり、 図２は、第１実施形態の測距装置の構成を示すブロック図であり、 図３は、ＭＰ用加算器から出力される受光数の合算値の推移の一例を示す説明図であり、 図４は、第１実施形態の測距処理の手順を示すフローチャートであり、 図５は、第１実施形態における明環境での距離画像および背景光画像の一例を示す説明図であり、 図６は、第１実施形態における暗環境での距離画像および背景光画像の一例を示す説明図であり、 図７は、第３実施形態の測距処理の手順を示すフローチャートであり、 図８は、第３実施形態における測距処理が実行される際の車両の周囲環境の一例を示す説明図であり、 図９は、第３実施形態における距離画像および背景光画像の一例を示す説明図であり、 図１０は、第３実施形態における測距処理が実行される際の車両の周囲環境の他の例を示す説明図であり、 図１１は、第３実施形態における距離画像および背景光画像の他の例を示す説明図であり、 図１２は、第４実施形態の測距装置の構成を示すブロック図であり、 図１３は、第４実施形態の測距処理の手順を示すフローチャートである。
Ａ．第１実施形態：
Ａ１．装置構成：
　図１に示すように、本実施形態の測距装置１０は、車両５００に搭載され、車両５００の前方の周囲に存在する物体（以下、「対象物」とも呼ぶ）、例えば、他の車両や歩行者や建物等までの距離を測定する。測距装置１０は、照射光Ｌｚを照射して、対象物からの反射光を受光する。図１では、照射光Ｌｚの射出中心位置を原点とし、車両５００の前方方向をＹ軸とし、原点を通り車両５００の幅方向左から右の方向をＸ軸とし、原点を通り鉛直上方をＺ軸として表わしている。図１に示すように、照射光Ｌｚは、Ｚ軸方向に縦長の光であり、Ｘ－Ｙ平面と平行な方向の一次元走査により照射される。測距装置１０は、対象物からの照射光Ｌｚの反射光に加えて、背景光を受光する。背景光とは、照射光Ｌｚとは異なる光（直接光）、または、かかる光が対象物に反射して測距装置１０にて受光された光を意味する。照射光Ｌｚとは異なる光とは、例えば、日光や街灯の光などが該当する。測距装置１０は、所定範囲Ａｒからそれぞれ受光した光の強度に関連する情報を利用して背景光の強度を特定し、かかる強度に基づき閾値を設定する。そして、各所定範囲Ａｒから受光した光のうち設定された閾値以上の強度の光を対象物からの反射光として特定し、照射光Ｌｚを照射してから反射光を受光するまでの時間、すなわち、光の飛行時間ＴＯＦ（Time of Flight）を特定する。そして、かかる飛行時間ＴＯＦを、車両５００と対象物との間を光が往復する時間であるものとして、対象物までの距離を算出する。上述の所定範囲Ａｒは、後述の画素Ｇに対応する範囲である。
　図２に示すように、測距装置１０は、照射部２０と、受光部３０と、４つのマクロピクセル（ＭＰ）用加算器４１、４２、４３、４４と、画素用加算器４５と、距離画像取得部５０と、情報取得部８１と、解像度制御部８２と、を備える。
　照射部２０は、照射光Ｌｚを照射する。照射部２０は、レーザ光源２１と、照射制御部２２と、走査部２３とを備える。レーザ光源２１は半導体レーザダイオードにより構成されており、パルスレーザ光を照射光Ｌｚとして所定周期ごとに照射する。例えば、所定周期は、照射光Ｌｚが照射されて所定範囲内の対象物からの反射光が測距装置１０において受光されるまでに要する期間以上の期間として予め実験等により求めて設定されている。なお、レーザ光源２１から射出された照射光Ｌｚは、図示しない光学系により図１に示すような縦長の照射光Ｌｚに形成される。照射制御部２２は、レーザ光源２１からのパルレーザ光の照射、およびミラー２３２の回動を制御する。走査部２３は、回転軸２３１を中心にミラー２３２を回動させることによって照射光Ｌｚの一次元走査を所定測定範囲に亘って行う。ミラー２３２は、例えば、ＭＥＭＳミラーによって構成される。ミラー２３２の回動は、照射制御部２２によって制御される。走査部２３によって照射光Ｌｚの一次元走査が行われることにより、照射部２０は、測定範囲に対して照射光Ｌｚを照射する方位を変更しながら照射光Ｌｚを照射する。なお、レーザ光源２１として、レーザダイオード素子に代えて、固体レーザ等の他の任意の種類のレーザ光源を用いてもよい。また、照射光Ｌｚは横長でも良く、走査は二次元走査でも良い。
　照射部２０により照射された照射光Ｌｚは、測定範囲内の対象物ＯＢにより反射される。対象物ＯＢにより反射された反射光は、受光部３０により受光される。本実施形態では、受光部３０は、受光面Ｓ１における反射光の大きさが、受光面Ｓ１の大きさよりも小さくなるように構成された図示しない光学系を通じて反射光を受光する。なお、反射光は、その一部（例えば、長手方向の端部）が、受光面Ｓ１からはみ出すように受光部３０によって受光されてもよい。
　受光部３０は、受光面Ｓ１に複数の画素Ｇを二次元配列状に備える。図２では、図示の便宜上、１つの画素Ｇのみ記載している。図１の例では、各画素Ｇは、縦２個×横２個の計４個のマクロピクセルＭＰ１～ＭＰ４を備える。各マクロピクセルＭＰ１～ＭＰ４は、縦５個×横５個の計２５個の受光要素３１を有する。したがって、図１の例では、各画素Ｇは、縦１０個×横１０個の計１００個の受光要素３１を備える。本実施形態において、受光要素３１は、ＳＰＡＤ（シングルフォトンアバランシェダイオード）を備える。ＳＰＡＤは、光（フォトン）を入力すると、一定の確率で、光の入射を示すパルス状の出力信号（以下、「受光信号」とも呼ぶ）を出力する。したがって、図２の例では、各マクロピクセルＭＰ１～ＭＰ４は、それぞれ受光した光の強度に応じて０～２５個の受光信号を出力する。また、画素Ｇ全体として、受光した光の強度に応じて０～１００個の受光信号を出力する。図２に示す画素Ｇの画素範囲、すなわち、縦２個×横２個のマクロピクセルからなり、縦１０個×横１０個の受光要素３１からなる大きさを、本実施形態では、基準画素範囲と呼ぶ。ただし、画素Ｇの大きさ（画素範囲）は、基準画素範囲から可変であり、後述の測距処理において、背景光の強度に応じて設定される。
　ＭＰ用加算器４１は、マクロピクセルＭＰ１を構成する各受光要素３１に接続されており、マクロピクセルＭＰ１内の受光要素３１から出力される受光信号の数を加算する。同様に、他のＭＰ用加算器４２～４４は、マクロピクセルＭＰ２～ＭＰ４を構成する各受光要素３１に接続されており、マクロピクセルＭＰ２～ＭＰ４内の受光要素３１から出力される受光信号の数（以下、「受光数」とも呼ぶ）を、それぞれ加算する。なお、図２では、１つの画素Ｇを構成する４つのマクロピクセルＭＰ１～ＭＰ４に対応する４つのＭＰ用加算器４１～４４のみを表しているが、測距装置１０は、その他の画素Ｇを構成するマクロピクセル用のＭＰ用加算器を複数備えている。
　画素用加算器４５は、１つの画素Ｇの受光数、すなわち１つの画素に含まれる受光要素３１から出力される受光信号の数を加算する。具体的には、画素用加算器４５は、４つのＭＰ用加算器４１～４４に接続されており、各ＭＰ用加算器４１～４４から加算結果、すなわち、各マクロピクセルＭＰ１～ＭＰ４内の受光数の合算値を入力して、これらを合算する。なお、画素用加算器４５は、各画素Ｇに対して設けられているが、図２では、１つの画素Ｇに対応する画素用加算器４５のみを表している。また、画素用加算器４５は、画素範囲が変更された場合には、変更後の画素範囲内の各マクロピクセルから入力する合算値を合算する。
　距離画像取得部５０は、距離画像を取得する。距離画像とは、各画素Ｇの受光強度に基づき算出された各画素Ｇにおける対象物までの距離を示す画像を意味する。距離画像取得部５０は、測距ヒストグラム用メモリ５１と、ピーク検出部５２と、閾値決定部５３と、距離演算部５４とを備える。
　測距ヒストグラム用メモリ５１は、各画素Ｇの受光強度、すなわち、各画素Ｇにおける受光数を単位期間ごとに並べたヒストグラム（以下、「測距ヒストグラム」と呼ぶ）を記憶する。測距ヒストグラム用メモリ５１は、画素用加算器４５から受信する画素Ｇの合算値、すなわち、画素Ｇの受光数を受信して記憶する。なお、測距ヒストグラム用メモリ５１は、各画素Ｇに設けられている。測距ヒストグラム用メモリ５１は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの書き換え可能な不揮発性メモリにより構成してもよい。
　ピーク検出部５２は、測距ヒストグラム用メモリ５１に記憶されている測距ヒストグラム（受光数）に基づき各画素Ｇについての各照射周期Ｔにおいて閾値決定部７２により決定された判定閾値以上の受光数のピークを検出し、そのときの時刻を特定する。図３の例では、上述の時刻ｔ１１のピークおよび時刻ｔ２１のピークが検出される。
　閾値決定部５３は、ピーク検出部７１により検出された測距ヒストグラム（受光数）のピークが照射光Ｌｚの反射光によるピークであるか否かを判定する際に用いられる閾値（以下、「判定閾値」とも呼ぶ）を決定する。閾値決定部７２は、背景光画像に基づき決定される。判定閾値の決定方法の詳細については、後述する。
　距離演算部５４は、対象物までの距離を算出する。具体的には、照射光Ｌｚの照射時刻からピーク検出部７１により検出されたピークの時刻までの期間を飛行時間ＴＯＦとして、対象物までの距離を算出する。図３の例では、ピーク検出部７１により判定閾値Ｔｈｒが決定されており、距離演算部７３は、時刻ｔ１１において受光数が判定閾値Ｔｈｒ以上であるため、時刻ｔ０から時刻ｔ１１までの期間Δｔ１を飛行時間ＴＯＦとして、対象物までの距離を算出する。同様に、距離演算部７３は、時刻ｔ２１において受光数が判定閾値Ｔｈｒ以上であるため、時刻ｔ２から時刻ｔ２１までの期間Δｔ２を飛行時間ＴＯＦとして、対象物までの距離を算出する。
　背景光画像取得部６０は、各画素Ｇにおける背景光の受光強度を示す画像である背景光画像を取得する。背景光画像取得部６０は、第１カウンタ６１と、第２カウンタ６２とを備える。各カウンタ６１、６２は、それぞれ４つのＭＰ用加算器４１～４４に接続されている。第１カウンタ６１は、照射光Ｌｚの照射周期のうち、前半期間における４つのＭＰ用加算器４１～４４から出力される受光数を加算する。第２カウンタ６２は、照射光Ｌｚの照射周期のうち、後半期間における４つのＭＰ用加算器４１～４４から出力される受光数を加算する。
　図３において、横軸は時刻を示し、縦軸は、４つのＭＰ用加算器４１～４４から出力される受光数の合算値を示す。時刻ｔ０から時刻ｔ２までの期間、および時刻ｔ２から時刻ｔ４までの期間は、それぞれ照射光Ｌｚの照射周期Ｔを示している。時刻ｔ１は、時刻ｔ０から時刻ｔ２までの期間の１／２の時刻であり、時刻ｔ３は、時刻ｔ２から時刻ｔ４までの期間の１／２の時刻である。第１カウンタ６１は、時刻ｔ０から時刻ｔ２までの照射周期Ｔのうちの前半期間Ｔａ（時刻ｔ０～ｔ１）における受光数を加算する。同様に、第１カウンタ６１は、時刻ｔ２から時刻ｔ４までの照射周期Ｔのうちの前半期間Ｔａ（時刻ｔ２～ｔ３）における受光数を加算する。また、第２カウンタ６２は、時刻ｔ０から時刻ｔ２までの照射周期Ｔのうちの後半期間Ｔｂ（時刻ｔ１～ｔ２）における受光数を加算する。同様に、第２カウンタ６２は、時刻ｔ２から時刻ｔ４までの照射周期Ｔのうちの後半期間Ｔｂ（時刻ｔ３～ｔ４）における受光数を加算する。
　図３の例では、時刻ｔ０から時刻ｔ２までの照射周期Ｔにおいて時刻ｔ１１に受光数のピークが生じている。このピークは、反射光を受光してことにより生じたピークである。このときの時刻ｔ１～ｔ１１までの期間Δｔ１は、飛行時間ＴＯＦに相当する。同様に、時刻ｔ２から時刻ｔ４までの照射周期Ｔにおいて時刻ｔ２１に受光数のピークが生じている。このピークは、反射光を受光してことにより生じたピークである。このときの時刻ｔ２～ｔ２１までの期間Δｔ２は、飛行時間ＴＯＦに相当する。本実施形態では、受光数のピークの時刻、図３の例では、時刻ｔ１１および時刻ｔ２１をピーク時刻とも呼ぶ。なお、各照射周期Ｔでは、ピーク以外の時刻においても、０（ゼロ）ではない受光数が計測されている。これは、背景光によるものである。
　背景光画像取得部６０は、ピーク検出部７１によりピークが検出された場合、前半期間Ｔａと後半期間Ｔｂとのうち、ピークが検出された時刻を含まない期間の受光数を利用して背景光画像を取得する。かかる背景光画像の取得の詳細については、後述する。なお、背景光画像取得部６０は、第１カウンタ６１および第２カウンタ６２の組を、画素Ｇごとに備えているが、図２では図示の便宜上、１つの画素Ｇに対応するカウンタ６１、６２の組のみを表している。
　図２に示す情報取得部８１は、背景光の強度に関連する情報（以下、「強度関連情報」と呼ぶ）を取得する。本実施形態において、強度関連情報は、下記（ｉ）～（ｉｖ）が該当する。
　（ｉ）背景光画像の強度を示す受光数の情報。
　（ｉｉ）車両５００が備える図１に示すライト５１１の点灯状態を示す情報。
　（ｉｉｉ）車両５００が備える図１に示す日射センサ５１２の検出結果を示す情報。
　（ｉｖ）車両５００が備える図１に示すワイパ装置５１３の動作状態を示す情報。
　上記情報（ｉ）は、背景光画像取得部６０から取得する。背景光画像取得部６０では、閾値決定部７２と同様に、背景光画像の平均受光数を求め、かかる平均受光数についての情報を、背景光画像の強度を示す情報として情報取得部８１に送信する。上記情報（ｉｉ）は、ライト５１１が点灯しているか消灯しているかを示す情報を意味し、ライト５１１を制御するＥＣＵ（Electronic Control Unit）から取得される。上記情報（ｉｉｉ）は、日射センサ５１２により検出された日射量を意味し、日射センサ５１２を制御するＥＣＵから取得される。上記情報（ｉｖ）は、ワイパ装置５１３が動作しているか否かを示す情報を意味し、ワイパ装置５１３を制御するＥＣＵから取得される。
　解像度制御部８２は、情報取得部８１により取得された強度関連情報に関連する背景光の強度に応じて、距離画像と背景光画像とに対してそれぞれ独立して画素範囲の大きさを設定して、距離画像の解像度と、背景光画像の解像度とを制御する。画素用加算器４５は、解像度制御部８２により設定された画素範囲に応じて、１つの画素に含まれるすべてのＭＰ用加算器から受光数を取得して合算する。また、背景光画像取得部６０は、解像度制御部８２により設定された画素範囲に応じて、１つの画素に含まれるすべてのＭＰ用加算器から受光数を取得して第１カウンタ６１または第２カウンタ６２により合算する。なお、解像度制御部８２が実行する処理の詳細については、後述する。
Ａ２．測距処理：
　図４に示す測距処理は、対象物までの距離を測定するための処理である。かかる測距処理は、車両５００のイグニッションがオンすると実行される。なお、車両５００において、予め測距処理の開始および終了のユーザによる指示を受け付けるインターフェイス、例えば、インストルメントパネルに設けられた物理的なボタンや、モニタに表示されるメニュー画面において、ユーザによる開始指示を受け付けた場合に、測距処理が開始されてもよい。測距処理に含まれる後述のステップＳ１０５～Ｓ１５０は、照射周期Ｔごとに繰り返し実行される。
　情報取得部８１は、背景光の強度関連情報を取得する（ステップＳ１０５）。具体的には、上述の情報（ｉ）～（ｉｖ）をすべて取得する。情報（ｉ）については、前回周期で求められた背景光画像全体での平均受光数が取得される。
　解像度制御部８２は、ステップＳ１０５で得られた強度関連情報に基づき、照射光Ｌｚの照射範囲の明るさ環境を特定する（ステップＳ１１０）。本実施形態において、明るさ環境とは、明るい環境（以下、「明環境」と呼ぶ）と、明環境よりも暗い環境（以下、「暗環境」と呼ぶ）とのいずれかを意味する。解像度制御部８２は、背景光の平均受光数が閾値以上である場合に明環境であり、閾値未満である場合に暗環境であると判断する。ステップＳ１１０では、上記情報（ｉ）に関して、背景光画像の平均受光数が閾値以上であり、上記情報（ｉｉ）がライト５１１は消灯状態であることを示し、上記情報（ｉｉｉ）が日射センサ１２の検出結果は所定の日射量閾値以上であることを示し、上記（ｉｖ）がワイパ装置５１３は動作していないことを示す場合に、明環境であると特定し、それ以外の場合に暗環境であると特定する。一般的には、晴れた日の昼間に建物の陰やトンネル内等とは異なる場所を車両５００が走行中である場合に明環境であると特定される。これに対して、夜間である場合や、建物の陰やトンネル内を走行中である場合などには、暗環境であると特定される。
　解像度制御部８２は、ステップＳ１１０で特定された明るさ環境に応じて、距離画像と、背景光画像と、についてそれぞれ独立して解像度を決定する（ステップＳ１１５）。
　ステップＳ１１５において、解像度制御部８２は、明環境においては、距離画像Ｆｄ１については、画素範囲を基準画素範囲よりも大きくすることにより解像度を下げ、背景光画像Ｆｂ１については、画素範囲を基準画素範囲とする。図５に示すように、明環境の距離画像Ｆｄ１の画素Ｇｄ１の大きさは、背景光画像Ｆｂ１の画素Ｇｂ１、すなわち、画素Ｇの大きさよりも大きい。つまり、距離画像は、背景光画像よりも低分解能になる。本実施形態では、画素Ｇａ１の横は、画素Ｇの横の３倍であり、画素Ｇａ１の縦は、画素Ｇの縦の４倍である。なお、画素Ｇａ１の具体的な大きさは、本実施形態の大きさに限らず、画素Ｇよりも大きな任意の大きさにしてもよい。
　また、ステップＳ１１５において、解像度制御部８２は、暗環境においては、距離画像Ｆｄ２の画素範囲を基準画素範囲とし、背景光画像Ｆｂ２については、画素範囲を大きくすることにより解像度を下げる。図６に示す暗環境の背景光画像Ｆｂ２の画素範囲は、図５に示す明環境の距離画像Ｆｄ１の画素範囲と同じである。なお、暗環境の背景光画像Ｆｂ２の画素範囲を、明環境の距離画像Ｆｄ１の画素範囲と異ならせてもよい。但し、基準画素範囲（画素Ｇ）の大きさよりも大きくする。つまり、背景光画像は、距離画像よりも低分解能になる。ステップＳ１１５におけるこのような解像度の設定理由については、後述する。なお、図５、６では、各画素（画素範囲）の大きさのみを示し、各画素における受光強度は省略されている。
　図４に示すように、解像度制御部８２は、ステップＳ１１５で決定された距離画像の解像度、すなわち、距離画像の画素範囲に応じて、ＭＰ用加算器と画素用加算器４５との対応付けを行い、背景光画像取得部６０は、ステップＳ１１５で決定された距離画像の解像度、すなわち、距離画像の画素範囲に応じて、ＭＰ用加算器と２つのカウンタ６１、６２との対応付けを行う（ステップＳ１２０）。例えば、図５に示す明環境の距離画像については、図２に示す基準画素範囲（画素Ｇ）に比べて、横に３倍の数のＭＰ用加算器と、縦に４倍の数のＭＰ用加算器とを、１つの画素用加算器４５に対応付ける。また、例えば、図５に示す明環境の背景光画像については、図２のように、４つのＭＰ用加算器４１～４４を、２つのカウンタ６１、６２にそれぞれ対応付ける。
　図４に示すように、照射部２０は、照射光Ｌｚを照射する（ステップＳ１２５）。対象物ＯＢが存在する場合には、対象物ＯＢからの反射光が受光要素３１により受光されて受光信号が出力される。そして、ステップＳ１２０においてＭＰ用加算器に対応付けられた画素用加算器４５に受光数が加算されると共に、２つのカウンタ６１、６２に受光数が加算される。
　距離画像取得部５０は、距離画像、すなわち、各画素の受光数を示す情報を取得する（ステップＳ１３０）。背景光画像取得部６０は、背景光画像を取得する（ステップＳ１３５）。背景光画像の取得方法について説明する。まず、背景光画像取得部６０は、画素Ｇごとに前回の照射周期Ｔの前半期間Ｔａと後半期間Ｔｂとのうち、いずれかでピークが検出されたかを特定する。次に、ピークが検出された期間として特定された期間に対応する今回の照射周期Ｔにおける期間の受光数を、第１カウンタ６１および第２カウンタ６２を用いて特定する。例えば、図３に示すように、図２に示す画素Ｇについては、時刻ｔ０～ｔ２の照射周期Ｔでは、前半期間Ｔａにおいてピークが検出されるので、次の時刻ｔ２～ｔ４までの照射周期Ｔでは、後半期間Ｔｂにおける受光数、すなわち、第２カウンタ６２の値が背景光画像の受光数として特定される。そして、背景光画像取得部６０は、各画素Ｇについて、今回の照射周期Ｔにおいて特定された受光数を、照射周期Ｔの全体に亘る受光数に換算して特定する。例えば、上述のように、後半期間Ｔｂにおける受光数、すなわち、第２カウンタ６２の値が特定された場合には、かかる値を２倍することにより、照射周期Ｔの全体に亘る受光数を特定する。これとは逆に、前半期間Ｔａにおける受光数、すなわち、第１カウンタ６１の値が特定された場合も同様に、かかる値を２倍することにより、照射周期Ｔの全体に亘る受光数が特定される。さらに、仮に、前半期間Ｔａと後半期間Ｔｂとのいずれにおいてもピークが検出されない場合には、第１カウンタ６１の値と、第２カウンタ６２の値とを合算した値が、照射周期Ｔの全体に亘る受光数として特定される。なお、背景光は合算した値でなく、平均した値を使用しても良い。また、照射周期Ｔの１／２の期間、すなわち、前半期間Ｔａおよび後半期間Ｔｂは、本開示における単位期間の下位概念に相当する。
　図４に示すように、閾値決定部７２は、ステップＳ１３５において取得された背景光画像を利用して判定閾値を決定する（ステップＳ１４０）。このとき、距離画像の解像度に合わせて、画素Ｇごとに判定閾値が決定される。例えば、図５に示す距離画像Ｆｄ１の１つの画素Ｇｄ１に対して、背景光画像において対応する位置に存在する合計１２個の画素Ｇｂ１の背景光画像の受光数の平均値が求められ、かかる平均値よりも大きな値として判定閾値が決定される。
　ピーク検出部７１は、ステップＳ１４０において決定された判定閾値をステップＳ１３０で取得された距離画像に適用して、ピーク時刻を特定する（ステップＳ１４５）。上述のように、図３の例では、時刻ｔ１１、ｔ２１がピーク時刻として特定される。
　距離演算部７３は、ステップＳ１４５で特定されたピーク時刻を利用して、対象物ＯＢまでの距離を算出する（ステップＳ１５０）。
　ここで、上述のステップＳ１１５において、明環境における距離画像の画素範囲と、暗環境における背景光画像の画素範囲とを基準画素範囲よりも大きくすることにより解像度を下げる理由について、説明する。明環境においては、背景光は強いため、少ないＳＰＡＤで１画素を構成した場合、各画素において検出される反射光と背景光との強度比が小さくなり、換言すると、Ｓ／Ｎ比が劣化し、反射光（対象物ＯＢ）を正確に特定できなくなる。このため、本実施形態では、明環境の距離画像については、画素範囲を基準画素範囲よりも大きくすることにより解像度を下げ、これにより、多くのＳＰＡＤで１画素を構成して、ノイズ（背景光）の影響を抑えて反射光（対象物ＯＢ）を正確に特定するようにしている。
　また、暗環境においては、背景光の明るさが弱いため、少ないＳＰＡＤで１画素を構成した場合、背景光をほとんど検出できなくなるおそれがある。このため、本実施形態では、暗環境の背景光画像については、画素範囲を基準画素範囲よりも大きくすることにより解像度を下げ、これにより、多くのＳＰＡＤで１画素を構成して、背景光を正確に特定するようにしている。
　以上説明した第１実施形態の測距装置１０によれば、取得された強度関連情報に関連する背景光の強度に応じて、距離画像と背景光画像とに対してそれぞれ独立して画素範囲の大きさを設定して、距離画像の解像度と背景光画像の解像度とを制御するので、測距装置の使用環境に応じて、距離画像および背景光画像の解像度を適切に設定できる。
　また、明環境である場合、すなわち、背景光の強度が高い場合には、該強度が低い場合に比べて、距離画像の画素範囲の大きさを大きく設定して解像度を下げるので、ノイズ（背景光）の影響を抑えて反射光（対象物ＯＢ）を正確に特定するようにしている。したがって、対象物ＯＢが車両５００から遠距離に存在する場合にも、対象物ＯＢまでの距離を正確に測定できる。
　また、暗環境である場合、すなわち、背景光の強度が低い場合には、該強度が高い場合に比べて、背景光画像の画素範囲の大きさを大きく設定して解像度を下げるので、背景光を正確に特定できる。このため、判定閾値として適切な値を設定でき、対象物ＯＢからの反射光（ピーク）を正確に検出できる。
　また、明るさ環境、すなわち、背景光の強度の高低を、上述の４つの情報（ｉ）～（ｉｖ）を利用して特定するので、かかる明るさ環境を正確に特定できる。
　また、受光要素３１としてＳＰＡＤを備えるので、各画素Ｇにおける受光の有無を精度良く特定できる。
　また、判定閾値を決定する際に用いる背景光画像は、照射周期Ｔを構成する２つの前半期間Ｔａ、後半期間Ｔｂのうち、ピークが検出されない期間の受光数を利用して取得されるので、反射光の影響を受けずに背景光の強さを精度良く特定できる。また、背景光画像を取得するために、例えば、照射光Ｌｚの照射前の期間といった、照射周期Ｔとは別の期間を要しないので、背景光画像を効率よく取得できる。また、照射周期Ｔごとに背景光画像を取得するので、明るさ環境が照射範囲内において部分的に変化した場合にも判定閾値を適切な値に設定できる。
Ｂ．第２実施形態：
　第２実施形態の測距装置１０の装置構成は、第１実施形態の測距装置１０と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。また、第２実施形態の測距処理の手順は、図４に示す第１実施形態の測距処理の手順と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。
　第２実施形態の測距装置１０では、測距処理のステップＳ１１５の詳細な手順が第１実施形態と異なる。具体的には、解像度制御部８２は、明環境においては、距離画像の画素範囲を基準画素範囲とし、背景光画像については、画素範囲を小さくすることにより解像度を上げる。また、解像度制御部８２は、暗環境においては、距離画像については、画素範囲を基準画素範囲よりも小さくすることにより解像度を上げ、背景光画像については、画素範囲を基準画素範囲とする。
　明環境においては、背景光は強いため、少ないＳＰＡＤでも十分に背景光の強さを検出できる。このため、画素範囲を小さくすることにより、背景光の強度を高い分解能で取得できる。
また、暗環境においては、ノイズとしての背景光が弱いため、対象物からの反射光を識別し易い。このため、画素範囲を小さくしても反射光を正確に特定でき、また、高い精度且つ高い分解能の距離画像を取得できる。したがって、遠距離に存在する対象物ＯＢを正確に特定でき、また、近距離に存在する小さな対象物ＯＢを正確に特定できる。
　以上説明した第２実施形態の測距装置１０は、第１実施形態の測距装置１０と同様な効果を有する。加えて、明環境においては、背景光画像について画素範囲を小さくすることにより解像度を上げるので、背景光の強度を高い分解能で取得できる。また、暗環境においては、距離画像について画素範囲を基準画素範囲よりも小さくすることにより解像度を上げるので、高い分解能で距離画像を取得できる。このため、遠距離に存在する対象物ＯＢを正確に特定でき、また、近距離に存在する小さな対象物ＯＢを正確に特定できる。
Ｃ．第３実施形態：
　第３実施形態の測距装置１０の装置構成は、第１実施形態の測距装置１０と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。図７に示す第３実施形態の測距処理は、ステップＳ１０５、Ｓ１１０、Ｓ１１５、Ｓ１４０、Ｓ１４５、Ｓ１５０に代えて、ステップＳ１０５ａ、Ｓ１１０ａ、Ｓ１１５ａ、Ｓ１４０ａ、Ｓ１４５ａ、Ｓ１５０ａを実行する点において、第１実施形態の測距処理と異なる。第３実施形態の測距処理の他の手順は、第１実施形態の測距処理の手順と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。
　情報取得部８１は、背景光の強度関連情報を、所定領域ごとに取得する（ステップＳ１０５ａ）。本実施形態において、所定領域は、縦が画素Ｇ（基準画素範囲）の４倍、横が画素Ｇ（基準画素範囲）の３倍の矩形領域である。なお、ステップＳ１０５ａでは、上記情報（ｉ）～（ｉｖ）のうちの上記（ｉ）についてのみ所定領域ごとに取得し、他の３つの情報（ｉｉ）～（ｉｖ）については、第１実施形態と同様にして取得する。情報（ｉ）については、所定領域に含まれる各画素Ｇの背景光の画素値（前回の照射周期Ｔでピークが検出されなかった期間の受光数の合算値）が取得される。
　解像度制御部８２は、ステップＳ１０５ａで得られた強度関連情報に基づき、照射光Ｌｚの照射範囲の明るさ環境（明環境または暗環境）を、所定領域ごとに特定する（ステップＳ１１０ａ）。本実施形態では、明るさ環境として、３つの段階の環境に区分されて特定される点において、第１実施形態と異なる。すなわち、背景光の平均受光数が第１閾値よりも高い明環境と、背景光の平均受光数が第１閾値以下であり、かつ、第２閾値よりも大きな中環境と、第２閾値以下である暗環境の合計３つの段階の環境に区分されて特定される。なお、第２閾値は、第１閾値よりも低い値である。
　解像度制御部８２は、ステップＳ１１０で特定された明るさ環境に応じて、距離画像と、背景光画像と、についてそれぞれ独立して解像度を所定領域ごとに決定する（ステップＳ１１５ａ）。
　図８に示す画像Ｆｇ０は、測距処理が実行される際の車両５００の前方の周辺環境の一例を表している。この例では、車両５００の前方には、太陽ＳＮと、道路ＲＤの反対車線を走行する対向車両ＣＡとが存在する。
　車両５００から見て太陽ＳＮが存在する領域では、背景光は強い。このため、かかる領域に含まれる所定領域については、明環境であると特定される。したがって、図９の上段に示すように、距離画像Ｆｇ１においては、太陽ＳＮに対応する領域Ｐ１１に含まれる所定領域については、大きな画素範囲が１つの画素Ｇｄ３として特定される。これに対して、距離画像Ｆｇ１において領域Ｐ１１を除く他の領域Ｐ１２に含まれる所定領域については、中環境であると特定され、中程度の大きさの画素範囲が１つの画素Ｇｄ４として特定される。本実施形態では、距離画像において明環境であると特定された所定領域の画素範囲は、所定領域と同じであり、縦が画素Ｇ（基準画素範囲）の４倍、横が画素Ｇ（基準画素範囲）の３倍の矩形領域である。また、距離画像において、中環境であると特定された所定領域の画素範囲は、縦が画素Ｇ（基準画素範囲）の２倍、横が画素Ｇ（基準画素範囲）の１倍の矩形領域である。
　図９の下段に示すように、背景光画像Ｆｇ２においては、明環境であると特定された領域Ｐ１１に含まれる所定領域については、小さな画素範囲が１つの画素Ｇｂ３として特定される。これに対して、背景光画像Ｆｇ２において領域Ｐ１１を除く他の領域Ｐ１２に含まれる所定領域については、中程度の画素範囲が１つの画素Ｇｂ４として特定される。本実施形態では、背景光画像において明環境であると特定された所定領域の画素範囲は、基準画素範囲と同じである。また、背景光画像において中環境であると特定された所定領域の画素範囲は、縦が画素Ｇ（基準画素範囲）の２倍、横が画素Ｇ（基準画素範囲）の１倍の矩形領域である。なお、背景光画像Ｆｇ２における領域Ｐ１１は、本開示における明部の下位概念に相当する。また、背景光画像Ｆｇ２における領域Ｐ１２は、本開示における明部を除く他の部分の下位概念に相当する。また、距離画像Ｆｇ１における領域Ｐ１１は、本開示における明部対応部の下位概念に相当する。また、距離画像Ｆｇ１における領域Ｐ１２は、本開示における明部対応部を除く他の部分の下位概念に相当する。
　図１０に示す画像Ｆｇ３は、測距処理が実行される際の車両５００の前方の周辺環境の他の例を表している。この例では、車両５００の前方には、建物ＢＤと、道路ＲＤの反対車線を走行する対向車両ＣＡとが存在する。建物ＢＤの陰ＳＤが道路ＲＤに延びている。
　車両５００から見て、陰ＳＤが存在する領域では、背景光は弱い。このため、かかる領域に含まれる所定領域については、暗環境であると特定される。したがって、図１１の上段に示すように、距離画像Ｆｇ４においては、陰ＳＤに対応する領域Ｐ４１に含まれる所定領域については、小さな画素範囲が１つの画素Ｇｄ５として特定される。これに対して、距離画像Ｆｇ４において領域Ｐ４１を除く他の領域Ｐ４２に含まれる所定領域については、中環境であると特定され、中程度の大きさの画素範囲が１つの画素Ｇｄ６として特定される。本実施形態では、距離画像において暗環境であると特定された処理領域の画素範囲は、基準画素範囲と同じである。
　図１１の下段に示すように、背景光画像Ｆｇ５においては、暗環境であると特定された領域Ｐ４１に含まれる所定領域については、大きな画素範囲が１つの画素Ｇｂ５として特定される。これに対して、背景光画像Ｆｇ５において領域Ｐ４１を除く他の領域Ｐ４２に含まれる所定領域については、中環境であると判定され、中程度の大きさの画素範囲が１つの画素Ｇｂ６として特定される。なお、背景光画像Ｆｇ５における領域Ｐ４２は、本開示における明部の下位概念に相当する。また、背景光画像Ｆｇ５における領域Ｐ４１は、本開示における明部を除く他の部分の下位概念に相当する。また、距離画像Ｆｇ４における領域Ｐ４２は、本開示における明部対応部の下位概念に相当する。また、距離画像Ｆｇ４における領域Ｐ４１は、本開示における明部対応部を除く他の部分の下位概念に相当する。
　図７に示すように、ステップＳ１１５ａの実行後、上述のステップ１２０～Ｓ１５０が実行される。
　以上説明した第３実施形態の測距装置１０は、第１実施形態の測距装置１０と同様な効果を有する。加えて、所定領域ごとに明るさ環境を判定し、距離画像の解像度を設定するので、背景光（ノイズ）が弱い領域では、高い分解能にて距離や反射光を測定でき、また、背景光が強い領域であっても距離や反射光を精度良く特定できる。また、所定領域ごとに明るさ環境を判定し、背景光画像の解像度を設定するので、背景光（ノイズ）が弱い領域であっても背景光を精度良く特定でき、また、背景光（ノイズ）が強い領域では、判定閾値としてより適切な値を設定できる。
Ｄ．第４実施形態：
　第４実施形態の測距装置１０ａは、図１２に示すように、ＭＰ用加算器４１～４４に代えて測距ヒストグラム用メモリ９１、９２、９３、９４を備える点と、距離画像取得部５０に代えて距離画像取得部５０ａを備える点とにおいて、第１実施形態の測距装置１０と異なる。第４実施形態の測距装置１０ａにおけるその他の構成は、第１実施形態の測距装置１０と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
　測距ヒストグラム用メモリ９１は、マクロピクセルＭＰ１を構成する各受光要素３１に接続されており、マクロピクセルＭＰ１についてのヒストグラム、つまり、マクロピクセルＭＰ１内の受光要素３１から出力される受光信号の数を単位期間ごとに並べたヒストグラムを記憶する。同様に、測距ヒストグラム用メモリ９２は、他の測距ヒストグラム用メモリ９１～９４は、マクロピクセルＭＰ２～ＭＰ４についてのヒストグラム、つまり、マクロピクセルＭＰ２～ＭＰ４内の受光要素３１から出力される受光信号の数を単位期間ごとに並べたヒストグラムを記憶する。
　距離画像取得部５０ａは、測距ヒストグラム用メモリ５１を備えない点と、画素用加算器４５を備える点とにおいて、第１実施形態の距離画像取得部５０と異なる。第４実施形態の距離画像取得部５０ａにおけるその他の構成は、第１実施形態の距離画像取得部５０と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
　第４実施形態では、画素用加算器４５は、上述の各測距ヒストグラム用メモリ９１～９４に接続されている。画素用加算器４５は、解像度制御部８２により設定された画素範囲に応じて、測距ヒストグラム用メモリ９１～９４のうちから選択される測距ヒストグラム用メモリからヒストグラムを取得し、これらのヒストグラムを加算（合算）して測距ヒストグラムを生成する。例えば、明環境の場合には、距離画像については、４つのマクロピクセルＭＰ１～ＭＰ４のヒストグラムをすべて加算して１つの画素の測距ヒストグラムとしてもよい。他方、明環境の背景光画像については、マクロピクセルＭＰ１のヒストグラムとマクロピクセルＭＰ４のヒストグラムとを加算して１つの画素の測距ヒストグラムとし、同様に、マクロピクセルＭＰ２のヒストグラムとマクロピクセルＭＰ３のヒストグラムとを加算して１つの画素の測距ヒストグラムとしてもよい。
　図１３に示す第４実施形態の測距処理は、ステップＳ１２０に代えてステップＳ１２０ａを実行する点と、ステップＳ１２５～Ｓ１３５を省略する点と、ステップＳ１２６およびＳ１２８を追加実行する点とにおいて、第１実施形態の測距処理と異なる。第４実施形態の測距処理におけるその他の手順は、第１実施形態の測距処理と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。
　ステップＳ１１５の完了後、解像度制御部８２は、ステップＳ１１５で決定された距離画像の解像度、すなわち、距離画像の画素範囲に応じて、測距ヒストグラム用メモリと画素用加算器４５との対応付けを行い、背景光画像取得部６０は、ステップＳ１１５で決定された距離画像の解像度、すなわち、距離画像の画素範囲に応じて、測距ヒストグラム用メモリと２つのカウンタ６１、６２との対応付けを行う（ステップＳ１２０ａ）。かかるステップＳ１２０ａの後、照射光Ｌｚの照射（ステップＳ１２５）は省略されて、ステップＳ１１５で設定された解像度に従い、選択されたマクロピクセルＭＰの背景光を合算して背景光画像を取得する（ステップＳ１２６）。同様に、ステップＳ１１５で設定された解像度に従い、画素用加算器４５で加算して生成したヒストグラムにより、距離画像を取得する（ステップＳ１２８）上述のように、第４実施形態の測距装置１０ａでは、各マクロピクセルＭＰ１～ＭＰ４に対して測距ヒストグラム用メモリ９１～９４が設けられているので、各マクロピクセルＭＰ１～ＭＰ４における受光数の情報は既に得られている。このため、ステップＳ１１５において距離画像と背景光画像についてそれぞれ解像度が決定された後、改めて照射光Ｌｚを照射しなくても、測距ヒストグラム用メモリ９１～９４に記憶されているデータ（測距ヒストグラム）に基づき、判定閾値を決定し、ピーク時刻を特定し、距離を算出できる。ステップＳ１２８の完了後、上述のステップＳ１４０～Ｓ１５０が実行される。
　以上説明した第４実施形態の測距装置１０ａは、第１実施形態の測距装置１０と同様の効果を有する。
Ｅ．他の実施形態：
　（Ｅ１）各実施形態では、ステップＳ１４０において判定閾値を決定する際に、画素Ｇごとに判定閾値が決定されていたが、本開示はこれに限定されない。例えば、画像全体で１つの判定閾値が決定されてもよい。かかる構成では、例えば、全ての画素Ｇの画素値（受光数）の平均値を求め、かかる平均値よりも大きな値として決定されてもよい。また、各実施形態では、判定閾値は、距離画像の１つの画素に対して、背景光画像において対応する位置に存在する全ての画素の受光数の平均値であったが、本開示はこれに限定されない。例えば、距離画像の１つの画素に対して、背景光画像において対応する位置に存在する全ての画素の分散または中央値等の統計値であってもよい。
　（Ｅ２）各実施形態では、明るさ環境を特定する際に用いる強度関連情報のうち、情報（ｉ）については、前回の照射周期Ｔにおける背景光画像の強度を示す受光数であったが、本開示はこれに限定されない。例えば、前々回の照射周期Ｔにおける背景光画像の強度を示す受光数を用いてもよい。また、例えば、前回以前の複数の照射周期Ｔにおける背景光画像の強度の平均値、合算値、中央値、分散等の統計値を用いてもよい。
　（Ｅ３）各実施形態では、明るさ環境を特定する際に用いる強度関連情報は、情報（ｉ）～（ｉｖ）の合計４つであったが、本開示はこれに限定されない。例えば、ユーザが視認等で明るさ環境を判断し、その判断結果を所定のユーザインターフェイスから車両５００に入力する構成としてもよい。かかる構成においては、所定のユーザインターフェイスから入力される明るさ環境を示す情報が、強度関連情報に該当する。また、例えば、情報（ｉ）～（ｉｖ）の一部を省略してもよい。また、例えば、車両５００に搭載されたマイクにより取得された音の大きさや高低などを、強度関連情報として用いてもよい。かかる構成においては、例えば、音が閾値強度よりも大きい場合には、昼間であるものと推定して明環境であると特定し、閾値強度以下の場合には、夜間であるものと推定して暗環境であると特定してもよい。
　（Ｅ４）各実施形態では、測距処理の中で、距離画像の解像度と背景光画像の解像度とを決定していたが、かかる解像度の決定を、測距処理とは別の処理として実行してもよい。具体的には、解像度決定処理として、まず、照射光Ｌｚの照射および反射光の受光を行い、その後、上述のステップＳ１０５～Ｓ１２０と、Ｓ１４０とを実行する。測距処理では、ステップＳ１２５、Ｓ１３０、Ｓ１３５、Ｓ１４５、Ｓ１５０を実行する。このような構成においても、各実施形態と同様な効果を奏する。
　（Ｅ５）各実施形態では、測距処理において取得される画像は、距離画像と背景光画像の２種類であったが、これらの画像に加えて、各画素における対象物ＯＢからの反射率を示す画像（以下、「反射強度画像」と呼ぶ）が取得されてもよい。なお、かかる反射強度画像においては、距離画像と同じ解像度が決定されてもよい。
　（Ｅ６）各実施形態の測距装置１０は、例えば、以下のような装置に適用可能である。例えば、車両５００の走行経路を生成する経路生成装置に適用できる。かかる構成においては、走行中の道路において障害物を避けるような経路を生成する際に、測距装置１０により検出された対象物ＯＢまでの距離を利用してもよい。また、例えば、自動運転制御装置に適用できる。かかる構成においては、測距装置１０により検出された対象物ＯＢまでの距離を利用して、車両５００の速度や操舵量を決定してもよい。また、例えば、対象物ＯＢまでの距離を車両５００の乗員に表示するための検出結果表示装置に適用できる。かかる構成においては、車両５００の乗員は、車両５００の前方に存在する物体までの距離を視覚的に確認できる。また、例えば、遠隔操作制御装置に対して車両５００の周囲の状況を通知する遠隔情報取得装置に適用できる。かかる構成においては、車両５００を遠隔操作するオペレータ側の遠隔操作制御装置（例えば、サーバ装置）に対して、対象物ＯＢまでの距離の情報の他、距離画像や背景光画像を送信してもよい。また、例えば、測距装置１０を、車両５００に搭載することに代えて、固定設置してもよい。例えば、監視カメラ（定点カメラ）に測距装置１０を搭載し、画像を取得するとともに、対象物ＯＢまでの距離を測定してもよい。
　（Ｅ７）各実施形態では、判定閾値を決定する際に用いる背景光画像は、照射周期Ｔを構成する２つの前半期間Ｔａ、後半期間Ｔｂのうち、ピークが検出されない期間の受光数を利用して取得されていたが、本開示は、これに限定されない。例えば、ピークの有無に関わらず、照射周期Ｔのすべての期間の合計受光数を利用して取得されてもよい。かかる構成においては、例えば、照射周期Ｔのすべての期間の合計受光数に対して、所定割合を掛け合わせて得られた値を、判定閾値として設定してもよい。また、各実施形態では、前半期間Ｔａと後半期間Ｔｂとを均一に２等分していたが、本開示はこれに限定されない。例えば、１０等分し、前半期間Ｔａを９／１０、後半期間Ｔｂを残り（１／１０）としてもよい。また、このようにすることで、後半期間Ｔｂにおける受光を、対象物がほぼ確実に存在しない非常に遠距離からの反射光の受光、つまりは、非照射期間に取得された受光に限定できる。このため、背景光画像取得部６０によるピーク判定を省略し、後半期間Ｔｂの合計受光数を背景光強度としてもよい。また、背景光としては、合計受光数に代えて、受光数の平均値、中央値、標準偏差、分散等の任意の種類の統計値を用いてもよい。
　（Ｅ８）各実施形態における測距装置１０の構成は、あくまでも一例であり、様々に変更可能である。例えば、第１、２実施形態において明るさ環境は２段階であり、第３実施形態において明るさ環境は３段階であったが、任意の数の段階であってもよい。また、各明るさ環境における各画像（距離画像および背景光画像）の解像度（画素範囲の大きさ）は、任意の値に設定してもよい。また、第３実施形態の所定領域の大きさは任意の大きさであってもよい。例えば、距離画像および背景光画像の全体を等分に４分割した１つを所定領域としてもよい。また、受光要素３１として、ＳＰＡＤ以外の任意の受光素子を用いてもよい。
　（Ｅ９）本開示に記載の測距装置１０及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の測距装置１０及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の測距装置１０及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
　本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した形態中の技術的特徴に対応する各実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

Claims (8)

  1. 　対象物（ＯＢ）までの距離を測定する測距装置（１０）であって、
    　照射光を照射する照射部（２０）と、
    　複数の受光要素（３１）が面状に配列された受光面（Ｓ１）を有し、変更可能に設定されている大きさの画素範囲内の前記受光要素の集まりを一画素として、各画素（Ｇ）に含まれる前記受光要素の受光状態に応じた受光信号を出力する受光部（３０）と、
    　出力された前記受光信号を利用して、各画素における前記対象物を含む前記照射光の照射範囲内の物体までの距離を示す距離画像を取得する距離画像取得部（５０）と、
    　出力された前記受光信号を利用して、各画素における背景光の受光強度を示す背景光画像を取得する背景光画像取得部（６０）と、
    　前記背景光の強度に関連する強度関連情報を取得する情報取得部（８１）と、
    　取得された前記強度関連情報に関連する前記背景光の強度に応じて、前記距離画像と前記背景光画像とに対してそれぞれ独立して前記画素範囲の大きさを設定して、前記距離画像の解像度と前記背景光画像の解像度とを制御する解像度制御部（８２）と、
    　を備える、測距装置。
  2. 　請求項１に記載の測距装置において、
    　前記解像度制御部は、前記強度関連情報に関連する前記背景光の強度が高い場合には、該強度が低い場合に比べて、前記背景光画像の少なくとも一部について前記画素範囲の大きさを小さく設定する、
    　測距装置。
  3. 　請求項２に記載の測距装置において、
    　前記解像度制御部は、前記背景光画像において前記背景光の強度が予め定められている閾値以上の部分である明部における前記画素範囲の大きさを、前記背景光画像において前記明部を除く他の部分における前記画素範囲の大きさよりも小さく設定する、測距装置。
  4. 　請求項１から請求項３までのいずれか一項に記載の測距装置において、
    　前記解像度制御部は、前記強度関連情報に関連する前記背景光の強度が高い場合には、該強度が低い場合に比べて、前記距離画像の少なくとも一部について前記画素範囲の大きさを大きく設定する、
    　測距装置。
  5. 　請求項３に従属する請求項４に記載の測距装置において、
    　前記解像度制御部は、前記距離画像において前記明部に対応する部分である明部対応部の前記画素範囲の大きさを、前記距離画像における前記明部対応部を除く他の部分における前記画素範囲の大きさよりも大きく設定する、測距装置。
  6. 　請求項１から請求項５までのいずれか一項に記載の測距装置において、
    　前記強度関連情報は、
    　　前記背景光の強度を示す情報と、
    　　前記測距装置が搭載された車両（５００）が備えるライト（５１１）の点灯状態を示す情報と、
    　　前記車両が備える日射センサ（５１２）であって日光の照射量を検出する日射センサの検出結果を示す情報と、
    　　前記車両が備えるワイパ装置（５１３）の動作状態を示す情報と、
    　のうちの少なくとも一つを含む、測距装置。
  7. 　請求項１から請求項６までのいずれか一項に記載の測距装置において、
    　前記受光要素は、前記受光信号として光の入射を示す出力信号を出力するＳＰＡＤ（シングルフォトンアバランシェダイオード）を有する、測距装置。
  8. 　請求項６に従属する請求項７に従属する請求項５に記載の測距装置において、
    　前記背景光画像取得部は、
    　　前記照射期間を、互いに等しい時間的長さの単位期間に区分して、各単位期間における前記出力信号を出力した前記ＳＰＡＤの数の合計値を求め、
    　　求められた前記ＳＰＡＤの数の合計値が前記判定閾値に対応する予め定められた閾値以上となる前記単位期間の有無を特定し、
    　　求められた前記ＳＰＡＤの数の合計値が前記閾値以上となる前記単位期間が有ると特定された場合には、特定された該単位期間を除く他の前記単位期間における前記出力信号を出力した前記ＳＰＡＤの数の合計値を利用して、前記背景光画像を取得し、
    　　求められた前記ＳＰＡＤの数の合計値が前記閾値以上となる前記単位期間が無いと特定された場合には、全ての前記単位期間における前記出力信号を出力した前記ＳＰＡＤの数の合計値を利用して、前記背景光画像を取得する、測距装置。
PCT/JP2020/012997 2019-03-28 2020-03-24 測距装置 WO2020196510A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080025163.9A CN113646660B (zh) 2019-03-28 2020-03-24 测距装置
US17/486,198 US20220011440A1 (en) 2019-03-28 2021-09-27 Ranging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-063650 2019-03-28
JP2019063650A JP7115390B2 (ja) 2019-03-28 2019-03-28 測距装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/486,198 Continuation US20220011440A1 (en) 2019-03-28 2021-09-27 Ranging device

Publications (1)

Publication Number Publication Date
WO2020196510A1 true WO2020196510A1 (ja) 2020-10-01

Family

ID=72609821

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/012997 WO2020196510A1 (ja) 2019-03-28 2020-03-24 測距装置

Country Status (4)

Country Link
US (1) US20220011440A1 (ja)
JP (1) JP7115390B2 (ja)
CN (1) CN113646660B (ja)
WO (1) WO2020196510A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401211B2 (ja) * 2019-06-25 2023-12-19 ファナック株式会社 外光照度測定機能を備えた測距装置及び外光照度測定方法
DE102020126799A1 (de) * 2020-10-13 2022-04-14 Sick Ag Distanzmessung mit einem Lichtlaufzeitverfahren
JP7294302B2 (ja) * 2020-10-29 2023-06-20 トヨタ自動車株式会社 物体検出装置
WO2022249838A1 (ja) * 2021-05-26 2022-12-01 株式会社デンソー センサ制御装置、センサ制御方法、センサ制御プログラム
JP7559796B2 (ja) 2021-05-26 2024-10-02 株式会社デンソー センサ制御装置、センサ制御方法、センサ制御プログラム
JP2024120613A (ja) * 2023-02-24 2024-09-05 キヤノン株式会社 測距装置、測距方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266128A (ja) * 2000-03-21 2001-09-28 Nippon Telegr & Teleph Corp <Ntt> 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体
US20040095492A1 (en) * 2002-07-06 2004-05-20 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
JP2005039268A (ja) * 2003-07-14 2005-02-10 Dialog Semiconductor Gmbh 露光中に可変解像度を有する画素
JP2017527222A (ja) * 2014-09-08 2017-09-14 マイクロソフト テクノロジー ライセンシング，エルエルシー 可変解像度ピクセル
WO2018003502A1 (ja) * 2016-06-28 2018-01-04 ソニー株式会社 撮像装置、撮像方法、プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011005746A1 (de) * 2011-03-18 2012-09-20 Robert Bosch Gmbh Messvorrichtung zur mehrdimensionalen Vermessung eines Zielobjekts
WO2012147496A1 (ja) * 2011-04-25 2012-11-01 三洋電機株式会社 物体検出装置および情報取得装置
JP5892876B2 (ja) * 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置
EP2821748B1 (en) * 2012-03-01 2019-07-31 Nissan Motor Co., Ltd Range finding device and range finding method
JP6123377B2 (ja) * 2012-09-14 2017-05-10 オムロン株式会社 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
WO2017098725A1 (ja) * 2015-12-08 2017-06-15 パナソニックＩｐマネジメント株式会社 固体撮像装置、距離測定装置および距離測定方法
JP6910010B2 (ja) * 2016-02-17 2021-07-28 パナソニックＩｐマネジメント株式会社 距離測定装置
JP6645254B2 (ja) * 2016-02-23 2020-02-14 株式会社デンソー 物体認識装置
US10540750B2 (en) * 2016-07-07 2020-01-21 Stmicroelectronics Sa Electronic device with an upscaling processor and associated method
CN106896370B (zh) * 2017-04-10 2023-06-13 上海图漾信息科技有限公司 结构光测距装置及方法
WO2018198729A1 (ja) * 2017-04-28 2018-11-01 シャープ株式会社 ３次元画像素子および光レーダー装置
JP7021885B2 (ja) * 2017-09-11 2022-02-17 株式会社日立エルジーデータストレージ 距離測定装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266128A (ja) * 2000-03-21 2001-09-28 Nippon Telegr & Teleph Corp <Ntt> 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体
US20040095492A1 (en) * 2002-07-06 2004-05-20 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
JP2005039268A (ja) * 2003-07-14 2005-02-10 Dialog Semiconductor Gmbh 露光中に可変解像度を有する画素
JP2017527222A (ja) * 2014-09-08 2017-09-14 マイクロソフト テクノロジー ライセンシング，エルエルシー 可変解像度ピクセル
WO2018003502A1 (ja) * 2016-06-28 2018-01-04 ソニー株式会社 撮像装置、撮像方法、プログラム

Also Published As

Publication number Publication date
JP2020165677A (ja) 2020-10-08
CN113646660B (zh) 2024-09-20
JP7115390B2 (ja) 2022-08-09
US20220011440A1 (en) 2022-01-13
CN113646660A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
WO2020196510A1 (ja) 測距装置
JP6851985B2 (ja) 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
US9639764B2 (en) Image recognition system for vehicle for traffic sign board recognition
US20160259057A1 (en) Range imaging system and solid-state imaging device
JP6293134B2 (ja) 立体ゲーテッド画像システム及び方法
JP4258539B2 (ja) 複数画角カメラ
EP2708914A1 (de) Optoelektronischer Sensor und Verfahren zur Erfassung einer Tiefenkarte
JP7420038B2 (ja) 車載の異常検出装置
JP7095640B2 (ja) 物体検出装置
CN110121659B (zh) 用于对车辆的周围环境进行特征描述的系统
KR20150024860A (ko) 적응 피사계 심도를 이용한 게이트된 영상
DE102019121340A1 (de) Verfahren und vorrichtung zum bestimmen einer fehlfunktion und sensorsystem
EP4354176A1 (en) Method and device for detection control
JP2015069369A (ja) 操作入力装置、操作入力方法およびプログラム
EP3637758B1 (en) Image processing device
CN110749902A (zh) 一种基于时间分段的3d成像系统及成像方法
EP1476326B1 (de) Einrichtung zur automatischen einstellung der leuchtdichte des von einer rückwärtigen beleuchtungseinrichtung eines fahrzeugs ausgesandten lichtbündels
CN114868037A (zh) 信息处理装置、摄像装置、信息处理方法及程序
US20220299614A1 (en) Object detection apparatus and control method of object detection apparatus
US20220214434A1 (en) Gating camera
JP6379646B2 (ja) 情報処理装置、測定方法及びプログラム
JP2021131385A (ja) 物体検出装置
JP7035989B2 (ja) ディスプレイ装置、判別方法および照射方法
JP2004325202A (ja) レーザレーダ装置
CN112887628B (zh) 光探测和测距设备及增加其动态范围的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20777044

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20777044

Country of ref document: EP

Kind code of ref document: A1