WO2010100846A1 - 距離測定装置、距離測定方法、プログラムおよび集積回路 - Google Patents
距離測定装置、距離測定方法、プログラムおよび集積回路 Download PDFInfo
- Publication number
- WO2010100846A1 WO2010100846A1 PCT/JP2010/001023 JP2010001023W WO2010100846A1 WO 2010100846 A1 WO2010100846 A1 WO 2010100846A1 JP 2010001023 W JP2010001023 W JP 2010001023W WO 2010100846 A1 WO2010100846 A1 WO 2010100846A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- distance
- unit
- storage element
- charge
- phase shift
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4913—Circuits for detection, sampling, integration or read-out
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
Definitions
- the present invention relates to a distance measuring device, a distance measuring method, a distance measuring method, a program, and an integrated circuit.
- the present invention relates to a distance measuring device, a distance measuring method, a program, and an integrated circuit using multiple waves.
- a measuring device (a distance measuring device using a distance image sensor) has been developed.
- Such a distance measuring device includes a device using a plurality of cameras, a device that scans a laser, and the like, but a device that uses a TOF (Time-Of-Flight) method for a small and relatively high accuracy. (For example, see Patent Documents 1 to 3).
- the distance is measured by irradiating the space whose distance is to be measured with intensity-modulated light and detecting the phase shift of the reflected wave.
- the intensity-modulated light used for distance measurement by the TOF method is various, such as a sine wave, a triangular wave, and a pulse wave, but the basic principle is the same.
- FIG. 1 is for explaining the principle of the TOF method. It is explanatory drawing.
- the modulation period of the light intensity of the light whose light intensity is modulated is T
- the angular frequency is ⁇
- A0, A1, A2, and A3 are set, the phase shift amount between the light intensity modulated light irradiated to the target space for distance measurement and the reflected wave (reflected light) (Hereinafter, this may be expressed as “ ⁇ ”.
- the distance measurement method using the TOF method has a trade-off between “distance accuracy” (measurement distance accuracy) and “maximum detection distance”. That is, the “distance accuracy” is proportional to the modulation frequency of the light intensity of the light intensity modulated light used for distance measurement, while the “maximum detection distance” is inversely proportional to the modulation frequency of the light intensity of the light intensity modulated light. Therefore, the higher the modulation frequency of the light intensity modulation light used for distance measurement, the higher the distance accuracy, but the shorter the maximum detection distance. Conversely, the lower the frequency of modulation of the light intensity of the light intensity modulated light used for distance measurement, the longer the distance can be detected, but the distance accuracy becomes lower. This is because the TOF method distance measurement method cannot detect a phase shift of one or more periods of the light intensity modulation period of the light intensity modulated light used for distance measurement.
- frequency-multiplexed modulated light light intensity modulated light obtained by superimposing (multiplexing) light intensity modulated light modulated by a plurality of frequencies, or a plurality of frequency components. It is possible to detect a phase shift of one period or more by using a light intensity modulated light that is light intensity modulated by the superimposed modulation signal (hereinafter, one period or more by using frequency-multiplexed modulated light).
- a method (method) for detecting a phase shift of the above is referred to as a “multi-wave TOF method”).
- the distance is measured roughly by the light intensity modulated light (low frequency) modulated by the low frequency (low frequency), and the distance to be measured is roughly grasped, Further, the distance is measured precisely (with high accuracy) by the light intensity modulated light (high frequency) which has been light intensity modulated by the high frequency.
- the high frequency which has been light intensity modulated by the high frequency.
- Patent Document 6 not a multiwave (frequency multiplexed light) but a low frequency (light intensity modulated light modulated by a low frequency) and a high frequency (light intensity modulated light modulated by a high frequency).
- the distance measurement is inferior in accuracy to the distance measurement compared to the distance measurement using multiple waves as described above.
- Japanese Patent No. 3906858 Japanese Patent No. 3840341 JP2007-121116A JP 58-66880 JP-A-5-264723 JP-A-11-160065
- any distance measuring device that performs distance measurement by the multi-wave TOF method requires a circuit (filter circuit, synchronous detection circuit, etc.) for demultiplexing (frequency separation), and the circuit scale (hardware scale) is large.
- a circuit filter circuit, synchronous detection circuit, etc.
- the circuit scale hardware scale
- the present invention significantly reduces the size of a branching circuit and minimizes the reduction in resolution of the acquired distance image, thereby increasing the resolution of the acquired distance image and increasing the measurement distance accuracy. It is an object of the present invention to provide a distance measuring apparatus using multiple waves that can realize accuracy and a long measuring distance.
- the 1st invention is a distance measuring device provided with an irradiation part, a light receiving element part, a distribution part, a storage element part, and a distance calculation part.
- the irradiation part f n + 1 2k n ⁇ f n (n and k n are natural numbers)
- N is an integer of 2 or more
- the light receiving element unit receives a reflected wave from the distance measurement target of the multiplex modulated light irradiated from the irradiation unit, and acquires a charge corresponding to the amount of received light.
- the distribution unit outputs the charge acquired by the light receiving element unit to a predetermined output destination at a predetermined timing.
- the storage element unit stores the charge output from the distribution unit.
- the distance calculation unit calculates the distance to the distance measurement target from the charge amount accumulated by the storage element unit.
- this distance measuring apparatus distance measurement is performed using multiplexed modulated light in which at least two different frequencies that are in an “even multiple of each other” relationship (the relationship of the above formula) are multiplexed.
- the reflected wave it is possible to easily demultiplex the reflected wave (each multiplexed frequency component can be extracted), so that the pixel pitch size can be reduced and the distance image can be reduced.
- improve the resolution That is, in this distance measuring device, it is possible to perform demultiplexing only by distribution control by multiplexing a plurality of frequencies that are in an “even multiple” relationship.
- the value is subtracted every half cycle as in (Equation 1). It is used to negate each other.
- this distance measuring device can perform demultiplexing only by addition / subtraction, so that the scale of the demultiplexing circuit can be greatly reduced, and a highly accurate distance measurement using a multiplex modulated light can be performed. Can be done.
- the “distance measuring device” is a concept including, for example, a light wave rangefinder and a distance image sensor.
- the light receiving element portion, the distributing portion, the first storage element portion, and the second storage element portion may be provided for the number of pixels.
- the demultiplexing process executed by the light receiving element unit, the distributing unit, the first storage element unit and the second storage element unit, and the distance calculation calculation executed by the distance calculation unit are performed for each pixel. Just do it. Note that since the calculation of the distance calculation unit is relatively complicated, the charge may be read from the first storage element unit and the second storage element unit and serialized before processing.
- the “irradiation unit” can be realized using, for example, an LED light source or a laser light source. This may include a light intensity modulation signal generator for irradiating light intensity modulation light. Further, when invisible light such as infrared light is used, it is not necessary to cause discomfort even when the subject is a person or the like. Further, the “multiple modulated light” irradiated by the irradiation unit is an electromagnetic wave, and may be an electromagnetic wave having a frequency other than infrared light and visible light, or may use a sound wave (such as an ultrasonic wave).
- Light intensity modulation is not limited to light intensity modulation using a sine wave, and light intensity modulation may be performed using a periodic signal such as a triangular wave or a pulse wave.
- a periodic signal such as a triangular wave or a pulse wave.
- the “distance measurement object” refers to one point on the measurement object in the light wave rangefinder, but in the distance image sensor, the entire space imaged by the image sensor (hereinafter, referred to as “object space”).
- the “light receiving element portion” can be realized by, for example, an image sensor (CCD image sensor or CMOS image sensor).
- the light receiving element unit includes an optical filter for infrared light that blocks electromagnetic waves other than infrared light, and the light receiving element of the light receiving element unit includes components other than infrared light components.
- the electromagnetic wave may not be incident.
- the storage element section has a “storage element” (charge storage element), and the “storage element” is realized by, for example, a capacitor (capacitor) or a semiconductor depletion layer (potential well).
- the present invention is not limited to this, and any object that retains electric charge may be used.
- the storage element portion may be configured to use a plurality of storage elements (charge storage elements).
- the “predetermined timing” may be set at any time.
- Switching refers to distribution control and the like.
- the “distance calculation unit” performs phase shift calculation, distance calculation, and the like.
- the non-linear conversion may be configured by a look-up table (LUT) or the like. Only the distance calculation unit may be processed by software.
- the second invention is the first invention, the storage element, for each frequency f n included in the multiplexed modulated light (1 ⁇ n ⁇ N), comprising at least one storage element. Since this distance measuring device includes a storage element that individually holds the charge amount corresponding to each frequency component, the charge amount corresponding to each frequency component is individually held in the storage element provided for each frequency component. In the distance calculation unit, the phase shift of each frequency component can be calculated.
- this distance measurement device for example, in the case of a double wave (a high-frequency frequency is k ( ⁇ 2) times a low frequency) compared to a distance measurement device using a single-wave TOF-type distance measurement, Although twice as many storage elements are required, the distance measurement accuracy is k ( ⁇ 2) times.
- the storage element unit continues to store charges for at least the longest period T 1 in the multiplex modulated light.
- frequency multiplexing is performed in a relationship of “even multiples to each other”, and high frequency components exceeding f n become the same value after a half cycle (T n / 2) for each frequency f n . It can be removed by subtraction. In addition, all values of the low frequency components less than f n at each time can be removed by integration because there are pairs having the same value of opposite signs during the longest period T 1 (details will be described later). ). In other words, demultiplexing can be performed simply by distribution control of the distribution unit, so that the scale of the demultiplexing circuit can be greatly reduced, and high-precision, long-distance measurement using multiple modulated light is possible. It is possible to perform a distance measurement that can be performed.
- “Continuously accumulating charge during period T 1 ” means (1) Continue to add (accumulate) the sampling value of the accumulated charge amount at a predetermined time during the period T 1 , or (2) Continue adding (integrating) the integrated value of the accumulated charge amount acquired in a predetermined integration period including a predetermined time during the period T 1 ; It is a concept that includes The fourth invention is the third aspect of the invention, the storage element, the difference amount of charge amount at time t0 and time t2, and accumulates for at least the longest period T 1 (obtained by the accumulation (product) And the transferred charge amount is transferred to the distance calculation unit, and then the difference charge amount of the charge amount at time t1 and time t3 is set to at least the longest period T 1 . (A signal acquired (generated) by this accumulation is referred to as a second difference integration signal).
- the differential charge amount it is preferable to use a circuit configuration that accumulates in a storage element (a capacitor or the like) with a reverse current using a diode or the like.
- a storage element a capacitor or the like
- a reverse current using a diode or the like.
- the differential charge amount since the differential charge amount is accumulated, it is possible to accumulate only the intensity-modulated light component while canceling the stationary component (external light etc.) during the longest period T 1 , and suppress the saturation of the light receiving element. be able to. For this reason, intensity modulation light can be irradiated more strongly and distance accuracy improves.
- this distance measuring apparatus since one storage element is used for each frequency, the second difference integrated signal component during the first difference integrated signal storage is discarded (and vice versa), but the number of storage elements increases. Therefore, it is preferable to adopt the configuration of the distance measuring device when priority is given to resolution.
- 5th invention is 3rd invention, Comprising: An accumulation
- the storage element unit stores the difference charge amount of the charge amount at time t0 and time t2 (first difference integration signal), and the second storage element unit stores the difference charge amount of the charge amount at time t1 and time t3. (Second difference integration signal).
- first difference integration signal first difference integration signal
- the second storage element unit stores the difference charge amount of the charge amount at time t1 and time t3.
- the motion blur when the subject moves can be reduced, and a highly accurate distance image can be acquired.
- the number of storage elements is doubled, but the other circuits are common, so the overall circuit scale is doubled or less.
- the seventh invention is the third invention, wherein the storage element unit accumulates the charge amount at least for the longest period T 1 at any one of the times t0 to t3, and the accumulated charge amount Is sequentially performed on all of the accumulated charge amount corresponding to time t0, the accumulated charge amount corresponding to time t1, the accumulated charge amount corresponding to time t2, and the accumulated charge amount corresponding to time t3.
- the charge amount (0th to 3rd integrated signal) corresponding to each time t0 to t3 is transferred to the distance calculation unit.
- the charge transfer process may be performed in the order of E (t0), E (t1), E (t2), E (t3), or E (t3), The charge transfer process may be performed in the order of E (t2), E (t1), and E (t0).
- the transfer order is 4! There are (4 factorial) ways, and the charge transfer processing may be performed in any order. Since this distance measuring device does not require a circuit that reverses the current, the circuit scale can be further reduced and the resolution of the distance image is improved. In addition, since this distance measuring apparatus uses one storage element for each frequency, other integrated signal components during acquisition of each integrated signal are discarded, but an increase in circuit scale due to an increase in the storage elements is minimized. Therefore, when priority is given to resolution, it is preferable to adopt the configuration of this distance measuring device.
- a storage element part has the 1st storage element part and the 2nd storage element part, and the 1st storage element part and the 2nd storage element part element portion, for at least the longest period T 1, to accumulate an amount of charge at any two times of the times t0 ⁇ t3, after charge transfer to the distance calculating unit the accumulated charge amount, of at least the longest period T 1 During this time, the amount of charge at the remaining two times is accumulated, and the accumulated amount of charge is transferred to the distance calculation unit, so that the amount of charge corresponding to each time t0 to t3 (the 0th to 3rd integrated signals) is distanced. Charge is transferred to the calculation unit.
- any two times from time t0 to t3 are, for example, time t0 and time t2, and “the remaining two times” are, for example, time t1 and time t3.
- the circuit scale is slightly increased, but two integrated signals can be held simultaneously. For this reason, there is no time delay between the two integrated signals, motion blur when the subject moves can be reduced, and a highly accurate distance image can be acquired.
- the number of storage elements is doubled, but the other circuits are common, so the overall circuit scale is doubled or less.
- a ninth invention is the third invention, wherein the storage element section includes a zeroth storage element section, a first storage element section, a second storage element section, and a third storage element section.
- the 0th storage element unit stores the amount of charge at time t0 (0th integration signal)
- the first storage element unit stores the amount of charge at time t1.
- the second storage element unit stores the amount of charge at time t2 (second integration signal)
- the third storage element unit stores the amount of charge at time t3 ( Third integrated signal).
- the circuit scale increases somewhat, but four integrated signals can be held simultaneously.
- An eleventh aspect of the invention is any one of the first to tenth aspects of the invention, in which the distance calculation unit calculates a phase shift amount of each frequency included in the multiplexed modulated light, and among the calculated phase shift amounts, the distance shift unit Low frequency phase shift amount, which is the phase shift amount of any frequency component in each frequency component included in modulated light, and low frequency phase shift amount included in each frequency component included in multiple modulated light
- the final phase shift amount is calculated from the high frequency phase shift amount that is the phase shift amount of the frequency component higher than the corresponding frequency component, and the distance is calculated from the calculated final phase shift amount.
- a twelfth aspect of the invention is the eleventh aspect of the invention, in which the distance calculation unit is as follows when the low frequency phase shift amount is ⁇ i (frequency fi), the high frequency phase shift amount is ⁇ j (frequency fj), and the speed of light is c. , The phase shift amount, the final phase shift amount, and the distance L of each frequency included in the multiplex modulated light, respectively, Calculated by In this distance measuring device, the low frequency phase shift ⁇ i is converted into a high frequency phase shift amount.
- ⁇ (Distance measurement corresponding to a range of ⁇ / 2 or higher is possible with low accuracy) and this and a high-frequency phase shift amount ⁇ j (highly accurate, but equivalent distance measurement within a range of ⁇ ⁇ / 2 is possible) Can be used to calculate ⁇ (highly accurate and distance measurement corresponding to a range of ⁇ / 2 or higher) which is a final phase shift amount that is a high-frequency phase shift amount of ⁇ / 2 or higher. Thereby, in this distance measuring device, long distance measurement is possible and highly accurate distance measurement can be performed.
- a thirteenth aspect of the invention is the twelfth aspect of the invention, in which the distance calculation unit calculates the phase shift amount ⁇ n of each frequency included in the multiplexed modulated light in consideration of the charge accumulation time ⁇ at each time.
- the phase shift amount ⁇ is obtained in consideration of the charge accumulation time ⁇ (> 0) at each time.
- it is preferable to obtain the phase shift amount ⁇ by using an integral value instead of an instantaneous value (sampling value) because it can be made less susceptible to noise, but the phase shift amount calculation formula is as follows: To change. For example, as shown in FIG. 2, when t 0 to ⁇ , T / 4 to T / 4 + ⁇ , T / 2 to T / 2 + ⁇ , and 3T / 4 to 3T / 4 + ⁇ are integration periods, the phase shift ⁇ 3)
- the phase is further shifted by ⁇ / 2 as compared with the case where the phase is calculated based on the sample value.
- the Fourier transform of f (t) is F ( ⁇ )
- the Fourier transform of f (t ⁇ t) is F ( ⁇ ) exp ( ⁇ t)
- the phase shift amount ⁇ ⁇ t
- the frequency Linear phase, also called linear phase.
- the most accurate low frequency component is used among the frequency components included in the multiplex modulated light, the accuracy of distance measurement is further improved.
- the most accurate low-frequency component can be used according to the distance of the object to be measured in each pixel. The distance accuracy of the image is improved.
- a fifteenth aspect of the present invention is any one of the eleventh to fourteenth aspects of the present invention, in which the absolute value of the first difference integrated signal is small or the difference absolute value between the zeroth integrated signal and the second integrated signal is small.
- the distance calculation unit as the final phase shift amount, Is used.
- the denominator value is small and the division result diverges, the low frequency phase shift ⁇ i is converted into the high frequency phase shift amount.
- a sixteenth aspect of the present invention is any one of the first to fifteenth aspects of the present invention, wherein the irradiating unit generates multiple modulated light with a smaller amplitude as the low frequency component. Since the low frequency component is used for rough distance measurement, the amplitude may be reduced, thereby reducing the saturation of the storage element.
- a seventeenth invention is a distance measuring method used in a distance measuring device including an irradiation unit, a light receiving element unit, a distribution unit, and a storage element unit, and includes a distribution control step and a distance calculation step. Prepare.
- the irradiation part f n + 1 2k n ⁇ f n (n and k n are natural numbers)
- the distance of multiplex modulated light that is light intensity modulated by a multiplex modulation signal generated by multiplexing N (N is an integer of 2 or more) different frequencies f n (1 ⁇ n ⁇ N) having the relationship Irradiate the measurement object.
- the light receiving element unit receives a reflected wave from the distance measurement target of the multiplex modulated light irradiated from the irradiation unit, and acquires a charge corresponding to the amount of received light.
- the distribution unit outputs the charge acquired by the light receiving element unit to a predetermined output destination at a predetermined timing.
- the storage element unit stores the charge output from the distribution unit.
- control is performed so that the output destination of the distribution unit is switched to a predetermined output destination at a predetermined timing.
- the distance calculation step the distance to the distance measurement object is calculated based on the charge amount accumulated by the first storage element unit and the second storage element unit.
- An eighteenth aspect of the invention is a program for causing a computer to execute a distance measuring method used in a distance measuring device including an irradiation unit, a light receiving element unit, a distribution unit, and a storage element unit.
- the distance measurement method includes a distribution control step and a distance calculation step.
- the irradiation part f n + 1 2k n ⁇ f n (n and k n are natural numbers)
- N is an integer of 2 or more) different frequencies f n (1 ⁇ n ⁇ N) having the relationship Irradiate the measurement object.
- the light receiving element unit receives a reflected wave from the distance measurement target of the multiplex modulated light irradiated from the irradiation unit, and acquires a charge corresponding to the amount of received light.
- the distribution unit outputs the charge acquired by the light receiving element unit to a predetermined output destination at a predetermined timing.
- the storage element unit stores the charge output from the distribution unit.
- control is performed so that the output destination of the distribution unit is switched to a predetermined output destination at a predetermined timing.
- the distance to the distance measurement object is calculated based on the charge amount accumulated by the first storage element unit and the second storage element unit.
- a nineteenth invention is an integrated circuit including an irradiation unit, a light receiving element unit, a distribution unit, a storage element unit, and a distance calculation unit.
- the irradiation part f n + 1 2k n ⁇ f n (n and k n are natural numbers)
- the distance of multiplex modulated light that is light intensity modulated by a multiplex modulation signal generated by multiplexing N (N is an integer of 2 or more) different frequencies f n (1 ⁇ n ⁇ N) having the relationship Irradiate the measurement object.
- the light receiving element unit receives a reflected wave from the distance measurement target of the multiplex modulated light irradiated from the irradiation unit, and acquires a charge corresponding to the amount of received light.
- the distribution unit outputs the charge acquired by the light receiving element unit to a predetermined output destination at a predetermined timing.
- the storage element unit stores the charge output from the distribution unit.
- the distance calculation unit calculates the distance to the distance measurement target from the charge amount accumulated by the storage element unit.
- the present invention by greatly reducing the size of the demultiplexing circuit and minimizing the resolution degradation of the acquired distance image, the resolution of the acquired distance image is increased, the measurement distance accuracy is increased, In addition, it is possible to realize a distance measuring device, a distance measuring method, a program, and an integrated circuit using multiple waves that can realize a long measurement distance.
- Explanatory drawing for explaining the principle of distance measurement of the TOF method Explanatory diagram for explaining the principle of TOF method (integration type) distance measurement
- the block diagram which shows schematic structure of the distance measuring device 1 in 1st Embodiment.
- An example of the configuration of the light receiving element unit 201, the distribution unit 202, and the storage element units (211A, 211B, 221A, 221B, 231A, 231B) of the distance measuring device 1 in the first embodiment see Patent Document 3 in FIG. 8)
- a distance measuring apparatus 1 according to the first embodiment of the present invention will be described with reference to FIGS.
- multiple modulated light light intensity modulated light obtained by superimposing (multiplexing) light intensity modulated light modulated by a plurality of frequencies
- three types of frequencies low frequency, medium frequency, and high frequency.
- triple modulated light triple wave obtained by superimposing (multiplexing) three light intensity modulated lights that have undergone light intensity modulation
- the frequency relationship of the superimposed (multiplexed) light intensity modulated light is such that the frequencies are “even multiples of each other”.
- f 1 f
- f 2 2 ⁇ f
- f 3 4 ⁇ f
- the distance measurement according to the present embodiment is realized by double waves. High resolution of the distance image, high accuracy of the measurement distance accuracy, and long measurement distance can be realized).
- FIG. 3 is a block diagram showing a schematic configuration of the distance measuring apparatus 1 according to the first embodiment of the present invention.
- the distance measuring device 1 according to the first embodiment of the present invention includes an irradiation unit 10 that irradiates an imaging space with multiple modulated light, and an imaging space of the multiple modulated light emitted from the irradiation unit 10.
- a light receiving unit 20 that receives reflected multiple modulated light that is a reflected wave; a distance calculating unit 30 that calculates a distance between the distance measuring device 1 and a subject (distance measurement target) in the imaging space from the output of the light receiving unit 20; A control unit 40 that controls the irradiation unit 10, the light receiving unit 20, and the distance calculation unit 30.
- the irradiating unit 10 Based on the command from the control unit 40, the irradiating unit 10 has three light intensities, each of which has been light intensity modulated by multiple-modulated light (in this embodiment, three kinds of frequencies (low frequency, medium frequency, high frequency)). Triple modulated light (triple wave)) in which modulated light is superimposed (multiplexed) is generated, and the generated multiple modulated light is irradiated to the imaging space that is the object of distance measurement.
- the light receiving unit 20 includes a plurality of (for the number of pixels) charge storage units 200 (one charge storage unit 200 corresponds to one pixel) and a charge transfer unit 210.
- the charge storage unit 200 includes a light receiving element unit 201, a distribution unit 202, first wave component storage element units 211A and 211B, second wave component storage element units 221A and 221B, and a third wave. Component storage element portions 231A and 231B.
- the light receiving element unit 201 includes a light receiving element (for example, a light receiving element realized by a photodiode), receives reflected multiple modulated light (reflected wave) from the imaging space to be measured for distance, and generates a reflected wave by photoelectric conversion. Convert to electric charge (electric signal). Then, the light receiving element unit 201 outputs the electric charge (electric signal) acquired by photoelectric conversion to the storage element units (211A, 211B, 221A, 221B, 231A, 231B) via the distribution unit 202.
- the distribution unit 202 performs distribution control by the control unit 40.
- the distribution unit 202 stores the electric charges (electric signals) output from the light receiving element unit 201 at the predetermined timing instructed by the control unit 40, the first wave component storage element units 211A and 211B, and the second wave component storage.
- the data is output to any one of the element units 221A and 221B and the third wave component storage element units 231A and 231B.
- the first wave component storage element unit 211A includes a charge storage element, and accumulates electric charges (electric signals) output from the light receiving element unit 201 via the distribution unit 202.
- the first wave component storage element unit 211A stores electric charges of only the low-frequency component of the reflected wave (details will be described later).
- the first wave component storage element unit 211B includes a charge storage element, and stores the charge (electric signal) output from the light receiving element unit 201 via the distribution unit 202.
- the first wave component storage element unit 211B stores electric charges of only the low frequency component of the reflected wave (details will be described later).
- the second wave component storage element unit 221A includes a charge storage element, and accumulates electric charges (electric signals) output from the light receiving element unit 201 via the distribution unit 202.
- the second wave component storage element unit 221A stores the charge of only the intermediate frequency component of the reflected wave (details will be described later).
- the second wave component storage element unit 221B includes a charge storage element, and stores electric charges (electrical signals) output from the light receiving element unit 201 via the distribution unit 202.
- the second wave component storage element unit 221B stores charges of only the medium frequency component of the reflected wave (details will be described later).
- the third wave component storage element unit 231A includes a charge storage element, and stores a charge (electric signal) output from the light receiving element unit 201 via the distribution unit 202.
- the third wave component storage element unit 231A stores electric charges of only the high frequency component of the reflected wave (details will be described later).
- the third wave component storage element unit 231B includes a charge storage element, and accumulates electric charges (electric signals) output from the light receiving element unit 201 via the distribution unit 202.
- the third wave component storage element unit 231B stores charges of only the high-frequency component of the reflected wave (details will be described later).
- the multiplicity of the multiplexed modulated light is “3” (three light intensity modulated lights of low frequency, medium frequency, and high frequency are superimposed (multiplexed)), accumulation for three components is performed. It has a configuration including element portions (211A, 211B, 221A, 221B, 231A, 231B).
- the charge storage unit 200 may have a configuration including storage components for N components (for example, a configuration including N ⁇ 2 storage devices).
- FIG. 4 shows an example of the configuration of the light receiving element unit 201, the distribution unit 202, and the storage element units (211A, 211B, 221A, 221B, 231A, 231B) (described in FIG. 8 in Patent Document 3).
- currents I1 and I2 flowing through photodiodes PD1 and PD2 (corresponding to a part of the light receiving element part 201) are supplied to the storage element part (in FIG. 4 through the distribution part (part) 202A.
- the charge accumulation processing is executed by flowing the first wave component accumulation element portion 211A).
- the current flowing in the capacitor of the storage element unit (first wave component storage element unit 211A in FIG. 4) is switched by switching the distribution control of the distribution unit 202A.
- the differential charge is stored in the capacitor of the storage element section (first wave component storage element section 211A in FIG. 4).
- the charge transfer unit 210 inputs stored charges (electric signals corresponding to the stored charges) output from the storage element units (211A, 211B, 221A, 221B, 231A, 231B) of the charge storage unit 200 corresponding to each pixel. And transferred to the distance calculation unit 30 at a predetermined timing instructed by the control unit 40.
- the distance calculation unit 30 receives the output from the charge transfer unit 210 of the light receiving unit 20 as an input, and each pixel based on the accumulated charge (electric signal corresponding to the accumulated charge) corresponding to each pixel output from the charge transfer unit 210.
- the distance value is calculated, and a distance image in which each pixel becomes the distance value is generated and output.
- the distance calculation unit 30 may perform calculation for distance calculation as an analog signal, or may perform calculation for distance calculation by digital processing after A / D conversion.
- the distance calculation unit 30 includes a first wave phase shift amount calculation unit 31, a second wave phase shift amount calculation unit 32, a third wave phase shift amount calculation unit 33, and a distance value acquisition unit. 34.
- the first wave phase shift amount calculation unit 31 receives an accumulated charge corresponding to each pixel output from the charge transfer unit 210 (an electrical signal corresponding to the accumulated charge) and inputs each pixel output from the charge transfer unit 210. Based on the corresponding accumulated charge (electric signal corresponding to the accumulated charge), the low frequency phase shift amount is calculated. Then, the first wave phase shift amount calculation unit 31 outputs the calculated low frequency phase shift amount to the distance value acquisition unit 34.
- the second wave phase shift amount calculation unit 32 receives the accumulated charge (electric signal corresponding to the accumulated charge) corresponding to each pixel output from the charge transfer unit 210 as an input, and outputs to each pixel output from the charge transfer unit 210. Based on the corresponding accumulated charge (electrical signal corresponding to the accumulated charge), an intermediate frequency phase shift amount is calculated. Then, the second wave phase shift amount calculation unit 32 outputs the calculated low frequency phase shift amount to the distance value acquisition unit 34.
- the third wave phase shift amount calculation unit 33 receives the accumulated charge (electric signal corresponding to the accumulated charge) corresponding to each pixel output from the charge transfer unit 210 and inputs each pixel output from the charge transfer unit 210 to each pixel. Based on the corresponding accumulated charge (electrical signal corresponding to the accumulated charge), a high-frequency phase shift amount is calculated. Then, the third wave phase shift amount calculation unit 33 outputs the calculated low frequency phase shift amount to the distance value acquisition unit 34.
- the distance value acquisition unit 34 includes a low frequency phase shift amount calculated by the first wave phase shift amount calculation unit 31, a medium frequency phase shift amount calculated by the second wave phase shift amount calculation unit 32, and a third wave.
- a distance (distance value) is calculated for each pixel based on the low-frequency phase shift amount, the medium-frequency phase shift amount, and the high-frequency phase shift amount using the high-frequency phase shift amount calculated by the phase shift amount calculation unit 33 as an input.
- the distance value acquisition part 34 produces
- the imaging space that is the distance measurement target space is irradiated.
- the light receiving unit 20 receives reflected light of multiple modulated light from the imaging space.
- the reflected light of the multiplexed modulated light from the imaging space is received by the light receiving element unit 201 of the charge storage unit 200 corresponding to each pixel, and a charge corresponding to the amount of light received by the light receiving element unit 201 is generated by photoelectric conversion.
- the generated charges (electrical signals) are output to the distribution unit 202.
- the storage element units (211 ⁇ / b> A, 211 ⁇ / b> B, 221 ⁇ / b> A, 221 ⁇ / b> B, 231 ⁇ / b> A) are switched while switching the electric charge (electric signal) acquired by the light receiving element unit 201 at a predetermined timing based on a command from the control unit 40. 231B).
- the electric charges (electric signals) output from the distribution unit 202 are stored.
- the “predetermined timing” is a time every quarter period (T / 16) of the high frequency.
- Aj ⁇ (Bj + Cj + Dj) + ⁇ It becomes.
- the variable ⁇ is a variable that depends on the intensity of the irradiation unit 10, the reflectance of the subject, the reflection angle, the type of reflection (specular reflection, diffuse reflection, etc.), the distance to the subject, and the like.
- the constant ⁇ is a variable that depends on the intensity of ambient light, the reflectance of the subject, and the like.
- the control unit 40 performs distribution control on the distribution unit 202.
- A8 ⁇ A0 ⁇ (B8 + C8 + D8) ⁇ (B0 + C0 + D0)
- the constant ⁇ stationary component is canceled by subtraction.
- the frequency of the medium frequency and the high frequency is an even multiple of the low frequency, as is apparent from FIG. 5, the value of the medium frequency (C0, C8) and the high frequency at the time after the half cycle of the low frequency.
- the values (D0, D8) are the same value.
- A8-A0 ⁇ (B8-B0)
- the charge corresponding to this is stored in the first wave component storage element portion 211A. That is, only the low-frequency component charge is stored in the first wave component storage element unit 211A.
- A4-A12 ⁇ (B4-B12)
- the charge corresponding to is accumulated. That is, only the low-frequency component charge is stored in the first wave component storage element unit 211B.
- the control unit 40 performs distribution control on the distribution unit 202. (A4-A0) + (A12-A8) The charge corresponding to is accumulated. That is, accumulation continues for one period T of the lowest frequency f1.
- (A2-A6) + (A10-A14) 2 ⁇ (C2-C6) Is accumulated. That is, the second-wave component storage element unit 221B stores charges of only the medium frequency component.
- the control unit 40 performs distribution control on the distribution unit 202. (A2-A0) + (A6-A4) + (A10-A8) + (A14-A12) The charge corresponding to is accumulated. That is, accumulation continues for one period T of the lowest frequency f1. Similarly, from FIG.
- integration processing discrete value addition processing at sampling time
- the phase shift amount may be calculated using an integral value instead of a sampling value (in the above case).
- the phase shift amount is calculated using the integral value in the distance measuring device 1
- the amount of charge stored in the storage element portion increases, and the S / N ratio can be improved (with respect to the amount of charge used for distance measurement).
- the ratio of the amount of noise is reduced), and further accurate distance measurement is possible.
- the integrated value of f (t) is Aj, the low frequency component contained therein is Bj, the medium frequency component is Cj, and the high frequency component is Dj, and can be obtained by performing the same calculation as described above.
- N 3
- the phase shift amount ⁇ n is
- an offset term (the portion of “ ⁇ n ⁇ / 2” in (Expression 16)) of the phase shift amount ⁇ n is generated.
- the control unit 40 adjusts the distribution control (distribution timing and distribution period) for the distribution unit 202, so that the storage element units (211 ⁇ / b> A, 211 ⁇ / b> B) are adjusted.
- 221A, 221B, 231A, 231B can store electric charges corresponding to an integration value in a predetermined integration period.
- processing after the charge transfer unit 210 will be described.
- the charges of the storage element units (211A, 211B, 221A, 221B, 231A, 231B) corresponding to each pixel are transferred to the distance calculation unit 30 at a predetermined timing by a command from the control unit 40. To do.
- the “predetermined timing” means that the accumulated charges (electric signals corresponding to the accumulated charges) of the storage element portions (211A, 211B, 221A, 221B, 231A, 231B) are not confused (mixed), What is necessary is just to be transferred to the calculation unit 30.
- the storage charge (storage) of the storage element portions (211A, 211B, 221A, 221B, 231A, 231B) is transferred by a transfer method (for example, a sequential transfer method) based on the transfer method of the stored charge used in a CCD device or the like.
- the electric signal corresponding to the electric charge may be transferred to the distance calculation unit 30.
- the low frequency phase shift amount for each pixel is calculated based on the accumulated charge amount for each pixel transferred from the charge transfer unit 210. Specifically, the first wave phase shift amount calculation unit 31 stores the charge ( ⁇ (B8 ⁇ B0)) and the first wave component of the first wave component storage element unit 211A transferred from the charge transfer unit 210. Based on the accumulated charge ( ⁇ (B4 ⁇ B12)) of the storage element unit 211B, the low frequency phase shift ⁇ 1 is
- the second wave phase shift amount calculation unit 32 calculates a medium frequency phase shift amount for each pixel based on the accumulated charge amount for each pixel transferred from the charge transfer unit 210. Specifically, in the second wave phase shift amount calculation unit 32, the accumulated charge (2 ⁇ (C4-C0)) and the second wave component of the second wave component storage element unit 221A transferred from the charge transfer unit 210 are stored. Based on the stored charge (2 ⁇ (C2-C6)) of the storage element unit 221B, the low frequency phase shift amount ⁇ 2 is
- the third wave phase shift amount calculation unit 33 calculates the high frequency phase shift amount for each pixel based on the accumulated charge amount for each pixel transferred from the charge transfer unit 210. Specifically, in the third wave phase shift amount calculation unit 33, the accumulated charge (4 ⁇ (D2-D0)) and the third wave component of the third wave component storage element unit 231A transferred from the charge transfer unit 210 are used. Based on the accumulated charge (4 ⁇ (D1-D3)) of the storage element unit 231B, the high-frequency phase shift amount ⁇ 3 is
- the distance value acquisition unit 34 determines a final phase shift amount ⁇ for each pixel based on the low frequency phase shift amount ⁇ 1, the medium frequency phase shift amount ⁇ 2, and the high frequency phase shift amount ⁇ 3.
- the distance value L of each pixel is calculated.
- the final phase shift amount ⁇ is obtained by using the low frequency phase shift amount ⁇ 1 and the high frequency phase shift amount ⁇ 3.
- the distance value acquisition unit 34 calculates the final phase shift amount ⁇ in the case of ⁇ 1 ⁇ ⁇ 2 ⁇ ⁇ / 2,
- the distance value acquisition unit 34 converts the intermediate frequency phase shift amount with higher accuracy than the low frequency phase shift amount to the low frequency phase shift amount.
- a final phase shift amount ⁇ is calculated by using instead of the shift amount.
- the distance value acquisition unit 34 determines the final phase shift amount as
- the distance value acquisition unit 34 can avoid the occurrence of a case where the distance cannot be measured by calculating the distance based only on the low frequency phase shift amount.
- the distance value acquisition unit 34 calculates the distance value L for each pixel based on the final phase shift amount ⁇ calculated as described above.
- c is the speed of light.
- the distance measuring device 1 can perform highly accurate distance measurement determined by the high frequency f3 in the maximum measurable distance range determined by the low frequency f1. Become.
- the distance value acquisition unit 34 acquires the distance value L by the above process for each pixel, and generates and outputs a distance image using the acquired (calculated) distance value L as a pixel value.
- the distance measuring device 1 continues to accumulate the differential charge, the steady component (such as ambient light) is always canceled by subtraction, and the saturation of the accumulated charge in the storage element can be suppressed. For this reason, in the distance measuring apparatus 1, the modulated light can be more strongly irradiated onto the imaging space (subject) that is the distance measuring object, and the distance measuring accuracy can be improved. Therefore, the distance measuring apparatus according to the present embodiment 1 and the distance measurement method can greatly reduce the size of the demultiplexing circuit, and increase the resolution of the acquired distance image, increase the accuracy of the measurement distance, and increase the distance of the measurement distance. can do.
- the distance calculation unit 30 functions as a first wave phase shift amount as a function unit for calculating the phase shift amount.
- the calculation unit 31, the second wave phase shift amount calculation unit 32, and the third wave phase shift amount calculation unit 33 are provided.
- many A function unit for calculating the phase shift amount may be installed according to the severity, and the same method as described above may be applied to the multiplicity “N”. By doing so, the distance measuring device and the distance measuring method according to the present embodiment can be realized even when the multiplicity of the multiplexed modulated light is “N”.
- phase shift amount is calculated by storing the differential charge.
- the phase shift amount is stored via the charge transfer unit 210.
- Output to the calculation unit (corresponding to the first wave phase shift amount calculation unit 31, the second wave phase shift amount calculation unit 32, and the third wave phase shift amount calculation unit 33 in the first embodiment), and the phase shift The phase shift amount may be calculated by subtracting in the amount calculation unit.
- the charge corresponding to is accumulated. Then, after transferring the charges accumulated in the first storage element and the second storage element, the first accumulation signal is supplied to the first storage element.
- the third accumulation signal is supplied to the second storage element.
- the frequency component without phase shift of each frequency component is extracted.
- the phase shift amount calculation unit calculates the phase shift amount of the frequency component without phase shift of each frequency component.
- phase shift amount calculation unit calculates the phase shift amount of each frequency component based on the extracted frequency component having no phase shift of each frequency component and the frequency component having a phase shift of 90 °. Then, the final phase shift amount ⁇ is obtained by the same method as described above, and the distance value L for each pixel is calculated based on the final phase shift amount ⁇ .
- the distance value L may be calculated using the integral value as described above with reference to FIG.
- the distance measuring device and the distance measuring method according to this modification can greatly reduce the size of the branching circuit, and the resolution of the acquired distance image can be increased, the accuracy of the measurement distance accuracy can be increased, and The measurement distance can be increased.
- the present invention is not limited to this, and for example, a plurality of light intensity modulated at different frequencies.
- the light intensity-modulated light may be alternately and repeatedly (time-division) irradiated onto the subject (imaging space) to be measured. Further, distance measurement may be performed using light intensity modulated light generated by continuously switching frequencies using a chirp signal.
- the distance measurement target space It is possible to set the intensity modulation frequency according to the farthest point at.
- distance measurement may be performed using polarized light (polarized light) in which low frequency and high frequency are orthogonalized.
- polarized light polarized light
- the reflected wave is divided into two paths by a half mirror, low frequency components and high frequency components are extracted by a polarization filter, and the phase shift amount of each frequency is calculated.
- the distance from the distance measurement device to the subject to be measured is large in the imaging space that is the subject of distance measurement, the longer the subject (the lower the light intensity modulation frequency), the greater the light intensity.
- the distance may be measured using the modulated light.
- the distance measurement device uses a light intensity modulated light (this is referred to as “light” for the subject A with a long wavelength (low light intensity modulation frequency).
- Intensity-modulated light A ”and its light intensity modulation frequency are set to“ fA ”) to generate multiplexed modulated light (the minimum frequency of the light intensity modulation frequency of the multiplexed light intensity modulated light is set to fA).
- the subject A is irradiated with the multiple modulated light, and the distance to the subject A is measured by the distance measuring method described above.
- the light intensity modulated light B having a wavelength shorter than that of the light intensity modulated light A (this light intensity modulation frequency is assumed to be “fB”) is multiplexed modulated light (multiplexed light).
- the lowest frequency of the light intensity modulation frequency of the intensity-modulated light is set to fB)
- the subject B is irradiated with the multiple modulated light
- the distance to the subject B is measured by the distance measuring method described above. In the distance measuring apparatus, the distance may be measured in this way.
- each block may be individually made into one chip by a semiconductor device such as an LSI, or may be made into one chip so as to include a part or all of the blocks.
- LSI semiconductor device
- IC system LSI
- super LSI super LSI
- ultra LSI depending on the degree of integration.
- the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
- An FPGA Field Programmable Gate Array
- a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
- integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied as a possibility.
- each process of the said embodiment may be implement
- the specific configuration of the present invention is not limited to the above-described embodiment, and various changes and modifications can be made without departing from the scope of the invention.
- the distance measuring device particularly the distance image sensor
- the distance measuring method, the program, and the integrated circuit according to the present invention it is possible to measure a long distance with high resolution and high accuracy.
- Object detection / recognition three-dimensional measurement
- robot eyes traffic safety (collision detection), security field
- FA Vector Automation
Abstract
Description
TOF方式とは、距離測定の対象とする空間に強度変調した光を照射し、その反射波の位相ずれを検出することで、距離を測定するものである。なお、TOF方式により距離測定を行うために用いる強度変調した光は、正弦波、三角波、パルス波など様々であるが、基本原理は同様である
図1は、TOF方式の原理を説明するための説明図である。光の強度を変調した光(光強度変調光)の光強度の変調周期をT、角周波数をω、時刻0、T/4、T/2、3T/4における反射波の強度を、それぞれ、A0、A1、A2、A3とするとき、距離測定の対象空間に照射した光強度変調光と、その反射波(反射光)との位相ずれ量
(以下、これを「Δψ」と表記することもある。)は、(数式1)により、
しかしながら、TOF方式による距離測定方法には、「距離精度」(測定距離の精度)と「最大検出距離」にトレードオフがある。すなわち、「距離精度」は、距離測定に用いる光強度変調光の光強度の変調周波数に比例するが、「最大検出距離」は、光強度変調光の光強度の変調周波数に反比例する。よって、距離測定に用いる光強度変調光の光強度の変調周波数が高周波であるほど距離精度は高精度になるが、最大検出距離は短くなる。逆に、距離測定に用いる光強度変調光の光強度の変調周波数が低周波であるほど長距離まで検出可能となるが距離精度は低精度となってしまう。
これは、TOF方式による距離測定方法では、距離測定に用いる光強度変調光の光強度の変調周期の1周期以上の位相ずれを検出できないためである。
本発明は、上記課題に鑑み、分波回路規模を大幅に削減し、取得される距離画像の解像度低下を最小限に抑えることで、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる多重波を用いた距離測定装置を提供することを目的とする。
照射部は、
fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。距離算出部は、蓄積素子部により蓄積された電荷量から、距離測定対象までの距離を算出する。
つまり、この距離測定装置では、「互いに偶数倍」の関係となる複数の周波数を多重化することで、分配制御のみによる分波が可能となる。TOF方式の距離測定では、通常、(数式1)のように、半周期ごとの値の減算を行うので、「互いに偶数倍」の関係であれば、半周期後に同じ値となるため、減算により打ち消しあうことを用いている。
これにより、この距離測定装置では、加減算のみで分波できるので、分波回路規模を大幅に削減することができ、かつ、多重変調光を用いた精度の高い、長距離まで測定できる距離測定を行うことが可能となる。
「照射部」は、例えば、LED光源やレーザー光源を用いて実現することができる。これに光強度変調光を照射させるための光強度変調信号発生部を含むようにしてもよい。また、赤外光など、不可視光を用いると被写体が人物等である場合にも不快を与えないのでよい。また、照射部により照射される「多重変調光」は電磁波であり、赤外光、可視光以外の周波数の電磁波であってもよく、また、音波(超音波など)を用いてもよい。
「距離測定対象」とは、光波測距儀では、測定対象物における1点を指すが、距離画像センサでは、イメージセンサにより撮像される空間全体(以下、「対象空間」と表現することがある)のことを指す。
「受光素子部」とは、例えば、イメージセンサ(CCD型イメージセンサやCMOS型イメージセンサ)などにより実現可能である。
また、照射部が照射する電磁波に応じて、受光素子部に光学フィルタを備えるようにしてもよい。例えば、照射部から赤外光が照射される場合、受光素子部に赤外光以外の電磁波を遮断する赤外光用の光学フィルタを備え、受光素子部の受光素子に赤外光成分以外の電磁波が入射されないようにしてもよい。
なお、蓄積素子部は、複数の蓄積素子(電荷蓄積素子)を用いる構成にしてもよい。
「所定のタイミング」とは、例えば、多重変調光に含まれる各周波数成分の周期をTnとするとき、時刻t=0、Tn/4、Tn/2、3Tn/4である。なお、これは一例にすぎず、基本的には、未知パラメータは3つ(後述するΔψ、A、B)であるから、反射光(反射波)から少なくとも3点サンプリング値を取得できるタイミングであれば、「所定のタイミング」をどの時刻に設定してもよい。
「切り替え」とは、分配制御などのことを指す。
第2の発明は、第1の発明であって、蓄積素子部は、多重変調光に含まれる各周波数fn(1≦n≦N)に対して、少なくとも1つの蓄積素子を備える。
この距離測定装置では、各周波数成分に対応する電荷量を個別に保持する蓄積素子を備えているので、各周波数成分別に設けられた蓄積素子に各周波数成分に対応する電荷量を個別に保持することができ、距離算出部において、各周波数成分の位相ずれを算出することができる。
なお、この距離測定装置では、単波のTOF方式の距離測定を用いる距離測定装置に比べて、例えば、2重波(高周波の周波数が低周波のk(≧2)倍とする)の場合、2倍の数の蓄積素子が必要となるが、距離測定精度はk(≧2)倍になる。
この距離測定装置では、「互いに偶数倍」の関係で周波数多重されており、各周波数fnに対して、fnを超える高周波成分は、半周期(Tn/2)後に同値になるので、減算により除去することができる。また、fn未満の低周波成分の各時刻における全ての値は、最長周期T1の間に、逆符号の同値になるペアが存在するので、積算により除去することができる(詳細は後述する)。すなわち、分配部の分配制御のみで、簡単に、分波することができるので、分波回路規模を大幅に削減することができ、かつ、多重変調光を用いた精度の高い、長距離まで測定できる距離測定を行うことが可能となる。
(1)周期T1の間、所定の時刻における蓄積電荷量のサンプリング値を加算(積算)し続けること、または、
(2)周期T1の間、所定の時刻を含む所定の積分期間において取得した蓄積電荷量の積分値を加算(積算)し続けること、
を含む概念である。
第4の発明は、第3の発明であって、蓄積素子部は、時刻t0および時刻t2における電荷量の差分電荷量を、少なくとも最長周期T1の間蓄積し(この蓄積により取得(生成)される信号を第1差分積算信号とする。)、蓄積した電荷量を前記距離算出部に電荷転送した後、時刻t1および時刻t3における電荷量の差分電荷量を、少なくとも前記最長周期T1の間蓄積する(この蓄積により取得(生成)される信号を第2差分積算信号とする。)。
この距離測定装置では、差分電荷量を蓄積するので、最長周期T1の間、定常成分(外光など)を打ち消しながら強度変調光成分のみを蓄積することができ、受光素子の飽和を抑制することができる。このため、より強く強度変調光を照射することができ、距離精度が向上する。
また、この距離測定装置では、各周波数に対して1つの蓄積素子を用いるので、第1差分積算信号蓄積中の第2差分積算信号成分は捨てることになるが(逆も同様)、蓄積素子増加による回路規模増大を最小限に抑えることができるので、解像度を優先する場合は、この距離測定装置の構成を採用することが好ましい。
この距離測定装置では、2つの蓄積素子(第1の蓄積素子部および第2の蓄積素子部)を用いるので、回路規模は多少増大するが、第1・第2差分積算信号を同時に保持することができる。このため、第1・第2差分積算信号に時間遅延がなく、被写体が動いた場合の動きぼけを低減することができ、高精度な距離画像を取得することができる。また、この距離測定装置では、蓄積素子数は2倍になるが、その他の回路は共通であるから、全体の回路規模は2倍以下になる。
第1差分積算信号として、
に相当する電荷を蓄積し、
第2差分積算信号として、
に相当する電荷を蓄積する。
ここで、「時刻t0に対応する蓄積電荷量、時刻t1に対する蓄積電荷量、時刻t2に対する蓄積電荷量、および、時刻t3に対する蓄積電荷量の全てに対して順次行う」には、4!(4の階乗)通りの順番がある。つまり、時刻t0に対応する蓄積電荷量をE(t0)とし、時刻t1に対応する蓄積電荷量をE(t1)とし、時刻t2に対応する蓄積電荷量をE(t2)とし、時刻t3に対応する蓄積電荷量をE(t3)とすると、E(t0)、E(t1)、E(t2)、E(t3)の順番に電荷転送処理をおこなってもよいし、E(t3)、E(t2)、E(t1)、E(t0)の順番に電荷転送処理を行ってもよい。転送順序は、上記の通り、4!(4の階乗)通りあり、そのいずれの順序により電荷転送処理を行ってもよい。
この距離測定装置では、電流を逆向きにする回路は不要であるので、より回路規模を小さくすることができ、距離画像の解像度が向上する。
また、この距離測定装置では、各周波数に対して1つの蓄積素子を用いるので、各積算信号取得中の、その他の積算信号成分は捨てることになるが、蓄積素子増加による回路規模増大を最小限に抑えることができるので、解像度を優先する場合は、この距離測定装置の構成を採用することが好ましい。
ここで、「時刻t0~t3のうち任意の2つの時刻」とは、例えば、時刻t0および時刻t2であり、「残りの2つの時刻」とは、例えば、時刻t1および時刻t3である。
この距離測定装置では、2つの蓄積素子を用いるので、回路規模は多少増大するが、2つの積算信号を同時に保持することができる。このため、この2つの積算信号の時間遅延がなく、被写体が動いた場合の動きぼけを低減することができ、高精度な距離画像を取得することができる。また、この距離測定装置では、蓄積素子数は2倍になるが、その他の回路は共通であるから、全体の回路規模は2倍以下になる。
第9の発明は、第3の発明であって、蓄積素子部は、第0の蓄積素子部と、第1の蓄積素子部と、第2の蓄積素子部と、第3の蓄積素子部と、を有し、少なくとも前記最長周期T1の間、第0の蓄積素子部は、時刻t0における電荷量を蓄積し(第0積算信号)、第1の蓄積素子部は、時刻t1における電荷量を蓄積し(第1積算信号)、第2の蓄積素子部は、時刻t2における電荷量を蓄積し(第2積算信号)、第3の蓄積素子部は、時刻t3における電荷量を蓄積する(第3積算信号)。
この距離測定装置では、4つの蓄積素子を用いるので、回路規模は多少増大するが、4つの積算信号を同時に保持することができる。このため、この4つの積算信号の時間遅延がなく、被写体が動いた場合の動きぼけを低減することができ、高精度な距離画像を取得することができる。また、この距離測定装置では、蓄積素子数は4倍になるが、その他の回路は共通であるから、全体の回路規模は4倍以下になる。
第0積算信号として、
に相当する電荷を蓄積し、
第1積算信号として、
に相当する電荷を蓄積し、
第2積算信号として、
に相当する電荷を蓄積し、
第3積算信号として、
に相当する電荷を蓄積する。
これにより、検出位相ずれ限界(π/2)以上の高周波位相ずれを検出できるので、高精度かつ長距離測定可能となる。
第12の発明は、第11の発明であって、低周波位相ずれ量をΔψi(周波数fi)とし、高周波位相ずれ量をΔψj(周波数fj)とし、光速をcとするとき、距離算出部は、多重変調光に含まれる各周波数の位相ずれ量、最終位相ずれ量、および、距離Lを、それぞれ、
により算出する。
この距離測定装置では、低周波位相ずれΔψiを高周波位相ずれ量に換算した
(低精度だがπ/2以上の範囲に相当する距離測定が可能。)を算出し、これと高周波位相ずれ量Δψj(高精度だが±π/2の範囲のみでの相当する距離測定が可能)を組み合わせることで、π/2以上の高周波位相ずれ量である最終位相ずれ量であるΔψ(高精度かつπ/2以上の範囲に相当する距離測定が可能。)を算出することができる。
これにより、この距離測定装置では、長距離測定可能、かつ、高精度の距離測定を行うことができる。
により算出する。
この距離測定装置では、図2または図6に示すように、各時刻の電荷蓄積時間τ(>0)を考慮して位相ずれ量Δψを求める。一般に、瞬時値(サンプリング値)ではなく、積分値を用いて位相ずれ量Δψを求めることで、ノイズの影響を受けにくくすることができるため好ましいが、位相ずれ量算出式は、上式のように変化する。
例えば、図2のように、t=0~τ、T/4~T/4+τ、T/2~T/2+τ、3T/4~3T/4+τを積分期間とすると、位相ずれΔψは、(数式3)により、
これにより、この距離測定装置では、電荷蓄積時間τによる位相ずれ誤差を補正することができるので、電荷蓄積時間τを長くでき、さらに精度を向上させることができる。
例えば、ψ1=40°、ψ2=80°、ψ3=120°のとき、低周波位相ずれをψ2(=80°)とする。
なお、TOF方式における位相ずれ量は、周波数に比例する。一般的に、f(t)のフーリエ変換をF(ω)とするとき、f(t-Δt)のフーリエ変換はF(ω)exp(-ωΔt)となり、位相ずれ量Δψ=ωΔtとなり、周波数に比例する(線形位相。直線位相とも呼ばれる)。
この距離測定装置では、多重変調光に含まれる各周波数成分の中で、最も精度の高い低周波成分を用いるので、さらに距離測定の精度が向上する。この距離測定装置により取得される距離画像では、これを画素ごとに行うことで、各画素における測距対象物の距離に応じて最も精度の高い低周波成分を用いることができ、これにより、各画像の距離精度が向上する。
を用いる。
これにより、この距離測定装置では、
において、分母の値が小さく、除算結果が発散する場合には、低周波位相ずれΔψiを高周波位相ずれ量に換算した
(低精度だがπ/2以上の範囲に相当する距離測定が可能。)に基づいて距離を算出することによって、距離測定不能な場合が発生することを回避することができる。
低周波成分は、粗く測距するためのものなので、振幅を小さくしてもよく、これにより蓄積素子の飽和を低減することができる。
第17の発明は、照射部と、受光素子部と、分配部と、蓄積素子部と、を備える距離測定装置に用いられる距離測定方法であって、分配制御ステップと、距離算出ステップと、を備える。
照射部は、
fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。
分配制御ステップでは、分配部の出力先を、所定のタイミングで、所定の出力先に切り替えるように制御する。距離算出ステップでは、第1の蓄積素子部および第2の蓄積素子部により蓄積された電荷量に基づいて、距離測定対象までの距離を算出する。
これにより、第1の発明と同様の効果を奏する距離測定方法を実現することができる。
照射部は、
fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。
分配制御ステップでは、分配部の出力先を、所定のタイミングで、所定の出力先に切り替えるように制御する。距離算出ステップでは、第1の蓄積素子部および第2の蓄積素子部により蓄積された電荷量に基づいて、距離測定対象までの距離を算出する。
これにより、第1の発明と同様の効果を奏する距離測定方法をコンピュータに実行させるプログラムを実現することができる。
照射部は、
fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化することで生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する。受光素子部は、照射部から照射された多重変調光の距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する。分配部は、受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する。蓄積素子部は、分配部から出力される電荷を蓄積する。距離算出部は、蓄積素子部により蓄積された電荷量から、距離測定対象までの距離を算出する。
これにより、第1の発明と同様の効果を奏する集積回路を実現することができる。
[第1実施形態]
本発明の第1実施形態である距離測定装置1について、図3~5を用いて説明する。
第1実施形態では、多重変調光(複数の周波数により光強度変調された光強度変調光を重畳(多重)した光強度変調光)として、3種類の周波数(低周波、中周波、高周波)により、それぞれ、光強度変調された3つの光強度変調光を重畳(多重)した3重変調光(3重波)を採用する場合について説明する。なお、重畳(多重)される光強度変調光の周波数の関係は、「互いに偶数倍」の周波数となる関係にする。ここでは、最も簡単な例として、基準周波数f(周期T)を用いて、
低周波:f1=f、
中周波:f2=2・f、
高周波:f3=4・f
とする(以下では、「f1」を「f1」と、「f2」を「f2」と、「f3」を「f3」と表記することがある)。つまり、低周波数により光強度変調された光強度変調光(低周波)の光強度変調周波数をf1(=f)とし、中周波数により光強度変調された光強度変調光(中周波)の光強度変調周波数をf2(=2・f)とし、高周波数により光強度変調された光強度変調光(高周波)の光強度変調周波数をf3(=4・f)とする。
fn+1=2kn・fn(fn+1>fn、nおよびknは自然数)
が成立する関係をいう。
また、以下では、3重変調光(3重波)を用いる場合について説明するが、通常は、多重変調光として、2重波(互いに偶数倍の関係にある光強度変調光周波数により光強度変調された低周波および高周波の2つの光強度変調光を重畳(多重)した多重変調光)を用いれば十分である(2重波により本実施形態の距離測定を実現すれば、十分、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる)。
<1.1:距離推定装置の構成>
図3は、本発明の第1実施形態における距離測定装置1の概略構成を示すブロック図である。
図3に示すように、本発明の第1実施形態による距離測定装置1は、多重変調光を撮像空間に照射する照射部10と、照射部10から照射された多重変調光の撮像空間からの反射波である反射多重変調光を受光する受光部20と、受光部20の出力から距離測定装置1と撮像空間内の被写体(距離測定対象)と間の距離を算出する距離算出部30と、照射部10、受光部20および距離算出部30を制御する制御部40と、を備える。
受光部20は、複数の(画素数分の)電荷蓄積部200(1つの電荷蓄積部200が1つの画素に対応する。)と、電荷転送部210と、を備える。
電荷蓄積部200は、画素ごとに、受光素子部201と、分配部202と、第1波成分用蓄積素子部211A、211Bと、第2波成分用蓄積素子部221A、221Bと、第3波成分用蓄積素子部231A、231Bと、を備える。なお、以下では、第1波成分用蓄積素子部から第N波成分用蓄積素子部(ここでは、N=3)をまとめて、「蓄積素子部」ということがある。
分配部202は、制御部40により分配制御を行う。分配部202は、制御部40により指示される所定のタイミングで、受光素子部201から出力される電荷(電気信号)を、第1波成分用蓄積素子部211A、211B、第2波成分用蓄積素子部221A、221B、第3波成分用蓄積素子部231A、231B、のいずれかに出力する。
第1波成分用蓄積素子部211Aは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第1波成分用蓄積素子部211Aは、反射波の低周波成分のみの電荷を蓄積する(詳細については後述)。
第2波成分用蓄積素子部221Aは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第2波成分用蓄積素子部221Aは、反射波の中周波成分のみの電荷を蓄積する(詳細については後述)。
第2波成分用蓄積素子部221Bは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第2波成分用蓄積素子部221Bは、反射波の中周波成分のみの電荷を蓄積する(詳細については後述)。
第3波成分用蓄積素子部231Aは、電荷蓄積素子を有し、受光素子部201から分配部202を介して出力される電荷(電気信号)を蓄積する。第3波成分用蓄積素子部231Aは、反射波の高周波成分のみの電荷を蓄積する(詳細については後述)。
なお、電荷蓄積部200では、多重変調光の多重度が「3」(低周波、中周波、高周波の3つの光強度変調光を重畳(多重)。)であるため、3つの成分用の蓄積素子部(211A、211B、221A、221B、231A、231B)を備える構成となっている。多重度が「N」の場合は、電荷蓄積部200は、N個の成分用の蓄積素子部を備える構成(例えば、N×2個の蓄積素子部を備える構成)にすればよい。
また、受光素子部201と、分配部202と、蓄積素子部(211A、211B、221A、221B、231A、231B)と、の構成の一例(特許文献3図8記載)を、図4に示す。図4に示すように、フォトダイオードPD1およびPD2(受光素子部201の一部に相当。)に流れる電流I1およびI2を、分配部(一部)202Aを介して、蓄積素子部(図4では第1波成分用蓄積素子部211A)に流すことで、電荷蓄積処理を実行する。具体的には、制御部40からの分配制御信号に基づいて、分配部202Aの分配制御を切り替えることで、蓄積素子部(図4では第1波成分用蓄積素子部211A)のコンデンサに流れる電流の向きを変え、蓄積素子部(図4では第1波成分用蓄積素子部211A)のコンデンサに差分電荷を蓄積させる。
電荷転送部210は、各画素に対応する電荷蓄積部200の蓄積素子部(211A、211B、221A、221B、231A、231B)から出力される蓄積電荷(蓄積電荷に対応する電気信号)を、入力とし、制御部40により指示される所定のタイミングで、距離算出部30に転送する。
距離算出部30は、受光部20の電荷転送部210からの出力を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて各画素についての距離値を算出し、各画素が距離値となる距離画像を生成して出力する。なお、距離算出部30は、アナログ信号のまま距離算出についての計算を行うものであってもよいし、A/D変換後にディジタル処理により距離算出についての計算を行うものであってもよい。
第1波位相ずれ量算出部31は、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて、低周波位相ずれ量を算出する。そして、第1波位相ずれ量算出部31は、算出した低周波位相ずれ量を距離値取得部34に出力する。
第2波位相ずれ量算出部32は、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)を入力とし、電荷転送部210から出力される各画素に対応する蓄積電荷(蓄積電荷に対応する電気信号)に基づいて、中周波位相ずれ量を算出する。そして、第2波位相ずれ量算出部32は、算出した低周波位相ずれ量を距離値取得部34に出力する。
距離値取得部34は、第1波位相ずれ量算出部31により算出された低周波位相ずれ量、第2波位相ずれ量算出部32により算出された中周波位相ずれ量、および、第3波位相ずれ量算出部33により算出された高周波位相ずれ量を入力として、低周波位相ずれ量、中周波位相ずれ量および高周波位相ずれ量に基づいて、各画素について、距離(距離値)を算出する。そして、距離値取得部34は、各画素が算出した距離値となる距離画像を生成して、生成した距離画像を出力する。
以上のように構成された距離測定装置1の動作について、説明する。
照射部10により、「互いに偶数倍」の関係となる周波数を有する多重変調光(例:低周波f1=f、中周波f2=2・f、高周波f3=4・f、fは基準周波数)が、距離測定対象空間である撮像空間へ照射される。
受光部20では、撮像空間からの多重変調光の反射光を受光する。つまり、撮像空間からの多重変調光の反射光は、各画素に対応する電荷蓄積部200の受光素子部201で受光され、光電変換により、受光素子部201で受光した光量に応じた電荷を発生させる。そして、発生させた電荷(電気信号)は、分配部202に出力される。
分配部202では、受光素子部201により取得された電荷(電気信号)を、制御部40からの指令に基づいて、所定のタイミングで切り替えながら、蓄積素子部(211A、211B、221A、221B、231A、231B)に出力する。
ここで、「所定のタイミング」は、図5に示すように、高周波の4分の1周期(T/16)ごとの時刻とする。t=jT/16(0≦j<16、jは整数)における反射波f(t)の値Ajは、低周波成分Bj、中周波成分Cj、高周波成分Dj、変数α、定数βを用いて、
Aj=α(Bj+Cj+Dj)+β
となる。なお、変数αは、照射部10の強度、被写体の反射率、反射角度、反射の種類(鏡面反射、拡散反射等)、被写体までの距離などに依存する変数である。また、定数βは、環境光の強度、被写体の反射率などに依存する変数である。
A8-A0=α(B8+C8+D8)-α(B0+C0+D0)
に相当する電荷を蓄積する。つまり、第1波成分用蓄積素子部211Aには、時刻t=8T/16における蓄積電荷量A8(所定のサンプリング期間によりサンプル値(サンプリングは、分配部202による分配制御により行う。))と時刻t=0における蓄積電荷量A0(所定のサンプリング期間によりサンプル値)との差分電荷を蓄積する。
上式では、定数β(定常成分)は減算により打ち消される。ここで、中周波および高周波の周波数は、低周波の偶数倍であるから、図5からも明らかなように、低周波の半周期後の時刻における中周波の値(C0、C8)および高周波の値(D0、D8)は同じ値となる。
A8-A0=α(B8-B0)
となり、これに相当する電荷が第1波成分用蓄積素子部211Aに蓄積される。つまり、第1波成分用蓄積素子部211Aには、低周波成分のみの電荷が蓄積される。
同様にして、第1波成分用蓄積素子部211Bには、
A4-A12=α(B4-B12)
に相当する電荷が蓄積される。つまり、第1波成分用蓄積素子部211Bには、低周波成分のみの電荷が蓄積される。
第2波成分用蓄積素子部221Aには、制御部40が分配部202に対して、分配制御を行うことで、
(A4-A0)+(A12-A8)
に相当する電荷を蓄積する。すなわち、最低周波数f1の1周期Tの間、蓄積し続ける。ここで、高周波の周波数は、中周波の偶数倍であるから、
D4=D0、D12=D8
であり、高周波成分は減算により打ち消しあう。一方、中周波の周波数は、低周波の偶数倍であるから、
B8=-B0、B12=-B4
であり、低周波成分は加算により打ち消しあう。また、
C0=C8、C4=C12
である。よって、第2波成分用蓄積素子部221Aには、
(A4-A0)+(A12-A8)=2α(C4-C0)
が蓄積される。つまり、第2波成分用蓄積素子部221Aには、中周波成分のみの電荷が蓄積される。
(A2-A6)+(A10-A14)=2α(C2-C6)
が蓄積される。つまり、第2波成分用蓄積素子部221Bには、中周波成分のみの電荷が蓄積される。
第3波成分用蓄積素子部231Aには、制御部40が分配部202に対して、分配制御を行うことで、
(A2-A0)+(A6-A4)+(A10-A8)+(A14-A12)
に相当する電荷を蓄積する。すなわち、最低周波数f1の1周期Tの間、蓄積し続ける。同様に、図5より、
C4=-C0、C6=-C2、C12=-C8、C14=-C10
B8=-B0、B10=-B2、B12=-B4、B14=-B6
D0=D4=D8=D12、D2=D6=D10=D14
より、
(A2-A0)+(A6-A4)+(A10-A8)+(A14-A12)=4α(D2-D0)
となる。つまり、つまり、第3波成分用蓄積素子部231Aには、高周波成分のみの電荷が蓄積される。
(A1-A3)+(A5-A7)+(A9-A11)+(A13-A15)=4α(D1-D3)
が蓄積される。つまり、第3波成分用蓄積素子部231Bには、高周波成分のみの電荷が蓄積される。
距離測定装置1では、このようにして、分波処理が実行される。
≪分波原理について≫
次に、この分波原理(上記分波処理の原理)が一般的に成立することを証明する。
反射波(多重度N)を、
反射波f(t)から、第n周波数成分(1≦n≦N)を分波するために、時刻t=0およびTn/2における反射光の差分電荷を、第1周波数(=最低周波数)の1周期の間、積算処理(サンプリング時刻における離散値の加算処理)を実行し続け(波数kn)、上記第1波成分用の蓄積素子に第1差分積算信号
また、時刻t=Tn/4および3Tn/4における反射光の差分電荷を、第1周波数(=最低周波数)の1周期の間、積算処理(サンプリング時刻における離散値の加算処理)を実行し続け(波数kn)、上記第2波成分用の蓄積素子に第2差分積算信号、
また、距離測定装置1において、図6に示すように、サンプリング値(上記の場合)ではなく積分値を用いて、位相ずれ量を算出するようにしてもよい。距離測定装置1において、積分値を用いて位相ずれ量を算出する場合、蓄積素子部に蓄積される電荷量が多くなり、S/N比を良くすることができる(距離測定に用いる電荷量に対するノイズ量の割合が低減される)ので、さらに、高精度の距離測定が可能となる。
なお、積分値を用いて、位相ずれ量を算出する場合の位相ずれ量は、t=jTN/4~jTN/4+τ(0≦j<4ωN/ω1、jは整数)における反射波f(t)の積分値をAjとし、これに含まれる低周波成分をBj、中周波成分をCj、高周波成分をDjとし、上記と同様の計算を行うことで取得することができる。なお、図6の例では、N=3、TN=T3=T/4、ωN/ω1=ω3/ω1=4より、積分区間はt=jT/16~(j+1)T/16(0≦j<16、jは整数)となる。
この場合、位相ずれ量Δψnは、
また、距離測定装置1において、積分値による位相ずれ量を算出する場合、制御部40が、分配部202に対する分配制御(分配タイミングおよび分配期間)を調整することで、蓄積素子部(211A、211B、221A、221B、231A、231B)に、所定の積分期間による積分値に相当する電荷を蓄積させることができる。
次に、電荷転送部210以降の処理について説明する。
電荷転送部210では、各画素に対応する蓄積素子部(211A、211B、221A、221B、231A、231B)の電荷を、制御部40からの指令により、所定のタイミングで、距離算出部30へ転送する。なお、「所定のタイミング」とは、蓄積素子部(211A、211B、221A、221B、231A、231B)の蓄積電荷(蓄積電荷に対応する電気信号)が、混同(混合)されることなく、距離算出部30に転送されるものであればよい。例えば、CCDデバイス等で用いられている蓄積電荷の転送方法に基づいた転送方式(例えば、順次転送方式)により、蓄積素子部(211A、211B、221A、221B、231A、231B)の蓄積電荷(蓄積電荷に対応する電気信号)を距離算出部30に転送するようにすればよい。
具体的には、第1波位相ずれ量算出部31では、電荷転送部210から転送される、第1波成分用蓄積素子部211Aの蓄積電荷(α(B8-B0))および第1波成分用蓄積素子部211Bの蓄積電荷(α(B4-B12))に基づいて、低周波位相ずれΔψ1が、
第2波位相ずれ量算出部32では、電荷転送部210から転送される各画素についての蓄積電荷量に基づいて、各画素についての中周波位相ずれ量が算出される。
具体的には、第2波位相ずれ量算出部32では、電荷転送部210から転送される、第2波成分用蓄積素子部221Aの蓄積電荷(2α(C4-C0))および第2波成分用蓄積素子部221Bの蓄積電荷(2α(C2-C6))に基づいて、低周波位相ずれ量Δψ2が、
第3波位相ずれ量算出部33では、電荷転送部210から転送される各画素についての蓄積電荷量に基づいて、各画素についての高周波位相ずれ量が算出される。
具体的には、第3波位相ずれ量算出部33では、電荷転送部210から転送される、第3波成分用蓄積素子部231Aの蓄積電荷(4α(D2-D0))および第3波成分用蓄積素子部231Bの蓄積電荷(4α(D1-D3))に基づいて、高周波位相ずれ量Δψ3が、
距離値取得部34では、第1波位相ずれ量算出部31により算出された低周波位相ずれ量、第2波位相ずれ量算出部32により算出された中周波位相ずれ量、および、第3波位相ずれ量算出部33により算出された高周波位相ずれ量、の3つの位相ずれ量に基づいて、各画素について、距離(距離値)が算出される。
具体的には、距離値取得部34は、各画素について、低周波位相ずれ量Δψ1、中周波位相ずれ量Δψ2および高周波位相ずれ量Δψ3に基づいて最終位相ずれ量Δψを決定し、これに基づき、各画素の距離値Lを算出する。
距離値取得部34では、例えば、低周波位相ずれ量Δψ1および高周波位相ずれ量Δψ3を用いて、最終位相ずれ量Δψが、
また、
距離値取得部34では、以上により算出された最終位相ずれ量Δψに基づいて、各画素についての距離値Lを、
(数式20)~(数式24)に基づいて分かるように、距離測定装置1では、低周波f1により決定される最大測定可能距離範囲において、高周波f3により決定される高精度の距離測定が可能となる。
距離値取得部34は、画素ごとに、距離値Lを上記処理により取得し、取得(算出)した距離値Lを画素値とする距離画像を生成し、出力する。
以上のように、本実施形態に係る距離測定装置1では、「互いに偶数倍」の関係となる複数の周波数を多重化した多重変調光を用いて、分配制御のみによる分波が可能となる。また、距離測定装置1では、差分電荷を蓄積し続けるので、定常成分(環境光など)が減算により常に打ち消され、蓄積素子における蓄積電荷の飽和を抑えることができる。このため、距離測定装置1では、より強く変調光を距離測定対象である撮像空間(被写体)に照射することができ、距離測定精度を向上させることができる
したがって、本実施形態に係る距離測定装置1および距離測定方法により、分波回路規模を大幅に削減することができ、かつ、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる。
なお、上記において、多重変調光の多重度は「3」(低周波、中周波、高周波)であるので、距離算出部30は、位相ずれ量を算出する機能部として、第1波位相ずれ量算出部31、第2波位相ずれ量算出部32、および、第3波位相ずれ量算出部33、の3つを備えているが、多重変調光の多重度は「N」の場合は、多重度に応じて、位相ずれ量を算出する機能部を設置し、上記同様の方法を、多重度「N」の場合に適用すればよい。このようにすることで、本実施形態に係る距離測定装置および距離測定方法を、多重変調光の多重度は「N」の場合においても、実現することができる。
次に、本実施形態に係る変形例について、説明する。
上記では、差分電荷を保存することで位相ずれ量を算出する場合について説明したが、蓄積素子部の電荷をそのまま(同符号のまま)蓄積した後、電荷転送部210を介して、位相ずれ量算出部(第1実施形態では、第1波位相ずれ量算出部31、第2波位相ずれ量算出部32、および、第3波位相ずれ量算出部33に相当。)に出力し、位相ずれ量算出部において減算することで、位相ずれ量を算出するようにしてもよい。この場合、蓄積素子部において、差分電荷を取得するための電流反転回路を不要にすることができる。
すなわち、第1周波数(=最低周波数)の1周期の間(波数kn)、時刻t=0における反射光の電荷の積算処理を行う。つまり、第1蓄積素子に、第0積算信号
そして、位相ずれ量算出部は、抽出した、各周波数成分の位相ずれのない周波数成分および位相が90°ずれた周波数成分に基づいて、各周波数成分の位相ずれ量を算出する。
そして、上記で説明したのと同様の方法により、最終位相ずれ量Δψを求め、最終位相ずれ量Δψに基づいて、画素ごとの距離値Lを算出する。
なお、上記処理のようにサンプリング値を用いるのでではなく、上記において、図6により説明したのと同様、積分値を用いて距離値Lを算出するようにしてもよい。サンプリング値の代わりに、積分値を用いて位相ずれ量Δψを求めることで、ノイズの影響を受けにくくすることができる。
以上により、本変形例では、電流反転回路を不要にできるので、距離測定装置において、画素ピッチサイズをさらに小さくすることができ、距離測定装置により取得される距離画像の解像度低下を低減できる。
したがって、本変形例に係る距離測定装置および距離測定方法により、分波回路規模を大幅に削減することができ、かつ、取得される距離画像の高解像度化、測定距離精度の高精度化、および、測定距離の長距離化を実現することができる。
上記実施形態の距離測定装置では、多重波(多重変調光)を用いて距離測定を行う場合について説明したが、これに限定されることはなく、例えば、異なる周波数により光強度変調された、複数の光強度変調光を交互に繰り返して(時分割で)測定対象の被写体(撮像空間)に照射する構成にしてもよい。 また、チャープ信号を用いて周波数を連続的に切り替えることによって生成された光強度変調光を用いて距離測定を行うようにしてもよい。例えば、チャープ信号を用いて周波数を低周波側からスキャンし、全画素における位相ずれ量がπ/2を超えないような、最大の周波数付近に強度変調周波数を設定することで、距離測定対象空間における最遠点にあわせた強度変調周波数を設定することができる。
また、距離測定対象とする撮像空間において、距離測定装置から距離測定対象の被写体までの距離のばらつきが大きい場合は、遠くに存在する被写体ほど、長い波長(光強度変調周波数の低い)の光強度変調光を用いて距離測定するようにしてもよい。例えば、被写体Aが遠くに存在し、被写体Bが近く存在する場合、距離測定装置において、被写体Aに対しては、長い波長(光強度変調周波数の低い)の光強度変調光(これを「光強度変調光A」、その光強度変調周波数を「fA」とする。)を用いて多重変調光(多重化される光強度変調光の光強度変調周波数の最低周波数をfAとする。)を生成し、被写体Aに当該多重変調光を照射し、上記で説明した距離測定方法により、被写体Aまでの距離を測定する。一方、被写体Bに対しては、光強度変調光Aよりも波長の短い光強度変調光B(この光強度変調周波数を「fB」とする。)を用いて多重変調光(多重化される光強度変調光の光強度変調周波数の最低周波数をfBとする。)を生成し、被写体Bに当該多重変調光を照射し、上記で説明した距離測定方法により、被写体Bまでの距離を測定する。距離測定装置において、このようにして距離測定を行うようにしてもよい。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサーで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
10 照射部
20 受光部
200 電荷蓄積部
201 受光素子部
202 分配部
211A、211B、221A、221B、231A、231B 蓄積素子部
210 電荷転送部
30 距離画像取得部
31 第1波位相ずれ量算出部
32 第2波位相ずれ量算出部
33 第3波位相ずれ量算出部
34 距離値取得部
40 制御部
Claims (19)
- fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化して生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する照射部と、
前記照射部から照射された前記多重変調光の前記距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する受光素子部と、
前記受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する分配部と、
前記分配部から出力される電荷を蓄積する蓄積素子部と、
前記蓄積素子部により蓄積された電荷量に基づいて、前記距離測定対象までの距離を算出する距離算出部と、
を備える距離測定装置。 - 前記蓄積素子部は、前記多重変調光に含まれる各周波数fn(1≦n≦N)に対して、少なくとも1つの蓄積素子を備える、
請求項1に記載の距離測定装置。 - 前記多重変調光に含まれる各周波数fn(1≦n≦N、周期Tn)に対して、
前記分配部は、
所定の時刻t0と、前記時刻t0とは異なる時刻である時刻t1(≠t0)と、前記時刻t0からTn/2後の時刻である時刻t2(=t0+Tn/2)と、前記時刻t0からTn/2後の時刻である時刻t3(=t1+Tn/2)において出力先を切り替え、
前記蓄積素子部は、
少なくとも前記多重変調光における最長周期T1の間、電荷を蓄積し続ける、
請求項1または2に記載の距離測定装置。 - 前記蓄積素子部は、
前記時刻t0および前記時刻t2における電荷量の差分電荷量を、少なくとも前記最長周期T1の間蓄積して、第1差分積算信号を生成し、
蓄積した電荷量を前記距離算出部に電荷転送した後、
前記時刻t1および前記時刻t3における電荷量の差分電荷量を、少なくとも前記最長周期T1の間蓄積して、第2差分積算信号を生成する、
請求項3に記載の距離測定装置。 - 前記蓄積素子部は、第1の蓄積素子部と、第2の蓄積素子部と、を有し、
少なくとも前記最長周期T1の間、
前記第1の蓄積素子部は、前記時刻t0および前記時刻t2における電荷量の差分電荷量を蓄積して、第1差分積算信号を生成し、
前記第2の蓄積素子部は、前記時刻t1および前記時刻t3における電荷量の差分電荷量を蓄積して、第2差分積算信号を生成する、
請求項3に記載の距離測定装置。 - 前記蓄積素子部は、
前記時刻t0~t3のうちの任意の1つの時刻において、少なくとも前記最長周期T1の間電荷量を蓄積し、蓄積した電荷量を前記距離算出部に電荷転送する処理を、前記時刻t0に対応する蓄積電荷量、前記時刻t1に対する蓄積電荷量、前記時刻t2に対する蓄積電荷量、および、前記時刻t3に対する蓄積電荷量の全てに対して順次行うことにより、前記各時刻t0~t3に対応した電荷量を前記第0~第3積算信号として前記距離算出部に電荷転送する、
請求項3に記載の距離測定装置。 - 前記蓄積素子部は、第1の蓄積素子部と、第2の蓄積素子部と、を有し、
前記第1の蓄積素子部および前記第2の蓄積素子部は、
少なくとも前記最長周期T1の間、前記時刻t0~t3のうち任意の2つの時刻における電荷量を蓄積し、蓄積した電荷量を前記距離算出部に電荷転送した後、
少なくとも前記最長周期T1の間、残りの2つの時刻における電荷量を蓄積し、
蓄積した電荷量を前記距離算出部に電荷転送することにより、
前記各時刻t0~t3に対応した電荷量を前記第0~第3積算信号として前記距離算出部に電荷転送する、
請求項3に記載の距離測定装置。 - 前記蓄積素子部は、第0の蓄積素子部と、第1の蓄積素子部と、第2の蓄積素子部と、第3の蓄積素子部と、を有し、
少なくとも前記最長周期T1の間、
前記第0の蓄積素子部は、前記時刻t0における電荷量を蓄積して、第0積算信号を生成し、
前記第1の蓄積素子部は、前記時刻t1における電荷量を蓄積して、第1積算信号を生成し、
前記第2の蓄積素子部は、前記時刻t2における電荷量を蓄積して、第2積算信号を生成し、
前記第3の蓄積素子部は、前記時刻t3における電荷量を蓄積して、第3積算信号を生成する、
請求項3に記載の距離測定装置。 - 前記距離算出部は、
前記多重変調光に含まれる各周波数の位相ずれ量を算出し、算出した位相ずれ量のうち、前記多重変調光に含まれる各周波数成分の中の任意の周波数成分の位相ずれ量である低周波位相ずれ量、および、前記多重変調光に含まれる各周波数成分の中に含まれ、前記低周波位相ずれ量に対応する周波数成分より高い周波数成分の位相ずれ量である高周波位相ずれ量に基づいて最終位相ずれ量を算出し、算出した前記最終位相ずれ量に基づいて前記距離を算出する、
請求項1から10のいずれかに記載の距離測定装置。 - 前記距離算出部は、
前記多重変調光に含まれる各周波数の位相ずれ量ψnを添え字順(n=1、2、…)に並べ、初めてπ/2以上となる位相ずれ量の添え字をk(2≦k≦N)とするとき、位相ずれ量ψk-1を、前記低周波位相ずれ量として、距離を算出する、
請求項11から13のいずれかに記載の距離測定装置。 - 前記照射部は、前記多重変調光を、低周波成分ほど振幅を小さくして生成する、
請求項1から15のいずれかに記載の距離測定装置。 - fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化して生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する照射部と、
前記照射部から照射された前記多重変調光の前記距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する受光素子部と、
前記受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する分配部と、
前記分配部から出力される電荷を蓄積する蓄積素子部と、
を備える距離測定装置に用いられる距離測定方法であって、
前記分配部の出力先を、所定のタイミングで、所定の出力先に切り替えるように制御する分配制御ステップと、
前記第1の蓄積素子部および前記第2の蓄積素子部により蓄積された電荷量に基づいて、前記距離測定対象までの距離を算出する距離算出ステップと、
を備える距離測定方法。 - fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化して生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する照射部と、
前記照射部から照射された前記多重変調光の前記距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する受光素子部と、
前記受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する分配部と、
前記分配部から出力される電荷を蓄積する蓄積素子部と、
を備える距離測定装置に用いられる距離測定方法をコンピュータに実行させるプログラムであって、
前記分配部の出力先を、所定のタイミングで、所定の出力先に切り替えるように制御する分配制御ステップと、
前記第1の蓄積素子部および前記第2の蓄積素子部により蓄積された電荷量に基づいて、前記距離測定対象までの距離を算出する距離算出ステップと、
を備える距離測定方法をコンピュータに実行させるプログラム。 - fn+1=2kn・fn(nおよびknは、自然数)
なる関係を有する、N個(Nは2以上の整数)の異なる周波数fn(1≦n≦N)を多重化して生成される多重変調信号により光強度変調された多重変調光を距離測定対象に対して照射する照射部と、
前記照射部から照射された前記多重変調光の前記距離測定対象からの反射波を受光し、受光量に相当する電荷を取得する受光素子部と、
前記受光素子部により取得された電荷を所定のタイミングで所定の出力先に出力する分配部と、
前記分配部から出力される電荷を蓄積する蓄積素子部と、
前記蓄積素子部により蓄積された電荷量に基づいて、前記距離測定対象までの距離を算出する距離算出部と、
を備える集積回路。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/990,677 US8531651B2 (en) | 2009-03-05 | 2010-02-18 | Distance measuring device, distance measuring method, program, and integrated circuit |
CN201080001501.1A CN102016636B (zh) | 2009-03-05 | 2010-02-18 | 距离测定方法 |
JP2011502616A JP5584196B2 (ja) | 2009-03-05 | 2010-02-18 | 距離測定装置、距離測定方法、プログラムおよび集積回路 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009052669 | 2009-03-05 | ||
JP2009-052669 | 2009-03-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2010100846A1 true WO2010100846A1 (ja) | 2010-09-10 |
Family
ID=42709417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/001023 WO2010100846A1 (ja) | 2009-03-05 | 2010-02-18 | 距離測定装置、距離測定方法、プログラムおよび集積回路 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8531651B2 (ja) |
JP (1) | JP5584196B2 (ja) |
CN (1) | CN102016636B (ja) |
WO (1) | WO2010100846A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013195117A (ja) * | 2012-03-16 | 2013-09-30 | Ricoh Co Ltd | 測距装置 |
JP2017150882A (ja) * | 2016-02-23 | 2017-08-31 | 株式会社トプコン | 距離測定装置、距離測定方法および距離測定用プログラム |
JP2017201760A (ja) * | 2016-05-06 | 2017-11-09 | 株式会社ニコン | 撮像装置および測距装置 |
JP2018077143A (ja) * | 2016-11-10 | 2018-05-17 | 株式会社リコー | 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法 |
JP2018077071A (ja) * | 2016-11-08 | 2018-05-17 | 株式会社リコー | 測距装置、監視カメラ、3次元計測装置、移動体、ロボット、光源駆動条件設定方法及び測距方法 |
US11977157B2 (en) | 2018-06-12 | 2024-05-07 | Mitsubishi Electric Corporation | Optical distance measurement device and machining device |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8988660B2 (en) * | 2011-06-29 | 2015-03-24 | Silicon Laboratories Inc. | Optical detector |
US9094606B2 (en) * | 2011-07-04 | 2015-07-28 | Waikatolink Limited | Motion compensation in range imaging |
CN104160243B (zh) * | 2012-03-01 | 2017-03-01 | 日产自动车株式会社 | 距离测量装置和距离测量方法 |
CN107340509B (zh) * | 2012-03-09 | 2020-04-14 | 株式会社半导体能源研究所 | 半导体装置的驱动方法 |
US20140139632A1 (en) * | 2012-11-21 | 2014-05-22 | Lsi Corporation | Depth imaging method and apparatus with adaptive illumination of an object of interest |
TWI454968B (zh) | 2012-12-24 | 2014-10-01 | Ind Tech Res Inst | 三維互動裝置及其操控方法 |
DE102013112553A1 (de) * | 2013-11-14 | 2015-06-03 | Odos Imaging Ltd. | Beleuchtungsvorrichtung und Verfahren zum Beleuchten eines Objekts |
US11803044B2 (en) | 2014-01-18 | 2023-10-31 | Daylight Solutions, Inc. | Low-noise spectroscopic imaging system with steerable substantially coherent illumination |
WO2015109274A1 (en) | 2014-01-18 | 2015-07-23 | Daylight Solutions, Inc. | Low-noise spectroscopic imaging system |
US10437033B2 (en) * | 2014-01-18 | 2019-10-08 | Daylight Solutions, Inc. | Modulating spectroscopic imaging system using substantially coherent illumination |
US9467227B2 (en) * | 2014-03-13 | 2016-10-11 | Luxtera, Inc. | Method and system for an optical connection service interface |
WO2016199518A1 (ja) * | 2015-06-09 | 2016-12-15 | 富士フイルム株式会社 | 距離画像取得装置及び距離画像取得方法 |
JP6406449B2 (ja) | 2015-06-24 | 2018-10-17 | 株式会社村田製作所 | 距離センサ |
CN108983249B (zh) * | 2017-06-02 | 2020-11-06 | 比亚迪股份有限公司 | 飞行时间测距系统、方法、测距传感器和相机 |
KR102469944B1 (ko) | 2018-08-07 | 2022-11-23 | 엘지이노텍 주식회사 | 카메라 |
JP6825164B1 (ja) * | 2019-03-01 | 2021-02-03 | 株式会社ブルックマンテクノロジ | 距離画像撮像装置および距離画像撮像装置による距離画像撮像方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5866880A (ja) * | 1981-10-16 | 1983-04-21 | Tohoku Richo Kk | 光波測距計 |
JPH05264723A (ja) * | 1992-03-23 | 1993-10-12 | Mitsubishi Heavy Ind Ltd | 測距装置 |
JPH109834A (ja) * | 1996-06-19 | 1998-01-16 | Olympus Optical Co Ltd | 3次元画像入力装置 |
JPH11507155A (ja) * | 1995-05-19 | 1999-06-22 | リチャード,ジェンキン,エイ. | 光学式送受信機 |
JP2004032682A (ja) * | 2002-04-08 | 2004-01-29 | Matsushita Electric Works Ltd | 強度変調光を用いた空間情報の検出装置 |
JP2006084430A (ja) * | 2004-09-17 | 2006-03-30 | Matsushita Electric Works Ltd | 距離画像センサ |
JP2007121116A (ja) * | 2005-10-28 | 2007-05-17 | Sharp Corp | 光学式測距装置 |
JP2008107286A (ja) * | 2006-10-27 | 2008-05-08 | Mitsui Eng & Shipbuild Co Ltd | 画像情報取得装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5446396A (en) * | 1992-10-22 | 1995-08-29 | Advanced Micro Devices, Inc. | Voltage comparator with hysteresis |
JP3374392B2 (ja) * | 1997-10-07 | 2003-02-04 | 日産自動車株式会社 | 測距レーダ |
JPH11160065A (ja) * | 1997-11-26 | 1999-06-18 | Nikon Corp | 光波測距儀 |
JP3840341B2 (ja) * | 1998-10-15 | 2006-11-01 | 浜松ホトニクス株式会社 | 立体情報検出方法及び装置 |
US6100540A (en) * | 1999-02-22 | 2000-08-08 | Visidyne, Inc. | Laser displacement measurement system |
US6906793B2 (en) * | 2000-12-11 | 2005-06-14 | Canesta, Inc. | Methods and devices for charge management for three-dimensional sensing |
EP1405096A2 (en) * | 2001-05-30 | 2004-04-07 | Eagle Ray Corporation | Optical sensor for distance measurement |
JP3935897B2 (ja) * | 2004-06-15 | 2007-06-27 | 北陽電機株式会社 | 光波測距装置 |
US7362419B2 (en) | 2004-09-17 | 2008-04-22 | Matsushita Electric Works, Ltd. | Range image sensor |
JP3906858B2 (ja) * | 2004-09-17 | 2007-04-18 | 松下電工株式会社 | 距離画像センサ |
JP4828167B2 (ja) * | 2005-06-16 | 2011-11-30 | 株式会社 ソキア・トプコン | 距離測定装置及びその方法 |
JP2007132848A (ja) | 2005-11-11 | 2007-05-31 | Sharp Corp | 光学式測距装置 |
US7417718B2 (en) | 2005-10-28 | 2008-08-26 | Sharp Kabushiki Kaisha | Optical distance measuring apparatus |
JP2007155660A (ja) * | 2005-12-08 | 2007-06-21 | Sokkia Co Ltd | 光波距離計 |
US8057708B2 (en) | 2006-06-30 | 2011-11-15 | E. I. Du Pont De Nemours And Company | Stabilized compositions of conductive polymers and partially fluorinated acid polymers |
-
2010
- 2010-02-18 CN CN201080001501.1A patent/CN102016636B/zh active Active
- 2010-02-18 US US12/990,677 patent/US8531651B2/en active Active
- 2010-02-18 JP JP2011502616A patent/JP5584196B2/ja active Active
- 2010-02-18 WO PCT/JP2010/001023 patent/WO2010100846A1/ja active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5866880A (ja) * | 1981-10-16 | 1983-04-21 | Tohoku Richo Kk | 光波測距計 |
JPH05264723A (ja) * | 1992-03-23 | 1993-10-12 | Mitsubishi Heavy Ind Ltd | 測距装置 |
JPH11507155A (ja) * | 1995-05-19 | 1999-06-22 | リチャード,ジェンキン,エイ. | 光学式送受信機 |
JPH109834A (ja) * | 1996-06-19 | 1998-01-16 | Olympus Optical Co Ltd | 3次元画像入力装置 |
JP2004032682A (ja) * | 2002-04-08 | 2004-01-29 | Matsushita Electric Works Ltd | 強度変調光を用いた空間情報の検出装置 |
JP2006084430A (ja) * | 2004-09-17 | 2006-03-30 | Matsushita Electric Works Ltd | 距離画像センサ |
JP2007121116A (ja) * | 2005-10-28 | 2007-05-17 | Sharp Corp | 光学式測距装置 |
JP2008107286A (ja) * | 2006-10-27 | 2008-05-08 | Mitsui Eng & Shipbuild Co Ltd | 画像情報取得装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013195117A (ja) * | 2012-03-16 | 2013-09-30 | Ricoh Co Ltd | 測距装置 |
JP2017150882A (ja) * | 2016-02-23 | 2017-08-31 | 株式会社トプコン | 距離測定装置、距離測定方法および距離測定用プログラム |
US10634786B2 (en) | 2016-02-23 | 2020-04-28 | Topcon Corporation | Distance measuring device, distance measuring method, and program therefor |
JP2017201760A (ja) * | 2016-05-06 | 2017-11-09 | 株式会社ニコン | 撮像装置および測距装置 |
JP2018077071A (ja) * | 2016-11-08 | 2018-05-17 | 株式会社リコー | 測距装置、監視カメラ、3次元計測装置、移動体、ロボット、光源駆動条件設定方法及び測距方法 |
JP2018077143A (ja) * | 2016-11-10 | 2018-05-17 | 株式会社リコー | 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法 |
US11977157B2 (en) | 2018-06-12 | 2024-05-07 | Mitsubishi Electric Corporation | Optical distance measurement device and machining device |
Also Published As
Publication number | Publication date |
---|---|
CN102016636B (zh) | 2014-10-01 |
JP5584196B2 (ja) | 2014-09-03 |
JPWO2010100846A1 (ja) | 2012-09-06 |
CN102016636A (zh) | 2011-04-13 |
US8531651B2 (en) | 2013-09-10 |
US20110051118A1 (en) | 2011-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5584196B2 (ja) | 距離測定装置、距離測定方法、プログラムおよび集積回路 | |
JP6570658B2 (ja) | Ladarシステム及び方法 | |
US9857469B2 (en) | System and method for multi TOF camera operation using phase hopping | |
CN111758047B (zh) | 单芯片rgb-d相机 | |
US10422879B2 (en) | Time-of-flight distance measuring device | |
EP2594959B1 (en) | System and method for multi TOF camera operation using phase hopping | |
KR101884952B1 (ko) | 별도의 화소 및 저장 어레이를 갖는 복조(復調) 센서 | |
US9052382B2 (en) | System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed | |
KR20190110884A (ko) | ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법 | |
CN104024878B (zh) | 距离测量装置 | |
US20150041625A1 (en) | Time to digital converter and applications thereof | |
WO2016072089A1 (ja) | 光飛行型測距装置およびその方法 | |
Hussmann et al. | Real-time motion artifact suppression in tof camera systems | |
JP2005283471A (ja) | 光画像計測装置 | |
JPWO2017187484A1 (ja) | 物体撮像装置 | |
CN111798503A (zh) | 利用飞行时间相机同时进行数据传输和深度图像记录 | |
US20130176550A1 (en) | Image sensor, image sensing method, and image photographing apparatus including the image sensor | |
WO2011000815A1 (en) | Range camera and range image acquisition method | |
JP2020008483A (ja) | 撮像装置および撮像装置の制御方法 | |
Hussmann et al. | Real-time motion supression in tof range images | |
EP3835720B1 (en) | Method for multipath error compensation and multipath error-compensated indirect time of flight range calculation apparatus | |
JP2018036144A (ja) | 距離計測システム、および距離計測方法 | |
Payne et al. | Characterization of modulated time-of-flight range image sensors | |
Jongenelen et al. | Development and characterisation of an easily configurable range imaging system | |
Hussmann et al. | Modulation method for minimizing the depth distortion offset of lock-in TOF cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201080001501.1 Country of ref document: CN |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2011502616 Country of ref document: JP |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10748449 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 12990677 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 10748449 Country of ref document: EP Kind code of ref document: A1 |