WO2023120009A1 - 測距装置、センサ装置 - Google Patents

測距装置、センサ装置 Download PDF

Info

Publication number
WO2023120009A1
WO2023120009A1 PCT/JP2022/043296 JP2022043296W WO2023120009A1 WO 2023120009 A1 WO2023120009 A1 WO 2023120009A1 JP 2022043296 W JP2022043296 W JP 2022043296W WO 2023120009 A1 WO2023120009 A1 WO 2023120009A1
Authority
WO
WIPO (PCT)
Prior art keywords
frequency
mode
unit
ranging
light
Prior art date
Application number
PCT/JP2022/043296
Other languages
English (en)
French (fr)
Inventor
康平 原田
光晴 大木
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023120009A1 publication Critical patent/WO2023120009A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/26—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein the transmitted pulses use a frequency-modulated or phase-modulated carrier wave, e.g. for pulse compression of received signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Definitions

  • the present technology relates to a ranging device and a sensor device that perform ranging, and more particularly to a ranging device and a sensor device that perform time-of-flight ranging.
  • ToF method time-of-flight method
  • ToF method an indirect ToF method that does not require a circuit for calculating time is known.
  • the indirect ToF method for example, as shown in Japanese Patent Laid-Open No. 2002-100001, the charge obtained by photoelectrically converting the light reflected by the object is distributed to two charge storage units, and the charge amount ratio of the charge storage unit determines the object. Calculate the distance to
  • This technology was created in view of the above circumstances, and aims to reduce power consumption while ensuring ranging accuracy and ranging distance in the indirect ToF method.
  • a distance measuring device includes a pixel array unit that performs a light receiving operation for time-of-flight distance measurement using a modulation frequency, a light receiving operation using a first frequency as the modulation frequency, and A dual-mode range finding operation in which the pixel array section alternately performs a receiving operation using a second frequency, which is the highest frequency, as the modulation frequency, and only a light receiving operation using a predetermined frequency as the modulation frequency are performed on the pixel array. and a switching processing unit for switching between the dual-mode ranging and the single-mode ranging according to a predetermined condition. .
  • irradiation and light reception operations of modulated light intensity-modulated at a first frequency and irradiation and light reception operations of modulated light intensity-modulated at a second frequency are performed. Therefore, light irradiation and light receiving operations are performed twice in order to obtain distance measurement information once.
  • Distance measurement in dual mode can achieve both high distance measurement accuracy and long-distance measurement.
  • irradiation and light reception operations of modulated light intensity-modulated at a predetermined frequency are performed. Therefore, only one light irradiation and light receiving operation is required to obtain one-time distance measurement information. Ranging in the single mode reduces the power consumption required to obtain one piece of ranging information, and also shortens the time required to obtain one piece of ranging information.
  • a sensor device includes a pixel array section in which light receiving elements that perform a unit light receiving operation in time-of-flight distance measurement are two-dimensionally arranged; Driving in a dual mode in which a unit light receiving operation and the unit light receiving operation at a second frequency different from the first frequency are alternately performed, and driving in a single mode in which the light receiving element performs only the unit light receiving operation at a predetermined frequency. and a driving unit for driving. Even in such a sensor device, it is possible to obtain the same effect as the distance measuring device according to the present technology described above.
  • FIG. 1 is a diagram illustrating a configuration example of a distance measuring device according to a first embodiment of the present technology
  • FIG. 4A and 4B are diagrams schematically showing a configuration example of a pixel according to the present technology
  • FIG. 4 is a timing chart of write signals related to exposure control and light receiving control according to the present technology
  • FIG. 10 is a diagram for explaining an operation example in dual-mode ranging according to the present technology
  • FIG. 7 is a diagram for explaining an operation example in single-mode ranging according to the present technology
  • FIG. 7 is a diagram for explaining another operation example in single-mode ranging according to the present technology
  • FIG. 7 is a diagram for explaining an operation example when performing distance measurement using a high frequency as a single mode according to the present technology
  • FIG. 4 is a diagram for explaining state transitions of a ranging mode according to the present technology
  • 6 is a flowchart of a processing example executed by a control unit according to the first embodiment of the present technology
  • 6 is a flowchart showing an example of initialization processing of the inertial measurement device according to the present technology
  • 9 is a flowchart of a processing example executed by a control unit of a distance measuring device according to a second embodiment of the present technology
  • FIG. 11 is a flowchart of another processing example executed by the control unit of the distance measuring device according to the second embodiment of the present technology
  • FIG. FIG. 13 is a diagram illustrating a configuration example of a distance measuring device according to a third embodiment of the present technology
  • FIG. 11 is a flowchart of a processing example executed by a control unit according to a third embodiment of the present technology
  • FIG. FIG. 12 is a diagram illustrating a configuration example of a distance measuring device according to a fourth embodiment of the present technology
  • FIG. 13 is a flowchart of a processing example executed by a control unit according to a fourth embodiment of the present technology
  • FIG. 13 is a diagram illustrating a configuration example of a distance measuring device according to a fifth embodiment of the present technology
  • a configuration of a distance measuring device 1 according to the first embodiment will be described with reference to FIG.
  • various devices such as a camera device and a smart phone are conceivable.
  • the rangefinder 1 includes a light emitting unit 2, a light emission driving unit 3, an indirect ToF sensor unit 4, a control unit 5, and an inertial measurement device 6.
  • the light emitting unit 2 includes a light source such as an infrared (IR) LED (Light Emitting Diode), and emits light based on a control signal input from the light emission driving unit 3 .
  • the light emitting unit 2 is capable of emitting modulated light whose light intensity is modulated based on a specific frequency.
  • the light emitting unit 2 is capable of irradiating a plurality of types of modulated light with different specific frequencies. In this embodiment, it is possible to irradiate two types of modulated light with different specific frequencies. In the following description, the specific frequency will be referred to as modulation frequency.
  • the two types of modulation frequencies are a relatively low frequency fL and a relatively high frequency fH.
  • the modulated light modulated based on the low frequency fL is referred to as low frequency modulated light MLL, and the modulated light modulated based on the high frequency fH is referred to as high frequency modulated light MLH.
  • the light emitting unit 2 may be capable of emitting three or more types of modulated light with different modulation frequencies.
  • the light emission drive unit 3 supplies the light emission unit 2 with a drive signal corresponding to the modulation frequency for irradiating the modulated light.
  • the indirect ToF sensor unit 4 is a sensor unit such as a CMOS (Complementary Metal Oxide Semiconductor) type or a CCD (Charge Coupled Device) type, and is configured as a sensor unit capable of distance measurement using an indirect ToF (Indirect ToF) method. ing.
  • the indirect ToF sensor section 4 includes a pixel array section 4a configured by two-dimensionally arraying pixels 7 each having a light receiving element PD.
  • the indirect ToF sensor unit 4 performs light receiving operation based on the control signal input from the control unit 5 .
  • the indirect ToF sensor unit 4 receives reflected light that is the modulated light emitted from the light emitting unit 2 and reflected by the object OB.
  • the pixel 7 includes a light-receiving element PD such as a photodiode, and a first tap TP1 and a second tap TP2 for detecting charges generated by photoelectric conversion in the light-receiving element PD.
  • the light receiving element PD in this example has sensitivity to light in the infrared region, for example.
  • the first tap TP1 includes a first FD (Floating Diffusion) 8, a first transfer transistor 9 for transferring charges from the light receiving element PD to the first FD8, and a selection transistor and a reset transistor (not shown).
  • the first transfer transistor 9 is described as a switch in the drawing.
  • the second tap TP2 includes a second FD10, a second transfer transistor 11 for transferring charges from the light receiving element PD to the second FD10, and a selection transistor and a reset transistor (not shown).
  • the second transfer transistor 11 is described as a switch in the drawing.
  • a signal for controlling the ON/OFF state of the first transfer transistor 9 is synchronized with the light emission period of the light source provided in the light emitting section 2 . Also, the control signals applied to the first transfer transistor 9 and the second transfer transistor 11 have a phase difference of 180 degrees.
  • the charge transferred to the first FD8 is output to the control section 5 as a first signal S1, which is a detection signal output from the first tap TP1 in accordance with the readout signal.
  • the charge transferred to the second FD 10 is output to the control section 5 as a second signal S2, which is a detection signal output from the second tap TP2 in response to the readout signal.
  • the distance measuring device 1 may be configured to have an optical lens system for allowing light to enter the pixel array section 4a of the indirect ToF sensor section 4 efficiently.
  • the optical lens system may include, for example, not only various lenses such as a zoom lens and a focus lens, but also a mechanical shutter, an iris mechanism, and the like.
  • the control unit 5 includes, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a DSP (Digital Signal Processor) such as a calculation unit, and a ROM (Read Only Memory), a RAM (Random Access Memory), or other memory. It is configured with a part. Note that the processing executed by the control unit 5 in FIG. 1 may be realized by software, or a part or a front part thereof may be realized by hardware.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • DSP Digital Signal Processor
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 5 supplies a command or the like for driving the light emitting unit 2 at a desired modulation frequency to the light emission driving unit 3 .
  • the light emitting unit 2 can irradiate light intensity-modulated based on the supplied rectangular-wave drive signal.
  • the light emitting unit 2 may irradiate light whose intensity is modulated based on a sine wave drive signal.
  • the drive signal may be supplied to the light emitting unit 2 from the indirect ToF sensor unit 4 instead of from the control unit 5 .
  • control unit 5 performs ON/OFF control of the first transfer transistor 9 and the second transfer transistor 11 at timing synchronized with the modulation frequency.
  • FIG. 3 shows an exposure control signal Se used for exposure control, an irradiation light signal SL provided to the light emitting unit 2 for irradiating light intensity-modulated at a predetermined modulation frequency, and an irradiation light signal SL supplied to the first transfer transistor 9.
  • 2 is a diagram showing a relationship between a first control signal St1 supplied to a second transfer transistor 11 and a second control signal St2 supplied to a second transfer transistor 11.
  • the first transfer transistor 9 is ON/OFF controlled based on the first control signal St1.
  • the second transfer transistor 11 is ON/OFF controlled based on the second control signal St2.
  • light irradiation is performed multiple times over the irradiation period TL during the exposure time Te.
  • An operation of performing one light irradiation that is, one light irradiation during the irradiation period TL is defined as a “unit light emitting operation”.
  • the multiple times of light irradiation are performed by alternately repeating the light irradiation period TL and the non-irradiation period.
  • the light non-irradiation period has the same length of time as the irradiation period TL. That is, the duty ratio is set to 50%.
  • the control unit 5 performs switching control of the first transfer transistor 9 so that charges are accumulated in the first FD 8 over the first period T1 synchronized with the irradiation light signal SL. Further, the control unit 5 performs switching control of the second transfer transistor 11 so that the charge is accumulated in the second FD 10 over the second period T2 synchronized with the irradiation light signal SL.
  • the first period T1 and the second period T2 have the same time length as the irradiation period TL.
  • the operation (first period T1) for accumulating charges for one time corresponding to the unit light emitting operation is referred to as the "unit light receiving operation”.
  • the switches may be switched once so that the first FD8 and the second FD10 each accumulate charges once in one exposure time Te. That is, the first transfer transistor 9 is controlled to be ON so that the first FD 8 accumulates electric charges in the first half of the exposure time Te, and the first transfer transistor 9 is turned OFF and the second transfer transistor is turned OFF at the beginning of the second half of the exposure time Te. 11 may be switched to the ON state so that charges may be accumulated in the second FD 10 in the second half of the exposure time.
  • the control unit 5 includes a distance measurement processing unit F1 and a switching processing unit F2 in order to realize various functions to be described later.
  • the distance measurement processing unit F1 performs distance measurement by performing light emission control of the light emission unit 2 and light reception control of the indirect ToF sensor unit 4 using one or a plurality of different frequencies.
  • the distance measurement processing unit F1 is capable of distance measurement in multiple distance measurement modes. Specifically, the distance measurement processing unit F1 performs distance measurement using a dual mode DM that performs distance measurement using two different frequencies (for example, a low frequency fL and a high frequency fH), and a distance measurement that uses only a single frequency.
  • a dual mode DM that performs distance measurement using two different frequencies (for example, a low frequency fL and a high frequency fH), and a distance measurement that uses only a single frequency.
  • a single mode SM is enabled.
  • the dual-mode DM is a mode that secures both the performance of the distance measurement and the accuracy of the distance measurement.
  • the distance in distance measurement using the low frequency fL, the distance can be measured in 100 steps (in increments of 5 cm) from 0 m to 5 m. That is, in ranging at the low frequency fL, the ranging distance is set to 5 m and the resolution is set to 5 cm. Also, in distance measurement using the high frequency fH, the range of 0 m to 1 m can be measured in 100 steps (1 cm steps). That is, in ranging at the high frequency fH, the ranging distance is set to 1 m and the resolution is set to 1 cm.
  • FIG. 4 shows an example of ranging in dual-mode DM. If a period TRL is a period during which distance measurement is performed using the low frequency fL, and a period TRH is a period during which distance measurement is performed using the high frequency fH, one distance measurement is performed with the period TRL and the period TRH as a pair. is performed (see FIG. 4). This period is called a period TRA. Distance measurement data D is calculated after the period TRA has elapsed.
  • the distance measurement data D calculated here is measured in 1 cm increments between 0 m and 5 m. In other words, both the performance of the range finding distance of 5 m and the range finding accuracy of 1 cm increments are ensured.
  • the distance measurement data D1 is calculated after the period TRA1 consisting of the periods TRL1 and TRH1 has passed, and the next distance measurement data D2 is calculated after the period TRA2 consisting of the periods TRL2 and TRH2 has passed.
  • the light emitting unit 2 emits the low-frequency modulated light MLL during the period TRL1, and emits the high-frequency modulated light MLH during the period TRH1. That is, the light emitting unit 2 continuously repeats the irradiation period TL and the non-irradiation period during execution of distance measurement in the dual mode DM.
  • FIG. 5 shows an example of ranging with a single-mode SM. Note that FIG. 5 shows an example in which only distance measurement using the low frequency fL is performed.
  • the ranging data D is output with the same frequency as in the dual mode DM, the ranging data D is calculated after the period TRL during which the ranging using the low frequency fL is performed, and then the ranging data D is calculated for the same length as the period TRL. A distance non-execution period is provided.
  • the distance measurement data D2 is calculated after the period TRL2 has passed with a distance measurement non-execution period.
  • the light-emitting unit 2 is provided with a period during which the light is not emitted (distance measurement non-execution period) after irradiating the low-frequency modulated light MLL in the period TRL1.
  • a period during which the light is not emitted distance measurement non-execution period
  • the number of times of light emission and the light receiving operation in the pixel array section 4a can be reduced as compared with the dual mode DM, and the power consumption can be reduced.
  • the period TRL1 and the non-execution of distance measurement have the same length of time, but the non-execution of distance measurement may be shorter than the period TRL1.
  • the non-execution of distance measurement may be shorter than the period TRL1.
  • the last measured ranging data in dual-mode DM is used. This ensures the performance of both ranging accuracy and ranging distance in single-mode SM ranging.
  • the dual-mode DM is switched to the single-mode SM after the distance measurement data D is obtained m times.
  • the first ranging in single-mode SM is performed in period TRH1 using high frequency fH.
  • Intermediate data dH1 is obtained after the period TRH1 has elapsed.
  • the intermediate data dH is the ranging data obtained using the high frequency fH, and is regarded as highly accurate ranging data. Data.
  • the m-th ranging data Dm (that is, the last ranging data) obtained by dual-mode DM is used.
  • the ranging data Dm consists of intermediate data dLm obtained at the end of the dual-mode DM using the low frequency fL and intermediate data dHm obtained at the end of the dual-mode DM using the high frequency fH.
  • the first ranging data D1 in the single mode SM is obtained by considering the difference between the intermediate data dHm and the intermediate data dH1 with respect to the immediately preceding ranging data Dm. That is, the distance measurement data D1 is obtained by adding the difference between the intermediate data dHm and the intermediate data dH1 to the immediately preceding distance measurement data Dm.
  • the second ranging data D2 in the single mode SM is obtained by adding the difference between the intermediate data dH2 and the intermediate data dH1 to the immediately preceding ranging data D1.
  • the ranging distance and the ranging accuracy It is possible to suppress power consumption by reducing the number of times of light emission while ensuring both performances.
  • the switching processing unit F2 performs switching processing of the ranging mode.
  • the switching processor F2 switches between the dual mode DM and the single mode SM based on the signal output from the inertial measurement device 6.
  • the indirect ToF sensor unit 4 includes a driving unit that drives the pixel array unit 4a corresponding to dual mode DM and single mode SM.
  • the driving of the pixel array section 4a in SM and the driving of the pixel array section 4a in single mode SM are switched.
  • the inertial measurement device 6 is also called an IMU (Inertial Measurement Unit), and is configured with an acceleration sensor and an angular velocity sensor for detecting the movement and orientation of the rangefinder 1 .
  • IMU Inertial Measurement Unit
  • the output is set to "0".
  • a signal other than "0" is output when the distance measuring device 1 is moving or changing its posture.
  • the switching processing unit F2 switches the ranging mode when the output from the inertial measurement device 6 satisfies a predetermined condition. For example, when the output from the inertial measurement device 6 is equal to or greater than a threshold, the switching processing unit F2 may assume that there is a change in the angle of view and switch the ranging mode. is less than the threshold, it may be assumed that there is no change in the angle of view, and the ranging mode may be switched.
  • FIG. 8 shows an example of state transition for the ranging mode.
  • the switching processing unit F2 switches to the single mode SM when it is determined that there is no movement or attitude change of the rangefinder 1 in the dual mode DM.
  • the last ranging data acquired by the dual mode DM specifically, the intermediate data dL, which is the ranging data using the low frequency fL, can be used as it is. highly sexual. Therefore, by switching the distance measurement mode to the single mode SM and continuing to acquire only the intermediate data dH using the high frequency fH, unnecessary distance measurement operations are eliminated as much as possible and the power consumption of the distance measurement device 1 is reduced. can do.
  • the switching processing unit F2 switches to the dual mode DM when it is determined that the distance measuring device 1 has moved or changed its posture in the single mode SM.
  • the distance measuring device 1 moves or changes its posture, there is a high possibility that the past intermediate data dL used up to that point will need to be updated. Therefore, by switching the distance measurement mode to the dual mode DM, detailed distance information for each object OB can be obtained, thereby preventing deterioration in distance measurement accuracy.
  • the switching processor F2 switches to the dual-mode DM capable of high-precision and long-distance measurement as necessary while obtaining the effect of reducing power consumption by using the single-mode SM.
  • the single mode SM and the dual mode DM can be properly used by the switching processing unit F2.
  • the control unit 5 first performs initialization processing in step S101 of FIG. In the initialization process, reference data for the inertial measurement device 6 is obtained.
  • control unit 5 sets the dual mode DM in step S201 of the initialization process in FIG. After that, ranging using the low frequency fL and ranging using the high frequency fH are performed until the ranging mode is changed or the power of the ranging device 1 is turned off.
  • step S202 the control unit 5 compares the latest ranging data with the previous ranging data. Then, in step S203, the control unit 5 performs branch processing based on the comparison result. Specifically, when the control unit 5 determines in step S203 that the position or orientation of the rangefinder device 1 has changed, the control unit 5 returns to the process of step S202 again.
  • control unit 5 records the output value of the inertial measurement device 6 as the value at rest in step S204.
  • the initialization process shown in FIG. 10 is completed by executing the process of step S204.
  • step S102 the control unit 5 compares the latest output of the inertial measurement device 6 with the value at rest.
  • step S103 the control unit 5 performs branch processing based on the comparison result. Specifically, in step S103, the control unit 5 determines whether or not the distance measuring device 1 is in a stationary state. In this determination processing, if the output of the inertial measurement device 6 is lower than the threshold, it is determined that the range finder 1 is in a stationary state. is not in a stationary state.
  • control unit 5 determines in step S104 whether or not the single mode SM is being set.
  • step S102 If the single mode SM is being set, the control unit 5 returns to the process of step S102. On the other hand, if it is determined that the dual mode DM is being set even though the distance measuring device 1 is in a stationary state, the control unit 5 sets the single mode SM in step S105, and returns to the process of step S102. .
  • step S103 determines whether or not the distance measuring device 1 is not in a stationary state. If it is determined in the process of step S103 that the distance measuring device 1 is not in a stationary state, the control unit 5 determines in step S106 whether or not the dual mode DM is being set.
  • step S102 the control unit 5 returns to the process of step S102.
  • the controller 5 sets the dual mode DM in step S107, and returns to the process of step S102.
  • a camera device for capturing landscapes, portraits, and the like can be considered. Specifically, when it is detected from the output of the inertial measurement device 6 that the camera device is held in hand and the subject is being photographed, distance measurement is performed in the dual mode DM. On the other hand, when it is detected from the output of the inertial measurement device 6 that the camera is being photographed using a tripod or being placed on a desk or the like, distance measurement is performed with the single mode SM.
  • Such examples can also be applied to mobile terminal devices such as smartphones and tablets. For example, consider a state in which a virtual object as augmented reality placed at a predetermined position on a desk is viewed by pointing the camera of the mobile terminal device (distance measuring device 1).
  • a high-precision image of a real object (desk, etc.) located around the virtual object can be obtained.
  • the virtual object can be fixed at a fixed point.
  • distance measurement is performed in dual mode DM.
  • distance measurement is performed in single mode SM. As a result, the number of times of light emission and the number of light receiving operations can be reduced, and the mobile terminal device can be operated for a long time.
  • the second embodiment selects the modulation frequency used for light emission control and light reception control from a low frequency fL and a high frequency fH in a single mode SM.
  • single-mode SML is used when performing range finding using low frequency fL in single-mode SM
  • single-mode SMH is used when performing range finding using high frequency fH in single-mode SM. .
  • a customer service robot that performs customer service is equipped with a distance measuring device 1 . While the customer service robot stands still at the entrance of the store and waits for customers to pass in front of the customer service robot, the distance measuring device 1 is in a stationary state, so the single mode SM is selected. Then, since high ranging accuracy is not required to determine whether or not a person passes by, ranging is performed using the low frequency fL.
  • the distance measuring device 1 changes the distance measurement mode to the dual mode DM to measure the distance of the customer with high accuracy. Transition to mode SM.
  • the ranging mode after the transition is set to the single mode SMH that performs ranging using the high frequency fH.
  • the monitoring camera has a swing mode for monitoring a range wider than the angle of view and a fixed-point observation mode for monitoring whether or not there is a moving subject in the angle of view.
  • dual mode DM is selected as the ranging mode.
  • single-mode SML is basically selected. Then, when a moving subject is detected within the angle of view, a transition is made to the single-mode SMH after high-precision distance measurement of the moving subject is performed through the dual-mode DM.
  • the switching processing unit F2 of the control unit 5 in the present embodiment can execute selection processing for selecting either the low frequency fL or the high frequency fH as the frequency to be used for the single mode SM.
  • An example of processing executed by the control unit 5 is shown in FIG. The same step numbers are assigned to the same processes as in FIG. 9, and the description thereof is omitted as appropriate.
  • step S111 determines whether subject tracking is necessary. If it is determined that subject tracking is necessary, the control unit 5 sets the single mode SMH for distance measurement using the high frequency fH in step S112. It should be noted that the change of the ranging mode at this time is not only from dual mode DM to single mode SMH, but also from single mode SML to single mode SMH. Also, in that case, the single-mode SML may be changed to the single-mode SMH via the dual-mode DM.
  • step S111 When it is determined in step S111 that object tracking is not necessary, the control unit 5 sets single mode SML in which distance measurement is performed using the low frequency fL in step S113. At this time, the ranging mode may be changed not only from dual mode DM but also from single mode SMH. And, in that case, it may be changed via the dual mode DM.
  • step S111 it may be determined which single mode SM has been selected by the user, and the process may branch to step S112 or step S113.
  • the rangefinder 1 when the rangefinder 1 remains stationary for a long period of time, it may be better to update the ranging data in the dual mode DM that is used in the single mode SM. For example, even if the angle of view of the distance measuring device 1 does not change, the object OB within the angle of view has moved significantly, and it is better to remeasure the distance using the dual mode DM.
  • FIG. 12 shows an example of processing for that case. 9 and 11 are denoted by the same step numbers, and description thereof will be omitted as appropriate.
  • step S121 the control unit 5 determines whether or not the distance measurement data in the dual mode DM has been acquired within the most recent predetermined time. . If it is determined that the dual-mode DM ranging data (intermediate data dH) should be updated because no dual-mode DM ranging has been performed within the most recent predetermined time ("No" determination in the figure), control The unit 5 proceeds to step S107 and changes the distance measurement mode to the dual mode DM.
  • step S111 proceeds to processing to determine whether the ranging mode should be changed to single mode SML or single mode SMH. Note that if the post-change ranging mode has already been set, the process of step S112 or step S113 may be omitted.
  • the distance measuring device 1 is configured to be able to select the frequency of the signal used for the light emitting operation and the light receiving operation of the single mode SM according to the situation. frequency can be selected and used for ranging.
  • the desired frequency can be selected from options prepared in advance such as the low frequency fL and the high frequency fH. Therefore, the configuration of the distance measuring device 1 can be reduced.
  • single-mode SML a situation in which the distance measurement data of the subject within the angle of view is less than a predetermined value, for example, only the subject whose distance is less than the measurable distance using high-frequency fH is located within the angle of view. It may be configured to change to single-mode SMH when it becomes.
  • the distance information about the user or the wall as the subject may be about 1 m.
  • the single-mode SMH it is possible to achieve both high ranging accuracy and low power consumption. can be done.
  • a distance measuring device 1A according to the third embodiment has a function of calculating an optimum frequency (hereinafter referred to as "optimum frequency fS") as a frequency used in single-mode SM.
  • the control unit 5A of the distance measuring device 1A includes a frequency determination processing unit F3 in addition to the distance measurement processing unit F1 and the switching processing unit F2.
  • the frequency determination processing unit F3 calculates and determines the optimum frequency fS based on the distance information output from the indirect ToF sensor unit 4.
  • the frequency used in single-mode SM is determined according to the largest value (distance) among distance information for each pixel output from the indirect ToF sensor unit 4 . For example, if the largest value is 2 m, the optimum frequency fS is calculated and determined so that the measured distance is 3 m (2 m plus 1 m). Also, if the largest value is 5 m, the optimum frequency fS is calculated and determined so that the measured distance is 6 m (5 m plus 1 m).
  • the optimum frequency fS may be determined so that the value obtained by adding a predetermined distance to the maximum value of the ranging data is the ranging distance.
  • the optimum frequency fS may be determined so that the value obtained by multiplying by a predetermined coefficient such as 1 or 1.2 is the measured distance.
  • step S103 When it is determined in step S103 that the distance measuring device 1A is in a stationary state, the control section 5 determines in step S131 whether or not the optimum frequency fS has been set. If the optimum frequency fS has already been set, that is, if the single mode SM for performing distance measurement using the calculated optimum frequency fS has been set, the control unit 5 returns to step S102 to perform measurement with the single mode SM. continue the distance.
  • step S131 determines that the optimum frequency fS has not been set.
  • the control unit 5 calculates the optimum frequency fS from the maximum value of the distance measurement data in step S132. Set to single mode SM for ranging. As a result, it is possible to improve the precision of distance measurement while ensuring the necessary distance measurement.
  • the set optimum frequency fS may be reset each time the dual mode DM is performed. That is, it may be determined that the optimum frequency fS has not been set without fail when executing the process of step S131 in the dual mode DM. Thereby, the optimum frequency fS can be reset each time the dual-mode DM transitions to the single-mode SM.
  • the number of times the light emitting unit 2 emits light in one time of distance measurement that is, the number of unit light emitting operations may be optimized.
  • an object OB far from the range-finding device 1A is also included.
  • the reflected light reflected by such an object OB cannot be received by the indirect ToF sensor unit 4 .
  • the light emission time (irradiation period TL) for one light emission is shortened. Reflected light may not be received in unit light receiving operations based on unit light emitting operations.
  • the higher the determined optimum frequency fS, the smaller the number of unit light emission operations of the light emitting unit 2, and the time (period TRL) for one ranging may be shortened.
  • the non-execution period of ranging can be lengthened by shortening the period TRL, and power consumption can be reduced. It can be reduced further.
  • the resolution in the time axis direction can be further improved by the shortened period TRL.
  • a distance measuring device 1B according to the fourth embodiment includes a color sensor section 12 instead of the inertial measuring device 6 (see FIG. 15).
  • the color sensor unit 12 is provided for estimating changes in the angle of view of the distance measuring device 1B.
  • the color sensor section 12 is, for example, an RGB (Red, Green, Blue) sensor section.
  • the color sensor section 12 includes a pixel array section 12a in which pixels provided with color filters are arranged two-dimensionally. Each pixel includes a pixel for receiving red light and a pixel for receiving green light. and pixels that receive blue light.
  • the distance measuring device 1B may be configured with the optical lens system described above in order to allow light to enter the pixel array section 12a of the color sensor section 12 efficiently.
  • color sensor section 12 may be a CMY (Cyan, Magenta, Yellow) sensor section.
  • the control unit 5 analyzes pixel signals output from each pixel of the color sensor unit 12 to perform processing for detecting variations in feature points within the angle of view.
  • a switching processing unit F2 of the control unit 5 switches between the dual mode DM and the single mode SM based on the detection result of the variation of the feature point.
  • control unit 5 In the present embodiment, an example of processing executed by the control unit 5 in the present embodiment will be described with reference to FIG.
  • step numbers are assigned to the same processes as in FIG. 9, and description thereof will be omitted as appropriate.
  • step S141 the control unit 5 sets the dual mode DM.
  • control unit 5 detects feature points based on the output from the color sensor unit 12 in step S142. By analyzing the change in this feature point, it is possible to determine whether or not the distance measuring device 1B is in a stationary state.
  • step S143 the control unit 5 determines whether or not there is a moving object.
  • a moving object is an object OB determined to be moving within the angle of view. If there is no moving object, it can be estimated that the distance measuring device 1B is in a stationary state. Therefore, the controller 5 proceeds to step S104 to set the single mode SM.
  • step S143 determines whether or not the change directions of the feature points are the same direction.
  • step S104 the controller 5 proceeds to step S104 to set the single mode SM.
  • step S106 when it is determined that the direction of change of the feature points is the same direction, it is estimated that the object OB has been detected as a moving object because the angle of view of the distance measuring device 1B has changed. That is, it is presumed that the distance measuring device 1B has moved or changed its posture. In this case, the controller 5 proceeds to step S106 to set the dual mode DM.
  • the angle of view of the distance measuring device 1B such as a camera device or a mobile terminal device equipped with both sensors can be reduced. Changes can be detected. In particular, when many of the feature points within the angle of view fluctuate in the same direction, it can be determined that the posture of the distance measuring device 1B has changed, and it is possible to suitably switch to the dual mode DM. Become.
  • a rangefinder 1C in the fifth embodiment includes an event-based vision sensor section 13 (hereinafter referred to as "EVS sensor section 13") instead of the inertial measurement device 6 (see FIG. 17).
  • EVS sensor section 13 an event-based vision sensor section 13
  • the EVS sensor section 13 includes a pixel array section 13a, an arbiter, a reading section, a signal processing section, a memory section, an output section, and the like (not shown).
  • the pixel array section 13a is formed by arranging pixels in a two-dimensional array in a row direction (horizontal direction) and a column direction (vertical direction). Each pixel included in the pixel array section 13a detects the presence or absence of an event based on whether the amount of change in the amount of received light exceeds a predetermined threshold, and outputs a request to the arbiter when an event occurs.
  • the arbiter arbitrates requests from each pixel and controls the readout operation by the readout unit.
  • the reading section performs a reading operation for each pixel of the pixel array section 13a under the control of the arbiter.
  • a read operation is performed, for example, at a timing according to a vertical synchronization signal.
  • Each pixel of the pixel array section 13a outputs a signal based on the difference between the reference level and the current level of the received light signal according to the reading operation of the reading section.
  • a signal read from each pixel is stored in a memory unit as a differential signal.
  • Each pixel of the pixel array section 13a resets the reference level to the current level of the received light signal according to the output of the difference signal. This makes it possible to detect the amount of change in the amount of received light with respect to the reference level according to the next vertical synchronizing signal. Reading of the difference signal and resetting of the reference level are not performed until the amount of change in the amount of received light exceeds a predetermined threshold.
  • the pixel outputs a differential signal corresponding to the amount of change in the integrated amount of received light.
  • the EVS sensor section 13 can reduce the power consumption related to reading because the pixels to be read are limited to the pixels for which a change in the amount of received light is detected.
  • the distance measuring device 1C may be configured to have the optical lens system described above in order to allow light to enter the pixel array section 13a of the EVS sensor section 13 efficiently.
  • the control unit 5 analyzes the difference signal output from each pixel of the EVS sensor unit 13 to perform processing for detecting moving objects within the angle of view and detecting changes in feature points. Then, the control unit 5 switches between the dual mode DM and the single mode SM based on the detection result.
  • the control unit 5 includes a distance measurement processing unit F1 and a switching processing unit F2. Since each part has the same function as that of the above-described other embodiments, description thereof will be omitted.
  • control unit 5 the processing executed by the control unit 5 is the same processing as that shown in FIG. 16, and the description thereof is omitted.
  • Distance measuring device 1C in the present embodiment includes EVS sensor section 13 as a sensor section other than indirect ToF sensor section 4, and control section 5 controls the angle of view of EVS sensor section 13 based on the output from EVS sensor section 13.
  • control section 5 controls the angle of view of EVS sensor section 13 based on the output from EVS sensor section 13.
  • the distance measuring device 1 (1A, 1B, 1C) according to the present technology can be applied to an imaging device.
  • a distance measuring device 1B shown in the fourth embodiment includes an indirect ToF sensor section 4 and a color sensor section 12.
  • FIG. In the second embodiment, the output from the color sensor unit 12 is used to detect whether or not the angle of view of the color sensor unit 12 changes.
  • the distance measuring device 1B functions as an image pickup device by generating still image data and moving image data using the camera.
  • the distance measuring device 1 when the distance measuring device 1 is a camera device or a mobile terminal device such as a smartphone having a camera function, the camera can be used without providing a dedicated configuration for detecting the movement of the distance measuring device 1 or the change in posture. This is preferable because it is possible to use an RGB sensor section or the like provided in advance as a function as the color sensor section 12 .
  • the distance measuring device 1 (1A, 1B, 1C) is provided with the inertial measurement device 6, the color sensor section 12, and the EVS sensor section 13 in order to detect the movement and attitude change of the distance measuring device 1. I explained an example.
  • the distance measuring device 1 when the distance measuring device 1 performs a process of changing the angle of view, it is possible to obtain information on whether or not the angle of view changes without using the output of each sensor unit.
  • the distance measuring device 1 is a surveillance camera
  • the surveillance camera can be operated to direct the optical axis of the surveillance camera to a place that the user wants to monitor.
  • the monitoring camera swings and changes the angle of view in response to an operation from the outside. It is possible to obtain information on the presence or absence of changes in corners.
  • instruction information from the outside may be used to switch between dual-mode DM and single-mode SM for distance measurement without using the output from the sensor section.
  • the rangefinder 1 (1A, 1B, 1C) includes a pixel array that performs a light receiving operation for time-of-flight (indirect ToF) range finding using a modulation frequency.
  • the pixel array unit 4a performs a light receiving operation using a first frequency (low frequency fL) as a modulation frequency and a receiving operation using a second frequency (high frequency fH) higher than the first frequency as a modulation frequency.
  • a distance measurement processing unit F1 that performs dual-mode DM distance measurement that is alternately performed between the A switching processing unit F2 for switching between dual-mode DM ranging and single-mode SM (SML, SMH) ranging according to a predetermined condition.
  • irradiation and light reception operations of modulated light intensity-modulated at a first frequency and irradiation and light reception operations of modulated light intensity-modulated at a second frequency are performed. Therefore, two light irradiation and light receiving operations are performed to obtain one distance measurement data.
  • Ranging in dual-mode DM can achieve both high ranging accuracy and long-distance measurement.
  • irradiation and light receiving operations of modulated light intensity-modulated at a predetermined frequency are performed. Therefore, only one light irradiation and light receiving operation is required to obtain one-time distance measurement information.
  • Ranging in the single-mode SM can reduce the power consumption required to obtain one piece of ranging information, and can also shorten the time required to obtain one piece of ranging information. Therefore, depending on the situation, it is possible to select whether to perform ranging in dual-mode DM that achieves both ranging accuracy and ranging distance, or to perform ranging in single-mode SM in consideration of power consumption. can be done.
  • the distance measuring device 1 (1A, 1B, 1C) includes a sensor unit (inertial measurement device 6, color sensor unit 12, or EVS sensor unit 13) that performs sensing, and the predetermined condition is It may be based on information obtained from the sensor unit. For example, when the sensor unit detects that an environmental change has occurred such that the distance measurement result of the object OB fluctuates greatly, it may be determined that high-precision distance measurement by dual mode DM is necessary. Thereby, single-mode SM and dual-mode DM can be properly used.
  • a sensor unit intial measurement device 6, color sensor unit 12, or EVS sensor unit 13
  • the distance measuring device 1 (1A) may include the inertial measurement device 6 as a sensor unit, and the predetermined condition may be a condition based on the output of the inertial measurement device 6.
  • the inertial measurement device 6 in addition to the indirect ToF sensor unit 4, it is possible to detect a change in posture of a camera device, a mobile terminal device, or the like on which both sensors are mounted. Then, when the attitude change is large, it is determined that the distance measurement result for the subject OB needs to be measured again with high accuracy, and the distance measurement can be switched to the dual mode DM.
  • dual-mode DM capable of high-precision and long-distance measurement as necessary while obtaining the effect of reducing power consumption by using single-mode SM.
  • the switching processing unit F2 of the distance measuring device 1 (1A) switches to the dual mode DM distance measurement when the output of the inertial measurement device 6 is equal to or greater than the threshold value. If the output of the measuring device 6 is less than the threshold, it may be switched to single-mode SM ranging. When it is determined that the change in the output of the inertial measurement device 6 is equal to or greater than the threshold, and the attitude change of the camera device or mobile terminal device is equal to or greater than a certain value, it is possible to switch to dual-mode DM ranging. This makes it possible to select an appropriate ranging mode depending on the situation.
  • the distance measuring device 1B includes the color sensor section 12 that generates a color image as a sensor section, and the predetermined condition is that the color sensor A change in the angle of view of the color sensor unit 12 detected based on the output from the unit 12 is set as a condition related to the change in the angle of view of the color sensor unit 12.
  • the switching processing unit F2 determines that there is a change in the angle of view of the color sensor unit 12
  • the dual mode DM If it is determined that there is no change in the angle of view after switching to range finding, the mode may be switched to single mode SM range finding.
  • the color sensor unit 12 as an RGB sensor unit and a CMY sensor unit in addition to the indirect ToF sensor unit 4, it is possible to detect changes in the angle of view of a camera device or a mobile terminal device equipped with both sensors. In particular, when many of the feature points within the angle of view fluctuate in the same direction, it can be determined that the posture of the apparatus has changed, and it is possible to switch to the dual mode DM.
  • the distance measuring device 1C includes an event-based vision sensor section (EVS sensor section 13) as a sensor section, and the predetermined condition is that the EVS sensor section 13
  • the switching processing unit F2 determines that there is a change in the angle of view of the EVS sensor unit 13, and the switching processing unit F2 performs dual mode DM distance measurement when it determines that there is a change in the angle of view of the EVS sensor unit 13. , and if it is determined that there is no change in the angle of view, it may be switched to single-mode SM ranging.
  • the EVS sensor 13 in addition to the indirect ToF sensor 4, it is possible to detect changes in the angle of view of a camera device, a mobile terminal device, or the like in which both sensors are mounted. As a result, it becomes possible to estimate that the posture of the device has changed, and it becomes possible to switch to dual mode DM as appropriate.
  • the predetermined frequency is the first frequency (low frequency fL).
  • a low-frequency signal is used in the light receiving operation of single mode SM (single mode SML). This is suitable, for example, for applications such as determining whether or not there has been a change in the object OB within the angle of view while maintaining a state in which long-distance distance measurement is possible.
  • the predetermined frequency is the second frequency (high frequency fH).
  • a high frequency signal is used in the light receiving operation of the single mode SM (single mode SMH). This is suitable for maintaining the accuracy of the distance information about the object OB, for example, when tracking the object OB.
  • the rangefinder 1 (1A, 1B, 1C) has a first frequency (low frequency fL) and a second frequency (high frequency fL). fH) as a predetermined frequency.
  • a desired frequency can be selected from options (low frequency fL, high frequency fH) prepared in advance, there is no need to provide a configuration for calculating the frequency.
  • the distance measuring device 1 (1A, 1B, 1C) uses the longest A frequency determination processing unit F3 that determines the predetermined frequency based on the distance may be provided.
  • the light emission drive section 3 determining the number of light emission times of the light emission section 2 in one range finding process based on the predetermined frequency. may For example, in order to perform range finding with a certain degree of accuracy, it is necessary to increase the number of times of light emission for range finding over longer distances. Therefore, by determining the number of times of light emission according to the maximum measurable distance, it is possible to avoid excessive light emission and reduce power consumption.
  • the sensor device as the indirect ToF sensor unit 4 includes a pixel array unit 4a in which light receiving elements PD that perform unit light receiving operations in distance measurement of the time-of-flight method (indirect ToF method) are arranged two-dimensionally, and a pixel array unit 4a for driving the pixel array unit 4a.
  • the light-receiving element PD is driven by a dual mode DM in which a unit light-receiving operation at a first frequency (low frequency fL) and a unit light-receiving operation at a second frequency (high frequency fH) different from the first frequency are alternately performed; and a driving unit for driving the element PD in a single mode SM for performing only unit light receiving operation at a predetermined frequency.
  • This technology> (1) a pixel array unit that performs a light-receiving operation for time-of-flight distance measurement using a modulation frequency; dual-mode ranging in which the pixel array section alternately performs a light receiving operation using a first frequency as the modulation frequency and a receiving operation using a second frequency higher than the first frequency as the modulation frequency; a single-mode distance measurement that causes the pixel array unit to perform only a light receiving operation using a predetermined frequency as the modulation frequency;
  • a range finder comprising: a switching processing unit that switches between the dual mode range finding and the single mode range finding according to a predetermined condition.
  • the distance measuring device according to (1) wherein the predetermined condition is based on information obtained from the sensor section.
  • An inertial measurement device is provided as the sensor unit, The distance measuring device according to (2), wherein the predetermined condition is a condition based on an output of the inertial measurement device.
  • the switching processing unit switches to the dual-mode ranging when the output of the inertial measurement device is equal to or greater than the threshold, and switches to the single-mode ranging when the output of the inertial measurement device is less than the threshold.
  • the switching processing unit switches to the dual mode distance measurement when it is determined that the angle of view varies, and switches to the single mode distance measurement when it determines that the angle of view does not vary. ).
  • An event-based vision sensor unit is provided as the sensor unit, the predetermined condition is a condition related to a change in angle of view of the event-based vision sensor detected based on an output from the event-based vision sensor;
  • the switching processing unit switches to the dual mode distance measurement when it is determined that the angle of view varies, and switches to the single mode distance measurement when it determines that the angle of view does not vary. ).
  • the predetermined frequency is the first frequency.
  • the predetermined frequency is the second frequency.
  • the distance measuring device according to any one of (1) to (8) above, further comprising a selection processing unit that selects one of the first frequency and the second frequency as the predetermined frequency.
  • Device. (11) a light-emitting unit used for time-of-flight distance measurement; a light emission driving unit that drives the light emitting unit based on the modulation frequency;
  • the distance measuring device according to (10), wherein the light emission driving section determines the number of times of light emission of the light emitting section in one ranging process based on the predetermined frequency.
  • a sensor device comprising: a driving unit for driving in a single mode in which an element performs only the unit light receiving operation at a predetermined frequency;

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

測距装置は、変調周波数を用いた飛行時間方式の測距のための受光動作を行う画素アレイ部と、第１周波数を前記変調周波数として用いた受光動作と前記第１周波数よりも高周波の第２周波数を前記変調周波数として用いた受行動作を前記画素アレイ部に交互に実行させるデュアルモードの測距と、所定の周波数を前記変調周波数として用いた受光動作のみを前記画素アレイ部に実行させるシングルモードの測距と、を行う測距処理部と、前記デュアルモードの測距と前記シングルモードの測距とを所定条件に応じて切り換える切換処理部と、を備えるものとした。

Description

測距装置、センサ装置
　本技術は、測距を行う測距装置及びセンサ装置に関し、特に、飛行時間方式の測距を行う測距装置及びセンサ装置に関する。
　測距方式として飛行時間方式（ＴｏＦ方式）がある。
　ＴｏＦ方式としては時間を算出するための回路が不要な間接ＴｏＦ方式が知られている。間接ＴｏＦ方式では、例えば、特許文献１に示すように、被写体で反射した反射光を受光し光電変換して得られた電荷を、二つの電荷蓄積部に振り分け、その電荷量の比から、被写体までの距離を算出する。
特開２０１９－００４１４９号公報
　このような間接ＴｏＦを用いた測距では、発光部の発光動作と受光部の受光動作が行われるが、発光部から出射される光の強度変調及び受光部の受光動作に用いられる周波数を高くすると測距距離が短くなり、該周波数を低くすると測距精度が悪化するという問題がある。また、間接ＴｏＦ方式の測距を行うモジュールを小型の機器に搭載することを考えると、消費電力の削減が望まれている。
　本技術は上記事情に鑑み為されたものであり、間接ＴｏＦ方式において測距精度及び測距距離を確保しつつ消費電力の削減を図ることを目的とする。
　本技術に係る測距装置は、変調周波数を用いた飛行時間方式の測距のための受光動作を行う画素アレイ部と、第１周波数を前記変調周波数として用いた受光動作と前記第１周波数よりも高周波の第２周波数を前記変調周波数として用いた受行動作を前記画素アレイ部に交互に実行させるデュアルモードの測距と、所定の周波数を前記変調周波数として用いた受光動作のみを前記画素アレイ部に実行させるシングルモードの測距と、を行う測距処理部と、前記デュアルモードの測距と前記シングルモードの測距とを所定条件に応じて切り換える切換処理部と、を備えるものである。
　デュアルモードでの測距においては、第１周波数で強度変調された変調光の照射と受光動作、及び第２周波数で強度変調された変調光の照射と受光動作が行われる。従って、１回の測距情報を得るために２回の光照射及び受光動作が行われる。デュアルモードでの測距は、高い測距精度と長距離測定の双方を両立することができる。
　また、シングルモードでの測距においては、所定の周波数で強度変調された変調光の照射と受光動作が行われる。従って、１回の測距情報を得るための光照射及び受光動作は１回で済む。シングルモードでの測距は、１回の測距情報を得るために必要な消費電力が小さくされ、また、１回の測距情報を得るために要する時間も短くされる。
本技術に係るセンサ装置は、飛行時間方式の測距における単位受光動作を行う受光素子が二次元配列された画素アレイ部と、前記画素アレイ部の駆動として、前記受光素子が第１周波数による前記単位受光動作と前記第１周波数とは異なる第２周波数による前記単位受光動作とを交互に行うデュアルモードでの駆動と、前記受光素子が所定の周波数による前記単位受光動作のみを行うシングルモードでの駆動と、を行う駆動部と、を備えるものである。
　このようなセンサ装置においても、上記した本技術に係る測距装置と同様の作用を得ることができる。
本技術に係る第１の実施の形態の測距装置の構成例を示す図である。 本技術に係る画素の構成例を概略的に示す図である。 本技術に係る露光制御と受光制御に関する書く信号のタイミングチャートである。 本技術に係るデュアルモードの測距における動作例を説明するための図である。 本技術に係るシングルモードの測距における動作例を説明するための図である。 本技術に係るシングルモードの測距における他の動作例を説明するための図である。 本技術に係るシングルモードとして高周波数を用いた測距を行う場合の動作例を説明するための図である。 本技術に係る測距モードの状態遷移を説明するための図である。 本技術に係る第１の実施の形態の制御部が実行する処理例についてのフローチャートである。 本技術に係る慣性計測装置の初期化処理の一例を示すフローチャートである。 本技術に係る第２の実施の形態の測距装置の制御部が実行する処理例についてのフローチャートである。 本技術に係る第２の実施の形態の測距装置の制御部が実行する別の処理例についてのフローチャートである。 本技術に係る第３の実施の形態の測距装置の構成例を示す図である。 本技術に係る第３の実施の形態の制御部が実行する処理例についてのフローチャートである。 本技術に係る第４の実施の形態の測距装置の構成例を示す図である。 本技術に係る第４の実施の形態の制御部が実行する処理例についてのフローチャートである。 本技術に係る第５の実施の形態の測距装置の構成例を示す図である。
　以下、添付図面を参照し、本技術に係る実施の形態を次の順序で説明する。
＜１．システム構成＞
＜２．処理の流れ＞
＜３．第２の実施の形態＞
＜４．第３の実施の形態＞
＜５．第４の実施の形態＞
＜６．第５の実施の形態＞
＜７．撮像装置への適用＞
＜８．変形例＞
＜９．まとめ＞
＜１０．本技術＞
＜１．システム構成＞
　第１の実施の形態の測距装置１の構成について図１を参照して説明する。なお、測距装置１としては、カメラ機器やスマートフォンなど各種考えられる。
　測距装置１は、発光部２、発光駆動部３、間接ＴｏＦセンサ部４、制御部５、慣性計測装置６を備えている。
　発光部２は、例えば赤外線（ＩＲ：Infrared）ＬＥＤ（Light Emitting Diode）などの光源を備えて構成され、発光駆動部３から入力される制御信号に基づいて光を照射する。
　発光部２は特定周波数に基づいて光強度を変調させた変調光の照射が可能とされている。また、発光部２は、特定周波数が異なる複数種類の変調光の照射が可能とされている。本実施の形態においては、特定周波数が異なる２種類の変調光の照射が可能とされている。以下の説明においては、特定周波数を変調周波数と記載する。
　２種類の変調周波数は、相対的に低周波とされた低周波数ｆＬと、相対的に高周波とされた高周波数ｆＨとされる。
　低周波数ｆＬに基づいて変調された変調光を低周波変調光ＭＬＬと記載し、高周波数ｆＨに基づいて変調された変調光を高周波変調光ＭＬＨと記載する。
　なお、発光部２は変調周波数が異なる３種類以上の変調光の照射が可能とされていてもよい。
　発光駆動部３は、変調光を照射するための変調周波数に応じた駆動信号を発光部２に供給する。
　間接ＴｏＦセンサ部４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのセンサ部であり、間接ＴｏＦ（Indirect ToF）方式を用いた測距が可能なセンサ部として構成されている。間接ＴｏＦセンサ部４は、受光素子ＰＤを備えた画素７が２次元配列されて構成された画素アレイ部４ａを備えている。
　間接ＴｏＦセンサ部４は、制御部５から入力される制御信号に基づく受光動作を行う。
　間接ＴｏＦセンサ部４は、発光部２から照射された変調光が被写体ＯＢで反射された反射光を受光する。
　間接ＴｏＦセンサ部４が備える画素７の構成例について図２に示す。
　画素７は、フォトダイオードなどによる受光素子ＰＤと、受光素子ＰＤにおける光電変換で生成された電荷を検出する第１タップＴＰ１及び第２タップＴＰ２とを備えて構成されている。
　本例における受光素子ＰＤは、例えば、赤外領域の光についての感度を有するものとされている。
　第１タップＴＰ１は、第１ＦＤ（Floating Diffusion）８と、受光素子ＰＤから第１ＦＤ８に電荷を転送するための第１転送トランジスタ９と、図示しない選択トランジスタとリセットトランジスタを備えて構成されている。第１転送トランジスタ９は図中においてスイッチとして記載している。
　第２タップＴＰ２は、第２ＦＤ１０と、受光素子ＰＤから第２ＦＤ１０に電荷を転送するための第２転送トランジスタ１１と、図示しない選択トランジスタとリセットトランジスタを備えて構成されている。第２転送トランジスタ１１は図中においてスイッチとして記載している。
　第１転送トランジスタ９と第２転送トランジスタ１１は一方がＯＮ状態に制御された場合に他方がＯＦＦ状態に制御される。即ち、第１転送トランジスタ９と第２転送トランジスタ１１の双方が同時にＯＮ状態とならないように制御される。
　第１転送トランジスタ９のＯＮ／ＯＦＦ状態を制御するための信号は、発光部２が備える光源の発光周期と同期されている。また、第１転送トランジスタ９と第２転送トランジスタ１１に付与される制御信号は、位相差が１８０度とされる。
　第１ＦＤ８に転送された電荷は、読み出し信号に応じて第１タップＴＰ１から出力される検出信号である第１信号Ｓ１として制御部５に出力される。
　第２ＦＤ１０に転送された電荷は、読み出し信号に応じて第２タップＴＰ２から出力される検出信号である第２信号Ｓ２として制御部５に出力される。
　なお、測距装置１は、間接ＴｏＦセンサ部４の画素アレイ部４ａに光を効率よく入射させるための光学レンズ系を有して構成されていてもよい。光学レンズ系は、例えば、ズームレンズやフォーカスレンズなどの各種レンズだけでなく、メカニカルシャッタやアイリス機構等が含まれていてもよい。
　図１の説明に戻る。
　制御部５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）などの演算部と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリ部を備えて構成されている。
　なお、図１における制御部５が実行する処理は、ソフトウェアにより実現されてもよいし、その一部または前部がハードウェアによって実現されてもよい。
　制御部５は、発光駆動部３に対して所望の変調周波数で発光部２を駆動するためのコマンド等を供給する。
　これにより、発光部２は、供給された矩形波の駆動信号に基づいて強度変調された光の照射が可能とされる。なお、発光部２は正弦波の駆動信号に基づいて強度変調された光を照射してもよい。
　なお、発光部２への駆動信号の供給は、制御部５からではなく間接ＴｏＦセンサ部４から行われてもよい。
　また、制御部５は、変調周波数に同期させたタイミングで第１転送トランジスタ９と第２転送トランジスタ１１のＯＮ／ＯＦＦ制御を行う。
　１回の露光時間において、制御部５は複数回（例えば数百回から数万回など）のＯＮ／ＯＦＦ制御を行う。具体的に図３を用いて説明する。図３は、露光制御に用いる露光制御信号Ｓｅと、所定の変調周波数で強度変調させた光を照射させるために発光部２に提供される照射光信号ＳＬと、第１転送トランジスタ９に供給される第１制御信号Ｓｔ１と、第２転送トランジスタ１１に供給される第２制御信号Ｓｔ２の関係を示した図である。
　第１転送トランジスタ９は第１制御信号Ｓｔ１に基づいてＯＮ／ＯＦＦ制御される。また、第２転送トランジスタ１１は第２制御信号Ｓｔ２に基づいてＯＮ／ＯＦＦ制御される。
　図示するように、露光時間Ｔｅの間に、照射期間ＴＬに亘る光の照射が複数回行われる。１回の光照射、即ち、照射期間ＴＬ１回分の光照射を行う動作を「単位発光動作」とする。複数回の光の照射は、光の照射期間ＴＬと非照射期間が交互に繰り返されることで行われる。光の非照射期間は、照射期間ＴＬと同じ時間長とされる。即ち、Ｄｕｔｙ比は５０％とされている。
　制御部５は、照射光信号ＳＬに同期した第１期間Ｔ１に亘って第１ＦＤ８へ電荷が蓄積されるように第１転送トランジスタ９の切り替え制御を行う。また、制御部５は、照射光信号ＳＬに同期した第２期間Ｔ２に亘って第２ＦＤ１０へ電荷が蓄積されるように第２転送トランジスタ１１の切り替え制御を行う。第１期間Ｔ１と第２期間Ｔ２は照射期間ＴＬと同じ時間長とされている。
　これにより、第１ＦＤ８及び第２ＦＤ１０には数百回や数千回或いは数万回に亘って電荷が断続的に蓄積される。
　照射光の一周期分についての光の受光量がごく微量である場合には、有意なデータが取得できない可能性があるため、数百から数万周期分についての光を受光して電荷を蓄積することにより、十分な受光量を得ることができ有意な情報を取得することが可能となる。
　単位発光動作に対応して１回分の電荷を蓄積する動作（第１期間Ｔ１）を「単位受光動作」とする。
　なお、１回の露光時間Ｔｅにおいて第１ＦＤ８と第２ＦＤ１０がそれぞれ１回ずつ電荷を蓄積するようにスイッチの切り換えを１回行うようにしてもよい。即ち、露光時間Ｔｅの前半に第１ＦＤ８が電荷を蓄積するように第１転送トランジスタ９をＯＮ状態に制御し、露光時間Ｔｅの後半の開始時に第１転送トランジスタ９をＯＦＦ状態且つ第２転送トランジスタ１１をＯＮ状態に切り換える切り替え制御を行うことにより露光時間の後半は第２ＦＤ１０に電荷が蓄積されるようにしてもよい。
　図１の説明に戻る。
　制御部５は、後述する各種の機能を実現するために、測距処理部Ｆ１と切換処理部Ｆ２とを備える。
　測距処理部Ｆ１は、１または複数の異なる周波数を用いて発光部２の発光制御及び間接ＴｏＦセンサ部４の受光制御を行うことにより測距を行う。
　測距処理部Ｆ１は、複数の測距モードでの測距が可能とされている。具体的に測距処理部Ｆ１は、２種類の異なる周波数（例えば、低周波数ｆＬと高周波数ｆＨ）を用いて測距を行うデュアルモードＤＭと、単一の周波数のみを用いて測距を行うシングルモードＳＭを使用可能とされている。
　デュアルモードＤＭでは、低周波数ｆＬを用いた測距の結果を用いることにより測距距離を確保すると共に、高周波数ｆＨを用いた測距の結果を用いることにより測距精度を確保する。即ち、デュアルモードＤＭでは、測距距離と測距精度の双方の性能を確保するモードである。
　例えば、低周波数ｆＬを用いた測距では、０ｍ～５ｍの範囲を１００段階（５ｃｍ刻み）で測距可能とする。即ち、低周波数ｆＬにおける測距では、測距距離が５ｍとされ、分解能が５ｃｍとされている。
　また、高周波数ｆＨを用いた測距では、０ｍ～１ｍの範囲を１００段階（１ｃｍ刻み）で測定可能とする。即ち、高周波数ｆＨにおける測距では、測距距離が１ｍとされ、分解能が１ｃｍとされている。
　デュアルモードＤＭでの測距の一例について図４に示す。
　低周波数ｆＬを用いた測距が実行される期間を期間ＴＲＬとし、高周波数ｆＨを用いた測距が実行される期間を期間ＴＲＨとすると、期間ＴＲＬと期間ＴＲＨを組として１回の測距が行われる（図４参照）。この期間を期間ＴＲＡとする。期間ＴＲＡ経過後に測距データＤが算出される。
　ここで算出される測距データＤは、０ｍ～５ｍの間を１ｃｍ刻みで測定したものである。即ち、５ｍの測距距離と１ｃｍ刻みの測距精度の双方の性能が確保される。
　このようにして、期間ＴＲＬ１と期間ＴＲＨ１から成る期間ＴＲＡ１が経過した後に測距データＤ１が算出され、期間ＴＲＬ２と期間ＴＲＨ２から成る期間ＴＲＡ２が経過した後に次の測距データＤ２が算出される。
　なお、発光部２は、期間ＴＲＬ１において低周波変調光ＭＬＬの照射を行い、期間ＴＲＨ１において高周波変調光ＭＬＨの照射を行う。即ち、発光部２は、デュアルモードＤＭでの測距の実行中においては、照射期間ＴＬと非照射期間を休みなく繰り返す。
　なお、デュアルモードＤＭにおいては、期間ＴＲＬと期間ＴＲＨの順序が逆にされていてもよい。
　シングルモードＳＭでは、低周波数ｆＬ或いは高周波数ｆＨの何れかを用いた測距の結果のみを用いる。シングルモードＳＭでの測距は、測距精度または測距距離の何れかの性能が犠牲になる可能性がある。
　シングルモードＳＭでの測距の一例について図５に示す。なお、図５は、低周波数ｆＬを用いた測距のみを行う例である。デュアルモードＤＭと同じ頻度で測距データＤを出力する場合、低周波数ｆＬを用いた測距が実行される期間ＴＲＬの後に測距データＤが算出され、その後に期間ＴＲＬと同じ長さの測距非実行期間が設けられる。
　このようにして、期間ＴＲＬ１経過後に測距データＤ１が算出された後は、測距非実行期間を挟み、期間ＴＲＬ２経過後に測距データＤ２が算出される。
　シングルモードＳＭにおいて、発光部２は、期間ＴＲＬ１において低周波変調光ＭＬＬの照射を行った後、光を出射しない期間（測距非実行期間）が設けられる。これにより、デュアルモードＤＭに対して発光回数の削減及び画素アレイ部４ａにおける受光動作の削減が図られ、消費電力を小さくすることができる。
　なお、シングルモードＳＭにおいて図５に示す例では、期間ＴＲＬ１と測距非実行期間が同じ時間長とされる場合を示したが、測距非実行期間は期間ＴＲＬ１よりも短くされてもよい。これにより、デュアルモードＤＭに対して消費電力の削減を図ると共に測距結果の時間軸方向における分解能を高めることができる。
　なお、シングルモードＳＭにおいて測距非実行期間を設けなくてもよい（図６参照）。
　これにより、デュアルモードＤＭと比較して、時間軸方向の分解能を略２倍にすることができる。
　シングルモードＳＭにおいて高周波数ｆＨを用いた測距を行う場合は、デュアルモードＤＭにおいて最後に測定した測距データを用いる。これにより、シングルモードＳＭの測距において測距精度及び測距距離の双方の性能を確保する。
　具体的に図７を参照して説明する。
　デュアルモードＤＭでｍ回の測距データＤを取得した後、シングルモードＳＭに切り換えたとする。シングルモードＳＭでの１回目の測距は、高周波数ｆＨを用いて期間ＴＲＨ１において行われる。期間ＴＲＨ１経過後に中間データｄＨ１を得る。中間データｄＨは、高周波数ｆＨを用いて得た測距データであり高精度の測距データとされるが、それ単体では、測距データの周期性の問題により正確な距離が不明とされたデータである。
　従って、デュアルモードＤＭで取得されたｍ回目の測距データＤｍ（即ち最後の測距データ）を用いる。
　具体的には、測距データＤｍは、低周波数ｆＬを用いてデュアルモードＤＭの最後に取得された中間データｄＬｍと、高周波数ｆＨを用いてデュアルモードＤＭの最後に取得された中間データｄＨｍとにより算出される。
　シングルモードＳＭにおける１回目の測距データＤ１は、直前の測距データＤｍに対して、中間データｄＨｍと中間データｄＨ１の差分を考慮することにより得る。即ち、中間データｄＨｍと中間データｄＨ１の差分を直前の測距データＤｍに加算することにより、測距データＤ１を得る。
　シングルモードＳＭにおける２回目の測距データＤ２は、直前の測距データＤ１に対して、中間データｄＨ２と中間データｄＨ１の差分を加算することにより得る。
　このようにデュアルモードＤＭで取得された測距データＤや中間データｄＨを用いることにより、その後のシングルモードＳＭで高周波数ｆＨを用いた測距を行った場合に、測距距離と測距精度の双方の性能を確保した上で、発光回数の削減による消費電力の抑制を図ることができる。
　切換処理部Ｆ２は、測距モードの切換処理を行う。本実施の形態においては、切換処理部Ｆ２は、慣性計測装置６から出力される信号に基づいて、デュアルモードＤＭとシングルモードＳＭの切り換えを行う。
　間接ＴｏＦセンサ部４は、デュアルモードＤＭやシングルモードＳＭに対応して画素アレイ部４ａを駆動する駆動部を備えており、該駆動部は、切換処理部Ｆ２による切換信号に基づいてデュアルモードＤＭでの画素アレイ部４ａの駆動とシングルモードＳＭでの画素アレイ部４ａの駆動を切り換える。
　慣性計測装置６は、ＩＭＵ（Inertial Measurement Unit）とも呼ばれ、測距装置１の移動や姿勢を検出するための加速度センサと角速度センサを備えて構成されている。慣性計測装置６は、例えば、測距装置１が移動せず同じ場所に止まり続け姿勢の変化もない場合、例えば、測距装置１が机上に設置されており誰も触れていない場合などに、出力が「０」とされる。そして、測距装置１が移動している場合や姿勢が変化している場合に「０」以外の信号が出力される。
　切換処理部Ｆ２は、慣性計測装置６からの出力が所定条件を満たす場合に測距モードを切り換える。例えば、切換処理部Ｆ２は、慣性計測装置６からの出力が閾値以上とされている場合に、画角の変動があると推定して測距モードを切り換えてもよいし、慣性計測装置６からの出力が閾値未満とされている場合に画角の変動はないと推定して測距モードを切り換えてもよい。
　測距モードについての状態遷移の一例を図８に示す。切換処理部Ｆ２は、デュアルモードＤＭにおいて測距装置１の移動及び姿勢変化が無いと判定した場合にシングルモードＳＭへと切り換える。
　測距装置１の移動及び姿勢変化が無い場合には、デュアルモードＤＭで最後に取得した測距データ、具体的には、低周波数ｆＬを用いた測距データである中間データｄＬがそのまま使える可能性が高い。従って、測距モードをシングルモードＳＭへと切り換え、高周波数ｆＨを用いた中間データｄＨのみを取得し続けることにより、不要な測距動作を極力排除し測距装置１の低消費電力化を実現することができる。
　また、切換処理部Ｆ２は、シングルモードＳＭにおいて測距装置１の移動または姿勢変化がありと判定した場合にデュアルモードＤＭへと切り換える。
　測距装置１の移動や姿勢変化が生じた場合には、それまで使用していた過去の中間データｄＬの更新が必要となる可能性が高い。従って、測距モードをデュアルモードＤＭへと切り換えることにより、各被写体ＯＢについての詳細な距離情報を得ることで、測距精度の低下を防止する。
　このように、切換処理部Ｆ２は、シングルモードＳＭを利用することによる消費電力の低減効果を得ながら、必要に応じて高精度及び長距離測定が可能なデュアルモードＤＭへと切り換える。即ち、切換処理部Ｆ２によってシングルモードＳＭとデュアルモードＤＭを適切に使い分けることができる。
＜２．処理の流れ＞
　第１の実施の形態における測距装置１の制御部５が実行する処理の流れについて添付図を参照して説明する。
　制御部５は、先ず図９のステップＳ１０１において初期化処理を行う。初期化処理では、慣性計測装置６の基準データの取得が行われる。
　具体的に、制御部５は図１０の初期化処理のステップＳ２０１において、デュアルモードＤＭに設定する。これ以降、測距モードの変更が行われるまで、或いは、測距装置１の電源が切られるまで、低周波数ｆＬを用いた測距と高周波数ｆＨを用いた測距が行われる。
　続いて、制御部５はステップＳ２０２において、最新の測距データと一つ前の測距データを比較する。そして、制御部５はステップＳ２０３において、比較結果に基づく分岐処理を行う。具体的に、制御部５はステップＳ２０３において測距装置１の位置または姿勢の変動ありと判定した場合、制御部５は再度ステップＳ２０２の処理へと戻る。
　一方、測距装置１の位置及び姿勢の変動なしと判定した場合、制御部５はステップＳ２０４において、慣性計測装置６の出力値を静止時の値として記録する。
　ステップＳ２０４の処理が実行されることにより、図１０に示す初期化処理が終了する。
　図９の説明に戻る。制御部５はステップＳ１０２において、慣性計測装置６の最新の出力と静止時の値を比較する。
　制御部５はステップＳ１０３において、比較結果に基づく分岐処理を行う。具体的に、制御部５はステップＳ１０３において、測距装置１が静止状態であるか否かを判定する。この判定処理では、慣性計測装置６の出力が閾値よりも低かった場合に測距装置１が静止状態であると判定し、慣性計測装置６の出力が閾値以上であった場合に測距装置１が静止状態でないと判定する。
　測距装置１が静止状態であると判定した場合、制御部５はステップＳ１０４において、シングルモードＳＭに設定中であるか否かを判定する。
　シングルモードＳＭに設定中である場合、制御部５はステップＳ１０２の処理へと戻る。一方、測距装置１が静止状態であるにも関わらずデュアルモードＤＭに設定中であると判定した場合、制御部５はステップＳ１０５において、シングルモードＳＭに設定し、ステップＳ１０２の処理へと戻る。
　ステップＳ１０３の処理において測距装置１が静止状態でないと判定した場合、制御部５はステップＳ１０６において、デュアルモードＤＭに設定中であるか否かを判定する。
　そして、デュアルモードＤＭに設定中であると判定した場合、制御部５はステップＳ１０２の処理へと戻る。一方、測距装置１が動いているにも関わらずシングルモードＳＭに設定中であると判定した場合、制御部５はステップＳ１０７において、デュアルモードＤＭに設定し、ステップＳ１０２の処理へと戻る。
　このようにデュアルモードＤＭとシングルモードＳＭを切り換える例としては、例えば、風景やポートレイトなどを撮像するカメラ装置が考えられる。
　具体的に、カメラ装置を手に持って撮影していることを慣性計測装置６の出力により検出した場合は、デュアルモードＤＭでの測距を行う。一方、三脚を用いて撮影していること、或いは、机上等に設置した状態で撮影をしていることを慣性計測装置６の出力により検出した場合は、シングルモードＳＭでの測距を行う。
　このような例は、スマートフォンやタブレットなどの携帯端末装置にも適用できる。例えば、机上の所定の位置に置かれた拡張現実としての仮想物に対して携帯端末装置（測距装置１）のカメラを向けて視認している状態について考える。
　仮想物を様々な角度から視認するために携帯端末装置を手に持って仮想物を撮影している状態の場合には、仮想物の周辺に位置する現実の物体（机等）について高精度の測距を行うことにより、仮想物を定点に固定させることができる。このような場合には、デュアルモードＤＭでの測距を行う。また、スタンド等を利用して携帯端末装置を机上に固定して仮想物を撮影しているような場合には、シングルモードＳＭでの測距を行う。これにより、発光回数及び受光動作の削減を図ることができ、携帯端末装置の長時間の稼働を実現することができる。
＜３．第２の実施の形態＞
　第２の実施の形態は、シングルモードＳＭにおいて発光制御及び受光制御に用いる変調周波数を低周波数ｆＬと高周波数ｆＨから選択するものである。
　以降の説明では、シングルモードＳＭにおいて低周波数ｆＬを用いた測距を行う場合はシングルモードＳＭＬと記載し、シングルモードＳＭにおいて高周波数ｆＨを用いた測距を行う場合はシングルモードＳＭＨと記載する。
　例えば、接客を行う接客ロボットが測距装置１を備えている場合について考える。接客ロボットが店舗の入り口にたたずんでおり、接客ロボットの前を来店客が通過するのを待っている間は、測距装置１が静止状態とされるため、シングルモードＳＭが選択される。そして、人が通過するか否かを判定するために高い測距精度は必要ないため、低周波数ｆＬを用いた測距を行う。
　一方、接客ロボットの前に来店客が立ち止まったことを検出した場合、測距装置１は測距モードをデュアルモードＤＭに遷移させることで来店客についての測距を高精度で行った後、シングルモードＳＭへ遷移する。このとき、来店客の小さな動きに応じて接客ロボットの対応（動き）を変化させる場合には、遷移後の測距モードは高周波数ｆＨを用いて測距を行うシングルモードＳＭＨとされる。
　このように同じシングルモードＳＭでも状況に応じてシングルモードＳＭＬとシングルモードＳＭＨを使い分けることができる。
　このような例は、接客ロボット以外にもペットロボットなど各種考えられる。
　また、監視カメラが測距装置１を備えている場合について考える。監視カメラは、画角よりも広い範囲を監視するための首振りモードと画角において動く被写体が存在するか否かを監視するための定点観測モードを備えるものとする。
　首振りモードにおいては、測距モードとしてデュアルモードＤＭが選択される。
　一方、定点観測モードにおいては、基本的にシングルモードＳＭＬが選択される。そして、画角内に動く被写体が検出された場合には、デュアルモードＤＭを経ることにより動く被写体についての高精度な測距を行った後、シングルモードＳＭＨに遷移する。
　このように、本実施の形態における制御部５の切換処理部Ｆ２は、シングルモードＳＭに用いる周波数として低周波数ｆＬと高周波数ｆＨの何れかを選択する選択処理を実行可能とされている。
　制御部５が実行する処理の一例について図１１に示す。なお、図９と同様の処理については同じステップ番号を付し適宜説明を省略する。
　ステップＳ１０３において測距装置１が静止状態であると判定した場合、制御部５はステップＳ１１１において、被写体追跡が必要であるか否かを判定する。被写体追跡が必要であると判定した場合、制御部５はステップＳ１１２において、高周波数ｆＨを用いて測距を行うシングルモードＳＭＨに設定する。なお、このときの測距モードの変更は、デュアルモードＤＭからシングルモードＳＭＨに変更するだけでなく、シングルモードＳＭＬからシングルモードＳＭＨへ変更する可能性もある。また、その場合には、シングルモードＳＭＬからデュアルモードＤＭを経てシングルモードＳＭＨに変更してもよい。
　ステップＳ１１１において、被写体追跡が必要でないと判定した場合、制御部５はステップＳ１１３において、低周波数ｆＬを用いて測距を行うシングルモードＳＭＬに設定する。このときの測距モードの変更についても、デュアルモードＤＭからの変更だけでなく、シングルモードＳＭＨからの変更もあり得る。そして、その際にはデュアルモードＤＭを介して変更されてもよい。
　なお、ここでは、低周波数ｆＬを用いたシングルモードＳＭＬと高周波数ｆＨを用いたシングルモードＳＭＨを状況に応じて使い分ける例を説明したが、測距装置１が搭載される機器によっては、予め何れのシングルモードＳＭを用いるかを決定してもよい。また当該決定は、予めユーザによって選択されたものであってもよい。即ち、ステップＳ１１１の処理の代わりに、ユーザによって何れのシングルモードＳＭが選択されたかを判定してステップＳ１１２またはステップＳ１１３の処理へと分岐してもよい。
　なお、測距装置１の静止状態が長時間継続した場合に、シングルモードＳＭで利用されデュアルモードＤＭでの測距データを更新した方がよい場合がある。例えば、測距装置１の画角は変わっていなくても画角内の被写体ＯＢが大きく動き、デュアルモードＤＭでの測距をし直した方が良い場合などである。その場合についての処理の一例について、図１２に示す。なお、図９及び図１１と同様の処理については同じステップ番号を付し適宜説明を省略する。
　ステップＳ１０３において測距装置１が静止状態であると判定した場合、制御部５はステップＳ１２１において、直近の所定時間内にデュアルモードＤＭでの測距データを取得済みであるか否かを判定する。直近の所定時間内にデュアルモードＤＭでの測距を行っておらず、デュアルモードＤＭでの測距データ（中間データｄＨ）を更新すべきと判定した場合（図中「Ｎｏ」判定）、制御部５はステップＳ１０７へと進み測距モードをデュアルモードＤＭへと変更する。
　一方、直近の所定時間内にデュアルモードＤＭでの測距を行っており、デュアルモードＤＭでの測距データは新しいと判定した場合（図中「Ｙｅｓ」判定）、制御部５はステップＳ１１１の処理へと進み、測距モードをシングルモードＳＭＬとシングルモードＳＭＨの何れに変更するかを決定する。
　なお、変更後の測距モードが既に設定されている場合には、ステップＳ１１２またはステップＳ１１３の処理を省略してもよい。
　本実施の形態のように、測距装置１がシングルモードＳＭの発光動作及び受光動作に用いられる信号の周波数を状況に応じて選択することができるように構成することで、状況に応じて好適な周波数が選択されて測距に利用することができる。
　また、上述したように、低周波数ｆＬと高周波数ｆＨのように予め用意された選択肢の中から所望の周波数を選択可能に構成されることで、発光制御及び受光制御に用いる周波数を算出するための構成を備える必要がなく、測距装置１の構成を小型化することができる。
　なお、シングルモードＳＭＬにおいて、画角内の被写体の測距データが所定値未満、例えば、高周波数ｆＨを用いた測距で測定可能な距離未満の被写体のみが画角内に位置するような状況になった場合に、シングルモードＳＭＨへ変更されるように構成してもよい。
　例えば、測距装置１としてのスマートフォンを所持したユーザが室内に移動し、壁などを背にして自撮りを行う場合などが考えられる。このとき、被写体としてのユーザや壁についての距離情報は１ｍ程度となることがあり、その場合には、シングルモードＳＭＨへと変更することにより、高い測距精度と低消費電力の両立を図ることができる。
＜４．第３の実施の形態＞
　第３の実施の形態における測距装置１Ａは、シングルモードＳＭにおいて使用する周波数として最適な周波数（以降、「最適周波数ｆＳ」と記載）を算出する機能を備えている。
　具体的には図１３に示すように、測距装置１Ａの制御部５Ａは、測距処理部Ｆ１、切換処理部Ｆ２に加えて、周波数決定処理部Ｆ３を備えている。
　周波数決定処理部Ｆ３は、間接ＴｏＦセンサ部４から出力される距離情報に基づいて最適周波数ｆＳを算出して決定する。
　例えば、シングルモードＳＭで使用する周波数は、間接ＴｏＦセンサ部４から出力される各画素についての距離情報のうち、最も大きな値（距離）に応じて決定される。
　例えば、最も大きな値が２ｍであった場合、測距距離が３ｍ（２ｍに１ｍを加えたもの）となるように最適周波数ｆＳを算出して決定する。また、最も大きな値が５ｍであった場合、測距距離が６ｍ（５ｍに１ｍを加えたもの）となるように最適周波数ｆＳを算出して決定する。
　最適周波数ｆＳの決定方法は各種考えられる。例えば、上述したように測距データの最大値に所定距離を加算して得られる値が測距距離となるように最適周波数ｆＳを決定してもよいし、測距データの最大値に１．１や１．２などの所定の係数を乗算して得られる値が測距距離となるように最適周波数ｆＳを決定してもよい。
　本実施の形態において制御部５が実行する処理の一例について、図１４を参照して説明する。なお、図９と同様の処理については、同じステップ番号を付し適宜説明を省略する。
　ステップＳ１０３において測距装置１Ａが静止状態であると判定した場合、制御部５はステップＳ１３１において、最適周波数ｆＳが設定済みであるか否かを判定する。最適周波数ｆＳが設定済みである場合、即ち、算出した最適周波数ｆＳを用いて測距を行うシングルモードＳＭが設定されている場合、制御部５はステップＳ１０２へと戻り当該シングルモードＳＭでの測距を継続する。
　一方、ステップＳ１３１において最適周波数ｆＳが設定済みでないと判定した場合、制御部５はステップＳ１３２において、測距データの最大値から最適周波数ｆＳを算出し、続くステップＳ１３３において、最適周波数ｆＳを用いて測距を行うシングルモードＳＭに設定する。
　これにより、必要な測距距離を確保した上で測距の精度を向上させることができる。
　なお、設定された最適周波数ｆＳは、デュアルモードＤＭを経るたびにリセットされてもよい。即ち、デュアルモードＤＭにおいてステップＳ１３１の処理を実行する際には必ず最適周波数ｆＳが設定済みでないと判定されるようにしてもよい。これにより、デュアルモードＤＭからシングルモードＳＭに遷移するたびに最適周波数ｆＳを設定し直すことができる。
　なお、最適周波数ｆＳを変更した場合には、１回の測距における発光部２の発光回数、即ち、単位発光動作の回数を最適化してもよい。
　例えば、測距距離が長く最適周波数ｆＳが低い場合には、測距装置１Ａからの距離が遠い被写体ＯＢも含まれる。そのような被写体ＯＢで反射した反射光は、間接ＴｏＦセンサ部４で受光できない可能性が高くなる。特に、図３に示すように、１回の測距において発光部２が数万回から数十万回発光するようなケースにおいては、１回の発光時間（照射期間ＴＬ）が短くなるため、単位発光動作に基づく単位受光動作において反射光の受光ができない場合がある。
　一方、測距距離が短く最適周波数ｆＳが高い場合には、測距装置１Ａからの距離が近い被写体ＯＢばかりとなる。そのような被写体ＯＢで反射した反射光は、間接ＴｏＦセンサ部４の単位受光動作において受光できる可能性が高くなる。
　従って、図３のように１回の測距（期間ＴＲＬ）において発光部２の単位発光動作が数万回から数十万回行われる前に有意な距離情報を取得できている可能性が高くなる。
　このような状況を鑑みて、決定された最適周波数ｆＳが高いほど発光部２の単位発光動作の回数を少なくなるようにし、１回の測距に係る時間（期間ＴＲＬ）を短くしてもよい。
　例えば、図５に示すようにシングルモードＳＭで間欠的に測距（期間ＴＲＬ）が行われる場合には、期間ＴＲＬを短くする分だけ測距非実行期間を長くすることができ、消費電力をより一層低減させることができる。
　また、図６のように測距非実行期間を設けずにシングルモードＳＭでの測距を行う場合には、期間ＴＲＬが短くされた分、時間軸方向の分解能を更に高めることができる。
＜５．第４の実施の形態＞
　第４の実施の形態における測距装置１Ｂは、慣性計測装置６の代わりにカラーセンサ部１２を備えている（図１５参照）。
　カラーセンサ部１２は、測距装置１Ｂの画角の変化等を推定するために設けられている。
　カラーセンサ部１２は、例えば、ＲＧＢ（Red, Green, Blue）センサ部とされている。カラーセンサ部１２は、カラーフィルタが設けられた画素が二次元配列された画素アレイ部１２ａを有して構成されており、各画素は、赤色光を受光する画素と、緑色光を受光する画素と、青色光を受光する画素の何れかとして設けられている。
　測距装置１Ｂは、カラーセンサ部１２の画素アレイ部１２ａに光を効率よく入射させるために上述した光学レンズ系を有して構成されていてもよい。
　なお、カラーセンサ部１２がＣＭＹ(Cyan, Magenta, Yellow)センサ部とされていてもよい。
　制御部５は、カラーセンサ部１２の各画素から出力される画素信号を解析することにより、画角内の特徴点の変動を検出する処理を行う。
　制御部５の切換処理部Ｆ２は、特徴点の変動の検出結果に基づいて、デュアルモードＤＭとシングルモードＳＭの切り換えを行う。
　具体的に、本実施の形態における制御部５が実行する処理の一例について図１６を参照して説明する。
　なお、図９と同様の処理については同じステップ番号を付し適宜説明を省略する。
　先ず、制御部５はステップＳ１４１において、デュアルモードＤＭに設定する。
　続いて、制御部５はステップＳ１４２において、カラーセンサ部１２からの出力に基づいて特徴点を検出する。この特徴点の変化を解析することにより、測距装置１Ｂが静止状態か否かを判定することができる。
　具体的に、制御部５はステップＳ１４３において、動体の有無を判定する。動体とは、画角内で移動していると判定された被写体ＯＢである。
　動体が無い場合、測距装置１Ｂは静止状態であると推定できる。従って、制御部５はシングルモードＳＭを設定するためにステップＳ１０４へと進む。
　一方、ステップＳ１４３において、動体が存在すると判定した場合、制御部５はステップＳ１４４において、特徴点の変動方向が同一方向であるか否かを判定する。
　特徴点の変動方向が同一方向でない場合、画角内の被写体ＯＢが動いたことにより動体が検出されたと推定できる。即ち、測距装置１Ｂの画角は変動していないと推定できる。従って、制御部５はシングルモードＳＭを設定するためにステップＳ１０４へと進む。
　一方、特徴点の変動方向が同一方向であると判定した場合、測距装置１Ｂの画角が変動したために被写体ＯＢが動体として検出されたことが推定される。即ち、測距装置１Ｂの移動や姿勢の変化が起きたと推定される。
　この場合には、制御部５はデュアルモードＤＭを設定するためにステップＳ１０６へと進む。
　間接ＴｏＦセンサ部４の代替のセンサとしてＲＧＢセンサ部やＣＭＹセンサ部などのカラーセンサ部１２を備えることにより、両センサが搭載されたカメラ装置や携帯端末装置などの測距装置１Ｂの画角の変化を検出することができる。特に、画角内の特徴点の多くが同一方向に変動している場合には、測距装置１Ｂの姿勢変化が起きたと判定することができ、好適にデュアルモードＤＭへと切り換えることが可能となる。
＜６．第５の実施の形態＞
　第５の実施の形態における測距装置１Ｃは、慣性計測装置６の代わりにイベントベースビジョンセンサ部１３（以降、「ＥＶＳセンサ部１３」と記載）を備えている（図１７参照）。
　ＥＶＳセンサ部１３は、画素アレイ部１３ａと、図示しないアービタ、読出部、信号処理部、メモリ部、出力部等を備えて構成されている。
　画素アレイ部１３ａは、画素が行方向（水平方向）及び列方向（垂直方向）に二次元アレイ状に配置されて成る。
　画素アレイ部１３ａが備える各画素は、受光量の変化量が所定の閾値を超えたか否かによりイベントの有無を検出し、イベントが発生した際にはアービタに対してリクエストを出力する。
　アービタは、各画素からのリクエストを調停し、読出部による読み出し動作を制御する。
　読出部は、アービタの制御に基づいて画素アレイ部１３ａの各画素に対する読み出し動作を行う。読み出し動作は、例えば垂直同期信号に応じたタイミングで実行される。
　画素アレイ部１３ａの各画素は、読出部による読み出し動作に応じて基準レベルと現在の受光信号のレベルの差分による信号を出力する。
　各画素から読み出した信号は、差分信号としてメモリ部に記憶される。
　画素アレイ部１３ａの各画素は、差分信号の出力に応じて基準レベルを現在の受光信号のレベルにリセットする。これにより、次の垂直同期信号に応じて基準レベルに対する受光量の変化量を検出することが可能とされる。
　受光量の変化量が所定の閾値を超えるまで、差分信号の読み出しと基準レベルのリセットは行われない。
　これにより、積算された受光量の変化量に応じた差分信号が画素から出力される。
　ＥＶＳセンサ部１３は、前述したカラーセンサ部１２と比較して、読み出し対象の画素が受光量の変化を検出した画素に限られるため、読み出しに係る消費電力を削減することが可能である。
　なお、測距装置１Ｃは、ＥＶＳセンサ部１３の画素アレイ部１３ａに光を効率よく入射させるために上述した光学レンズ系を有して構成されていてもよい。
　制御部５は、ＥＶＳセンサ部１３の各画素から出力される差分信号を解析することにより、画角内の動体検出及び特徴点の変動を検出する処理を行う。そして、制御部５は、該検出結果に基づいて、デュアルモードＤＭとシングルモードＳＭの切り換えを行う。
　制御部５は、測距処理部Ｆ１と切換処理部Ｆ２とを備えている。各部は上述した他の実施の形態と同様の機能であるため、説明を省略する。
　また、制御部５が実行する処理は、図１６に示すものと同様の処理であり説明を省略する。
　本実施の形態における測距装置１Ｃは、間接ＴｏＦセンサ部４以外のセンサ部としてＥＶＳセンサ部１３を備え、制御部５は、ＥＶＳセンサ部１３からの出力に基づいてＥＶＳセンサ部１３の画角変動を検出し、該画角変動があると判定した場合にデュアルモードＤＭの測距へと切り換え、該画角変動がないと判定した場合にシングルモードＳＭの測距へと切り換える。
　間接ＴｏＦセンサ部４以外にＥＶＳセンサ部１３を備えることにより、両センサが搭載されたカメラ装置や携帯端末装置などの画角の変化を検出することができる。これにより、装置の姿勢変化が起きたことを推定することが可能となり、適宜デュアルモードＤＭやシングルモードＳＭへ切り換えることが可能となる
＜７．撮像装置への適用＞
　本技術における測距装置１（１Ａ、１Ｂ、１Ｃ）は、撮像装置へ適用することができる。例えば、第４の実施の形態に示した測距装置１Ｂは、間接ＴｏＦセンサ部４とカラーセンサ部１２とを備えている。
　そして、第２の実施の形態においては、カラーセンサ部１２の画角の変動の有無等を検出するために、カラーセンサ部１２からの出力を利用したが、カラーセンサ部１２からの出力に基づいて静止画像データや動画像データを生成することにより、測距装置１Ｂは撮像装置として機能する。
　即ち、測距装置１がカメラ装置やカメラ機能を備えたスマートフォンなどの携帯端末装置である場合には、測距装置１の移動や姿勢の変化を検出するための専用の構成を設けることなくカメラ機能として予め設けられているＲＧＢセンサ部などをカラーセンサ部１２として利用することができるため好適である。

＜８．変形例＞
　なお、上述した例では、測距装置１（１Ａ、１Ｂ、１Ｃ）の移動や姿勢変化を検出するために慣性計測装置６やカラーセンサ部１２やＥＶＳセンサ部１３を測距装置１が備えている例について説明した。
　しかし、測距装置１が画角を変更する処理を行う場合には、各センサ部の出力を用いずに画角の変動の有無についての情報を得ることができる。
　例えば、測距装置１が監視カメラであって、該監視カメラは、ユーザが監視したい場所に監視カメラの光軸を向ける操作が可能とされていることを考える。この場合には、外部からの操作に応じて、監視カメラが首振り動作を行い画角の変更を行うため、測距装置１は、外部から入力される首振り指示の情報を得ることにより画角の変更の有無の情報を得ることができる。
　このような場合には、センサ部からの出力を用いずに外部からの指示情報を利用して測距についてのデュアルモードＤＭとシングルモードＳＭの切り換えを行ってもよい。
＜９．まとめ＞
　上述した各実施の形態で説明したように、測距装置１（１Ａ、１Ｂ、１Ｃ）は、変調周波数を用いた飛行時間方式（間接ＴｏＦ方式）の測距のための受光動作を行う画素アレイ部４ａと、第１周波数（低周波数ｆＬ）を変調周波数として用いた受光動作と第１周波数よりも高周波の第２周波数（高周波数ｆＨ）を変調周波数として用いた受行動作を画素アレイ部４ａに交互に実行させるデュアルモードＤＭの測距と、所定の周波数を変調周波数として用いた受光動作のみを画素アレイ部４ａに実行させるシングルモードＳＭの測距と、を行う測距処理部Ｆ１と、デュアルモードＤＭの測距とシングルモードＳＭ（ＳＭＬ、ＳＭＨ）の測距とを所定条件に応じて切り換える切換処理部Ｆ２と、を備えたものである。
　デュアルモードＤＭでの測距においては、第１周波数で強度変調された変調光の照射と受光動作、及び第２周波数で強度変調された変調光の照射と受光動作が行われる。従って、１回の測距データを得るために２回の光照射及び受光動作が行われる。デュアルモードＤＭでの測距は、高い測距精度と長距離測定の双方を両立することができる。
　また、シングルモードＳＭでの測距においては、所定の周波数で強度変調された変調光の照射と受光動作が行われる。従って、１回の測距情報を得るための光照射及び受光動作は１回で済む。シングルモードＳＭでの測距は、１回の測距情報を得るために必要な消費電力が小さくされ、また、１回の測距情報を得るために要する時間も短くすることができる。
　これにより、状況に応じて測距精度及び測距距離を両立させたデュアルモードＤＭでの測距を行うか、或いは、消費電力を考慮してシングルモードＳＭでの測距を行うかを使い分けることができる。
　システム構成で説明したように、測距装置１（１Ａ、１Ｂ、１Ｃ）は、センシングを行うセンサ部（慣性計測装置６、カラーセンサ部１２またはＥＶＳセンサ部１３）を備え、前記所定条件は、センサ部から得た情報に基づくものとされてもよい。
　例えば、被写体ＯＢの測距結果が大きく変動するような環境変化が生じたことをセンサ部が検出した場合に、デュアルモードＤＭによる高精度な測距が必要と判定することが考えられる。これにより、シングルモードＳＭとデュアルモードＤＭを適切に使い分けることができる。
　システム構成で説明したように、測距装置１（１Ａ）は、センサ部として慣性計測装置６を備え、前記所定条件は、慣性計測装置６の出力に基づく条件とされてもよい。
　間接ＴｏＦセンサ部４以外に慣性計測装置６を備えることにより、両センサが搭載されたカメラ装置や携帯端末装置などの姿勢変化を検出することができる。そして、姿勢変化が大きい場合には、被写体ＯＢについての測距結果を高精度に測定しなおす必要があると判断し、デュアルモードＤＭでの測距へと切り換えることができる。
　これにより、シングルモードＳＭを利用することによる消費電力の低減効果を得ながら、必要に応じて高精度及び長距離測定が可能なデュアルモードＤＭへと切り換えることが可能となる。
　図９等を参照して説明したように、測距装置１（１Ａ）の切換処理部Ｆ２は、慣性計測装置６の出力が閾値以上である場合にデュアルモードＤＭの測距へと切り換え、慣性計測装置６の出力が閾値未満である場合にシングルモードＳＭの測距へと切り換えてもよい。
　慣性計測装置６の出力の変化が閾値以上とされ、カメラ装置や携帯端末装置の姿勢変化が一定以上と判定した場合に、デュアルモードＤＭでの測距へと切り換えることが可能となる。これにより、状況に応じて適切な測距モードを選択することができる。
　図１５や図１６等を参照して第４の実施の形態で説明したように、測距装置１Ｂは、センサ部としてカラー画像を生成するカラーセンサ部１２を備え、前記所定条件は、カラーセンサ部１２からの出力に基づいて検出されるカラーセンサ部１２の画角変動に係る条件とされ、切換処理部Ｆ２は、カラーセンサ部１２の画角変動があると判定した場合にデュアルモードＤＭの測距へと切り換え、該画角変動がないと判定した場合にシングルモードＳＭの測距へと切り換えてもよい。
　間接ＴｏＦセンサ部４以外にＲＧＢセンサ部やＣＭＹセンサ部としてのカラーセンサ部１２を備えることにより、両センサが搭載されたカメラ装置や携帯端末装置などの画角の変化を検出することができる。特に、画角内の特徴点の多くが同一方向に変動している場合には、装置の姿勢変化が起きたと判定することができ、好適にデュアルモードＤＭへと切り換えることが可能となる。
　図１７等を参照して第５の実施の形態で説明したように、測距装置１Ｃは、センサ部としてイベントベースビジョンセンサ部（ＥＶＳセンサ部１３）を備え、所定条件は、ＥＶＳセンサ部１３からの出力に基づいて検出されるＥＶＳセンサ部１３の画角変動に係る条件とされ、切換処理部Ｆ２は、ＥＶＳセンサ部１３の画角変動があると判定した場合にデュアルモードＤＭの測距へと切り換え、該画角変動がないと判定した場合にシングルモードＳＭの測距へと切り換えてもよい。
　間接ＴｏＦセンサ部４以外にＥＶＳセンサ１３部を備えることにより、両センサが搭載されたカメラ装置や携帯端末装置などの画角の変化を検出することができる。これにより、装置の姿勢変化が起きたことを推定することが可能となり、適宜デュアルモードＤＭへと切り換えることが可能となる
　図１１や図１２等を参照して第２の実施の形態で説明したように、測距装置１（１Ａ、１Ｂ、１Ｃ）において、前記所定の周波数は第１周波数（低周波数ｆＬ）とされてもよい。
　即ち、シングルモードＳＭの受光動作において低周波の信号が用いられる（シングルモードＳＭＬ）。これにより、例えば、長距離測距可能な状態を維持しつつ画角内の被写体ＯＢに変動があったか否かを判定するような使用用途の場合に好適である。
　図１１や図１２等を参照して第２の実施の形態で説明したように、測距装置１（１Ａ、１Ｂ、１Ｃ）において、前記所定の周波数は第２周波数（高周波数ｆＨ）とされてもよい。
　即ち、シングルモードＳＭの受光動作において高周波の信号が用いられる（シングルモードＳＭＨ）。これにより、被写体ＯＢについての距離情報の精度を維持する場合、例えば、被写体ＯＢのトラッキングを行う場合などに好適である。
　図１１や図１２等を参照して第２の実施の形態で説明したように、測距装置１（１Ａ、１Ｂ、１Ｃ）は、第１周波数（低周波数ｆＬ）と第２周波数（高周波数ｆＨ）のうち何れか一方を所定の周波数として選択する選択処理部（切換処理部Ｆ２）を備えていてもよい。
　これにより、シングルモードＳＭの受光動作に用いられる信号の周波数を状況に応じて選択することができる。また、予め用意された選択肢（低周波数ｆＬ、高周波数ｆＨ）の中から所望の周波数を選択可能に構成されることで、周波数を算出するための構成を備える必要がない。
　図１３や図１４等を参照して第３の実施の形態で説明したように、測距装置１（１Ａ、１Ｂ、１Ｃ）は、測距処理部Ｆ１による測距処理において算出された最も長い距離に基づいて前記所定の周波数を決定する周波数決定処理部Ｆ３を備えていてもよい。
　これにより、必要な測距距離を確保した上で測距の高精度化を図ることができる。
　図１５等を参照して第３の実施の形態で説明したように、測距装置１（１Ａ、１Ｂ、１Ｃ）は、飛行時間方式（間接ＴｏＦ方式）の測距に用いられる発光部２と、変調周波数に基づいて発光部２を駆動する発光駆動部３と、を備え、発光駆動部３は、前記所定の周波数に基づいて１回の測距処理における発光部２の発光回数を決定してもよい。
　例えば、ある程度高精度の測距を行うためには、長距離の測距ほど発光回数を多くする必要がある。従って、測距可能な最大距離に応じて発光回数を決定することにより、過剰な発光を行わずに済み、消費電力の低減を図ることができる。
　間接ＴｏＦセンサ部４としてのセンサ装置は、飛行時間方式（間接ＴｏＦ方式）の測距における単位受光動作を行う受光素子ＰＤが二次元配列された画素アレイ部４ａと、画素アレイ部４ａの駆動として、受光素子ＰＤが第１周波数（低周波数ｆＬ）による単位受光動作と第１周波数とは異なる第２周波数（高周波数ｆＨ）による単位受光動作とを交互に行うデュアルモードＤＭでの駆動と、受光素子ＰＤが所定の周波数による単位受光動作のみを行うシングルモードＳＭでの駆動と、を行う駆動部と、を備えている。
　このようなセンサ装置において、上述した種々の効果を得ることができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
　また、上述した各例はいかように組み合わせてもよく、各種の組み合わせを用いた場合であっても上述した種々の作用効果を得ることが可能である。
＜１０．本技術＞
（１）
　変調周波数を用いた飛行時間方式の測距のための受光動作を行う画素アレイ部と、
　第１周波数を前記変調周波数として用いた受光動作と前記第１周波数よりも高周波の第２周波数を前記変調周波数として用いた受行動作を前記画素アレイ部に交互に実行させるデュアルモードの測距と、所定の周波数を前記変調周波数として用いた受光動作のみを前記画素アレイ部に実行させるシングルモードの測距と、を行う測距処理部と、
　前記デュアルモードの測距と前記シングルモードの測距とを所定条件に応じて切り換える切換処理部と、を備えた
　測距装置。
（２）
　センシングを行うセンサ部を備え、
　前記所定条件は、前記センサ部から得た情報に基づくものとされた
　上記（１）に記載の測距装置。
（３）
　前記センサ部として慣性計測装置を備え、
　前記所定条件は、前記慣性計測装置の出力に基づく条件とされた
　上記（２）に記載の測距装置。
（４）
　前記切換処理部は、前記慣性計測装置の出力が閾値以上である場合に前記デュアルモードの測距へと切り換え、前記慣性計測装置の出力が前記閾値未満である場合に前記シングルモードの測距へと切り換える
　上記（３）に記載の測距装置。
（５）
　前記センサ部としてカラー画像を生成するカラーセンサ部を備え、
　前記所定条件は、前記カラーセンサからの出力に基づいて検出される前記カラーセンサの画角変動に係る条件とされ、
　前記切換処理部は、前記画角変動があると判定した場合に前記デュアルモードの測距へと切り換え、前記画角変動がないと判定した場合に前記シングルモードの測距へと切り換える
　上記（２）に記載の測距装置。
（６）
　前記センサ部としてイベントベースビジョンセンサ部を備え、
　前記所定条件は、前記イベントベースビジョンセンサからの出力に基づいて検出される前記イベントベースビジョンセンサの画角変動に係る条件とされ、
　前記切換処理部は、前記画角変動があると判定した場合に前記デュアルモードの測距へと切り換え、前記画角変動がないと判定した場合に前記シングルモードの測距へと切り換える
　上記（２）に記載の測距装置。
（７）
　前記所定の周波数は前記第１周波数とされた
　上記（１）から上記（６）の何れかに記載の測距装置。
（８）
　前記所定の周波数は前記第２周波数とされた
　上記（１）から上記（６）の何れかに記載の測距装置。
（９）
　前記第１周波数と前記第２周波数のうち何れか一方を前記所定の周波数として選択する選択処理部を備えた
　上記（１）から上記（８）の何れかに記載の測距装置。
（１０）
　前記測距処理部による測距処理において算出された最も長い距離に基づいて前記所定の周波数を決定する周波数決定処理部を備えた
　上記（１）から上記（６）の何れかに記載の測距装置。
（１１）
　飛行時間方式の測距に用いられる発光部と、
　前記変調周波数に基づいて前記発光部を駆動する発光駆動部と、を備え、
　前記発光駆動部は、前記所定の周波数に基づいて１回の測距処理における前記発光部の発光回数を決定する
　上記（１０）に記載の測距装置。
（１２）
　飛行時間方式の測距における単位受光動作を行う受光素子が二次元配列された画素アレイ部と、
　前記画素アレイ部の駆動として、前記受光素子が第１周波数による前記単位受光動作と前記第１周波数とは異なる第２周波数による前記単位受光動作とを交互に行うデュアルモードでの駆動と、前記受光素子が所定の周波数による前記単位受光動作のみを行うシングルモードでの駆動と、を行う駆動部と、を備えた
　センサ装置。
１、１Ａ、１Ｂ、１Ｃ　測距装置
２　発光部
３　発光駆動部
４　間接ＴｏＦセンサ部（駆動部）
４ａ　画素アレイ部
６　慣性計測装置（センサ部）
１２　カラーセンサ部（センサ部）
１３　ＥＶＳセンサ部（センサ部）
ＰＤ　受光素子
ｆＬ　低周波数（第１周波数）
ｆＨ　高周波数（第２周波数）
ＤＭ　デュアルモード
ＳＭ、ＳＭＬ、ＳＭＨ　シングルモード
Ｆ１　測距処理部
Ｆ２　切換処理部
Ｆ３　周波数決定処理部

Claims (12)

  1. 　変調周波数を用いた飛行時間方式の測距のための受光動作を行う画素アレイ部と、
    　第１周波数を前記変調周波数として用いた受光動作と前記第１周波数よりも高周波の第２周波数を前記変調周波数として用いた受行動作を前記画素アレイ部に交互に実行させるデュアルモードの測距と、所定の周波数を前記変調周波数として用いた受光動作のみを前記画素アレイ部に実行させるシングルモードの測距と、を行う測距処理部と、
    　前記デュアルモードの測距と前記シングルモードの測距とを所定条件に応じて切り換える切換処理部と、を備えた
    　測距装置。
  2. 　センシングを行うセンサ部を備え、
    　前記所定条件は、前記センサ部から得た情報に基づくものとされた
    　請求項１に記載の測距装置。
  3. 　前記センサ部として慣性計測装置を備え、
    　前記所定条件は、前記慣性計測装置の出力に基づく条件とされた
    　請求項２に記載の測距装置。
  4. 　前記切換処理部は、前記慣性計測装置の出力が閾値以上である場合に前記デュアルモードの測距へと切り換え、前記慣性計測装置の出力が前記閾値未満である場合に前記シングルモードの測距へと切り換える
    　請求項３に記載の測距装置。
  5. 　前記センサ部としてカラー画像を生成するカラーセンサ部を備え、
    　前記所定条件は、前記カラーセンサからの出力に基づいて検出される前記カラーセンサの画角変動に係る条件とされ、
    　前記切換処理部は、前記画角変動があると判定した場合に前記デュアルモードの測距へと切り換え、前記画角変動がないと判定した場合に前記シングルモードの測距へと切り換える
    　請求項２に記載の測距装置。
  6. 　前記センサ部としてイベントベースビジョンセンサ部を備え、
    　前記所定条件は、前記イベントベースビジョンセンサからの出力に基づいて検出される前記イベントベースビジョンセンサの画角変動に係る条件とされ、
    　前記切換処理部は、前記画角変動があると判定した場合に前記デュアルモードの測距へと切り換え、前記画角変動がないと判定した場合に前記シングルモードの測距へと切り換える
    　請求項２に記載の測距装置。
  7. 　前記所定の周波数は前記第１周波数とされた
    　請求項１に記載の測距装置。
  8. 　前記所定の周波数は前記第２周波数とされた
    　請求項１に記載の測距装置。
  9. 　前記第１周波数と前記第２周波数のうち何れか一方を前記所定の周波数として選択する選択処理部を備えた
    　請求項１に記載の測距装置。
  10. 　前記測距処理部による測距処理において算出された最も長い距離に基づいて前記所定の周波数を決定する周波数決定処理部を備えた
    　請求項１に記載の測距装置。
  11. 　飛行時間方式の測距に用いられる発光部と、
    　前記変調周波数に基づいて前記発光部を駆動する発光駆動部と、を備え、
    　前記発光駆動部は、前記所定の周波数に基づいて１回の測距処理における前記発光部の発光回数を決定する
    　請求項１０に記載の測距装置。
  12. 　飛行時間方式の測距における単位受光動作を行う受光素子が二次元配列された画素アレイ部と、
    　前記画素アレイ部の駆動として、前記受光素子が第１周波数による前記単位受光動作と前記第１周波数とは異なる第２周波数による前記単位受光動作とを交互に行うデュアルモードでの駆動と、前記受光素子が所定の周波数による前記単位受光動作のみを行うシングルモードでの駆動と、を行う駆動部と、を備えた
    　センサ装置。
PCT/JP2022/043296 2021-12-20 2022-11-24 測距装置、センサ装置 WO2023120009A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021205782A JP2023091179A (ja) 2021-12-20 2021-12-20 測距装置、センサ装置
JP2021-205782 2021-12-20

Publications (1)

Publication Number Publication Date
WO2023120009A1 true WO2023120009A1 (ja) 2023-06-29

Family

ID=86902250

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/043296 WO2023120009A1 (ja) 2021-12-20 2022-11-24 測距装置、センサ装置

Country Status (2)

Country Link
JP (1) JP2023091179A (ja)
WO (1) WO2023120009A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018119942A (ja) * 2017-01-20 2018-08-02 キヤノン株式会社 撮像装置及びその監視方法並びにプログラム
JP2020134464A (ja) * 2019-02-25 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
WO2021004946A1 (en) * 2019-07-05 2021-01-14 Sony Semiconductor Solutions Corporation Time-of-flight imaging apparatus and time-of-flight imaging method
CN113325439A (zh) * 2021-05-17 2021-08-31 奥比中光科技集团股份有限公司 一种深度相机及深度计算方法
JP2021534429A (ja) * 2018-08-17 2021-12-09 センス・フォトニクス, インコーポレイテッドSense Photonics, Inc. 明確なレンジ・トグリングによってタイム・オブ・フライト・システムのレンジを増大させる方法及びシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018119942A (ja) * 2017-01-20 2018-08-02 キヤノン株式会社 撮像装置及びその監視方法並びにプログラム
JP2021534429A (ja) * 2018-08-17 2021-12-09 センス・フォトニクス, インコーポレイテッドSense Photonics, Inc. 明確なレンジ・トグリングによってタイム・オブ・フライト・システムのレンジを増大させる方法及びシステム
JP2020134464A (ja) * 2019-02-25 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
WO2021004946A1 (en) * 2019-07-05 2021-01-14 Sony Semiconductor Solutions Corporation Time-of-flight imaging apparatus and time-of-flight imaging method
CN113325439A (zh) * 2021-05-17 2021-08-31 奥比中光科技集团股份有限公司 一种深度相机及深度计算方法

Also Published As

Publication number Publication date
JP2023091179A (ja) 2023-06-30

Similar Documents

Publication Publication Date Title
JP7146004B2 (ja) 同期スピニングｌｉｄａｒおよびローリングシャッターカメラシステム
US11463636B2 (en) Pixel sensor having multiple photodiodes
US10120066B2 (en) Apparatus for making a distance determination
US20170353649A1 (en) Time of flight ranging for flash control in image capture devices
KR102611080B1 (ko) 오토 포커스 제어를 갖는 이미징 디바이스들
US9978148B2 (en) Motion sensor apparatus having a plurality of light sources
US20190007592A1 (en) Imaging device and solid-state imaging element used in same
US11977167B2 (en) Efficient algorithm for projecting world points to a rolling shutter image
US20150292884A1 (en) Motion-sensor device having multiple light sources
KR20160032014A (ko) 타임 오브 플라이트 시스템 구동 방법
TW201741685A (zh) 深度資訊量測方法及裝置
US10564390B2 (en) Focusing control device, focusing control method, focusing control program, lens device, and imaging device
US10877238B2 (en) Bokeh control utilizing time-of-flight sensor to estimate distances to an object
US20160353017A1 (en) Electronic device and method for photographing image
TW202127635A (zh) 飛行時間感測系統及其中使用的圖像感測器
US20110038508A1 (en) System and method for performing optical navigation using portions of captured frames of image data
WO2023120009A1 (ja) 測距装置、センサ装置
CN113747141A (zh) 一种电子设备和深度图像的拍摄方法
JP2018134712A (ja) ロボットシステム及びロボットシステムの制御方法
JP2005049604A (ja) プロジェクタ及びプロジェクタの焦点調節方法
JP6611486B2 (ja) フォーカス制御装置、撮像装置、フォーカス制御方法、プログラム、および記憶媒体
JP2022166834A (ja) 深度センサ及びその動作方法
JP7094767B2 (ja) 撮像装置及びその制御方法並びにプログラム
KR20230061134A (ko) 이미지 센서, 영상 획득 장치 및 이를 포함하는 전자 장치
JP2005148229A (ja) 光電変換装置および自動焦点検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22910727

Country of ref document: EP

Kind code of ref document: A1