WO2018037728A1 - 測距装置、電子装置、および、測距装置の制御方法 - Google Patents

測距装置、電子装置、および、測距装置の制御方法 Download PDF

Info

Publication number
WO2018037728A1
WO2018037728A1 PCT/JP2017/024749 JP2017024749W WO2018037728A1 WO 2018037728 A1 WO2018037728 A1 WO 2018037728A1 JP 2017024749 W JP2017024749 W JP 2017024749W WO 2018037728 A1 WO2018037728 A1 WO 2018037728A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
light sources
unit
pair
phase difference
Prior art date
Application number
PCT/JP2017/024749
Other languages
English (en)
French (fr)
Inventor
堅誠 城
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US15/760,438 priority Critical patent/US10989790B2/en
Priority to CN201780003177.9A priority patent/CN108027416B/zh
Publication of WO2018037728A1 publication Critical patent/WO2018037728A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/003—Bistatic lidar systems; Multistatic lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2201/00—Indexing scheme relating to beacons or beacon systems transmitting signals capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters
    • G01S2201/01—Indexing scheme relating to beacons or beacon systems transmitting signals capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters adapted for specific applications or environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Definitions

  • the present technology relates to a distance measuring device, an electronic device, and a method for controlling the distance measuring device.
  • the present invention relates to a distance measuring device, an electronic device, and a distance measuring device control method for measuring a distance from a light phase difference.
  • a distance measurement method called a ToF (Time of ⁇ Flight) method is often used in devices and equipment having a distance measurement function.
  • This ToF method is a method in which an object is irradiated with sine wave or rectangular wave irradiation light, and the apparatus receives the reflected light from the object, and measures the distance from the phase difference between the irradiation light and the reflected light. is there.
  • a device that receives reflected light by a plurality of light receiving elements arranged in an array and measures the distance by the ToF method has been proposed (for example, see Non-Patent Document 1).
  • a depth map can be generated by measuring the distance to each of a plurality of objects using an array-shaped light receiving element.
  • the amount of reflected light is reduced and the ranging accuracy is lowered.
  • it is necessary to increase the amount of irradiation light in order to maintain distance measurement accuracy, it is necessary to increase the amount of irradiation light, and there is a problem that the power consumption of the device that irradiates the irradiation light increases.
  • an increase in power consumption has a significant disadvantage and requires countermeasures.
  • the present technology has been created in view of such a situation, and aims to reduce power consumption in an apparatus for measuring a distance from a phase difference of light.
  • the present technology has been made to solve the above-described problems.
  • the first aspect of the present technology includes a phase difference detection unit that detects a phase difference of light from each of a pair of external light sources, and the pair of pairs. Measurement that acquires either the distance to one of the external light sources or the interval between the pair of external light sources as known data and measures the distance to the other of the pair of external light sources based on the known data and the phase difference.
  • a distance measuring device including a distance unit and a control method thereof. This brings about the effect
  • each of the pair of external light sources may be an irradiation light source that emits irradiation light
  • the distance measuring unit may acquire an interval between the pair of external light sources as the known data. . This brings about the effect that the distance to the other of the pair of external light sources is measured based on the interval and phase difference between the pair of external light sources.
  • the first side surface may further include a pair of light emitting units that emit irradiation light. This brings about the effect
  • the pair of external light sources may be arranged at predetermined positions on the line light source. This brings about the effect
  • the one of the pair of external light sources is an irradiation light source that emits irradiation light
  • the other is a reflection light source that reflects the irradiation light
  • the distance measuring unit includes the pair of external light sources.
  • the distance to the one of the external light sources may be acquired as the known data. This brings about the effect that the distance to the other of the pair of external light sources is measured based on the distance to the one of the pair of external light sources and the phase difference.
  • the irradiation light source includes a pair of irradiation light sources that are alternately turned on, and the distance measuring unit is one of the pair of irradiation light sources based on an interval between the pair of irradiation light sources. You may acquire the distance to. This brings about the effect that the distance to one of the pair of irradiation light sources is acquired based on the interval between the pair of irradiation light sources that are alternately lit.
  • the distance measuring unit obtains a plane coordinate of a projection point obtained by projecting each of a plurality of spatial points with known three-dimensional coordinates onto a predetermined imaging plane, and the known coordinate is obtained from the plane coordinate. Data may be acquired. As a result, the known data is obtained from the plane coordinates of the projection point.
  • the distance measuring unit detects a unit vector indicating a direction to each of the pair of external light sources, and determines the unit vector based on the unit vector, the known data, and the phase difference.
  • the distance may be measured. This brings about the effect that the distance to the other is measured based on the unit vector, the known data, and the phase difference.
  • the phase difference detection unit and the ranging unit are mounted on a vehicle, the pair of external light sources are tail lamps of other vehicles different from the vehicle, and the ranging unit is The inter-vehicle distance between the vehicle and the other vehicle may be measured. As a result, the inter-vehicle distance is measured based on the known data and the phase difference.
  • the second aspect of the present technology provides a phase difference detection unit that detects a phase difference of light from each of the pair of external light sources, a distance to one of the pair of external light sources, and an interval between the pair of external light sources. And a distance measuring unit that measures the distance to the other of the pair of external light sources based on the known data and the phase difference, and predetermined information based on the measured distance
  • An electronic device comprising: a control unit that causes the display unit to display Accordingly, the distance to the other of the pair of external light sources is measured based on the known data and the phase difference, and predetermined information is displayed based on the distance.
  • an excellent effect that power consumption can be reduced in an apparatus for measuring a distance from a phase difference of light can be achieved.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • 1 is an overall view illustrating an example of a distance measuring system according to a first embodiment of the present technology. It is a block diagram showing an example of 1 composition of VR (Virtual Reality) terminal in a 1st embodiment of this art. It is a block diagram showing an example of 1 composition of a solid imaging device in a 1st embodiment of this art. It is a circuit diagram showing an example of 1 composition of a pixel circuit in a 1st embodiment of this art. It is a timing chart which shows an example of the bond of the solid-state image sensing device of the Q1Q2 detection period in a 1st embodiment of this art.
  • VR Virtual Reality
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an IoT system 9000.
  • FIG. It is a block diagram which shows an example of a schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
  • First embodiment an example in which distance measurement is performed by detecting a phase difference of light from a pair of external light sources
  • Second embodiment an example in which distance measurement is performed by detecting a phase difference of light from a pair of external light sources on a line light source
  • FIG. 1 is an overall view illustrating an example of a distance measuring system according to the first embodiment of the present technology.
  • This distance measuring system is a system for measuring a distance to a surrounding object 500 and includes an external device 110 and a VR terminal 200.
  • the external device 110 is a device installed indoors, and includes irradiation light sources 111 and 112 that emit irradiation light.
  • irradiation light sources 111 and 112 are point light sources provided at specific positions of the external device 110.
  • pulsed light is irradiated in synchronization with a common synchronization signal having a predetermined frequency (20 MHz or the like).
  • This irradiation light is reflected by the surfaces of various objects 500 existing around the user.
  • the reflected light source which is the reflected portion, and external light sources such as the irradiation light sources 111 and 112 are used for distance measurement.
  • the VR terminal 200 generates a depth map indicating the distances to the objects 500 around the user.
  • the VR terminal 200 is a goggle-type device having a display unit such as a liquid crystal display, and is mounted on the user's head. Further, the VR terminal 200 performs a process of displaying various information on the display unit based on the generated depth map.
  • the VR terminal 200 is an example of an electronic device described in the claims.
  • FIG. 2 is a block diagram illustrating a configuration example of the VR terminal 200 according to the first embodiment of the present technology.
  • the VR terminal 200 includes a ranging module 210, a terminal control unit 250, and a display unit 260.
  • the ranging module 210 includes an imaging lens 220, a solid-state imaging device 300, and a ranging calculation unit 230.
  • the distance measuring module 210 is an example of a distance measuring device described in the claims.
  • the imaging lens 220 collects the irradiation light from the irradiation light sources 111 and 112 and the reflected light with respect to the irradiation light and guides them to the solid-state imaging device 300.
  • the solid-state imaging device 300 generates image data by photoelectrically converting light from the imaging lens 220.
  • the solid-state imaging device 300 receives a vertical synchronization signal VSYNC having a predetermined frequency and a reference clock CLKs.
  • the frequency of the vertical synchronization signal VSYNC is set to a value (such as 60 hertz) lower than the frequency of irradiation light (such as 20 megahertz) irradiated by the illumination light sources 111 and 112.
  • the frequency of the reference clock CLKs is set to the same value as the frequency of the irradiation light.
  • the reference clock CLKs is not synchronized with the irradiation light of the irradiation light sources 111 and 112, and the phase does not always coincide with the irradiation light.
  • the solid-state imaging device 300 generates image data in synchronization with the vertical synchronization signal VSYNC and the like, and supplies the image data to the distance measurement calculation unit 230.
  • the ranging calculation unit 230 detects the phase difference dP 12 of the irradiation light from each of the irradiation light sources 111 and 112, and determines the irradiation light sources 111 and 112 from the phase difference dP 12 and the interval W between the irradiation light sources 111 and 112. The distance to at least one is measured. For example, only the distance E 1 to the irradiation light source 111 is measured.
  • the distance distance calculation unit 230 after the measurement of E 1, the irradiation light from the irradiation light source 111, detects the phase difference dP 1d of the reflected light to the irradiation light, known distance E 1 and the phase difference dP 1d Based on the above, the distance Ed to the reflected light source that emits the reflected light is measured.
  • This reflected light source corresponds to a reflection point on the surface of the object where reflected light is reflected. That is, the distance Ed indicates the distance to the reflection point on the surface of the object.
  • the ranging calculation unit 230 measures the distance Ed for each of the plurality of reflected light sources, generates a depth map indicating the measurement results, and supplies the depth map to the terminal control unit 250.
  • the terminal control unit 250 controls the entire VR terminal 200.
  • the terminal control unit 250 performs processing for displaying various information on the display unit 260 based on the depth map. For example, based on the distance to the object indicated by the depth map, the terminal control unit 250 performs a process of displaying an item used in the game at the position of the object.
  • the terminal control unit 250 is an example of a control unit described in the claims.
  • the display unit 260 displays information according to the control of the terminal control unit 250.
  • a liquid crystal display As the display unit 260, a liquid crystal display, an organic EL (Electro Luminescence) display, or the like is assumed.
  • the ranging module 210 is provided in the VR terminal 200, the ranging module 210 may be provided in addition to the VR terminal 200 as long as it is a device or device that uses distance information.
  • the ranging module 210 may be provided in a ToF camera, a smartphone, a personal computer, an automobile, or the like.
  • FIG. 3 is a block diagram illustrating a configuration example of the solid-state imaging device 300 according to the first embodiment of the present technology.
  • the solid-state imaging device 300 includes a row scanning circuit 310, a pixel array unit 320, a timing control unit 340, a plurality of AD (Analog to Digital) conversion units 350, a column scanning circuit 360, and a signal processing unit 370.
  • a row scanning circuit 310 a pixel array unit 320
  • a timing control unit 340 a plurality of AD (Analog to Digital) conversion units 350
  • a column scanning circuit 360 and a signal processing unit 370.
  • a plurality of pixel circuits 330 are arranged in a two-dimensional grid.
  • a set of pixel circuits 330 arranged in a predetermined direction is referred to as “row”, and a set of pixel circuits 330 arranged in a direction perpendicular to the row is referred to as “column”.
  • the aforementioned AD conversion unit 350 is provided for each column.
  • the timing control unit 340 controls the row scanning circuit 310, the AD conversion unit 350, and the column scanning circuit 360 in synchronization with the vertical synchronization signal VSYNC.
  • the row scanning circuit 310 selects a row in order and outputs a pixel signal.
  • the pixel circuit 330 outputs a pixel signal at a level corresponding to the amount of received light according to the control of the row scanning circuit 310.
  • the AD conversion unit 350 performs AD conversion on the pixel signals from the corresponding columns.
  • the AD conversion unit 350 outputs the AD-converted pixel signal to the signal processing unit 370 as pixel data under the control of the column scanning circuit 360.
  • the column scanning circuit 360 sequentially selects the AD conversion unit 350 and outputs pixel data.
  • the signal processing unit 370 performs signal processing such as CDS (Correlated Double Sampling) processing on image data including pixel data.
  • the signal processing unit 370 supplies the image data after the signal processing to the ranging calculation unit 230.
  • FIG. 4 is a block diagram illustrating a configuration example of the pixel circuit 330 according to the first embodiment of the present technology.
  • the pixel circuit 330 includes a light receiving element 331, a transfer switch 332, charge storage units 333 and 334, and selection switches 335 and 336.
  • the light receiving element 331 generates electric charges by photoelectrically converting light.
  • a photodiode is used as the light receiving element 331.
  • the transfer switch 332 connects the light receiving element 331 to any one of the charge storage unit 333, the charge storage unit 334, and the reset power supply Vrst according to the control of the row scanning circuit 310.
  • the transfer switch 332 is realized by a plurality of MOS (Metal-Oxide-Semiconductor) transistors, for example. When connected to the reset power supply Vrst, the charge output from the drain of the MOS transistor is discarded, and the charge of the light receiving element 331 is initialized.
  • MOS Metal-Oxide-Semiconductor
  • the charge accumulating units 333 and 334 accumulate electric charges and generate a voltage corresponding to the accumulated amount.
  • these charge storage units 333 and 334 for example, floating diffusion layers are used.
  • the selection switch 335 opens and closes a line between the charge storage unit 333 and the AD conversion unit 350 according to the control of the row scanning circuit 310.
  • the selection switch 336 opens and closes a line between the charge storage unit 334 and the AD conversion unit 350 according to the control of the row scanning circuit 310. For example, when the FD read signal RD_FD1 is supplied by the row scanning circuit 310, the selection switch 335 transitions to the closed state, and when the FD read signal RD_FD2 is supplied by the row scanning circuit 310, the selection switch 336 transitions to the closed state. To do.
  • Each of these selection switches 335 and 336 is realized by, for example, a MOS transistor or the like.
  • FIG. 5 is a timing chart showing an example of the exposure control of the pixel circuit within the Q1Q2 detection period in the first embodiment of the present technology.
  • the pixel circuit 330 alternately performs detection of the received light amounts Q1 and Q2 and detection of the received light amounts Q3 and Q4.
  • the detection period of the received light amounts Q1 and Q2 is referred to as “Q1Q2 detection period”
  • the detection period of the received light amounts Q3 and Q4 is referred to as “Q3Q4 detection period”.
  • a period including the Q1Q2 detection period and the Q3Q4 detection period is referred to as a “measurement period”.
  • Each length of the Q1Q2 detection period and the Q3Q4 detection period is a period (for example, 1/60 second) of the vertical synchronization signal VSYNC.
  • the received light quantity Q1 is obtained by accumulating the received light quantity q1 from 0 degree to 180 degrees over the Q1Q2 detection period, with a specific phase (for example, rising) of the reference clock CLKs as 0 degree. Since the frequency of the reference clock CLKs is as high as 20 megahertz (MHz), the amount of received light q1 per one period (1/20 microsecond) is very small and difficult to detect. For this reason, the pixel circuit 330 accumulates each q1 over a Q1Q2 detection period such as 1/60 second longer than the period (1/20 microsecond) of the reference clock CLKs, and detects the total amount as the received light amount Q1. To do.
  • the received light amount Q2 is the cumulative amount of received light q2 from 180 degrees to 360 degrees over the Q1Q2 detection period.
  • the received light amount Q3 is the cumulative amount of received light q3 from 90 degrees to 270 degrees over the Q3Q4 detection period.
  • the received light quantity Q4 is the cumulative quantity of received light q4 from 270 degrees to 90 degrees over the Q3Q4 detection period.
  • the distance measuring unit 230 can calculate the phase difference dP between the reference clock CLKs and the received light.
  • the method for deriving this equation is described in, for example, “Larry Li,“ Time-of-Flight Camera-An Introduction ”, Texas Instruments, Technical White Paper SLOA190B January 2014 Revised May 2014”.
  • dP tan ⁇ 1 ⁇ (Q3-Q4) / (Q1-Q2) ⁇ Expression 1
  • tan ⁇ 1 () represents the inverse function of the tangent function.
  • the row scanning circuit 310 supplies the reset signal RST to all rows over a predetermined pulse period from the timing T1. By this reset signal RST, the charge accumulation amounts of the charge accumulation units 333 and 334 in all rows are initialized. In addition, the row scanning circuit 310 initializes the charges of the light receiving elements 331 in all rows by the FD selection signal SEL_FD.
  • the row scanning circuit 310 supplies, to the charge storage unit 333, the charges generated by the light receiving elements 331 by the FD selection signal SEL_FD for all rows from 0 degrees to 180 degrees within the cycle of the reference clock CLKs. Let it be transferred. By this control, the received light amount q1 is accumulated in the charge accumulation unit 333.
  • the row scanning circuit 310 supplies, to the charge storage unit 334, charges generated by the light receiving elements 331 by the FD selection signal SEL_FD for all rows from 180 degrees to 360 degrees within the period of the reference clock CLKs. Let it be transferred. By this control, the received light amount q2 is accumulated in the charge accumulation unit 334.
  • the row scanning circuit 310 sequentially supplies the FD read signals RD_FD1 and RD_FD2 to the first row. By this control, pixel signals corresponding to the received light amounts Q1 and Q2 in the first row are read out.
  • the row scanning circuit 310 sequentially supplies FD read signals RD_FD1 and RD_FD2 to the second row to read out pixel signals.
  • the row scanning circuit 310 sequentially selects rows and reads out pixel signals.
  • each of the pixel circuits 330 detects the received light amount Q1 from 0 degrees to 180 degrees and the received light quantity Q2 from 180 degrees to 360 degrees.
  • FIG. 6 is a timing chart showing an example of exposure control of the pixel circuit 330 within the Q3Q4 detection period in the first embodiment of the present technology.
  • the row scanning circuit 310 supplies the reset signal RST to all rows over a predetermined pulse period from the timing T2, and initializes the charge accumulation amounts of the charge accumulation units 333 and 334 in all rows.
  • the row scanning circuit 310 initializes the charges of the light receiving elements 331 in all rows by the FD selection signal SEL_FD.
  • the row scanning circuit 310 transfers the electric charges generated by the light receiving elements 331 by the FD selection signal SEL_FD for all rows to the charge accumulation unit 334 for the first 0 to 90 degrees. By this control, the amount of received light q4 is accumulated in the charge accumulation unit 334. Thereafter, the row scanning circuit 310 transfers the charges generated by the light receiving elements 331 by the FD selection signal SEL_FD for all the rows from 90 degrees to 270 degrees in the cycle of the reference clock CLKs to the charge accumulation unit 333. By this control, the received light quantity q3 is accumulated in the charge accumulation unit 333.
  • the row scanning circuit 310 supplies, to the charge storage unit 334, the charges generated by the light receiving elements 331 by the FD selection signal SEL_FD for all the rows from 270 degrees to 90 degrees within the period of the reference clock CLKs. Let it be transferred. By this control, the amount of received light q4 is accumulated in the charge accumulation unit 334.
  • the row scanning circuit 310 sequentially supplies the FD read signals RD_FD1 and RD_FD2 to the first row. By this control, pixel signals corresponding to the received light amounts Q3 and Q4 in the first row are read out.
  • the row scanning circuit 310 sequentially selects rows and reads out pixel signals.
  • each of the pixel circuits 330 detects the received light amount Q3 from 90 degrees to 270 degrees and the received light quantity Q4 from 270 degrees to 90 degrees.
  • FIG. 7 is a diagram for describing a phase difference detection method according to the first embodiment of the present technology.
  • the pixel circuit 330 transfers the received light amount from the timing T50 (0 degree) to the timing T52 (180 degrees) within the Q1Q2 detection period to the charge accumulation unit 333.
  • a light source irradiation light source 111, 112, etc.
  • the received light amount from timing T51 to T52 is transferred as received light amount q1.
  • the pixel circuit 330 transfers the received light amount from the timing T52 (180 degrees) to the timing T54 (360 degrees) within the Q1Q2 detection period to the charge accumulation unit 334.
  • the received light amount from timing T52 to T53 is transferred as the received light amount q2.
  • the pixel circuit 330 transfers the received light amount from the timing T55 (90 degrees) to the timing T57 (270 degrees) in the Q3Q4 detection period to the charge storage unit 333.
  • the received light amount from timing T56 to T57 is transferred as the received light amount q3.
  • the pixel circuit 330 transfers the received light amount from timing T57 (270 degrees) to timing T59 (90 degrees) within the Q3Q4 detection period to the charge storage unit 334.
  • the received light amount from timing T57 to T58 is transferred as received light amount q4.
  • the cumulative values of the received light amounts q1 and q2 within the Q1Q2 detection period are read as the received light amounts Q1 and Q2, and the cumulative values of the received light amounts q3 and q4 within the Q3Q4 detection period are read as the received light amounts Q3 and Q4.
  • the ratio between the difference between Q1 and Q2 and the difference between Q3 and Q4 is a value corresponding to the phase difference between the reference clock CLKs and the received light. For this reason, the distance measurement calculation unit 230 can calculate the phase difference using Equation 1.
  • the light source includes the irradiation light source 111 and the irradiation light source 112 as described above. Lights from these two light sources are received by separate pixel circuits 330 in the pixel array unit 320. Therefore, the VR terminal 200 can individually detect the phase difference between these two lights and the reference clock CLKs.
  • the phase difference between the light from the irradiation light source 111 and the reference clock CLKs is dP 1s
  • the phase difference between the light from the irradiation light source 112 and the reference clock CLKs is dP 2s .
  • These phase difference differences correspond to the phase difference dP 12 between the light from the irradiation light source 111 and the light from the irradiation light source 112.
  • the VR terminal 200 can detect the phase difference dP 12 between the light from the irradiation light source 111 and the light from the irradiation light source 112 using the phase of the reference clock CLKs as a reference.
  • FIG. 8 is a diagram illustrating an example of a data configuration of image data according to the first embodiment.
  • This image data includes a plurality of pixel data.
  • Each of the pixel data in the Q1Q2 detection period includes received light amounts Q1 and Q2.
  • each of the pixel data in the Q3Q4 detection period includes received light amounts Q3 and Q4.
  • the pixel data at coordinates (0, 0) within the Q1Q2 detection period includes a received light amount Q1 of “10” and a received light amount Q2 of “20”.
  • the pixel data at the coordinates (0, 1) includes a received light amount Q1 of “10” and a received light amount Q2 of “20”.
  • FIG. 9 is a timing chart showing an example of the operation of the irradiation light source and the solid-state imaging device according to the first embodiment of the present technology.
  • the light emitted from the irradiation light source 111 is referred to as irradiation light L1
  • the light emitted from the irradiation light source 112 is referred to as irradiation light L2.
  • these light sources emit light in synchronization with a common synchronization signal. For this reason, the frequency of irradiation light L1 and L2 is the same, and a phase difference is 0 degree at the time of irradiation.
  • the phase difference between the irradiation lights L1 and L2 is not always the same when the VR terminal 200 receives light. This is because the distance from each of the irradiation light sources 111 and 112 to the VR terminal 200 is not necessarily the same. Further, the external device 110 repeatedly performs control for causing only the irradiation light source 111 to emit light over a certain period and control for causing only the irradiation light source 112 to emit light over a certain period. The length of the period during which only one of the lights is emitted is set to a longer time (such as 1/15 seconds) than the measurement period.
  • the emission of the irradiation light L1 is started at the timing T11 within the measurement period from the timing T10 to the timing T12. Then, at the timing T14 immediately after the next measurement period from the timing T12 to the timing T13, the irradiation light L1 is turned off and the emission of the irradiation light L2 is started. Then, at the timing T17 when the measurement period from the timing T13 to the timing T15 and the measurement period from the timing T15 to the timing T16 have elapsed, the irradiation light L2 is turned off, and the emission of the irradiation light L1 is started.
  • the reason why the irradiation light sources 111 and 112 emit light alternately in this way is that the amount of calculation is reduced in the generation of the depth map. The reason why the calculation amount is reduced will be described later.
  • the VR terminal 200 can detect the phase of the irradiation light L1 with respect to the reference clock CLKs. In addition, the VR terminal 200 can also detect the phase of the reflected light reflected by the object with the irradiation light L1 with reference to the reference clock CLKs.
  • the VR terminal 200 uses the reference clock CLKs to change the phases of the irradiation lights L1 and L2. Can be detected. Since only the irradiation light source 112 emits light from the timing T15 to the timing T16, the VR terminal 200 can detect the phase of the irradiation light L2 using the reference clock CLKs.
  • the VR terminal 200 detects the phase difference dP 12 from the detected phases of the irradiation lights L1 and L2. Then, the VR terminal 200 measures the distance E 1 to the irradiation light source 111 from the phase difference dP 12 and the known interval W between the irradiation light sources 111 and 112. VR terminal 200 after the measurement of the distance E 1 is, the irradiation light L1, detects the phase difference dP 1d of the reflected light to the irradiation light L1, on the basis of the known distance E 1 and the phase difference dP 1d, the reflected The distance Ed to the reflected light source that emits light is measured.
  • the ranging calculation unit 230 measures the distance Ed for each of the plurality of reflected light sources, and generates a depth map indicating the measurement results. Even after timing T17, a depth map is repeatedly generated at regular intervals (such as 2/15 seconds) by the same method.
  • FIG. 10 is a block diagram illustrating a configuration example of the ranging calculation unit 230 according to the first embodiment of the present technology.
  • the distance measuring unit 230 includes an image holding unit 231, an irradiation light source unit vector detection unit 232, a light source interval storage unit 233, an irradiation light phase difference detection unit 234, and a light source distance measurement unit 235.
  • the distance measurement calculation unit 230 includes a unit vector detection unit 236 for each reflected light source, a phase difference detection unit 237 between irradiation light and reflected light, and a depth map generation unit 238.
  • the image holding unit 231 holds a predetermined number of image data.
  • N frames are required to generate one depth map, at least (N ⁇ 1) frames are held (in other words, buffered).
  • the unit vector detector 232 for each irradiation light source detects a unit vector for each of the irradiation light sources 111 and 112.
  • the unit vector indicates a direction from the VR terminal 200 to the irradiation light source 111 or 112, and is a vector having a length of “1”.
  • the unit vector detection unit 232 for each irradiation light source supplies the unit vectors of the irradiation light sources 111 and 112 to the light source distance measurement unit 235.
  • the unit vector of the irradiation light source 111 is also supplied to the depth map generation unit 238.
  • the light source interval storage unit 233 stores a known interval W between the irradiation light sources 111 and 112.
  • the irradiation light phase difference detection unit 234 detects the phase difference dP 12 of light from each of the irradiation light sources 111 and 112. For example, the inter-irradiation light phase difference detection unit 234 detects the phase difference dP 1s between the light from the irradiation light source 111 and the reference clock CLKs from the light reception amounts Q1 to Q4 of the pixels corresponding to the irradiation light source 111. The irradiation light phase difference detection unit 234 detects the phase difference dP 2s between the light from the irradiation light source 112 and the reference clock CLKs from the light reception amounts Q1 to Q4 of the pixels corresponding to the irradiation light source 112. Then, the irradiation light phase difference detection unit 234 obtains the difference between these phase differences as the phase difference dP 12 and supplies it to the light source distance measurement unit 235.
  • the light source distance measuring unit 235 measures the distance E 1 to the irradiation light source 111 from the unit vector, the phase difference dP 12 and the known interval W.
  • interval W between the irradiation light sources 111 and 112 is expressed by the following expression using vectors from the VR terminal 200 to each of the irradiation light sources 111 and 112.
  • E 1 with an arrow indicates a vector from the VR terminal 200 to the irradiation light source 111
  • E 2 with an arrow indicates a vector from the VR terminal 200 to the irradiation light source 112.
  • interval W is a meter, for example.
  • R represents an angle formed by the unit vector to the irradiation light source 111 and the unit vector to the irradiation light source 112.
  • the unit of the angle R is, for example, radians.
  • the unit of distances E 1 and E 2 is, for example, meters (m).
  • E 1 and the distance E 2 can also be expressed by the following formula based on the principle of ToF.
  • E 1 c ⁇ ⁇ P (E 1 ) ⁇ P (u 1 ) ⁇ / (2 ⁇ f) Equation 8
  • E 2 c ⁇ ⁇ P (E 2 ) ⁇ P (u 2 ) ⁇ / (2 ⁇ f) Equation 9
  • c is the speed of light, and the unit is, for example, meters per second (m / s).
  • ⁇ represents a circumference ratio.
  • F is the frequency of the irradiation light, and the unit is, for example, megahertz (MHz).
  • P (E 1 ) is a phase when the irradiation light L1 emitted from the irradiation light source 111 is irradiated
  • P (u 1 ) is a phase when the irradiation light L1 is received
  • P (E 2 ) is a phase when the irradiation light L2 emitted from the irradiation light source 112 is irradiated
  • P (u 2 ) is a phase when the irradiation light L2 is received.
  • the unit of these phases is, for example, radians.
  • Equation 10 Based on the cosine theorem, if two sides are known in a triangle with three side lengths E 1 , E 2 and W according to Equations 5 and 6, the remaining one side can be calculated. W only. For this reason, the remaining E 1 and E 2 cannot be calculated only by Expression 5 and Expression 6. However, according to the ToF method, since Equation 10 is further obtained, E 1 and E 2 can be calculated by solving simultaneous equations.
  • the light source distance measurement unit 235 calculates the difference dE 12 by substituting the detected phase difference dP 12 into Equation 10, and calculates cosR by substituting the detected unit vector into Equation 7. Then, the irradiation light phase difference detection unit 234 calculates the distance E 1 by substituting the calculated difference dE 12 and cos R and the known interval W into Equation 5, and supplies the calculated distance E 1 to the depth map generation unit 238.
  • the irradiation optical phase difference detecting unit 234 instead of the distance E 1, may calculate the distance E 2 by equation 6, both of the distance E 1 and E 2 may be calculated.
  • the unit vector detection unit 236 for each reflected light source detects a unit vector for each of a predetermined number of reflected light sources that reflect the irradiation light from the irradiation light source 111.
  • the unit vector detector 236 for each reflected light source supplies each of the calculated unit vectors to the depth map generator 238.
  • the irradiation light / reflected light phase difference detection unit 237 detects, for each reflected light source, the phase difference between the reflected light from the reflected light source and the irradiated light from the irradiation light source 111.
  • the irradiation light / reflected light phase difference detection unit 237 calculates the phase difference dP 1d for each reflected light source in the same manner as the irradiation light phase difference detection unit 234 and supplies the phase difference dP 1d to the depth map generation unit 238.
  • each of the phase difference detection part 234 between irradiation light and the phase difference detection part 237 between irradiation light and reflected light is an example of the phase difference detection part as described in a claim.
  • the depth map generation unit 238 generates a depth map indicating the distance to the reflected light source for each reflected light source. Difference dD between the linear distance E 1 to the irradiation light source 111 that does not pass through the reflective light source, and the distance to the radiation source 111 through the reflected light is represented by the following equation.
  • E 1 D with an arrow is a vector indicating the direction from the irradiation light source 111 to the reflection light source.
  • D is a linear distance from the VR terminal 200 to the reflected light source, and the unit is, for example, meters (m).
  • the distance D can be expressed by the following equation.
  • D dD (dD + 2E 1 ) / ⁇ 2dD + 2E 1 (1-cosA) ⁇ Equation 12
  • A indicates an angle formed by the unit vector to the irradiation light source 111 and the unit vector to the reflection light source.
  • the unit of the angle A is, for example, radians.
  • P (u 1 ) represents a phase when receiving irradiation light from the irradiation light source 111.
  • P (uD) indicates a phase when receiving reflected light from the reflected light source.
  • the depth map generation unit 238 calculates the difference dD by substituting the detected phase difference dP 1d into Equation 14, and calculates cosA by substituting the detection vector into Equation 13.
  • the depth map generating unit 238, a difference dD and cosA calculated, and a known distance E 1 are substituted into Equation 12 to calculate the distance D.
  • the depth map generation unit 238 calculates the distance D for each irradiation light source, generates a depth map, and supplies the depth map to the terminal control unit 250.
  • Each of the light source distance measuring unit 235 and the depth map generating unit 238 is an example of a distance measuring unit described in the claims.
  • the light source distance measurement unit 235 performs the calculation by setting the phases P (E 1 ) and P (E 2 ) at the time of irradiation to the same value (that is, the phase difference is “0”). May be different values. However, the phase difference is assumed to be known. When the phase difference is not “0”, the calculation may be performed by using an expression obtained by adding or subtracting the phase difference from dP 12 of Expression 10.
  • FIG. 11 is a diagram for describing a unit vector detection method according to the first embodiment of the present technology.
  • it is possible to estimate at which coordinates in an image a certain point on a three-dimensional image is projected by obtaining parameters specific to the camera (such as the VR terminal 200) or the imaging lens 220 in advance.
  • Coordinates of the point P by an internal parameter matrix can be converted into the coordinate of the corresponding point U P. Conversely, when the coordinates of the point U P is given, it is impossible to determine the position of the point P by an internal parameter matrix. However, since the straight line to the point P along the direction of the point U p is located from the optical center 510, VR terminal 200, based on the coordinates of the point U P, the direction from the optical center 510 to the point P The indicated unit vector can be detected.
  • FIG. 12 is a diagram illustrating an example of image data according to the first embodiment of the present technology.
  • a in the same figure shows an example of the image data 501 imaged in the period when only the irradiation light source 111 is emitting light.
  • b in the figure shows an example of image data 502 captured during a period in which only the irradiation light source 112 emits light.
  • the VR terminal 200 extracts, for example, a pixel having the highest luminance in the image data as a pixel that has received the irradiation light source (111 or 112). Then, the VR terminal 200 detects a unit vector from the extracted pixel coordinates to the irradiation light source.
  • Figure 13 is a diagram for explaining a method of measuring the distance E 1 to the irradiation light source 111 according to the first embodiment of the present technology.
  • the ranging module 210 captures image data when the irradiation light source 111 emits light, and detects a unit vector indicating the direction to the irradiation light source 111 from the coordinates of the irradiation light source 111 in the image data. Then, the distance measuring module 210 detects a unit vector for the irradiation light source 112 by the same method.
  • the distance measuring module 210 detects the phase difference dP 12 of the light from each of the irradiation light sources 111 and 112 using Equation 1. Then, the distance measuring module 210 measures the distance E 1 to the irradiation light source 111 by substituting the detected unit vector and phase difference dP 12 and the known interval W into the above-described Expression 5, Expression 7 and Expression 10. To do.
  • VR terminal 200 has to measure the distance E 1 from the phase difference of the light from the illumination light source 111 and 112, the distance E 1 may be measured using other methods.
  • the distance E 1 may be measured using other methods.
  • to fix the position of devices ranging module 210 is provided, in advance, may be configured to be measuring the distance E 1 by a separate measuring instrument. In this case, by using the known distance E 1, the depth map is generated.
  • the VR terminal 200 measures the distance based on the phase difference of light based on the principle of the ToF method, but measures the distance based on the principle of Flash LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging). May be.
  • phase information is converted into light transmission time, and further converted into distance information to obtain the distance.
  • the light transmission time can be directly measured.
  • the VR terminal 200 cannot measure the distance when an external light source (such as the illumination light sources 111 and 112) is not reflected in the image data. However, even in such a case, the VR terminal 200 may buffer a predetermined number of image data and estimate the current position of the external light source from the position of the past external light source in the image data.
  • an external light source such as the illumination light sources 111 and 112
  • the VR terminal 200 may perform self-position estimation simultaneously with the generation of the depth map. Such processing is called SLAM (Simultaneous Localization and Mapping).
  • SLAM Simultaneous Localization and Mapping
  • the VR terminal 200 may store, for example, the spatial coordinates of the irradiation light sources 111 and 112 in advance and estimate the self position from the direction and distance to the light sources.
  • FIG. 14 is a diagram for explaining a method of measuring the distance D to the object in the first embodiment of the present technology.
  • the distance measuring module 210 captures image data when the irradiation light source 111 emits light, and detects a unit vector indicating the direction to the reflected light source from the coordinates of the reflected light source 400 in the image data.
  • the distance measuring module 210 detects the phase difference dP 1d of the light from each of the irradiation light source 111 and the reflection light source using Expression 1. Then, the ranging module 210 substitutes the detected unit vector and phase difference dP 1d and the calculated known distance E 1 into the above-described equations 12 to 14, and the distance to the reflected light source (object) 400 Measure D.
  • both the irradiation light of the irradiation light source 111 and the irradiation light of the irradiation light source 112 are reflected by the object. For this reason, it is necessary to calculate the distance D using the superposed light as reflected light. As a result, the calculation of the distance D becomes complicated as compared with the case where only one irradiation light source is turned on. Therefore, from the viewpoint of simplifying the calculation of the distance D, the external device 110 turns on the irradiation light sources 111 and 112 alternately.
  • the illumination light sources 111 and 112 may be turned on at the same time.
  • a pair of external light sources may be turned on simultaneously, for example, a pair of ceiling lights may be used instead of the irradiation light sources 111 and 112.
  • the distance measuring module 210 pays attention to a pair of external light sources such as a reflection light source and an irradiation light source, and detects a phase difference of light from those external light sources. Then, if any one of the distance W between the pair of external light sources and the distance to one side (such as E1) is known, the distance measuring module 210 can determine from the known data and the detected phase difference to the other. Distance (E 1 or E 2 ) can be measured. In the example of FIG. 13, the two external light sources are both irradiation light sources, and the distance (E 1 or E 2 ) to any one of these irradiation light sources is measured based on the interval W that is known data. .
  • the distances E 1 and E 2 in FIG. 13 are examples of “distance to the other” in the claims.
  • one of the two external light sources is an irradiation light source
  • the other is a reflection light source
  • the other is based on the distance (E 1 or E 2 ) to one (irradiation light source) that is known data.
  • the distance D to (reflective light source) is measured.
  • the distance D in FIG. 14 is an example of the “distance to the other” in the claims.
  • the VR terminal 200 measures the distance using the phase difference of the light from the external light source, it is not necessary to provide a light emitting element such as a light emitting diode inside. Thereby, the power consumption for supplying to the light emitting element can be reduced. Furthermore, compared to a general ToF method that irradiates an object with irradiated light and receives reflected light, the light does not need to reciprocate, and light that directly reaches the camera from the light source is absorbed by the object. In other words, the amount of received light increases. Thereby, compared with the system which receives reflected light, ranging accuracy can be made high.
  • FIG. 15 is a flowchart illustrating an example of the operation of the distance measuring module 210 according to the first embodiment of the present technology. This operation is started, for example, when the VR terminal 200 is turned on or when a predetermined application for processing the depth map is executed.
  • Ranging module 210 first executes the light source distance measurement process for measuring the distance E 1 to the irradiation source 111 (step S910). Then, the ranging module 210 pays attention to any of a predetermined number of pixels to be measured.
  • the ranging module 210 detects a unit vector for the object shown in the target pixel (step S901). In addition, the distance measuring module 210 detects a phase difference between the irradiation light and the reflected light reflected by the object (step S902).
  • distance measurement module 210 measures the distance D to the object (step S903).
  • the ranging module 210 determines whether or not all the pixels to be measured have been measured (step S904). When all the pixels have not been measured (step S904: No), the ranging module 210 repeatedly executes step S901 and subsequent steps. On the other hand, when all the pixels to be measured are measured (step S904: Yes), the ranging module 210 repeatedly executes step S910 and subsequent steps.
  • FIG. 16 is a flowchart illustrating an example of a light source distance measurement process according to the first embodiment of the present technology.
  • the ranging module 210 detects the unit vectors of the two irradiation light sources (111 and 112, etc.) (step S911). Further, the distance measuring module 210 detects the phase difference between the irradiation lights of the two irradiation light sources (step S912). Then, the distance measurement module 210 measures a distance (E 1 or the like) to any one of the irradiation light sources from the detected unit vector and phase difference and the known interval W (step S913). After step S913, the distance measuring module 210 ends the light source distance calculation process.
  • the VR terminal 200 uses the phase difference of the light from the pair of external light sources such as the irradiation light sources 111 and 112, the irradiation light source 111, and the reflection light source, Since the distance to one side is measured, it is not necessary to provide a light emitting element inside. Thereby, the power consumption for supplying to the light emitting element can be reduced.
  • the VR terminal 200 measures the distance E 1 to the irradiation light source 111 from the phase difference between the irradiation light sources 111 and 112 that are alternately turned on.
  • the distances from the projection points of a plurality of external light sources whose spatial coordinates are known can be measured.
  • the VR terminal 200 according to the first modification of the first embodiment differs from the first embodiment in that the distance from the projection points of a plurality of external light sources to the light sources is measured.
  • FIG. 17 is an overall view illustrating an example of a distance measuring system according to the first modification of the first embodiment of the present technology.
  • the distance measuring system according to the first modification of the first embodiment is the first in that the ceiling lights 131 to 134 are used as external light sources instead of the irradiation light sources 111 and 112 provided in the external device 110. Different from the embodiment.
  • the ceiling lights 131 to 134 are arranged at four vertices of a predetermined square.
  • the spatial coordinates of these illuminations are stored in advance in the VR terminal 200.
  • the VR terminal 200 performs distance measurement using the spatial coordinates. Note that the figure having the ceiling lights 131 to 134 as apexes is not limited to a square, and may be a rectangle or a trapezoid.
  • FIG. 18 is a diagram for describing a distance measuring method according to the first modification of the first embodiment of the present technology.
  • the ceiling lights 131 to 134 are projected onto projection points u 1 to u 4 on a predetermined imaging plane. While the positions of the ceiling lights 131 to 134 do not change, the position and posture of the VR terminal 200 can change. For this reason, the plane coordinates of the projection points u 1 to u 4 change according to the position and orientation of the VR terminal 200. Since there is a certain relationship between the coordinates of the projection points u 1 to u 4 and the position and orientation, VR can be obtained by inputting the plane coordinates of the projection points u 1 to u 4 to a function indicating the relationship.
  • the terminal 200 can calculate its own position and orientation. If the position of the VR terminal 200 is calculated, since the positions of the ceiling lights 131 to 134 are fixed, the VR terminal 200 can calculate the distance from the position of the VR terminal 200 to the lights.
  • the problem of obtaining the position and orientation of the camera (VR terminal 200) from known spatial points (ceiling lighting 131 to 134, etc.) and their projection points is a PnP (Perspective-n-Pont) problem. be called.
  • the PnP problem is described in, for example, “Masatoshi Okutomi,“ Digital Image Processing ”, revised new edition, Association for Promotion of Image Information Education, March 2006, p328-331.
  • the VR terminal 200 uses the projection points of the ceiling lights 131 to 134. However, if the position is an external light source whose position is known, the projection points of light sources other than the ceiling illumination can be used.
  • FIG. 19 is a block diagram illustrating a configuration example of the distance measurement calculation unit 230 according to the first modification of the first embodiment of the present technology.
  • the distance calculation unit 230 of the first modification of the first embodiment includes a unit vector detection unit 232 for each irradiation light source, a light source interval storage unit 233, a phase difference detection unit 234 between irradiation lights, and a light source distance measurement unit 235. Not equipped.
  • the ranging calculation unit 230 includes a spatial coordinate storage unit 241 and a light source distance measurement unit 242 instead of them.
  • the spatial coordinate storage unit 241 stores the spatial coordinates of the ceiling lights 131 to 134.
  • the light source distance measuring unit 242 acquires the plane coordinates of the projection points of the ceiling lights 131 to 134 from the image data. Then, the light source distance measurement unit 242 solves the PnP problem and calculates the position of the VR terminal 200, and a unit vector indicating a direction from the position to any one of the ceiling lights 131 to 134 (ceiling lights 131 and the like) determining the distance E 1 to the illumination.
  • the light source distance measurement unit 242 supplies the unit vector and the distance E 1 to the depth map generation unit 238.
  • the VR terminal 200 measures the distance to the illumination from the coordinates of the projection points of the plurality of ceiling illuminations. Ranging can be performed even when there is no illumination light source 111 and 112 to be turned on.
  • the ranging module 210 is provided in the VR terminal 200, but the ranging module 210 may be provided in a device or device other than the VR terminal 200.
  • the ranging module 210 may be provided in an unmanned aerial vehicle (so-called drone).
  • drone unmanned aerial vehicle
  • the distance measuring system according to the second modification of the first embodiment is different from the first embodiment in that a distance measuring module 210 is provided in an unmanned aircraft.
  • FIG. 20 is an overall view illustrating a configuration example of a ranging system according to the second modification example of the first embodiment of the present technology.
  • This distance measuring system includes a plurality of unmanned aircraft 201.
  • Each unmanned aircraft 201 includes light emitting units 271 and 272 and a ranging module 210.
  • the light emitting units 271 and 272 are fixed at specific positions of the unmanned aircraft 201, and the distance W between them is constant.
  • the distance measuring module 210 is omitted in the figure.
  • Each unmanned aircraft 201 detects the phase difference of light from each of the light emitting units 271 and 272 of the other unmanned aircraft 201, and the distance E to the light emitting unit 271 is detected by the same method as in the first embodiment. 1 is measured. Unmanned aircraft 201 on the basis of the measured distance E 1 performs flight control, such as keeping the distance therebetween constant.
  • each unmanned aerial vehicle 201 includes light emitting units 271 and 272 in its own aircraft, but using the received light amount of irradiation light from other aircraft instead of the reflected light with respect to the irradiation light emitted by itself. Measure distance. Compared with a general ToF system that irradiates irradiated light and receives reflected light, light does not need to reciprocate and light is not absorbed by an object, so the light emission amount of the light emitting units 271 and 272 is reduced. be able to. Therefore, the power consumption of the unmanned aerial vehicle 201 can be reduced by the amount of light emission. Further, if the light emission amount is constant, the light reception amount becomes larger than that in the case where the reflected light is received, so that the ranging accuracy can be improved.
  • FIG. 21 is a block diagram illustrating a configuration example of the unmanned aerial vehicle 201 according to the second modification example of the first embodiment of the present technology.
  • This unmanned aerial vehicle 201 includes a distance measuring module 210, a body control unit 251, and light emitting units 271 and 272.
  • the distance measuring module 210 measures the distance E 1 to the light emitting unit 271 of another body, not the own device, and supplies it to the body control unit 251.
  • the body control unit 251 controls the entire unmanned aircraft 201.
  • the machine control unit 251 supplies the reference clock CLKs to the light emitting units 271 and 272 and the solid-state imaging device 300.
  • the distance E 1 performs control so as to approach a constant value. With this control, a plurality of unmanned aircraft 210 can fly while maintaining a constant distance from each other.
  • the light emitting units 271 and 272 emit light in synchronization with the reference clock CLKs.
  • FIG. 22 is a block diagram illustrating a configuration example of the distance measurement calculation unit 230 in the second modification example of the first embodiment of the present technology.
  • the distance measurement calculation unit 230 of the second modification of the first embodiment does not include the unit vector detection unit 236 for each reflected light source, the phase difference detection unit 237 between irradiation light and reflected light, and the depth map generation unit 238. This is different from the first embodiment.
  • the unmanned aircraft 201 detects the phase difference of the light from the light emitting units 271 and 272 of the wing aircraft, and thus a plurality of unmanned aircraft 201 Can measure the distance to each other.
  • the VR terminal 200 performs distance measurement using the phase difference of light from each of a plurality of point light sources (irradiation light sources 111 and 112, etc.). If is not located near the object to be measured, distance measurement cannot be performed. Even in this case, if a linear light source such as a fluorescent lamp is disposed in the room in advance, the VR terminal 200 can perform distance measurement using the phase difference of the light from the linear light source. . For example, even if there is no external device 110 having a point light source in the room, there are many illumination light sources in the room. Therefore, if the illumination light source can be used as an external light source, the VR terminal 200 performs distance measurement. Can do.
  • the VR terminal 200 according to the second embodiment is different from the first embodiment in that distance measurement is performed using a phase difference of light from a line light source.
  • FIG. 23 is a diagram illustrating an example of the line light source 120 according to the second embodiment of the present technology.
  • the line light source 120 for example, a fluorescent light source or a linear light emitting diode is assumed.
  • the entire line light source 120 blinks at a constant frequency. Therefore, the phase difference at the time of irradiation of irradiation light from each of the points on the line light source 120 is “0”.
  • the width W of the line light source 120 is stored in advance in the VR terminal 200 as known data.
  • the distance measuring module 210 focuses on the point 121, the light from the point 121 is condensed at one point on the solid-state imaging device 300 by the imaging lens 220 and mixed with the light from other points. No. Therefore, any two points on the line light source 120 can be treated as separate irradiation light sources, and the VR terminal 200 can measure the distances to these light sources by the same method as in the first embodiment. it can.
  • FIG. 24 is a diagram for describing a method for measuring the distance to the irradiation light source according to the second embodiment of the present technology.
  • the VR terminal 200 measures the distance to these light sources using both ends of the line light source 120 as irradiation light sources. First, the VR terminal 200 detects a phase difference of light from these irradiation light sources, and detects a unit vector for each of the irradiation light sources. Then, the VR terminal 200 measures the distance to one of both ends based on the detected phase difference and unit vector, and the known width W.
  • the VR terminal 200 focuses on both ends of the line light source 120 and detects the phase difference of the irradiated light, but may focus on two points other than both ends.
  • the VR terminal 200 may focus on two points on a light source of another shape such as a surface light source, a spherical light source, a ring light source, or a disk light source instead of the line light source 120.
  • FIG. 25 is a diagram for describing a method for measuring a distance to an object according to the second embodiment of the present technology.
  • the reflection point receives light from each of a plurality of points on the line light source 120. Since the distance from the reflection point to each point on the line light source 120 is different, the phase of the reflected light is not always a value that is simply proportional to the distance from the line light source 120.
  • the VR terminal 200 detects a unit vector for each of a plurality of points on the line light source 120. Moreover, the VR terminal 200 measures the phase of the irradiation light from the point for every point.
  • an axis along the line light source 120 is an X axis, and two axes orthogonal to the X axis are a Y axis and a Z axis.
  • the Y axis and the Z axis are arbitrary. However, there is no problem because the phase of the irradiation light is also rotationally symmetric.
  • the directions of the axes of the coordinate system of the light source and the coordinate system of the camera (VR terminal 200) are different. However, for the convenience of explanation, they are assumed to be the same. Even if the directions of the axes of each coordinate system are different, if the attitude of the line light source 120 viewed from the VR terminal 200 is known, it is possible to easily convert one axis to the other.
  • the reflected light is expressed by the following equation by superimposing the light reaching from each point on the line light source 120.
  • t is time
  • the unit is, for example, second (s).
  • D with an arrow indicates a vector from the VR terminal 200 to the reflection point.
  • the left side is the reflected light at the reflection point at time t.
  • the right side is a result of integrating light from each point on the line light source 120.
  • the phase of the reflected light can be expressed by the following equation.
  • the left side is the phase of the reflected light at the reflection point D.
  • PE is the phase of light from the center of the line light source 120.
  • the unit of these phases is, for example, radians.
  • G () is a function representing the relationship between the position of the reflection point from the center of the line light source 120 and the phase difference between the reflected light and the irradiated light. This function g () is obtained in advance by, for example, a value actually measured by some calibration. Alternatively, the function g () may be obtained theoretically.
  • the phase P (u c ) at the time of receiving the irradiation light from the center of the line light source 120 is expressed by the following equation.
  • P (u c ) P Ec ⁇ (2 ⁇ f / c) ⁇ Ec Equation 17
  • Ec is the distance to the center of the line light source 120, and the unit is, for example, meters (m).
  • the coordinates of Ec are obtained from the distance E1 to one end of the line light source 120 and each unit vector.
  • P Ec is a phase at the time of irradiation of irradiation light from the center of the line light source 120, and its unit is, for example, radians.
  • phase when the reflected light is received is expressed by the following equation.
  • D with an arrow is a vector indicating the direction to the reflection point, and this vector can be replaced with a value obtained by multiplying the unit vector in that direction by the distance D.
  • Formula 20 can be replaced with the following formula.
  • d with an arrow indicates a unit vector in the direction to the reflection point.
  • the VR terminal 200 detects a unit vector for each of the center of the line light source 120 and the reflection point, and also detects a phase difference when the irradiation light and the reflection light are received. Then, the VR terminal 200 calculates the distance D to the reflection point by substituting the unit vector and the phase difference and the known distance Ec into Expression 21.
  • the VR terminal 200 measures the distance to the both ends of the line light source 120 based on the phase difference of the lights from the both ends. Even if it is not, distance measurement can be performed. For example, even if the external device 110 having a point light source is not in a room, the VR terminal 200 can perform distance measurement using the linear light source 120 shaped like a fluorescent lamp.
  • IoT Internet of things
  • IoT Internet of Things
  • IoT devices 9100 which are “things”, are connected to other IoT devices 9003, the Internet, the cloud 9005, and the like and control each other by exchanging information.
  • IoT can be used in various industries such as agriculture, homes, automobiles, manufacturing, distribution, and energy.
  • FIG. 26 is a diagram illustrating an example of a schematic configuration of an IoT system 9000 to which the technology according to the present disclosure can be applied.
  • the IoT device 9001 includes various sensors such as a temperature sensor, a humidity sensor, an illuminance sensor, an acceleration sensor, a distance sensor, an image sensor, a gas sensor, and a human sensor. Further, the IoT device 9001 may include a terminal such as a smartphone, a mobile phone, a wearable terminal, or a game device. The IoT device 9001 is powered by an AC power source, a DC power source, a battery, non-contact power feeding, so-called energy harvesting, or the like. The IoT device 9001 can communicate by wired, wireless, proximity wireless communication, and the like.
  • 3G / LTE, WiFi, IEEE 802.15.4, Bluetooth, Zigbee (registered trademark), Z-Wave, or the like is preferably used.
  • the IoT device 9001 may perform communication by switching a plurality of these communication means.
  • the IoT device 9001 may form a one-to-one, star, tree, or mesh network.
  • the IoT device 9001 may be connected to an external cloud 9005 directly or through a gateway 9002.
  • An address is assigned to the IoT device 9001 by IPv4, IPv6, 6LoWPAN, or the like.
  • Data collected from the IoT device 9001 is transmitted to other IoT devices 9003, a server 9004, a cloud 9005, and the like.
  • the timing and frequency at which data is transmitted from the IoT device 9001 are suitably adjusted, and the data may be compressed and transmitted.
  • Such data may be used as it is, or the data may be analyzed by the computer 9008 by various means such as statistical analysis, machine learning, data mining, cluster analysis, discriminant analysis, combination analysis, and time series analysis.
  • various services such as control, warning, monitoring, visualization, automation, and optimization can be provided.
  • IoT device 9001 at home includes washing machine, dryer, dryer, microwave oven, dishwasher, refrigerator, oven, rice cooker, cooking utensil, gas appliance, fire alarm, thermostat, air conditioner, TV, recorder, audio, Lighting equipment, water heaters, water heaters, vacuum cleaners, fans, air purifiers, security cameras, locks, door / shutter opening / closing devices, sprinklers, toilets, thermometers, scales, blood pressure monitors, etc. are included. Further, the IoT device 9001 may include a solar cell, a fuel cell, a storage battery, a gas meter, a power meter, and a distribution board.
  • the communication method of the IoT device 9001 at home is preferably a low power consumption type communication method. Further, the IoT device 9001 may communicate by WiFi indoors and by 3G / LTE outdoors.
  • An external server 9006 for IoT device control may be installed on the cloud 9005 to control the IoT device 9001.
  • the IoT device 9001 transmits data such as the status of household devices, temperature, humidity, power consumption, presence / absence of people / animals inside and outside the house. Data transmitted from the home device is stored in the external server 9006 through the cloud 9005. A new service is provided based on such data.
  • Such an IoT device 9001 can be controlled by voice by using voice recognition technology.
  • the status of various household devices can be visualized by sending information directly from various household devices to the TV.
  • various sensors determine the presence or absence of a resident and send the data to an air conditioner, lighting, etc., so that their power can be turned on / off.
  • advertisements can be displayed on the display provided for various household devices through the Internet.
  • the technology according to the present disclosure can be suitably applied to a distance measuring sensor in the IoT device 9001 among the configurations described above.
  • the power consumption of the IoT device 9001 can be reduced.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be any type of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). You may implement
  • FIG. 27 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, a vehicle exterior information detection unit 7400, a vehicle interior information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 7610 As a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 28 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 28 shows an example of the shooting range of each of the imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • a computer program for realizing each function of the distance measuring module 210 according to the present embodiment described with reference to FIG. 2 can be implemented in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.
  • the distance measuring module 210 can be applied to the integrated control unit 7600 of the application example illustrated in FIG.
  • the distance measuring module 210 corresponds to the vehicle outside information detection unit 7400 of the integrated control unit 7600.
  • a pair of external light sources can be used as tail lamps for other vehicles, and the vehicle outside information detection unit 7400 (ranging module 200) can measure the distance to these tail lamps as the inter-vehicle distance.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • a phase difference detection unit that detects a phase difference of light from each of a pair of external light sources; One of the distance to one of the pair of external light sources and the interval between the pair of external light sources is acquired as known data, and the distance to the other of the pair of external light sources is determined based on the known data and the phase difference.
  • a distance measuring device comprising a distance measuring unit for measurement.
  • Each of the pair of external light sources is an irradiation light source that emits irradiation light, The distance measuring device according to (1), wherein the distance measuring unit acquires an interval between the pair of external light sources as the known data.
  • the distance measuring device further including a pair of light emitting units that emit irradiation light.
  • the distance measuring device further including a pair of light emitting units that emit irradiation light.
  • the pair of external light sources are arranged at predetermined positions on a line light source.
  • the one of the pair of external light sources is an irradiation light source that emits irradiation light, and the other is a reflection light source that reflects the irradiation light,
  • the distance measuring device acquires a distance to the one of the pair of external light sources as the known data.
  • the irradiation light source includes a pair of irradiation light sources that are alternately turned on, The distance measuring device according to (5), wherein the distance measuring unit acquires a distance to one of the pair of irradiation light sources based on an interval between the pair of irradiation light sources. (7) The distance measuring unit acquires the plane coordinates of the projection points obtained by projecting each of the plurality of spatial points whose known three-dimensional coordinates are on a predetermined imaging plane, and acquires the known data from the plane coordinates ( 5) The distance measuring device according to the above.
  • the distance measuring unit detects a unit vector indicating a direction to each of a pair of external light sources, and measures the distance to the other based on the unit vector, the known data, and the phase difference.
  • the distance measuring device according to any one of 1) to (7).
  • the phase difference detection unit and the distance measurement unit are mounted on a vehicle.
  • the pair of external light sources are tail lamps of other vehicles different from the vehicle,
  • the distance measuring device according to any one of (1) to (8), wherein the distance measuring unit measures an inter-vehicle distance between the vehicle and the other vehicle.
  • phase difference detection unit that detects a phase difference of light from each of the pair of external light sources; One of the distance to one of the pair of external light sources and the interval between the pair of external light sources is acquired as known data, and the distance to the other of the pair of external light sources is determined based on the known data and the phase difference.
  • An electronic apparatus comprising: a control unit that displays predetermined information on a display unit based on the measured distance.
  • a distance measuring apparatus control method comprising:

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

光の位相差から距離を測定する装置において、消費電力を低減する。　測距装置は、位相差検出部、および、測距部を具備する。この測距装置において、位相差検出部は、一対の外部光源のそれぞれからの光の位相差を検出する。また、測距装置において、測距部は、一対の外部光源の一方までの距離と一対の外部光源の間隔とのいずれかを既知データとして取得して既知データおよび位相差に基づいて一対の外部光源の他方までの距離を測定する。

Description

測距装置、電子装置、および、測距装置の制御方法
　本技術は、測距装置、電子装置、および、測距装置の制御方法に関する。詳しくは、光の位相差から距離を測定する測距装置、電子装置、および、測距装置の制御方法に関する。
　従来より、測距機能を持つ装置や機器において、ＴｏＦ（Time of Flight）方式と呼ばれる測距方式がよく用いられている。このＴｏＦ方式は、サイン波や矩形波の照射光を装置から物体に照射し、その物体からの反射光を装置が受光して、照射光と反射光との位相差から距離を測定する方式である。例えば、アレイ状に配置した複数の受光素子により反射光を受光してＴｏＦ方式により測距する装置が提案されている（例えば、非特許文献１参照。）。
特表２０１３－５１９０９２号公報
　上述の従来技術では、アレイ状の受光素子により、複数の物体のそれぞれまでの距離を測定してデプスマップを生成することができる。しかしながら、物体までの距離が遠い場合や、物体の反射率が低い場合には、反射光の光量が少なくなって測距精度が低下してしまう。そのような場合に測距精度を維持するには、照射光の光量を大きくする必要があり、その照射光を照射する装置の消費電力が増大してしまうという問題がある。特に、バッテリで動作するモバイル機器において、消費電力の増大はデメリットが大きく、対策が必要となる。
　本技術はこのような状況に鑑みて生み出されたものであり、光の位相差から距離を測定する装置において、消費電力を低減することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、一対の外部光源のそれぞれからの光の位相差を検出する位相差検出部と、上記一対の外部光源の一方までの距離と上記一対の外部光源の間隔とのいずれかを既知データとして取得して上記既知データおよび上記位相差に基づいて上記一対の外部光源の他方までの距離を測定する測距部とを具備する測距装置、および、その制御方法である。これにより、既知データおよび位相差に基づいて一対の外部光源の他方までの距離が測定されるという作用をもたらす。
　また、この第１の側面において、上記一対の外部光源は、いずれも照射光を発する照射光源であり、上記測距部は、上記一対の外部光源の間隔を上記既知データとして取得してもよい。これにより、一対の外部光源の間隔と位相差とに基づいて一対の外部光源の他方までの距離が測定されるという作用をもたらす。
　また、この第１の側面において、照射光を発する一対の発光部をさらに具備してもよい。これにより、発光部を備える測距装置の外部の外部光源までの距離が測定されるという作用をもたらす。
　また、この第１の側面において、上記一対の外部光源は、線光源上の所定の位置に配置されてもよい。これにより、線光源上の所定の位置までの距離が測定されるという作用をもたらす。
　また、この第１の側面において、上記一対の外部光源の上記一方は照射光を発する照射光源であり、上記他方は上記照射光を反射する反射光源であり、上記測距部は、上記一対の外部光源の上記一方までの距離を上記既知データとして取得してもよい。これにより、一対の外部光源の上記一方までの距離と位相差とに基づいて一対の外部光源の他方までの距離が測定されるという作用をもたらす。
　また、この第１の側面において、上記照射光源は、交互に点灯する一対の照射光源を含み、上記測距部は、上記一対の照射光源の間の間隔に基づいて上記一対の照射光源の一方までの距離を取得してもよい。これにより、交互に点灯する一対の照射光源の間の間隔に基づいて上記一対の照射光源の一方までの距離が取得されるという作用をもたらす。
　また、この第１の側面において、上記測距部は、三次元座標が既知の複数の空間点のそれぞれを所定の撮像平面に投影した投影点の平面座標を取得して当該平面座標から上記既知データを取得してもよい。これにより、投影点の平面座標から既知データが取得されるという作用をもたらす。
　また、この第１の側面において、上記測距部は、一対の外部光源のそれぞれまでの方向を示す単位ベクトルを検出し、当該単位ベクトルと上記既知データと上記位相差に基づいて上記他方までの距離を測定してもよい。これにより、単位ベクトルと既知データと位相差に基づいて他方までの距離が測定されるという作用をもたらす。
　また、この第１の側面において、上記位相差検出部および上記測距部は、車両に搭載され、上記一対の外部光源は、上記車両とは異なる他車両のテールランプであり、上記測距部は、上記車両と上記他車両との車間距離を測定してもよい。これにより、既知データおよび位相差に基づいて車間距離が測定されるという作用をもたらす。
　また、本技術の第２の側面は、一対の外部光源のそれぞれからの光の位相差を検出する位相差検出部と、上記一対の外部光源の一方までの距離と上記一対の外部光源の間隔とのいずれかを既知データとして取得して上記既知データおよび上記位相差に基づいて上記一対の外部光源の他方までの距離を測定する測距部と、上記測定された距離に基づいて所定の情報を表示部に表示させる制御部とを具備する電子装置である。これにより、既知データおよび位相差に基づいて一対の外部光源の他方までの距離が測定され、その距離に基づいて所定の情報が表示されるという作用をもたらす。
　本技術によれば、光の位相差から距離を測定する装置において、消費電力を低減することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における測距システムの一例を示す全体図である。 本技術の第１の実施の形態におけるＶＲ（Virtual Reality）端末の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素回路の一構成例を示す回路図である。 本技術の第１の実施の形態におけるＱ１Ｑ２検出期間の固体撮像素子の同債の一例を示すタイミングチャートである。 本技術の第１の実施の形態におけるＱ３Ｑ４検出期間の固体撮像素子の同債の一例を示すタイミングチャートである。 本技術の第１の実施の形態における位相差の検出方法を説明するための図である。 本技術の第１の実施の形態における画素データの一例を示す図である。 本技術の第１の実施の形態における照射光源および固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における測距演算部の一構成例を示すブロック図である。 本技術の第１の実施の形態における単位ベクトルの検出方法を説明するための図である。 本技術の第１の実施の形態における画像データの一例を示す図である。 本技術の第１の実施の形態における照射光源までの距離の測定方法を説明するための図である。 本技術の第１の実施の形態における物体までの距離の測定方法を説明するための図である。 本技術の第１の実施の形態における測距モジュールの動作の一例を示すフローチャートである。 本技術の第１の実施の形態における光源距離演算処理の一例を示すフローチャートである。 本技術の第１の実施の形態の第１の変形例における測距システムの一例を示す全体図である。 本技術の第１の実施の形態の第１の変形例における測距方法を説明するための図である。 本技術の第１の実施の形態の第１の変形例における測距演算部の一構成例を示すブロック図である。 本技術の第１の実施の形態の第２の変形例における測距システムの一構成例を示す全体図である。 本技術の第１の実施の形態の第２の変形例における無人航空機の一構成例を示すブロック図である。 本技術の第１の実施の形態の第２の変形例における測距演算部の一構成例を示すブロック図である。 本技術の第２の実施の形態における線光源の一例を示す図である。 本技術の第２の実施の形態における照射光源までの距離の測定方法を説明するための図である。 本技術の第２の実施の形態における物体までの距離の測定方法を説明するための図である。 ＩｏＴシステム９０００の概略的な構成の一例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（一対の外部光源からの光の位相差を検出して測距する例）
　２．第２の実施の形態（線光源上の一対の外部光源からの光の位相差を検出して測距する例）
　＜１．第１の実施の形態＞
　［測距システムの構成例］
　図１は、本技術の第１の実施の形態における測距システムの一例を示す全体図である。この測距システムは、周囲の物体５００までの距離を測定するためのシステムであり、外部機器１１０とＶＲ端末２００とを備える。
　外部機器１１０は、室内に設置された機器であり、照射光を発する照射光源１１１および１１２を備える。外部機器１１０としては、チューナ、レコーダやＴｏＦカメラなどの様々な家電製品が想定される。これらの照射光源１１１および１１２は、外部機器１１０の特定の位置に設けられた点光源であり、所定の周波数（２０メガヘルツなど）の共通の同期信号に同期して、例えば、パルス光を照射光として発する。この照射光は、ユーザの周囲に存在する様々な物体５００の表面で反射する。その反射した箇所である反射光源や、照射光源１１１および１１２などの外部光源が、測距に用いられる。
　ＶＲ端末２００は、ユーザの周囲の物体５００のそれぞれまでの距離を示すデプスマップを生成するものである。このＶＲ端末２００は、液晶ディスプレイなどの表示部を備えたゴーグル型の機器であり、ユーザの頭部に装着される。また、ＶＲ端末２００は、生成したデプスマップに基づいて、表示部に様々な情報を表示する処理を行う。なお、ＶＲ端末２００は、特許請求の範囲に記載の電子装置の一例である。
　［ＶＲ端末の構成例］
　図２は、本技術の第１の実施の形態におけるＶＲ端末２００の一構成例を示すブロック図である。このＶＲ端末２００は、測距モジュール２１０、端末制御部２５０および表示部２６０を備える。また、測距モジュール２１０は、撮像レンズ２２０、固体撮像素子３００および測距演算部２３０を備える。なお、測距モジュール２１０は、特許請求の範囲に記載の測距装置の一例である。
　撮像レンズ２２０は、照射光源１１１および１１２からの照射光や、その照射光に対する反射光を集光して固体撮像素子３００に導くものである。
　固体撮像素子３００は、撮像レンズ２２０からの光を光電変換して画像データを生成するものである。この固体撮像素子３００には、所定の周波数の垂直同期信号ＶＳＹＮＣと、基準クロックＣＬＫｓとが入力される。垂直同期信号ＶＳＹＮＣの周波数は、照射光源１１１および１１２が照射する照射光の周波数（２０メガヘルツなど）よりも低い値（６０ヘルツなど）に設定される。また、基準クロックＣＬＫｓの周波数は、その照射光の周波数と同じ値に設定される。ただし、基準クロックＣＬＫｓは、照射光源１１１および１１２の照射光と同期しておらず、その照射光と位相が一致するとは限らない。固体撮像素子３００は、垂直同期信号ＶＳＹＮＣ等に同期して画像データを生成し、測距演算部２３０に供給する。
　測距演算部２３０は、照射光源１１１および１１２のそれぞれからの照射光の位相差ｄＰ１２を検出し、その位相差ｄＰ１２と照射光源１１１および１１２の間隔Ｗとから、照射光源１１１および１１２の少なくとも一方までの距離を測定するものである。例えば、照射光源１１１までの距離Ｅ１のみが測定される。
　また、距離Ｅ１の測定後に測距演算部２３０は、照射光源１１１からの照射光と、その照射光に対する反射光との位相差ｄＰ１ｄを検出し、既知の距離Ｅ１と位相差ｄＰ１ｄとに基づいて、その反射光を発する反射光源までの距離Ｅｄを測定する。この反射光源は、物体の表面上において、照射光が反射する反射点に該当する。すなわち、距離Ｅｄは、物体の表面の反射点までの距離を示す。測距演算部２３０は、複数の反射光源のそれぞれについて距離Ｅｄを測定し、それらの測定結果を示すデプスマップを生成して端末制御部２５０に供給する。
　端末制御部２５０は、ＶＲ端末２００全体を制御するものである。この端末制御部２５０は、デプスマップに基づいて様々な情報を表示部２６０に表示させる処理を行う。例えば、端末制御部２５０は、デプスマップの示す物体までの距離に基づいて、その物体の位置にゲームで用いるアイテムを表示させる処理を行う。なお、端末制御部２５０は、特許請求の範囲に記載の制御部の一例である。
　表示部２６０は、端末制御部２５０の制御に従って情報を表示するものである。表示部２６０として、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどが想定される。
　なお、測距モジュール２１０をＶＲ端末２００に設けているが、距離情報を用いる装置や機器であれば、ＶＲ端末２００以外に測距モジュール２１０を設けてもよい。例えば、ＴｏＦカメラや、スマートフォン、パーソナルコンピュータ、自動車などに測距モジュール２１０を設けてもよい。
　［固体撮像素子の構成例］
　図３は、本技術の第１の実施の形態における固体撮像素子３００の一構成例を示すブロック図である。この固体撮像素子３００は、行走査回路３１０と、画素アレイ部３２０と、タイミング制御部３４０と、複数のＡＤ（Analog to Digital）変換部３５０と、列走査回路３６０と、信号処理部３７０とを備える。画素アレイ部３２０には、二次元格子状に複数の画素回路３３０が配置される。以下、所定の方向に配列された画素回路３３０の集合を「行」と称し、行に垂直な方向に配列された画素回路３３０の集合を「列」と称する。前述のＡＤ変換部３５０は、列ごとに設けられる。
　タイミング制御部３４０は、垂直同期信号ＶＳＹＮＣに同期して行走査回路３１０、ＡＤ変換部３５０および列走査回路３６０を制御するものである。
　行走査回路３１０は、行を順に選択して画素信号を出力させるものである。画素回路３３０は、行走査回路３１０の制御に従って、受光量に応じたレベルの画素信号を出力するものである。
　ＡＤ変換部３５０は、対応する列からの画素信号をＡＤ変換するものである。このＡＤ変換部３５０は、列走査回路３６０の制御に従って、ＡＤ変換した画素信号を画素データとして信号処理部３７０に出力する。列走査回路３６０は、ＡＤ変換部３５０を順に選択して画素データを出力させるものである。
　信号処理部３７０は、画素データからなる画像データに対して、ＣＤＳ(Correlated Double Sampling)処理などの信号処理を行うものである。この信号処理部３７０は、信号処理後の画像データを測距演算部２３０に供給する。
　［画素回路の構成例］
　図４は、本技術の第１の実施の形態における画素回路３３０の一構成例を示すブロック図である。この画素回路３３０は、受光素子３３１と、転送スイッチ３３２と、電荷蓄積部３３３および３３４と、選択スイッチ３３５および３３６とを備える。
　受光素子３３１は、光を光電変換して電荷を生成するものである。この受光素子３３１として、例えば、フォトダイオードが用いられる。
　転送スイッチ３３２は、行走査回路３１０の制御に従って受光素子３３１を電荷蓄積部３３３、電荷蓄積部３３４およびリセット電源Ｖｒｓｔのいずれかに接続するものである。この転送スイッチ３３２は、例えば、複数のＭＯＳ（Metal-Oxide-Semiconductor）トランジスタなどにより実現される。リセット電源Ｖｒｓｔに接続された際において、ＭＯＳトランジスタのドレインから出力された電荷は破棄され、受光素子３３１の電荷が初期化される。
　電荷蓄積部３３３および３３４は、電荷を蓄積して、その蓄積量に応じた電圧を生成するものである。これらの電荷蓄積部３３３および３３４として、例えば、浮遊拡散層が用いられる。
　選択スイッチ３３５は、行走査回路３１０の制御に従って、電荷蓄積部３３３とＡＤ変換部３５０との間の線路を開閉するものである。選択スイッチ３３６は、行走査回路３１０の制御に従って、電荷蓄積部３３４とＡＤ変換部３５０との間の線路を開閉するものである。例えば、行走査回路３１０によりＦＤ読出し信号ＲＤ_ＦＤ１が供給された際に選択スイッチ３３５が閉状態に遷移し、行走査回路３１０によりＦＤ読出し信号ＲＤ_ＦＤ２が供給された際に選択スイッチ３３６が閉状態に遷移する。これらの選択スイッチ３３５および３３６のそれぞれは、例えば、ＭＯＳトランジスタなどにより実現される。
　図５は、本技術の第１の実施の形態におけるＱ１Ｑ２検出期間内の画素回路の露光制御の一例を示すタイミングチャートである。ＶＲ端末２００に測距させるための所定の操作が行われると、画素回路３３０は、受光量Ｑ１およびＱ２の検出と、受光量Ｑ３およびＱ４の検出とを交互に繰り返し行う。以下、受光量Ｑ１およびＱ２の検出期間を「Ｑ１Ｑ２検出期間」と称し、受光量Ｑ３およびＱ４の検出期間を「Ｑ３Ｑ４検出期間」と称する。また、Ｑ１Ｑ２検出期間およびＱ３Ｑ４検出期間からなる期間を「測定期間」と称する。Ｑ１Ｑ２検出期間およびＱ３Ｑ４検出期間のそれぞれの長さは、垂直同期信号ＶＳＹＮＣの周期（例えば、１／６０秒）である。
　ここで、受光量Ｑ１は、基準クロックＣＬＫｓの特定の位相（例えば、立上り）を０度として、０度から１８０度までの受光量ｑ１をＱ１Ｑ２検出期間に亘って累積したものである。基準クロックＣＬＫｓの周波数は２０メガヘルツ（ＭＨｚ）と高いため、その１周期（１／２０マイクロ秒）当たりの受光量ｑ１は非常に少なく、検出が困難である。このため、画素回路３３０は、基準クロックＣＬＫｓの周期（１／２０マイクロ秒）より長い１／６０秒などのＱ１Ｑ２検出期間に亘って、ｑ１のそれぞれを累積し、その総量を受光量Ｑ１として検出する。また、受光量Ｑ２は、１８０度から３６０度までの受光量ｑ２をＱ１Ｑ２検出期間に亘って累積したものである。
　また、受光量Ｑ３は、９０度から２７０度までの受光量ｑ３をＱ３Ｑ４検出期間に亘って累積したものである。また、受光量Ｑ４は、２７０度から９０度までの受光量ｑ４をＱ３Ｑ４検出期間に亘って累積したものである。
　これらの受光量Ｑ１、Ｑ２、Ｑ３およびＱ４を次の式に代入することにより、測距演算部２３０は、基準クロックＣＬＫｓと、受光した光との間の位相差ｄＰを算出することができる。この式の導出方法は、例えば、「Larry Li、"Time-of-Flight Camera - An Introduction"、テキサスインスツルメンツ、Technical White Paper SLOA190B January 2014 Revised May 2014」に記載されている。
　　ｄＰ＝ｔａｎ－１｛（Ｑ３－Ｑ４）／（Ｑ１－Ｑ２）｝　　・・・式１
上式においてｔａｎ－１（）は、正接関数の逆関数を示す。
　例えば、タイミングＴ１からタイミングＴ２までのＱ１Ｑ２検出期間において、その期間の受光量Ｑ１およびＱ２が検出される。まず、行走査回路３１０は、タイミングＴ１から所定のパルス期間に亘ってリセット信号ＲＳＴを全行に供給する。このリセット信号ＲＳＴにより、全行の電荷蓄積部３３３および３３４の電荷蓄積量が初期化される。また、行走査回路３１０は、ＦＤ選択信号ＳＥＬ_ＦＤにより、全行の受光素子３３１の電荷を初期化する。
　そして、行走査回路３１０は、Ｑ１Ｑ２検出期間において、基準クロックＣＬＫｓの周期内の０度から１８０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３３に転送させる。この制御により、電荷蓄積部３３３に受光量ｑ１が蓄積される。
　また、行走査回路３１０は、Ｑ１Ｑ２検出期間において、基準クロックＣＬＫｓの周期内の１８０度から３６０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３４に転送させる。この制御により、電荷蓄積部３３４に受光量ｑ２が蓄積される。
　そして、タイミングＴ２の直前のタイミングＴ１１において行走査回路３１０は、１行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給する。この制御により、１行目の受光量Ｑ１およびＱ２に応じた画素信号が読み出される。次に、行走査回路３１０は、２行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給して画素信号を読み出す。以下、同様に行走査回路３１０は、行を順に選択して画素信号を読み出す。
　このように、Ｑ１Ｑ２検出期間において画素回路３３０のそれぞれは、０度から１８０度までの受光量Ｑ１と、１８０度から３６０度までの受光量Ｑ２とを検出する。
　図６は、本技術の第１の実施の形態におけるＱ３Ｑ４検出期間内の画素回路３３０の露光制御の一例を示すタイミングチャートである。例えば、タイミングＴ２からタイミングＴ３までのＱ３Ｑ４検出期間において、その期間の受光量Ｑ３およびＱ４が検出される。まず、行走査回路３１０は、タイミングＴ２から所定のパルス期間に亘ってリセット信号ＲＳＴを全行に供給し、全行の電荷蓄積部３３３および３３４の電荷蓄積量を初期化する。また、行走査回路３１０は、ＦＤ選択信号ＳＥＬ_ＦＤにより、全行の受光素子３３１の電荷を初期化する。
　そして、行走査回路３１０は、最初の０度から９０度において、全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３４に転送させる。この制御により、電荷蓄積部３３４に受光量ｑ４が蓄積される。以降において行走査回路３１０は、基準クロックＣＬＫｓの周期内の９０度から２７０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３３に転送させる。この制御により、電荷蓄積部３３３に受光量ｑ３が蓄積される。
　また、行走査回路３１０は、Ｑ３Ｑ４検出期間において、基準クロックＣＬＫｓの周期内の２７０度から９０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３４に転送させる。この制御により、電荷蓄積部３３４に受光量ｑ４が蓄積される。
　そして、タイミングＴ３の直前のタイミングＴ２１において行走査回路３１０は、１行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給する。この制御により、１行目の受光量Ｑ３およびＱ４に応じた画素信号が読み出される。以下、同様に行走査回路３１０は、行を順に選択して画素信号を読み出す。
　このように、Ｑ３Ｑ４検出期間において画素回路３３０のそれぞれは、９０度から２７０度までの受光量Ｑ３と、２７０度か９０度までの受光量Ｑ４とを検出する。
　図７は、本技術の第１の実施の形態における位相差の検出方法を説明するための図である。画素回路３３０は、Ｑ１Ｑ２検出期間内のタイミングＴ５０（０度）からタイミングＴ５２（１８０度）までの受光量を電荷蓄積部３３３に転送する。光源（照射光源１１１および１１２など）がタイミングＴ５１で発光を開始した場合には、タイミングＴ５１からＴ５２までの受光量が受光量ｑ１として転送される。
　また、画素回路３３０は、Ｑ１Ｑ２検出期間内のタイミングＴ５２（１８０度）からタイミングＴ５４（３６０度）までの受光量を電荷蓄積部３３４に転送する。光源がタイミングＴ５３で発光を終了した場合には、タイミングＴ５２からＴ５３までの受光量が受光量ｑ２として転送される。
　そして、画素回路３３０は、Ｑ３Ｑ４検出期間内のタイミングＴ５５（９０度）からタイミングＴ５７（２７０度）までの受光量を電荷蓄積部３３３に転送する。光源がタイミングＴ５６で発光を開始した場合には、タイミングＴ５６からＴ５７までの受光量が受光量ｑ３として転送される。
　また、画素回路３３０は、Ｑ３Ｑ４検出期間内のタイミングＴ５７（２７０度）からタイミングＴ５９（９０度）までの受光量を電荷蓄積部３３４に転送する。光源がタイミングＴ５８で発光を終了した場合には、タイミングＴ５７からＴ５８までの受光量が受光量ｑ４として転送される。
　そして、Ｑ１Ｑ２検出期間内の受光量ｑ１およびｑ２の累積値が受光量Ｑ１およびＱ２として読み出され、Ｑ３Ｑ４検出期間内の受光量ｑ３およびｑ４の累積値が受光量Ｑ３およびＱ４として読み出される。このＱ１およびＱ２の差分と、Ｑ３およびＱ４の差分との比は、基準クロックＣＬＫｓと、受光した光との位相差に応じた値となる。このため、測距演算部２３０は、式１を用いて、その位相差を算出することができる。
　ここで、光源は、前述したように照射光源１１１と照射光源１１２とを含む。これらの２つの光源からの光は、画素アレイ部３２０において、別々の画素回路３３０により受光される。したがって、ＶＲ端末２００は、これらの２つの光と、基準クロックＣＬＫｓとの位相差を個別に検出することができる。照射光源１１１からの光と基準クロックＣＬＫｓとの位相差をｄＰ１ｓとし、照射光源１１２からの光と基準クロックＣＬＫｓとの位相差をｄＰ２ｓとする。これらの位相差の差分は、照射光源１１１からの光と照射光源１１２からの光との位相差ｄＰ１２に該当する。このように、ＶＲ端末２００は、基準クロックＣＬＫｓの位相を基準として用いて、照射光源１１１からの光と照射光源１１２からの光との位相差ｄＰ１２を検出することができる。
　図８は、第１の実施の形態における画像データのデータ構成の一例を示す図である。この画像データは、複数の画素データを含む。Ｑ１Ｑ２検出期間において画素データのそれぞれは、受光量Ｑ１およびＱ２を含む。一方、Ｑ３Ｑ４検出期間において画素データのそれぞれは、受光量Ｑ３およびＱ４を含む。例えば、Ｑ１Ｑ２検出期間内の座標（０，０）の画素データは、「１０」の受光量Ｑ１と「２０」の受光量Ｑ２とを含む。また、座標（０，１）の画素データは、「１０」の受光量Ｑ１と「２０」の受光量Ｑ２とを含む。
　図９は、本技術の第１の実施の形態における照射光源および固体撮像素子の動作の一例を示すタイミングチャートである。照射光源１１１が発する光を照射光Ｌ１とし、照射光源１１２が発する光を照射光Ｌ２とする。前述したように、これらの光源は、共通の同期信号に同期して発光する。このため、照射光Ｌ１およびＬ２の周波数は同一であり、照射時において位相差は０度である。ただし、ＶＲ端末２００が受光する受光時において照射光Ｌ１およびＬ２の位相差は同一とは限らない。照射光源１１１および１１２のそれぞれからＶＲ端末２００までの距離は同一とは限らないためである。また、外部機器１１０は、照射光源１１１のみを一定期間に亘って発光させる制御と、照射光源１１２のみを一定期間に亘って発光させる制御とを繰り返し行う。この一方のみを発光させる期間の長さは、測定期間より長い時間（１／１５秒など）に設定される。
　例えば、タイミングＴ１０からタイミングＴ１２までの測定期間内のタイミングＴ１１において照射光Ｌ１の発光が開始される。そして、タイミングＴ１２からタイミングＴ１３までの次の測定期間の直後のタイミングＴ１４において、照射光Ｌ１が消灯し、照射光Ｌ２の発光が開始される。そして、タイミングＴ１３からタイミングＴ１５までの測定期間と、タイミングＴ１５からタイミングＴ１６までの測定期間とが経過したタイミングＴ１７において、照射光Ｌ２が消灯し、照射光Ｌ１の発光が開始される。
　このように、照射光源１１１および１１２を交互に発光させるのは、デプスマップの生成において計算量が低減するためである。計算量が低減する理由については後述する。
　タイミングＴ１０からタイミングＴ１３までの間においては、照射光源１１１のみが発光しているため、ＶＲ端末２００は、基準クロックＣＬＫｓに対する照射光Ｌ１の位相を検出することができる。また、ＶＲ端末２００は、基準クロックＣＬＫｓを基準として、照射光Ｌ１が物体で反射した反射光の位相も検出することができる。
　また、タイミングＴ１３からタイミングＴ１５までの間においては、照射光源１１１のみが発光し、次いで照射光源１１２のみが発光するため、ＶＲ端末２００は、基準クロックＣＬＫｓを用いて照射光Ｌ１およびＬ２の位相を検出することができる。タイミングＴ１５からタイミングＴ１６までの間においては照射光源１１２のみが発光しているため、ＶＲ端末２００は、基準クロックＣＬＫｓを用いて照射光Ｌ２の位相を検出することができる。
　そして、ＶＲ端末２００は、検出した照射光Ｌ１およびＬ２の位相から、これらの位相差ｄＰ１２を検出する。そして、ＶＲ端末２００は、その位相差ｄＰ１２と、照射光源１１１および１１２の既知の間隔Ｗとから、照射光源１１１までの距離Ｅ１を測定する。距離Ｅ１の測定後にＶＲ端末２００は、照射光Ｌ１と、その照射光Ｌ１に対する反射光との位相差ｄＰ１ｄを検出し、既知の距離Ｅ１と位相差ｄＰ１ｄとに基づいて、その反射光を発する反射光源までの距離Ｅｄを測定する。測距演算部２３０は、複数の反射光源のそれぞれについて距離Ｅｄを測定し、それらの測定結果を示すデプスマップを生成する。タイミングＴ１７以降においても、同様の方法により、一定間隔（２／１５秒など）でデプスマップが繰り返し生成される。
　［測距演算部２３０の構成例］
　図１０は、本技術の第１の実施の形態における測距演算部２３０の一構成例を示すブロック図である。この測距演算部２３０は、画像保持部２３１、照射光源毎単位ベクトル検出部２３２、光源間隔記憶部２３３、照射光間位相差検出部２３４および光源距離測定部２３５を備える。また、測距演算部２３０は、反射光源毎単位ベクトル検出部２３６、照射光・反射光間位相差検出部２３７およびデプスマップ生成部２３８を備える。
　画像保持部２３１は、所定数の画像データを保持するものである。１つのデプスマップの生成にＮフレームが必要である場合には、少なくとも（Ｎ－１）フレームが保持（言い換えれば、バッファリング）される。
　照射光源毎単位ベクトル検出部２３２は、照射光源１１１および１１２のそれぞれについて、単位ベクトルを検出するものである。ここで、単位ベクトルは、ＶＲ端末２００から、照射光源１１１または１１２までの方向を示し、長さが「１」のベクトルである。この照射光源毎単位ベクトル検出部２３２は、照射光源１１１および１１２のそれぞれの単位ベクトルを光源距離測定部２３５に供給する。また、照射光源１１１の単位ベクトルは、デプスマップ生成部２３８にも供給される。
　光源間隔記憶部２３３は、照射光源１１１および１１２の間の既知の間隔Ｗを記憶するものである。
　照射光間位相差検出部２３４は、照射光源１１１および１１２のそれぞれからの光の位相差ｄＰ１２を検出するものである。例えば、照射光間位相差検出部２３４は、照射光源１１１に対応する画素の受光量Ｑ１乃至Ｑ４から、照射光源１１１からの光と基準クロックＣＬＫｓとの位相差ｄＰ１ｓを検出する。また、照射光間位相差検出部２３４は、照射光源１１２に対応する画素の受光量Ｑ１乃至Ｑ４から、照射光源１１２からの光と基準クロックＣＬＫｓとの位相差ｄＰ２ｓを検出する。そして、照射光間位相差検出部２３４は、それらの位相差の差分を位相差ｄＰ１２として求め、光源距離測定部２３５に供給する。
　光源距離測定部２３５は、単位ベクトルと、位相差ｄＰ１２と、既知の間隔Ｗとから、照射光源１１１までの距離Ｅ１を測定するものである。
　ここで、照射光源１１１および１１２の間隔Ｗは、ＶＲ端末２００から照射光源１１１および１１２のそれぞれまでのベクトルを用いて次の式により表される。
Figure JPOXMLDOC01-appb-M000001
 上式において、矢印を付したＥ１は、ＶＲ端末２００から照射光源１１１へのベクトルを示し、矢印を付したＥ２は、ＶＲ端末２００から照射光源１１２へのベクトルを示す。また、間隔Ｗの単位は、例えば、メートルである。
　また、ＶＲ端末２００から照射光源１１１までの距離Ｅ１と、ＶＲ端末２００から照射光源１１１までの距離Ｅ２との差をｄＥ１２とすると、次の式が成立する。
　　ｄＥ１２＝Ｅ２－Ｅ１　　　　　　　　　　　　　　　・・・式３
　さらに、余弦定理により、次の式が成立する。
　　Ｗ２＝Ｅ１ ２＋Ｅ２ ２－２Ｅ１・Ｅ２・ｃｏｓＲ　　　　・・・式４
上式において、Ｒは、照射光源１１１への単位ベクトルと照射光源１１２への単位ベクトルとのなす角度を示す。この角度Ｒの単位は、例えば、ラジアンである。また、距離Ｅ１およびＥ２の単位は、例えば、メートル（ｍ）である。
　式３により、距離Ｅ２を距離Ｅ１と差分ｄＥ１２との加算値に置き換え、式４に代入して変形すれば、次の式が得られる。
Figure JPOXMLDOC01-appb-M000002
　また、式３により、距離Ｅ１を距離Ｅ２および差分ｄＥ１２の差分に置き換え、式４に代入して変形すれば、次の式が得られる。
Figure JPOXMLDOC01-appb-M000003
　また、ベクトルの内積に関する公式より、次の式が得られる。
Figure JPOXMLDOC01-appb-M000004
　また、距離Ｅ１および距離Ｅ２は、ＴｏＦの原理に基づいて、次の式により表すこともできる。
　　Ｅ１＝ｃ・｛Ｐ（Ｅ１）－Ｐ（ｕ１）｝／（２πｆ）・・・式８
　　Ｅ２＝ｃ・｛Ｐ（Ｅ２）－Ｐ（ｕ２）｝／（２πｆ）・・・式９
上式において、ｃは光速であり、単位は、例えば、メートル毎秒（ｍ／ｓ）である。πは、円周率を示す。また、ｆは照射光の周波数であり、単位は、例えば、メガヘルツ（ＭＨｚ）である。Ｐ（Ｅ１）は、照射光源１１１が発する照射光Ｌ１の照射時の位相であり、Ｐ（ｕ１）は、その照射光Ｌ１の受光時の位相である。Ｐ（Ｅ２）は、照射光源１１２が発する照射光Ｌ２の照射時の位相であり、Ｐ（ｕ２）は、その照射光Ｌ２の受光時の位相である。これらの位相の単位は、例えば、ラジアンである。
　照射時の位相Ｐ（Ｅ１）およびＰ（Ｅ２）は未知であるため、式８および式９だけでは距離Ｅ１およびＥ２を直接求めることはできない。しかし、前述したように、照射時の位相Ｐ（Ｅ１）およびＰ（Ｅ２）は同一の値であるため、これらを式８および式９から消去して次の式が得られる。
　　ｄＥ１２＝Ｅ２－Ｅ１
　　　　　 ＝ｃ・｛Ｐ（ｕ１）－Ｐ（ｕ２）｝／（２πｆ）
　　　　　 ＝ｃ・ｄＰ１２／（２πｆ）　　　　　・・・式１０
　余弦定理に基づいて、式５および式６により、３辺の長さがＥ１、Ｅ２およびＷの三角形において、２辺が分かれば、残りの１辺を算出することができるが、既知なのはＷのみである。このため、式５および式６だけでは残りのＥ１およびＥ２を算出することができない。しかし、ＴｏＦ方式によれば、さらに式１０が得られるため、連立方程式を解くことによりＥ１およびＥ２を算出することができる。
　光源距離測定部２３５は、検出された位相差ｄＰ１２を式１０に代入して差分ｄＥ１２を算出し、検出された単位ベクトルを式７に代入してｃｏｓＲを算出する。そして、照射光間位相差検出部２３４は、算出した差分ｄＥ１２およびｃｏｓＲと、既知の間隔Ｗとを式５に代入して、距離Ｅ１を算出し、デプスマップ生成部２３８に供給する。なお、照射光間位相差検出部２３４は、距離Ｅ１の代わりに、式６により距離Ｅ２を算出してもよいし、距離Ｅ１およびＥ２の両方を算出してもよい。
　反射光源毎単位ベクトル検出部２３６は、照射光源１１１からの照射光を反射する所定数の反射光源のそれぞれについて、単位ベクトルを検出するものである。反射光源毎単位ベクトル検出部２３６は、算出した単位ベクトルのそれぞれをデプスマップ生成部２３８に供給する。
　照射光・反射光間位相差検出部２３７は、反射光源ごとに、その反射光源からの反射光と、照射光源１１１からの照射光との位相差を検出するものである。照射光・反射光間位相差検出部２３７は、照射光間位相差検出部２３４と同様の方法により、反射光源ごとに位相差ｄＰ１ｄを演算し、デプスマップ生成部２３８に供給する。なお、照射光間位相差検出部２３４および照射光・反射光間位相差検出部２３７のそれぞれは、特許請求の範囲に記載の位相差検出部の一例である。
　デプスマップ生成部２３８は、反射光源ごとに、その反射光源までの距離を示すデプスマップを生成するものである。反射光源を経由しない照射光源１１１までの直線距離Ｅ１と、反射光源を経由した照射光源１１１までの距離との差分ｄＤは、次の式により表される。
Figure JPOXMLDOC01-appb-M000005
 上式において、矢印を付したＥ１Ｄは、照射光源１１１から反射光源への方向を示すベクトルである。また、Ｄは、ＶＲ端末２００から反射光源までの直線距離であり、単位は、例えば、メートル（ｍ）である。
　式１１と余弦定理とに基づいて、距離Ｄは、次の式により表すことができる。
　　D=dD(dD+2E1)/{2dD+2E1(1-cosA)}　　　　　　　　・・・式１２
上式において、Ａは、照射光源１１１への単位ベクトルと反射光源への単位ベクトルとのなす角度を示す。角度Ａの単位は、例えば、ラジアンである。
　また、ベクトルの内積に関する公式より、次の式が得られる。
Figure JPOXMLDOC01-appb-M000006
 上式において、矢印を付したｄは、反射光源の単位ベクトルである。
　また、差分ｄＤは、ＴｏＦの原理に基づいて、次の式により表すこともできる。
　　ｄＤ＝ｃ・｛Ｐ（ｕ１）－Ｐ（ｕＤ）｝／（２πｆ）
　　　　＝ｃ・ｄＰ１ｄ／（２πｆ）　　　　　　　　　・・・式１４
上式において、Ｐ（ｕ１）は、照射光源１１１からの照射光の受光時の位相を示す。Ｐ（ｕＤ）は、反射光源からの反射光の受光時の位相を示す。
　デプスマップ生成部２３８は、検出された位相差ｄＰ１ｄを式１４に代入して差分ｄＤを算出し、検出ベクトルを式１３に代入してｃｏｓＡを算出する。そして、デプスマップ生成部２３８は、算出した差分ｄＤおよびｃｏｓＡと、既知の距離Ｅ１とを式１２に代入して、距離Ｄを算出する。デプスマップ生成部２３８は、照射光源ごとに距離Ｄを算出し、デプスマップを生成して端末制御部２５０に供給する。なお、光源距離測定部２３５およびデプスマップ生成部２３８のそれぞれは、特許請求の範囲に記載の測距部の一例である。
　なお、光源距離測定部２３５は、照射時の位相Ｐ（Ｅ１）およびＰ（Ｅ２）を同一の値（すなわち、位相差が「０」）として、演算を行っているが、これらの位相が異なる値であってもよい。ただし、位相差は、既知であるものとする。位相差が「０」でない場合には、式１０のｄＰ１２から、その位相差を加算または減算した式により演算を行えばよい。
　図１１は、本技術の第１の実施の形態における単位ベクトルの検出方法を説明するための図である。一般に、三次元上のある点が、画像中のどの座標に投影されるかは、予めカメラ（ＶＲ端末２００など）や撮像レンズ２２０固有のパラメータを求めることで、推定することができる。
　例えば、カメラを中心とした座標系における、ある点Ｐの座標（三次元座標）を（ｘ_Ｐ、ｙ_Ｐ、ｚ_Ｐ）とし、その点Ｐが投影される画像上の点ＵＰの座標（平面座標）を（Ｕ_Ｐ、Ｖ_Ｐ）とする。
　この点Ｐの座標は、内部パラメータ行列により、対応する点ＵＰの座標に変換することができる。逆に、点ＵＰの座標が与えられた場合には、内部パラメータ行列により点Ｐの位置を求めることはできない。しかし、光学中心５１０から点Ｕｐまでの方向に沿った直線上に点Ｐが位置することから、ＶＲ端末２００は、点ＵＰの座標に基づいて、光学中心５１０から点Ｐへの方向を示す単位ベクトルを検出することができる。
　図１２は、本技術の第１の実施の形態における画像データの一例を示す図である。同図におけるａは、照射光源１１１のみが発光している期間において撮像された画像データ５０１の一例を示す。また、同図におけるｂは、照射光源１１２のみが発光している期間において撮像された画像データ５０２の一例を示す。
　ＶＲ端末２００は、例えば、画像データ内で最も輝度の高い画素を、照射光源（１１１または１１２）を受光した画素として抽出する。そして、ＶＲ端末２００は、その抽出した画素の座標から、照射光源までの単位ベクトルを検出する。
　図１３は、本技術の第１の実施の形態における照射光源１１１までの距離Ｅ１の測定方法を説明するための図である。測距モジュール２１０は、照射光源１１１が発光しているときに画像データを撮像し、その画像データ内の照射光源１１１の座標から、照射光源１１１までの方向を示す単位ベクトルを検出する。そして、同様の方法により、測距モジュール２１０は、照射光源１１２についても単位ベクトルを検出する。
　また、測距モジュール２１０は、式１を用いて照射光源１１１および１１２のそれぞれからの光の位相差ｄＰ１２を検出する。そして、測距モジュール２１０は、検出した単位ベクトルおよび位相差ｄＰ１２と、既知の間隔Ｗとを、上述した式５、式７および式１０に代入して照射光源１１１までの距離Ｅ１を測定する。
　なお、ＶＲ端末２００は、照射光源１１１および１１２からの光の位相差から距離Ｅ１を測定しているが、他の方法を用いて距離Ｅ１を測定してもよい。例えば、測距モジュール２１０が設けられる機器の位置を固定し、予め、別の測定機器により距離Ｅ１を測定しておく構成としてもよい。この場合には、その既知の距離Ｅ１を用いることにより、デプスマップが生成される。
　また、ＶＲ端末２００は、ＴｏＦ方式の原理に基づいて光の位相差から距離を測定しているが、Ｆｌａｓｈ　ＬＩＤＡＲ（Light Detection and Ranging, Laser Imaging Detection and Ranging）の原理に基づいて距離を測定してもよい。位相変調したＴｏＦ方式では、位相情報を、光の伝達時間に変換し、さらに距離情報に変換して距離を求めていたが、Ｆｌａｓｈ　ＬＩＤＡＲの場合、光の伝達時間を直接計測することができる。
　また、画像データに外部光源（照射光源１１１および１１２など）が写っていない場合にＶＲ端末２００は、測距することができない。しかし、その場合であってもＶＲ端末２００は、所定数の画像データをバッファリングし、それらの画像データ内の過去の外部光源の位置から、現在の外部光源の位置を推定してもよい。
　また、ＶＲ端末２００は、デプスマップの生成と同時に自己位置の推定を行ってもよい。このような処理は、ＳＬＡＭ（Simultaneous Localization and Mapping）と呼ばれる。自己位置を推定する場合、ＶＲ端末２００は、例えば、照射光源１１１および１１２の空間座標を予め記憶しておき、それらの光源への方向と距離とから自己位置を推定すればよい。
　図１４は、本技術の第１の実施の形態における物体までの距離Ｄの測定方法を説明するための図である。測距モジュール２１０は、照射光源１１１が発光しているときに画像データを撮像し、その画像データ内の反射光源４００の座標から、その反射光源までの方向を示す単位ベクトルを検出する。
　また、測距モジュール２１０は、式１を用いて照射光源１１１と反射光源とのそれぞれからの光の位相差ｄＰ１ｄを検出する。そして、測距モジュール２１０は、検出した単位ベクトルおよび位相差ｄＰ１ｄと、演算済の既知の距離Ｅ１とを、上述した式１２乃至式１４に代入して反射光源（物体）４００までの距離Ｄを測定する。
　ここで、距離Ｄの測定の際に、照射光源１１１および照射光源１１２が同時に点灯していると、照射光源１１１の照射光と照射光源１１２の照射光との両方が物体で反射する。このため、それらの光を重ね合わせたものを反射光として、距離Ｄを演算する必要がある。この結果、照射光源が１つのみ点灯する場合と比較して、距離Ｄの演算が複雑になってしまう。したがって、距離Ｄの演算を簡易化する観点から、外部機器１１０は、照射光源１１１および１１２を交互に点灯させている。なお、演算が複雑化しても許容される場合には、照射光源１１１および１１２を同時に点灯させる構成としてもよい。一対の外部光源が同時に点灯してもよい場合、例えば、照射光源１１１および１１２の代わりに、一対の天井照明を用いてもよい。
　図１３および図１４を用いて説明したように、測距モジュール２１０は、反射光源や照射光源などの一対の外部光源に注目し、それらの外部光源からの光の位相差を検出する。そして、測距モジュール２１０は、一対の外部光源の間隔Ｗと、一方までの距離（Ｅ１など）とのいずれかが既知であれば、その既知のデータと、検出した位相差とから他方までの距離（Ｅ１やＥ２）を測定することができる。図１３の例では、２つの外部光源がいずれも照射光源であり、既知のデータである間隔Ｗに基づいて、それらの照射光源のいずれかまでの距離（Ｅ１やＥ２）が測定される。図１３の距離Ｅ１やＥ２は、特許請求の範囲における「他方までの距離」の一例である。一方、図１４の例では、２つの外部光源の一方が照射光源、他方が反射光源であり、既知のデータである一方（照射光源）までの距離（Ｅ１やＥ２）に基づいて、他方（反射光源）までの距離Ｄが測定される。図１４の距離Ｄは、特許請求の範囲における「他方までの距離」の一例である。
　このように、ＶＲ端末２００は、外部光源からの光の位相差を用いて測距するため、その内部に発光ダイオードなどの発光素子を設ける必要がなくなる。これにより、発光素子に供給する分の消費電力を削減することができる。さらに、物体に照射光を照射して反射光を受光する一般的なＴｏＦ方式と比較して、光が往復する必要が無いことと、光源からカメラに直接到達する光に関しては物体に光が吸収されないこととから、受光量が大きくなる。これにより、反射光を受光する方式と比較して、測距精度を高くすることができる。
　図１５は、本技術の第１の実施の形態における測距モジュール２１０の動作の一例を示すフローチャートである。この動作は、例えば、ＶＲ端末２００に電源が投入されたときや、デプスマップを処理するための所定のアプリケーションが実行されたときに開始される。測距モジュール２１０は、まず、照射光源１１１までの距離Ｅ１を測定するための光源距離測定処理を実行する（ステップＳ９１０）。そして、測距モジュール２１０は、測定対象の所定数の画素のいずれかに注目する。測距モジュール２１０は、注目画素に写った物体について単位ベクトルを検出する（ステップＳ９０１）。また、測距モジュール２１０は、照射光と、その照射光が物体で反射した反射光との位相差を検出する（ステップＳ９０２）。
　そして、測距モジュール２１０は、検出した単位ベクトルおよび位相差と、既知の距離Ｅ１とから、物体までの距離Ｄを測定する（ステップＳ９０３）。測距モジュール２１０は、測定対象の全画素を測距したか否かを判断する（ステップＳ９０４）。全画素を測距していない場合に（ステップＳ９０４：Ｎｏ）、測距モジュール２１０は、ステップＳ９０１以降を繰り返し実行する。一方、測距対象の全画素を測距した場合に（ステップＳ９０４：Ｙｅｓ）、測距モジュール２１０は、ステップＳ９１０以降を繰り返し実行する。
　図１６は、本技術の第１の実施の形態における光源距離測定処理の一例を示すフローチャートである。測距モジュール２１０は、２つの照射光源（１１１および１１２など）のそれぞれの単位ベクトルを検出する（ステップＳ９１１）。また、測距モジュール２１０は、２つの照射光源のそれぞれの照射光の位相差を検出する（ステップＳ９１２）。そして、測距モジュール２１０は、検出した単位ベクトルおよび位相差と、既知の間隔Ｗとから、いずれかの照射光源までの距離（Ｅ１など）を測定する（ステップＳ９１３）。ステップＳ９１３の後に、測距モジュール２１０は、光源距離演算処理を終了する。
　このように、本技術の第１の実施の形態によれば、ＶＲ端末２００は、照射光源１１１および１１２や照射光源１１１および反射光源などの一対の外部光源からの光の位相差から、それらの一方までの距離を測定するため、内部に発光素子を設ける必要がなくなる。これにより、発光素子に供給する分の消費電力を削減することができる。
　［第１の変形例］
　上述の第１の実施の形態では、ＶＲ端末２００は、交互に点灯する照射光源１１１および１１２の位相差から、照射光源１１１までの距離Ｅ１を測定していた。しかし、連続的に発光する光源しか存在しない場合もある。このような場合には、例えば、空間座標が既知の複数の外部光源の投影点から、それらの外部光源までの距離を測定することができる。この第１の実施の形態の第１の変形例のＶＲ端末２００は、複数の外部光源の投影点の座標から、それらの光源までの距離を測定する点において第１の実施の形態と異なる。
　図１７は、本技術の第１の実施の形態の第１の変形例における測距システムの一例を示す全体図である。この第１の実施の形態の第１の変形例の測距システムは、外部機器１１０に設けられた照射光源１１１および１１２の代わりに、天井照明１３１乃至１３４を外部光源として用いる点において第１の実施の形態と異なる。
　天井照明１３１乃至１３４は、所定の正方形の４つの頂点のそれぞれに配置されている。これらの照明の空間座標は、ＶＲ端末２００に予め記憶されている。ＶＲ端末２００は、この空間座標を用いて測距を行う。なお、天井照明１３１乃至１３４を頂点とする図形は、正方形に限定されず、長方形や台形などであってもよい。
　図１８は、本技術の第１の実施の形態の第１の変形例における測距方法を説明するための図である。天井照明１３１乃至１３４は、所定の撮像平面上の投影点ｕ１乃至ｕ４に投影される。天井照明１３１乃至１３４の位置は変化しないのに対して、ＶＲ端末２００の位置や姿勢は変化し得る。このため、ＶＲ端末２００の位置や姿勢に応じて、投影点ｕ１乃至ｕ４の平面座標が変化する。投影点ｕ１乃至ｕ４の座標と、位置や姿勢との間には一定の関係が存在するため、その関係を示す関数に投影点ｕ１乃至ｕ４の平面座標を入力することにより、ＶＲ端末２００は、自身の位置や姿勢を算出することができる。ＶＲ端末２００の位置を算出すれば、天井照明１３１乃至１３４の位置は固定であるから、ＶＲ端末２００は、自身の位置から、それらの照明までの距離を算出することができる。
　このように、既知の空間点（天井照明１３１乃至１３４など）と、その投影点とから、カメラ（ＶＲ端末２００）の位置や姿勢を求めるという問題は、ＰｎＰ（Perspective-n-Pont）問題と呼ばれる。このＰｎＰ問題に関しては、例えば、「奥富 正敏編、『ディジタル画像処理』、改訂新版、財団法人画像情報教育振興協会、２００６年３月、ｐ３２８－３３１」に記載されている。
　なお、ＶＲ端末２００は、天井照明１３１乃至１３４の投影点を利用しているが、位置が既知の外部光源であれば、天井照明以外の光源の投影点を用いることができる。
　図１９は、本技術の第１の実施の形態の第１の変形例における測距演算部２３０の一構成例を示すブロック図である。この第１の実施の形態の第１の変形例の測距演算部２３０は、照射光源毎単位ベクトル検出部２３２、光源間隔記憶部２３３、照射光間位相差検出部２３４および光源距離測定部２３５を備えない。測距演算部２３０は、それらの代わりに空間座標記憶部２４１および光源距離測定部２４２を備える。
　空間座標記憶部２４１は、天井照明１３１乃至１３４のそれぞれの空間座標を記憶するものである。光源距離測定部２４２は、画像データから、天井照明１３１乃至１３４のそれぞれの投影点の平面座標を取得する。そして、光源距離測定部２４２は、ＰｎＰ問題を解いてＶＲ端末２００の位置を算出し、その位置から、天井照明１３１乃至１３４のいずれか（天井照明１３１など）への方向を示す単位ベクトルと、その照明までの距離Ｅ１とを求める。光源距離測定部２４２は、単位ベクトルおよび距離Ｅ１をデプスマップ生成部２３８に供給する。
　このように、本技術の第１の実施の形態の第１の変形例によれば、ＶＲ端末２００は、複数の天井照明の投影点の座標から、その照明までの距離を測定するため、交互に点灯する照射光源１１１および１１２が無い場合であっても測距を行うことができる。
　［第２の変形例］
　上述の第１の実施の形態では、ＶＲ端末２００に測距モジュール２１０を設けていたが、ＶＲ端末２００以外の装置や機器に測距モジュール２１０を設けることもできる。例えば、無人航空機（いわゆる、ドローン）に、測距モジュール２１０を設けてもよい。複数の無人航空機が編隊飛行を行う際には、僚機との距離を一定に保つ必要があり、そのような飛行制御などにおいて、測距モジュール２１０が測距した情報を利用することができる。この第１の実施の形態の第２の変形例の測距システムは、無人航空機に測距モジュール２１０を設けた点において第１の実施の形態と異なる。
　図２０は、本技術の第１の実施の形態の第２の変形例における測距システムの一構成例を示す全体図である。この測距システムは、複数の無人航空機２０１を備える。無人航空機２０１のそれぞれは、発光部２７１および２７２と、測距モジュール２１０とを備える。発光部２７１および２７２は、無人航空機２０１の特定の位置に固定され、それらの間隔Ｗは一定である。なお、測距モジュール２１０は、同図において省略されている。
　無人航空機２０１のそれぞれは、他の無人航空機２０１の発光部２７１および２７２のそれぞれからの光の位相差を検出し、第１の実施の形態と同様の方法により、その発光部２７１までの距離Ｅ１を測定する。この測定された距離Ｅ１に基づいて無人航空機２０１は、互いの距離を一定に保つなどの飛行制御を行う。
　このように、無人航空機２０１のそれぞれは、自身の機体に発光部２７１および２７２を備えるものの、自機が発した照射光に対する反射光ではなく、他の機体からの照射光の受光量を用いて測距を行う。照射光を照射して反射光を受光する一般的なＴｏＦ方式と比較して、光が往復する必要が無いことと物体に光が吸収されないことから、発光部２７１および２７２の発光量を小さくすることができる。したがって、発光量が小さい分、無人航空機２０１の消費電力を削減することができる。また、発光量を一定とすると、反射光を受光する場合と比較して、受光量が大きくなるため、測距精度を向上させることができる。
　図２１は、本技術の第１の実施の形態の第２の変形例における無人航空機２０１の一構成例を示すブロック図である。この無人航空機２０１は、測距モジュール２１０と、機体制御部２５１と、発光部２７１および２７２とを備える。
　測距モジュール２１０は、自機でなく、他の機体の発光部２７１までの距離Ｅ１を測定し、機体制御部２５１に供給する。
　機体制御部２５１は、無人航空機２０１全体を制御するものである。この機体制御部２５１は、基準クロックＣＬＫｓを発光部２７１および２７２と、固体撮像素子３００とに供給する。また、機体制御部２５１は、距離Ｅ１に基づいて、無人航空機２０１の速度や進行方向を制御する。例えば、機体制御部２５１は、距離Ｅ１が一定値に近づくように制御を行う。この制御により、複数の無人航空機２１０が、互いの距離を一定に保って飛行することができる。発光部２７１および２７２は、基準クロックＣＬＫｓに同期して発光するものである。
　図２２は、本技術の第１の実施の形態の第２の変形例における測距演算部２３０の一構成例を示すブロック図である。この第１の実施の形態の第２の変形例の測距演算部２３０は、反射光源毎単位ベクトル検出部２３６、照射光・反射光間位相差検出部２３７およびデプスマップ生成部２３８を備えない点において第１の実施の形態と異なる。
　このように、本技術の第１の実施の形態の第２の変形例によれば、無人航空機２０１が僚機の発光部２７１および２７２からの光の位相差を検出するため、複数の無人航空機２０１が、互いに相手までの距離を測定することができる。
　＜２．第２の実施の形態＞
　［測距システムの構成例］
　上述の第１の実施の形態では、ＶＲ端末２００は、複数の点光源（照射光源１１１および１１２など）のそれぞれからの光の位相差を用いて測距を行っていたが、これらの点光源が測距対象の近傍に配置されていない場合には、測距を行うことができなくなる。この場合であっても例えば蛍光灯のような形状の線光源を予め室内に配置しておけば、ＶＲ端末２００は、その線光源からの光の位相差を用いて測距を行うことができる。例えば、点光源を持つ外部機器１１０が室内に無くとも、室内には照明用光源があることが多いため、その照明用光源を外部光源として利用することができればＶＲ端末２００は測距を行うことができる。この第２の実施の形態のＶＲ端末２００は、線光源からの光の位相差を用いて測距を行う点において第１の実施の形態と異なる。
　図２３は、本技術の第２の実施の形態における線光源１２０の一例を示す図である。線光源１２０としては、例えば、蛍光灯状光源や、線状の発光ダイオードなどが想定される。この線光源１２０は、その全体が一定の周波数で点滅している。したがって、線光源１２０上の点のそれぞれからの照射光の照射時の位相差は「０」である。また、線光源１２０の幅Ｗは、既知のデータとしてＶＲ端末２００に予め記憶されている。
　ここで、線光源１２０上の点１２１に着目する。この点１２１に測距モジュール２１０が焦点を合わせた場合、点１２１からの光は、撮像レンズ２２０により、固体撮像素子３００上において１点に集光し、他の点からの光と混ざることは無い。したがって、線光源１２０上のいずれか２点を別個の照射光源として扱うことができ、ＶＲ端末２００は、第１の実施の形態と同様の手法により、それらの光源までの距離を測定することができる。
　図２４は、本技術の第２の実施の形態における照射光源までの距離の測定方法を説明するための図である。ＶＲ端末２００は、線光源１２０の両端を照射光源として、それらの光源までの距離を測定する。まず、ＶＲ端末２００は、それらの照射光源からの光の位相差を検出し、照射光源のそれぞれについて単位ベクトルを検出する。そして、ＶＲ端末２００は、検出した位相差および単位ベクトルと、既知の幅Ｗとに基づいて、両端のいずれかまでの距離を測定する。
　なお、ＶＲ端末２００は、線光源１２０の両端に着目して、それらの照射光の位相差を検出しているが、両端以外の２点に着目してもよい。また、ＶＲ端末２００は、線光源１２０でなく、面光源や、球状、リング状や円盤状の光源など、他の形状の光源上の２点に着目してもよい。
　図２５は、本技術の第２の実施の形態における物体までの距離の測定方法を説明するための図である。物体上の反射点で線光源１２０からの照射光が反射する場合、その反射点は、線光源１２０上の複数の点のそれぞれからの光を受光する。反射点から、線光源１２０上の各点までの距離は異なるため、反射光の位相は、単純に線光源１２０からの距離に比例する値になるとは限らない。
　また、線光源１２０上の複数の点のそれぞれについて、ＶＲ端末２００は、単位ベクトルを検出する。また、ＶＲ端末２００は、点ごとに、その点からの照射光の位相を測定する。
　ここで、線光源１２０に沿った軸をＸ軸とし、Ｘ軸に直交する２軸をＹ軸およびＺ軸とする。直線状の線光源１２０では、その形状が回転対称であるため、Ｙ軸およびＺ軸には任意性がある。しかし、照射光の位相も回転対称となるため、問題は無い。
　また、一般的には、光源の座標系と、カメラ（ＶＲ端末２００）の座標系との軸の向きは異なるが、以下、説明の便宜上、それらは同一であるものとする。各座標系の軸の向きが異なる場合であっても、ＶＲ端末２００から見た線光源１２０の姿勢が既知であれば、容易に、一方の軸を他方に合わせて変換することができる。
　これらの前提に基づき、反射光は、線光源１２０上の各点から届く光の重ね合わせにより、次の式で表される。
Figure JPOXMLDOC01-appb-M000007
 上式においてｔは時刻であり、単位は例えば秒（ｓ）である。矢印を付したＤは、ＶＲ端末２００から反射点へのベクトルを示す。また、左辺は、時刻ｔにおける反射点の反射光である。また、右辺は、線光源１２０上の各点からの光を積分した結果である。
　式１５に基づいて、反射光の位相を次の式により表すことができる。
Figure JPOXMLDOC01-appb-M000008
 上式において、左辺は、反射点Ｄの反射光の位相である。また、ＰＥＣは、線光源１２０の中心からの光の位相である。これらの位相の単位は、例えば、ラジアンである。また、ｇ（）は、線光源１２０の中心からの反射点の位置と、反射光および照射光の位相差との関係を表す関数である。この関数ｇ（）は、例えば、何らかのキャリブレーションにより実測した値により、予め求められる。あるいは、理論的に関数ｇ（）を求めてもよい。
　また、ＴｏＦ方式の原理に基づいて、線光源１２０の中心からの照射光の受光時の位相Ｐ（ｕｃ）は、次の式により表される。
　　Ｐ（ｕｃ）＝ＰＥｃ－（２πｆ／ｃ）・Ｅｃ　　　　　・・・式１７
上式において、Ｅｃは、線光源１２０の中心までの距離であり、単位は例えば、メートル（ｍ）である。Ｅｃの座標は、線光源１２０の一端までの距離Ｅ１と、それぞれの単位ベクトルとから求められる。ＰＥｃは、線光源１２０の中心からの照射光の照射時の位相であり、単位は、例えば、ラジアンである。
　同様に、反射光の受光時の位相は、次の式により表される。
Figure JPOXMLDOC01-appb-M000009
　式１８を式１６に代入することにより、次の式が得られる。
Figure JPOXMLDOC01-appb-M000010
　式１７と式１９との両辺で差分を取ると、次の式が成立する。
Figure JPOXMLDOC01-appb-M000011
　上式において、矢印を付したＤは、反射点への方向を示すベクトルであり、このベクトルは、その方向の単位ベクトルに距離Ｄを乗算した値に置き換えることができる。このため、式２０を次の式に置き換えることができる。
Figure JPOXMLDOC01-appb-M000012
 上式において、矢印を付したｄは、反射点への方向の単位ベクトルを示す。
　ＶＲ端末２００は、線光源１２０の中心と、反射点とのそれぞれについて単位ベクトルを検出し、また、照射光および反射光のそれぞれの受光時の位相差を検出する。そして、ＶＲ端末２００は、それらの単位ベクトルおよび位相差と、既知の距離Ｅｃとを式２１に代入することにより、反射点までの距離Ｄを算出する。
　このように、本技術の第２の実施の形態によれば、ＶＲ端末２００は、線光源１２０の両端のそれぞれからの光の位相差から、その両端までの距離を測定するため、点光源が無い場合であっても測距を行うことができる。例えば、点光源を持つ外部機器１１０が室内に無くとも、蛍光灯のような形状の線光源１２０を利用してＶＲ端末２００が測距を行うことができる。
　＜４．応用例１＞
　本開示に係る技術は、いわゆる「物のインターネット」であるＩｏＴ（Ｉｎｔｅｒｎｅｔ　ｏｆ　ｔｈｉｎｇｓ）と呼ばれる技術へ応用可能である。ＩｏＴとは、「物」であるＩｏＴデバイス９１００が、他のＩｏＴデバイス９００３、インターネット、クラウド９００５などに接続され、情報交換することにより相互に制御する仕組みである。ＩｏＴは、農業、家、自動車、製造、流通、エネルギー、など様々な産業に利用できる。
　図２６は、本開示に係る技術が適用され得るＩｏＴシステム９０００の概略的な構成の一例を示す図である。
　ＩｏＴデバイス９００１には、温度センサー、湿度センサー、照度センサー、加速度センサー、距離センサー、画像センサー、ガスセンサー、人感センサーなどの各種センサーなどが含まれる。また、ＩｏＴデバイス９００１には、スマートフォン、携帯電話、ウェアラブル端末、ゲーム機器などの端末を含めてもよい。ＩｏＴデバイス９００１は、ＡＣ電源、ＤＣ電源、電池、非接触給電、いわゆるエナジーハーベストなどにより給電される。ＩｏＴデバイス９００１は、有線、無線、近接無線通信などにより通信することができる。通信方式は３Ｇ／ＬＴＥ、ＷｉＦｉ、ＩＥＥＥ８０２．１５．４、Ｂｌｕｅｔｏｏｔｈ、Ｚｉｇｂｅｅ（登録商標）、Ｚ－Ｗａｖｅなどが好適に用いられる。ＩｏＴデバイス９００１は、これらの通信手段の複数を切り替えて通信してもよい。
　ＩｏＴデバイス９００１は、１対１、星状、ツリー状、メッシュ状のネットワークを形成してもよい。ＩｏＴデバイス９００１は、直接に、またはゲートウエイ９００２を通して、外部のクラウド９００５に接続してもよい。ＩｏＴデバイス９００１には、ＩＰｖ４、ＩＰｖ６、６ＬｏＷＰＡＮなどによって、アドレスが付与される。ＩｏＴデバイス９００１から収集されたデータは、他のＩｏＴデバイス９００３、サーバ９００４、クラウド９００５などに送信される。ＩｏＴデバイス９００１からデータを送信するタイミングや頻度は好適に調整され、データを圧縮して送信してもよい。このようなデータはそのまま利用してもよく、統計解析、機械学習、データマイニング、クラスタ分析、判別分析、組み合わせ分析、時系列分析など様々な手段でデータをコンピュータ９００８で分析してもよい。このようなデータを利用することにより、コントロール、警告、監視、可視化、自動化、最適化、など様々なサービスを提供することができる。
　本開示に係る技術は、家に関するデバイス、サービスにも応用可能である。家におけるＩｏＴデバイス９００１には、洗濯機、乾燥機、ドライヤ、電子レンジ、食洗機、冷蔵庫、オーブン、炊飯器、調理器具、ガス器具、火災報知器、サーモスタット、エアコン、テレビ、レコーダ、オーディオ、照明機器、温水器、給湯器、掃除機、扇風機、空気清浄器、セキュリティカメラ、錠、扉・シャッター開閉装置、スプリンクラー、トイレ、温度計、体重計、血圧計などが含まれる。さらにＩｏＴデバイス９００１には、太陽電池、燃料電池、蓄電池、ガスメータ、電力メータ、分電盤を含んでもよい。
　家におけるＩｏＴデバイス９００１の通信方式は、低消費電力タイプの通信方式が望ましい。また、ＩｏＴデバイス９００１は屋内ではＷｉＦｉ、屋外では３Ｇ/ＬＴＥにより通信するようにしてもよい。クラウド９００５上にＩｏＴデバイス制御用の外部サーバ９００６を設置し、ＩｏＴデバイス９００１を制御してもよい。ＩｏＴデバイス９００１は、家庭機器の状況、温度、湿度、電力使用量、家屋内外の人・動物の存否などのデータを送信する。家庭機器から送信されたデータは、クラウド９００５を通じて、外部サーバ９００６に蓄積される。このようなデータに基づき、新たなサービスが提供される。このようなＩｏＴデバイス９００１は、音声認識技術を利用することにより、音声によりコントロールすることができる。
　また各種家庭機器からテレビに情報を直接送付することにより、各種家庭機器の状態を可視化することができる。さらには、各種センサーが居住者の有無を判断し、データを空調機、照明などに送付することで、それらの電源をオン・オフすることができる。さらには、各種家庭機器に供えられたディスプレイにインターネットを通じて広告を表示することができる。
　以上、本開示に係る技術が適用され得るＩｏＴシステム９０００の一例について説明した。本開示に係る技術は、以上説明した構成のうち、ＩｏＴデバイス９００１内の測距センサーに好適に適用され得る。測距センサーに本開示に係る技術を適用することにより、ＩｏＴデバイス９００１の消費電力を低減することができる。
　＜＜５．応用例２＞＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２７に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２７では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２８は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２８には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２７に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２７の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２７に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図２を用いて説明した本実施形態に係る測距モジュール２１０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図２を用いて説明した本実施形態に係る測距モジュール２１０は、図２７に示した応用例の統合制御ユニット７６００に適用することができる。例えば、測距モジュール２１０は、統合制御ユニット７６００の車外情報検出ユニット７４００に相当する。例えば、一対の外部光源を他車両のテールランプとし、車外情報検出ユニット７４００（測距モジュール２００）が、それらのテールランプまでの距離を車間距離として測定することができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）一対の外部光源のそれぞれからの光の位相差を検出する位相差検出部と、
　前記一対の外部光源の一方までの距離と前記一対の外部光源の間隔とのいずれかを既知データとして取得して前記既知データおよび前記位相差に基づいて前記一対の外部光源の他方までの距離を測定する測距部と
を具備する測距装置。
（２）前記一対の外部光源は、いずれも照射光を発する照射光源であり、
　前記測距部は、前記一対の外部光源の間隔を前記既知データとして取得する
前記（１）記載の測距装置。
（３）照射光を発する一対の発光部をさらに具備する
前記（２）記載の測距装置。
（４）前記一対の外部光源は、線光源上の所定の位置に配置される
前記（２）または（３）に記載の測距装置。
（５）前記一対の外部光源の前記一方は照射光を発する照射光源であり、前記他方は前記照射光を反射する反射光源であり、
　前記測距部は、前記一対の外部光源の前記一方までの距離を前記既知データとして取得する
前記（１）記載の測距装置。
（６）前記照射光源は、交互に点灯する一対の照射光源を含み、
　前記測距部は、前記一対の照射光源の間の間隔に基づいて前記一対の照射光源の一方までの距離を取得する
前記（５）記載の測距装置。
（７）前記測距部は、三次元座標が既知の複数の空間点のそれぞれを所定の撮像平面に投影した投影点の平面座標を取得して当該平面座標から前記既知データを取得する
前記（５）記載の測距装置。
（８）前記測距部は、一対の外部光源のそれぞれまでの方向を示す単位ベクトルを検出し、当該単位ベクトルと前記既知データと前記位相差に基づいて前記他方までの距離を測定する
前記（１）から（７）のいずれかに記載の測距装置。
（９）前記位相差検出部および前記測距部は、車両に搭載され、
　前記一対の外部光源は、前記車両とは異なる他車両のテールランプであり、
　前記測距部は、前記車両と前記他車両との車間距離を測定する
前記（１）から（８）のいずれかに記載の測距装置。
（１０）一対の外部光源のそれぞれからの光の位相差を検出する位相差検出部と、
　前記一対の外部光源の一方までの距離と前記一対の外部光源の間隔とのいずれかを既知データとして取得して前記既知データおよび前記位相差に基づいて前記一対の外部光源の他方までの距離を測定する測距部と、
　前記測定された距離に基づいて所定の情報を表示部に表示させる制御部と
を具備する電子装置。
（１１）一対の外部光源のそれぞれからの光の位相差を検出する位相差検出手順と、
　前記一対の外部光源の一方までの距離と前記一対の外部光源の間隔とのいずれかを既知データとして取得して前記既知データおよび前記位相差に基づいて前記一対の外部光源の他方までの距離を測定する測距手順と、
を具備する測距装置の制御方法。
　１１０　外部機器
　１１１、１１２　照射光源
　１２０　線光源
　１３１、１３２、１３３、１３４　天井照明
　２００　ＶＲ端末
　２０１　無人航空機
　２１０　測距モジュール
　２２０　撮像レンズ
　２３０　測距演算部
　２３１　画像保持部
　２３２　照射光源毎単位ベクトル検出部
　２３３　光源間隔記憶部
　２３４　照射光間位相差検出部
　２３５、２４２　光源距離測定部
　２３６　反射光源毎単位ベクトル検出部
　２３７　照射光・反射光間位相差検出部
　２３８　デプスマップ生成部
　２４１　空間座標記憶部
　２５０　端末制御部
　２５１　機体制御部
　２６０　表示部
　２７１、２７２　発光部
　３００　固体撮像素子
　３１０　行走査回路
　３２０　画素アレイ部
　３３０　画素回路
　３３１　受光素子
　３３２　転送スイッチ
　３３３、３３４　電荷蓄積部
　３３５、３３６　選択スイッチ
　３４０　タイミング制御部
　３５０　ＡＤ変換部
　３６０　列走査回路
　３７０　信号処理部
　９００１　ＩｏＴデバイス

Claims (11)

  1. 　一対の外部光源のそれぞれからの光の位相差を検出する位相差検出部と、
    　前記一対の外部光源の一方までの距離と前記一対の外部光源の間隔とのいずれかを既知データとして取得して前記既知データおよび前記位相差に基づいて前記一対の外部光源の他方までの距離を測定する測距部と
    を具備する測距装置。
  2. 　前記一対の外部光源は、いずれも照射光を発する照射光源であり、
    　前記測距部は、前記一対の外部光源の間隔を前記既知データとして取得する
    請求項１記載の測距装置。
  3. 　照射光を発する一対の発光部をさらに具備する
    請求項２記載の測距装置。
  4. 　前記一対の外部光源は、線光源上の所定の位置に配置される
    請求項２記載の測距装置。
  5. 　前記一対の外部光源の前記一方は照射光を発する照射光源であり、前記他方は前記照射光を反射する反射光源であり、
    　前記測距部は、前記一対の外部光源の前記一方までの距離を前記既知データとして取得する
    請求項１記載の測距装置。
  6. 　前記照射光源は、交互に点灯する一対の照射光源を含み、
    　前記測距部は、前記一対の照射光源の間の間隔に基づいて前記一対の照射光源の一方までの距離を取得する
    請求項５記載の測距装置。
  7. 　前記測距部は、三次元座標が既知の複数の空間点のそれぞれを所定の撮像平面に投影した投影点の平面座標を取得して当該平面座標から前記既知データを取得する
    請求項５記載の測距装置。
  8. 　前記測距部は、一対の外部光源のそれぞれまでの方向を示す単位ベクトルを検出し、当該単位ベクトルと前記既知データと前記位相差に基づいて前記他方までの距離を測定する
    請求項１記載の測距装置。
  9. 　前記位相差検出部および前記測距部は、車両に搭載され、
    　前記一対の外部光源は、前記車両とは異なる他車両のテールランプであり、
    　前記測距部は、前記車両と前記他車両との車間距離を測定する
    請求項１記載の測距装置。
  10. 　一対の外部光源のそれぞれからの光の位相差を検出する位相差検出部と、
    　前記一対の外部光源の一方までの距離と前記一対の外部光源の間隔とのいずれかを既知データとして取得して前記既知データおよび前記位相差に基づいて前記一対の外部光源の他方までの距離を測定する測距部と、
    　前記測定された距離に基づいて所定の情報を表示部に表示させる制御部と
    を具備する電子装置。
  11. 　一対の外部光源のそれぞれからの光の位相差を検出する位相差検出手順と、
    　前記一対の外部光源の一方までの距離と前記一対の外部光源の間隔とのいずれかを既知データとして取得して前記既知データおよび前記位相差に基づいて前記一対の外部光源の他方までの距離を測定する測距手順と、
    を具備する測距装置の制御方法。
PCT/JP2017/024749 2016-08-23 2017-07-06 測距装置、電子装置、および、測距装置の制御方法 WO2018037728A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/760,438 US10989790B2 (en) 2016-08-23 2017-07-06 Distance measuring apparatus, electronic apparatus, and method of controlling distance measuring apparatus
CN201780003177.9A CN108027416B (zh) 2016-08-23 2017-07-06 距离测量设备、电子设备以及距离测量设备的控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-162320 2016-08-23
JP2016162320A JP2018031607A (ja) 2016-08-23 2016-08-23 測距装置、電子装置、および、測距装置の制御方法

Publications (1)

Publication Number Publication Date
WO2018037728A1 true WO2018037728A1 (ja) 2018-03-01

Family

ID=61246716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/024749 WO2018037728A1 (ja) 2016-08-23 2017-07-06 測距装置、電子装置、および、測距装置の制御方法

Country Status (4)

Country Link
US (1) US10989790B2 (ja)
JP (1) JP2018031607A (ja)
CN (1) CN108027416B (ja)
WO (1) WO2018037728A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740288A (zh) * 2018-10-12 2021-04-30 因温特奥股份公司 进口监控系统和用于运行进口监控系统的方法
EP3814797A4 (en) * 2018-07-24 2022-03-02 Sense Photonics, Inc. PHASE NOISE AND CORRECTION METHODS IN MULTIFREQUENCY LIDAR

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11092689B2 (en) * 2016-09-20 2021-08-17 Apple Inc. Enabling lidar detection
CN110044334B (zh) * 2018-01-16 2020-04-21 京东方科技集团股份有限公司 基于维诺图的室内空间定位
DE102018103262B4 (de) * 2018-02-14 2024-05-29 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Betreiben einer Beleuchtungsvorrichtung eines Kraftfahrzeugs
CN110557582B (zh) * 2018-06-19 2021-09-17 思特威(上海)电子科技股份有限公司 基于tof的3d成像图像传感器像素电路及测距系统
DE112019003952T5 (de) 2018-08-07 2021-05-06 Sony Semiconductor Solutions Corporation Entfernungsmesser, entfernungsmesssystem, entfernungsmessverfahren und programm
JP2020067707A (ja) * 2018-10-22 2020-04-30 豊田合成株式会社 非接触操作検出装置
JP2022510198A (ja) * 2018-11-29 2022-01-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 移動プラットフォームの周囲の環境を検出するシステム及びその方法
US10884415B2 (en) * 2018-12-28 2021-01-05 Intel Corporation Unmanned aerial vehicle light flash synchronization
CN111489448B (zh) * 2019-01-24 2024-08-20 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
JP2020194995A (ja) * 2019-05-24 2020-12-03 Ｎｅｃプラットフォームズ株式会社 無線通信機器、監視システムおよび無線通信機器の監視方法
JP2021021633A (ja) 2019-07-26 2021-02-18 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距システムおよび測距装置の調整方法
CN112154715B (zh) * 2019-09-24 2024-01-26 深圳市大疆创新科技有限公司 智能辅助照明系统、方法、装置及可移动平台
WO2021075287A1 (ja) 2019-10-15 2021-04-22 ソニーセミコンダクタソリューションズ株式会社 測距デバイスおよびその受光方法
CN113126111B (zh) * 2019-12-30 2024-02-09 Oppo广东移动通信有限公司 飞行时间模组和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11143640A (ja) * 1997-11-11 1999-05-28 Seiko Epson Corp 座標検出装置、それを備えたスクリーン、及び表示装置
JP2005092861A (ja) * 2003-08-11 2005-04-07 Hitachi Ltd 車両制御システム
JP2011154626A (ja) * 2010-01-28 2011-08-11 Konami Digital Entertainment Co Ltd 領域推定装置、領域推定方法、ならびに、プログラム
US20140285818A1 (en) * 2013-03-15 2014-09-25 Leap Motion, Inc. Determining positional information of an object in space
JP2014220787A (ja) * 2012-05-24 2014-11-20 パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御方法、情報通信装置およびプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3483303B2 (ja) * 1994-06-21 2004-01-06 株式会社トプコン 回転レーザ装置
JP3954300B2 (ja) * 2000-11-24 2007-08-08 ペンタックス株式会社 ３次元画像検出装置
GB2395261A (en) * 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
JP4253271B2 (ja) 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
JP4855749B2 (ja) * 2005-09-30 2012-01-18 株式会社トプコン 距離測定装置
CN101772711A (zh) * 2007-08-01 2010-07-07 皇家飞利浦电子股份有限公司 车辆定位测量系统和方法
US20090279107A1 (en) * 2008-05-09 2009-11-12 Analog Devices, Inc. Optical distance measurement by triangulation of an active transponder
US8949069B2 (en) * 2009-12-16 2015-02-03 Intel Corporation Position determination based on propagation delay differences of multiple signals received at multiple sensors
US8891067B2 (en) 2010-02-01 2014-11-18 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems
JP5408026B2 (ja) * 2010-04-28 2014-02-05 セイコーエプソン株式会社 位置検出機能付き機器
US8411258B2 (en) * 2010-12-22 2013-04-02 Intel Corporation Systems and methods for determining position using light sources
US20130120361A1 (en) * 2011-11-16 2013-05-16 Industrial Technology Research Institute Spatial 3d interactive instrument
JP5956218B2 (ja) * 2012-03-29 2016-07-27 ４Ｄセンサー株式会社 形状計測装置、形状計測方法及び形状計測装置における校正処理方法
JP5944719B2 (ja) * 2012-04-04 2016-07-05 大塚電子株式会社 配光特性測定装置および配光特性測定方法
JP6045963B2 (ja) * 2013-04-05 2016-12-14 日立マクセル株式会社 光測距装置
CN104603574B (zh) * 2013-07-01 2017-10-13 松下电器（美国）知识产权公司 具有多个光源的运动传感器装置
IL235359A0 (en) * 2014-10-27 2015-11-30 Ofer David Wide-dynamic-range simulation of an environment with a high intensity radiating/reflecting source
US10306217B2 (en) * 2015-04-17 2019-05-28 Seiko Epson Corporation Display device, control method for display device, and computer program
US11162781B2 (en) * 2016-06-23 2021-11-02 University Of Utah Research Foundation Interferometry systems and methods
US10884127B2 (en) * 2016-08-02 2021-01-05 Samsung Electronics Co., Ltd. System and method for stereo triangulation
US10677894B2 (en) * 2016-09-06 2020-06-09 Magna Electronics Inc. Vehicle sensing system for classification of vehicle model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11143640A (ja) * 1997-11-11 1999-05-28 Seiko Epson Corp 座標検出装置、それを備えたスクリーン、及び表示装置
JP2005092861A (ja) * 2003-08-11 2005-04-07 Hitachi Ltd 車両制御システム
JP2011154626A (ja) * 2010-01-28 2011-08-11 Konami Digital Entertainment Co Ltd 領域推定装置、領域推定方法、ならびに、プログラム
JP2014220787A (ja) * 2012-05-24 2014-11-20 パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御方法、情報通信装置およびプログラム
US20140285818A1 (en) * 2013-03-15 2014-09-25 Leap Motion, Inc. Determining positional information of an object in space

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3814797A4 (en) * 2018-07-24 2022-03-02 Sense Photonics, Inc. PHASE NOISE AND CORRECTION METHODS IN MULTIFREQUENCY LIDAR
CN112740288A (zh) * 2018-10-12 2021-04-30 因温特奥股份公司 进口监控系统和用于运行进口监控系统的方法
US11610446B2 (en) 2018-10-12 2023-03-21 Inventio Ag Access control system and method for operating an access control system

Also Published As

Publication number Publication date
CN108027416B (zh) 2023-03-28
CN108027416A (zh) 2018-05-11
US10989790B2 (en) 2021-04-27
JP2018031607A (ja) 2018-03-01
US20180259616A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
WO2018037728A1 (ja) 測距装置、電子装置、および、測距装置の制御方法
US20200344421A1 (en) Image pickup apparatus, image pickup control method, and program
US11397250B2 (en) Distance measurement device and distance measurement method
US12078721B2 (en) Ranging device and ranging method
US20200322585A1 (en) Image processing device, image processing method, and vehicle
KR102392221B1 (ko) 화상 처리 장치, 및 촬상 장치, 및 화상 처리 시스템
WO2017057057A1 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2020137755A1 (ja) 測距装置及び測距方法
WO2020137754A1 (ja) 測距装置及び測距方法
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
JP7172603B2 (ja) 信号処理装置、信号処理方法、およびプログラム
JP2018032986A (ja) 情報処理装置および方法、車両、並びに情報処理システム
WO2021246303A1 (ja) 測距装置、電子機器、センサシステム及び制御方法
WO2021161858A1 (ja) 測距装置および測距方法
WO2023234033A1 (ja) 測距装置
WO2024162109A1 (ja) 光検出装置及び測距システム
WO2023281825A1 (ja) 光源装置、測距装置及び測距方法
WO2021229983A1 (ja) 撮像装置及びプログラム
WO2024203104A1 (ja) 制御装置、測距装置および制御方法
WO2024095625A1 (ja) 測距装置および測距方法
US20240353559A1 (en) Ranging device and ranging method
WO2024070673A1 (ja) 固体撮像装置、電子機器及びプログラム
JP2024048232A (ja) 光検出装置及び測距システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 15760438

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17843216

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17843216

Country of ref document: EP

Kind code of ref document: A1