WO2021024720A1 - 通信装置および通信方法 - Google Patents

通信装置および通信方法 Download PDF

Info

Publication number
WO2021024720A1
WO2021024720A1 PCT/JP2020/027482 JP2020027482W WO2021024720A1 WO 2021024720 A1 WO2021024720 A1 WO 2021024720A1 JP 2020027482 W JP2020027482 W JP 2020027482W WO 2021024720 A1 WO2021024720 A1 WO 2021024720A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication device
light
link
unit
communication
Prior art date
Application number
PCT/JP2020/027482
Other languages
English (en)
French (fr)
Inventor
恭二 横山
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/623,877 priority Critical patent/US20220357446A1/en
Publication of WO2021024720A1 publication Critical patent/WO2021024720A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W92/00Interfaces specially adapted for wireless communication networks
    • H04W92/16Interfaces between hierarchically similar devices
    • H04W92/18Interfaces between hierarchically similar devices between terminal devices

Definitions

  • This disclosure relates to communication devices and communication methods.
  • Patent Document 1 A technique for performing a predetermined connection operation in order to send and receive data between a plurality of communication devices is known (see, for example, Patent Document 1).
  • connection operation is complicated, and it takes a lot of time and effort for the user to perform the connection operation.
  • this disclosure proposes a communication device and a communication method that can simplify the connection operation between communication devices.
  • a communication device includes a ToF (Time of Flight) sensor and a control unit.
  • the ToF sensor has a light emitting unit that irradiates the object to be measured with light, and a light receiving unit that receives the light reflected from the object to be measured.
  • the control unit controls the ToF sensor. Further, the control unit emits light from the light emitting unit for requesting the formation of a link from another communication device, and emits light which is a response to the request for forming the link from the other communication device. Light is received by the light receiving part.
  • a technique for performing a predetermined connection operation in order to send and receive data between a plurality of communication devices is known.
  • the two communication terminal devices must be held integrally and rocked a plurality of times, which makes the connection operation complicated. It took a lot of time and effort.
  • FIG. 1 is a block diagram showing a schematic configuration example of the communication device 10 according to the embodiment.
  • the communication device 10 according to the embodiment is, for example, a portable wireless terminal such as a smartphone or a tablet terminal.
  • the communication device 10 includes a front ToF sensor 20, a rear ToF sensor 30, a front camera module 40, a rear camera module 50, a communication unit 60, a display unit 70, and the like.
  • a storage unit 80 and a control unit 90 are provided.
  • the front ToF sensor 20 and the rear ToF sensor 30 are examples of ToF sensors, and the front camera module 40 and the rear camera module 50 are examples of camera modules.
  • the front ToF sensor 20 is provided on the front surface of the housing of the communication device 10 and measures the distance D from the object X to be measured on the front side of the communication device 10.
  • the front ToF sensor 20 includes a light emitting unit 21, a light receiving unit 22, a calculation unit 23, and a sensor control unit 24.
  • the light emitting unit 21 includes, for example, one or a plurality of semiconductor laser diodes as a light source, and emits pulsed laser light (hereinafter, referred to as irradiation light) L1 having a predetermined time width in a predetermined period (also referred to as a light emitting cycle). To do.
  • irradiation light pulsed laser light
  • the light emitting unit 21 emits the irradiation light L1 toward an angle range equal to or greater than the angle of view of the light receiving unit 22.
  • the light emitting unit 21 emits irradiation light L1 having a time width of several ns to 5 ns in a cycle of, for example, 100 MHz.
  • the irradiation light L1 emitted from the light emitting unit 21 is reflected by the object X to be measured, for example, when the object X to be measured exists within the distance measuring range, and is incident on the light receiving unit 22 as the reflected light L2. ..
  • the light receiving unit 22 includes, for example, a plurality of pixels arranged in a two-dimensional grid pattern, and outputs the signal intensity (hereinafter, also referred to as a pixel signal) detected in each pixel after the light emitting unit 21 emits light. Details of the light receiving unit 22 will be described later.
  • the calculation unit 23 generates a depth image within the angle of view of the light receiving unit 22 based on the pixel signal output from the light receiving unit 22. At that time, the calculation unit 23 may execute a predetermined process such as noise removal on the generated depth image.
  • the depth image generated by the calculation unit 23 is output to the control unit 90 or the like via the sensor control unit 24, for example.
  • the sensor control unit 24 is composed of, for example, an information processing device such as a CPU (Central Processing Unit), and controls each unit of the front ToF sensor 20.
  • an information processing device such as a CPU (Central Processing Unit)
  • CPU Central Processing Unit
  • the rear ToF sensor 30 is provided on the back surface of the housing of the communication device 10 and measures the distance D from the object X to be measured on the back side of the communication device 10.
  • the rear ToF sensor 30 includes a light emitting unit 31, a light receiving unit 32, a calculation unit 33, and a sensor control unit 34.
  • the light emitting unit 31 includes, for example, one or a plurality of semiconductor laser diodes as a light source, and emits pulsed irradiation light L1 having a predetermined time width at a predetermined cycle.
  • the light emitting unit 31 emits the irradiation light L1 toward an angle range equal to or greater than the angle of view of the light receiving unit 32.
  • the light emitting unit 31 emits irradiation light L1 having a time width of several ns to 5 ns in a cycle of, for example, 100 MHz.
  • the irradiation light L1 emitted from the light emitting unit 31 is reflected by the object X to be measured, for example, when the object X to be measured exists within the distance measuring range, and is incident on the light receiving unit 32 as the reflected light L2. ..
  • the light receiving unit 32 includes, for example, a plurality of pixels arranged in a two-dimensional grid pattern, and outputs a pixel signal detected by each pixel after the light emitting unit 31 emits light.
  • the light receiving unit 32 has the same configuration as the light receiving unit 22 described above.
  • the calculation unit 33 generates a depth image within the angle of view of the light receiving unit 32 based on the pixel signal output from the light receiving unit 32. At that time, the calculation unit 33 may execute a predetermined process such as noise removal on the generated depth image.
  • the depth image generated by the calculation unit 33 is output to the control unit 90 or the like via the sensor control unit 34, for example.
  • the sensor control unit 34 is composed of, for example, an information processing device such as a CPU (Central Processing Unit), and controls each part of the rear ToF sensor 30.
  • an information processing device such as a CPU (Central Processing Unit)
  • CPU Central Processing Unit
  • the front camera module 40 is provided on the front surface of the housing of the communication device 10, and photographs the front side of the communication device 10.
  • the front camera module 40 outputs the image data of the captured image to the control unit 90.
  • the front camera module 40 includes a control circuit (not shown), a lens, an image sensor, and the like.
  • the control unit 90 activates the control circuit and the image sensor of the front camera module 40. Then, when the image data based on the signal output from the image sensor is input to the control unit 90, the preview image corresponding to the subject is displayed on the display unit 70.
  • the rear camera module 50 is provided on the back surface of the housing of the communication device 10, and photographs the back side of the communication device 10.
  • the rear camera module 50 outputs the image data of the captured image to the control unit 90.
  • the rear camera module 50 includes a control circuit (not shown), a lens, an image sensor, and the like.
  • the control unit 90 activates the control circuit and the image sensor of the rear camera module 50. Then, when the image data based on the signal output from the image sensor is input to the control unit 90, the preview image corresponding to the subject is displayed on the display unit 70.
  • the communication unit 60 can communicate with any server device via a wireless communication network such as 3G (Generation), LTE (Long Term Evolution), or 5G NR (New Radio).
  • 3G Generation
  • LTE Long Term Evolution
  • 5G NR New Radio
  • the communication unit 60 can perform close communication with another communication device 10 by the short-range wireless communication technology.
  • the communication unit 60 may perform close communication with another communication device 10 by appropriately using various wireless communication technologies such as WiFi (registered trademark), Bluetooth (registered trademark), and NFC (Near Field Communication). it can.
  • WiFi registered trademark
  • Bluetooth registered trademark
  • NFC Near Field Communication
  • the display unit 70 is, for example, a display device such as a liquid crystal display panel, a plasma display panel, or an organic EL (Electro Luminescence) display panel.
  • the display unit 70 displays an image under the control of the control unit 90.
  • the display unit 70 can also serve as an input unit for receiving various operations from the user.
  • the display unit 70 may be referred to as a "screen”.
  • the storage unit 80 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory)
  • flash memory Flash Memory
  • storage device such as a hard disk or an optical disk.
  • the control unit 90 is a controller, and for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like executes various programs stored in the storage unit 80 using the RAM as a work area. Is realized by.
  • a CPU Central Processing Unit
  • MPU Micro Processing Unit
  • control unit 90 is a controller, and is realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • FIG. 2 is a block diagram showing a schematic configuration example of the solid-state image sensor 100 as the light receiving units 22 and 32 according to the embodiment.
  • the solid-state image sensor 100 shown in FIG. 2 is a back-illuminated indirect ToF sensor.
  • the solid-state image sensor 100 includes a pixel array unit 101 and peripheral circuits.
  • Peripheral circuits may include, for example, a vertical drive circuit 103, a column processing circuit 104, a horizontal drive circuit 105, and a system control unit 102.
  • the solid-state image sensor 100 further includes a signal processing unit 106 and a data storage unit 107.
  • the signal processing unit 106 and the data storage unit 107 may be mounted on the same substrate as the solid-state image sensor 100, or may be arranged on a substrate different from the solid-state image sensor 100.
  • pixels (hereinafter, also referred to as unit pixels) 101a that generate an electric charge according to the amount of received light and output a signal corresponding to the electric charge are arranged in a row direction and a column direction, that is, on a matrix (two-dimensional). It has a structure arranged in a grid pattern).
  • the row direction means the arrangement direction (horizontal direction in the drawing) of the unit pixels 101a of the pixel row
  • the column direction means the arrangement direction (vertical direction in the drawing) of the unit pixels 101a of the pixel row.
  • the pixel drive line LD is wired along the row direction for each pixel row in the matrix-like pixel array, and two vertical signal line VSLs are wired along the column direction in each pixel row. There is.
  • the pixel drive line LD transmits a drive signal for driving when reading a signal from the unit pixel 101a.
  • the pixel drive line LD is shown as one wiring, but the wiring is not limited to one.
  • One end of the pixel drive line LD is connected to the output end corresponding to each line of the vertical drive circuit 103.
  • the vertical drive circuit 103 includes a shift register, an address decoder, and the like, and drives each unit pixel 101a of the pixel array unit 101 at the same time for all pixels or in line units. That is, the vertical drive circuit 103 constitutes a drive unit that controls the operation of each unit pixel 101a of the pixel array unit 101 together with the system control unit 102 that controls the vertical drive circuit 103.
  • the number of elements to be driven at high speed connected to one pixel drive line LD affects the controllability of high speed drive and the accuracy of drive.
  • the pixel array portion of the solid-state image sensor used for distance measurement by the indirect ToF method is often a rectangular region long in the row direction.
  • the vertical signal line VSL or another control line extending in the column direction may be used for the pixel drive line LD of the element to be driven at high speed.
  • a plurality of unit pixels 101a arranged in the column direction are connected to the vertical signal line VSL and other control lines extending in the column direction.
  • the unit pixel 101a is driven, that is, the solid-state image sensor 100 is driven by a drive unit or a horizontal drive circuit 105 provided separately from the vertical drive circuit 103 via the vertical signal line VSL or other control lines. Will be done.
  • the signal output from each unit pixel 101a of the pixel row according to the drive control by the vertical drive circuit 103 is input to the column processing circuit 104 through the vertical signal line VSL.
  • the column processing circuit 104 performs predetermined signal processing on the signal output from each unit pixel 101a through the vertical signal line VSL, and temporarily holds the pixel signal after the signal processing.
  • the column processing circuit 104 performs noise removal processing, AD (Analog to Digital) conversion processing, and the like as signal processing.
  • AD Analog to Digital
  • the horizontal drive circuit 105 is composed of a shift register, an address decoder, and the like, and sequentially selects unit circuits corresponding to the pixel strings of the column processing circuit 104. By the selective scanning by the horizontal drive circuit 105, the pixel signals signal-processed for each unit circuit in the column processing circuit 104 are sequentially output.
  • the system control unit 102 is composed of a timing generator or the like that generates various timing signals, and based on the various timing signals generated by the timing generator, the vertical drive circuit 103, the column processing circuit 104, the horizontal drive circuit 105, etc. Drive control of.
  • the signal processing unit 106 has at least an arithmetic processing function, executes various signal processing such as arithmetic processing based on the pixel signal output from the column processing circuit 104, and obtains the distance information for each pixel calculated thereby. Output to the outside.
  • the data storage unit 107 temporarily stores the data required for the signal processing in the signal processing unit 106.
  • 3 and 4 are diagrams for explaining the outline of the distance measuring method by the indirect ToF method.
  • the light amount Q 0 the light amount Q 90 , the light amount Q 180, and the light amount Q 270 are detected by the light receiving unit 22.
  • the light amount Q 0 is the light amount of the reflected light L2 having a phase angle (also referred to as a phase difference) of 0 degrees with respect to the irradiation light L1 emitted from the light emitting unit 21, and the light amount Q 90 is the light emitting unit 21. It is the amount of reflected light L2 having a phase angle of 90 degrees with respect to the irradiation light L1 emitted from the light.
  • the light quantity Q 180 is the light quantity of the reflected light L2 having a phase angle of 180 degrees with respect to the irradiation light L1 emitted from the light emitting unit 21, and the light quantity Q 270 is the light quantity with respect to the irradiation light L1 emitted from the light emitting unit 21. It is the amount of reflected light L2 having a phase angle of 270 degrees.
  • the phase referred to here is the phase angle between the pulse of the irradiation light L1 and the pulse of the reflected light L2.
  • the phase angle ⁇ of the pulse of the reflected light L2 with respect to the irradiation light L1 can be represented by using, for example, a circle as shown in FIG. 4, the horizontal axis is the difference between the light quantity Q 180 of the light quantity Q 0 and the phase angle of 180 degrees of the reflected light L2 of the phase angle of 0 degrees of the reflected light L2, the vertical axis represents the phase angle of 90 degrees of the reflected light L2 is a difference between the light quantity Q 270 of the light quantity Q 90 and the phase angle 270 degrees of the reflected light L2.
  • phase angle ⁇ can be calculated, for example, by substituting the light amounts Q 0 , Q 90 , Q 180 and Q 270 detected as described above into the following equation (1).
  • Arctan ((Q 90- Q 270 ) / (Q 0- Q 180 )) ⁇ ⁇ (1)
  • phase angle ⁇ of the pulse of the reflected light L2 with respect to the irradiation light L1 corresponds to the round trip of the distance D from the front ToF sensor 20 and the rear ToF sensor 30 to the object X to be measured.
  • ⁇ t is the time difference between the emission of the irradiation light L1 and the reception of the reflected light L2
  • is the angular frequency of the modulation frequency f mod
  • c is the speed of light
  • the modulation frequency f mod of the irradiation light L1 is set to 100 MHz
  • the distance of the object X to be measured that exists at a position exceeding about 1.5 m in consideration of the distance of the round trip to the object X to be measured. D cannot be found.
  • the distance to the object X to be measured is measured using a different modulation frequency f mod .
  • f mod modulation frequency
  • the front ToF sensor 20 and the rear ToF sensor 30 create one depth image by acquiring four types of phase information of 0 degree, 90 degree, 180 degree, and 270 degree.
  • the light emitting units 21 and 31 of the ToF sensor according to the embodiment can emit the irradiation light L1 appropriately switched to a plurality of modulation frequencies. Further, the light receiving units 22 and 32 of the ToF sensor according to the embodiment can receive the reflected light L2 corresponding to the irradiation light L1 whose modulation frequency has been switched.
  • FIGS. 5 to 8 are diagrams showing an example of a communication method according to the embodiment of the present disclosure.
  • a connection operation is performed between the two communication devices 10-1 and the communication device 10-2, and the user of the communication device 10-1 uses an image stored in the communication device 10-2 (in the figure, the cat's image).
  • An example of the case where the data of the image) is transferred will be described.
  • the data sharing application is started in the communication device 10-1 and the communication device 10-2 (step S1).
  • the image to be transferred to the communication device 10-1 is displayed on the display unit 70.
  • the communication device 10-1 and the communication device 10-2 are arranged so as to approach each other (step S2).
  • the communication device 10-1 is held over the communication device 10-2 so that the back surface of the communication device 10-1 faces the front surface of the communication device 10-2.
  • the rear ToF sensor 30 of the communication device 10-1 and the front ToF sensor 20 of the communication device 10-2 face each other.
  • the rear ToF sensor 30 and the rear camera module 50 provided on the back surface of the communication device 10-1 are shown by broken lines for easy understanding.
  • the communication device 10-1 emits light for requesting the communication device 10-2 to form a link, triggered by a predetermined process described later (step S3). ..
  • the control unit 90 of the communication device 10-1 sends the irradiation light L1 for requesting the communication device 10-2 to form a link from the light emitting unit 31 of the rear ToF sensor 30 by using a predetermined process as a trigger. It emits light.
  • a trigger process for requesting the communication device 10-2 to form a link for example, there is a predetermined instruction from the user. For example, when the user presses a button (not shown) displayed on the display unit 70 in the application activated by the communication device 10-1, the control unit 90 forms a link to the communication device 10-2.
  • the light for requesting the above can be emitted from the light emitting unit 31.
  • control unit 90 emits light from the light emitting unit 31 for requesting the communication device 10-2 to form a link. can do.
  • the intention of the user can be surely reflected in the link formation process. Therefore, according to the embodiment, it is possible to prevent the link formation process between the communication device 10-1 and the communication device 10-2 from being erroneously proceeded.
  • control unit 90 may use the information regarding the distance D between the communication device 10-1 and the communication device 10-2 as a trigger for requesting the communication device 10-2 to form a link.
  • the control unit 90 when the distance D between the communication device 10-1 and the communication device 10-2 is equal to or less than a predetermined distance, the control unit 90 emits light for requesting the communication device 10-2 to form a link. Light can be emitted from the light emitting unit 31. The control unit 90 can measure the distance D between the communication device 10-1 and the communication device 10-2 by using the rear ToF sensor 30 of the communication device 10-1.
  • control unit 90 may estimate the distance D between the communication device 10-1 and the communication device 10-2 based on the information obtained from the rear camera module 50. For example, the control unit 90 sets the communication device 10- based on the size of the communication device 10-2 stored in advance in the storage unit 80 and the image data of the communication device 10-2 acquired from the rear camera module 50. The distance D between 1 and the communication device 10-2 can be estimated.
  • the communication device 10-1 is communicated with the communication device 10-1 by emitting light for requesting the formation of the link based on the distance D between the communication device 10-1 and the communication device 10-2.
  • the link forming process can be advanced only by bringing the device 10-2 closer. Therefore, according to the embodiment, the link forming process between the communication device 10-1 and the communication device 10-2 can be easily proceeded.
  • the distance measurement processing is performed by thinning out the pixels to be used, and when the distance measurement processing and the link processing are performed in parallel, it is used. It is advisable to increase the number of pixels to be processed and perform both processes.
  • control unit 90 may use the information acquired by the rear camera module 50 of the communication device 10-1 as a trigger for requesting the communication device 10-2 to form a link. For example, as shown in FIG. 6, the user takes a picture of the communication device 10-2 on which the image data to be transferred is displayed by the rear camera module 50 of the communication device 10-1.
  • control unit 90 forms a link with the communication device 10-2.
  • the light for requesting the above can be emitted from the light emitting unit 31.
  • the control unit 90 causes the communication device 10-2. It is possible to emit light for requesting the formation of a link.
  • the communication device 10-2 is photographed by the communication device 10-1 by emitting light for requesting the formation of the link based on the information acquired by the rear camera module 50 of the communication device 10-1.
  • the link formation process can be advanced simply by doing so. Therefore, according to the embodiment, the link forming process between the communication device 10-1 and the communication device 10-2 can be easily proceeded.
  • the communication device 10-2 receives the light for requesting the formation of the link from the communication device 10-1 (step S4).
  • the control unit 90 of the communication device 10-2 receives the irradiation light L1 for requesting the formation of the link irradiated from the communication device 10-1 by the light receiving unit 22 of the front ToF sensor 20.
  • the control unit 90 of the communication device 10-2 responds to the link formation request to the communication device 10-1. It emits light (step S5).
  • control unit 90 of the communication device 10-2 emits the irradiation light L1 to the effect that the communication device 10-1 approves the link formation from the light emitting unit 21 of the front ToF sensor 20.
  • the communication device 10-1 receives light which is a response to the link formation request from the communication device 10-2 (step S6).
  • the control unit 90 of the communication device 10-1 receives the irradiation light L1 from the communication device 10-2 to the effect that the link formation is approved by the light receiving unit 32 of the rear ToF sensor 30.
  • the communication device 10-1 receives the light from the communication device 10-2 to the effect that the link formation is approved, the link between the communication device 10-1 and the communication device 10-2 is established.
  • bidirectional communication can be performed by using a plurality of indirect ToF type ToF sensors. This is because the indirect ToF type ToF sensor can emit light appropriately switched to a plurality of modulation frequencies and can receive light whose modulation frequencies are switched.
  • connection operation can be performed without performing the complicated operation as described above. Therefore, the communication device 10 The connection operation between each other can be simplified.
  • the communication device 10 is provided with the front ToF sensor 20 and the rear ToF sensor 30 on the front surface and the back surface of the housing, respectively.
  • the communication device 10 is provided with the front ToF sensor 20 and the rear ToF sensor 30 on the front surface and the back surface of the housing, respectively.
  • the link formation process can be performed without the user having to worry about the facing directions, so that the connection operation between the communication devices 10 can be further simplified.
  • the communication device 10 is provided with a plurality of ToF sensors (front ToF sensor 20 and rear ToF sensor 30), but the communication device 10 may be provided with only one ToF sensor. .. In this case, either the front ToF sensor 20 or the rear ToF sensor 30 may be provided.
  • the description of the processing after the link between the communication device 10-1 and the communication device 10-2 is established will be continued.
  • the communication device 10-1 and the communication device 10-2 that can confirm each other determine the optimum communication means for transmitting the image data based on the capacity of the image data to be transferred, the distance D between the two, and the like. ..
  • the communication device 10-2 transmits the image data to the communication device 10-1 by using the optimum communication means. Transfer (step S7). As a result, the communication device 10-1 can receive such image data.
  • the communication device 10-2 may transfer image data to the communication device 10-1 using the front ToF sensor 20.
  • the control unit 90 of the communication device 10-2 irradiates the communication device 10-1 with the irradiation light L1 in which the image data is modulated from the front ToF sensor 20.
  • control unit 90 of the communication device 10-1 can receive the image data by receiving the irradiation light L1 by the light receiving unit 32 of the rear ToF sensor 30.
  • the image data can be transferred without confirming the compatibility of the communication functions between the communication devices 10. Therefore, according to the embodiment, the image data can be transferred from the link forming process without delay.
  • the communication device 10-2 may transfer the image data to the communication device 10-1 by using the short-range wireless communication technology that can be implemented by the communication unit 60.
  • the communication unit 60 of the communication device 10-2 can transfer image data to the communication unit 60 of the communication device 10-1 by using technologies such as WiFi, Bluetooth, and NFC.
  • the image data is efficiently transferred even when the capacity of the image data is large. be able to.
  • step S7 the communication device 10-2 displays an identifier such as a 3D barcode on the display unit 70, and the rear camera module 50 of the communication device 10-1 reads the identifier, whereby the communication device 10-
  • the image data may be transferred to 1.
  • the link forming process is performed using the rear ToF sensor 30 of the communication device 10-1 and the front ToF sensor 20 of the communication device 10-2 is shown, but the link forming process is performed.
  • the ToF sensor to be used is not limited to the above case.
  • the link forming process may be performed using the front ToF sensor 20 of the communication device 10-1, or the link forming process may be performed using the rear ToF sensor 30 of the communication device 10-2.
  • the transferred data is not limited to the image data, but voice data, metadata, and payment information.
  • Various data such as data may be transferred.
  • FIG. 9 and 10 are diagrams for explaining a communication method according to a modified example of the embodiment of the present disclosure.
  • the process of forming a multi-link between the four communication devices 10-1 to 10-4 in the room R will be described.
  • an application for example, an application for a game
  • the communication device 10-1 which is the parent terminal, uses the predetermined process described above as a trigger to emit light for requesting the other communication devices 10-2 to 10-4 to form a link. It emits light from.
  • the communication device 10-2 when the communication device 10-2 receives the light for requesting the formation of the link from the communication device 10-1, the communication device 10-2 emits light from the ToF sensor to the effect that the link formation is approved. Light is emitted from the communication device 10-1. Further, the communication device 10-2 emits light from the ToF sensor for requesting the other communication devices 10-3 and 10-4 to form a link.
  • the communication device 10-3 when the communication device 10-3 receives the light for requesting the formation of the link from the communication device 10-2, the communication device 10-3 emits light from the ToF sensor to the effect that the link formation is approved. Light is emitted to the communication device 10-1 or the communication device 10-2. Further, the communication device 10-3 emits light from the ToF sensor for requesting the other communication devices 10-4 to form a link.
  • the communication device 10-1 when the communication device 10-1 and the communication device 10-2 face each other in the same direction, the communication device 10-1 reflects the irradiation light L1 by the wall W to reflect the irradiation light L1.
  • the multi-link formation process can be performed while eliminating the blind spot of the irradiation light L1.
  • control unit 90 of the communication device 10-1 serving as the parent terminal is, for example, based on the light of consenting to the link formation sent from the other communication devices 10-2 to 10-4, each communication device 10. Get the location information of.
  • control unit 90 of the communication device 10-1 can acquire the position information of each communication device 10 by using a technique such as SLAM (Simultaneous Localization and Mapping).
  • SLAM Simultaneous Localization and Mapping
  • the multi-link formation process in which the ToF sensors of each communication device 10 are co-lit and the process of acquiring the position information of each communication device 10 described so far are performed by the control unit 90 of each communication device 10 and the application activated. It can be implemented by cooperating with.
  • the application can be executed in the state of being multi-linked between the communication devices 10.
  • FIG. 11 is a flowchart showing a processing procedure of communication processing according to the embodiment of the present disclosure.
  • the communication device 10-1 and the communication device 10-2 each execute an application start process for starting an application (step S101).
  • communication device 10-1 and communication device 10-2 launch an application for data sharing.
  • the communication device 10-1 and the communication device 10-2 carry out a link formation process for forming a link with each other (step S102).
  • the communication device 10-1 serving as the parent terminal emits light from the ToF sensor for requesting the communication device 10-2 to form a link, triggered by a predetermined process.
  • the communication device 10-2 that has received the light for requesting the formation of the link emits information from the ToF sensor to the communication device 10-1 that the link formation is approved. Further, when the communication device 10-1 receives the light from the communication device 10-2 to the effect that the link formation is approved, the link formation process between the communication device 10-1 and the communication device 10-2 is completed.
  • the communication device 10-2 executes a data transfer process for transferring the designated data to the communication device 10-1 (step S103).
  • the communication device 10-2 can transfer data to the communication device 10-1 using the ToF sensor.
  • the communication device 10-2 may transfer data to the communication device 10-1 by using the short-range wireless communication technology that can be implemented by the communication unit 60.
  • the communication process according to the embodiment is completed.
  • FIG. 12 is a flowchart showing a processing procedure of communication processing according to a modified example of the embodiment of the present disclosure.
  • the communication devices 10-1 to 10-4 each execute an application start process for starting an application (step S201).
  • communication devices 10-1 to 10-4 launch an application for a game.
  • the communication devices 10-1 to 10-4 carry out a multi-link forming process for forming a link with each other (step S202).
  • the communication device 10-1 serving as the parent terminal emits light from the ToF sensor for requesting the communication devices 10-2 to 10-4 to form a link, triggered by a predetermined process.
  • the other communication device 10 that has received the light for requesting the formation of the link emits information from the ToF sensor to the communication device 10-1 to the effect that the link formation is accepted, and also to the other communication device 10.
  • light for requesting the formation of a link is emitted from the ToF sensor.
  • the communication device 10-1 serving as the parent terminal acquires the position information of each communication device 10 based on the light sent from the other communication devices 10-2 to 10-4 to the effect that the link formation is accepted.
  • the position information acquisition process to be performed is performed (step S203).
  • the communication process according to the modified example of the embodiment is completed.
  • the communication device 10-1 includes a ToF (Time of Flight) sensor (rear ToF sensor 30) and a control unit 90.
  • the ToF sensor (rear ToF sensor 30) has a light emitting unit 31 that irradiates the object X to be measured with light, and a light receiving unit 32 that receives the light reflected from the object X to be measured.
  • the control unit 90 controls the ToF sensor (rear ToF sensor 30). Further, the control unit 90 emits light from the light emitting unit 31 for requesting the other communication device 10-2 to form a link, and responds to the request for forming the link from the other communication device 10-2. A certain light is received by the light receiving unit 32.
  • the light receiving unit 32 transmits light which is data transmitted from the other communication device 10-2 after the link with the other communication device 10-2 is formed. Receive light.
  • the communication device 10-1 further includes a communication unit 60 that receives data from the other communication device 10-2 after the link with the other communication device 10-2 is formed.
  • the image data can be efficiently transferred even when the capacity of the image data is large.
  • control unit 90 emits light for requesting the other communication device 10-2 to form a link by using a predetermined instruction from the user as a trigger. It emits light from 31.
  • the control unit 90 triggers the other communication device 10-2 to have a distance D from the other communication device 10-2 to a predetermined distance or less.
  • light for requesting the formation of a link is emitted from the light emitting unit 31.
  • the communication device 10-1 further includes a camera module (rear camera module 50) that captures a subject. Further, the control unit 90 emits light from the light emitting unit 31 for requesting the other communication devices 10-2 to form a link, using the information acquired by the camera module (rear camera module 50) as a trigger. ..
  • the communication device 10-1 is provided with ToF sensors on the front surface and the back surface of the housing, respectively.
  • the link formation process can be performed without the user having to worry about the facing directions, so that the connection operation between the communication devices 10 can be further simplified.
  • the communication device 10-2 includes a ToF (Time of Flight) sensor (front ToF sensor 20) and a control unit 90.
  • the ToF sensor front ToF sensor 20
  • the control unit 90 controls the ToF sensor (front ToF sensor 20). Further, the control unit 90 receives the light for requesting the formation of a link from the other communication device 10-1 by the light receiving unit 22, and responds to the request for the formation of the link to the other communication device 10-1. A certain light is emitted from the light emitting unit 21.
  • the light emitting unit 21 emits light which is data to be transmitted to the other communication device 10-1 after the link with the other communication device 10-1 is formed. It emits light.
  • the communication device 10-2 further includes a communication unit 60 that transmits data to the other communication device 10-1 after the link with the other communication device 10-1 is formed.
  • the image data can be efficiently transferred even when the capacity of the image data is large.
  • the communication device 10-2 is provided with ToF sensors on the front surface and the back surface of the housing, respectively.
  • the link formation process can be performed without the user having to worry about the facing directions, so that the connection operation between the communication devices 10 can be further simplified.
  • the communication method includes a step of emitting light and a step of receiving light.
  • the step of emitting light light for requesting the formation of a link from another communication device 10-2 is emitted from the light emitting unit 31 of the ToF (Time of Flight) sensor (rear ToF sensor 30).
  • the light receiving unit 32 of the ToF sensor receives light, which is a response to the link formation request from the other communication device 10-2.
  • the link formation process is performed using the front ToF sensor 20 and the rear ToF sensor 30 using the indirect ToF method is shown, but the link is performed using the ToF sensor using the direct ToF method.
  • the forming process may be carried out.
  • the link forming process between the communication devices 10 is performed after starting the application for data sharing or the like is shown, but the link forming process between the communication devices 10 is performed without starting the application. It may be carried out.
  • the present technology can also have the following configurations.
  • a ToF (Time of Flight) sensor having a light emitting unit that irradiates an object to be measured with light and a light receiving unit that receives light reflected from the object to be measured. It is provided with a control unit that controls the ToF sensor.
  • the control unit Light for requesting the formation of a link from another communication device is emitted from the light emitting unit.
  • the communication device further comprising a communication unit that receives data from the other communication device after the link with the other communication device is formed.
  • the control unit emits light from the light emitting unit to request the other communication device to form a link, triggered by a predetermined instruction from the user, according to any one of (1) to (3).
  • the control unit emits light from the light emitting unit for requesting the other communication device to form a link, triggered by the fact that the distance to the other communication device is equal to or less than a predetermined distance.
  • the communication device according to any one of (1) to (3) above.
  • the control unit emits light from the light emitting unit for requesting the other communication device to form a link, using the information acquired by the camera module as a trigger, according to the above (1) to (3).
  • the communication device according to any one.
  • a ToF (Time of Flight) sensor having a light emitting unit that irradiates an object to be measured with light and a light receiving unit that receives light reflected from the object to be measured. It is provided with a control unit that controls the ToF sensor.
  • the control unit The light receiving unit receives light for requesting the formation of a link from another communication device.
  • a communication device that emits light from the light emitting unit, which is a response to a request for forming the link to the other communication device.
  • the light emitting unit emits light which is data transmitted to the other communication device after a link with the other communication device is formed.
  • the communication device according to (8) further comprising a communication unit that transmits data to the other communication device after the link with the other communication device is formed.
  • (11) The communication device according to any one of (8) to (10), wherein the ToF sensor is provided on the front surface and the back surface of the housing, respectively.
  • the light emitting step emits light from the light emitting unit for requesting the other communication device to form a link, triggered by a predetermined instruction from the user.
  • the light emitting unit emits light for requesting the formation of a link from the other communication device, triggered by the fact that the distance to the other communication device becomes equal to or less than a predetermined distance.
  • the information acquired by the camera module that captures the subject is used as a trigger to emit light from the light emitting unit for requesting the other communication device to form a link.
  • the communication method according to any one of (14).
  • (18) A step of receiving light from the light receiving unit for requesting the formation of a link from another communication device, and A step of emitting light from the light emitting unit, which is a response to the request for forming the link to the other communication device, Communication methods including.
  • (19) The communication method according to (18) above, which comprises a step of emitting light which is data transmitted to the other communication device after the link with the other communication device is formed.
  • Communication device 20 Front ToF sensor (an example of ToF sensor) 30 Rear ToF sensor (an example of ToF sensor) 40 Front camera module (an example of camera module) 50 Rear camera module (an example of camera module) 60 Communication unit 90 Control unit L1 Irradiation light L2 Reflected light

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本開示に係る通信装置(10-1)は、ToF(Time of Flight)センサと、制御部(90)とを備える。ToFセンサは、被測定物(X)に光を照射する発光部(31)と、被測定物(X)から反射される光を受光する受光部(32)とを有する。制御部(90)は、ToFセンサを制御する。また、制御部(90)は、他の通信装置(10-2)に対してリンクの形成を要求するための光を発光部(31)から発光し、他の通信装置(10-2)からのリンクの形成要求に対する応答である光を受光部(32)で受光する。

Description

通信装置および通信方法
 本開示は、通信装置および通信方法に関する。
 複数の通信装置同士でデータを送受信するために、所定の接続操作を実施する技術が知られている(たとえば、特許文献1参照)。
特開2011-130224号公報
 しかしながら、上記の技術は接続操作が煩雑であり、ユーザが接続操作する際に大きな手間がかかっていた。
 そこで、本開示では、通信装置同士の接続操作を簡便にすることができる通信装置および通信方法を提案する。
 本開示によれば、通信装置が提供される。通信装置は、ToF(Time of Flight)センサと、制御部とを備える。ToFセンサは、被測定物に光を照射する発光部と、前記被測定物から反射される光を受光する受光部とを有する。制御部は、前記ToFセンサを制御する。また、前記制御部は、他の通信装置に対してリンクの形成を要求するための光を前記発光部から発光し、前記他の通信装置からの前記リンクの形成要求に対する応答である光を前記受光部で受光する。
 本開示によれば、通信装置同士の接続操作を簡便にすることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の実施形態に係る通信装置の概略構成例を示すブロック図である。 本開示の実施形態に係る受光部としての固体撮像装置の概略構成例を示すブロック図である。 間接ToF方式による測距方法の概略を説明するための図である。 間接ToF方式による測距方法の概略を説明するための図である。 本開示の実施形態に係る通信方法を説明するための図である。 本開示の実施形態に係る通信方法を説明するための図である。 本開示の実施形態に係る通信方法を説明するための図である。 本開示の実施形態に係る通信方法を説明するための図である。 本開示の実施形態の変形例に係る通信方法を説明するための図である。 本開示の実施形態の変形例に係る通信方法を説明するための図である。 本開示の実施形態に係る通信処理の処理手順を示すフローチャートである。 本開示の実施形態の変形例に係る通信処理の処理手順を示すフローチャートである。
 以下に、本開示の各実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
 複数の通信装置同士でデータを送受信するために、所定の接続操作を実施する技術が知られている。しかしながら、上記の技術では、たとえば、接続操作の際に2つの通信端末装置を一体に保持して複数回揺動させなければならず、接続操作が煩雑であることから、ユーザが接続操作する際に大きな手間がかかっていた。
 そこで、上述の問題点を克服し、通信装置同士の接続操作を簡便にすることができる通信装置および通信方法の実現が期待されている。
[通信装置の概要]
 最初に、実施形態に係る通信装置10の概要について、図1を参照しながら説明する。図1は、実施形態に係る通信装置10の概略構成例を示すブロック図である。実施形態に係る通信装置10は、たとえば、スマートフォンやタブレット端末などの携帯型無線端末である。
 図1に示すように、実施形態に係る通信装置10は、フロントToFセンサ20と、リアToFセンサ30と、フロントカメラモジュール40と、リアカメラモジュール50と、通信部60と、表示部70と、記憶部80と、制御部90とを備える。
 なお、フロントToFセンサ20およびリアToFセンサ30はToFセンサの一例であり、フロントカメラモジュール40およびリアカメラモジュール50はカメラモジュールの一例である。
 フロントToFセンサ20は、通信装置10の筐体の前面に設けられ、通信装置10の前面側の被測定物Xとの距離Dを測定する。フロントToFセンサ20は、発光部21と、受光部22と、演算部23と、センサ制御部24とを有する。
 発光部21は、たとえば、1つまたは複数の半導体レーザダイオードを光源として備えており、所定時間幅のパルス状のレーザ光(以下、照射光という)L1を所定周期(発光周期ともいう)で出射する。
 発光部21は、少なくとも、受光部22の画角以上の角度範囲に向けて照射光L1を出射する。発光部21は、たとえば、100MHzの周期で、数ns~5nsの時間幅の照射光L1を出射する。発光部21から出射された照射光L1は、たとえば、測距範囲内に被測定物Xが存在する場合には、この被測定物Xで反射して、反射光L2として受光部22に入射する。
 受光部22は、たとえば、2次元格子状に配列した複数の画素を備え、発光部21の発光後に各画素で検出された信号強度(以下、画素信号ともいう)を出力する。かかる受光部22の詳細について後述する。
 演算部23は、受光部22から出力された画素信号に基づいて、受光部22の画角内のデプス画像を生成する。その際、演算部23は、生成したデプス画像に対し、ノイズ除去などの所定の処理を実行してもよい。演算部23で生成されたデプス画像は、たとえば、センサ制御部24を介して制御部90などに出力される。
 センサ制御部24は、たとえば、CPU(Central Processing Unit)などの情報処理装置で構成され、フロントToFセンサ20の各部を制御する。
 リアToFセンサ30は、通信装置10の筐体の背面に設けられ、通信装置10の背面側の被測定物Xとの距離Dを測定する。リアToFセンサ30は、発光部31と、受光部32と、演算部33と、センサ制御部34とを有する。
 発光部31は、たとえば、1つまたは複数の半導体レーザダイオードを光源として備えており、所定時間幅のパルス状の照射光L1を所定周期で出射する。
 発光部31は、少なくとも、受光部32の画角以上の角度範囲に向けて照射光L1を出射する。発光部31は、たとえば、100MHzの周期で、数ns~5nsの時間幅の照射光L1を出射する。発光部31から出射された照射光L1は、たとえば、測距範囲内に被測定物Xが存在する場合には、この被測定物Xで反射して、反射光L2として受光部32に入射する。
 受光部32は、たとえば、2次元格子状に配列した複数の画素を備え、発光部31の発光後に各画素で検出された画素信号を出力する。なお、受光部32は、上述の受光部22と同様の構成を有する。
 演算部33は、受光部32から出力された画素信号に基づいて、受光部32の画角内のデプス画像を生成する。その際、演算部33は、生成したデプス画像に対し、ノイズ除去などの所定の処理を実行してもよい。演算部33で生成されたデプス画像は、たとえば、センサ制御部34を介して制御部90などに出力される。
 センサ制御部34は、たとえば、CPU(Central Processing Unit)などの情報処理装置で構成され、リアToFセンサ30の各部を制御する。
 フロントカメラモジュール40は、通信装置10の筐体の前面に設けられ、通信装置10の前面側を撮影する。フロントカメラモジュール40は、撮影した画像の画像データを制御部90へ出力する。
 フロントカメラモジュール40は、図示しない制御回路、レンズおよびイメージセンサなどを含む。通信装置10に対して前面側のカメラ機能を実行する操作がされると、制御部90は、フロントカメラモジュール40の制御回路およびイメージセンサを起動する。そして、イメージセンサから出力された信号に基づく画像データが制御部90に入力されると、被写体に対応するプレビュー画像が表示部70に表示される。
 リアカメラモジュール50は、通信装置10の筐体の背面に設けられ、通信装置10の背面側を撮影する。リアカメラモジュール50は、撮影した画像の画像データを制御部90へ出力する。
 リアカメラモジュール50は、図示しない制御回路、レンズおよびイメージセンサなどを含む。通信装置10に対して背面側のカメラ機能を実行する操作がされると、制御部90は、リアカメラモジュール50の制御回路およびイメージセンサを起動する。そして、イメージセンサから出力された信号に基づく画像データが制御部90に入力されると、被写体に対応するプレビュー画像が表示部70に表示される。
 通信部60は、3G(Generation)やLTE(Long Term Evolution)、5G NR(New Radio)などの無線通信網を介して、任意のサーバ装置と通信を行うことができる。
 また、通信部60は、近距離無線通信技術により、他の通信装置10との近接通信を行うことができる。たとえば、通信部60は、WiFi(登録商標)やBluetooth(登録商標)、NFC(Near Field Communication)などの種々の無線通信に関する技術を適宜用いて、他の通信装置10と近接通信を行うことができる。
 表示部70は、たとえば、液晶ディスプレイパネル、プラズマディスプレイパネル、有機EL(Electro Luminescence)ディスプレイパネルなどの表示装置である。表示部70は、制御部90の制御に基づいて画像を表示する。
 また、表示部70にタッチパネルを採用することにより、表示部70は、ユーザからの各種操作を受け付ける入力部を兼ねることができる。なお、以降の説明では、表示部70を「画面」と称する場合がある。
 記憶部80は、たとえば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置によって実現される。
 制御部90は、コントローラ(controller)であり、たとえば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって、記憶部80に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。
 また、制御部90は、コントローラであり、たとえば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路により実現される。
[受光部の構成]
 次に、実施形態に係るフロントToFセンサ20の受光部22およびリアToFセンサ30の受光部32の構成について、図2~図4を参照しながら説明する。
 図2は、実施形態に係る受光部22、32としての固体撮像装置100の概略構成例を示すブロック図である。図2に示す固体撮像装置100は、裏面照射型の間接ToFセンサである。
 固体撮像装置100は、画素アレイ部101と、周辺回路とを備える。周辺回路には、たとえば、垂直駆動回路103と、カラム処理回路104と、水平駆動回路105と、システム制御部102とが含まれ得る。
 固体撮像装置100は、さらに、信号処理部106と、データ格納部107とを備える。なお、信号処理部106およびデータ格納部107は、固体撮像装置100と同じ基板上に搭載されてもよいし、固体撮像装置100とは別の基板上に配置されてもよい。
 画素アレイ部101は、受光した光量に応じた電荷を生成し、その電荷に応じた信号を出力する画素(以下、単位画素とも称する)101aが行方向および列方向に、すなわち行列上(2次元格子状ともいう)に配列された構成を備える。
 ここで、行方向とは画素行の単位画素101aの配列方向(図面中、横方向)をいい、列方向とは画素列の単位画素101aの配列方向(図面中、縦方向)をいう。
 画素アレイ部101では、行列状の画素配列に対し、画素行ごとに画素駆動線LDが行方向に沿って配線され、各画素列に2つの垂直信号線VSLが列方向に沿って配線されている。画素駆動線LDは、単位画素101aから信号を読み出す際の駆動を行うための駆動信号を伝送する。
 なお、図2では、画素駆動線LDを1本の配線として示しているが、1本に限られるものではない。画素駆動線LDの一端は、垂直駆動回路103の各行に対応した出力端に接続されている。
 垂直駆動回路103は、シフトレジスタやアドレスデコーダなどを含み、画素アレイ部101の各単位画素101aを全画素同時あるいは行単位などで駆動する。すなわち、垂直駆動回路103は、垂直駆動回路103を制御するシステム制御部102とともに、画素アレイ部101の各単位画素101aの動作を制御する駆動部を構成している。
 なお、間接ToF方式での測距においては、1つの画素駆動線LDに接続されている高速駆動させる素子の数が高速駆動の制御性や駆動の精度へ影響を及ぼす。ここで、間接ToF方式での測距に用いる固体撮像装置の画素アレイ部は、行方向に長い矩形領域とされることが多い。
 したがって、そのような場合、高速駆動させる素子の画素駆動線LDに関しては、垂直信号線VSLや列方向に延在する他の制御線が用いられるようにしてもよい。このように構成した場合、たとえば垂直信号線VSLや列方向に延在する他の制御線に対して、列方向に配列された複数の単位画素101aが接続される。
 そして、それらの垂直信号線VSLや他の制御線を介して、垂直駆動回路103とは別に設けられた駆動部や水平駆動回路105などにより単位画素101aの駆動、すなわち固体撮像装置100の駆動が行われる。
 垂直駆動回路103による駆動制御に応じて画素行の各単位画素101aから出力される信号は、垂直信号線VSLを通してカラム処理回路104に入力される。カラム処理回路104は、各単位画素101aから垂直信号線VSLを通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
 具体的には、カラム処理回路104は、信号処理としてノイズ除去処理やAD(Analog to Digital)変換処理などを行う。
 水平駆動回路105は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理回路104の画素列に対応する単位回路を順番に選択する。この水平駆動回路105による選択走査により、カラム処理回路104において単位回路ごとに信号処理された画素信号が順番に出力される。
 システム制御部102は、各種のタイミング信号を生成するタイミングジェネレータ等により構成され、そのタイミングジェネレータで生成された各種のタイミング信号を基に、垂直駆動回路103、カラム処理回路104、水平駆動回路105等の駆動制御を行う。
 信号処理部106は、少なくとも演算処理機能を有し、カラム処理回路104から出力される画素信号に基づいて演算処理などの種々の信号処理を実行し、それにより算出された画素ごとの距離情報を外部へ出力する。データ格納部107は、信号処理部106での信号処理にあたり、その処理に必要なデータを一時的に格納する。
 図3および図4は、間接ToF方式による測距方法の概略を説明するための図である。図3に示すように、間接ToF方式では、光量Qと、光量Q90と、光量Q180と、光量Q270とが、受光部22によって検出される。
 ここで、光量Qとは、発光部21から出射した照射光L1に対する位相角度(位相差ともいう)が0度の反射光L2の光量のことであり、光量Q90とは、発光部21から出射した照射光L1に対する位相角度が90度の反射光L2の光量のことである。
 また、光量Q180とは、発光部21から出射した照射光L1に対する位相角度が180度の反射光L2の光量のことであり、光量Q270とは、発光部21から出射した照射光L1に対する位相角度が270度の反射光L2の光量のことである。なお、ここでいう位相とは、照射光L1のパルスと反射光L2のパルスとの位相角度である。
 照射光L1に対する反射光L2のパルスの位相角度αは、たとえば、図4に示すような円を用いて表すことができる。図4において、横軸は、位相角度0度の反射光L2の光量Qと位相角度180度の反射光L2の光量Q180との差分であり、縦軸は、位相角度90度の反射光L2の光量Q90と位相角度270度の反射光L2の光量Q270との差分である。
 そして、位相角度αは、たとえば、上記のように検出された光量Q、Q90、Q180およびQ270を以下の式(1)に代入することで算出することができる。
α=Arctan((Q90-Q270)/(Q-Q180)) ・・(1)
 ここで、照射光L1に対する反射光L2のパルスの位相角度αは、フロントToFセンサ20およびリアToFセンサ30から被測定物Xまでの距離Dの往復に相当する。
 したがって、式(1)で算出された位相角度αを以下の式(2)に代入することで、フロントToFセンサ20およびリアToFセンサ30から被測定物Xまでの距離Dを算出することができる。
D=(c・Δt)/2=(c・α)/2ω=(c・α)/4πfmod ・・(2)
 なお、式(2)において、Δtは照射光L1を出射してから反射光L2を受光するまでの時間差であり、ωは変調周波数fmodの角周波数であり、cは光速である。
 ただし、以上のような方法では、位相角度360度の不確定性について縮退するため、位相角度αが360度を超える被測定物Xまでの距離Dを正確に測定することができない。
 たとえば、照射光L1の変調周波数fmodを100MHzとした場合、被測定物Xまでの往復分の距離を考慮して、約1.5mを超える位置に存在する被測定物Xについては、その距離Dを求めることができない。
 そこで、このような場合には、異なる変調周波数fmodを用いて被測定物Xまでの距離を測定する。これにより、その結果に基づいて縮退を解くことが可能となるため、ある一定以上の距離に存在する被測定物Xまで距離Dをも特定することが可能となる。
 このように、フロントToFセンサ20およびリアToFセンサ30では、0度、90度、180度、270度の4種類の位相情報を取得することで、1枚のデプス画像が作成される。
 ここまで説明したように、実施形態に係るToFセンサの発光部21、31は、複数の変調周波数に適宜切り替えられた照射光L1を出射することができる。また、実施形態に係るToFセンサの受光部22、32は、変調周波数が切り替えた照射光L1に対応する反射光L2を受光することができる。
[通信方法の詳細]
 つづいて、実施形態に係る通信方法の詳細について、図5~図8を参照しながら説明する。図5~図8は、本開示の実施形態に係る通信方法の一例を示す図である。ここでは、2台の通信装置10-1および通信装置10-2の間で接続操作を実施し、通信装置10-1のユーザが、通信装置10-2に保存された画像(図では猫の画像)のデータを転送してもらう場合の一例について説明する。
 最初に、通信装置10-1および通信装置10-2において、データシェア用のアプリケーションが起動される(ステップS1)。たとえば、通信装置10-2では、かかるデータシェア用のアプリケーションにおいて、通信装置10-1に転送したい画像が表示部70に表示される。
 次に、通信装置10-1と通信装置10-2とが互いに近づくように配置される(ステップS2)。たとえば、図5の例では、通信装置10-1の背面が通信装置10-2の前面と向かい合うように、通信装置10-1が通信装置10-2にかざされる。
 これにより、通信装置10-1のリアToFセンサ30と、通信装置10-2のフロントToFセンサ20とが向かい合う。なお、以降の図面では、理解を容易にするため、通信装置10-1の背面に設けられるリアToFセンサ30およびリアカメラモジュール50を破線で示す。
 次に、図6に示すように、通信装置10-1は、後述する所定の処理をトリガとして、通信装置10-2に対してリンクの形成を要求するための光を発光する(ステップS3)。たとえば、通信装置10-1の制御部90は、所定の処理をトリガとして、通信装置10-2に対してリンクの形成を要求するための照射光L1を、リアToFセンサ30の発光部31から発光する。
 通信装置10-2に対してリンクの形成を要求するためのトリガとなる処理としては、たとえば、ユーザからの所定の指示がある。たとえば、通信装置10-1において起動されたアプリケーション内で表示部70に表示されるボタン(図示せず)をユーザが押すことによって、制御部90は、通信装置10-2に対してリンクの形成を要求するための光を発光部31から発光することができる。
 また、通信装置10-1に物理的に設けられる各種ボタンをユーザが押すことによって、制御部90は、通信装置10-2に対してリンクの形成を要求するための光を発光部31から発光することができる。
 このように、ユーザからの指示に基づいてリンクの形成を要求するための光を発光することにより、ユーザの意思を確実にリンク形成処理に反映させることができる。したがって、実施形態によれば、通信装置10-1と通信装置10-2とのリンク形成処理が誤って進められることを抑制することができる。
 また、制御部90は、通信装置10-1と通信装置10-2との間の距離Dに関する情報を、通信装置10-2に対してリンクの形成を要求するためのトリガとしてもよい。
 たとえば、通信装置10-1と通信装置10-2との距離Dが所定の距離以下である場合に、制御部90は、通信装置10-2に対してリンクの形成を要求するための光を発光部31から発光することができる。なお、制御部90は、通信装置10-1と通信装置10-2との距離Dを、通信装置10-1のリアToFセンサ30を用いて測定することができる。
 また、制御部90は、リアカメラモジュール50から得られる情報に基づいて、通信装置10-1と通信装置10-2との距離Dを推定してもよい。たとえば、制御部90は、記憶部80にあらかじめ記憶されている通信装置10-2の大きさと、リアカメラモジュール50から取得される通信装置10-2の画像データとに基づいて、通信装置10-1と通信装置10-2との距離Dを推定することができる。
 このように、通信装置10-1と通信装置10-2との間の距離Dに基づいてリンクの形成を要求するための光を発光することにより、実施形態では、通信装置10-1と通信装置10-2を近づけるだけでリンク形成処理を進めることができる。したがって、実施形態によれば、通信装置10-1と通信装置10-2とのリンク形成処理を簡便に進めることができる。
 なお、実施形態では、通信装置10のToFセンサで測距処理のみを行う場合、使用する画素を間引いて測距処理を行い、測距処理とリンク処理とを平行して行う場合には、使用する画素を増やして両方の処理を実施するとよい。
 また、制御部90は、通信装置10-1のリアカメラモジュール50で取得される情報を、通信装置10-2に対してリンクの形成を要求するためのトリガとしてもよい。たとえば、図6に示すように、ユーザは、転送したい画像データが表示された通信装置10-2を通信装置10-1のリアカメラモジュール50で撮影する。
 そして、たとえば、通信装置10-2の表示部70に表示されるアプリケーション内の所定のマーク(図示せず)を認識した場合に、制御部90は、通信装置10-2に対してリンクの形成を要求するための光を発光部31から発光することができる。
 また、リアカメラモジュール50にAI機能が搭載されており、かかるAI機能が通信装置10-2に表示される画像データを転送したい旨を認識した場合に、制御部90は、通信装置10-2に対してリンクの形成を要求するための光を発光することができる。
 このように、通信装置10-1のリアカメラモジュール50で取得される情報に基づいてリンクの形成を要求するための光を発光することにより、通信装置10-2を通信装置10-1で撮影するだけでリンク形成処理を進めることができる。したがって、実施形態によれば、通信装置10-1と通信装置10-2とのリンク形成処理を簡便に進めることができる。
 次に、通信装置10-2は、通信装置10-1からのリンクの形成を要求するための光を受光する(ステップS4)。たとえば、通信装置10-2の制御部90は、通信装置10-1から照射されたリンクの形成を要求するための照射光L1を、フロントToFセンサ20の受光部22で受光する。
 次に、図7に示すように、通信装置10-1からのリンク形成要求を認識した場合、通信装置10-2の制御部90は、通信装置10-1に対してリンクの形成要求に対する応答である光を発光する(ステップS5)。
 たとえば、通信装置10-2の制御部90は、通信装置10-1に対してリンク形成を承諾する旨の照射光L1を、フロントToFセンサ20の発光部21から発光する。
 そして、通信装置10-1は、通信装置10-2からのリンクの形成要求に対する応答である光を受光する(ステップS6)。たとえば、通信装置10-1の制御部90は、通信装置10-2からのリンク形成を承諾する旨の照射光L1を、リアToFセンサ30の受光部32で受光する。
 そして、通信装置10-2からリンク形成を承諾する旨の光を通信装置10-1が受光することにより、通信装置10-1と通信装置10-2とのリンクが成立する。
 ここまで説明したように、実施形態では、間接ToF方式のToFセンサを複数用いることにより、双方向通信を実施することができる。なぜなら、間接ToF方式のToFセンサは、複数の変調周波数に適宜切り替えられた光を出射することができるとともに、変調周波数が切り替えた光を受光することができるからである。
 そして、実施形態では、複数の通信装置10にそれぞれ設けられるToFセンサを用いてリンク形成処理を実施することにより、上述のように煩雑な操作をすることなく接続操作を実施できることから、通信装置10同士の接続操作を簡便にすることができる。
 また、実施形態では、通信装置10が、筐体の前面および背面にそれぞれフロントToFセンサ20およびリアToFセンサ30を備えるとよい。これにより、複数の通信装置10がさまざまな向きに向かい合っていたとしても、複数の通信装置10にそれぞれ設けられるToFセンサを用いて双方向通信を実施することができる。
 したがって、実施形態によれば、向かい合わせる向きをユーザが気にすることなくリンク形成処理を実施することができることから、通信装置10同士の接続操作をさらに簡便にすることができる。
 なお、上記の例では、通信装置10に複数のToFセンサ(フロントToFセンサ20、リアToFセンサ30)が設けられている例について示したが、通信装置10に設けられるToFセンサは1つでもよい。この場合、フロントToFセンサ20、リアToFセンサ30のいずれが設けられていてもよい。
 通信装置10-1と通信装置10-2とのリンクが成立した後の処理について説明を続ける。互いを確認することができた通信装置10-1および通信装置10-2は、転送したい画像データの容量や互いの距離Dなどに基づいて、かかる画像データを送信する最適な通信手段を決定する。
 なおこの際、通信装置10同士の通信機能に関する互換性を確認した上で、画像データを送信する最適な通信手段を決定するとよい。
 そして、画像データを送信する最適な通信手段が決定されると、図8に示すように、かかる最適な通信手段を用いて、通信装置10-2は通信装置10-1に対して画像データを転送する(ステップS7)。これにより、通信装置10-1は、かかる画像データを受け取ることができる。
 なお、このステップS7において、通信装置10-2は、フロントToFセンサ20を用いて通信装置10-1に画像データを転送してもよい。たとえば、通信装置10-2の制御部90は、フロントToFセンサ20から画像データが変調処理された照射光L1を通信装置10-1に照射する。
 そして、通信装置10-1の制御部90は、かかる照射光L1をリアToFセンサ30の受光部32で受光することにより、画像データを受信することができる。
 このように、互いのToFセンサを用いて画像データを送受信することにより、実施形態では、通信装置10同士の通信機能に関する互換性を確認することなく画像データを転送することができる。したがって、実施形態によれば、リンク形成処理から遅延なく画像データを転送することができる。
 また、ステップS7において、通信装置10-2は、通信部60で実施することができる近距離無線通信技術を用いて、通信装置10-1に画像データを転送してもよい。たとえば、通信装置10-2の通信部60は、WiFiやBluetooth、NFCなどの技術を用いて、通信装置10-1の通信部60に画像データを転送することができる。
 このように、通信部60で実施することができる近距離無線通信技術を用いて画像データを送受信することにより、実施形態では、画像データの容量が大きいような場合でも効率よく画像データを転送することができる。
 また、ステップS7において、通信装置10-2は、表示部70に3Dバーコードなどの識別子を表示し、かかる識別子を通信装置10-1のリアカメラモジュール50で読み込ませることにより、通信装置10-1に画像データを転送してもよい。
 なお、上記の実施形態では、通信装置10-1のリアToFセンサ30と通信装置10-2のフロントToFセンサ20とを用いてリンク形成処理を実施した例について示したが、リンク形成処理を実施するToFセンサは上記の場合に限られない。
 たとえば、通信装置10-1のフロントToFセンサ20を用いてリンク形成処理を実施してもよいし、通信装置10-2のリアToFセンサ30を用いてリンク形成処理を実施してもよい。
 また、上記の実施形態では、通信装置10-2から通信装置10-1に画像データを転送する例について示したが、転送されるデータは画像データに限られず、音声データやメタデータ、決済情報データなどの各種データが転送されてもよい。
[変形例]
 ここまで説明した実施形態では、2台の通信装置10の間におけるリンク形成処理について示したが、リンク形成処理を実施可能な通信装置10は2台に限られず、3台以上の通信装置10の間でマルチリンクを形成することも可能である。そこで、以降においては、変形例として3台以上の通信装置10の間でマルチリンクを形成する処理について説明する。
 図9および図10は、本開示の実施形態の変形例に係る通信方法を説明するための図である。図9の例では、室内Rにある4台の通信装置10-1~10-4の間でマルチリンクを形成する処理について説明する。
 図9の例では、最初に、複数の通信装置10によるマルチリンクが求められるアプリケーション(たとえば、ゲーム用のアプリケーション)が、各通信装置10で起動される。そして、親端末となる通信装置10-1が、上記で説明した所定の処理をトリガとして、その他の通信装置10-2~10-4に対してリンクの形成を要求するための光をToFセンサから発光する。
 そして、たとえば、通信装置10-1からリンクの形成を要求するための光を通信装置10-2が受光した場合、かかる通信装置10-2は、リンク形成を承諾する旨の光をToFセンサから通信装置10-1に発光する。また、通信装置10-2は、その他の通信装置10-3、10-4に対してリンクの形成を要求するための光をToFセンサから発光する。
 そして、たとえば、通信装置10-2からリンクの形成を要求するための光を通信装置10-3が受光した場合、かかる通信装置10-3は、リンク形成を承諾する旨の光をToFセンサから通信装置10-1または通信装置10-2に発光する。また、通信装置10-3は、その他の通信装置10-4に対してリンクの形成を要求するための光をToFセンサから発光する。
 このように、変形例では、複数の通信装置10のToFセンサを協調点灯させることにより、ToFセンサの照射光L1の死角をなくしながらマルチリンク形成処理を実施するとよい。
 また、図10に示すように、通信装置10-1と通信装置10-2とが互いに同じ向きを向いている場合、通信装置10-1は、照射光L1を壁Wで反射させることにより、照射光L1の死角をなくしながらマルチリンク形成処理を実施することができる。
 さらに、親端末となる通信装置10-1の制御部90は、たとえば、その他の通信装置10-2~10-4から送られたリンク形成を承諾する旨の光に基づいて、各通信装置10の位置情報を取得する。
 たとえば、通信装置10-1の制御部90は、SLAM(Simultaneous Localization and Mapping)などの技術を用いることにより、各通信装置10の位置情報を取得することができる。
 なお、ここまで説明した各通信装置10のToFセンサを協調点灯させたマルチリンク形成処理や、各通信装置10の位置情報を取得する処理は、各通信装置10の制御部90と起動されたアプリケーションとが協調することにより実施することができる。
 そして、各通信装置10の間でマルチリンクが成立し、各通信装置10の位置情報取得が完了すると、各通信装置10の間でマルチリンクされた状態でアプリケーションを実施することができる。
 ここまで説明したように、変形例では、各通信装置10に設けられるToFセンサを用いることにより、簡便な接続操作で3台以上の通信装置10間のマルチリンクを形成することができる。
 なお、図9の例では、4台の通信装置10-1~10-4の間でマルチリンクを形成する例について示したが、マルチリンクを形成する通信装置10の台数は4台に限られない。
[通信処理の処理手順]
 図11は、本開示の実施形態に係る通信処理の処理手順を示すフローチャートである。最初に、通信装置10-1および通信装置10-2は、それぞれアプリケーションを起動するアプリケーション起動処理を実施する(ステップS101)。たとえば、通信装置10-1および通信装置10-2は、データシェア用のアプリケーションを起動する。
 次に、通信装置10-1および通信装置10-2は、互いにリンクを形成するリンク形成処理を実施する(ステップS102)。たとえば、親端末となる通信装置10-1は、所定の処理をトリガとして、通信装置10-2に対してリンクの形成を要求するための光をToFセンサから発光する。
 そして、かかるリンクの形成を要求するための光を受光した通信装置10-2は、リンク形成を承諾する旨の情報をToFセンサから通信装置10-1に発光する。さらに、通信装置10-2からリンク形成を承諾する旨の光を通信装置10-1が受光することにより、通信装置10-1と通信装置10-2とのリンク形成処理が完了する。
 次に、通信装置10-2は、通信装置10-1に対して指定されたデータを転送するデータ転送処理を実施する(ステップS103)。たとえば、通信装置10-2は、ToFセンサを用いて通信装置10-1にデータを転送することができる。
 また、通信装置10-2は、通信部60で実施することができる近距離無線通信技術を用いて通信装置10-1にデータを転送してもよい。かかるステップS103が終了すると、実施形態に係る通信処理が完了する。
 図12は、本開示の実施形態の変形例に係る通信処理の処理手順を示すフローチャートである。最初に、通信装置10-1~10-4は、それぞれアプリケーションを起動するアプリケーション起動処理を実施する(ステップS201)。たとえば、通信装置10-1~10-4は、ゲーム用のアプリケーションを起動する。
 次に、通信装置10-1~10-4は、互いにリンクを形成するマルチリンク形成処理を実施する(ステップS202)。たとえば、親端末となる通信装置10-1は、所定の処理をトリガとして、通信装置10-2~10-4に対してリンクの形成を要求するための光をToFセンサから発光する。
 そして、かかるリンクの形成を要求するための光を受光した他の通信装置10は、リンク形成を承諾する旨の情報をToFセンサから通信装置10-1に発光するとともに、他の通信装置10に対してリンクの形成を要求するための光をToFセンサから発光する。
 このように、複数の通信装置10のToFセンサを協調点灯させることにより、全ての通信装置10-1~10-4の間でのマルチリンク形成処理が完了する。
 次に、親端末となる通信装置10-1は、その他の通信装置10-2~10-4から送られたリンク形成を承諾する旨の光に基づいて、各通信装置10の位置情報を取得する位置情報取得処理を実施する(ステップS203)。かかるステップS203が終了すると、実施形態の変形例に係る通信処理が完了する。
[効果]
 実施形態に係る通信装置10-1は、ToF(Time of Flight)センサ(リアToFセンサ30)と、制御部90とを備える。ToFセンサ(リアToFセンサ30)は、被測定物Xに光を照射する発光部31と、被測定物Xから反射される光を受光する受光部32とを有する。制御部90は、ToFセンサ(リアToFセンサ30)を制御する。また、制御部90は、他の通信装置10-2に対してリンクの形成を要求するための光を発光部31から発光し、他の通信装置10-2からのリンクの形成要求に対する応答である光を受光部32で受光する。
 これにより、通信装置10同士の接続操作を簡便にすることができる。
 また、実施形態に係る通信装置10-1において、受光部32は、他の通信装置10-2とのリンクが形成された後に、他の通信装置10-2から送信されるデータである光を受光する。
 これにより、リンク形成処理から遅延なく画像データを転送することができる。
 また、実施形態に係る通信装置10-1は、他の通信装置10-2とのリンクが形成された後に、他の通信装置10-2からデータを受信する通信部60をさらに備える。
 これにより、画像データの容量が大きいような場合でも効率よく画像データを転送することができる。
 また、実施形態に係る通信装置10-1において、制御部90は、ユーザからの所定の指示をトリガとして、他の通信装置10-2に対してリンクの形成を要求するための光を発光部31から発光する。
 これにより、通信装置10-1と通信装置10-2とのリンク形成処理が誤って進められることを抑制することができる。
 また、実施形態に係る通信装置10-1において、制御部90は、他の通信装置10-2との距離Dが所定の距離以下になったことをトリガとして、他の通信装置10-2に対してリンクの形成を要求するための光を発光部31から発光する。
 これにより、通信装置10-1と通信装置10-2とのリンク形成処理を簡便に進めることができる。
 また、実施形態に係る通信装置10-1は、被写体を撮像するカメラモジュール(リアカメラモジュール50)をさらに備える。また、制御部90は、カメラモジュール(リアカメラモジュール50)で取得される情報をトリガとして、他の通信装置10-2に対してリンクの形成を要求するための光を発光部31から発光する。
 これにより、通信装置10-1と通信装置10-2とのリンク形成処理を簡便に進めることができる。
 また、実施形態に係る通信装置10-1は、筐体の前面および背面にそれぞれToFセンサを備える。
 これにより、向かい合わせる向きをユーザが気にすることなくリンク形成処理を実施することができることから、通信装置10同士の接続操作をさらに簡便にすることができる。
 実施形態に係る通信装置10-2は、ToF(Time of Flight)センサ(フロントToFセンサ20)と、制御部90とを備える。ToFセンサ(フロントToFセンサ20)は、被測定物Xに光を照射する発光部21と、被測定物Xから反射される光を受光する受光部22とを有する。制御部90は、ToFセンサ(フロントToFセンサ20)を制御する。また、制御部90は、他の通信装置10-1からのリンクの形成を要求するための光を受光部22で受光し、他の通信装置10-1に対してリンクの形成要求に対する応答である光を発光部21から発光する。
 これにより、通信装置10同士の接続操作を簡便にすることができる。
 また、実施形態に係る通信装置10-2において、発光部21は、他の通信装置10-1とのリンクが形成された後に、他の通信装置10-1へ送信されるデータである光を発光する。
 これにより、リンク形成処理から遅延なく画像データを転送することができる。
 また、実施形態に係る通信装置10-2は、他の通信装置10-1とのリンクが形成された後に、他の通信装置10-1へデータを送信する通信部60をさらに備える。
 これにより、画像データの容量が大きいような場合でも効率よく画像データを転送することができる。
 また、実施形態に係る通信装置10-2は、筐体の前面および背面にそれぞれToFセンサを備える。
 これにより、向かい合わせる向きをユーザが気にすることなくリンク形成処理を実施することができることから、通信装置10同士の接続操作をさらに簡便にすることができる。
 実施形態に係る通信方法は、発光する工程と、受光する工程とを含む。発光する工程は、他の通信装置10-2に対してリンクの形成を要求するための光をToF(Time of Flight)センサ(リアToFセンサ30)の発光部31から発光する。受光する工程は、他の通信装置10-2からのリンクの形成要求に対する応答である光をToFセンサ(リアToFセンサ30)の受光部32で受光する。
 これにより、通信装置10同士の接続操作を簡便にすることができる。
 以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
 たとえば、上記の実施形態では、間接ToF方式を用いたフロントToFセンサ20およびリアToFセンサ30を用いてリンク形成処理を実施した例について示したが、直接ToF方式を用いたToFセンサを用いてリンク形成処理を実施してもよい。
 また、上記の実施形態では、データシェア用のアプリケーションなどを起動した後に通信装置10同士のリンク形成処理を実施する例について示したが、アプリケーションを起動することなく通信装置10同士のリンク形成処理を実施してもよい。
 また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
 なお、本技術は以下のような構成も取ることができる。
(1)
 被測定物に光を照射する発光部と、前記被測定物から反射される光を受光する受光部とを有するToF(Time of Flight)センサと、
 前記ToFセンサを制御する制御部とを備え、
 前記制御部は、
 他の通信装置に対してリンクの形成を要求するための光を前記発光部から発光し、
 前記他の通信装置からの前記リンクの形成要求に対する応答である光を前記受光部で受光する
 通信装置。
(2)
 前記受光部は、前記他の通信装置とのリンクが形成された後に、前記他の通信装置から送信されるデータである光を受光する
 前記(1)に記載の通信装置。
(3)
 前記他の通信装置とのリンクが形成された後に、前記他の通信装置からデータを受信する通信部をさらに備える
 前記(1)に記載の通信装置。
(4)
 前記制御部は、ユーザからの所定の指示をトリガとして、前記他の通信装置に対してリンクの形成を要求するための光を前記発光部から発光する
 前記(1)~(3)のいずれか一つに記載の通信装置。
(5)
 前記制御部は、前記他の通信装置との距離が所定の距離以下になったことをトリガとして、前記他の通信装置に対してリンクの形成を要求するための光を前記発光部から発光する
 前記(1)~(3)のいずれか一つに記載の通信装置。
(6)
 被写体を撮像するカメラモジュールをさらに備え、
 前記制御部は、前記カメラモジュールで取得される情報をトリガとして、前記他の通信装置に対してリンクの形成を要求するための光を前記発光部から発光する
 前記(1)~(3)のいずれか一つに記載の通信装置。
(7)
 筐体の前面および背面にそれぞれ前記ToFセンサを備える
 前記(1)~(6)のいずれか一つに記載の通信装置。
(8)
 被測定物に光を照射する発光部と、前記被測定物から反射される光を受光する受光部とを有するToF(Time of Flight)センサと、
 前記ToFセンサを制御する制御部とを備え、
 前記制御部は、
 他の通信装置からのリンクの形成を要求するための光を前記受光部で受光し、
 前記他の通信装置に対して前記リンクの形成要求に対する応答である光を前記発光部から発光する
 通信装置。
(9)
 前記発光部は、前記他の通信装置とのリンクが形成された後に、前記他の通信装置へ送信されるデータである光を発光する
 前記(8)に記載の通信装置。
(10)
 前記他の通信装置とのリンクが形成された後に、前記他の通信装置へデータを送信する通信部をさらに備える
 前記(8)に記載の通信装置。
(11)
 筐体の前面および背面にそれぞれ前記ToFセンサを備える
 前記(8)~(10)のいずれか一つに記載の通信装置。
(12)
 他の通信装置に対してリンクの形成を要求するための光をToF(Time of Flight)センサの発光部から発光する工程と、
 前記他の通信装置からの前記リンクの形成要求に対する応答である光を前記ToFセンサの受光部で受光する工程と、
 を含む通信方法。
(13)
 前記他の通信装置とのリンクが形成された後に、前記他の通信装置から送信されるデータである光を受光する工程をさらに含む
 前記(12)に記載の通信方法。
(14)
 前記他の通信装置とのリンクが形成された後に、前記他の通信装置からデータを受信する通信工程をさらに含む
 前記(12)に記載の通信方法。
(15)
 前記発光する工程は、ユーザからの所定の指示をトリガとして、前記他の通信装置に対してリンクの形成を要求するための光を前記発光部から発光する
 前記(12)~(14)のいずれか一つに記載の通信方法。
(16)
 前記発光する工程は、前記他の通信装置との距離が所定の距離以下になったことをトリガとして、前記他の通信装置に対してリンクの形成を要求するための光を前記発光部から発光する
 前記(12)~(14)のいずれか一つに記載の通信方法。
(17)
 前記発光する工程は、被写体を撮像するカメラモジュールで取得される情報をトリガとして、前記他の通信装置に対してリンクの形成を要求するための光を前記発光部から発光する
 前記(12)~(14)のいずれか一つに記載の通信方法。
(18)
 他の通信装置からのリンクの形成を要求するための光を前記受光部で受光する工程と、
 前記他の通信装置に対して前記リンクの形成要求に対する応答である光を前記発光部から発光する工程と、
 を含む通信方法。
(19)
 前記他の通信装置とのリンクが形成された後に、前記他の通信装置へ送信されるデータである光を発光する工程を含む
 前記(18)に記載の通信方法。
(20)
 前記他の通信装置とのリンクが形成された後に、前記他の通信装置へデータを送信する通信工程をさらに含む
 前記(18)に記載の通信方法。
10 通信装置
20 フロントToFセンサ(ToFセンサの一例)
30 リアToFセンサ(ToFセンサの一例)
40 フロントカメラモジュール(カメラモジュールの一例)
50 リアカメラモジュール(カメラモジュールの一例)
60 通信部
90 制御部
L1 照射光
L2 反射光

Claims (12)

  1.  被測定物に光を照射する発光部と、前記被測定物から反射される光を受光する受光部とを有するToF(Time of Flight)センサと、
     前記ToFセンサを制御する制御部とを備え、
     前記制御部は、
     他の通信装置に対してリンクの形成を要求するための光を前記発光部から発光し、
     前記他の通信装置からの前記リンクの形成要求に対する応答である光を前記受光部で受光する
     通信装置。
  2.  前記受光部は、前記他の通信装置とのリンクが形成された後に、前記他の通信装置から送信されるデータである光を受光する
     請求項1に記載の通信装置。
  3.  前記他の通信装置とのリンクが形成された後に、前記他の通信装置からデータを受信する通信部をさらに備える
     請求項1に記載の通信装置。
  4.  前記制御部は、ユーザからの所定の指示をトリガとして、前記他の通信装置に対してリンクの形成を要求するための光を前記発光部から発光する
     請求項1に記載の通信装置。
  5.  前記制御部は、前記他の通信装置との距離が所定の距離以下になったことをトリガとして、前記他の通信装置に対してリンクの形成を要求するための光を前記発光部から発光する
     請求項1に記載の通信装置。
  6.  被写体を撮像するカメラモジュールをさらに備え、
     前記制御部は、前記カメラモジュールで取得される情報をトリガとして、前記他の通信装置に対してリンクの形成を要求するための光を前記発光部から発光する
     請求項1に記載の通信装置。
  7.  筐体の前面および背面にそれぞれ前記ToFセンサを備える
     請求項1に記載の通信装置。
  8.  被測定物に光を照射する発光部と、前記被測定物から反射される光を受光する受光部とを有するToF(Time of Flight)センサと、
     前記ToFセンサを制御する制御部とを備え、
     前記制御部は、
     他の通信装置からのリンクの形成を要求するための光を前記受光部で受光し、
     前記他の通信装置に対して前記リンクの形成要求に対する応答である光を前記発光部から発光する
     通信装置。
  9.  前記発光部は、前記他の通信装置とのリンクが形成された後に、前記他の通信装置へデータである光を発光する
     請求項8に記載の通信装置。
  10.  前記他の通信装置とのリンクが形成された後に、前記他の通信装置へデータを送信する通信部をさらに備える
     請求項8に記載の通信装置。
  11.  筐体の前面および背面にそれぞれ前記ToFセンサを備える
     請求項8に記載の通信装置。
  12.  他の通信装置に対してリンクの形成を要求するための光をToF(Time of Flight)センサの発光部から発光する工程と、
     前記他の通信装置からの前記リンクの形成要求に対する応答である光を前記ToFセンサの受光部で受光する工程と、
     を含む通信方法。
PCT/JP2020/027482 2019-08-07 2020-07-15 通信装置および通信方法 WO2021024720A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/623,877 US20220357446A1 (en) 2019-08-07 2020-07-15 Communication device and communication method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019145673A JP2021027525A (ja) 2019-08-07 2019-08-07 通信装置および通信方法
JP2019-145673 2019-08-07

Publications (1)

Publication Number Publication Date
WO2021024720A1 true WO2021024720A1 (ja) 2021-02-11

Family

ID=74504041

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027482 WO2021024720A1 (ja) 2019-08-07 2020-07-15 通信装置および通信方法

Country Status (3)

Country Link
US (1) US20220357446A1 (ja)
JP (1) JP2021027525A (ja)
WO (1) WO2021024720A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008098976A (ja) * 2006-10-12 2008-04-24 Stanley Electric Co Ltd 固体撮像素子
JP2015507173A (ja) * 2012-08-30 2015-03-05 ソフトキネティック センサー エヌブイ シーンに位置する電子機器を駆動する制御手段を有するtof照明システム及びtofカメラと動作方法
US20160156419A1 (en) * 2014-12-01 2016-06-02 Infineon Technologies Ag Transceiver device, access control devices, a transmitter device and a receiver device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008098976A (ja) * 2006-10-12 2008-04-24 Stanley Electric Co Ltd 固体撮像素子
JP2015507173A (ja) * 2012-08-30 2015-03-05 ソフトキネティック センサー エヌブイ シーンに位置する電子機器を駆動する制御手段を有するtof照明システム及びtofカメラと動作方法
US20160156419A1 (en) * 2014-12-01 2016-06-02 Infineon Technologies Ag Transceiver device, access control devices, a transmitter device and a receiver device

Also Published As

Publication number Publication date
US20220357446A1 (en) 2022-11-10
JP2021027525A (ja) 2021-02-22

Similar Documents

Publication Publication Date Title
JP7146004B2 (ja) 同期スピニングlidarおよびローリングシャッターカメラシステム
JP6189504B2 (ja) シーンに位置する電子機器を駆動する制御手段を有するToF照明システムのための回路、方法、及び光源
US20210208283A1 (en) Efficient algorithm for projecting world points to a rolling shutter image
US10116926B2 (en) 3D scanning control apparatus based on FPGA and control method and system thereof
KR20130142810A (ko) 열화상 카메라 모듈 및 스마트폰
CN106576135A (zh) 一种具有扩展的动态范围上限的图像传感器
US20220114743A1 (en) Image processing method and apparatus, and computer-readable non-transitory storage medium
WO2021024720A1 (ja) 通信装置および通信方法
CN113138393A (zh) 环境感测系统、控制装置以及环境感测数据融合装置
JP2018132384A (ja) 電磁波検出装置、プログラム、および情報取得システム
CN110545390A (zh) 飞行时间传感器及方法
WO2022080014A1 (ja) センサ制御システム及びセンサ
WO2016203984A1 (ja) 撮像装置および制御方法
US20230300282A1 (en) Vision sensor, image processing device including the same, and operating method of the vision sensor
JP2017133931A (ja) 画像生成装置、ならびに距離画像およびカラー画像の生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20850938

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20850938

Country of ref document: EP

Kind code of ref document: A1