WO2020122220A1 - 送信装置、制御システム、および送信方法 - Google Patents

送信装置、制御システム、および送信方法 Download PDF

Info

Publication number
WO2020122220A1
WO2020122220A1 PCT/JP2019/048833 JP2019048833W WO2020122220A1 WO 2020122220 A1 WO2020122220 A1 WO 2020122220A1 JP 2019048833 W JP2019048833 W JP 2019048833W WO 2020122220 A1 WO2020122220 A1 WO 2020122220A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensing
signal
information
unit
frame
Prior art date
Application number
PCT/JP2019/048833
Other languages
English (en)
French (fr)
Inventor
村上　豊
伸彦 橋田
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to JP2020559332A priority Critical patent/JPWO2020122220A1/ja
Priority to EP19895948.8A priority patent/EP3896481A4/en
Priority to CN201980042518.2A priority patent/CN112334787A/zh
Publication of WO2020122220A1 publication Critical patent/WO2020122220A1/ja
Priority to US17/132,828 priority patent/US20210149016A1/en
Priority to JP2024011493A priority patent/JP2024050713A/ja
Priority to JP2024011492A priority patent/JP2024056745A/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/26—Systems using multi-frequency codes
    • H04L27/2601—Multicarrier modulation systems
    • H04L27/2602—Signal structure
    • H04L27/2605—Symbol extensions, e.g. Zero Tail, Unique Word [UW]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/03—Details of HF subsystems specially adapted therefor, e.g. common to transmitter and receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/26—Systems using multi-frequency codes
    • H04L27/2601—Multicarrier modulation systems
    • H04L27/2602—Signal structure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/282—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/0001—Arrangements for dividing the transmission path
    • H04L5/0003—Two-dimensional division
    • H04L5/0005—Time-frequency
    • H04L5/0007—Time-frequency the frequencies being orthogonal, e.g. OFDM(A), DMT

Definitions

  • the present disclosure relates to a transmission device, a control system, and a transmission method.
  • a method of sensing the surroundings for example, a method of detecting ambient light using a camera or the like, or a method of irradiating the surroundings with light, infrared rays, ultrasonic waves, or the like, and detecting reflected light, infrared rays, ultrasonic waves, or the like and so on. Further, in recent years, a method of sensing the surrounding situation using radio waves has been proposed.
  • the present disclosure provides a transmission device and a transmission method capable of sensing the surroundings.
  • a transmission device is a frame that complies with an OFDMA (Orthogonal Frequency-Division Multiple Access) system, and is a frame that forms a frame including a plurality of time-frequency resources that are resources defined by time and frequency.
  • the frame configuration unit includes a configuration unit and a transmission unit configured to transmit the frame configured by the frame configuration unit by radio waves, and the frame configuration unit includes a communication resource that is a time-frequency resource in which a symbol including communication data is arranged, and A frame including a sensing resource which is a time-frequency resource in which a symbol for sensing by the radio wave transmitted by the transmitter is arranged is configured as the frame.
  • OFDMA Orthogonal Frequency-Division Multiple Access
  • a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, the computer program. It may be realized by any combination of the recording medium and the recording medium.
  • the transmitting device of the present disclosure can perform surrounding sensing.
  • FIG. 1 is a diagram illustrating an example of the configuration of the detection device according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of the configuration of the detection device according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of the configuration of the detection device according to the first embodiment.
  • FIG. 4 is a diagram showing a modification of the configuration of the detection device according to the first embodiment.
  • FIG. 5 is a diagram showing a modification of the configuration of the detection device according to the first embodiment.
  • FIG. 6 is a diagram showing a modification of the configuration of the detection device according to the first embodiment.
  • FIG. 7 is a diagram illustrating an example of a separation configuration of the detection device according to the first embodiment.
  • FIG. 8 is a diagram illustrating an example of a separation configuration of the detection device according to the first embodiment.
  • FIG. 9 is a diagram illustrating an example of a separation configuration of the detection device according to the first embodiment.
  • FIG. 10 is a diagram illustrating an example of a separation configuration of the detection device according to the first embodiment.
  • FIG. 11 is a diagram showing an example of a state of the device according to the second embodiment.
  • FIG. 12 is a diagram showing an example of a frame configuration according to the second embodiment.
  • FIG. 13 is a diagram showing an example of a frame configuration according to the second embodiment.
  • FIG. 14 is a diagram showing an example of the configuration of the device according to the third embodiment.
  • FIG. 15 is a diagram showing an example of the configuration of the apparatus according to the third embodiment.
  • FIG. 15 is a diagram showing an example of the configuration of the apparatus according to the third embodiment.
  • FIG. 16 is a diagram showing an example of the configuration of the device according to the third embodiment.
  • FIG. 17 is a diagram showing an example of a system configuration according to the fourth embodiment.
  • FIG. 18 is a diagram showing an example of the configuration of the device according to the fourth embodiment.
  • FIG. 19 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 20 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 21 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 22 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 23 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 24 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 24 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 25 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 26 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 27 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 28 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 29 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 30 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 31 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 32 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 33 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 34 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 35 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 36 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 37 is a diagram showing an example of a frame configuration according to the fourth embodiment.
  • FIG. 38 is a diagram showing an example of the configuration of the control system in the fifth embodiment.
  • FIG. 39 is a diagram showing an example of the configuration of the control system in the fifth embodiment.
  • FIG. 40 is a diagram showing an example of the appearance of the control system in the fifth embodiment.
  • FIG. 41 is a diagram showing an example of processing of the control system in the fifth embodiment.
  • FIG. 42 is a diagram showing an example of a configuration of the transmitting device in the sixth embodiment.
  • FIG. 43 is a diagram illustrating an example of processing of the transmitting device in Embodiment 6.
  • FIG. 44 is a diagram showing an example of the configuration of the device according to the seventh embodiment.
  • FIG. 45 is a diagram showing an example of the relationship between the device and the person according to the seventh embodiment.
  • FIG. 46 is a diagram showing an example of states of a person, a terminal, and a device according to the seventh embodiment.
  • FIG. 47 is a diagram showing an example of states of a person, a terminal, and a device according to the seventh embodiment.
  • FIG. 48 is a diagram showing an example of the relationship between the device, the terminal and the person according to the seventh embodiment.
  • FIG. 49 is a diagram showing an example of the relationship between the device, the terminal, and the person according to the seventh embodiment.
  • FIG. 50 is a diagram showing an example of a state of each device in the eighth embodiment.
  • FIG. 51 is a flowchart of an operation example when the AP is installed in the house in the eighth embodiment.
  • FIG. 52 is a flowchart of an operation example of the AP according to the eighth embodiment.
  • FIG. 53 is a flowchart of an operation example of the system according to the eighth embodiment.
  • FIG. 54 is a flowchart of an operation example of the AP and cloud server in the eighth embodiment.
  • FIG. 55 is a diagram showing an example of a state of each device in the ninth embodiment.
  • FIG. 56 is a flowchart of an operation example when the AP is installed in the house in the ninth embodiment.
  • FIG. 57 is a flowchart of an operation example of the AP according to the ninth embodiment.
  • FIG. 58 is a flowchart of an operation example of the system according to the ninth embodiment.
  • FIG. 59 is a flowchart of an operation example of the AP and cloud server according to the ninth embodiment.
  • FIG. 60 is a diagram showing an example of the configuration of the system according to the tenth embodiment.
  • FIG. 61 is a diagram showing an example of the configuration of the system according to the tenth embodiment.
  • FIG. 62 is a diagram showing an example of a system configuration according to the tenth embodiment.
  • FIG. 63 is a diagram showing an example of the configuration of the system in the tenth embodiment.
  • FIG. 64 is a diagram showing a sensing method in each embodiment.
  • FIG. 65 is a diagram showing a sensing method in each embodiment.
  • FIG. 66 is an explanatory diagram of position measurement or estimation using triangulation in each embodiment.
  • a transmission device is a frame that complies with an OFDMA (Orthogonal Frequency-Division Multiple Access) system, and forms a frame that includes a plurality of time-frequency resources that are resources defined by time and frequency.
  • the frame configuration unit includes a configuration unit and a transmission unit configured to transmit the frame configured by the frame configuration unit by radio waves, and the frame configuration unit includes a communication resource that is a time-frequency resource in which a symbol including communication data is arranged, and A frame including a sensing resource which is a time-frequency resource in which a symbol for sensing by the radio wave transmitted by the transmitter is arranged is configured as the frame.
  • OFDMA Orthogonal Frequency-Division Multiple Access
  • the transmission device can perform the communication using the radio wave and the sensing of the object around the transmission device using the radio wave by the transmission unit.
  • the transmission device can perform communication by using the communication resource arranged in the frame transmitted by the transmitting unit by radio waves, and can also perform the sensing by the sensing resource arranged in the frame.
  • the transmitter can sense the surroundings.
  • the frame is two sensing resources, the two sensing resources have different times, the same frequencies, and two sensing resources that are adjacent to each other in the time direction with a guard interval in between. It may include at least resources.
  • the transmission device further prevents the interference of the two sensing resources by providing the guard section between the two sensing resources in the frame, and further senses the surroundings of the transmission device. It can be done properly. Therefore, the transmitting device can more appropriately obtain the surrounding sensing.
  • the frame may include two guard intervals, two guard intervals having different time lengths and different frequencies.
  • the transmission device can provide guard sections having different time lengths in different frequencies in the frame.
  • the frame may include at least two sensing resources, which have different frequencies and different time lengths.
  • the transmission device can arrange two sensing resources having different time lengths in different frequencies in the frame.
  • the sensing resources can be flexibly arranged for each frequency, the surroundings of the transmitter can be more appropriately sensed while avoiding the interference of the two sensing resources. Therefore, the transmitting device can more appropriately obtain the surrounding sensing.
  • the transmitter further includes a receiver that receives a reflected wave of the radio wave transmitted by the transmitter, and a processor that performs a sensing process by analyzing the reflected wave received by the receiver. May be provided.
  • the transmitting device can receive and analyze the reflected wave of the transmitted radio wave. Therefore, the transmitting device can obtain the sensing result of the surroundings of the transmitting device.
  • the sensing process includes at least a process of detecting the position of the object, a process of detecting the presence or absence of the object, or a process of detecting the outer shape of the object by analyzing the reflected wave received by the receiving unit. You can leave.
  • the transmission device can more easily obtain the sensing result around the transmission device by the process of detecting the position of the object, the process of detecting the presence or absence of the object, or the process of detecting the outer shape of the object. be able to.
  • the transmission device may further include a control unit that controls driving of an electric device based on a result of the sensing process performed by the processing unit.
  • the transmitting device can control the driving of the electric device based on the sensing result of the surroundings of the transmitting device. Thereby, the driving of the electric device can be controlled by using the result of the surrounding sensing.
  • a control system includes the above-described transmission device and the electric device that is driven by the control of the control unit of the transmission device.
  • control system has the same effect as that of the transmitting device.
  • a transmission method configures a frame that complies with an OFDMA (Orthogonal Frequency-Division Multiple Access) system and that includes a plurality of time-frequency resources that are resources defined by time and frequency.
  • a transmission step of transmitting the frame configured in the frame configuration step by radio waves in the frame configuration step, a communication resource which is a time-frequency resource in which symbols including communication data are arranged,
  • a frame including a sensing resource, which is a time-frequency resource in which a symbol for sensing by a radio wave transmitted in the transmitting step is arranged, is configured as the frame.
  • the transmitting method has the same effect as the transmitting device.
  • a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, the computer program.
  • a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, the computer program.
  • it may be realized by any combination of recording media.
  • Embodiment 1 a configuration of a detection device capable of detecting the positions of surrounding objects, the positional relationship between a plurality of objects, the distance to the objects, and the like will be described.
  • the detecting device is also referred to as a transmitting device.
  • FIG. 1 shows an example of the configuration of the detection device according to the present embodiment.
  • the transmitter Y101 receives the control signal Y100.
  • the control signal Y100 is, for example, information of "start of operation of object detection", information of "end of operation of object detection”, information of "start storage of still image or moving image", “end storage of still image or moving image”.
  • Information for controlling the operation of one or more components included in the detection device such as
  • the transmitting device Y101 When the control signal Y100 includes the information of "operation of object detection start", the transmitting device Y101 generates, in the receiving device Y106, M modulated signals used for estimating the arrival direction of a radio wave, and transmits M modulated signals. Output a signal. That is, the transmission signals Y102_1 to Y102_M are output. Note that M is an integer of 1 or more. Then, the transmission signal Y102_i is output as a radio wave from the antenna Y103_i. Note that i is an integer of 1 or more and M or less.
  • the antenna Y103_i may be composed of one antenna or may be composed of a plurality of antennas.
  • the antenna Y103_i including a plurality of antennas may have a function of performing directivity control.
  • the modulated signal transmitted from transmitter Y101 is reflected by an object in the radiation direction or radiation range. Then, the receiving device Y106 receives this reflected wave. Therefore, the receiving device Y106 inputs the "received signal group Y105_1 received by the antenna Y104_1" to the "received signal group Y105_N received by the antenna Y104_N". Note that N is an integer of 1 or more.
  • the signals received by the antenna Y104_i are referred to as “received signal group Y105_i”.
  • the reception signal group Y105_i is composed of 16 reception signals.
  • the receiving device Y106 estimates the direction of arrival for the received signal group Y105_1, and estimates the distance of the object using the time when the transmitting device Y101 transmits the modulated signal and the time when the received signal group Y105_1 is obtained. .. Therefore, the receiving device Y106 outputs the object estimation information Y107_1.
  • the distance in the term “object distance” in the above description means, for example, the distance between the object and the detection device.
  • the value calculated as the distance may be, for example, the distance between the object and the antenna, the distance between the object and the central positions of the plurality of antennas, the distance between the object and a sensor unit described later, or the like. Be done.
  • the “distance of the object” may be, for example, the distance between the point or area where the modulated signal is reflected on the object and the detection device. Further, for example, when a plurality of modulated signals are simultaneously transmitted, the “distance of the object” may be simultaneously measured at each of a plurality of points or regions in one object.
  • the reception device Y106 estimates the direction of arrival for the reception signal group Y105_i, and estimates the distance of the object using the time when the transmission device Y101 transmits the modulated signal and the time when the reception signal group Y105_i is obtained. To do. Therefore, the receiving device Y106 outputs the object estimation information Y107_i. Note that i is an integer of 1 or more and N or less.
  • the first processing unit Y108 receives the object estimation information Y107_N from the object estimation information Y107_1.
  • the first processing unit Y108 performs detailed object estimation using, for example, the object estimation information Y107_1 to the object estimation information Y107_N, and outputs the object estimation signal Y109.
  • the display unit Y113 receives the image information Y124 and the area information Y111 for limiting the area for recognizing the object, associates the image with the area for recognizing the object, and outputs the area signal Y114.
  • the association of the image and the area for recognizing the object means, for example, “designating an area for recognizing the object in the image obtained on the display unit Y113”.
  • the association between the image and the area for recognizing the object is, for example, “to specify the area where the first processing unit Y108 performs the object recognition according to the area specified in the image obtained on the display unit Y113”. It may be.
  • the selection unit Y112 receives the area information Y111 and the area signal Y114 for limiting the area in which the object is recognized. Then, the selection unit Y112 determines the area where the object is detected based on the area information Y111 and the area signal Y114, and outputs the selected area signal Y115. Note that the selection unit Y112 does not have to limit the area in which the object is detected. In this case, the selection unit Y112 does not have to output the selection area signal Y115, and “the area in which the object is detected is limited.
  • the selection area signal Y115 may include the information "no".
  • the display unit Y113 is present
  • the display unit Y113 outputs the area signal Y114 are described, but the configuration is not limited to this.
  • the display unit Y113 allows the user to specify the object detection area by a touch panel function (a device that combines a display device such as a liquid crystal panel and a position input device such as a touch pad) on a screen such as a liquid crystal display. It may be limited accordingly.
  • the second processing unit Y116 inputs the object estimation signal Y109, the selected area signal Y115, and the image information Y124. At this time, the second processing unit Y116 performs the first processing method and the second processing method. Note that the second processing unit Y116 may perform either the first processing method or the second processing method, and the first processing method and the second processing method may be changed depending on the situation. You may switch and may process. In addition, the second processing unit Y116 may generate auxiliary information for storing distance information of a plurality of positions in the object estimation signal Y109.
  • auxiliary information is, for example, a plurality of “position information corresponding to objects that are candidates for image capturing”, and the second processing unit Y116 determines that “image capturing target” is selected from a plurality of “position information corresponding to objects that are candidates for image capturing”.
  • the second processing unit Y116 recognizes an object from the image information Y124. Then, the second processing unit Y116 estimates the distance between each recognized object and the detection device based on the recognition information of the object and the object estimation signal Y109, and outputs the estimated distance information Y117.
  • the second processing unit Y116 may limit the area where the object is recognized by the selection area signal Y115. In addition, the second processing unit Y116 may limit the object whose distance is to be estimated by the selection area signal Y115.
  • the second processing unit Y116 estimates the distance between each object and the detection device from the object estimation signal Y109 and the image information Y124, and outputs estimated distance information Y117.
  • the second processing unit Y116 may limit the area where the object is recognized by the selection area signal Y115. Further, the second processing unit Y116 may limit the object whose distance is estimated based on the selected area signal Y115.
  • the lens control unit Y110 receives the object estimation signal Y109 and the estimated distance information Y117. Then, the lens control unit Y110 controls the lens-related operation "using the object estimation signal Y109 and the estimated distance information Y117" or “using either the object estimation signal Y109 or the estimated distance information Y117". For example, the "control of the focal length of the target object”, "control of the focus of the lens (focus) on the target object”, “control of the shooting direction of the target object”, etc. is determined, and the operation control signal is determined. Y118 is output.
  • the lens unit Y119 receives the motion control signal Y118 as input, and controls lens-related motion based on the motion control signal Y118, for example, “control of focal length of target object”, “lens control of target object”.
  • the object signal Y120 is output by performing control such as "control of focus” and "control of the direction in which a target object is photographed”.
  • the object signal Y120 is an optical signal.
  • the shutter section Y121 receives the control signal Y100 and the object signal Y120, controls the operation of the shutter based on the control signal Y100, and outputs the controlled object signal Y122.
  • the sensor unit Y123 receives the object signal Y122 after control, converts, for example, an optical/electrical signal, and outputs image information Y124.
  • a CCD (Charge-Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, an organic CMOS image sensor, or the like can be used.
  • the storage unit Y125 receives the control signal Y100 and the image information Y124, and stores image information such as a moving image and a still image based on the control signal Y100.
  • the storage unit Y125 may store the image information acquired by the sensor unit Y123 as it is, or may store the encoded data encoded using the image encoding technique.
  • the storage unit Y125 may store analysis data obtained as a result of performing signal processing on an image, in addition to the image information or instead of the image information.
  • the analysis data is, for example, for any preset detection target such as a person, an animal, a car, or a drone, whether or not the detection target is photographed, that is, whether the detection target stays in the photographing region.
  • Information also includes information about attributes such as the color and size of the detection target, information about the direction of the detection target, moving route, speed, stay time, or what you are doing or what you are looking at. May be included.
  • the information about the attribute may be, for example, the estimated gender or age of a person, or may be the type of vehicle, the number of passengers, the amount of loaded luggage, or the like in the case of a car or the like.
  • the detection device of the present embodiment it is possible to estimate the distance to an object using radio waves. Further, according to the detection device in the present embodiment, by controlling the lens used when photographing the object based on the estimated distance to the object, for example, the object to be photographed is clearly photographed. It is possible to control the lens according to the purpose. Further, according to the detection device of the present embodiment, there is a possibility that the distance to the object can be estimated or the reliability of the estimation of the distance to the object can be improved even in a dark environment. Further, by performing the distance estimation to the object by radio waves and the distance estimation to the object based on the optical signal (image), it is possible to obtain the effect that the distance estimation can be performed with higher accuracy or reliability. You could also be able to.
  • FIG. 2 shows a configuration example of a detection device different from that in FIG. Note that, in FIG. 2, those that operate in the same manner as in FIG.
  • the sensor unit Y200 with a shutter function receives the control signal Y100 and the object signal Y120.
  • the sensor unit with shutter function Y200 receives the control signal Y100, controls the operation of the shutter based on the control signal Y100, and generates image information Y124 by converting, for example, an optical/electrical signal. ,Output.
  • examples of the shutter of the sensor unit Y200 with a shutter function include an electronic shutter and a global shutter.
  • the detection device with the above configuration it is possible to estimate the distance to an object using radio waves. Further, according to the detection device having the above configuration, based on the estimated distance to the object, by controlling the lens used when capturing the object, for example, to clearly capture the object to be captured, It is possible to control the lens according to the purpose. Further, according to the detection device having the above configuration, for example, there is a possibility that the distance to the object can be estimated or the reliability of the estimation of the distance to the object can be improved even in a dark environment. In addition, by performing the distance estimation with the object by radio waves and the distance estimation with the object based on the optical signal (image), it is possible to perform the distance estimation with higher accuracy or reliability. There is a possibility that you can get it.
  • FIG. 3 shows a configuration example of a detection device different from those in FIGS. 1 and 2. Note that, in FIG. 3, those that operate in the same manner as in FIG. 1 and FIG. 2 are given the same numbers, and description thereof is omitted.
  • the characteristic point is that "the detection device includes both the shutter unit Y121 and the shutter function sensor unit Y200".
  • the shutter unit Y121 is assumed to be configured by a mechanical (mechanical) shutter such as a focal plane shutter. Further, the shutter included in the sensor unit with shutter function Y200 is assumed to be an electronic shutter or a global shutter.
  • the sensor unit Y200 with shutter function receives the control signal Y100, and when the operation information included in the control signal Y100 is the moving image mode, the shutter function of the sensor unit Y200 with shutter function operates. On the other hand, when the shutter section Y121 receives the control signal Y100 and the operation information included in the control signal Y100 is the moving image mode, the shutter section Y121 does not perform the shutter operation, that is, the shutter is open. Becomes
  • the control signal Y100 When the control signal Y100 is input to the sensor unit with shutter function Y200, and the operation information included in the control signal Y100 is the still image mode, the control signal Y100 includes, for example, shutter speed information. I shall. In the still image mode, the shutter function equipped sensor unit Y200 operates the shutter function of the shutter function equipped sensor unit Y200 according to the shutter speed information.
  • the control signal Y100 includes, for example, shutter speed information.
  • the shutter unit Y121 operates the shutter function in accordance with the shutter speed information.
  • the detection device with the above configuration it is possible to estimate the distance to an object using radio waves. Further, according to the detection device having the above configuration, based on the estimated distance to the object, by controlling the lens used when capturing the object, for example, to clearly capture the object to be captured, It is possible to control the lens according to the purpose. Further, according to the detection device having the above configuration, for example, there is a possibility that the distance to the object can be estimated or the reliability of the estimation of the distance to the object can be improved even in a dark environment. In addition, by performing the distance estimation with the object by radio waves and the distance estimation with the object based on the optical signal (image), it is possible to perform the distance estimation with higher accuracy or reliability. There is a possibility that you can get it.
  • FIG. 4 is a diagram showing a modification of FIG.
  • the second processing unit Y116 receives the object estimation signal Y109, the selected area signal Y115, the image information Y124, and the data group Y403. At this time, the second processing unit Y116 recognizes the object from the image information Y124 based on the data group Y403. Then, the second processing unit Y116 estimates the distance between each recognized object and the detection device, which is the figure itself, based on this object recognition information and the object estimation signal Y109, and outputs estimated distance information Y117. The second processing unit Y116 may limit the object whose distance is to be estimated by the selected area signal Y115.
  • Examples of signal processing used when recognizing an object using the image information Y124 include, for example, processing for detecting a part of a body such as a person or a person's face, processing for identifying a person, or processing for a car or drone. Examples include processes that detect objects, processes that identify objects such as cars and drones, processes that detect movement or movement of detected people or objects, and processes that track detected people or objects. ..
  • the image information Y124 may be one or a plurality of still images, or may be a moving image composed of a plurality of frames continuously acquired at a predetermined timing.
  • These signal processes are performed, for example, by extracting from the image information Y124 one or a plurality of feature amounts obtained by a predetermined calculation process that is determined according to the purpose of the signal process, and recognizing the extracted feature amount. It is performed based on the result of comparison with a known feature amount corresponding to an object or its motion. Moreover, these signal processes may be performed based on the determination result of whether the extracted feature amount exceeds the predetermined threshold value. Further, these signal processing may be performed based on signal processing other than those exemplified above, and for example, may be performed by a model created by machine learning using a neural network having a multilayer structure.
  • the pre-processing is performed on the imaged data for the moving image, and then the pre-processed data is processed by the multi-layered neural network. It may be used to input to a model created by machine learning.
  • the second processing unit Y116 may output data to the inquiry data unit Y402.
  • the inquiry data unit Y402 may reduce the output data amount of the data group Y403 based on this data.
  • the object estimation signal Y109 does not need to be composed only of the distance information, and may include information such as the reflectance obtained by analyzing the received signal group Y105_i, for example.
  • the second processing unit Y116 may output the object recognition information Y404.
  • the communication device Y400 receives the object recognition information Y404, generates a modulated signal including this data, and transmits it to the communication device of the communication partner.
  • the communication device of the communication partner is connected to, for example, a server, and the server obtains the object recognition information Y404 from the modulated signal transmitted by the communication device Y400, creates a database for object recognition, and the server Shall generate a modulated signal including this database via the communication device and transmit it to the communication device Y400.
  • the communication device Y400 receives the modulated signal, acquires the object recognition database Y401, and outputs it to the inquiry data unit Y402. Then, the inquiry data unit Y402 inputs the database Y401 for object recognition and updates the data group Y403 for object recognition performed by the second processing unit Y116.
  • the detection device with the above configuration it is possible to estimate the distance to an object using radio waves. Further, according to the detection device having the above configuration, based on the estimated distance to the object, by controlling the lens used when capturing the object, for example, to clearly capture the object to be captured, It is possible to control the lens according to the purpose. Further, according to the detection device having the above configuration, for example, there is a possibility that the distance to the object can be estimated or the reliability of the estimation of the distance to the object can be improved even in a dark environment. In addition, by performing the distance estimation with the object by radio waves and the distance estimation with the object based on the optical signal (image), it is possible to perform the distance estimation with higher accuracy or reliability. There is a possibility that you can get it.
  • the mechanism for updating the database used for object recognition can improve the accuracy and reliability in object recognition, and as a result, the accuracy and reliability of distance estimation can be improved. Can contribute to.
  • accuracy and reliability in object recognition may be improved.
  • FIG. 5 is a modified example of FIG. 2, and those that operate in the same way as in FIGS. 1, 2 and 4 are given the same numbers and their explanations are omitted.
  • the operation of each unit in FIG. 5 has already been described, and thus the description thereof will be omitted.
  • FIG. 6 is a modified example of FIG. 3, and those that operate in the same way as in FIGS. 1, 2 and 4 are given the same numbers and their explanations are omitted.
  • the operation of each unit in FIG. 6 has already been described, and thus the description thereof will be omitted.
  • the detection device with the above configuration it is possible to estimate the distance to an object using radio waves. Further, according to the detection device having the above configuration, based on the estimated distance to the object, by controlling the lens used when capturing the object, for example, to clearly capture the object to be captured, It is possible to control the lens according to the purpose. Further, according to the detection device having the above configuration, for example, there is a possibility that the distance to the object can be estimated or the reliability of the estimation of the distance to the object can be improved even in a dark environment. Further, by performing the distance estimation to the object by radio waves and the distance estimation to the object based on the optical signal (image), it is possible to obtain the effect that the distance estimation can be performed with higher accuracy or reliability. You could also be able to.
  • the mechanism for updating the database used for object recognition can improve the accuracy and reliability in object recognition, and as a result, the accuracy and reliability of distance estimation can be improved. Can contribute to.
  • accuracy and reliability in object recognition may be improved.
  • the device shown in FIGS. 1 to 6 as an example of the configuration has been described by the name of “detection device”, but the name is not limited to this.
  • the device according to the present embodiment includes a storage unit and thus may be referred to as a “storage device”. Since the device includes a sensor unit, a “camera”, a “movie”, and a “monitoring device” may be used. It may be called a “camera”, a “security camera”, a “recording device”, or a “still image capturing device”. Further, it may be simply called “apparatus”. The name is not limited to this.
  • FIGS. 1, 2, 3, 4, 5, and 6 may be realized by a system that is a combination of a plurality of separated devices. Below, an example in the case of realizing as a plurality of separated devices will be described.
  • Fig. 7 shows the first example of device separation.
  • the second device Y702 is a device including the lens unit Y119 in the devices of FIGS. 1, 2, 3, 4, 5, and 6.
  • the first device Y701 is a device including a portion other than the lens portion Y119 in the devices of FIGS. 1, 2, 3, 4, 5, and 6.
  • the first device Y701 includes a first interface Y703 for connecting to the second device Y702, and the second device Y702 includes a second interface Y704 for connecting to the first device Y701.
  • the first interface Y703 receives the operation control signal Y118. Then, the second interface Y704 outputs a signal to the lens unit Y119. Therefore, by connecting the first interface Y703 and the second interface Y704, the lens unit Y119 can obtain a signal corresponding to the operation control signal Y118.
  • the first interface Y703 and the second interface Y704 may be connected in any way. For example, the first interface Y703 and the second interface Y704 may be directly connected, or the first interface Y703 and the second interface Y704 may be connected via a connection cable or the like. The connection method is not limited to these examples.
  • Fig. 8 shows the second example of device separation.
  • the third device Y802 includes the transmitting device Y101, the antennas Y103_1 to Y103_M, the antennas Y104_1 to Y104_N, the receiving device Y106, and the first processing unit Y108 in the devices of FIGS. 1, 2, 3, 4, 5, and 6. It will be an equipped device. Then, the first' device Y801 corresponds to the "transmitting device Y101, the antennas Y103_1 to Y103_M, the antennas Y104_1 to Y104_N, the receiving device Y106, and the first device Y801 in the devices of FIGS. 1, 2, 3, 4, 5, and 6. This is an apparatus including parts other than the processing unit Y108".
  • the first' device Y801 comprises a third interface Y803 for connecting with the third device Y802, and the third device Y802 comprises a fourth interface Y804 for connecting with the first' device Y801.
  • the third interface Y803 receives the control signal Y100. Then, the fourth interface Y804 outputs a signal to the transmission device Y101. Therefore, by connecting the third interface Y803 and the fourth interface Y804, the transmission device Y101 can obtain a signal corresponding to the control signal Y100.
  • the fourth interface Y804 receives the object estimation signal Y109. Then, the third interface Y803 outputs a signal. Therefore, by connecting the third interface Y803 and the fourth interface Y804, the third interface Y803 outputs a signal corresponding to the object estimation signal Y109.
  • third interface Y803 and the fourth interface Y804 may be connected in any way.
  • the third interface Y803 and the fourth interface Y804 may be directly connected, or the third interface Y803 and the fourth interface Y804 may be connected via a connection cable or the like.
  • the connection method is not limited to these examples.
  • FIG. 9 shows the third example of device separation. It should be noted that in FIG. 9, components that operate in the same manner as in FIGS. 7 and 8 are given the same reference numerals, and description thereof will be omitted.
  • the "first” device Y901 corresponds to the "transmitting device Y101, antennas Y103_1 to Y103_M, antennas Y104_1 to Y104_N, receiving device Y106, and first processing in the devices of FIGS. 1, 2, 3, 4, 5, and 6.
  • the device is provided with a portion other than the portion Y108 and the lens portion Y119.
  • the first'' device Y901 includes a first interface Y703 and a third interface Y803.
  • FIG. 9 shows the third example of device separation. Note that, in FIG. 9, the same operation as that in FIGS. 7 and 8 is denoted by the same reference numeral, and the description thereof will be omitted.
  • the “first” device Y901 is the “transmitting device Y101, antennas Y103_1 to Y103_M, antennas Y104_1 to Y104_N, receiving device Y106, and first processing in the devices of FIGS. 1, 2, 3, 4, 5, and 6.
  • the device is provided with a portion other than the portion Y108 and the lens portion Y119.
  • the first'' device Y901 includes a first interface Y703 and a third interface Y803.
  • FIG. 10 shows a fourth “separation example of device”. Note that, in FIG. 10, those that operate in the same manner as in FIG. 7, FIG. 8 and FIG.
  • the fourth device Y1002 includes the “transmitting device Y101, the antennas Y103_1 to Y103_M, the antennas Y104_1 to Y104_N, the receiving device Y106, and the first processing unit Y108 in the devices of FIGS. 1, 2, 3, 4, 5, and 6. , A lens unit Y119”, and a second interface Y704 and a fourth interface Y804. Since the operation of each unit in FIG. 10 has already been described, the description thereof will be omitted.
  • FIGS. 1 to 10 The operation example of this embodiment has been described above with reference to FIGS. 1 to 10.
  • the configurations of FIGS. 1 to 10 are examples, and the present invention is not limited to this configuration.
  • the transmission device Y101 and the reception device Y106 in FIGS. 1 to 10 handle radio waves, and the operation at this time has been described. Differently from this, the transmitter Y101 in FIGS. 1 to 10 may generate a light modulation signal such as visible light, and the receiver Y106 may receive the light modulation signal. Is possible. At this time, an LED (Light Emitting Diode) or an organic EL (Electro-Luminescence) is used instead of the antennas Y103_1 to Y103_M, and a photodiode, an image sensor, or the like is used instead of the antennas Y104_1 to Y104_N. ..
  • a light modulation signal such as visible light
  • an LED Light Emitting Diode
  • organic EL Electro-Luminescence
  • object recognition may be performed using information acquired using radio waves in the devices shown in FIGS. 1 to 10. 1 to 10, a characteristic point is that “object recognition or distance estimation with an object” is performed and “still image or moving image” is recorded (stored).
  • the configuration of the device having the features is not limited to the configurations of FIGS. 1 to 10.
  • the transmission power can be increased by a method of narrowing the transmission band. Also, sensing using polarized waves is possible.
  • FIG. 11 illustrates a device Y1101 that performs “distance estimation using radio waves or object recognition using radio waves” described in the first embodiment, object Y1102 that is a target of “distance estimation or object recognition”, and , And an example of the states of other devices.
  • the device Y1101 that performs “distance estimation using radio waves or object recognition using radio waves” is simply referred to as “device Y1101”.
  • FIG. 11 in addition to the device Y1101, the object Y1102, there is a terminal Y1103 and an AP (access point) Y1104.
  • the APs of the terminals Y1103 and Y1104 use the first frequency band when performing communication.
  • the device Y1101 uses the first frequency band when estimating the distance to the object Y1102 or performing object recognition.
  • FIG. 12 shows an example of a frame configuration when the terminal Y1103 and AP (access point) Y1104 in FIG. 11 transmit a modulated signal for communication, and the horizontal axis is time.
  • the communication reference symbol Y1201 is assumed to be a symbol for “the communication partner performs signal detection, time synchronization, frequency synchronization, channel estimation, etc.”.
  • the communication reference symbol Y1201 may be control information necessary for a procedure for performing data communication, or a MAC (Media Access Control) frame.
  • the communication control information symbol Y1202 is, for example, a symbol of the communication data symbol Y1203 for notifying the communication method. Therefore, the communication control information symbol Y1202 is, for example, information on an error correction coding method (coding rate, block length (code length), error correction code information, etc.), modulation method information, transmission method information (for example, , Single stream transmission or multiple stream transmission, which information is used (information of MCS (Modulation and Coding Scheme)), data length, and the like.
  • error correction coding method coding rate, block length (code length), error correction code information, etc.
  • modulation method information for example, , Single stream transmission or multiple stream transmission, which information is used (information of MCS (Modulation and Coding Scheme)
  • data length and the like.
  • the communication data symbol Y1203 is a symbol for transmitting data to the communication partner.
  • the frame configuration in FIG. 12 is merely an example, and other symbols may be included. Further, when transmitting the frame of FIG. 12, a single carrier transmission method may be used, or a multicarrier transmission method such as OFDM (Orthogonal Frequency Division Multiplexing) may be used.
  • OFDM Orthogonal Frequency Division Multiplexing
  • the communication reference symbol Y1201 may include an area for transmitting data.
  • the transmission signal may include data for identifying "is transmitting a signal for communication” or "is transmitting a signal for object detection”. ..
  • the communication reference symbol Y1201 is named, the name is not limited to this, and the communication reference symbol Y1201 is referred to as a pilot symbol, a training symbol, a training field, a preamble, a control information symbol, a midamble, etc. May be called.
  • FIG. 13 shows an example of the frame structure of the modulated signal transmitted by the device Y1101. Note that, in FIG. 13, those that operate in the same manner as in FIG. 12 are assigned the same reference numerals and have already been described, so description thereof will be omitted.
  • the device Y1101 first uses the communication reference symbol Y1201 based on the information of “operation of object detection start” or “recording of still image or moving image” included in the control signal Y100. Will be sent.
  • starting the operation of detecting an object or “starting the recording of a still image or a moving image” is included in the device Y1101, “the user presses a button”, or “the user touches the touch panel”, or It may be realized by “the user presses the shutter button” or “the user presses the recording start button”.
  • the device Y1101 will transmit “a modulation signal for detecting an object or a modulation signal Y1302 for estimating a distance to an object”.
  • the device Y1101 transmits the modulated signal as shown in FIG. 13, so that the terminals Y1103 and Y1104 in FIG. 11 detect the communication reference symbol Y1201 in FIG. It can be seen that the modulation signal is present. Therefore, when the APs of the terminals Y1103 and Y1104 detect the communication reference symbol Y1201, they temporarily suspend the transmission of the modulated signal. When the communication reference symbol Y1201 is no longer detected, the APs of the terminals Y1103 and Y1104 can start transmitting the modulated signal.
  • An apparatus for performing a sensing method using radio waves described in the following embodiments is a sensing method obtained by a sensor having an imaging function such as a camera as described in the first and second embodiments. It may be used in combination with processing using data.
  • an apparatus that implements a sensing method using radio waves described in the following embodiments performs the sensing method without combining the sensing method with processing using sensing data obtained by a sensor having an imaging function such as a camera. May be.
  • implementation of a sensing method using radio waves that is not combined with processing using sensing data obtained by a sensor having an imaging function such as a camera means only when a device that does not have a camera performs sensing using radio waves. Does not mean.
  • a device including a camera such as a smartphone may perform sensing such as shooting and distance measurement by one or more cameras and sensing using radio waves by a wireless communication unit, a wireless radar, and the like independently. ..
  • a device equipped with a camera such as a smartphone does not use a sensing result using radio waves by a wireless communication unit or a wireless radar for controlling sensing such as shooting and distance measurement by one or more cameras,
  • sensing results such as shooting and distance measurement by one or more cameras are not used to control sensing using radio waves by the wireless communication unit or wireless radar, both sensing results are combined in one application. You may use it.
  • the system is configured to include one or more of a device that performs communication, a device that performs sensing, and a device that performs communication and sensing.
  • a device that performs sensing, a communication, and a configuration of a device that performs sensing will be described.
  • FIG. 14 is a diagram showing an example of a configuration of an apparatus X100 that transmits a sensing signal, receives a sensing signal that is reflected back by an object in the surroundings, and performs sensing.
  • the transmitter X101 generates transmission signals X102_1 to X102_M as signals for sensing, and transmits each of the transmission signals X102_1 to X102_M from the antennas X103_1 to X103_M.
  • the number of antennas used for transmission is M, and M is an integer of 1 or more, or an integer of 2 or more.
  • the transmission device X101 multiplies the same sensing signal by a coefficient determined for each antenna to generate transmission signals X102_1 to X102_M, and transmits the signals from the antennas X103_1 to X103_M to control the directivity of the sensing signal. You can go.
  • the transmission device X101 generates transmission signals X102_1 to X102_M by, for example, multiplying each of the plurality of sensing signals by a coefficient determined for each sensing signal and for each antenna, and synthesizing the transmitted signals X102_1 to X102_M. It may be transmitted from X103_M. Thereby, directivity control can be performed for each sensing signal.
  • the coefficient defined for each antenna or the coefficient defined for each sensing signal and for each antenna is represented by a complex number or a real number.
  • the amplitude and/or the phase of the sensing signal transmitted from each antenna is changed according to the value of this coefficient.
  • the coefficient may be 1, and in this case, the sensing signal generated by the transmission device X101 is transmitted as it is from the antenna having the coefficient value of 1.
  • the transmission device X101 may transmit the transmission signal without performing directivity control.
  • the transmission device X101 may output each of the plurality of sensing signals as the transmission signals of the corresponding antennas as they are and transmit them from the antennas X103_1 to X103_M.
  • the number of sensing signals and the number of antennas are plural has been described, but the number of sensing signals generated by the transmission device X101 and the number of antennas transmitting the sensing signals may be one.
  • the sensing signals transmitted from the antennas X103_1 to X103_M are reflected by the object #1X110_1 and the object #2X110_2, and the reflected sensing signals are received by the antennas X104_1 to X104_N included in the device X100.
  • the number of antennas that receive the sensing signal is N, and N is an integer of 1 or more, or an integer of 2 or more.
  • the number M of antennas used for transmission may be the same as or different from the number N of antennas used for reception.
  • the reception signals X105_1 to X105_N received by the antennas X104_1 to X104_N are input to the reception device X106.
  • the reception device X106 performs, for the reception signals X105_1 to X105_N, for example, a filtering process of extracting only a frequency band in which the sensing signal is transmitted or a channel component within the frequency band, or a radio frequency band to an intermediate frequency band (IF). And a frequency conversion process for converting into a frequency band of a baseband signal, a weighting synthesis process for N received signals, and the like, and outputs an estimated signal X107.
  • the coefficient used in the weighted combining process for N received signals can be set for each of the received signals X105_1 to X105_N, and the reception directivity can be controlled by changing the value of the coefficient.
  • the coefficient may be estimated in advance, or the received signal X105_1 to X105_N may be used to set another coefficient for the amplitude or signal noise ratio (SNR (Signal-to-Noise Ratio)) of the sensing signal component after weighted synthesis. Coefficients larger than those used or exceeding a predetermined threshold may be estimated.
  • the receiving device X106 may simultaneously acquire the directional signal corresponding to each coefficient set by using a plurality of N coefficient sets corresponding to the reception signals X105_1 to X105_N. However, it is also possible to carry out without weighting synthesis.
  • the estimation unit X108 uses the estimation signal X107 to perform sensing, that is, estimation processing regarding the surrounding environment. Details of the estimation process performed by the estimation unit X108 will be described later.
  • the control signal X109 is a control signal input to the transmission device X101, the reception device X106, and the estimation unit X108. Controls the sensing timing.
  • the case where the signal generated by the device X100 is transmitted by the M antennas and the signal received by the N antennas is processed by the receiving device X106 has been described as an example.
  • the configuration of the device that performs the sensing method described in this embodiment is not limited to this.
  • the transmitting antenna unit for transmitting a signal may be composed of a plurality of antenna units each including a plurality of antennas.
  • the plurality of antenna units may have the same directivity and directivity control function, or the range in which directivity control is possible may differ between the antenna units.
  • one transmitting device X101 may have a configuration in which an antenna unit used for transmitting a sensing signal is selected from a plurality of antenna units and used, or the same sensing signal is simultaneously transmitted from a plurality of antenna units. May be.
  • the transmission device X101 may be capable of switching between transmitting one sensing signal from one antenna unit and simultaneously transmitting from a plurality of antenna units.
  • the device X100 may include a plurality of transmitting devices X101, or may include the transmitting device X101 for each antenna unit.
  • the reception signals X105_1 to X105_N received by the antennas X104_1 to X104_N are input to the reception device X106.
  • the reception device X106 performs, for the reception signals X105_1 to X105_N, for example, a filtering process of extracting only a frequency band in which the sensing signal is transmitted or a channel component within the frequency band, or a radio frequency band to an intermediate frequency band (IF). And a frequency conversion process for converting into a frequency band of a baseband signal, a weighting synthesis process for N received signals, and the like, and outputs an estimated signal X107.
  • the coefficient used in the weighted combining process for N received signals can be set for each of the received signals X105_1 to X105_N, and the reception directivity can be controlled by changing the value of the coefficient.
  • the coefficient may be estimated in advance, or the received signals X105_1 to X105_N are used, and the amplitude or the signal noise ratio (SNR) of the sensing signal component after weighted synthesis is larger than that when other coefficients are used, or A coefficient that exceeds a predetermined threshold may be estimated.
  • the receiving device X106 may simultaneously acquire the directional signal corresponding to each coefficient set by using a plurality of N coefficient sets corresponding to the reception signals X105_1 to X105_N. However, it is also possible to carry out without weighting synthesis.
  • the estimation unit X108 uses the estimation signal X107 to perform sensing, that is, estimation processing regarding the surrounding environment. Details of the estimation process performed by the estimation unit X108 will be described later.
  • the control signal X109 is a control signal input to the transmission device X101, the reception device X106, and the estimation unit X108, and instructs the transmission device X101, the reception device X106, and the estimation unit X108 to perform sensing, a sensing range, and the like. Controls the sensing timing.
  • the case where the signal generated by the device X100 is transmitted by the M antennas and the signal received by the N antennas is processed by the receiving device X106 has been described as an example.
  • the configuration of the device that performs the sensing method described in this embodiment is not limited to this.
  • the transmitting antenna unit for transmitting a signal may be composed of a plurality of antenna units each including a plurality of antennas.
  • the plurality of antenna units may have the same directivity and directivity control function, or the range in which directivity control is possible may differ between the antenna units.
  • one transmitting device X101 may have a configuration in which an antenna unit used for transmitting a sensing signal is selected from a plurality of antenna units and used, or the same sensing signal is simultaneously transmitted from a plurality of antenna units. May be.
  • the transmission device X101 may be capable of switching between transmitting one sensing signal from one antenna unit and simultaneously transmitting from a plurality of antenna units.
  • the device X100 may include a plurality of transmitting devices X101, or may include the transmitting device X101 for each antenna unit.
  • the receiving antenna section for transmitting signals may be composed of a plurality of antenna units each including a plurality of antennas.
  • the plurality of antenna units may have the same directivity control capability such as the directivity control range and the directivity control accuracy, or the directivity control capabilities may differ between the antenna units.
  • the plurality of antenna units have the same directivity control capability such as the directivity control range and the directivity control accuracy, but may be installed so that the directivity controllable spatial regions are different.
  • one receiving device X106 may be configured to select and use an antenna unit from which a received signal is acquired from a plurality of antenna units, or to simultaneously process signals received from a plurality of antenna units. It may be configured.
  • the receiving device X106 may be capable of switching between signal processing of only received signals received from one antenna unit or simultaneous signal processing of received signals received by a plurality of antenna units.
  • the device X100 may include a plurality of receiving devices X106, or may include the receiving device X106 for each antenna unit.
  • the device X100 may be provided with a plurality of antennas that can be used for both transmission and reception of signals, instead of separately having a plurality of antennas for transmission and a plurality of antennas for reception.
  • the device X100 may be configured to be able to selectively switch between use for transmission and reception for each antenna, or to switch in time between use of multiple antennas for transmission or reception. May be.
  • the device X100 may include a transmission/reception antenna unit that can be commonly used for signal transmission and reception.
  • the transmission/reception antenna unit includes a plurality of antenna units, and it is possible to switch each antenna unit between use for transmission and reception.
  • the device X100 may include an antenna unit used for transmitting the signal generated by the transmitting device X101 and a selecting unit for selecting and switching the antenna unit used for receiving the signal processed by the receiving device X106.
  • the directivity of the signal transmitted from each antenna unit may be the same or different.
  • the device X100 transmits a sensing signal from a plurality of antenna units with the same directivity, it may be possible to increase the distance that the sensing signal reaches or the distance to the reflection position where the reflected sensing signal can be received. ..
  • the number of antennas that make up the antenna unit described above does not have to be the same between antenna units, and the number of antennas may differ between antenna units.
  • the estimation unit X108 estimates, for example, the distance between the device itself and the object that has reflected the sensing signal.
  • the distance between the device itself and the object reflecting the sensing signal can be estimated by, for example, detecting the delay time of the reception time with respect to the transmission time of the sensing signal and multiplying the delay time by the propagation speed of the electromagnetic wave. it can.
  • the estimation unit X108 estimates the arrival direction of the received signal, that is, the direction of the object reflecting the sensing signal, using a direction of arrival estimation method such as MUSIC (Multiple Signal Classification) method. May be.
  • the estimation unit X108 can estimate the position of the object that reflects the transmitted signal by estimating the direction in addition to the distance between the own device and the object.
  • the estimation unit X108 can estimate the position of the object by performing triangulation using the direction of arrival estimation such as the MUSIC method, the position of the transmitting antenna, the position of the receiving antenna, and the information of the direction of the transmission directivity control. it can.
  • the estimation unit X108 may detect the object, the movement of the object, the material of the object, and the like by using the received signal.
  • the position of the object may be represented by a polar coordinate system or a three-dimensional Cartesian coordinate system.
  • the origin of the coordinate system may be, for example, any position in the device X100, and the coordinate axes of the coordinate system may be in any orientation.
  • the device including the device X100 includes a plurality of wireless sensors and other distance sensors having the same or different configuration as the device X100 other than the device X100
  • the origin and the coordinate axis of the coordinate system of the data acquired by each sensor are the sensors. It may be common between the sensors or may be unique to each sensor.
  • the estimation unit X108 may output the position information represented by the above-mentioned unique coordinate system as it is, or may convert it into a common coordinate system in the device and output it.
  • the coordinate system after conversion may be a coordinate system unique to the device or a coordinate system common to other devices such as the same coordinate system as the three-dimensional map data used by the device.
  • the estimation unit X108 may estimate the distance to the object that has reflected the signal in each of a plurality of directions, and acquire the three-dimensional coordinates of the plurality of estimated reflection positions as a point cloud.
  • the format of the data of the plurality of distance measurement results acquired by the estimation unit X108 does not have to be the point cloud format having the values of the three-dimensional coordinates, and may be, for example, a distance image or another format.
  • the range image format is used, the position (coordinates) of the range image in the two-dimensional plane corresponds to the arrival direction of the received signal viewed from the own device, and the distance to the object in the direction corresponding to the pixel position of each image. Is stored as the sample value of the pixel.
  • the estimation unit X108 may further perform recognition processing such as estimation of the shape of an object using the above point cloud data or range image data. For example, “one or more points at close positions with a distance within a predetermined range”, or a plurality of points or image areas are considered to be the same object and extracted, and the one or more points are extracted.
  • the shape of the object can be estimated based on the positional relationship of the points or the shape of the image area.
  • the estimation unit X108 may identify the sensed object as a recognition process using the estimation result of the shape of the object. In this case, the estimation unit X108 identifies, for example, whether a person or another animal is in the sensing range, or the type of the object.
  • the recognition process performed by the estimation unit X108 may be other than the identification of the object.
  • the estimation unit X108 may detect the number of persons within the sensing range, the number of vehicles, or the like as the recognition process, or may estimate the position or posture of the detected person's face.
  • the estimation unit X108 determines whether or not the shape of the detected person's face matches a person registered in advance, which person, etc. You may perform the process of.
  • the estimation unit X108 measures the distance between the own device and the object a plurality of times at different timings, and acquires the temporal change in the distance between the own device and the object or the position of the detected point.
  • the estimation unit X108 may estimate the speed or acceleration of the moving object as a recognition process using the temporal change in the distance between the own device and the object or the position of the point.
  • the estimation unit X108 may estimate the speed or the moving direction of the vehicle traveling in the sensing range. It should be noted that the recognition processing performed by the estimation unit X108 using the temporal change in the distance or the position of the point may be other than the estimation of the velocity or acceleration of the object.
  • the estimation unit X108 detects whether or not a person has performed a specific motion based on the detected change in the posture of the person, and thus the device X100 is used for gesture input of an electronic device such as a smartphone, a tablet, or a personal computer. It may be used as a device.
  • the above-described estimation of the velocity of the moving object is derived by comparing the frequency of the transmitted sensing signal with the frequency of the received reflection signal and estimating the change in frequency due to the Doppler effect received by the reflection signal. Good.
  • the device X100 may transmit the pulse signal disclosed in Non-Patent Document 1 or Non-Patent Document 2 as a signal for sensing.
  • the device X100 transmits a pulse signal in the frequency band used for sensing, and measures the distance to the object that has reflected the sensing signal based on the delay time between the pulse signal transmission time and the reflection signal reception time.
  • the device X100 may use a frequency modulated continuous wave (FMCW) method or a phase modulated continuous wave (PMCW) method signal described in Non-Patent Document 3.
  • the FMCW signal is a signal obtained by converting the Chirp signal whose frequency is temporally changed into a radio frequency.
  • the estimation unit X108 superimposes the signal transmitted from the device X100 and the signal received by the reception device X106 on the mixer as the estimation process using the FMCW signal. As a result, the signal after superimposing becomes an intermediate frequency signal of the frequency corresponding to the flight time of the received signal. To measure the distance.
  • FMCW frequency modulated continuous wave
  • PMCW phase modulated continuous wave
  • the device X100 may use a signal obtained by frequency-converting a modulated signal having a predetermined frequency into a signal in a frequency band used for sensing.
  • the estimation unit X108 determines, for example, based on the difference between the phase of the modulation component of the signal transmitted from the device X100 and the phase of the modulation component of the signal received by the reception device X106, up to the object that has reflected the sensing signal. The distance can be estimated.
  • the estimation unit X108 detects the fluctuation of the frequency received by the Doppler effect until the sensing signal is reflected and received by comparing the frequency of the transmitted modulated signal with the frequency of the received modulated signal, and moves.
  • the moving speed and direction of the moving object may be estimated.
  • a plurality of frequency components may be included in the modulation signal, and for example, an OFDM signal including a plurality of frequency components may be used as the modulation signal described in Non-Patent Document 4.
  • the example of the signal for sensing is not limited to the above, and may be a signal modulated by a modulation method, an unmodulated carrier, or a signal other than that. Good.
  • the device X100 may simultaneously transmit a plurality of sensing signals by using a plurality of antennas or may simultaneously transmit a plurality of sensing signals by using a plurality of antenna units each including a plurality of antennas. Good.
  • the estimation unit X108 estimates the state of the transmission path from the received reflected signal, and compares it with the temporal change of the estimated transmission path state, the average value of the transmission path state estimated in the past, and the feature amount. By performing the recognition process based on the determination, it may be determined whether or not the object exists in the sensing range, or the presence or absence of the movement of the object may be detected. In addition, the estimation unit X108 may detect the presence or absence of rainfall from the attenuation state of the received signal.
  • the sensing using the sensing signal is not limited to the device that transmits the sensing signal.
  • the receiving device X106 of the device X100 receives the sensing signal transmitted from the other device, and the estimating unit X108 determines whether the other device is within the reach of the sensing signal based on the received signal, or other The orientation of the device may be estimated. Further, the distance to another device may be estimated based on the signal strength of the received sensing signal. Further, the transmission device X101 of the device X100 may transmit the sensing signal so that another device can use it for sensing.
  • the sensing signal transmitted at this time may be a sensing signal transmitted in order to perform sensing using reflected waves in the device itself, or may be periodically transmitted for sensing in another device. .. Further, when the device X100 receives a sensing signal transmitted from another device, the device X100 may use the transmitting device X101 to transmit the sensing signal in the direction in which the received signal is received. It should be noted that the sensing signal transmitted to another device may be transmitted without controlling the directivity.
  • FIG. 14 illustrates an example in which the sensing device X100 receives signals reflected by the object #1 and the object #2, it is reflected from the object #1 and the object #2, and another object
  • the device X100 that performs sensing may obtain the signal obtained by reflecting the substance, and may detect the object, estimate the distance to the object, and estimate the position.
  • FIG. 15 is a diagram showing an example of the configuration of a device X200 that performs sensing using radio waves, for example.
  • configurations having the same functions as the configurations shown in FIG. 14 are given the same reference numerals, and detailed description thereof will be omitted.
  • the device X200 differs from the device X100 in that sensing is performed using a modulation signal for sensing and/or a modulation signal for communication.
  • the feature here is that, for example, the device X200 transmits a signal, and the terminal that is a communication partner catches the change in the signal transmitted by the device X200, thereby detecting the position of the object (for example, the object #1 in FIG. 15), The size and distance to an object (for example, object #1 in FIG. 15) are estimated.
  • the device X200 is transmitting a modulated signal for communication, data communication with the terminal is also possible.
  • sensing is performed using a modulated signal for communication will be described.
  • the transmission device X201 receives the control signal X109 and the transmission data X210 and performs error correction coding processing, modulation processing, precoding, multiplexing processing, etc., to generate transmission signals X202_1 to X202_M for communication.
  • the device X200 transmits each of the transmission signals X202_1 to X202_M from the antennas X103_1 to X103_M.
  • the number of transmission signals and the number of antennas used for transmission are the same as those described with reference to FIG. 14, and may be two or more or one.
  • the transmission signal of the description of FIG. 14 includes the component of the sensing signal, whereas the transmission signal of the present description is different in that it includes the component of the signal obtained by modulating the transmission data.
  • the directivity control can be performed by the coefficient used by the weighting synthesis process for the transmission device X201 to generate the transmission signal.
  • the device X200 may include only one antenna unit including a plurality of antennas, or may include a plurality of antenna units, as in the device X100.
  • the transmission device X101 illustrated in FIG. 14 performs transmission directivity control in the direction in which sensing is desired, but the transmission device X201 in FIG. 15 communicates with a terminal that is a communication partner. Directivity control of transmission is performed to improve quality. However, the transmission device X201 may control the directivity of the transmission signal in the direction in which it wants to perform sensing, or the terminal that is the communication partner may perform sensing using the signal transmitted by the device X200. Directivity control may be performed so that a desired sensing result can be obtained. When the transmission device X201 performs directivity control for sensing at the terminal, the transmission device X201 transmits a signal using a coefficient designated by the terminal.
  • the signal transmitted here may or may not include the signal component modulated by using the transmission data.
  • the signal that does not include the signal component modulated using the transmission data is, for example, a signal that is modulated with a known value on the terminal side such as a preamble or a reference signal.
  • the transmission device X201 may perform different directivity control between the case of transmitting a signal including a signal component modulated using transmission data and the case of a signal not including a signal component modulated using transmission data. Good.
  • the terminal receives the modulated signal transmitted by the device X200, thereby obtaining data (performing communication), and also performing sensing.
  • the terminal transmits a signal
  • the device X200 which is the communication partner, captures the change in the signal transmitted by the terminal, and thereby the position, size, and object (for example, object #1 of FIG. 15) of the object (for example, object #1) are detected.
  • the distance to the object #1 in FIG. 15, the type of the object (for example, the object #1 in FIG. 15), the material, and the like may be estimated.
  • the terminal is transmitting the modulated signal for communication, data communication with the device X200 is also possible.
  • the antenna X104_1 to X104_N is used to receive the modulated signal transmitted by the terminal. Then, receiving apparatus X206 receives control signal X109 and received signals X205_1 to X205_N, performs demodulation processing and error correction decoding processing, and acquires received data. In addition, the reception device X206 outputs the transmission path characteristics and the like obtained by the reception process as an estimated signal X207.
  • the coefficient used in the weighted combining process for N received signals can be set for each of the received signals X105_1 to X105_N, and the reception directivity can be controlled by changing the value of the coefficient.
  • the coefficient may be estimated in advance, the received signal X105_1 to X105_N is used, and the amplitude or signal noise ratio (CNR) of the sensing signal component after weighted synthesis is larger than that when other coefficient is used, or A coefficient that exceeds a predetermined threshold may be estimated.
  • the reception device X206 may simultaneously acquire the directional signal corresponding to each coefficient set by using a plurality of N coefficient sets corresponding to the reception signals X105_1 to X105_N.
  • the estimation unit X208 receives the control signal X109 and the estimation signal X207 and performs estimation processing using the estimation signal X207.
  • the estimation unit X208 estimates the surrounding environment such as whether or not there is an object in the surroundings, based on the transmission path characteristics included in the estimated signal X207, for example. Further, the estimation unit X208 may detect the movement of the object, the approach of the object, or the like based on the temporal change of the transmission path characteristics.
  • the estimation unit X208 may estimate the arrival direction of the received signal, that is, the direction of the object that has reflected the sensing signal, using an arrival direction estimation method such as the MUSIC method.
  • the estimation unit X208 performs triangulation using the arrival direction estimation such as the MUSIC method, the antenna position (for example, the position of the transmission device and the reception device), the information of the direction of the transmission directivity control, and the like to perform the triangulation to determine the position of the object. May be estimated.
  • the estimation unit X208 may detect the object, the movement of the object, the material of the object, and the like by using the received signal.
  • the estimation unit X208 performs the above estimation process by performing signal processing on the estimated signal X207 according to an event to be detected such as the presence or absence of an object or the presence or absence of movement of the object described above. At this time, the estimation process is performed based on, for example, a determination result of whether or not the feature amount extracted by the signal processing exceeds a predetermined threshold value. Further, the estimation processing may be performed based on signal processing other than those exemplified above. For example, the estimation process may be performed by a model created by machine learning using a multilayered neural network.
  • the estimation unit X208 When a model created by machine learning using a multilayered neural network is used for the estimation processing, the estimation unit X208 performs a predetermined preprocessing on the estimation signal X207 and then outputs the preprocessed data. You may input into the model created by machine learning using a multilayered neural network. Further, the estimation unit X208 may use information such as a frequency band used for communication or a channel number in the frequency band. The estimating unit X208 may use the address of the communication device that has transmitted the received communication signal or the address of the communication device that is the destination of the signal.
  • the conditions such as the position of the communication device that transmitted the signal and the directivity used when transmitting the signal are the same or similar. It is possible to compare signals for communication that are being performed, and there is a possibility that the estimation accuracy is improved.
  • the device X200 is different in the configuration of the transmission device X201 and the antennas X103_1 to X103_M for performing the transmission process, and the reception device X206 and the antennas X104_1 to X104_N for the configuration of performing the reception process.
  • the configuration of the device X200 is not limited to this.
  • the transmission device X201 and the reception device X206 may be realized as one component, or a plurality of antennas may be commonly used for transmission and reception. Further, similar to the description of FIG.
  • the plurality of transmitting antennas in the device X200 may be configured by a plurality of antenna units, and the plurality of receiving antennas may be configured by a plurality of antenna units. Good. Further, the plurality of transmitting antennas and the plurality of receiving antennas in the device X200 may be configured by a common transmitting/receiving antenna unit.
  • a sensing signal may be used instead of the communication signal. That is, the first device uses the sensing signal transmitted by the other device to detect the position, size, and object (eg, object #1 of FIG. 15) of the object (eg, object #1 of FIG. 15). The distance, the type of the object (for example, the object #1 in FIG. 15), the material, and the like may be estimated.
  • the sensing method using the signal for communication can also be used for the same purpose as the example of transmitting the sensing signal to the other device described with reference to FIG.
  • the device X200 does not detect a communication signal transmitted from another device such as a terminal by sensing the surrounding environment based on the transmission path characteristics of the signal, but the other device receives the communication signal. It may be used for determining that the position is within the range or estimating the direction of another device.
  • the device X200 may perform only the demodulation operation without performing the sensing operation when receiving the communication modulated signal transmitted from the terminal, which is a communication partner.
  • FIG. 16 is a diagram showing an example of the configuration of a device that performs communication and sensing.
  • configurations having the same functions as the configurations shown in FIGS. 14 and 15 are given the same reference numerals, and detailed description thereof will be omitted.
  • the device X300 performs both sensing using the modulated signal for sensing and sensing using the modulated signal for communication. That is, the transmitter X301 of the device X300 has a function of transmitting a signal for sensing similarly to the transmitter X101, and a function of transmitting a signal for communication to another communication device like the transmitter X201.
  • the receiving device X306 of the device X300 has a function of receiving a signal for sensing similarly to the receiving device X106, and a function of receiving a signal for communication transmitted by another communication device like the receiving device X206. ..
  • the estimation unit X308 performs both the estimation process using the sensing signal similarly to the estimation unit X108 and the estimation process using the communication signal similar to the estimation unit X208.
  • each component of the device X300 is the same as that of the device X100 of FIG. 14 when transmitting/receiving the sensing signal, and the same as that of the device X200 of FIG. 15 when transmitting/receiving the communication signal. Therefore, the description is omitted.
  • the device X300 is different in the configuration of the transmission device X301 and the antennas X103_1 to X103_M for performing the transmission process, and the reception device X306 and the antennas X104_1 to X104_N for the configuration of the reception process.
  • the configuration of the device X300 is not limited to this.
  • the transmission device X301 and the reception device X306 may be realized as one component, or one or more or a plurality of antennas may be commonly used for transmission and reception.
  • the device X300 may include a sensing transmission device in addition to the communication transmission device.
  • the transmitting device for communication and the transmitting device for sensing may use the same one or more or a plurality of antennas, or may use different antennas for communication or sensing, one or more, or a plurality of antennas. May be provided.
  • the communication and sensing signal transmission device X301 may switch between transmission of the sensing signal and transmission of the communication modulation signal based on the mode information included in the control signal X309, and may transmit from the antenna. That is, there may be a mode for transmitting a signal for sensing and a mode for transmitting a modulated signal for communication. Further, the communication and sensing transmission device X301 may transmit a signal including a sensing signal and a communication modulation signal.
  • the device X300 may include a sensing receiving device in addition to the communication receiving device.
  • the receiving device for communication and the receiving device for sensing may be the same, one or more, or a plurality of antennas may be switched, and may be used for communication, different for sensing, one or more, or a plurality of antennas. It may be equipped with an antenna.
  • the device X300 may separately include a communication transmission device, a sensing transmission device, a communication reception device, and a sensing reception device.
  • the device X300 may include a transmission/reception device for communication and a transmission/reception device for sensing.
  • the device X300 may include a transmission/reception device for communication, a transmission device for sensing, and a reception device for sensing.
  • one or more antennas for transmission or a plurality of antennas are composed of one or more antenna units.
  • the one or more receiving antennas or the plurality of receiving antennas may be configured by one or more or a plurality of antenna units.
  • one or more transmitting antennas, and one or more receiving antennas, or a plurality of receiving antennas may be configured by a common transmitting/receiving antenna unit.
  • FIG. 17 is a diagram showing an example of a system configuration in this embodiment.
  • Z100 is an access point (AP)
  • Z101_1, Z101_2, and Z101_3 are terminals that wirelessly communicate with the AP.
  • FIG. 17 illustrates a case where each terminal communicates with the AP, but each terminal may have a function of communicating between the terminals.
  • FIG. 18 is a diagram showing an example of a configuration of communication and sensing devices provided in the APZ 100 and the terminals Z101_1, Z101_2, Z101_3.
  • the device of FIG. 18 uses one or a plurality of frequency bands that can be used for communication similarly to the device X300 of FIG. 16 described in the third embodiment and one or a plurality of channels in each frequency band to perform sensing. I do.
  • the apparatus of FIG. 18 includes a transmission/reception unit Z201, a sensing unit Z202, a transmission/reception antenna unit Z203, a transmission signal selection unit Z204, a reception signal selection unit Z205, and a control unit Z206.
  • the transmission/reception unit Z201 transmits/receives signals for communication.
  • the transmission/reception process of the communication signal performed by the transmission/reception unit is the same as the transmission process performed by the transmission device X201 and the reception process performed by the reception device X206 described in the third embodiment.
  • the sensing unit Z202 performs sensing based on the received signal.
  • the sensing unit Z202 may perform the sensing method of transmitting the signal for sensing described in the third embodiment and performing the sensing using the received reflected signal, or the terminal or the AP described in the third embodiment. You may implement the sensing method which performs sensing using the signal for communication received from other communication devices, such as. Further, the sensing unit Z202 may perform both the sensing method of transmitting the sensing signal and the sensing method of using the received communication signal.
  • the sensing unit Z202 When carrying out the sensing method of transmitting the sensing signal, the sensing unit Z202 performs the same process as the transmitting device X101 in the first embodiment to generate and output the signal for sensing.
  • the sensing unit Z202 does not perform the sensing method of transmitting the sensing signal but only performs the sensing method of using the communication signal, the sensing unit Z202 does not have to transmit the signal.
  • the transmitting and receiving antenna unit Z203 transmits and receives signals.
  • the transmission signal selection unit Z204 transmits the signals generated by the transmission/reception unit Z201 and the sensing unit Z202 from the transmission/reception antenna unit Z203.
  • the reception signal selection unit Z205 inputs the signal received by the transmission/reception antenna unit Z203 to the transmission/reception unit Z201 and the sensing unit Z202.
  • the control unit Z206 generates a control signal for controlling the operations of the transmission/reception unit Z201, the sensing unit Z202, the transmission signal selection unit Z204, and the reception signal selection unit Z205, and performs the frequency and period for communication and sensing. Control frequency and period.
  • the transmission signal selection unit Z204 may combine a sensing signal and a communication signal to generate and output a signal according to a frame.
  • the reception signal selection unit Z205 may generate a communication signal and a sensing signal from the received signal, and may output both.
  • 19 to 37 are examples of the configurations of frames transmitted and received by the device according to the present embodiment.
  • the horizontal axis represents time
  • the vertical axis represents frequency.
  • the frequency on the vertical axis may be, for example, the frequency within one channel in one frequency band, such as the subcarrier of an OFDM (Orthogonal Frequency Division Multiplexing) signal, or multiple channels within one or more frequency bands. May be
  • the frequency on the vertical axis may be a plurality of subcarriers of an OFDM signal that spans a plurality of channels. Therefore, it may be a single carrier transmission method or a multi-carrier transmission method such as OFDM.
  • a frame for sensing and a signal for sensing for example, it may be a band-limited pulse signal, a tone signal, or a carrier. Therefore, when the frames of FIGS. 19 to 37 are used for communication and/or sensing, the frames of FIG. 19 do not have to be single carrier transmission system signals or multicarrier transmission system signals.
  • the reference symbols shown in FIGS. 19 to 37 are symbols for the device according to the present embodiment to perform sensing.
  • the reference symbol may have a function for “the communication partner performs signal detection, time synchronization, frequency synchronization, channel estimation, etc.”.
  • the reference symbol may be control information necessary for a procedure for performing data communication, or a MAC (Media Access Control) frame.
  • the control information symbol is, for example, a symbol for notifying the communication method in the data symbol. Therefore, the control information symbol is, for example, information on an error correction coding method (coding rate, block length (code length), error correction code information, etc.), modulation method information, transmission method information (for example, a single stream). Information such as transmission or multiple stream transmission, which information is used) (information of MCS (Modulation and Coding Scheme)), data length, etc. is included.
  • error correction coding method coding rate, block length (code length), error correction code information, etc.
  • modulation method information for example, a single stream.
  • transmission method information for example, a single stream.
  • Information such as transmission or multiple stream transmission, which information is used) (information of MCS (Modulation and Coding Scheme)), data length, etc. is included.
  • the data symbol is a symbol for transmitting data to the communication partner.
  • the guard section is located immediately after the reference signal and is a section to assist sensing.
  • the guard interval is, for example, to avoid interference between signals or symbols arranged before and after the guard interval, or to change transmission directivity and reception directivity of a symbol before the guard interval and a symbol after the guard interval. Provided to do. For example, no signal may be present in the guard section.
  • the guard section does not have to be installed on the frame.
  • the sensing unit Z202 is used in the guard section, for example, to acquire a signal reception state in a state in which the own communication device or another communication device is not transmitting a signal for sensing or a signal for communication.
  • the frame configurations shown in FIGS. 19 to 37 are merely examples, and the frame configurations are not limited to these. For example, other symbols may be included in the frame. Further, when transmitting a frame, a single carrier transmission method may be used, or a multicarrier transmission method such as OFDM may be used.
  • the reference symbol may include an area for transmitting data.
  • the transmission signal may include data for identifying "is transmitting a signal for communication" or "is transmitting a signal for object detection”. ..
  • reference symbol although it is called a reference symbol, the name is not limited to this, and the reference symbol may be called a pilot symbol, a training symbol, a training field, a preamble, a control information symbol, a midamble, or the like.
  • sensing may be performed using pilot symbols, training symbols, training fields, preambles, control information symbols, midambles, and so on.
  • FIG. 19 shows a frame configuration when the device of this embodiment is performing communication.
  • the frame shown in FIG. 19 includes a preamble, control information symbols, and data symbols.
  • FIG. 20 shows a frame configuration when the device of this embodiment is performing sensing.
  • the diagram on the left side of FIG. 20 shows a frame structure in which reference symbols are transmitted for sensing.
  • the frame shown on the left side of FIG. 20 includes reference symbols.
  • a preamble and control information symbols are added to the reference symbol for sensing.
  • the frame shown on the right side of FIG. 20 includes a preamble, control information symbols, and a reference signal.
  • the device that receives the frame on the right side of FIG. 20 knows that the sensing signal exists by receiving the preamble and the control information symbol even if the device has only the communication function. Therefore, it is possible to obtain the effect that this device can control the transmission timing of the modulated signal so as not to interfere.
  • An example of the existence of the signal at that time is as shown in FIG.
  • the device of this embodiment may be a device having only a communication function so that the frame of FIG. 19 can be transmitted and received.
  • the device of this embodiment may be a device having only a sensing function so that the frame of FIG. 20 can be transmitted and received.
  • the device of the present embodiment may be a device that processes communication and sensing in parallel so that the frames of FIGS. 22 to 37 can be transmitted and received.
  • the frames in FIGS. 22 to 37 will be described below. 22 to 37 are examples of frames that enable sensing, and communication may also be possible in accordance with sensing.
  • 22 to 37 are examples of frames that enable sensing, and communication may also be possible in accordance with sensing.
  • a guard section exists in the frames in FIGS. 22 to 37, it can be implemented even if the guard section does not exist.
  • the AP can be considered as a repeater.
  • the frame shown in FIG. 22 includes a preamble, control information symbols, data symbols, midambles, and data symbols.
  • the midamble is assumed to be a symbol for demodulating data symbols and/or a symbol for sensing.
  • the preamble is arranged to realize communication, but the preamble and/or the control information symbol may be used by the device for sensing. The same applies to other drawings.
  • the frame shown in FIG. 23 includes a preamble, a control information symbol, a data symbol, a midamble, and a data symbol.
  • a guard section is provided between the midamble and the data symbol. Note that the symbols before the guard interval and the symbols after the guard interval may have different transmission directivities. The same applies to other drawings. Also, a guard section may be installed before the midamble. Further, it may be a frame in which no guard section exists. The same applies to other drawings.
  • the frame shown in FIG. 24 includes a preamble, a control information symbol, a data symbol, and a reference signal.
  • the data symbols are arranged in two different frequency bands F81 and F83.
  • the reference signal is arranged in a frequency band F82 different from the frequency band in which the data symbols are arranged.
  • three reference signals are arranged in the frequency band F82 with a time interval.
  • a guard section is provided between the reference signals. That is, the three reference signals are arranged so as to sandwich the guard section. Note that the reference signal is used for sensing. Note that this point is the same in other drawings. Further, the transmission directivities of the reference signal before the guard interval and the reference signal after the guard interval may be different. Note that this point is the same in other drawings.
  • the data symbols or references are arranged in the designated range in each of the time direction and the frequency direction.
  • the above range is also referred to as a time frequency resource which is a resource defined by time and frequency.
  • the time-frequency resource in which symbols including communication data are arranged is also referred to as a communication resource
  • the time-frequency resource in which symbols for radio wave sensing are arranged is also referred to as a sensing resource. The same applies hereafter.
  • the frame shown in FIG. 25 includes a preamble, control information symbols, data symbols, and a reference signal.
  • the data symbols are arranged in five different frequency bands F91 to F95.
  • the reference signal is arranged in the frequency bands F92 and F94.
  • a guard section is provided between the reference signal and the data symbol.
  • data symbols and reference signals may be mixed in some frequency resources. By doing so, it is possible to obtain the effect of improving the frequency utilization efficiency.
  • the transmission directivities of the reference signal and the data symbol before and after the guard interval may be different. This also applies to the other drawings.
  • the frame shown in FIG. 26 includes a preamble, control information symbols, data symbols, and a reference signal.
  • the data symbols are arranged in the frequency bands F101 and F103 to F105.
  • In the frequency band F102 three reference signals are arranged across the guard section. Further, the reference signal is arranged over the frequency bands F101 to F105.
  • After the reference signal data symbols are arranged in the frequency bands F101 to F103 and F105, and two reference signals are arranged in the frequency band F104 with the guard interval in between.
  • One characteristic point is that a wideband reference signal and a narrowband reference signal exist. This increases the possibility of highly accurate sensing.
  • the frame shown in FIG. 27 includes a preamble, a control information symbol, and a data symbol addressed to the user.
  • the data symbols addressed to the user include data symbols addressed to the users #1, #2, #3 and #4, and are arranged in the frequency bands F111, F112, F113 and F114, respectively.
  • This frame structure can be considered as an OFDMA frame example. For example, it can be considered as a frame transmitted by an AP, a relay, or the like.
  • the frame shown in FIG. 28 includes a preamble, control information symbols, data symbols addressed to the user, and a midamble.
  • the data symbols addressed to the user include data symbols addressed to the users #1, #2, #3 and #4, and are arranged in the frequency bands F121, F122, F123 and F124, respectively. Further, the data symbols addressed to the user are arranged across the midamble.
  • This frame structure can be considered as an OFDMA frame example. For example, it can be considered as a frame transmitted by an AP, a relay, or the like.
  • the frame shown in FIG. 29 includes a preamble, control information symbols, data symbols addressed to the user, and a midamble.
  • the data symbols addressed to the user include data symbols addressed to the users #1, #2, #3 and #4, and are arranged in the frequency bands F131, F132, F133 and F134, respectively.
  • the data symbols addressed to the user are arranged across the midamble.
  • a guard section is provided between the midamble and the data symbol addressed to the user.
  • a guard section may be installed before the midamble.
  • This frame structure can be considered as an OFDMA frame example. For example, it can be considered as a frame transmitted by an AP, a relay, or the like.
  • the frame shown in FIG. 30 includes a preamble, control information symbols, user-addressed data symbols, and a reference signal.
  • the data symbols addressed to the user include data symbols addressed to users #1, #3, and #4, and are arranged in frequency bands F141, F143, and F144, respectively.
  • the frequency band F142 three reference signals are arranged across the guard section.
  • OFDMA OFDMA
  • there may be a frequency band that is not used for data symbols addressed to the user for example, frequency band F142 in FIG. 30
  • a reference signal is used for the frequency band that is not used for data symbols addressed to the user. It is arranged.
  • the frequency band F142 can also be used to transmit a data symbol addressed to a certain user.
  • the frame shown in FIG. 31 includes a preamble, control information symbols, data symbols addressed to the user, and a reference signal.
  • the data symbols addressed to the user include data symbols addressed to the users #1, #2, #3 and #4, and are arranged in the frequency bands F151, F152, F153 and F154, respectively.
  • frequency band F151 two reference signals are arranged after the data symbol addressed to user #1 with the guard interval in between.
  • frequency band F152 the reference signal is arranged after the data symbol addressed to user #2, and the guard section is provided after the reference signal.
  • the time length of the data symbol addressed to the user may differ for each user, and in that case, the reference signal is arranged in the frequency band and time band not used for the data symbol addressed to the user.
  • the time length of the data symbol addressed to user #1 is shorter than the time length of the data symbol addressed to user #4, and the reference symbol can be transmitted using the time after the data symbol addressed to user #1.
  • it can be considered as a frame transmitted by an AP, a relay, or the like.
  • the frame shown in FIG. 32 includes a preamble, control information symbols, data symbols addressed to the user, and a reference signal.
  • the data symbols addressed to the user include data symbols addressed to users #1, #3, and #4, and are arranged in frequency bands F161, F163, and F164, respectively.
  • the reference signal is arranged over the frequency bands F161 to F164, and the guard section is provided after the reference signal.
  • a guard section is provided between the reference signals. For example, it can be considered as a frame transmitted by an AP, a relay, or the like.
  • the frame shown in FIG. 33 includes a preamble, a control information symbol, a data symbol addressed to the user, and a reference signal.
  • the data symbols addressed to the user include data symbols addressed to users #1, #2, #3, and #4, and are arranged in frequency bands F171, F172, F173, and F174, respectively.
  • the reference signal is arranged over the frequency bands F171 to F174, and the guard section is provided after the reference signal.
  • frequency band F171 the reference signal addressed to user #1 is arranged after the guard section, and the guard section is provided thereafter.
  • frequency band F172 a reference signal addressed to user #2 is arranged after the guard section, and a guard section is provided after that.
  • the time lengths of the data symbol addressed to the user, the reference signal, and the guard section are different from each other. For example, it can be considered as a frame transmitted by an AP, a relay, or the like.
  • the frame illustrated in FIG. 34 is a frame configuration example transmitted by the terminal, for example, a frame configuration example transmitted by the terminal owned by the user #1, and includes a preamble, a control information symbol, and a (owned by the user #1).
  • Data symbol (transmitted by the terminal).
  • the data symbol (transmitted by the terminal owned by the user #1) is arranged in the frequency band F181.
  • Frequency band F182 is not assigned to the terminal owned by user #1. However, the frequency band F182 can be used by terminals owned by other users (terminals other than the user #1) to transmit data symbols and reference signals.
  • the frame illustrated in FIG. 35 is an example of a frame configuration transmitted by the terminal, for example, a configuration example of a frame transmitted by the terminal owned by the user #1, and includes a preamble, a control information symbol, and a (owned by the user #1).
  • Data symbols (transmitted by the terminal owned by user #1) are arranged in frequency band F191.
  • Frequency band F192 is not assigned to the terminal owned by user #1.
  • (a reference signal and a guard interval are provided after the data symbol transmitted by the terminal owned by user #1.
  • a reference signal and a guard section are provided, but the frequency band F192 can be used by terminals (terminals other than user #1) owned by other users to transmit data symbols and reference signals. ..
  • the frame shown in FIG. 36 is a frame configuration example transmitted by the terminal, for example, a frame configuration example transmitted by the terminal owned by the user #1, and includes a preamble, a control information symbol, and a (owned by the user #1).
  • Data symbols (transmitted by the terminal owned by user #1) are arranged in frequency bands F201 and F202.
  • Frequency band F203 is not assigned to the terminal owned by user #1.
  • frequency band F201 similarly to frequency band F191 in FIG. 35, a reference signal and a guard interval are provided after the data symbol (transmitted by the terminal owned by user #1), and the next (owned by user #1).
  • a reference signal and a guard interval are also provided after the data symbol (transmitted by the terminal). Similar to frequency band F181 of FIG. 34, in frequency band F202, data symbols (transmitted by the terminal owned by user #1) are arranged, and no reference signal and guard section are provided. However, frequency band F203 can be used by terminals (terminals other than user #1) owned by other users to transmit data symbols and reference signals.
  • the frame shown in FIG. 37 is a frame configuration example transmitted by a terminal, for example, a frame configuration example transmitted by a terminal owned by user #1, and includes a preamble, a control information symbol, and a (owned by user #1).
  • the data symbols (transmitted by the terminal owned by the user #1) are arranged in the frequency bands F211 and F212.
  • Frequency band F213 is not assigned to the terminal owned by user #1.
  • the reference signal and the guard interval are provided after the data symbol (transmitted by the terminal owned by the user #1), and the next (owned by the user #1).
  • a reference signal and a guard interval are also provided after the data symbol (transmitted by the terminal).
  • frequency band F212 data symbols (transmitted by the terminal owned by user #1) and reference signals are arranged.
  • frequency band F213 can be used by terminals (terminals other than user #1) owned by other users to transmit data symbols and reference signals.
  • One characteristic point is that a wideband reference signal and a narrowband reference signal exist. This increases the possibility of highly accurate sensing.
  • the device according to the present embodiment may be a device capable of transmitting and receiving the frame in FIG. 19 or the frame in FIG.
  • the device of the present embodiment may be a device capable of transmitting and receiving the frame of FIG. 19 and the frames of FIGS. 22 to 37.
  • the device of the present embodiment may be a device capable of processing transmission/reception of the frame of FIG. 20 and the frames of FIGS. 22 to 37.
  • the device of the present embodiment may be a device capable of processing transmission/reception of the frame of FIG. 19, the frame of FIG. 20, and the frames of FIGS. 22 to 37.
  • the device of this embodiment may transmit the frames of FIGS. 19 to 37 from one antenna.
  • the apparatus of this embodiment may transmit the frames of FIGS. 19 to 37 from a plurality of antennas.
  • the device of this embodiment uses one antenna to receive the signals of the frames of FIGS. 19 to 37.
  • the apparatus of this embodiment may receive the signals of the frames of FIGS. 19 to 37 with a plurality of antennas. Therefore, as the transmission method, any of SISO (Single-Input Single-Output), MISO (Multiple-Input Single-Output), SIMO (Single-Input Multiple-Output), and MIMO (Multiple-Input Multiple-Output) can be used. It may be.
  • SISO Single-Input Single-Output
  • MISO Multiple-Input Single-Output
  • SIMO Single-Input Multiple-Output
  • MIMO Multiple-Input Multiple-Output
  • the AP (or repeater) and terminal can obtain the effect of being able to perform sensing and communication.
  • the transmission device is configured by the frame configuration unit that configures a frame that complies with the OFDMA method and that includes a plurality of time-frequency resources that are resources defined by time and frequency, and the frame configuration unit.
  • the frame configuration unit includes a communication resource, which is a time-frequency resource in which symbols including communication data are arranged, and a symbol for sensing by radio waves transmitted by the transmission unit.
  • a frame that includes a sensing resource that is a time-frequency resource that is configured is configured as the frame.
  • the frame is two sensing resources, the two sensing resources have different times, the same frequencies, and two sensing resources that are adjacent to each other in the time direction with a guard interval in between. It may include at least resources.
  • the reference signal in the frequency band F142 of FIG. 30 corresponds to the above two sensing resources.
  • the frame may include two guard intervals, two guard intervals having different time lengths and different frequencies.
  • the guard section of the frequency band F171 and the guard section of the frequency band F172 of FIG. 33 correspond to the two guard sections.
  • the frame may include at least two sensing resources, which are different in the frequency of the two sensing resources and have different time lengths.
  • the reference signal in the frequency band F171 and the reference signal in the frequency band F172 in FIG. 33 correspond to the above two sensing resources.
  • the sensing process may include at least a process of detecting the position of the object by analyzing the reflected wave received by the receiving unit, a process of detecting the presence or absence of the object, or a process of detecting the outer shape of the object. ..
  • the detection device further includes a control unit that controls the drive of the electric device based on the result of the sensing process performed by the processing unit. Then, the control system of the present embodiment includes a detection device and the electric device.
  • FIG. 38 is a diagram showing an example of the configuration of the control system in the present embodiment.
  • the control system shown in FIG. 38 includes a device A11 and a detection device A12.
  • the device A11 is an electric device that can operate under the control of the device of the device A11, and is, for example, an electric motorcycle, an electric kickboard, a vacuum cleaner, an electric vehicle, or the like.
  • the device A11 is an information processing device such as a smartphone or a tablet.
  • the device A11 includes interfaces #1 and #2, a control unit A111, a drive unit A112, a sensor A113, and a communication unit A114.
  • the interfaces #1 and #2 are interface devices for communication with the detection device A12.
  • the interfaces #1 and #2 are interfaces that perform communication without using another device such as a relay device.
  • the communication here may be, for example, wireless communication such as Bluetooth (registered trademark), wireless LAN, optical communication, etc., for example, USB (Universal Serial Bus), PLC (Power Line Communication), etc. It may be wired communication.
  • another device such as a repeater may be used.
  • the interface #1 receives a signal (also referred to as a first signal) from the interface #3 of the detection device A12.
  • the interface #2 transmits a signal (also referred to as a second signal) to the interface #4 of the detection device A12.
  • the interface #1 may be supplied with power from the detection device A12.
  • the control unit A111 is a processing unit that controls driving of the driving unit A112 and control of the sensor A113.
  • the control unit A111 receives the signal from the detection device A12 via the interface #1, and controls the drive of the drive unit A112 and the sensor A113 based on the received signal.
  • the control unit A111 acquires information indicating the states of the drive unit A112 and the sensor A113, and transmits the information to the detection device A12 via the interface #2.
  • the control unit A111 may acquire a software program for operating the control unit A111 via the communication unit A114.
  • the drive unit A112 is a processing unit that drives the device A11.
  • the drive unit A112 includes, for example, a wheel for moving the device A11, a steering device that controls the direction of the wheel, an acceleration device or a braking device that controls the rotation speed of the wheel, and the like.
  • the drive unit A112 may further include a battery that is a power source for driving the wheels.
  • the drive unit A112 operates under the control of the control unit A111, thereby accelerating or decelerating the moving speed of the device A11, and changing the moving direction.
  • the drive unit A112 also outputs information indicating the state of the drive unit A112 to the control unit A111.
  • the sensor A113 is a sensor that senses the surroundings of the device A11.
  • the sensor A113 is, for example, a sensor that measures temperature, humidity, illuminance, or the like, or a distance sensor that measures a distance to a surrounding object.
  • the sensor A113 operates under the control of the control unit A111, and outputs a sensor value and the like to the control unit A111.
  • the communication unit A114 is a communication interface that performs wireless communication with an AP (access point).
  • AP access point
  • AP access point
  • it may be a base station, a communication device, or the like.
  • the detection device A12 includes interfaces #3 and #4, a control unit A121, a processing unit A122, an image sensor A123, an application storage unit A124, communication units #1 and #2, and a sensing unit A125.
  • the interfaces #3 and #4 are interface devices for communication with the device A11.
  • the interfaces #3 and #4 are interfaces that perform communication without going through other devices such as a relay device.
  • the communication here may be wireless communication such as Bluetooth (registered trademark), wireless LAN, optical communication, or the like, or wired communication such as USB or PLC, for example.
  • another device such as a repeater may be used.
  • the interface #3 transmits a signal to the interface #1 of the device A11.
  • the interface #4 receives a signal from the interface #2 of the device A11.
  • the interface #3 may supply power to the device A11.
  • the control unit A121 is a processing unit that controls the operation of the device A11.
  • the control unit A121 acquires, from the device A11 via the interface #4, for example, a sensor value acquired by the sensor A113, or information indicating the state of the drive unit A112, and based on the acquired sensor value or information, A signal for driving the driving unit A112 and/or controlling the control unit A111 is generated.
  • the control unit A121 transmits the generated signal to the device A11 via the interface #3, and controls the control unit A111 and/or the drive unit A112, for example.
  • the control unit A121 is a processing unit that controls the operation of the device A11.
  • the control unit A121 acquires the sensor value obtained by the sensing unit A125 via the processing unit A122, and outputs a signal for driving the drive unit A112 and/or controlling the control unit A111 based on the acquired sensor value.
  • the control unit A121 may use information obtained from the drive unit A112 and/or the sensor A113 when driving the drive unit A112 and/or generating a signal for controlling the control unit A111. Then, the control unit A121 transmits the generated signal to the device A11 via the interface #3, and controls the control unit A111 and/or the drive unit A112, for example.
  • the processing unit A122 is an arithmetic device that performs information processing in the detection device A12.
  • the processing unit A122 is composed of, for example, a CPU.
  • the image sensor A123 is a sensor that captures an image around the detection device A12 and generates an image.
  • the image sensor A123 provides the data related to the generated image to the processing unit A122.
  • the application storage unit A124 is a storage device that stores an application (software program) for controlling the device A11 or the detection device A12.
  • the application storage unit A124 acquires the application (software program) via the communication unit #1 or #2, for example.
  • the communication unit #1 is a communication interface that performs wireless communication with an AP (access point).
  • the communication unit #2 is a communication interface for performing wireless communication with a base station of a mobile phone carrier network.
  • the sensing unit A125 is a processing unit that performs sensing using radio waves for communication.
  • the sensing unit A125 detects an object around the detection device A12, more specifically, a person, a car, a bicycle, an obstacle, or the like, and recognizes the motion of the object.
  • the sensing unit A125 may be realized by transmitting radio waves of the same frequency as the communication unit #1.
  • the device A11 may be equipped with the detection device A12 or may be arranged at a position apart from the detection device A12.
  • the device A11 When the device A11 is equipped with the detection device A12, the device A11 is controlled by a signal transmitted/received via the communication unit A114 or the interface #1 or #2.
  • the detection device A12 is mounted on the device A11 when the device A11 is used while the user is out.
  • the device A11 when the device A11 is controlled via the communication unit A114, the device A11 is controlled based on the signal transmitted from the detection device A12 via the AP (access point). However, when controlling the device A11 via the communication unit A114, the function may be restricted. When the device A11 communicates with the detection device A12 via the communication unit A114, the communication may be performed directly with the communication unit #1 of the detection device A12 instead of communication via the AP (access point). ..
  • a device such as a smartphone or tablet that has not been used for controlling the device A11 in the related art, for controlling the device A11.
  • an existing device or the like can be used to control the device A11.
  • unused devices such as CPU, GPU, memory, storage, modem, or display that can be used even if they are idle and that are not used It is possible to obtain the effect that there is a possibility to utilize.
  • the firmware or the application may be updated not only on the detecting device A12 side but also on the device A11 side. With this configuration, a new function that cannot be dealt with only by updating the application on the detection device A12 side is provided, or when a security problem is discovered on the device A11 side, a firmware or an application that solves the security problem is solved. It becomes possible to take measures promptly by providing.
  • the application is acquired from an external device such as a cloud server via the communication unit #1 and the communication unit #2.
  • FIG. 39 is a diagram showing an example of the configuration of the control system in the present embodiment.
  • the control system shown in FIG. 39 includes a device A11, a detection device A12, an AP of A21, a network A22, a base station A23, and a device A24.
  • the device A11 and the detection device A12 send and receive signals via interfaces #1, #2, #3, and #4. The details have already been described.
  • the AP of A21 is an access point that can be connected to the communication unit #1 of the detection device A12.
  • the network A22 is a network that is connected to the AP of A21 and is also connected to the base station A23.
  • the network A22 may include a part of a carrier network of a mobile phone or a part of the Internet. Further, a cloud including a server that executes information processing may be connected.
  • the base station A23 is, for example, a base station device connected to the carrier network of a mobile phone, and is connected to the device A24.
  • the device A24 is, for example, a portable information processing device such as a smartphone or a tablet possessed by the user.
  • the detection device A12 is communicatively connected to the device A24 via the APA 21, the network A22, and the base station A23 by the communication unit #1.
  • a detection device A12 is connected to a device A11 such as a vacuum cleaner via interfaces #1, #2, #3 and #4.
  • the device A24 accesses the detection device A12 mounted on the device A11 via, for example, one or more networks, and controls the device A11 via the detection device A12.
  • the device A11 is controlled using the data sensed by the sensing unit A125 included in the detection device A12. With this configuration, the data sensed by the sensor not included in the device A11 can be used for controlling the device A11. As a result, it may be possible to realize a function that cannot be realized by the device A11 alone.
  • the device A11 acquires the data sensed by the sensing unit A125 of the detection device A12 via the interfaces #1 and/or #2
  • the device A11 acquires the data via the network via the communication unit A114.
  • it is possible to improve security, and it may be possible to provide functions that cannot be realized when there are security restrictions.
  • one of the features of this control system is that the device A11 is controlled via the detection device A12 mounted on the device A11. With this configuration, it becomes possible for the detection device A12 to determine whether or not to accept the control instruction transmitted from the device A24. For example, by performing processing such as authentication between the device A24 and the detection device A12, it is possible to improve security against unauthorized access.
  • FIG. 40 is a diagram showing an example of the external appearance of the control system in the present embodiment.
  • the control system shown in FIG. 40 is a system in which the detection device A12 is mounted on an electric kickboard corresponding to the device A11.
  • the detection device A12 controls, for example, acceleration/deceleration of the device A11 based on the result of sensing by the sensing unit A125.
  • the electric kickboard can control the drive unit A112 according to a user's input using an input unit for operation input on the device A11 (that is, electric kickboard) side or the detection device A12 side, for example. It may be.
  • the control unit A121 controls the drive unit A112 to perform operations such as accelerating the device A11 (that is, the electric kickboard) or changing the traveling direction. Further, the control unit A121 may control the drive unit A112 to decelerate the device A11. The deceleration may be realized by a brake or a braking force of a generator or the like.
  • control unit A121 may control the drive unit A112 according to an input from the input unit, or may control the drive unit A112 based on the sensing data acquired from the device A11 and/or the sensing unit A125. You may control.
  • the sensing unit A125 performs sensing using radio waves. Note that the sensing method using radio waves is as described in the other embodiments. For example, it is assumed that the sensing unit A125 detects a person by performing sensing.
  • the control unit A121 transmits, to the device A11 via the interface #3 and the interface #4, a control signal including information that the speed is to be decelerated based on the information “detecting a person” obtained from the sensing unit A125. To do.
  • the control unit A111 and the drive unit A112 of the device A11 perform control to decelerate.
  • the sensing unit A125 performs sensing using radio waves and detects that there is no obstacle before.
  • the control unit A121 based on the information “no obstacle” obtained from the sensing unit A125, transmits a control signal including information that the vehicle accelerates at a constant speed and then runs at a constant speed to the interface #3 and the interface #. 4 to the device A11.
  • the control unit A111 and the drive unit A112 of the device A11 perform control such that constant speed traveling is performed after acceleration.
  • the sensing unit A125 performs sensing using radio waves and detects that there is an obstacle on the right side.
  • the control unit A121 sends a control signal including information indicating that an operation for avoiding an obstacle is performed based on the information "obstacle exists on the right side" obtained from the sensing unit A125, to the interface #3 and the interface #4. Via the device A11.
  • the control unit A111 and the drive unit A112 of the device A11 perform control to perform an operation of avoiding an obstacle.
  • the sensing unit A125 performs sensing using radio waves, and based on the information of the sensing result, the control unit A121 performs self-position estimation or obstacle detection, and outputs a control signal for controlling acceleration or deceleration. You may output.
  • the control unit A121 can also perform self-position estimation or obstacle detection using the image information obtained from the image sensor A123 and the information obtained from the sensor A113.
  • the control unit A121 transmits this control signal to the device A11 via the interface #3 and the interface #4. Accordingly, the control unit A111 and the drive unit A112 of the device A11 are controlled based on the control signal.
  • the control unit A121 detects the user's motion based on the speed or acceleration data acquired by the speed sensor or the acceleration sensor, and accelerates or Controls deceleration.
  • the user's action detected using the sensing unit A125 is an action of the user kicking the ground, but an action other than that may be performed.
  • the user may move the center of gravity of the body, or the orientation of the user's face or the orientation of the user's face may change.
  • a sensor that can be used as the sensing unit A125 may be a weight sensor, a wireless radar, or radio wave sensing.
  • FIG. 41 is a diagram showing an example of processing of the control system in the present embodiment. An example of control in the above example of the control operation by the control unit A121 will be described using a flowchart.
  • the device A11 may be, for example, when the user gives an instruction to start the control operation with a switch or a button, when the user turns on the power of the device A11, when the user attaches the detection device A12 to the device A11, or when the user performs the device
  • the control operation of the flowchart is started at the time when it is detected that the user has boarded the kickboard which is A11.
  • step S001 when the control unit A121 starts the control operation, the control unit A121 acquires acceleration data from the sensor A113 included in the device A11 and/or the sensing unit A125 included in the detection device A12.
  • step S002 the control unit A121 detects the acceleration operation of the device A11 from the acceleration data.
  • step S003 the process proceeds to step S003
  • step S004 the process proceeds to step S004.
  • step S003 the control unit A121 controls the drive unit A112 to execute an assist process of rotating the motor to generate an acceleration force in the traveling direction.
  • the acceleration force may be generated, for example, at a time point when it is determined from the acceleration data that the acceleration is performed, for a predetermined time to further improve the acceleration, or after the acceleration is performed, the acceleration is performed. It may be performed so as to maintain the speed for a predetermined time at the time when the speed is finished or when the deceleration is started.
  • the assist process of step S003 ends, the process returns to step S001.
  • step S004 the control unit A121 determines whether to end the control of the driving unit A112, ends the process if ending the control of the driving unit A112, and ends the process if not ending the control of the driving unit A112.
  • Whether to end the control of the drive unit A112 may be determined to end the control of the drive unit A112 when the device A11 is completely stopped, or when the user turns off the power of the device A11. Alternatively, it may be determined that the control of the drive unit A112 ends when the user removes the detection device A12 from the device A11 or when the user detects that the user gets off the kickboard which is the device A11.
  • the device A11 may be, for example, when the user gives an instruction to start the control operation with a switch or a button, when the user turns on the power of the device A11, when the user attaches the detection device A12 to the device A11, or when the user performs the device
  • the control operation of the flowchart is started at the time when it is detected that the user has boarded the kickboard which is A11.
  • step S001 when the control unit A111 starts the control operation, the control unit A111 acquires acceleration data from the sensor A113 included in the device A11.
  • step S002 the control unit A111 detects the acceleration operation of the device A11 from the acceleration data.
  • step S003 the process proceeds to step S003
  • step S004 the process proceeds to step S004.
  • step S003 the control unit A111 controls the drive unit A112 to execute an assist process of rotating the motor to generate an acceleration force in the traveling direction.
  • the acceleration force may be generated, for example, at a time point when it is determined from the acceleration data that the acceleration is performed, for a predetermined time to further improve the acceleration, or after the acceleration is performed, the acceleration is performed. It may be performed so as to maintain the speed for a predetermined time at the time when the speed is finished or when the deceleration is started.
  • the assist process of step S003 ends, the process returns to step S001.
  • step S004 the control unit A111 determines whether or not to end the control of the drive unit A112. If the control of the drive unit A112 is to be ended, the process is ended. Return to S001. Whether to end the control of the drive unit A112 may be determined to end the control of the drive unit A112 when the device A11 is completely stopped, or when the user turns off the power of the device A11. Alternatively, it may be determined that the control of the drive unit A112 ends when the user removes the detection device A12 from the device A11 or when the user detects that the user gets off the kickboard which is the device A11.
  • FIG. 42 is a diagram showing an example of the configuration of the transmission device A3 in the sixth embodiment.
  • the transmission device A3 includes a frame configuration unit A31, a transmission unit A32, a reception unit A33, and a processing unit A34.
  • the frame configuration unit A31 is a frame based on a single carrier system, a multicarrier system such as OFDM, or an OFDMA (Orthogonal Frequency-Division Multiple Access) system, and is a resource defined by time and frequency.
  • a frame including a plurality of time-frequency resources is constructed.
  • the frame configuration unit A31 includes a communication resource, which is a time-frequency resource in which symbols including communication data are arranged, and a sensing resource, which is a time-frequency resource in which symbols for sensing by radio waves transmitted by the transmission unit A32 are arranged.
  • a frame including and is configured as the frame.
  • the transmission unit A32 transmits the frame configured by the frame configuration unit A31 by radio waves.
  • FIG. 43 is a diagram showing an example of processing of the transmitting device according to the sixth embodiment.
  • step S1 the frame is based on the single carrier system, the multicarrier system such as OFDM, or the OFDMA system, and is defined by time and/or frequency.
  • a frame including a plurality of time-frequency resources which are resources to be configured is configured.
  • a communication resource that is a time-frequency resource in which a symbol including communication data is arranged, and a sensing resource that is a time-frequency resource in which a symbol for sensing by a radio wave transmitted in the transmitting step is arranged.
  • a frame including resources is configured as the frame.
  • step S2 transmission step
  • the frame configured in the frame configuration step is transmitted by radio waves.
  • the transmitting device can sense the surroundings.
  • FIG. 44 shows an example of the configuration of a device having both a communication function and a sensing function.
  • the transmitter/receiver N102 receives the data N101 and the control signal N100. Then, when the control signal N100 indicates that “communication is performed”, the transmission/reception unit N102 performs processing such as error correction coding and modulation on the data N101, and outputs a modulated signal N103. When the control signal N100 indicates that “sensing is performed”, the transmission/reception unit N102 does not operate.
  • the sensing unit N104 inputs the control signal N100, and when the control signal N100 indicates that “sensing is performed”, the sensing unit X204 outputs the sensing signal N105. When the control signal N100 indicates that “communication is performed”, the sensing unit N104 does not operate, for example.
  • the sensing unit N104 receives the signal N180 related to the operation, determines the sensing operation based on the signal N180 related to the operation, and performs the operation based on the determination. Details will be described later.
  • the transmission signal selection unit N106 receives the control signal N100, the modulation signal N103, and the sensing signal N105. Then, when the control signal N100 indicates that “communication is performed”, the transmission signal selection unit N106 outputs the modulation signal N103 as the selected signal N107. When the control signal N100 indicates that “sensing is performed”, the transmission signal selection unit N106 outputs the sensing signal N105 as the selected signal N107.
  • the power adjusting unit N108 receives the selected signal N107 and control signal N100.
  • control signal N100 indicates that “communication is performed”
  • power adjustment for communication is performed on the selected signal N107 (for example, a coefficient for multiplying the selected signal N107 is ⁇ ), and transmission is performed.
  • the signal N109 is output.
  • the power for communication is adjusted for the selected signal N107 (for example, the coefficient by which the selected signal N107 is multiplied is ⁇ ). , And outputs the transmission signal N109.
  • ⁇ and ⁇ are real numbers of 0 or more.
  • ⁇ > ⁇ ⁇ is larger than ⁇ .
  • ⁇ and ⁇ may be complex numbers. At this time, it is assumed that
  • the transmission signal N109 is output from the transmission/reception antenna unit N110 as a radio wave.
  • the power adjusting unit N108 may be omitted.
  • the selected signal N107 is output as a radio wave from the transmission/reception antenna unit N110.
  • the transmitting/receiving antenna unit N110 outputs a reception signal N111.
  • the reception signal selection unit N112 receives the control signal N100 and the reception signal N111. When the control signal N100 indicates that “communication is performed”, the reception signal selection unit N112 outputs the reception signal N111 as the signal N113.
  • the reception signal selection unit N112 outputs the reception signal N111 as the signal N114.
  • the transmitter/receiver N102 receives the control signal N100 and the signal N113.
  • the transmission/reception unit N102 performs processing such as demodulation and error correction decoding on the signal N113, and outputs reception data N115.
  • the sensing unit N104 receives the control signal N100 and the signal N114. When the control signal N100 indicates that “sensing is performed”, the sensing unit N104 performs sensing using the signal N114 and outputs the sensing result N116.
  • the control unit N151 generates and outputs the control signal N100 based on the external signal N150, the received data N115, and the like.
  • the control unit N151 generates and outputs the control signal N100 based on the external signal N150, the received data N115, and the like.
  • the registration unit N180 receives the external signal N150 and the sensing result N116. For example, when the external signal N150 indicates that the operation for operation registration is performed, the registration unit N180 outputs the signal N180 regarding the operation including the information that the operation registration is performed.
  • the sensing unit N104 When the signal N180 related to the motion includes information that the motion registration is performed, the sensing unit N104 generates and outputs the sensing signal N105 for sensing the target gesture or the like.
  • the sensing signal N105 is transmitted as a radio wave, but thereafter, the device capable of sensing receives the signal, and the sensing unit N104 estimates the sensing of the received signal and outputs the sensing result N116. Output.
  • the registration unit N180 will register the sensing result N116.
  • Example 1 It is assumed that the first person takes out "a device capable of sensing” or "a device capable of sensing and having a communication function" in a house and leaves it somewhere.
  • the “device capable of sensing” or the “device capable of sensing and having a communication function” is named device #A.
  • the specific example of the device #A is as described above.
  • the first person has a request to easily find the misplaced device #A.
  • an operation example for this request will be described.
  • FIG. 45 shows an example of the relationship between the device #A and the first person. As shown in FIG. 45, first, the device #A “determines to register a gesture (N201)”. Therefore, the device #A transmits the sensing signal.
  • the first person “executes a motion to register with device #A (N202)”.
  • this gesture is named a "first gesture.”
  • the device #A “registers the first gesture (N203)”.
  • the device #A may have a function of confirming whether or not the gesture has been correctly registered. Further, the device #A may have a function of editing the registered gesture. These functions may be used by, for example, the first person to correctly register the first gesture in the device #A.
  • the registered gesture for example, the first gesture
  • the operation of the device #A are linked (N211).
  • the device #A performs a “sound” or “vibrate” action when a person performs the first gesture when the device #A is not found. ..
  • the above-mentioned to smooth the sound” or "to vibrate" is named as "first motion”.
  • the device #A registers the contents associated with the first operation.
  • the device #A is supposed to perform sensing regularly, regularly, or irregularly.
  • the first person “executes the first gesture (N212)” because the device #A is missing.
  • the person who performs the first gesture is the first person, another person may perform the first gesture.
  • the device #A recognizes the first gesture by performing sensing, and carries out the first action (N213).
  • the effect that the device #A can be easily found can be obtained.
  • the person can also obtain the effect of not having to have a special device.
  • N201, N202, and N203 in FIG. 45 enable device #A to register a gesture made by a person.
  • the device #A registers a plurality of gestures. For example, it is assumed that the device #A has registered the first gesture, the second gesture, the third gesture, and the fourth gesture.
  • the device #A may "silence” or “vibrate” just by performing the above procedure (here, it is referred to as a malfunction).
  • the device #A performs an operation of “sounding” or “vibrating”.
  • the first person registers with device #A.
  • the number of gestures to be registered in the device #A is not limited to the above example, and the same operation can be performed if a plurality of gestures are registered. Also, the number of gestures to be combined is not limited to the above example, and a plurality of gestures may be combined and linked with the operation of the device #A.
  • the number of gestures to be registered in the device #A is not limited to the above example, and the same operation can be performed if a plurality of gestures are registered.
  • the number of gestures to be combined is not limited to the above example, and a plurality of gestures may be combined and linked with the operation of the device #A.
  • the example of “sounding” or “vibrating” has been described, but the plurality of gestures and the operation of the apparatus are not limited to this. 49 to 49, a plurality of gestures may be linked to actions of the device (terminal) as in an example described later.
  • the present invention is not limited to this, and the device (terminal) may operate as in an example described later with reference to FIGS. 46 to 49.
  • the gesture is registered, and then the gesture and the operation of the device #A are linked, but the procedure is not limited to this order, and the operation of the device #A is specified, and then the link is performed.
  • the gesture to be performed may be registered.
  • the gesture linked to the operation of the device #A may be a gesture held (in advance) by the device #A. The important point here is to link one or more gestures with the operation of terminal #A.
  • Example 2 In Example 1, a case has been described in which "gesture” is linked to “device #A's "make a sound” or “vibrate”", but in this example, “gesture” and “device #A( The case of linking "operation of communication function of terminal #A)" will be described.
  • FIG. 46 shows an example of the states of the first person N301, the terminal #A of N302 and the device #B of N303 that are “capable of sensing and have a communication function”. In FIG. 46, it is assumed that the terminal #A of N302 and the device #B of N303 can communicate with each other.
  • FIG. 47 is an example different from FIG. 46, and those operating in the same manner as FIG. 46 are given the same numbers.
  • FIG. 47 there exists a first person N301, a terminal #A of N302, which is “capable of sensing and equipped with a communication device”, an AP (access point) N401, and a device #B of N303.
  • the network N402 may exist.
  • FIG. 47 it is assumed that the terminal #A of N302 and the AP of N401 can communicate with each other, and the apparatus #B of N303 and the AP of N401 can communicate with each other.
  • the terminal #A of N302 “decides to register the gesture (N501)”. Therefore, the terminal #A of N302 transmits the sensing signal.
  • the first person N301 “executes a movement to register the terminal #A of N302 (N502)”. Note that this gesture is named "second gesture”.
  • the terminal #A of N302 “registers the second gesture (N503)”.
  • the terminal #A of N302 may have a function of confirming whether or not the gesture can be correctly registered.
  • the terminal #A of N302 may have a function of editing the registered gesture.
  • the first person N301 may use these functions and correctly register the second gesture in the terminal #A of N302.
  • the registered gesture for example, the second gesture
  • the operation of the terminal #A of N302 are linked (N511).
  • the following cooperation is assumed. "When a person including the first person N301 performs the second gesture, the terminal #A of N302 instructs the apparatus #B of N303 to perform the "second action". Therefore, the terminal #A of N302 transmits the information instructing the execution of the second operation to the device #B of N303. The above-mentioned cooperation shall be performed.
  • the terminal #A of N302 carries out the sensing regularly, regularly, or irregularly.
  • the first person N301 wants to request the device #B of N303 to perform the "second action", so it is assumed that "the second gesture is performed (N512)".
  • the person performing the second gesture is the first person N301, another person may perform the second gesture.
  • the terminal of N0302 recognizes the second gesture by performing sensing (N513), and transmits the information instructing the execution of the "second operation" to the device #B of N303 (N514). ).
  • the device #B of N303 will carry out the second operation (N515).
  • the terminal #A of N302 “decides to register the gesture (N501)”. Therefore, the terminal #A of N302 transmits the sensing signal.
  • the first person N301 “executes the movement to register the terminal #A of N302 (N502)”. Note that this gesture is named "second gesture”.
  • the terminal #A of N302 “registers the second gesture (N503)”.
  • the terminal #A of N302 may have a function of confirming whether or not the gesture can be correctly registered.
  • the terminal #A of N302 may have a function of editing the registered gesture. For example, the first person N301 may use these functions to correctly register the second gesture in the terminal A of N302.
  • the registered gesture for example, the second gesture
  • the operation of the terminal #A of N302 are linked (N611).
  • the terminal #A of N302 instructs the apparatus #B of N303 to perform the “third operation”.
  • the terminal #A of N302 transmits information instructing the execution of the third operation to the AP of N401.
  • the AP of N401 transmits the modulated signal including this information (instruction to carry out the third operation) to the device #B of N303.
  • the terminal #A of N302 carries out the sensing regularly, regularly, or irregularly.
  • the first person N301 wants to request the device #B of N303 to carry out the “third action”, so that it is assumed that “the second gesture is carried out (N612)”.
  • the person performing the second gesture is the first person N301, another person may perform the second gesture.
  • the terminal #A of N302 recognizes the second gesture by performing sensing (N613), and transmits the information instructing the execution of the "third operation" to the AP of N401 (N614). ..
  • the N401 AP transmits a modulated signal including this information (instruction for performing the third operation) to the device #B of N303 (N615).
  • the device #B of N303 will carry out the third operation (N616).
  • the AP of N401 may be communicating with the network N402.
  • the AP of N401 may communicate with the cloud server via the network N402. Then, the AP of N401 may receive an instruction from the cloud server.
  • the cloud server may obtain information regarding sensing from the terminal #A of N302, the device #B of N303, the AP of N401, and the like.
  • the cloud server itself may grasp the registered content of the gesture and perform the gesture recognition operation.
  • the terminal #A of N302 needs to upload these base information to the cloud server.
  • the cloud server may understand the content associated with the gesture, and based on these, may instruct the terminal #A of N302, the device #B of N303, and the AP of N401.
  • the word gesture is used for explanation, but instead of a gesture, the movement of a person, the shape of a part of the human body, the movement of a part of the human body, the detection of a person, the detection of a part of a person,
  • the present description may be implemented using person authentication, person part authentication, object movement, object shape, object detection, object authentication, or the like.
  • the sensing method the example described in this specification may be used, or any other method may be used.
  • FIG. 50 shows an example of the state of each device in this embodiment.
  • N700 shows an example and the space of the house.
  • the home N700 is a terminal such as an AP (access point) N701, an audio N702, a “smartphone or a smart speaker, a tablet, a computer, or a mobile phone”.
  • AP access point
  • N701 an audio N702
  • a “smartphone or a smart speaker a tablet, a computer, or a mobile phone”.
  • the device N703 will be referred to as device #C hereinafter.
  • the person N705 is living in the in-house N700.
  • the N701 AP is assumed to be capable of sensing and communicating as described in the other embodiments.
  • the AP of N701 is assumed to communicate with, for example, device #C of audio N702 and N703, lighting N704, and the like.
  • the N701 AP may communicate with devices other than these.
  • the AP of N701 is communicating with the (cloud) server N720 via the network N710.
  • the AP of N701 is communicating with the base station N730 via the network N710.
  • the base station N730 is assumed to be in communication with the device N731, which is a terminal such as a “smartphone, tablet, computer, or mobile phone”.
  • the device N731 will be referred to as device #D hereinafter.
  • FIG. 51 shows a flowchart of an operation example when the N701 AP is installed in the house.
  • the AP of N701 performs sensing (N801), and information on the situation in the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of furniture, furniture.
  • Shape information, home appliance (including audio N702 and lighting N704) position information, home appliance shape information, electronic device (including N703 device #C position) position information, electronic device shape And the like are uploaded to the cloud server (N802).
  • the AP of N701 ends the initial sensing (N803).
  • the N701 AP may perform the operation of FIG. 51 regularly, irregularly, regularly, or irregularly after the N701 AP is installed. ..
  • FIG. 51 shows the operation of the device #C of N703.
  • the device #C of N703 performs sensing (N801), and information on the situation inside the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of furniture. , Furniture shape information, home appliance (including audio N702 and lighting N704) position information, home appliance shape information, electronic device position information, electronic device shape information, etc. Via the cloud server (N802).
  • the device #C of N703 ends the initial sensing (N803). Although described as the initial sensing, the device #C of N703 may perform the operation of FIG. 51 regularly, irregularly, regularly, or irregularly.
  • FIG. 52 shows a flowchart of one operation example of the N701 AP.
  • the N701 AP sends the information of the devices in the home, such as home appliances (including the audio N702 and the lighting N704, of course) and the electronic devices (including the device #C of the N703, of course), obtained by the sensing, to the cloud server. Upload (N901).
  • home appliances including the audio N702 and the lighting N704, of course
  • electronic devices including the device #C of the N703, of course
  • the information about the operation of the device in the home and the sensing cooperation performed by the AP of N701 is uploaded to the cloud server (N902).
  • N902 the cloud server
  • an operation example different from that of the seventh embodiment, particularly, an operation example of cooperation will be described.
  • FIG. 52 shows the operation of the device #C of N703.
  • the device #C of N703 uploads the information of the device in the home, for example, the home appliance (including the audio N702 and the lighting N704) and the information of the electronic device obtained by the sensing to the cloud server via the AP of the N701. Yes (N901).
  • the information about the operation of the device in the home and the sensing cooperation performed by the device #C of N703 is uploaded to the cloud server (N902).
  • the operation of the device in the house and the sensing cooperation of the device capable of sensing here, the device #C of N703 and the registration of the cooperation are described in the seventh embodiment.
  • an operation example different from that of the seventh embodiment, particularly, an operation example of cooperation will be described.
  • FIG. 53 shows a flowchart of an operation example regarding a series of systems.
  • examples of cooperation between the audio N 702 and sensing, cooperation between device #C and sensing, and cooperation between the illumination N 704 and sensing will be described with reference to FIG. 53.
  • the N701 AP performs sensing (N1001).
  • the AP of N701 confirms whether a moving object including a person is detected in the house (N1002).
  • the AP of N701 When the AP of N701 detects a moving object including a person in the house (N1002 YES), the AP of N701 uploads the information on the in-house situation to the cloud server N720 via the network N710 (N1003).
  • the cloud server N720 has transmitted information regarding control of the audio N702, information regarding control of the device #C of N703, or information regarding control of the lighting N704 to the AP of N701. Then, the AP 701 of the N 701 obtains information about the control (control information) (N1004 YES).
  • the N701 AP transmits the control information to the target device (in the case of FIG. 50, the audio N702 or the N703 device #C or the lighting N704) (N1005).
  • the target device performs control based on this control information and ends the control (N1006).
  • the N701 AP is performing the next sensing (N1001).
  • the AP of N701 detects a moving object including a person in the house (N1002 YES)
  • the AP of N701 uploads the information about the in-house situation to the cloud server N720 via the network N710 ( It is assumed that the N1003) and N701 APs have not obtained the control information from the cloud server N720 (N1004 NO). In this case, the AP of N701 is performing the next sensing (N1001).
  • N1005 For example, in N1005, consider a case where an N701 AP transmits control information to an audio N702.
  • the cloud server N720 transmits the information regarding the sound/audio directivity control of the audio N702 to the N701 AP based on the information on the position of the person obtained by the sensing of the N701 AP.
  • the AP of N701 transmits information regarding sound/audio directivity control to the audio N702, and the audio N702 performs sound/audio directivity control based on the information regarding sound/audio directivity control.
  • N1005 consider a case where an AP of N701 transmits control information to a lighting N704.
  • the cloud server N720 based on the information on the position of the person/moving object obtained by the AP of N701, the cloud server N720 provides the information on "ON/OFF of the illumination of the illumination N704, or the irradiation directivity control of light". It transmits to the AP of N701.
  • AP of N701 transmits the information regarding "ON/OFF or light irradiation directivity control" to the illumination N704, and the illumination N704 informs about "ON/OFF or light irradiation directivity control". On/off of the illumination or control of the direction of illumination of the illumination is performed based on.
  • FIG. 53 Another example of FIG. 53 will be described.
  • the device #C of N703 performs sensing (N1001).
  • the device #C of N703 confirms whether a moving object including a person is detected in the house (N1002).
  • the device #C of N703 When the device #C of N703 detects a moving object including a person in the home (N1002 YES), the device #C of N703 informs the cloud server N720 via the AP of the N701 and the network N710 about the in-home situation. Is uploaded (N1003).
  • the cloud server N720 transmits information regarding control of the audio N702 or information regarding control of the lighting N704 to the device #C of N703 via the APs of the networks N710 and N701. Then, the device #C of N703 obtains information (control information) regarding control (N1004 YES).
  • the device #C of N703 transmits the control information to the target device (the audio N702 or the lighting N704 in the case of FIG. 50) (N1005). However, it is via the AP of N701.
  • the target device controls based on this control information and ends the control (N1006).
  • the device #C of N703 is performing the next sensing (N1001).
  • the device #C of N703 detects a moving object including a person in the home (N1002 YES)
  • the device #C of N703 is connected to the cloud server N720 via the AP of the N701 and the network N710. It is assumed that the information about the situation is uploaded (N1003), but the device #C of N703 has not obtained the control information from the cloud server N720 (N1004 NO). In this case, the device #C of N703 is performing the next sensing (N1001).
  • the cloud server N720 transmits the information regarding the sound/audio directivity control of the audio N702 via the AP of N701 to the information of N703.
  • the device #C of N703 transmits the information regarding the sound/audio directivity control to the audio N702 via the AP of the N701, and the audio N702 receives the information regarding the sound/audio directivity control based on the information regarding the sound/audio directivity control.
  • the cloud server N720 relates to “ON/OFF or illumination irradiation directivity control” of the illumination of the illumination N704, based on the information on the position of the person/moving object obtained by the device #C of N703 through sensing. The information is transmitted to the device #C of N703 via the AP of N701.
  • the device #C of N703 transmits information regarding “ON/OFF or light irradiation directivity control” to the illumination N704 via the AP of N701, and the illumination N704 is “ON/OFF or On/off of the illumination or control of the illuminating direction of the illumination is performed on the basis of the information on the “light irradiation directivity control”.
  • FIG. 54 shows a flowchart of an operation example of the N701 AP and the N720 cloud server in the house.
  • the AP of N701 performs sensing (N1101), and information on the situation in the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of furniture, the shape of furniture.
  • Information, home appliance (including audio N702 and lighting N704) position information, home appliance shape information, electronic device (including N703 device #C position) position information, electronic device shape information Are uploaded to the cloud server (N1102).
  • the N720 cloud server compares the stored information about the in-home situation with the newly obtained information about the in-home situation. Then, the cloud server of N720 confirms "has a new state been detected" (N1103).
  • the N720 cloud server updates the information about the in-home situation (N1104). Then, the next N701 AP sensing implementation (N1101) is performed.
  • the N720 cloud server becomes the next N701 AP sensing implementation (N1101).
  • FIG. 54 shows the operation of the device #C of N703 and the cloud server of N720.
  • the device #C of N703 performs sensing (N1101), and information on the situation in the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of furniture, furniture.
  • Shape information home appliance (including audio N702, lighting N704) position information, home appliance shape information, electronic device position information, electronic device shape information, etc. via the N701 AP, Upload to the cloud server (N1102).
  • the N720 cloud server compares the stored information about the in-home situation with the newly obtained information about the in-home situation. Then, the cloud server of N720 confirms "has a new state been detected" (N1103).
  • the N720 cloud server updates the information about the in-home situation (N1104). Then, the sensing execution of the device #C of N703 is performed (N1101).
  • the cloud server of N720 becomes the next sensing execution of the device #C of N703 (N1101).
  • FIG. 53 the operations related to the cloud server are indicated by dotted lines.
  • FIG. 54 operations associated with the cloud server are indicated by dotted lines.
  • the home N700 shows an example and the space inside the house.
  • the home N700 is a terminal such as an AP (access point) N701, an audio N702, a “smartphone or a smart speaker, a tablet, a computer, or a mobile phone”.
  • AP access point
  • N701 an audio N702
  • a “smartphone or a smart speaker a tablet, a computer, or a mobile phone”.
  • the device N703 and the lighting fixture N704 are present.
  • the device N703 will be referred to as device #C hereinafter.
  • the server Q101 exists in the home N700.
  • the person N705 is living in the in-house N700.
  • the N701 AP is assumed to be capable of sensing and communicating as described in the other embodiments.
  • the AP of N701 is assumed to communicate with, for example, device #C of audio N702 and N703, lighting N704, and the like.
  • the N701 AP may communicate with devices other than these.
  • the N701 AP is communicating with the server Q101 via the network Q102.
  • the AP of N701 is communicating with the base station N730 via the network N701.
  • the base station N730 is assumed to be in communication with the device N731, which is a terminal such as a “smartphone, tablet, computer, or mobile phone”.
  • the device N731 will be referred to as device #D hereinafter.
  • FIG. 56 shows a flowchart of an operation example when the N701 AP is installed in the house.
  • the AP of N701 performs sensing (Q201), and information on the situation inside the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of furniture, furniture.
  • Shape information, home appliance (including audio N702 and lighting N704) position information, home appliance shape information, electronic device (including N703 device #C position) position information, electronic device shape Information and the like are uploaded to the server Q101 (Q202).
  • the N701 AP will finish the initial sensing (Q203). Although it is described as initial sensing, the N701 AP may perform the operation of FIG. 56 periodically, irregularly, regularly, or irregularly after the N701 AP is installed. ..
  • FIG. 56 shows the operation of the device #C of N703.
  • the device #C of N703 performs sensing (Q201), and information on the situation inside the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of furniture. , Furniture shape information, home appliance (including audio N702 and lighting N704) position information, home appliance shape information, electronic device position information, electronic device shape information, etc. Via the server Q101 (Q202).
  • the device #C of N703 ends the initial sensing (Q203). Although described as the initial sensing, the device #C of N703 may perform the operation of FIG. 56 regularly, irregularly, regularly, or irregularly.
  • FIG. 57 shows a flowchart of one operation example of the N701 AP.
  • the AP of N701 provides the server Q101 with the information of the devices in the home, such as home appliances (including the audio N702 and the lighting N704) and the information of the electronic devices (including the device #C of the N703, of course) obtained by the sensing. Upload (Q301).
  • the information about the operation of the device in the home and the sensing cooperation performed by the AP of N701 is uploaded to the server Q101 (Q302).
  • the server Q101 Q302
  • an operation example different from that of the seventh embodiment, particularly, an operation example of cooperation will be described.
  • FIG. 57 shows the operation of the device #C of N703.
  • the device #C of N703 uploads the information of the devices in the home, such as home appliances (including the audio N702 and the lighting N704, of course) and the information of the electronic devices obtained by the sensing, to the server Q101 via the AP of N701. Yes (Q301).
  • the information about the operation of the device in the home and the sensing cooperation performed by the device #C of N703 is uploaded to the cloud server (Q302).
  • the operation of the device in the house and the sensing cooperation of the device capable of sensing here, the device #C of N703 and the registration of the cooperation are described in the seventh embodiment.
  • an operation example different from that of the seventh embodiment, particularly, an operation example of cooperation will be described.
  • FIG. 58 shows a flowchart of an operation example relating to the system series of FIG. 55, for example.
  • examples of cooperation between the audio N702 and sensing, cooperation between device #C and sensing, and cooperation between the lighting N704 and sensing will be described with reference to FIG. Note that, in FIG. 58, the operation related to the server is shown by a dotted line.
  • the N701 AP performs sensing (Q401).
  • the AP of N701 confirms whether a moving object including a person is detected in the house (Q402).
  • the N701 AP When the N701 AP detects a moving object including a person in the house (Q402 YES), the N701 AP uploads information regarding the in-house situation to the server Q101 via the network Q102 (Q403).
  • the server Q101 has transmitted information regarding control of the audio N702, information regarding control of the device #C of N703, or information regarding control of the lighting N704 to the AP of N701. Then, the AP 701 of the N 701 obtains information about control (control information) (YES in Q404).
  • the N701 AP transmits the control information to the target device (in the case of FIG. 55, the audio N702 or the N703 device #C or the lighting N704) (Q405).
  • the target device performs control based on this control information and ends control (Q406).
  • the N701 AP is performing the next sensing (Q401).
  • the AP of N701 detects a moving object including a person inside the house (Q402 YES)
  • the AP of N701 uploads the information regarding the situation inside the house to the server Q101 via the network Q102 (Q403. )
  • the AP of N701 does not obtain the control information from the server Q101 (NO in Q404). In this case, the AP of N701 is performing the next sensing (Q401).
  • the server Q101 transmits information on the sound/audio directivity control of the audio N702 to the N701 AP based on the information on the position of the person obtained by the N701 AP's sensing. Then, the AP of N701 transmits information regarding sound/audio directivity control to the audio N702, and the audio N702 performs sound/audio directivity control based on the information regarding sound/audio directivity control.
  • the server Q101 provides information regarding "ON/OFF of the illumination of the illumination N704 or control of irradiation directivity of light" to N701. To the AP.
  • AP of N701 transmits the information regarding "ON/OFF or light irradiation directivity control" to the illumination N704, and the illumination N704 informs about "ON/OFF or light irradiation directivity control". On/off of the illumination or control of the direction of illumination of the illumination is performed based on.
  • FIG. 58 Another example of FIG. 58 will be described.
  • the device #C of N703 performs sensing (Q401).
  • the device #C of N703 confirms whether a moving object including a person is detected in the house (Q402).
  • the device #C of N703 When the device #C of N703 detects a moving object including a person in the home (Q402 YES), the device #C of N703 sends the information about the in-home condition to the server Q101 via the AP of the N701 and the network Q102. Upload (Q403).
  • the server Q101 has transmitted the information regarding the control of the audio N702 or the information regarding the control of the lighting N704 to the device #C of the N703 via the AP of the network Q102 and N701. Then, the device #C of N703 obtains information about control (control information) (Q404 YES).
  • the device #C of N703 transmits the control information to the target device (the audio N702 or the lighting N704 in the case of FIG. 55) (Q405). However, it is via the AP of N701.
  • the target device controls based on this control information and ends the control (Q406).
  • the device #C of N703 is performing the next sensing (Q401).
  • the device #C of N703 detects a moving object including a person in the home (Q402 YES)
  • the device #C of N703 informs the server Q101 via the AP of the N701, the network Q102, and the in-home status. It is assumed that the device #C of N703 has not obtained the control information from the server Q101 (Q404 NO), though the information related to the above is uploaded (Q403). In this case, the device #C of N703 is performing the next sensing (Q401).
  • the server Q101 transmits the information regarding the sound/audio directivity control of the audio N702 via the AP of N701 to the device of N703. Send to #C. Then, the device #C of N703 transmits the information regarding the sound/audio directivity control to the audio N702 via the AP of the N701, and the audio N702 receives the information regarding the sound/audio directivity control based on the information regarding the sound/audio directivity control.
  • the server Q101 informs about the “ON/OFF of the illumination of the illumination N704 or the control of the irradiation directivity of light”. Is transmitted to the device #C of N703 via the AP of N701.
  • the device #C of N703 transmits information regarding “ON/OFF or light irradiation directivity control” to the illumination N704 via the AP of N701, and the illumination N704 is “ON/OFF or On/off of the illumination or control of the illuminating direction of the illumination is performed on the basis of the information on the “light irradiation directivity control”.
  • FIG. 59 shows a flowchart of an operation example of the N701 AP and the server Q101 in the house. Note that, in FIG. 59, the operation related to the server is shown by a dotted line.
  • the AP of N701 performs sensing (Q501), and information on the situation in the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of furniture, the shape of furniture.
  • Information, home appliance (including audio N702 and lighting N704) position information, home appliance shape information, electronic device (including N703 device #C position) position information, electronic device shape information Are uploaded to the server Q101 (Q502).
  • the server Q101 compares the stored information about the in-home situation with the newly obtained information about the in-home situation. Then, the server Q101 confirms "whether a new state has been detected" (Q503).
  • the server Q101 updates the information about the in-home situation (Q504). Then, the sensing execution of the AP of N701 is performed (Q501).
  • the server Q101 will perform the next N701 AP sensing (Q501).
  • FIG. 59 shows the operation of the device #C of N703 and the server Q101.
  • the device #C of N703 performs sensing (Q501), and information on the status of the house, for example, information on the number of rooms, information on the shape of the room, information on what is installed, for example, information on the position of furniture, furniture.
  • Shape information home appliance (including audio N702, lighting N704) position information, home appliance shape information, electronic device position information, electronic device shape information, etc. via the N701 AP, Upload to the server Q101 (Q502).
  • the server Q101 compares the stored information about the in-home situation with the newly obtained information about the in-home situation. Then, the server Q101 confirms "whether a new state has been detected" (Q503).
  • the server Q101 updates the information about the in-home situation (Q504). Then, the sensing operation of the device #C of N703 is performed (Q501).
  • the server Q101 becomes the next sensing execution of the device #C of N703 (Q501).
  • the AP of N701, the network of Q102, and the server Q101 may be configured by one device.
  • the network Q102 may be either wired or wireless communication. Therefore, the AP of N701 and the server Q101 are connected by wire or wirelessly in the device.
  • Example 1 A character is generated based on the object obtained by sensing, and it is displayed on the screen.
  • FIG. 60 is a diagram showing an example of a system configuration in the present embodiment.
  • the second device is assumed to be equipped with a monitor.
  • the first device has at least a sensing function. Then, the first device performs sensing, generates information by, for example, capturing the characteristics of the first person, and transmits the information to the second device.
  • the second device generates the first character to be displayed on the monitor of the second device from the information on the characteristics of the first person. Then, the first character can be displayed on the monitor of the second device. It is possible to customize the first character so that it is transformed.
  • the first device performs sensing, for example, captures the characteristics of the second object, generates second character information, and transmits the information to the second device.
  • the second device displays the second character on the monitor of the second device based on the information of the second character. Note that it is possible to customize the second character so that it is deformed.
  • first device and the second device may form one device.
  • FIG. 61 is a diagram showing an example of the configuration of the system according to the present embodiment, which is different from FIG.
  • the second device can be connected to an external monitor.
  • the first device has at least a sensing function. Then, the first device performs sensing, generates information by, for example, capturing the characteristics of the first person, and transmits the information to the second device.
  • the second device generates the first character to be displayed on the monitor connected to the second device from the information on the characteristics of the first person. Then, the first character can be displayed on the monitor. It is possible to customize the first character so that it is transformed.
  • the first device performs sensing, for example, captures the characteristics of the second object, generates second character information, and transmits the information to the second device.
  • the second device displays the second character on the monitor based on the information of the second character. Note that it is possible to customize the second character so that it is deformed.
  • Example 2 By using the image (still image or moving image) of an object obtained by a sensor capable of capturing an image such as a camera and the estimated information of the object obtained by performing wireless sensing, for example, three-dimensional The space can be regenerated.
  • FIG. 62 is a diagram showing an example of the system configuration in the present embodiment.
  • the third device is assumed to be equipped with a monitor.
  • the third device shall be equipped with a sensor such as a camera that can capture images, and a wireless sensing unit.
  • a sensor that can capture an image, such as a camera, obtain two-dimensional (or three-dimensional) image information and color information of the object.
  • the three-dimensional space estimation unit obtains the estimated information of the (colored) three-dimensional space of the object from the “three-dimensional space estimation information of the object” and the “two-dimensional (or three-dimensional) image information and color information of the object”. Generate and display on monitor.
  • the estimated information of the (colored) three-dimensional space of the object has three-dimensional information, and therefore has the advantage that the viewpoint for displaying the object can be freely changed when it is displayed on the monitor.
  • FIG. 63 is a diagram showing an example of a system configuration different from that of FIG. 62 in the present embodiment.
  • the third device is assumed to be connectable to an external monitor.
  • 64 and 65 are diagrams showing a sensing method in each embodiment.
  • FIG. 64 is a schematic diagram showing the space three-dimensionally. As shown in FIG. 64, an object and a detection device exist in the space. The detection device senses an object by radio such as radio waves. The shape of the object may be any shape.
  • FIG. 65 is an example of a plane that is a plane parallel to the xy plane in FIG. 64 and penetrates an object, and shows, for example, the path of a radio wave transmitted by the detection device.
  • the radio wave obtained from the object by the detection device may be a reflected wave in which the object has reflected the radio wave arriving at the object, or may be a radio wave reflected by the object itself.
  • the detection device receives a radio wave (referred to as a direct wave) W1 that the object itself reflects and reaches the detection device directly. Further, the detection device sends out radio waves, and the radio waves reflected by the wall and reaching the object are reflected by the object and further reflected by the wall, and reach the detection device (also referred to as reflected waves) W2, W3, and The detection device receives W4.
  • a radio wave referred to as a direct wave
  • FIG. 65 exemplifies one two-dimensional plane, which is an xy plane obtained by cutting out a three-dimensional space.
  • the detection device directly Waves and reflected waves can be used to detect the position and shape of an object.
  • the detection device can obtain the effect of being able to detect a portion of an object that cannot be captured by a sensor such as a camera that can capture an image.
  • the detection device A12 is implemented as a camera has been described as an example, but the detection device A12 in the present disclosure may be realized in other forms.
  • the detection device A12 may be, for example, a smartphone, a personal computer, a car, a robot, a drone, or the like.
  • one modulated signal may be transmitted when transmitting the modulated signal, or a plurality of modulated signals may be transmitted using a plurality of antennas.
  • a MIMO (Multiple-Input Multiple-Output) transmission method may be used. Therefore, the terminal and the AP may be configured to include a plurality of receiving antennas.
  • terminal in order to simplify the description, the embodiments have been described by naming them as a terminal, an AP, a base station, a device, a detecting device, and a device, but the name is not limited to this.
  • terminal are called base stations, access points, communication/broadcasting devices such as mobile phones/smartphones/tablets, communication devices such as televisions, radios, personal computers, communication devices, repeaters, and servers. But it's okay.
  • the “AP” may be called a base station, a terminal, a communication/broadcasting device such as a mobile phone/smartphone/tablet, a communication device such as a television, a radio, a personal computer, a communication device, a repeater, or a server.
  • the “base station” may be called an AP, a terminal, a communication/broadcasting device such as a mobile phone/smartphone/tablet, a communication device such as a television, a radio, a personal computer, a communication device, a repeater, or a server.
  • the device for sensing may be called an AP, a base station, a terminal, a communication/broadcasting device such as a mobile phone/smartphone/tablet, a communication device such as a television, a radio, a personal computer, a communication device, a repeater, or a server.
  • AP AP
  • base stations a terminal
  • communication/broadcasting devices such as mobile phones/smartphones/tablets
  • communication devices such as televisions, radios, personal computers, communication devices, repeaters, and servers. But it's okay.
  • Devices and “Devices A” are APs, base stations, terminals, communication/broadcasting devices such as mobile phones/smartphones/tablets, TVs, radios, communication devices such as personal computers, communication devices, repeaters, servers, electric motorcycles. (E-bike), electric kick board, vacuum cleaner, electric car, electric assisted bicycle, electric assisted kick board, motorcycle, car, ship, airplane.
  • Each embodiment is merely an example, and for example, "modulation method, error correction coding method (error correction code to be used, code length, coding rate, etc.), control information, etc.” Even if another "modulation method, error correction coding method (error correction code to be used, code length, coding rate, etc.), control information, etc.” is applied, the same configuration can be used.
  • APSK for example, 16APSK, 64APSK, 128APSK, 256APSK, 1024APSK, 4096APSK, etc.
  • PAM for example, 4PAM, 8PAM, 16PAM, 64PAM, 128PAM, 256PAM, 1024PAM, 4096PAM, etc.
  • PSK for example, BPSK, QPSK, etc.
  • QAM for example, 4QAM, 8QAM, 16QAM, 64QAM, 128QAM, 256QAM, 1024QAM, 4096QAM
  • QAM for example, 4QAM, 8QAM, 16QAM, 64QAM, 128QAM, 256QAM, 1024QAM, 4096QAM
  • the mapping may be uniform mapping or non-uniform mapping.
  • the modulation method having 64, 128, 256, 1024 signal points, etc.) is not limited to the signal point arrangement method of the modulation method shown in this specification.
  • the transmission device and the reception device in the present disclosure are devices having a communication function, and the devices have some interface with a device for executing an application such as a television, a radio, a personal computer, and a mobile phone. It is also conceivable that the form is such that it can be connected after being disconnected. Further, in the present embodiment, symbols other than data symbols, such as pilot symbols (preamble, unique word, postamble, reference symbol, midamble, etc.), control information symbols, null symbols, etc. May be placed in. Although the reference symbol and the control information symbol are named here, any naming method may be used and the function itself is important.
  • the reference symbol and the reference signal may be, for example, known symbols that are modulated by PSK modulation in a transceiver, and the receiver may use these symbols to perform frequency synchronization, time synchronization, and channel estimation of each modulated signal. (Estimation of CSI (Channel State Information)), signal detection, etc. are performed.
  • the reference symbol and the reference signal may be synchronized with the receiver so that the receiver may know the symbol transmitted by the transmitter.
  • control information symbol is information that needs to be transmitted to a communication partner in order to realize communication other than data (data such as an application) (for example, the modulation method and error correction coding method used for communication). , A coding rate of the error correction coding method, setting information in the upper layer, etc.).
  • the present disclosure is not limited to each embodiment, and various modifications can be implemented.
  • the communication device is used, but the present invention is not limited to this, and the communication method may be software.
  • a program for executing the above communication method may be stored in the ROM in advance and the program may be operated by the CPU.
  • the program for executing the above communication method may be stored in a computer-readable storage medium, the program stored in the storage medium may be recorded in the RAM of the computer, and the computer may be operated in accordance with the program. ..
  • Each configuration such as each of the above embodiments may be typically realized as an LSI which is an integrated circuit having an input terminal and an output terminal. These may be individually made into one chip, or may be made into one chip so as to include all or part of the configurations of the respective embodiments.
  • the name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and it may be realized by a dedicated circuit or a general-purpose processor.
  • a programmable FPGA or a reconfigurable processor capable of reconfiguring the connection and setting of circuit cells inside the LSI after the LSI is manufactured may be used.
  • an integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology may be applied.
  • the transmission method supported by the AP and the terminal may be a multi-carrier method such as OFDM or a single-carrier method. Further, the AP and the terminal may support both the multi-carrier system and the single-carrier system. At this time, there are a plurality of methods for generating a modulation signal of the single carrier system, and any of the systems can be implemented.
  • DFT Discrete Fourier Transform
  • Spread OFDM Orthogonal Frequency Division Multiplexing
  • Trafficory Constrained DFT-Spread OFDM Orthogonal Frequency Division Multiplexing
  • OFDM based SC Single Carrier
  • SC Single Carrier
  • At least one of the FPGA (Field Programmable Gate Array) and the CPU (Central Processing Unit) can download all or part of the software required to realize the communication method described in the present disclosure by wireless communication or wired communication. Such a configuration may be adopted. Further, all or part of the software for updating may be downloaded by wireless communication or wired communication. Then, the downloaded software may be stored in the storage unit, and at least one of the FPGA and the CPU may be operated based on the stored software to execute the digital signal processing described in the present disclosure.
  • a device including at least one of FPGA and CPU may be connected to a communication modem wirelessly or by wire, and the communication method described in the present disclosure may be realized by this device and the communication modem.
  • the communication device such as the AP and the terminal described in this specification includes at least one of an FPGA and a CPU, and software for operating at least one of the FPGA and the CPU is obtained from the outside.
  • the communication device may include an interface for.
  • the communication device is provided with a storage unit for storing software obtained from the outside, and the FPGA and the CPU are operated based on the stored software to realize the signal processing described in the present disclosure. May be.
  • sensing or “sensing processing” described in the present specification includes processing for detecting the position of an object, processing for detecting the presence or absence of the object, processing for predicting the material of the object, processing for detecting the movement of the object, It includes at least a process of estimating a situation around a device capable of sensing, a process of estimating a distance between a device capable of sensing and an object, or a process of detecting an outer shape of the object. In the process of detecting the position of the object, it may be possible to detect the object and the movement of the object at the same time. Further, in the process of detecting the presence/absence of an object or the process of detecting the outer shape of an object, it is possible to specify the target object.
  • the shutter when an object (person, animal, car, etc.) is detected, the shutter may be released, that is, a still image may be taken. Also, a moving image may be taken when an object is detected.
  • the detection may be a predetermined gesture.
  • the sensing may be, for example, wireless sensing using radio waves, or may be wireless sensing using higher frequencies, such as light.
  • a device capable of sensing and communicating as shown in FIG. 16 capable of performing sensing and communication by connecting the device for sensing as shown in FIG. 14 and the device for communication as shown in FIG. 15 via, for example, an interface. May be realized.
  • the purpose, application, and usage environment of using space sensing are diversified.
  • the distance between the object to be detected and the object to be detected the accuracy of the distance to be detected, and the tolerance.
  • the delay time or the information to be acquired at the same time as the detection of the object is different. Therefore, it is necessary to have a transmitting device and a transmitting method that can obtain a sensing result according to the purpose by switching the sensing methods or combining multiple sensing methods according to the purpose and application of using space sensing and the usage environment. It is said that.
  • the detection device of the above aspect by detecting the distance to the object using radio waves and controlling the detection position using the image information, it is possible to easily identify the object whose distance is to be detected and to detect the distance. Can also be detected.
  • an object to be sensed using radio waves can be easily specified by the user.
  • the color included in the image information is used. It becomes possible to use a feature amount such as a shape or a shape for detecting an object, and it is possible to promote improvement in the detection accuracy of the object and improvement in the ability to identify the object, as compared with the case where only detection by radio waves is performed.
  • the first device 6601 transmits a signal using radio waves, for example. Then, this signal is reflected by the second device 6602, and the first device 6601 obtains this reflected signal, and thereby knows the “distance between the first device 6601 and the second device 6602”. The first device 6601 may share the information of “distance between the first device 6601 and the second device 6602” with the second device 6602.
  • the first device 6601 transmits a signal using, for example, radio waves. Then, this signal is reflected by the target (object) 6603, and the first device 6601 obtains this reflected signal, and thereby knows the “distance between the first device 6601 and the target (object) 6603”. The first device 6601 may share the information of “distance between the first device 6601 and the target (object) 6603” with the second device 6602.
  • the second device 6602 transmits a signal using radio waves, for example. Then, this signal is reflected by the target (object) 6603, and the second device 6602 obtains this reflected signal, and thereby knows the “distance between the second device 6602 and the target (object) 6603”. The second device 6602 may share the information of “distance between the second device 6602 and the target (object) 6603” with the first device 6601.
  • Process D The first device 6601 and/or the second device 6602 determines whether the information about the “distance between the first device 6601 and the second device 6602” by the process A, the process B, and the process C, “the first device 6601 and the target (object)”.
  • the information of "distance of 6603" and the information of "distance between second device 6602 and target (object) 6603" are obtained, and triangulation can be performed using these information to know the position of target (object) 6603. You can do it.
  • Process E It is assumed that the first device 6601 and/or the second device 6602 hold, for example, the information of “distance between the first device 6601 and the second device 6602” at the time of installation.
  • the first device 6601 transmits a signal using, for example, radio waves. Then, this signal is reflected by the target (object) 6603, and the first device 6601 obtains this reflected signal, and thereby knows the “distance between the first device 6601 and the target (object) 6603”. The first device 6601 may share the information of “distance between the first device 6601 and the target (object) 6603” with the second device 6602.
  • the second device 6602 transmits a signal using radio waves, for example. Then, this signal is reflected by the target (object) 6603, and the second device 6602 obtains this reflected signal, and thereby knows the “distance between the second device 6602 and the target (object) 6603”. The second device 6602 may share the information of “distance between the second device 6602 and the target (object) 6603” with the first device 6601.
  • the first device 6601 and/or the second device 6602 may perform the processing E, the processing F, and the processing G on the information of “the distance between the first device 6601 and the second device 6602”, “the first device 6601 and the target (object)”.
  • the information of "distance of 6603" and the information of "distance between second device 6602 and target (object) 6603" are obtained, and triangulation can be performed using these information to know the position of target (object) 6603. You can do it.
  • the first device 6601 and the second device 6602 may constitute one device.
  • the registered first gesture is linked to the first action of device #A, which is an action such as “sounding” or “vibrating”. ..
  • the process of combining the first gesture and the operation of the device #A and registering it as the cooperative operation may be performed using, for example, a setting screen for setting the cooperative operation of the device in the device #A. Good.
  • one or more candidate gestures are displayed on the setting screen.
  • the user selects the first gesture from the one or more candidate gestures displayed on the setting screen
  • the one or more candidate actions permitted to be used in device #A are displayed on the setting screen.
  • a confirmation screen for confirming whether to decide the combination of the first motion and the first motion as a combination of the gesture and the device motion is displayed. Registration is done by the confirmation input.
  • the method for registering the gesture-device operation cooperation using the setting screen described above is an example of multiple cooperation registration methods, and the gesture-device operation cooperation registration method in the present disclosure is not limited to the above method.
  • the gesture may be selected after selecting the action to be linked.
  • the gesture after selecting the operation to be linked, a plurality of gesture candidates that can be linked are displayed on the setting screen.
  • the procedure of a plurality of processes and the order of a plurality of processes for linking the gesture and the operation of the device are not limited to those described in this specification.
  • the method of coordinated registration of gestures and device operations may be provided using a graphical user interface (GUI).
  • GUI graphical user interface
  • an icon or block corresponding to each of a plurality of gesture candidates and an icon or block corresponding to each of a plurality of operation candidates of a plurality of devices are displayed on the screen. Describe the cooperative processing by moving and connecting with the operation of the touch panel or mouse, or by connecting the icon or block with the connector represented by the line so that the described cooperative processing can be registered. Good.
  • the setting screen of the device #A the setting may be performed using another device different from the device #A.
  • the user selects a device to be set from a plurality of candidate devices for which the linked operation can be set from the other device.
  • a combination of a user action such as a gesture detected by the device capable of sensing and an action of the device is used as a cooperative action by the server.
  • a user action such as a gesture detected by the device capable of sensing
  • an action of the device is used as a cooperative action by the server.
  • a user opens a setting screen on a device such as a smartphone, tablet, computer, or mobile phone to perform cooperative registration
  • one or more candidate devices or candidate sensors available for cooperative registration are displayed on the setting screen. It
  • the user selects the first device from the candidate devices or the candidate sensors displayed on the setting screen, one or a plurality of candidate gestures that can be detected by the selected first device are displayed.
  • the one or more candidate devices that can be linked are displayed on the setting screen.
  • the device #A from the displayed plurality of candidate devices
  • one or a plurality of candidate operations permitted to be used in the device #A are displayed on the setting screen.
  • a confirmation screen for confirming whether to decide the combination of the first motion and the first motion as a combination of the gesture and the device motion is displayed. Registration is done by the confirmation input.
  • the above configuration for example, it is possible to perform coordinated registration of a gesture detected by an arbitrary device or a sensor placed in a target space such as a home or the like and a motion of an arbitrary device that can be linked. As a result, for example, even if the device does not have a gesture detection function, it is possible to control the operation based on the gesture, and the operability of the device can be improved.
  • the cooperative registration method of the combination of the gesture and the device and the device operation using the setting screen described above is an example of a plurality of cooperative registration methods, and the cooperative registration method of the combination of the gesture and the device and the device operation in the present disclosure is: The method is not limited to the above.
  • the gesture candidates that can be detected by the selected device or sensor after selecting the device or sensor to be linked one or more gestures that can be detected for each device or sensor for multiple devices or sensors.
  • the candidates may be simultaneously displayed on the setting screen.
  • a plurality of selectable operations for each device may be simultaneously displayed on the setting screen for the plurality of devices.
  • the user can select the combination of the device and the operation to be linked with one input operation, the operation is simplified, and the operability may be improved.
  • the gesture instead of selecting the operation of the device after selecting the gesture, the gesture may be selected after selecting the operation of the device. In this case, after selecting the operation of the device, a plurality of candidate gestures that can be linked are displayed on the setting screen.
  • gestures that can be detected by multiple different devices or sensors may be used in combination.
  • an AP (access point) N701 and an audio N702 each have a sensing function in FIG. 50 or FIG.
  • AP (access point) N701 detects the first change pattern registered in advance from the time change of the first sensing data acquired by the first sensor included in AP (access point) N701.
  • the first change pattern is a pattern detected when the user makes the first gesture.
  • the AP (access point) N701 performs the process of detecting the first change pattern from the first sensing data here, the detection process may be performed, for example, by the cloud server N720 of FIG. Server Q101 sensing data or other devices such as other devices.
  • the AP (Access Point) N701 transfers the first sensing data to another device via the network, and the first sensing data is used in the other device to include the first change pattern. Detection processing of one or a plurality of change patterns is performed.
  • the audio N 702 detects the second change pattern registered in advance from the time change of the second sensing data acquired by the second sensor included in the audio N 702.
  • the second change pattern is a pattern detected when the user makes the first gesture.
  • the detection process is, for example, an AP (access point) N701 or the cloud server N720 of FIG. , May be performed by another device such as the server Q101 sensing data of FIG. 55 or another device.
  • the audio N 702 transfers the first sensing data to another device via the network, and the other device uses the first sensing data to include one or a plurality of second change patterns. Change pattern detection processing is performed.
  • other devices that perform the detection process are limited to devices such as AP (access point) N701 capable of direct wireless communication and devices connected by a direct wired communication cable. Good.
  • a first example in which a plurality of different devices or sensors are combined and used for gesture detection will be described.
  • the first example when both the detection of the first change pattern from the first sensing data and the detection of the second change pattern from the second sensing data occur during registration of the cooperation function. For example, “increase the volume of sound output from a speaker installed in the audio N702, or increase the amplitude of a voice component transmitted by a voice signal output from an audio output terminal" or " A fourth operation such as, for example, reducing the volume of the sound output from the speaker or reducing the amplitude of the audio component transmitted by the audio signal output from the audio output terminal, which the audio N702 is equipped with. To be registered in association with each other. That is, when the first change pattern is detected from the first sensing data and the second change pattern is detected from the second sensing data, the fourth operation is performed by audio N702.
  • a sensing result similar to the first gesture is acquired from the position of AP (access point) N701, and a sensing result similar to the first gesture is acquired from the position of the audio N702.
  • the first change pattern is detected, and the fourth operation is performed in the audio N702. This is an unintended operation for the user who has performed the second gesture.
  • the second sensing data is used in addition to the first sensing data, the second change pattern is not detected from the second sensing data, and the fourth operation is not performed.
  • the second change pattern is detected. 4 are registered in association with each other so as to perform the operation of 4. That is, when the first change pattern is detected from the first sensing data and the second change pattern is not detected from the second sensing data, the fourth operation is performed by audio N702.
  • the user performs the first gesture at a position such as a position close to the audio N702 that can be sensed from the AP (access point) N701 and can also be sensed from the audio N702.
  • a position such as a position close to the audio N702 that can be sensed from the AP (access point) N701 and can also be sensed from the audio N702.
  • audio N702 does not execute the fourth operation.
  • the user can sense from the AP (access point) N701, such as a position away from the audio N702, and cannot sense from the audio N702, that is, A case where the first gesture is performed at a position outside the sensing area of the audio N702 will be described. In this case, since the first change pattern is detected from the first sensing data and the second change pattern is not detected from the second sensing data, audio N702 executes the fourth operation.
  • the case where the audio N702 performs the fourth operation when the first gesture is detected from the sensing result of the AP (access point) N701 and the first gesture is not detected from the sensing result of the audio N702 is an example.
  • the configuration in which the device or the sensor having a plurality of sensing functions in the present disclosure is used to determine whether the user's gesture is performed and the determination result is linked to the operation of any device is limited to this example. Not done.
  • the sensing performed by the audio N 702 may be a sensing that does not detect a gesture but only determines whether or not there is an object in the surroundings.
  • the condition that “the first gesture is not detected from the sensing result of audio N702” instead of the condition that “the first gesture is not detected from the sensing result of audio N702”, the condition that “the object is not detected in the surroundings from the sensing result of audio N702” is used.
  • "no object is detected in the surroundings from the sensing result of the audio N702” means, for example, a state in which no object other than the object detected in the initial sensing described in Embodiment 8 or 9 is detected, or The state where the 2nd sensing data similar to the 2nd sensing data obtained at the time of sensing is acquired is shown.
  • the audio N702 is a fifth motion different from the fourth motion. If the first gesture is detected from the sensing result of the AP (access point) N701 and the first gesture is not detected from the sensing result of the audio N702, the audio N702 performs the fourth operation. Good.
  • the user is the same. Even if a gesture is performed, it is possible to switch whether or not to perform a cooperative operation according to the user's position, orientation, posture, etc., and switch the device operation to be performed according to the user's position, orientation, posture, etc. .. As a result, the operability of the device by the user may be improved, and the occurrence of device operation not intended by the user may be suppressed.
  • GUI graphical user interface
  • an icon or block corresponding to each of event candidates that can be detected by sensing data of a plurality of devices or sensors an icon or a block corresponding to each of operation candidates of a plurality of devices, and the like are displayed on the screen. It is displayed, and describe the cooperative processing by moving these icons and blocks by operating the touch panel, mouse, etc. to connect, or connecting the icons and blocks with connectors represented by lines etc. The described cooperation process may be registered.
  • the setting screen and the cooperation registration method described above for example, if the specified gesture is detected, or if the specified event is detected using the sensing data, the condition determination is performed, and if detected, Also, an example has been described in which the function of registering by describing the cooperative processing of performing the specified device operation when it is not detected is provided.
  • the cooperation process that can be registered in the present disclosure is not limited to this.
  • the setting screen and the cooperation registration method described above use multiple logical gestures such as logical sum, logical product, exclusive logical sum, and negation to describe complicated cooperation processing. It may also provide a function to describe the relationship between the space or gesture and the device operation.
  • the setting screen and the linkage registration method described above use multiple logical events such as logical sum, logical product, exclusive logical sum, and negation in order to describe complicated linkage processing. You may provide the function which can describe the relation between the space and the event and the device operation. Further, in addition to the condition determination based on the sensing data, for example, the condition determination based on the time information or the condition determination based on the number of devices connected to the network or the function of the device is used in combination. Good.
  • the sensor used for sensing is not limited to sensing using radio waves.
  • sensing using light such as LIDAR (Light Detection and Ranging) may be used.
  • LIDAR Light Detection and Ranging
  • any combination of sensors may be used.
  • the sensing data may be used as sensing data.
  • data obtained by an arbitrary sensor such as a microphone, a position sensor, an acceleration sensor, a myoelectric potential sensor, and a temperature sensor provided in the wearable terminal worn by the user may be used as the sensing data.
  • the registration of the cooperative operation in which the events detected by using the plurality of sensing data are combined has been described as an example in which the user registers it using the setting screen or the GUI. You may be registered by the method of. For example, it may be automatically created in the gesture registration process to the device described in the seventh embodiment.
  • the first sensor provided in a plurality of devices that are the same or different from each other during the period when the user is performing the gesture.
  • the second sensor acquires the sensing data, and stores the pattern of the temporal change of the sensing data obtained by each sensor.
  • the sensing data used in the above processing is data indicating a three-dimensional position or shape expressed in an arbitrary format such as a point cloud or a mesh. May be obtained by subjecting the received signal to arbitrary signal processing, for example, transmission path characteristics estimated from a pilot or reference signal, a correlation value between the reference signal and the received signal, or a sub-value in the OFDM signal. It may be data such as a phase difference between carriers. Further, the sensing data is, for example, the sensing result obtained in a state where there is no moving target such as the above-described initial sensing, and the sensing result obtained by normal sensing performed for detecting the target. The data may be data obtained by extracting the difference between and.
  • each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory.
  • the software that realizes the transmitting device of each of the above-described embodiments is the following program.
  • this program is a frame configuration step that configures a computer to form a frame that complies with the OFDMA (Orthogonal Frequency-Division Multiple Access) method and that includes a plurality of time-frequency resources, which are resources defined by time and frequency. And a transmission step of transmitting the frame configured by the frame configuration step by radio waves, in the frame configuration step, a communication resource that is a time-frequency resource in which a symbol including communication data is arranged, and the transmission step.
  • the present disclosure includes an invention applicable to, for example, a wireless communication device, a wired communication device, and a terminal or a device including those devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

送信装置（Ａ３）は、ＯＦＤＭＡ（Orthogonal Frequency-Division Multiple Access）方式に準拠したフレームであって、時間及び周波数により規定されるリソースである時間周波数リソースを複数含むフレームを構成するフレーム構成部（Ａ３１）と、フレーム構成部（Ａ３１）が構成したフレームを電波により送信する送信部（Ａ３２）とを備え、フレーム構成部（Ａ３１）は、通信データを含むシンボルが配置される時間周波数リソースである通信用リソースと、送信部（Ａ３２）が送信する電波によるセンシングのためのシンボルが配置される時間周波数リソースであるセンシング用リソースとを含むフレームを、上記フレームとして構成する。

Description

送信装置、制御システム、および送信方法
　本開示は、送信装置、制御システム、および送信方法に関する。
　周囲の状況をセンシングする方法として、例えばカメラなどを用いて周囲の光を検出する方法や、周囲に光、赤外線、超音波などを照射し反射してきた光、赤外線、超音波などを検出する方法などがある。また、近年では、電波を用いて周囲の状況をセンシングする方式が提案されている。
S. Schuster, S. Scheiblhofer, R. Feger, and A. Stelzer, "Signal model and statistical analysis for the sequential sampling pulse radar technique," in Proc. IEEE Radar Conf, 2008, pp. 1-6, 2008 D. Cao, T. Li, P. Kang, H. Liu, S. Zhou, H. Su, "Single-Pulse Multi-Beams Operation of Phased Array Radar", 2016 CIE International Conference on Radar (RADAR), pp. 1-4, 2016 A. Bourdoux, K. Parashar, and M. Bauduin, "Phenomenology of mutual interference of FMCW and PMCW automotive radars," in 2017 IEEE Radar Conference (Radar Conf.), pp. 1709-1714, 2017 J. Fink, F. K. Jondral, "Comparison of OFDM radar and chirp sequence radar," in 2015 16th International Radar Symposium (IRS), pp. 315-320, 2015
　空間のセンシングを利用する目的、用途、利用環境は多様化している。
　そこで、本開示は、周囲のセンシングを行うことができる送信装置および送信方法を提供する。
　本開示の一態様である送信装置は、ＯＦＤＭＡ（Orthogonal Frequency-Division Multiple Access）方式に準拠したフレームであって、時間及び周波数により規定されるリソースである時間周波数リソースを複数含むフレームを構成するフレーム構成部と、前記フレーム構成部が構成した前記フレームを電波により送信する送信部とを備え、前記フレーム構成部は、通信データを含むシンボルが配置される時間周波数リソースである通信用リソースと、前記送信部が送信する電波によるセンシングのためのシンボルが配置される時間周波数リソースであるセンシング用リソースとを含むフレームを、前記フレームとして構成する。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示の送信装置は、周囲のセンシングを行うことができる。
図１は、実施の形態１における検出装置の構成の一例を示す図である。 図２は、実施の形態１における検出装置の構成の一例を示す図である。 図３は、実施の形態１における検出装置の構成の一例を示す図である。 図４は、実施の形態１における検出装置の構成の変形例を示す図である。 図５は、実施の形態１における検出装置の構成の変形例を示す図である。 図６は、実施の形態１における検出装置の構成の変形例を示す図である。 図７は、実施の形態１における検出装置の分離の構成の一例を示す図である。 図８は、実施の形態１における検出装置の分離の構成の一例を示す図である。 図９は、実施の形態１における検出装置の分離の構成の一例を示す図である。 図１０は、実施の形態１における検出装置の分離の構成の一例を示す図である。 図１１は、実施の形態２における装置の状態の一例を示す図である。 図１２は、実施の形態２におけるフレームの構成の一例を示す図である。 図１３は、実施の形態２におけるフレームの構成の一例を示す図である。 図１４は、実施の形態３における装置の構成の一例を示す図である。 図１５は、実施の形態３における装置の構成の一例を示す図である。 図１６は、実施の形態３における装置の構成の一例を示す図である。 図１７は、実施の形態４におけるシステム構成の一例を示す図である。 図１８は、実施の形態４における装置の構成の一例を示す図である。 図１９は、実施の形態４におけるフレームの構成の一例を示す図である。 図２０は、実施の形態４におけるフレームの構成の一例を示す図である。 図２１は、実施の形態４におけるフレームの構成の一例を示す図である。 図２２は、実施の形態４におけるフレームの構成の一例を示す図である。 図２３は、実施の形態４におけるフレームの構成の一例を示す図である。 図２４は、実施の形態４におけるフレームの構成の一例を示す図である。 図２５は、実施の形態４におけるフレームの構成の一例を示す図である。 図２６は、実施の形態４におけるフレームの構成の一例を示す図である。 図２７は、実施の形態４におけるフレームの構成の一例を示す図である。 図２８は、実施の形態４におけるフレームの構成の一例を示す図である。 図２９は、実施の形態４におけるフレームの構成の一例を示す図である。 図３０は、実施の形態４におけるフレームの構成の一例を示す図である。 図３１は、実施の形態４におけるフレームの構成の一例を示す図である。 図３２は、実施の形態４におけるフレームの構成の一例を示す図である。 図３３は、実施の形態４におけるフレームの構成の一例を示す図である。 図３４は、実施の形態４におけるフレームの構成の一例を示す図である。 図３５は、実施の形態４におけるフレームの構成の一例を示す図である。 図３６は、実施の形態４におけるフレームの構成の一例を示す図である。 図３７は、実施の形態４におけるフレームの構成の一例を示す図である。 図３８は、実施の形態５における制御システムの構成の一例を示す図である。 図３９は、実施の形態５における制御システムの構成の一例を示す図である。 図４０は、実施の形態５における制御システムの外観の一例を示す図である。 図４１は、実施の形態５における制御システムの処理の一例を示す図である。 図４２は、実施の形態６における送信装置の構成の一例を示す図である。 図４３は、実施の形態６における送信装置の処理の一例を示す図である。 図４４は、実施の形態７における装置の構成の一例を示す図である。 図４５は、実施の形態７における装置と人との関係の一例を示す図である。 図４６は、実施の形態７における人と端末と装置との状態の一例を示す図である。 図４７は、実施の形態７における人と端末と装置との状態の一例を示す図である。 図４８は、実施の形態７における装置と端末と人との関係の一例を示す図である。 図４９は、実施の形態７における装置と端末と人との関係の一例を示す図である。 図５０は、実施の形態８における各装置の状態の一例を示す図である。 図５１は、実施の形態８における宅内にＡＰを設置したときの動作例のフローチャートである。 図５２は、実施の形態８におけるＡＰの動作例のフローチャートである。 図５３は、実施の形態８におけるシステムの動作例のフローチャートである。 図５４は、実施の形態８におけるＡＰ、クラウドサーバの動作例のフローチャートである。 図５５は、実施の形態９における各装置の状態の一例を示す図である。 図５６は、実施の形態９における宅内にＡＰを設置したときの動作例のフローチャートである。 図５７は、実施の形態９におけるＡＰの動作例のフローチャートである。 図５８は、実施の形態９におけるシステムの動作例のフローチャートである。 図５９は、実施の形態９におけるＡＰ、クラウドサーバの動作例のフローチャートである。 図６０は、実施の形態１０におけるシステムの構成の一例を示す図である。 図６１は、実施の形態１０におけるシステムの構成の一例を示す図である。 図６２は、実施の形態１０におけるシステムの構成の一例を示す図である。 図６３は、実施の形態１０におけるシステムの構成の一例を示す図である。 図６４は、各実施の形態におけるセンシングの方法を示す図である。 図６５は、各実施の形態におけるセンシングの方法を示す図である。 図６６は、各実施の形態における三角測量を用いた位置の測定または推定の説明図である。
　本発明の一態様に係る送信装置は、ＯＦＤＭＡ（Orthogonal Frequency-Division Multiple Access）方式に準拠したフレームであって、時間及び周波数により規定されるリソースである時間周波数リソースを複数含むフレームを構成するフレーム構成部と、前記フレーム構成部が構成した前記フレームを電波により送信する送信部とを備え、前記フレーム構成部は、通信データを含むシンボルが配置される時間周波数リソースである通信用リソースと、前記送信部が送信する電波によるセンシングのためのシンボルが配置される時間周波数リソースであるセンシング用リソースとを含むフレームを、前記フレームとして構成する。
　上記態様によれば、送信装置は、電波を用いた通信と、電波を用いた送信装置の周囲の物体のセンシングとを送信部によって行うことができる。具体的には、送信装置は、送信部が電波で送信するフレーム内に配置される通信用リソースによって通信を行うとともに、当該フレーム内に配置されるセンシング用リソースによってセンシングを行うことができる。これにより、送信装置は、周囲のセンシングを行うことができる。
　例えば、前記フレームは、２つのセンシング用リソースであって、前記２つのセンシング用リソースの時間が異なり、周波数が同じであり、ガード区間を挟んで時間方向に隣接して配置される２つのセンシング用リソースを少なくとも含んでいてもよい。
　上記態様によれば、送信装置は、フレーム内において２つのセンシング用リソースの間にガード区間を設けることによって、当該２つのセンシング用リソースの干渉を回避しながら、送信装置の周囲のセンシングをより一層適切に行うことができる。よって、送信装置は、周囲のセンシングをより一層適切に得ることができる。
　例えば、前記フレームは、２つのガード区間であって、前記２つのガード区間の時間長が異なり、周波数が異なる２つのガード区間を含んでいてもよい。
　上記態様によれば、送信装置は、フレーム内において、互いに異なる周波数に、時間長が異なるガード区間を設けることができる。これにより、周波数ごとに柔軟にガード区間を設けることができるので、当該２つのセンシング用リソースの干渉を回避しながら、送信装置の周囲のセンシングをより一層適切に行うことができる。よって、送信装置は、周囲のセンシングをより一層適切に得ることができる。
　例えば、前記フレームは、２つのセンシング用リソースであって、前記２つのセンシング用リソースの周波数が異なり、時間長が異なる２つのセンシング用リソースを少なくとも含んでいてもよい。
　上記態様によれば、送信装置は、フレーム内において、互いに異なる周波数に、時間長が異なる２つのセンシング用リソースを配置することができる。これにより、周波数ごとに柔軟にセンシング用リソースを配置することができるので、当該２つのセンシング用リソースの干渉を回避しながら、送信装置の周囲のセンシングをより一層適切に行うことができる。よって、送信装置は、周囲のセンシングをより一層適切に得ることができる。
　例えば、前記送信装置は、さらに、前記送信部が送信した前記電波の反射波を受信する受信部と、前記受信部が受信した前記反射波を解析することで、センシング処理を実行する処理部とを備えてもよい。
　上記態様によれば、送信装置は、送信した電波の反射波を受信し解析することができる。よって、送信装置は、送信装置の周囲のセンシング結果を得ることができる。
　例えば、前記センシング処理は、前記受信部が受信した前記反射波を解析することで、物体の位置を検出する処理、物体の有無を検出する処理、又は、物体の外形を検出する処理を少なくとも含んでいてもよい。
　上記態様によれば、送信装置は、物体の位置を検出する処理、物体の有無を検出する処理、又は、物体の外形を検出する処理によって、より容易に、送信装置の周囲のセンシング結果を得ることができる。
　例えば、前記送信装置は、さらに、前記処理部による前記センシング処理の結果に基づいて電気機器の駆動を制御する制御部を備えてもよい。
　上記態様によれば、送信装置は、送信装置の周囲のセンシング結果に基づいて、電気機器の駆動を制御することができる。これにより、周囲のセンシングの結果を用いて電気機器の駆動を制御することができる。
　また、本発明の一態様に係る制御システムは、上記の送信装置と、前記送信装置の前記制御部による制御により駆動する前記電気機器とを備える。
　上記態様によれば、制御システムは、上記送信装置と同様の効果を奏する。
　また、本発明の一態様に係る送信方法は、ＯＦＤＭＡ（Orthogonal Frequency-Division Multiple Access）方式に準拠したフレームであって、時間及び周波数により規定されるリソースである時間周波数リソースを複数含むフレームを構成するフレーム構成ステップと、前記フレーム構成ステップで構成した前記フレームを電波により送信する送信ステップとを含み、前記フレーム構成ステップでは、通信データを含むシンボルが配置される時間周波数リソースである通信用リソースと、前記送信ステップで送信する電波によるセンシングのためのシンボルが配置される時間周波数リソースであるセンシング用リソースとを含むフレームを、前記フレームとして構成する。
　上記態様によれば、送信方法は、上記送信装置と同様の効果を奏する。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
　以下、本開示における送信装置について図面を参照して詳細に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　本実施の形態では、周囲の物体の位置、複数の物体の位置関係、物体との距離などを検出することが可能な検出装置の構成について説明する。なお、検出装置は、送信装置ともいう。
　図１は、本実施の形態における検出装置の構成の一例を示している。
　送信装置Ｙ１０１は制御信号Ｙ１００を入力とする。このとき、制御信号Ｙ１００は、例えば「物体検出の動作開始」の情報、「物体検出の動作終了」の情報、「静止画または動画の記憶開始」の情報、「静止画または動画の記憶終了」の情報など検出装置に含まれる一または複数の構成の動作を制御するための情報が含まれている。
　制御信号Ｙ１００が「物体検出の動作開始」の情報を含む場合、送信装置Ｙ１０１は、受信装置Ｙ１０６において、例えば、電波の到来方向推定に用いられるＭ個の変調信号を生成し、Ｍ個の送信信号を出力する。つまり、送信信号Ｙ１０２＿１からＹ１０２＿Ｍを出力する。なお、Ｍは１以上の整数である。そして、送信信号Ｙ１０２＿ｉはアンテナＹ１０３＿ｉから電波として出力される。なお、ｉは１以上Ｍ以下の整数となる。また、アンテナＹ１０３＿ｉは、一つのアンテナで構成されていてもよいし、複数のアンテナで構成されていてもよい。複数のアンテナで構成されたアンテナＹ１０３＿ｉは、指向性制御を行う機能を備えていてもよい。
　送信装置Ｙ１０１から送信された変調信号は、放射方向または放射範囲にある物体に反射する。そして、受信装置Ｙ１０６は、この反射波を受信する。したがって、受信装置Ｙ１０６は、「アンテナＹ１０４＿１で受信した受信信号群Ｙ１０５＿１」から「アンテナＹ１０４＿Ｎで受信した受信信号群Ｙ１０５＿Ｎ」を入力とする。なお、Ｎは１以上の整数とする。
　以下では、アンテナＹ１０４＿ｉが、複数のアンテナで構成されている場合について説明する。したがって、以下の説明では、アンテナＹ１０４＿ｉで受信された信号を「受信信号群Ｙ１０５＿ｉ」と呼ぶ。例えば、アンテナＹ１０４＿ｉが１６個のアンテナで構成されている場合、受信信号群Ｙ１０５＿ｉは１６個の受信信号で構成されていることになる。
　受信装置Ｙ１０６は、例えば、受信信号群Ｙ１０５＿１に対し、到来方向推定を行うとともに、送信装置Ｙ１０１が変調信号を送信した時刻と受信信号群Ｙ１０５＿１を得た時刻を利用し、物体の距離を推定する。したがって、受信装置Ｙ１０６は、物体推定情報Ｙ１０７＿１を出力する。なお、上記の説明中の「物体の距離」という用語における距離とは、例えば、物体と検出装置との間の距離を意味している。ここで、距離として算出される値は、例えば、物体とアンテナとの間の距離、物体と複数のアンテナの中心位置との間の距離、物体と後述するセンサー部との間の距離などが考えられる。また、「物体の距離」は、例えば、物体において変調信号が反射した点または領域と検出装置との間の距離であってもよい。また、例えば、複数の変調信号を同時に送信する場合、一つの物体における複数の点または領域のそれぞれにおいて「物体の距離」が同時に測定されることもある。
　同様に、受信装置Ｙ１０６は、受信信号群Ｙ１０５＿ｉに対し、到来方向推定を行うとともに、送信装置Ｙ１０１が変調信号を送信した時刻と受信信号群Ｙ１０５＿ｉを得た時刻を利用し、物体の距離を推定する。したがって、受信装置Ｙ１０６は、物体推定情報Ｙ１０７＿ｉを出力する。なお、ｉは１以上Ｎ以下の整数とする。
　第１処理部Ｙ１０８は、物体推定情報Ｙ１０７＿１から物体推定情報Ｙ１０７＿Ｎを入力とする。第１処理部Ｙ１０８は、例えば、物体推定情報Ｙ１０７＿１から物体推定情報Ｙ１０７＿Ｎを用いて、詳細な物体推定を行い、物体推定信号Ｙ１０９を出力する。
　表示部Ｙ１１３は、画像情報Ｙ１２４、物体を認識するエリアを限定するためのエリア情報Ｙ１１１を入力とし、画像と物体を認識するエリアの関連付けを行い、エリア信号Ｙ１１４を出力する。なお、画像と物体を認識するエリアの関連付けとは、例えば、「表示部Ｙ１１３において得られている画像のうち物体認識を行うエリアを指定すること」を意味する。また、画像と物体を認識するエリアの関連付けは、例えば、「表示部Ｙ１１３において得られている画像で特定される領域に応じて第１処理部Ｙ１０８が物体認識を行うエリアを特定すること」であってもよい。
　選択部Ｙ１１２は、物体を認識するエリアを限定するための、エリア情報Ｙ１１１、エリア信号Ｙ１１４を入力とする。そして、選択部Ｙ１１２は、エリア情報Ｙ１１１、エリア信号Ｙ１１４に基づいて、物体を検出するエリアを決定し、選択エリア信号Ｙ１１５を出力する。なお、選択部Ｙ１１２は、物体を検出するエリアを限定しなくてもよく、この場合、選択部Ｙ１１２は、選択エリア信号Ｙ１１５を出力しなくてもよいし、「物体を検出するエリアを限定していない」という情報を選択エリア信号Ｙ１１５が含んでいてもよい。
　ここでは、「表示部Ｙ１１３が存在している」、「表示部Ｙ１１３がエリア信号Ｙ１１４を出力する」としているが、このような構成でなくてもよい。また、表示部Ｙ１１３が、液晶などの画面にタッチパネルの機能（液晶などのパネルのような表示装置とタッチパッドのような位置入力装置を組合せた装置）により、物体の検出エリアをユーザの指定に応じて限定してもよい。
　第２処理部Ｙ１１６は、物体推定信号Ｙ１０９、選択エリア信号Ｙ１１５、画像情報Ｙ１２４を入力とする。このとき、第２処理部Ｙ１１６は、第１の処理方法、第２の処理方法を行うものとする。なお、第２処理部Ｙ１１６は、第１の処理方法、第２の処理方法のいずれかを実施するものとしてもよいし、第１の処理方法と第２の処理方法を、状況に応じて、切り替えて処理を行ってもよい。また、第２処理部Ｙ１１６は、物体推定信号Ｙ１０９で複数の位置の距離情報を記憶するための補助情報を生成するとしてもよい。なお、補助情報は、例えば、複数の「撮影候補となる物体に対応する位置情報」であり、第２処理部Ｙ１１６は、複数の「撮影候補となる物体に対応する位置情報」から「撮影対象となる物体に対応する位置情報」を選択してもよい。
　第１の処理方法：
　第２処理部Ｙ１１６は、画像情報Ｙ１２４から物体の認識を行う。そして、第２処理部Ｙ１１６は、この物体の認識情報と物体推定信号Ｙ１０９に基づいて、認識した各物体と検出装置との間の距離を推定し、推定距離情報Ｙ１１７を出力する。なお、第２処理部Ｙ１１６は、選択エリア信号Ｙ１１５により、物体の認識するエリアを限定してもよい。また、第２処理部Ｙ１１６は、選択エリア信号Ｙ１１５により、距離推定する物体を制限してもよい。
　第２の処理方法：
　第２処理部Ｙ１１６は、物体推定信号Ｙ１０９、画像情報Ｙ１２４から、各物体と検出装置との距離を推定し、推定距離情報Ｙ１１７を出力する。なお、第２処理部Ｙ１１６は、選択エリア信号Ｙ１１５により、物体の認識するエリアを限定してもよい。また、第２処理部Ｙ１１６は、選択エリア信号Ｙ１１５のより、距離推定する物体を制限してもよい。
　レンズ制御部Ｙ１１０は、物体推定信号Ｙ１０９、推定距離情報Ｙ１１７を入力とする。そして、レンズ制御部Ｙ１１０は、「物体推定信号Ｙ１０９および推定距離情報Ｙ１１７を用いて」、または、「物体推定信号Ｙ１０９または推定距離情報Ｙ１１７のいずれかを用いて」、レンズ関連の動作の制御、例えば、「対象とする物体に対する焦点距離の制御」、「対象とする物体に対するレンズの焦点（フォーカス）の制御」、「対象とする物体を撮影する方向の制御」などを決定し、動作制御信号Ｙ１１８を出力する。
　レンズ部Ｙ１１９は、動作制御信号Ｙ１１８を入力とし、動作制御信号Ｙ１１８に基づいて、レンズ関連の動作の制御、例えば、「対象とする物体に対する焦点距離の制御」、「対象とする物体に対するレンズの焦点（フォーカス）の制御」、「対象とする物体を撮影する方向の制御」などの制御を行い、物体信号Ｙ１２０を出力する。なお、物体信号Ｙ１２０は、光信号である。
　シャッター部Ｙ１２１は、制御信号Ｙ１００、物体信号Ｙ１２０を入力とし、制御信号Ｙ１００に基づいて、シャッターの動作を制御し、制御後の物体信号Ｙ１２２を出力する。
　センサー部Ｙ１２３は、制御後の物体信号Ｙ１２２を入力とし、例えば、光・電気信号の変換を行い、画像情報Ｙ１２４を出力する。センサー部Ｙ１２３として、例えば、ＣＣＤ（Charge-Coupled Device）イメージセンサー、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー、有機ＣＭＯＳイメージセンサーなどを用いることができる。
　記憶部Ｙ１２５は、制御信号Ｙ１００、画像情報Ｙ１２４を入力とし、制御信号Ｙ１００に基づいて、画像情報、例えば、動画、静止画を記憶する。なお、記憶部Ｙ１２５は、センサー部Ｙ１２３で取得された画像情報をそのまま記憶してもよいし、画像符号化技術を用いて符号化された符号化データを記憶してもよい。
　なお、記憶部Ｙ１２５は、画像情報に加えて、または画像情報の代わりに、画像に対して信号処理を施した結果として得られた解析データを記憶してもよい。解析データは、例えば、人、動物、車またはドローンなどの予め設定された任意の検出対象について、当該検出対象が撮影されているか否か、すなわち検出対象が撮影領域内に滞在しているかどうかの情報である。また、解析データは、検出対象の色や大きさなどの属性に関する情報や、検出対象の向き、移動経路、速度、滞在時間、または何をしているか、何を見ているかなどの動作に関する情報を含んでいてもよい。属性に関する情報は、例えば、人であれば推定された性別や年齢などを用いてもよいし、車などであれば、車種、搭乗人数、搭載された荷物の量などであってもよい。
　以上で説明した通り、本実施の形態における検出装置によると、電波を用いて、物体との距離を推定することができる。また、本実施の形態における検出装置によると、推定された物体との距離に基づいて、物体を撮影する際に用いるレンズを制御することで、例えば、撮影の対象となる物体を鮮明に撮影するなど、目的に応じたレンズの制御が可能となる。また、本実施の形態における検出装置によると、例えば、周辺が暗い状況でも、物体との距離を推定したり、物体との距離の推定の信頼性を向上させたりできる可能性がある。また、電波での物体との距離推定と光信号（画像）に基づいた物体との距離推定を実施することで、より高精度、または信頼性の高い距離推定を行うことができるという効果を得ることもできる可能性がある。
　次に、図１とは異なる物体を高精度に検出することが可能となる検出装置の構成について説明する。
　図２は、図１とは異なる検出装置の構成例を示している。なお、図２において、図１と同様に動作するものについては、同一番号を付しており、説明を省略する。
　シャッター機能付センサー部Ｙ２００は、制御信号Ｙ１００、物体信号Ｙ１２０を入力とする。シャッター機能付センサー部Ｙ２００は、制御信号Ｙ１００を入力とし、制御信号Ｙ１００に基づき、シャッターの動作を制御を行い、そして、例えば、光・電気信号の変換を行うことで、画像情報Ｙ１２４を生成し、出力する。なお、シャッター機能付センサー部Ｙ２００のシャッターとして、例えば、電子シャッター、グローバルシャッターなどがある。
　図２において、シャッター機能付センサー部Ｙ２００以外の部分についての動作は、図１を用いて説明したものと同様となる。
　上記構成の検出装置によると、電波を用いて、物体との距離を推定することができる。また、上記構成の検出装置によると、推定された物体との距離に基づいて、物体を撮影する際に用いるレンズを制御することで、例えば、撮影の対象となる物体を鮮明に撮影するなど、目的に応じたレンズの制御が可能となる。また、上記構成の検出装置によると、例えば、周辺が暗い状況でも、物体との距離を推定したり、物体との距離の推定の信頼性を向上させたりできる可能性がある。また、電波での物体との距離推定と光信号（画像）とに基づいた物体との距離推定を実施することで、より高精度、または信頼性の高い距離推定を行うことができるという効果を得ることもできる可能性がある。
　次に、図１及び図２とは異なる物体を高精度に検出することが可能となる検出装置の構成について説明する。
　図３は、図１及び図２とは異なる検出装置の構成例を示している。なお、図３において、図１及び図２と同様に動作するものについては、同一番号を付しており、説明を省略する。
　図３において、「検出装置がシャッター部Ｙ１２１とシャッター機能付センサー部Ｙ２００の両者を具備していること」が特徴的な点となる。
　例えば、シャッター部Ｙ１２１は、フォーカルプレーンシャッターのようなメカ（機械式の）シャッターで構成されているものとする。また、シャッター機能付センサー部Ｙ２００が具備しているシャッターは、電子シャッター、または、グローバルシャッターであるものとする。
　シャッター機能付センサー部Ｙ２００は、制御信号Ｙ１００を入力とし、制御信号Ｙ１００に含まれている動作情報が、動画モードの場合、シャッター機能付センサー部Ｙ２００が具備しているシャッター機能が動作する。一方、シャッター部Ｙ１２１は、制御信号Ｙ１００を入力とし、制御信号Ｙ１００に含まれている動作情報が、動画モードの場合、シャッター部Ｙ１２１は、シャッターの動作を行わない、つまり、シャッターは開いた状態となる。
　シャッター機能付センサー部Ｙ２００は、制御信号Ｙ１００を入力とし、制御信号Ｙ１００に含まれている動作情報が、静止画モードの場合、制御信号Ｙ１００には、例えば、シャッター速度の情報が含まれているものとする。シャッター機能付センサー部Ｙ２００は、静止画モードの場合、シャッター速度の情報に応じて、シャッター機能付センサー部Ｙ２００のシャッター機能を動作させることになる。
　また、シャッター部Ｙ１２１は、制御信号Ｙ１００を入力とし、制御信号Ｙ１００に含まれている動作情報が、静止画モードの場合、制御信号Ｙ１００には、例えば、シャッター速度の情報が含まれているものとする。シャッター部Ｙ１２１は、静止画モードの場合、シャッター速度の情報に応じて、シャッター機能を動作させることになる。
　なお、静止画モードにおいて、シャッター機能付センサー部Ｙ２００のシャッター機能が動作しているとき、シャッター部Ｙ１２１のシャッター機能は動作していないことになる。逆に、シャッター部Ｙ１２１のシャッター機能が動作しているとき、シャッター機能付センサー部Ｙ２００のシャッター機能は動作していないことになる。
　図３において、上記説明以外の部分の動作については、図１を用いて説明したものと同様となる。
　上記構成の検出装置によると、電波を用いて、物体との距離を推定することができる。また、上記構成の検出装置によると、推定された物体との距離に基づいて、物体を撮影する際に用いるレンズを制御することで、例えば、撮影の対象となる物体を鮮明に撮影するなど、目的に応じたレンズの制御が可能となる。また、上記構成の検出装置によると、例えば、周辺が暗い状況でも、物体との距離を推定したり、物体との距離の推定の信頼性を向上させたりできる可能性がある。また、電波での物体との距離推定と光信号（画像）とに基づいた物体との距離推定を実施することで、より高精度、または信頼性の高い距離推定を行うことができるという効果を得ることもできる可能性がある。
　図４は、図１の変形例を示す図である。
　図４において、図１と同様に動作するものについては、同一番号を付しており、説明を省略する。
　第２処理部Ｙ１１６は、物体推定信号Ｙ１０９、選択エリア信号Ｙ１１５、画像情報Ｙ１２４、データ群Ｙ４０３を入力とする。このとき、第２処理部Ｙ１１６は、データ群Ｙ４０３に基づいて、画像情報Ｙ１２４から物体の認識を行う。そして、第２処理部Ｙ１１６は、この物体の認識情報と物体推定信号Ｙ１０９に基づいて、認識した各物体と図自身である検出装置の距離を推定し、推定距離情報Ｙ１１７を出力する。なお、第２処理部Ｙ１１６は、選択エリア信号Ｙ１１５により、距離推定する物体を制限してもよい。
　画像情報Ｙ１２４を用いて物体の認識を行う際に用いる信号処理の一例としては、例えば、人や人の顔などの体の一部を検出する処理、人物を識別する処理、車やドローンなどの対象物を検出する処理、車やドローンなどの対象物を識別する処理、検出された人や対象物の動作や移動を検出する処理、検出された人や対象物を追跡する処理などが挙げられる。ここで、画像情報Ｙ１２４は、一または複数の静止画であってもよいし、予め定められたタイミングで連続的に取得される複数のフレームから構成される動画像であってもよい。
　これらの信号処理は、例えば、当該信号処理の目的に応じて決められたそれぞれ所定の算出処理によって得られる一または複数の特徴量を画像情報Ｙ１２４から抽出し、抽出された特徴量を認識したい対象物やその動作に対応する既知の特徴量と比較した結果に基づいて行われる。また、これらの信号処理は、抽出された特徴量が所定の閾値を超えているか否かの判定結果に基づいて行われてもよい。また、これらの信号処理は、上記で例示した以外の信号処理に基づいて行われてもよく、例えば、多層構造のニューラルネットワークを用いて機械学習により作成されたモデルで行われてもよい。なお、多層構造のニューラルネットワークを用いて機械学習により作成されたモデルを利用する場合、動画用の撮像データに対して前処理を行ったうえで、前処理後のデータを多層構造のニューラルネットワークを用いて機械学習により作成されたモデルに入力してもよい。
　図４において、第２処理部Ｙ１１６が、照会データ部Ｙ４０２に対し、データを出力してもよい。例えば、このデータに基づき、照会データ部Ｙ４０２は、データ群Ｙ４０３の出力データ量を削減してもよい。
　上記説明では、第２処理部Ｙ１１６が画像情報Ｙ１２４を用いて物体の認識を行う例について記載したが、画像情報Ｙ１２４に加えて、物体推定信号Ｙ１０９を用いて物体の認識を行ってもよい。このとき、物体推定信号Ｙ１０９は、距離情報のみで構成されている必要はなく、例えば受信信号群Ｙ１０５＿ｉを解析して得られる反射率などの情報を含んでいてもよい。
　また、第２処理部Ｙ１１６は、物体の認識情報Ｙ４０４を出力してもよい。
　通信装置Ｙ４００は、物体の認識情報Ｙ４０４を入力とし、このデータを含む変調信号を生成し、通信相手の通信装置に、送信するものとする。このとき、通信相手の通信装置は、例えば、サーバに接続されており、サーバは、通信装置Ｙ４００が送信した変調信号から、物体の認識情報Ｙ４０４を得て、物体認識のデータベースを作成し、サーバは、通信装置を介し、このデータベースを含む変調信号を生成し、通信装置Ｙ４００に送信するものとする。
　通信装置Ｙ４００は、この変調信号を受信し、物体認識のデータベースＹ４０１を取得し、照会データ部Ｙ４０２へ出力する。そして、照会データ部Ｙ４０２は、物体認識のデータベースＹ４０１を入力とし、第２処理部Ｙ１１６が行う物体認識のためのデータ群Ｙ４０３の更新を行う。
　上記構成の検出装置によると、電波を用いて、物体との距離を推定することができる。また、上記構成の検出装置によると、推定された物体との距離に基づいて、物体を撮影する際に用いるレンズを制御することで、例えば、撮影の対象となる物体を鮮明に撮影するなど、目的に応じたレンズの制御が可能となる。また、上記構成の検出装置によると、例えば、周辺が暗い状況でも、物体との距離を推定したり、物体との距離の推定の信頼性を向上させたりできる可能性がある。また、電波での物体との距離推定と光信号（画像）とに基づいた物体との距離推定を実施することで、より高精度、または信頼性の高い距離推定を行うことができるという効果を得ることもできる可能性がある。
　さらに、上記構成の検出装置によると、物体の認識に用いるデータベースを更新するための仕組みにより、物体認識における精度や信頼性を向上させることができ、結果として、距離推定の精度や信頼性の向上に貢献できる。また、画像情報に加えて電波を用いて得られた情報を用いて物体認識を行う場合、物体認識における精度や信頼性が向上する可能性がある。
　図５は、図２の変形例であり、図１、図２及び図４と同様に動作するものについては、同一番号を付しており、説明を省略する。図５における各部の動作については、すでに説明を行っているので、説明を省略する。
　図６は、図３の変形例であり、図１、図２及び図４と同様に動作するものについては、同一番号を付しており、説明を省略する。図６における各部の動作については、すでに説明を行っているので、説明を省略する。
　上記構成の検出装置によると、電波を用いて、物体との距離を推定することができる。また、上記構成の検出装置によると、推定された物体との距離に基づいて、物体を撮影する際に用いるレンズを制御することで、例えば、撮影の対象となる物体を鮮明に撮影するなど、目的に応じたレンズの制御が可能となる。また、上記構成の検出装置によると、例えば、周辺が暗い状況でも、物体との距離を推定したり、物体との距離の推定の信頼性を向上させたりできる可能性がある。また、電波での物体との距離推定と光信号（画像）の基づいた物体との距離推定を実施することで、より高精度、または信頼性の高い距離推定を行うことができるという効果を得ることもできる可能性がある。
　さらに、上記構成の検出装置によると、物体の認識に用いるデータベースを更新するための仕組みにより、物体認識における精度や信頼性を向上させることができ、結果として、距離推定の精度や信頼性の向上に貢献できる。また、画像情報に加えて電波を用いて得られた情報を用いて物体認識を行う場合、物体認識における精度や信頼性が向上する可能性がある。
　本実施の形態において、図１から図６を構成の一例として示した装置を、「検出装置」という名称で説明したが、呼び方はこれに限らない。例えば、本実施の形態でした装置は、記憶部を具備しているため、「記憶装置」と呼んでもよいし、センサー部を具備しているため、「カメラ」、「ムービー」、「監視用カメラ」、「セキュリティ用カメラ」、「録画装置」、「静止画撮影装置」と呼んでもよい。また、単に「装置」と呼んでもよい。なお、呼び方は、これに限ったものではない。
　また、図１、図２、図３、図４、図５及び図６の構成が、分離された複数の装置の組み合わせであるシステムにより実現されていてもよい。以下では、分離された複数の装置として実現する場合の例について説明する。
　図７は、第１の「装置の分離例」である。
　第２装置Ｙ７０２は、図１、図２、図３、図４、図５及び図６の装置におけるレンズ部Ｙ１１９を具備する装置となる。そして、第１装置Ｙ７０１は、図１、図２、図３、図４、図５、図６の装置におけるレンズ部Ｙ１１９以外の部分を具備する装置となる。
　そして、第１装置Ｙ７０１は、第２装置Ｙ７０２と接続するための第１インターフェースＹ７０３を具備し、第２装置Ｙ７０２は、第１装置Ｙ７０１と接続するための第２インターフェースＹ７０４を具備する。
　したがって、第１インターフェースＹ７０３は動作制御信号Ｙ１１８を入力としている。そして、第２インターフェースＹ７０４は、レンズ部Ｙ１１９に信号を出力している。よって、第１インターフェースＹ７０３と第２インターフェースＹ７０４を接続することで、レンズ部Ｙ１１９は、動作制御信号Ｙ１１８に相当する信号を得ることができる。なお、第１インターフェースＹ７０３と第２インターフェースＹ７０４は、どのように接続されてもよい。例えば、第１インターフェースＹ７０３と第２インターフェースＹ７０４は直接接続されてもよいし、第１インターフェースＹ７０３と第２インターフェースＹ７０４は接続ケーブルなどを介して接続されてもよい。なお、接続方法は、これらの例に限ったものではない。
　図８は、第２の「装置の分離例」である。
　第３装置Ｙ８０２は、図１、図２、図３、図４、図５、図６の装置における送信装置Ｙ１０１、アンテナＹ１０３＿１からＹ１０３＿Ｍ、アンテナＹ１０４＿１からＹ１０４＿Ｎ、受信装置Ｙ１０６、第１処理部Ｙ１０８を具備する装置となる。そして、第１’装置Ｙ８０１は、図１、図２、図３、図４、図５、図６の装置における「送信装置Ｙ１０１、アンテナＹ１０３＿１からＹ１０３＿Ｍ、アンテナＹ１０４＿１からＹ１０４＿Ｎ、受信装置Ｙ１０６、第１処理部Ｙ１０８」以外の部分を具備する装置となる。
　そして、第１’装置Ｙ８０１は、第３装置Ｙ８０２と接続するための第３インターフェースＹ８０３を具備し、第３装置Ｙ８０２は、第１’装置Ｙ８０１と接続するための第４インターフェースＹ８０４を具備する。
　したがって、第３インターフェースＹ８０３は制御信号Ｙ１００を入力としている。そして、第４インターフェースＹ８０４は、送信装置Ｙ１０１に信号を出力している。よって、第３インターフェースＹ８０３と第４インターフェースＹ８０４を接続することで、送信装置Ｙ１０１は、制御信号Ｙ１００に相当する信号を得ることができる。
　また、第４インターフェースＹ８０４は物体推定信号Ｙ１０９を入力としている。そして、第３インターフェースＹ８０３は、信号を出力している。よって、第３インターフェースＹ８０３と第４インターフェースＹ８０４を接続することで、第３インターフェースＹ８０３は、物体推定信号Ｙ１０９に相当する信号を出力することになる。
　なお、第３インターフェースＹ８０３と第４インターフェースＹ８０４は、どのように接続されてもよい。例えば、第３インターフェースＹ８０３と第４インターフェースＹ８０４は直接接続されてもよいし、第３インターフェースＹ８０３と第４インターフェースＹ８０４は接続ケーブルなどを介して接続されてもよい。なお、接続方法は、これらの例に限ったものではない。
　図９は、第３の「装置の分離例」である。なお、図９において、図７及び図８と同様に動作するものについては、同一番号を付しており、説明を省略する。
　第１’’装置Ｙ９０１は、図１、図２、図３、図４、図５及び図６の装置における「送信装置Ｙ１０１、アンテナＹ１０３＿１からＹ１０３＿Ｍ、アンテナＹ１０４＿１からＹ１０４＿Ｎ、受信装置Ｙ１０６、第１処理部Ｙ１０８、レンズ部Ｙ１１９」以外の部分を具備する装置となる。そして、第１’’装置Ｙ９０１は、第１インターフェースＹ７０３、第３インターフェースＹ８０３を具備している。
　なお、図９において、第１インターフェースＹ７０３、第２インターフェースＹ７０４、第３インターフェースＹ８０３、第４インターフェースＹ８０４の動作については、すでに説明したとおりとなる。
　図９は、第３の「装置の分離例」である。なお、図９において、図７及び図８と同様に動作するものについては、同一番号を付しており、説明を省略する。
　第１’’装置Ｙ９０１は、図１、図２、図３、図４、図５、図６の装置における「送信装置Ｙ１０１、アンテナＹ１０３＿１からＹ１０３＿Ｍ、アンテナＹ１０４＿１からＹ１０４＿Ｎ、受信装置Ｙ１０６、第１処理部Ｙ１０８、レンズ部Ｙ１１９」以外の部分を具備する装置となる。そして、第１’’装置Ｙ９０１は、第１インターフェースＹ７０３、第３インターフェースＹ８０３を具備している。
　なお、図９において、第１インターフェースＹ７０３、第２インターフェースＹ７０４、第３インターフェースＹ８０３、第４インターフェースＹ８０４の動作については、すでに説明したとおりとなる。
　図１０は、第４の「装置の分離例」である。なお、図１０において、図７、図８、図９と同様に動作するものについては、同一番号を付しており、説明を省略する。
　第４装置Ｙ１００２は、図１、図２、図３、図４、図５、図６の装置における「送信装置Ｙ１０１、アンテナＹ１０３＿１からＹ１０３＿Ｍ、アンテナＹ１０４＿１からＹ１０４＿Ｎ、受信装置Ｙ１０６、第１処理部Ｙ１０８、レンズ部Ｙ１１９」を具備するとともに、第２インターフェースＹ７０４、第４インターフェースＹ８０４を具備している。なお、図１０における各部の動作については、すでに説明を行っているため、説明を省略する。
　以上、図１から図１０を用いて本実施の形態の動作例を説明したが、図１から図１０の構成は例であり、この構成に限ったものではない。
　図１から図１０における送信装置Ｙ１０１、受信装置Ｙ１０６は、電波を扱っており、このときの動作の説明を行った。これとは異なり、図１から図１０における送信装置Ｙ１０１が例えば、可視光のような、光の変調信号を生成し、受信装置Ｙ１０６が、光の変調信号を受信するような構成でも実施することは可能である。このとき、アンテナＹ１０３＿１からＹ１０３＿Ｍの代わりにＬＥＤ（Light Emitting Diode）や有機ＥＬ（Electro-Luminescence）などを用いることになり、アンテナＹ１０４＿１からＹ１０４＿Ｎの代わりにフォトダイオード、イメージセンサーなどが用いられることになる。
　なお、図１から図１０などの装置におけて、電波を用いて取得された情報を用いて、物体認識を行ってもよい。図１から図１０において、特徴的な点は、「物体認識、または、物体との距離推定」を行う、かつ、「静止画、または、動画」を記録（記憶）するという点であり、この特徴をもつ装置の構成は図１から図１０の構成に限ったものではない。
　なお、センシングの距離を延ばしたいとき、送信電力を大きくする必要がある。例えば、送信帯域を狭くする方法によって送信電力を大きくすることができる。また、偏波を利用したセンシングも可能である。
　（実施の形態２）
　本実施の形態では、実施の形態１で説明した図１から図１０などの電波を用いた距離推定、または、電波を用いた物体認識を行う装置が送信する変調信号の構成方法について説明を行う。
　図１１は、実施の形態１で説明した「電波を用いた距離推定、または、電波を用いた物体認識」を行う装置Ｙ１１０１、「距離推定、または、物体認識」の対象となる物体Ｙ１１０２、および、その他の装置の状態の一例を示している。なお、以下では、「電波を用いた距離推定、または、電波を用いた物体認識」を行う装置Ｙ１１０１を単に「装置Ｙ１１０１」と記載する。
　図１１では、装置Ｙ１１０１、物体Ｙ１１０２に加え、端末Ｙ１１０３、および、ＡＰ（アクセスポイント）Ｙ１１０４がある。
　端末Ｙ１１０３とＹ１１０４のＡＰは、通信を行う際は、第１の周波数帯を用いるものとする。また、装置Ｙ１１０１が、物体Ｙ１１０２に対する距離推定、または、物体認識を行う際、第１の周波数帯を用いるものとする。
　このとき、「端末Ｙ１１０３とＹ１１０４のＡＰの通信」と「装置Ｙ１１０１による物体Ｙ１１０２に対する距離推定、または、物体認識」が同時に行われた場合、互いの電波が干渉するという影響があり、これにより、通信品質の低下、および、距離推定、物体認識の精度低下を招く可能性がある。
　本実施の形態では、これらの低下を改善するための方法について説明する。
　図１２は、図１１における、端末Ｙ１１０３、ＡＰ（アクセスポイント）Ｙ１１０４が通信用の変調信号を送信する際のフレーム構成の例を示しており、横軸は時間であるものとする。
　通信用リファレンスシンボルＹ１２０１は、「通信相手が信号検出、時間同期、周波数同期、チャネル推定などを行う」ためのシンボルであるものとする。また、通信用リファレンスシンボルＹ１２０１は、データ通信を行うための手続きに必要な制御情報、ＭＡＣ（Media Access Control）フレームであってもよい。
　通信用制御情報シンボルＹ１２０２は、例えば、通信用データシンボルＹ１２０３の例えば、通信方法を通知するためのシンボルであるものとする。したがって、通信用制御情報シンボルＹ１２０２は、例えば、誤り訂正符号化方法（符号化率、ブロック長（符号長）、誤り訂正符号の情報など）の情報、変調方式の情報、送信方法の情報（例えば、シングルストリーム伝送、または、複数ストリーム伝送、いずれを用いているかの情報）（ＭＣＳ（Modulation and Coding Scheme）の情報）、データ長、などの情報を含んでいるものとする。
　通信用データシンボルＹ１２０３は、通信相手にデータを伝送するためのシンボルであるものとする。
　なお、図１２のフレーム構成はあくまでも一例であり、他のシンボルが含まれていてもよい。また、図１２のフレームを送信する際、シングルキャリア伝送方式を用いてもよいし、ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）などのマルチキャリア伝送方式を用いてもよい。
　通信用リファレンスシンボルＹ１２０１において、データを伝送する領域を含んでいてもよい。そのデータを伝送する領域において、送信信号が「通信用の信号を送信しているか」、または、「物体検出のための信号を送信しているか」を識別するためのデータを含んでいてもよい。
　また、通信用リファレンスシンボルＹ１２０１と名づけているが、呼び方はこれに限ったものではなく、通信用リファレンスシンボルＹ１２０１を、パイロットシンボル、トレーニングシンボル、トレーニングフィールド、プリアンブル、制御情報シンボル、ミッドアンブル、などと呼んでもよい。
　図１３は、装置Ｙ１１０１が送信する変調信号のフレーム構成の一例である。なお、図１３において、図１２と同様に動作するものについては、同一番号を付しており、すでに説明を行っているので、説明は省略する。
　実施の形態１でも説明したように、制御信号Ｙ１００に含まれる「物体検出の動作開始」、または「静止画または動画の記録開始」の情報に基づき、はじめに、装置Ｙ１１０１は、通信用リファレンスシンボルＹ１２０１を送信することになる。
　なお、「物体検出の動作開始」、または「静止画または動画の記録開始」は、装置Ｙ１１０１が具備している、「ユーザがボタンを押す」、または、「ユーザがタッチパネルを触れる」、または、「ユーザがシャッターボタンを押す」、または、「ユーザが録画開始ボタンを押す」により実現されてもよい。
　そして、装置Ｙ１１０１は、「物体検出のための変調信号または物体との距離推定のための変調信号Ｙ１３０２」を送信することになる。
　装置Ｙ１１０１は、図１３のように変調信号を送信することで、図１１における端末Ｙ１１０３、および、Ｙ１１０４のＡＰは、図１３の通信用リファレンスシンボルＹ１２０１を検出することで、第１の周波数帯に変調信号が存在していることがわかる。したがって、端末Ｙ１１０３、および、Ｙ１１０４のＡＰは、通信用リファレンスシンボルＹ１２０１を検出すると、一時的に、変調信号の送信を保留する。そして、端末Ｙ１１０３、Ｙ１１０４のＡＰは、通信用リファレンスシンボルＹ１２０１が検出されなくなると、変調信号の送信を開始することができることになる。
　以上のようにすることで、「装置Ｙ１１０１が送信する変調信号」と「端末Ｙ１１０３、Ｙ１１０４のＡＰが送信する変調信号」が互いに干渉するというような状況の発生を抑圧することができるため、「端末Ｙ１１０３とＹ１１０４のＡＰの通信のデータの受信品質の向上」、「装置Ｙ１１０１距離推定、物体認識の精度の向上」という効果を得ることができる。
　なお、図１３のフレーム構成はあくまでも一例であり、他の変調信号が含まれていてもよい。
　以下では、電波を用いたセンシング方法について幾つか例を挙げて説明する。なお、以降の実施の形態で説明する電波を用いたセンシング方法を実施する装置は、当該センシング方法を実施の形態１および２で説明したようにカメラなどの撮像機能を有するセンサーで得られたセンシングデータを用いた処理と組み合わせて用いてもよい。また、以降の実施の形態で説明する電波を用いたセンシング方法を実施する装置は、当該センシング方法をカメラなどの撮像機能を有するセンサーで得られたセンシングデータを用いた処理と組み合わせずに実施してもよい。
　ここで、カメラなどの撮像機能を有するセンサーで得られたセンシングデータを用いた処理と組み合わせない電波を用いたセンシング方法の実施とは、カメラを備えない装置が電波を用いたセンシングを行う場合だけを意味しているのではない。例えば、スマートフォンのようなカメラを備えた装置が、一または複数のカメラによる撮影や測距などのセンシングと、無線通信部や無線レーダーなどによる電波を用いたセンシングとを独立して行ってもよい。また、スマートフォンのようなカメラを備えた装置が、一または複数のカメラによる撮影や測距などのセンシングの制御のために、無線通信部や無線レーダーなどによる電波を用いたセンシング結果を用いず、且つ、無線通信部や無線レーダーなどによる電波を用いたセンシングの制御のために一または複数のカメラによる撮影や測距などのセンシング結果は用いない一方で、両方のセンシング結果を一つのアプリケーションで組み合わせて用いてもよい。
　（実施の形態３）
　本実施の形態では、例えば、システムは、通信を行う装置、センシングを行う装置、通信およびセンシングを行う装置のうち一つ以上で構成されるものとする。まず、センシングを行う装置、通信およびセンシングを行う装置の構成などについて説明を行う。
　図１４は、センシング用の信号を送信し、周囲の物体に反射して戻ってきたセンシング用の信号を受信して、センシングを行う装置Ｘ１００の構成の一例を示す図である。
　送信装置Ｘ１０１は、センシング用の信号として送信信号Ｘ１０２＿１からＸ１０２＿Ｍを生成し、送信信号Ｘ１０２＿１からＸ１０２＿ＭのそれぞれをアンテナＸ１０３＿１からＸ１０３＿Ｍから送信する。ここで送信に用いるアンテナの数はＭであり、Ｍは１以上の整数、または、２以上の整数である。
　送信装置Ｘ１０１は、例えば、同じセンシング信号に対してアンテナごとに定められた係数を乗算して送信信号Ｘ１０２＿１からＸ１０２＿Ｍを生成し、アンテナＸ１０３＿１からＸ１０３＿Ｍから送信することで、センシング信号の指向性制御を行ってもよい。また、送信装置Ｘ１０１は、例えば、複数のセンシング信号のそれぞれに対して、センシング信号ごと且つアンテナごとに定められた係数を乗算して合成することで送信信号Ｘ１０２＿１からＸ１０２＿Ｍを生成し、アンテナＸ１０３＿１からＸ１０３＿Ｍから送信してもよい。これにより、センシング信号ごとに指向性制御を行うことができる。上記のアンテナごとに定められた係数、またはセンシング信号ごと且つアンテナごとに定められた係数は、複素数または実数で表される。この係数の値に応じて、各アンテナから送信されるセンシング信号の振幅および／または位相が変更される。ただし、係数は１であってもよく、この場合、係数値が１のアンテナからは送信装置Ｘ１０１で生成されたセンシング信号がそのまま送信される。
　なお、送信装置Ｘ１０１は、指向性制御を行わずに送信信号を送信してもよい。例えば、送信装置Ｘ１０１は、複数のセンシング信号のそれぞれを対応するアンテナの送信信号としてそのまま出力しアンテナＸ１０３＿１からＸ１０３＿Ｍから送信してもよい。なお、上記説明ではセンシング用信号およびアンテナの数が複数の場合について説明したが、送信装置Ｘ１０１が生成するセンシング用信号の数及びセンシング用信号を送信するアンテナの数は１であってもよい。
　アンテナＸ１０３＿１からＸ１０３＿Ｍから送信されたセンシング用信号は、物体＃１Ｘ１１０＿１や物体＃２ Ｘ１１０＿２で反射し、反射したセンシング用信号は装置Ｘ１００が備えるアンテナＸ１０４＿１からＸ１０４＿Ｎで受信される。ここでセンシング用信号を受信するアンテナの数はＮであり、Ｎは１以上の整数、または、２以上の整数である。送信に用いるアンテナの数Ｍは、受信に用いるアンテナの数Ｎと同じであってもよいし、異なっていてもよい。
　アンテナＸ１０４＿１からＸ１０４＿Ｎで受信された受信信号Ｘ１０５＿１からＸ１０５＿Ｎは、受信装置Ｘ１０６に入力される。受信装置Ｘ１０６は、受信信号Ｘ１０５＿１からＸ１０５＿Ｎに対して、例えばセンシング用信号が送信された周波数帯域または周波数帯域内のチャネルの成分のみを抽出するフィルタ処理や、無線周波数帯から中間周波数帯（ＩＦ）やベースバンド信号の周波数帯に変換する周波数変換処理や、Ｎ個の受信信号に対する重みづけ合成処理などを行い、推定信号Ｘ１０７を出力する。
　Ｎ個の受信信号に対する重みづけ合成処理で用いる係数は、受信信号Ｘ１０５＿１からＸ１０５＿Ｎごとに設定することが可能であり、係数の値を変更することで受信の指向性制御を行うことができる。係数は予め推定されていてもよいし、受信信号Ｘ１０５＿１からＸ１０５＿Ｎを用いて、重みづけ合成後のセンシング信号成分の振幅または信号雑音比（ＳＮＲ（Signal-to-Noise Ratio））が他の係数を用いた場合よりも大きい、または所定の閾値を超える係数を推定してもよい。また、受信装置Ｘ１０６は、受信信号Ｘ１０５＿１からＸ１０５＿Ｎに対応するＮ個の係数の組を複数用いることで、各係数の組に対応する指向性の信号を同時に取得してもよい。ただし、重み付け合成を行わないで実施することも可能である。
　推定部Ｘ１０８は、推定信号Ｘ１０７を用いて、センシング、すなわち周囲環境に関する推定処理を行う。推定部Ｘ１０８が行う推定処理の詳細については後述する。
　制御信号Ｘ１０９は、送信装置Ｘ１０１、受信装置Ｘ１０６、及び推定部Ｘ１０８に入力される制御信号であり、送信装置Ｘ１０１、受信装置Ｘ１０６、及び推定部Ｘ１０８に対してセンシングの実施の指示やセンシング範囲やセンシングタイミングの制御などを行う。
　以上が、本実施の形態における装置Ｘ１００の構成の一例に関する説明である。
　なお、図１４では、装置Ｘ１００で生成された信号がＭ個のアンテナで送信され、Ｎ個のアンテナで受信された信号が受信装置Ｘ１０６で信号処理される場合を例に挙げて説明したが、本実施の形態で説明するセンシング方法を実施する装置の構成はこれに限定されない。
　例えば、信号の送信のための送信アンテナ部が、それぞれが複数のアンテナを含む複数のアンテナユニットで構成されていてもよい。ここで、複数のアンテナユニットは同じ指向性及び指向性制御機能を有していてもよいし、アンテナユニット間で指向性制御できる範囲が異なっていてもよい。このとき、一つの送信装置Ｘ１０１が、複数のアンテナユニットの中からセンシング信号の送信に用いるアンテナユニットを選択して用いる構成であってもよいし、複数のアンテナユニットから同じセンシング信号を同時に送信してもよい。また、送信装置Ｘ１０１は、一つのセンシング信号を一つのアンテナユニットから送信するか、複数のアンテナユニットから同時に送信するかを切り替えることができてもよい。また、装置Ｘ１００は、送信装置Ｘ１０１を複数備えていてもよいし、アンテナユニットごとに送信装置Ｘ１０１を備えていてもよい。
　アンテナＸ１０４＿１からＸ１０４＿Ｎで受信された受信信号Ｘ１０５＿１からＸ１０５＿Ｎは、受信装置Ｘ１０６に入力される。受信装置Ｘ１０６は、受信信号Ｘ１０５＿１からＸ１０５＿Ｎに対して、例えばセンシング用信号が送信された周波数帯域または周波数帯域内のチャネルの成分のみを抽出するフィルタ処理や、無線周波数帯から中間周波数帯（ＩＦ）やベースバンド信号の周波数帯に変換する周波数変換処理や、Ｎ個の受信信号に対する重みづけ合成処理などを行い、推定信号Ｘ１０７を出力する。
　Ｎ個の受信信号に対する重みづけ合成処理で用いる係数は、受信信号Ｘ１０５＿１からＸ１０５＿Ｎごとに設定することが可能であり、係数の値を変更することで受信の指向性制御を行うことができる。係数は予め推定されていてもよいし、受信信号Ｘ１０５＿１からＸ１０５＿Ｎを用いて、重みづけ合成後のセンシング信号成分の振幅または信号雑音比（ＳＮＲ）が他の係数を用いた場合よりも大きい、または所定の閾値を超える係数を推定してもよい。また、受信装置Ｘ１０６は、受信信号Ｘ１０５＿１からＸ１０５＿Ｎに対応するＮ個の係数の組を複数用いることで、各係数の組に対応する指向性の信号を同時に取得してもよい。ただし、重み付け合成を行わないで実施することも可能である。
　推定部Ｘ１０８は、推定信号Ｘ１０７を用いて、センシング、すなわち周囲環境に関する推定処理を行う。推定部Ｘ１０８が行う推定処理の詳細については後述する。
　制御信号Ｘ１０９は、送信装置Ｘ１０１、受信装置Ｘ１０６、及び推定部Ｘ１０８に入力される制御信号であり、送信装置Ｘ１０１、受信装置Ｘ１０６、及び推定部Ｘ１０８に対してセンシングの実施の指示やセンシング範囲やセンシングタイミングの制御などを行う。
　以上が、本実施の形態における装置Ｘ１００の構成の一例に関する説明である。
　なお、図１４では、装置Ｘ１００で生成された信号がＭ個のアンテナで送信され、Ｎ個のアンテナで受信された信号が受信装置Ｘ１０６で信号処理される場合を例に挙げて説明したが、本実施の形態で説明するセンシング方法を実施する装置の構成はこれに限定されない。
　例えば、信号の送信のための送信アンテナ部が、それぞれが複数のアンテナを含む複数のアンテナユニットで構成されていてもよい。ここで、複数のアンテナユニットは同じ指向性及び指向性制御機能を有していてもよいし、アンテナユニット間で指向性制御できる範囲が異なっていてもよい。このとき、一つの送信装置Ｘ１０１が、複数のアンテナユニットの中からセンシング信号の送信に用いるアンテナユニットを選択して用いる構成であってもよいし、複数のアンテナユニットから同じセンシング信号を同時に送信してもよい。また、送信装置Ｘ１０１は、一つのセンシング信号を一つのアンテナユニットから送信するか、複数のアンテナユニットから同時に送信するかを切り替えることができてもよい。また、装置Ｘ１００は、送信装置Ｘ１０１を複数備えていてもよいし、アンテナユニットごとに送信装置Ｘ１０１を備えていてもよい。
　同様に、信号の送信のための受信アンテナ部が、それぞれが複数のアンテナを含む複数のアンテナユニットで構成されていてもよい。ここで、複数のアンテナユニットは指向性の制御範囲及び指向性制御精度などの指向性制御能力が同じであってもよいし、アンテナユニット間で指向性制御能力が異なっていてもよい。また、複数のアンテナユニットは指向性の制御範囲及び指向性制御精度などの指向性制御能力が同じであるが、指向性制御できる空間領域が異なるよう設置されていてもよい。このとき、一つの受信装置Ｘ１０６が、複数のアンテナユニットの中から受信信号の取得するアンテナユニットを選択して用いる構成であってもよいし、複数のアンテナユニットから受信した信号を同時に信号処理する構成であってもよい。また、受信装置Ｘ１０６は、一つのアンテナユニットから受信した受信信号のみを信号処理するか、複数のアンテナユニットで受信された受信信号を同時に信号処理するかを切り替えることができてもよい。また、装置Ｘ１００は、受信装置Ｘ１０６を複数備えていてもよいし、アンテナユニットごとに受信装置Ｘ１０６を備えていてもよい。
　また、装置Ｘ１００は送信用の複数のアンテナと受信用の複数のアンテナを別に備えるのではなく、信号の送信にも受信にも用いることができる複数のアンテナを備えていてもよい。この場合、装置Ｘ１００は、アンテナごとに送信に用いるか受信に用いるかを選択して切り替えることができるようにしてもよいし、複数のアンテナを送信に用いるか受信に用いるかを時間的に切り替えてもよい。
　また、装置Ｘ１００は、信号の送信および受信に共通して用いることが可能な送受信アンテナ部を備えていてもよい。ここで、送受信アンテナ部は、複数のアンテナユニットを含み、アンテナユニットごとに送信に用いるか受信に用いるかを切り替えることができる。装置Ｘ１００は、送信装置Ｘ１０１で生成された信号の送信に用いるアンテナユニットと、受信装置Ｘ１０６で信号処理される信号の受信に用いるアンテナユニットの選択および切り替えを行う選択部を備えていてもよい。
　なお、複数のアンテナユニットを用いて同時にセンシング信号を送信する場合、各アンテナユニットから送信される信号の指向性は同じであってもよいし異なっていてもよい。装置Ｘ１００が複数のアンテナユニットから同じ指向性でセンシング信号を送信する場合、センシング信号の届く距離、または反射されたセンシング信号を受信可能な反射位置までの距離を長くすることができる可能性がある。
　なお、上記で説明したアンテナユニットを構成するアンテナの数はアンテナユニット間で同じである必要はなく、アンテナユニット間でアンテナ数が異なっていてもよい。
　次に、推定部Ｘ１０８が行う推定処理について例を挙げて説明する。
　推定部Ｘ１０８は、例えば、自装置とセンシング信号を反射した物体との間の距離を推定する。自装置とセンシング信号を反射した物体との間の距離の推定は、例えば、センシング信号の送信時刻に対する受信時刻の遅延時間を検出し、遅延時間に電磁波の伝搬速度を乗じることによって導出することができる。また、推定部Ｘ１０８は、例えば、ＭＵＳＩＣ（Multiple Signal Classification）法などの到来方向推定法（Direction of Arrival Estimation）を用いて、受信信号の到来方向、すなわちセンシング信号を反射した物体の方向を推定してもよい。推定部Ｘ１０８は、自装置と物体との間の距離に加えて方向を推定することで送信された信号を反射した物体の位置を推定することができる。推定部Ｘ１０８は、例えば、ＭＵＳＩＣ法などの到来方向推定、送信アンテナの位置、受信アンテナの位置、送信指向制御の方向の情報などを用いて、三角測量を行い、物体の位置を推定することができる。推定部Ｘ１０８は、受信信号を用いて、物体の検出、物体の動き、物体の材質などを検出してもよい。
　ここで、物体の位置は極座標系で表されていてもよいし、３次元の直交座標系で表されていてもよい。座標系の原点は、例えば装置Ｘ１００内の任意の位置でよく、座標系の座標軸は、任意の向きでよい。なお、装置Ｘ１００を備える機器が、装置Ｘ１００以外に装置Ｘ１００と同様または異なる構成の無線センサーやその他の距離センサーを複数備える場合、各センサーで取得されるデータの座標系の原点および座標軸は、センサー間で共通であってもよいし、センサーごとに固有であってもよい。推定部Ｘ１０８は、上記固有の座標系で表された位置情報をそのまま出力してもよいし、機器内で共通の座標系に変換して出力してもよい。変換後の座標系は、機器固有の座標系であってもよいし、当該機器が利用している３次元地図データと同じ座標系など他の機器と共通の座標系であってもよい。
　また、推定部Ｘ１０８は、複数の方向のそれぞれにおいて、信号を反射した物体までの距離を推定し、推定された複数の反射位置の３次元座標を点群として取得してもよい。なお、推定部Ｘ１０８で取得される複数の測距結果のデータのフォーマットは、３次元座標の値を有する点群フォーマットでなくてもよく、例えば距離画像やその他のフォーマットであってもよい。距離画像のフォーマットを用いる場合、距離画像の２次元平面内での位置（座標）が自装置から見た受信信号の到来方向に対応し、各画像の画素位置に対応する方向における物体までの距離が画素のサンプル値として格納されている。
　推定部Ｘ１０８は、さらに、上記の点群データまたは距離画像データを用いて物体の形状の推定などの認識処理を行ってもよい。例えば、「距離が所定の範囲内にある近接する位置の一つ以上の点」、または、複数の点または画像領域を同一の物体であるとみなして抽出し、当該一つ、または、複数の点の位置関係または画像領域の形状に基づいて物体の形状を推定することができる。推定部Ｘ１０８は、物体の形状の推定結果を用いた認識処理として、センシングされた物体の識別などを行ってもよい。この場合、推定部Ｘ１０８は、例えば、センシング範囲に居るのが人であるか、その他の動物であるのかの識別や、物体の種類の識別などを行う。なお、推定部Ｘ１０８が行う認識処理は、物体の識別以外であってもよい。例えば、推定部Ｘ１０８は、認識処理としてセンシング範囲内の人の数や、車の数などを検出してもよいし、検出された人の顔の位置や姿勢などを推定してもよい。推定部Ｘ１０８は、上記の認識処理とは異なる認識処理として、検出された人の顔の形状が、予め登録された人物と一致するか否か、どの人物であるかなどを判定する顔認証などの処理を行ってもよい。
　また、推定部Ｘ１０８は、自装置と物体との間の距離を異なるタイミングで複数回測定して、自装置と物体との間の距離または検出された点の位置の時間的変化を取得してもよい。この場合、推定部Ｘ１０８は、自装置と物体との間の距離または点の位置の時間的変化を用いた認識処理として、移動する物体の速度や加速度などを推定してもよい。例えば、推定部Ｘ１０８は、センシング範囲を走行する車の速度の推定や移動方向などを推定してもよい。なお、推定部Ｘ１０８が距離や点の位置の時間的変化を用いて行う認識処理は、物体の速度や加速度の推定以外であってもよい。例えば、推定部Ｘ１０８が、検出された人の姿勢の変化から人が特定の動作を行ったか否かを検出することで、装置Ｘ１００をスマートフォン、タブレット、パーソナルコンピュータなどの電子機器のジェスチャー入力用のデバイスとして利用してもよい。
　なお、上述した移動する物体の速度の推定は、送信したセンシング信号の周波数と受信した反射信号の周波数を比較して、反射信号が受けたドップラー効果による周波数の変化を推定することで導出してもよい。
　次に、送信装置Ｘ１０１及び受信装置Ｘ１０６で用いるセンシング信号について例を挙げて説明する。
　装置Ｘ１００は、センシング用の信号として、非特許文献１や非特許文献２に開示されたパルス信号を送信してもよい。装置Ｘ１００は、センシングに用いる周波数帯域でパルス信号を送信し、パルス信号の送信時刻に対する反射信号の受信時刻の遅延時間に基づいてセンシング用信号を反射した物体までの距離を測定する。
　センシング用の信号の異なる例として、装置Ｘ１００は、非特許文献３に記載されたｆｒｅｑｕｅｎｃｙ　ｍｏｄｕｌａｔｅｄ　ｃｏｎｔｉｎｕｏｕｓ　ｗａｖｅ（ＦＭＣＷ）方式やｐｈａｓｅ　ｍｏｄｕｌａｔｅｄ　ｃｏｎｔｉｎｕｏｕｓ　ｗａｖｅ（ＰＭＣＷ）方式の信号を用いてもよい。ＦＭＣＷ信号は、時間的に周波数を変更させたＣｈｉｒｐ信号を無線周波数に変換した信号である。推定部Ｘ１０８は、ＦＭＣＷ信号を用いた推定処理として、装置Ｘ１００から送信する信号と受信装置Ｘ１０６で受信された信号とをミキサーで重畳する。その結果、重畳後の信号は、受信した信号の飛行時間に応じた周波数の中間周波数の信号となるため、重畳後の信号に含まれる周波数成分を検出することで、ＦＭＣＷ信号を反射した物体までの距離を測定する。
　センシング用の信号の異なる例として、装置Ｘ１００は、定められた周波数の変調信号をセンシングに用いる周波数帯域の信号に周波数変換した信号を用いてもよい。この場合、推定部Ｘ１０８は、例えば、装置Ｘ１００から送信する信号の変調成分の位相と受信装置Ｘ１０６で受信された信号の変調成分の位相の差に基づいて、センシング用信号を反射した物体までの距離を推定することができる。また、推定部Ｘ１０８は、送信した変調信号の周波数と受信した変調信号の周波数を比較することで、センシング信号が反射して受信されるまでにドップラー効果により受けた周波数の変動を検出し、移動する物体の移動速度と方向を推定してもよい。なお、変調信号に含まれる周波数成分は複数であってもよく、例えば、非特許文献４に記載された変調信号として複数の周波数成分を含むＯＦＤＭ信号を用いてもよい。
　なお、センシング用の信号に例は、上述に限ったものではなく、変調方式により変調した信号であってもよいし、無変調のキャリアであってもよいし、それ以外の信号を用いてもよい。
　上述した通り、装置Ｘ１００は、複数のアンテナを用いて複数のセンシング信号を同時に送信してもよいし、それぞれ複数のアンテナを含む複数のアンテナユニットを用いて複数のセンシング信号を同時に送信してもよい。
　本実施の形態では、推定部Ｘ１０８が行う推定処理として、センシング信号の送信時刻と反射信号の受信時刻の差分から距離を測定する場合を例に挙げて説明した。しかしながら、推定部Ｘ１０８が行う推定処理は、上記のものに限られない。例えば、推定部Ｘ１０８は、受信した反射信号から伝送路の状態を推定し、推定された伝送路状態の時間的変化や、過去に推定された伝送路状態の平均値や特徴量との比較に基づく認識処理を行うことで、センシング範囲に物体が存在するか否かの判定や物体の移動の有無の検出など行ってもよい。また、推定部Ｘ１０８は、受信信号の減衰状況から降雨の有無などを検出してもよい。
　また、本実施の形態では、送信したセンシング信号の反射波をセンシングに用いる例について説明した。しかしながら、センシング信号を用いてセンシングを行うのは当該センシング信号を送信した装置に限定されない。例えば、装置Ｘ１００の受信装置Ｘ１０６は他の装置から送信されたセンシング信号を受信し、推定部Ｘ１０８は当該受信信号に基づいて他の装置がセンシング信号の届く範囲にあることの判定や、他の装置の方向の推定を行ってもよい。また、受信したセンシング信号の信号強度に基づいて、他の装置までの距離を推定してもよい。また、装置Ｘ１００の送信装置Ｘ１０１は、他の装置がセンシングに用いることができるようにセンシング信号を送信してもよい。このとき送信されるセンシング信号は、自装置で反射波を用いてセンシングするために送信するセンシング信号であってもよいし、他の装置におけるセンシング用に周期的にセンシング信号が送信されてもよい。また、装置Ｘ１００は、他の装置から送信されたセンシング信号を受信した場合に、送信装置Ｘ１０１を用いて当該受信信号を受信した方向にセンシング信号を送信してもよい。なお、他の装置に対して送信するセンシング信号は指向性の制御を行うことなく送信されていてもよい。
　また、図１４では、センシングを行う装置Ｘ１００は、物体＃１、物体＃２によって反射した信号を受信する例を示しているが、物体＃１、物体＃２から反射し、さらに他の物体、物質に反射することによって得た信号を、センシングを行う装置Ｘ１００は得て、物体の検出、物体との距離、位置などの推定を行ってもよい。
　次に、図１４とは異なる電波を用いたセンシング方法の例について説明する。
　図１５は、例えば、電波を用いてセンシングを行う装置Ｘ２００の構成の一例を示す図である。図１５において図示されている構成のうち、図１４で示した構成と同様の機能を有する構成については同じ符号番号を付与しており、それらの構成については詳細な説明を省略する。
　装置Ｘ２００は、センシング用の変調信号、および／または、通信用の変調信号を用いてセンシングを行う点で装置Ｘ１００と異なる。ここでの特長は、例えば、装置Ｘ２００が信号を送信し、通信相手である端末は、装置Ｘ２００が送信した信号の変化をとらえることで、物体（例えば、図１５の物体＃１）の位置、大きさ、物体（例えば、図１５の物体＃１）との距離などを推定するというところである。なお、装置Ｘ２００が通信用の変調信号を送信している場合は、端末とのデータ通信も可能となる。以下では、通信用の変調信号を用いてセンシングを行う場合について説明する。
　送信装置Ｘ２０１は、制御信号Ｘ１０９および送信データＸ２１０を入力として、誤り訂正符号化処理、変調処理、プリコーディング、多重化処理などを施して通信用の送信信号Ｘ２０２＿１からＸ２０２＿Ｍを生成する。装置Ｘ２００は、送信信号Ｘ２０２＿１からＸ２０２＿ＭのそれぞれをアンテナＸ１０３＿１からＸ１０３＿Ｍから送信する。
　送信信号および送信に用いるアンテナの数については、図１４に関する説明と同様であり、２以上の複数であってもよいし、１であってもよい。図１４に関する説明と比較すると、図１４に関する説明の送信信号がセンシング信号の成分を含んでいるのに対し、本説明の送信信号は送信データを変調した信号の成分を含んでいる点で異なるが、送信装置Ｘ２０１が送信信号を生成するための重みづけ合成処理で用いる係数により指向性制御を行うことができる点は同様である。また、装置Ｘ２００は、装置Ｘ１００と同様に、複数のアンテナを備えるアンテナユニットを一つだけ備えていてもよいし、複数のアンテナユニットを備えていてもよい。
　なお、指向性制御を行う場合、図１４の説明の送信装置Ｘ１０１は、センシングを行いたい方向へ送信の指向性制御を行うが、図１５の送信装置Ｘ２０１は、通信相手である端末との通信品質が向上するよう送信の指向性制御を行う。ただし、送信装置Ｘ２０１は、センシングを行いたい方向へ向けて送信信号の指向性制御を行ってもよいし、通信相手である端末が、装置Ｘ２００が送信した信号を用いて、センシングを行う上で望ましいセンシング結果が得られるように指向性制御を行ってもよい。端末におけるセンシングのために送信装置Ｘ２０１が指向性制御を行う場合、送信装置Ｘ２０１は端末から指定された係数を用いて信号の送信を行う。ここで送信される信号は、送信データを用いて変調された信号成分を含んでいてもよいし、送信データを用いて変調された信号成分を含んでいなくてもよい。送信データを用いて変調された信号成分を含まない信号は、例えば、プリアンブルやリファレンス信号などの端末側で既知の値で変調された信号である。また、送信装置Ｘ２０１は、送信データを用いて変調された信号成分を含む信号を送信する場合と、送信データを用いて変調された信号成分を含まない信号とで異なる指向性制御を行ってもよい。
　なお、端末は、装置Ｘ２００が送信した変調信号を受信することで、データを得ることになる（通信を行うことになる）とともに、センシングも実施することになる。
　また、端末が信号を送信し、通信相手である装置Ｘ２００は、端末が送信した信号の変化をとらえることで、物体（例えば、図１５の物体＃１）の位置、大きさ、物体（例えば、図１５の物体＃１）との距離、物体（例えば、図１５の物体＃１）の種類、材質などを推定してもよい。なお、端末が通信用の変調信号を送信している場合は、装置Ｘ２００とのデータ通信も可能となる。
　例えば、アンテナＸ１０４＿１からＸ１０４＿Ｎを用いて、端末が送信した変調信号を受信する。そして、受信装置Ｘ２０６は、制御信号Ｘ１０９および受信信号Ｘ２０５＿１からＸ２０５＿Ｎを入力として、復調処理および誤り訂正復号処理などを行って受信データを取得する。また、受信装置Ｘ２０６は、受信処理で得られた伝送路特性などを推定信号Ｘ２０７として出力する。
　Ｎ個の受信信号に対する重みづけ合成処理で用いる係数は、受信信号Ｘ１０５＿１からＸ１０５＿Ｎごとに設定することが可能であり、係数の値を変更することで受信の指向性制御を行うことができる。係数は予め推定されていてもよいし、受信信号Ｘ１０５＿１からＸ１０５＿Ｎを用いて、重みづけ合成後のセンシング信号成分の振幅または信号雑音比（ＣＮＲ）が他の係数を用いた場合よりも大きい、または所定の閾値を超える係数を推定してもよい。また、受信装置Ｘ２０６は、受信信号Ｘ１０５＿１からＸ１０５＿Ｎに対応するＮ個の係数の組を複数用いることで、各係数の組に対応する指向性の信号を同時に取得してもよい。
　推定部Ｘ２０８は、制御信号Ｘ１０９および推定信号Ｘ２０７を入力とし、推定信号Ｘ２０７を用いて推定処理を行う。推定部Ｘ２０８は、例えば、推定信号Ｘ２０７に含まれる伝送路特性に基づいて、周囲に物体が存在するか否かなどの周囲の環境の推定を行う。また、推定部Ｘ２０８は伝送路特性の時間的変化に基づいて物体の移動や物体の接近などを検出してもよい。推定部Ｘ２０８は、例えば、ＭＵＳＩＣ法などの到来方向推定法を用いて、受信信号の到来方向、すなわちセンシング信号を反射した物体の方向を推定してもよい。推定部Ｘ２０８は、例えば、ＭＵＳＩＣ法などの到来方向推定、アンテナ位置（例えば、送信装置と受信装置の位置）、送信指向性制御の方向の情報などを用いて、三角測量を行い、物体の位置を推定してもよい。推定部Ｘ２０８は、受信信号を用いて、物体の検出、物体の動き、物体の材質などを検出してもよい。
　推定部Ｘ２０８は、上記の推定処理を、例えば、上述した物体の存在の有無や物体の移動の有無などの検出したい事象に応じた信号処理を推定信号Ｘ２０７に対して施すことで実施する。このとき、推定処理は、例えば、信号処理によって抽出された特徴量が所定の閾値を超えているか否かの判定結果に基づいて行われる。また、推定処理は、上記で例示した以外の信号処理に基づいて行われてもよい。例えば、推定処理は、多層構造のニューラルネットワークを用いて機械学習により作成されたモデルで行われてもよい。推定処理に多層構造のニューラルネットワークを用いて機械学習により作成されたモデルを利用する場合、推定部Ｘ２０８は、推定信号Ｘ２０７に対して所定の前処理を行ったうえで、前処理後のデータを多層構造のニューラルネットワークを用いて機械学習により作成されたモデルに入力してもよい。また、推定部Ｘ２０８は、通信に用いている周波数帯域または周波数帯域内のチャネル番号などの情報を用いてもよい。また、推定部Ｘ２０８は、受信した通信用の信号を送信した通信装置のアドレスや、当該信号の宛先である通信装置のアドレスを用いてもよい。このように、周波数帯域や通信装置のアドレスなどの受信した通信用の信号に関する情報を用いることで、信号を送信した通信装置の位置や信号送信時に用いた指向性などの条件が同じ、または類似している通信用の信号間の比較を行うことができ、推定精度が向上する可能性がある。
　上述の説明では、通信相手が送信した通信用の信号を用いてセンシングを行う場合について説明した。図１５では、装置Ｘ２００が、送信処理を実施するための構成である送信装置Ｘ２０１とアンテナＸ１０３＿１からＸ１０３＿Ｍと、受信処理を実施するための構成である受信装置Ｘ２０６およびアンテナＸ１０４＿１からＸ１０４＿Ｎとが異なる構成として示されているが、装置Ｘ２００の構成はこれに限定されない。例えば、送信装置Ｘ２０１と受信装置Ｘ２０６は一つの構成要素として実現されていてもよいし、複数のアンテナを送信と受信で共通に用いてもよい。また、図１４の説明と同様に、装置Ｘ２００における送信用の複数のアンテナは複数のアンテナユニットで構成されていてもよいし、受信用の複数のアンテナは複数のアンテナユニットで構成されていてもよい。また、装置Ｘ２００における送信用の複数のアンテナ及び受信用の複数のアンテナは共通の送受信アンテナ部で構成されていてもよい。
　また、通信用の信号のかわりにセンシング用の信号を用いてもよい。つまり、第１の装置は、他の装置が送信したセンシング用の信号を用いて、物体（例えば、図１５の物体＃１）の位置、大きさ、物体（例えば、図１５の物体＃１）との距離、物体（例えば、図１５の物体＃１）の種類、材質などを推定してもよい。
　そして、通信用の信号を用いたセンシング方法は、図１４を用いて説明した他の装置に対してセンシング信号を送信する例と同様の目的で利用することもできる。すなわち、装置Ｘ２００は、端末などの他の装置から送信された通信用の信号を、当該信号の伝送路特性などから周囲の環境をセンシングするためではなく、他の装置が通信用の信号の届く範囲にあることの判定や、他の装置の方向の推定に用いてもよい。
　なお、装置Ｘ２００は、通信相手である例えば端末が送信した通信用の変調信号を受信した際、センシングの動作を行わず、復調動作のみ行うとしてもよい。
　次に、通信およびセンシングを行う装置について説明する。
　図１６は、通信およびセンシングを行う装置の構成の一例を示す図である。図１６において図示されている構成のうち、図１４および図１５で示した構成と同様の機能を有する構成については同じ符号番号を付与しており、それらの構成については詳細な説明を省略する。
　装置Ｘ３００は、センシング用の変調信号を用いたセンシングと、通信用の変調信号を用いてセンシングの両方を行う。すなわち、装置Ｘ３００の送信装置Ｘ３０１は、送信装置Ｘ１０１と同様にセンシング用の信号を送信する機能と、送信装置Ｘ２０１と同様に通信用の信号を他の通信装置に送信する機能とを備える。また、装置Ｘ３００の受信装置Ｘ３０６は、受信装置Ｘ１０６と同様にセンシング用の信号を受信する機能と、受信装置Ｘ２０６と同様に他の通信装置が送信した通信用の信号を受信する機能とを備える。また、推定部Ｘ３０８は、推定部Ｘ１０８と同様にセンシング用の信号を用いた推定処理と、推定部Ｘ２０８と同様に通信用の信号を用いた推定処理の両方を実施する。
　装置Ｘ３００の各構成要素が実施する処理は、センシング用信号を送信・受信する場合は図１４の装置Ｘ１００と同様であり、通信用信号の送信・受信を行う場合は図１５の装置Ｘ２００と同様であるため、説明を省略する。
　図１６では、装置Ｘ３００が、送信処理を実施するための構成である送信装置Ｘ３０１とアンテナＸ１０３＿１からＸ１０３＿Ｍと、受信処理を実施するための構成である受信装置Ｘ３０６およびアンテナＸ１０４＿１からＸ１０４＿Ｎとが異なる構成として示されているが、装置Ｘ３００の構成はこれに限定されない。例えば、送信装置Ｘ３０１と受信装置Ｘ３０６は一つの構成要素として実現されていてもよいし、一つ以上、または、複数のアンテナを送信と受信で共通に用いてもよい。
　また、装置Ｘ３００は、通信用の送信装置とは別にセンシング用の送信装置を備えていてもよい。このとき、通信用の送信装置とセンシングの送信装置は同じ一つ以上、または、複数のアンテナを切り替えて用いてもよいし、通信用、センシング用の異なる、一つ以上、または、複数のアンテナを備えていてもよい。なお、通信用およびセンシング用信号送信装置Ｘ３０１は、制御信号Ｘ３０９に含まれるモードの情報に基づき、センシング用の信号の送信と通信用の変調信号の送信を切り替えて、アンテナから送信してもよい、つまり、センシング用の信号を送信するモードと通信用の変調信号を送信するモードが存在していてもよい。また、通信用およびセンシング用送信装置Ｘ３０１は、センシング用の信号と通信用の変調信号をあわせた信号を送信してもよい。
　また、装置Ｘ３００は、通信用の受信装置とは別にセンシング用の受信装置を備えていてもよい。このとき、通信用の受信装置とセンシングの受信装置は同じ、一つ以上、または、複数のアンテナを切り替えて用いてもよいし、通信用、センシング用に異なる、一つ以上、または、複数のアンテナを備えていてもよい。また、装置Ｘ３００は、通信用の送信装置、センシング用の送信装置、通信用の受信装置、センシングの受信装置をそれぞれ別に備えていてもよい。また、装置Ｘ３００は、通信用の送受信装置、センシング用の送受信装置を備えていてもよい。また、装置Ｘ３００は、通信用の送受信装置、センシング用の送信装置、センシング用の受信装置を備えていてもよい。
　また、本実施の形態においても図１４の説明および図１５の説明と同様に、送信用の一つ以上、または、複数のアンテナは、一つ以上、または、複数のアンテナユニットで構成されていてもよいし、受信用の一つ以上、または、複数のアンテナは、一つ以上、または、複数のアンテナユニットで構成されていてもよい。また、送信用の一つ以上、または、複数のアンテナ及び受信用の一つ以上、または、複数のアンテナは共通の送受信アンテナ部で構成されていてもよい。
　以上のような装置の構成を用いることで、特に、以降で説明する実施の形態を実施することが可能となり、これにより、各実施の形態で記載した効果を得ることができるようになる。したがって、以降では、実施方法のより具体的な例について説明する。
　（実施の形態４）
　本実施の形態では、無線通信機能を有するアクセスポイント（ＡＰ）や端末がセンシングを行う場合のセンシング方法の一例について説明する。
　図１７は、本実施の形態におけるシステム構成の一例を示す図である。図１７において、Ｚ１００はアクセスポイント（ＡＰ）であり、Ｚ１０１＿１、Ｚ１０１＿２、Ｚ１０１＿３はそれぞれＡＰと無線通信を行う端末である。なお、図１７では、各端末がＡＰとの間で通信を行う場合を図示しているが、各端末は端末間で通信を行う機能を備えていてもよい。
　図１８は、ＡＰＺ１００および端末Ｚ１０１＿１、Ｚ１０１＿２、Ｚ１０１＿３が備える通信、および、センシング可能な装置の構成の一例を示す図である。図１８の装置は、実施の形態３で説明した図１６の装置Ｘ３００と同様に通信用に用いることができる一または複数の周波数帯域およびそれぞれの周波数帯域における一または複数のチャネルを用いて、センシングを行う。
　図１８の装置は、送受信部Ｚ２０１、センシング部Ｚ２０２、送受信アンテナ部Ｚ２０３、送信用信号選択部Ｚ２０４、受信用信号選択部Ｚ２０５、および制御部Ｚ２０６を備える。
　送受信部Ｚ２０１は、通信用の信号の送受信を行う。送受信部が行う通信用の信号の送受信処理は、実施の形態３で説明した送信装置Ｘ２０１が行う送信処理および受信装置Ｘ２０６が行う受信処理と同様である。
　センシング部Ｚ２０２は、受信信号に基づいてセンシングを行う。センシング部Ｚ２０２は、実施の形態３で説明したセンシング用の信号を送信し、受信した反射信号を用いてセンシングを行うセンシング方法を実施してもよいし、実施の形態３で説明した端末やＡＰなどの他の通信装置から受信した通信用の信号を用いてセンシングを行うセンシング方法を実施してもよい。また、センシング部Ｚ２０２はセンシング信号を送信するセンシング方法と受信した通信用の信号を用いるセンシング方法の両方を実施してもよい。センシング信号を送信するセンシング方法を実施する場合、センシング部Ｚ２０２は、実施の形態１における送信装置Ｘ１０１と同様の処理を行って、センシング用の信号を生成して出力する。一方、センシング部Ｚ２０２がセンシング信号を送信するセンシング方法は実施せず、通信用の信号を用いるセンシング方法のみを実施する場合、センシング部Ｚ２０２は信号を送信しなくてもよい。
　送受信アンテナ部Ｚ２０３は信号の送受信を行う。送信用信号選択部Ｚ２０４は、送受信部Ｚ２０１およびセンシング部Ｚ２０２で生成された信号を送受信アンテナ部Ｚ２０３から送信する。受信用信号選択部Ｚ２０５は、送受信アンテナ部Ｚ２０３で受信された信号を送受信部Ｚ２０１及びセンシング部Ｚ２０２に入力する。制御部Ｚ２０６は、送受信部Ｚ２０１、センシング部Ｚ２０２、送信用信号選択部Ｚ２０４、受信用信号選択部Ｚ２０５の動作を制御するための制御信号を生成し、通信を行う周波数および期間と、センシングを行う周波数および期間の制御などを行う。なお、送信用信号選択部Ｚ２０４は、センシング用の信号と通信用の信号を組み合わせてフレームにしたがった信号を生成し、出力することもある。また、受信用信号選択部Ｚ２０５は、受信信号から、通信用の信号、センシング用の信号を生成し、両者を出力することもある。
　図１９から図３７は、本実施の形態における装置が送受信するフレームの構成の例である。図１９から図３７において、横軸は時間であり、図１９、図２０、および図２２から図３７において縦軸は周波数である。縦軸の周波数は、例えば、ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）信号のサブキャリアなど、一つの周波数帯域における一つのチャネル内の周波数であってもよいし、一または複数の周波数帯域内の複数のチャネルであってもよい。また、縦軸の周波数は複数のチャネルにまたがるＯＦＤＭ信号の複数のサブキャリアであってもよい。したがって、シングルキャリア伝送方式であってもよいし、ＯＦＤＭなどのマルチキャリア伝送方式であってもよい。また、センシングのためのフレーム、センシングのための信号の場合、例えば、帯域制限されたパルス信号であってもよいし、トーン信号、キャリアであってもよい。したがって、図１９から図３７のフレームを通信、および／または、センシングのために使用する場合、図１９のフレームは、シングルキャリア伝送方式の信号、マルチキャリア伝送方式信号でなくてもよい。
　図１９から図３７に示しているリファレンスシンボルは、本実施の形態における装置がセンシングを実施するためのシンボルである。なお、リファレンスシンボルは、「通信相手が信号検出、時間同期、周波数同期、チャネル推定などを行う」ための機能を有していてもよい。また、リファレンスシンボルは、データ通信を行うための手続きに必要な制御情報、ＭＡＣ（Media Access Control）フレームであってもよい。
　制御情報シンボルは、例えば、データシンボルにおける通信方法を通知するためのシンボルであるものとする。したがって、制御情報シンボルは、例えば、誤り訂正符号化方法（符号化率、ブロック長（符号長）、誤り訂正符号の情報など）の情報、変調方式の情報、送信方法の情報（例えば、シングルストリーム伝送、または、複数ストリーム伝送、いずれを用いているかの情報）（ＭＣＳ（Modulation and Coding Scheme）の情報）、データ長、などの情報を含んでいる。
　データシンボルは、通信相手にデータを伝送するためのシンボルである。
　ガード区間は、リファレンス信号の直後に配置し、センシングを補助するための区間である。ガード区間は、例えば、当該ガード区間の前後に配置される信号又はシンボル同士の干渉を回避するため、または、ガード区間前のシンボルとガード区間後のシンボルの送信指向性、受信指向性の変更を行うために設けられる。例えば、ガード区間は、信号が存在していなくてもよい。なお、ガード区間はフレームに対し、設置しなくてもよい。センシング部Ｚ２０２は、ガード区間において、例えば、自通信装置または他の通信装置がセンシング用の信号または通信用の信号を送信していない状態における信号の受信状態を取得するためなどに用いられる。
　なお、図１９から図３７に示したフレーム構成はあくまでも一例であり、フレーム構成はこれらに限られない。例えば、フレーム内に他のシンボルが含まれていてもよい。また、フレームを送信する際、シングルキャリア伝送方式を用いてもよいし、ＯＦＤＭなどのマルチキャリア伝送方式を用いてもよい。
　リファレンスシンボルにおいて、データを伝送する領域を含んでいてもよい。そのデータを伝送する領域において、送信信号が「通信用の信号を送信しているか」、または、「物体検出のための信号を送信しているか」を識別するためのデータを含んでいてもよい。
　また、リファレンスシンボルと名づけているが、呼び方はこれに限ったものではなく、リファレンスシンボルを、パイロットシンボル、トレーニングシンボル、トレーニングフィールド、プリアンブル、制御情報シンボル、ミッドアンブル、などと呼んでもよい。例えば、パイロットシンボル、トレーニングシンボル、トレーニングフィールド、プリアンブル、制御情報シンボル、ミッドアンブル、などを用いて、センシングを実施してもよい。
　図１９は、本実施の形態の装置が、通信を行っているときのフレーム構成である。
　図１９に示されるフレームは、プリアンブルと、制御情報シンボルと、データシンボルとを含んでいる。
　図２０は、本実施の形態の装置が、センシングを行っているときのフレーム構成である。
　図２０の左の図は、センシングのために、リファレンスシンボルを送信しているフレーム構成である。図２０の左の図に示されるフレームは、リファレンスシンボルを含んでいる。
　図２０の右の図は、センシングのためのリファレンスシンボルに対し、プリアンブル、制御情報シンボルを付加している。図２０の右の図に示されるフレームは、プリアンブルと、制御情報シンボルと、リファレンス信号とを含んでいる。
　図２０の右のフレームを受信した装置は、例えば、通信機能のみしか具備していない装置であっても、プリアンブル、制御情報シンボルを受信することで、センシングの信号が存在していることを知ることができ、これにより、この装置が、干渉しないように、変調信号の送信タイミングを制御することができるという効果を得ることができる。そのときの信号の存在例が、図２１のようになる。
　図２１に示すように、ある周波数帯では、通信用の変調信号とセンシング用の変調信号が存在するようにすることが可能である。
　なお、本実施の形態の装置は、図１９のフレームの送受信が可能なように、通信機能のみを具備した装置であってもよい。
　また、本実施の形態の装置は、図２０のフレームの送受信が可能なように、センシングの機能のみを具備した装置であってもよい。
　本実施の形態の装置は、図２２から図３７のフレームの送受信が可能なように、通信とセンシングを並行して処理する装置であってもよい。図２２から図３７のフレームについて以降で説明する。なお、図２２から図３７は、センシングを可能とするフレームの例であり、センシングにあわせて通信を可能とする場合もある。また、図２２から図３７のフレームにおいて、ガード区間が存在するフレームがあるが、ガード区間が存在しないようにしても実施することは可能である。なお、図２２から図３７のフレームを考える上で、図１７の状態を考える。ただし、ＡＰを中継器として考えることができるものとする。図２２に示されるフレームは、プリアンブルと、制御情報シンボルと、データシンボルと、ミッドアンブルと、データシンボルとを含んでいる。このとき、ミッドアンブルは、データシンボルの復調のためのシンボルである、および／または、センシングのためのシンボルである、ものとする。この点については、他の図面でも同様である。また、プリアンブルは、通信を実現するために配置されたものであるが、プリアンブル、および／または、制御情報シンボルをセンシングのために装置が用いてもよい。この点については、他の図面でも同様である。
　図２３に示されるフレームは、プリアンブルと、制御情報シンボルと、データシンボルと、ミッドアンブルと、データシンボルとを含んでいる。また、ミッドアンブルとデータシンボルとの間には、ガード区間が設けられている。なお、ガード区間前のシンボルとガード区間後のシンボルでは、送信指向性が異なっていてもよい。この点については、他の図面でも同様である。また、ミッドアンブルの前にガード区間を設置してもよい。さらに、ガード区間が存在しないようなフレームであってもよい。この点については、他の図面でも同様である。
　図２４に示されるフレームは、プリアンブルと、制御情報シンボルと、データシンボルと、リファレンス信号とを含んでいる。データシンボルは、互いに異なる２つの周波数帯Ｆ８１及びＦ８３に配置されている。リファレンス信号は、データシンボルが配置されている周波数帯とは異なる周波数帯Ｆ８２に配置されている。また、リファレンス信号は、周波数帯Ｆ８２において時間間隔をあけて３つ配置されている。リファレンス信号の間には、ガード区間が設けられている。つまり、３つのリファレンス信号は、ガード区間を挟んで配置されている。なお、リファレンス信号は、センシングのために用いられるものとする。なお、この点については、他の図面においても同様である。また、ガード区間前のリファレンス信号とガード区間後のリファレンス信号の送信指向性が異なっていてもよい。なお、この点については、他の図面においても同様である。
　そして、２以上の周波数帯、または、２以上のチャネルにデータシンボル又はリファレンス信号が配置される場合、ＯＦＤＭＡ（Orthogonal Frequency Division Multiple Access）方式による多重アクセスが採用され得る。この場合、データシンボル又はリファレンスは、時間方向及び周波数方向それぞれにおいて指定された範囲に配置される。ここでは、上記範囲を、時間及び周波数により規定されるリソースである時間周波数リソースともいう。また、通信データを含むシンボルが配置される時間周波数リソースを通信用リソースともいい、電波によるセンシングのためのシンボルが配置される時間周波数リソースをセンシング用リソースともいう。以降も同様とする。
　図２５に示されるフレームは、プリアンブルと、制御情報シンボルと、データシンボルと、リファレンス信号とを含んでいる。データシンボルは、互いに異なる５つの周波数帯Ｆ９１～Ｆ９５に配置されている。リファレンス信号は、周波数帯Ｆ９２及びＦ９４に配置されている。周波数帯Ｆ９２及びＦ９４では、リファレンス信号とデータシンボルとの間にガード区間が設けられている。周波数帯Ｆ９２、Ｆ９４のように、一部の周波数リソースにおいて、データシンボルとリファレンス信号が混在していてもよい。このようにすることで、周波数利用効率が向上するという効果を得ることができる。なお、ガード区間前後のリファレンス信号とデータシンボルの送信指向性は異なっていてもよい。この点については、他の図面においても同様である。
　図２６に示されるフレームは、プリアンブルと、制御情報シンボルと、データシンボルと、リファレンス信号とを含んでいる。データシンボルは、周波数帯Ｆ１０１及びＦ１０３～Ｆ１０５に配置されている。リファレンス信号は、周波数帯Ｆ１０２において、ガード区間を挟んで３つ配置されている。また、周波数帯Ｆ１０１からＦ１０５に亘ってリファレンス信号が配置されている。そのリファレンス信号のあと、周波数帯Ｆ１０１～Ｆ１０３及びＦ１０５にデータシンボルが配置されており、周波数帯Ｆ１０４には、リファレンス信号が、ガード区間を挟んで２つ配置されている。ひとつの特徴的な点は、広帯域のリファレンス信号と狭帯域のリファレンス信号が存在している点である。これにより、高精度なセンシングができる可能性が高くなる。
　図２７に示されるフレームは、プリアンブルと、制御情報シンボルと、ユーザ宛のデータシンボルとを含む。ユーザ宛のデータシンボルは、ユーザ＃１、＃２、＃３及び＃４を宛先とするデータシンボルを含み、それぞれ、周波数帯Ｆ１１１、Ｆ１１２、Ｆ１１３及びＦ１１４に配置されている。このフレーム構成は、ＯＦＤＭＡのフレーム例と考えることができる。例えば、ＡＰ、中継器などが送信するフレームと考えることができる。
　図２８に示されるフレームは、プリアンブルと、制御情報シンボルと、ユーザ宛のデータシンボルと、ミッドアンブルとを含む。ユーザ宛のデータシンボルは、ユーザ＃１、＃２、＃３及び＃４を宛先とするデータシンボルを含み、それぞれ、周波数帯Ｆ１２１、Ｆ１２２、Ｆ１２３及びＦ１２４に配置されている。また、ユーザ宛のデータシンボルは、ミッドアンブルを挟んで配置されている。このフレーム構成は、ＯＦＤＭＡのフレーム例と考えることができる。例えば、ＡＰ、中継器などが送信するフレームと考えることができる。
　図２９に示されるフレームは、プリアンブルと、制御情報シンボルと、ユーザ宛のデータシンボルと、ミッドアンブルとを含む。ユーザ宛のデータシンボルは、ユーザ＃１、＃２、＃３及び＃４を宛先とするデータシンボルを含み、それぞれ、周波数帯Ｆ１３１、Ｆ１３２、Ｆ１３３及びＦ１３４に配置されている。ユーザ宛のデータシンボルは、ミッドアンブルを挟んで配置されている。ミッドアンブルと、ユーザ宛のデータシンボルとの間には、ガード区間が設けられている。なお、ミッドアンブルの前にガード区間を設置してもよい。このフレーム構成は、ＯＦＤＭＡのフレーム例と考えることができる。例えば、ＡＰ、中継器などが送信するフレームと考えることができる。
　図３０に示されるフレームは、プリアンブルと、制御情報シンボルと、ユーザ宛のデータシンボルと、リファレンス信号とを含む。ユーザ宛のデータシンボルは、ユーザ＃１、＃３及び＃４を宛先とするデータシンボルを含み、それぞれ、周波数帯Ｆ１４１、Ｆ１４３及びＦ１４４に配置されている。周波数帯Ｆ１４２には、３つのリファレンス信号が、ガード区間を挟んで配置されている。ＯＦＤＭＡを用いる場合、ユーザ宛のデータシンボルに用いられない周波数帯（例えば図３０における周波数帯Ｆ１４２）があることがあり、その場合に、ユーザ宛のデータシンボルに用いられない周波数帯にリファレンス信号を配置したものである。なお、周波数帯Ｆ１４２は、あるユーザ宛のデータシンボルを伝送するために使用することもできる。なお、例えば、ＡＰ、中継器などが送信するフレームと考えることができる。図３１に示されるフレームは、プリアンブルと、制御情報シンボルと、ユーザ宛のデータシンボルと、リファレンス信号とを含む。ユーザ宛のデータシンボルは、ユーザ＃１、＃２、＃３及び＃４を宛先とするデータシンボルを含み、それぞれ、周波数帯Ｆ１５１、Ｆ１５２、Ｆ１５３及びＦ１５４に配置されている。また、周波数帯Ｆ１５１では、ユーザ＃１宛のデータシンボルのあとに、２つのリファレンス信号がガード区間を挟んで配置されている。周波数帯Ｆ１５２では、ユーザ＃２宛のデータシンボルのあとに、リファレンス信号が配置され、そのリファレンス信号のあとにガード区間が設けられている。
　ＯＦＤＭＡを用いる場合、ユーザ宛のデータシンボルの時間長がユーザごとに異なることがあり、その場合に、ユーザ宛のデータシンボルに用いられない周波数帯及び時間帯にリファレンス信号を配置したものである。例えば、ユーザ＃４宛データシンボルの時間長に比べ、ユーザ＃１宛のデータシンボルの時間長は短く、ユーザ＃１宛データシンボル後の時間を利用して、リファレンスシンボルを送信することができる。なお、例えば、ＡＰ、中継器などが送信するフレームと考えることができる。図３２に示されるフレームは、プリアンブルと、制御情報シンボルと、ユーザ宛のデータシンボルと、リファレンス信号とを含む。ユーザ宛のデータシンボルは、ユーザ＃１、＃３及び＃４を宛先とするデータシンボルを含み、それぞれ、周波数帯Ｆ１６１、Ｆ１６３及びＦ１６４に配置されている。また、リファレンス信号が周波数帯Ｆ１６１～Ｆ１６４に亘って配置され、そのリファレンス信号のあとにガード区間が設けられている。周波数帯Ｆ１６２では、リファレンス信号の間にガード区間が設けられている。例えば、ＡＰ、中継器などが送信するフレームと考えることができる。
　図３３に示されるフレームは、プリアンブルと、制御情報シンボルと、ユーザ宛のデータシンボルと、リファレンス信号とを含む。ユーザ宛のデータシンボルは、ユーザ＃１、＃２、＃３及び＃４を宛先とするデータシンボルを含み、それぞれ、周波数帯Ｆ１７１、Ｆ１７２、Ｆ１７３及びＦ１７４に配置されている。また、リファレンス信号が周波数帯Ｆ１７１～Ｆ１７４に亘って配置され、そのリファレンス信号のあとにガード区間が設けられている。周波数帯Ｆ１７１では、ガード区間のあとに、ユーザ＃１宛てのリファレンス信号が配置され、その後にガード区間が設けられている。周波数帯Ｆ１７２では、ガード区間のあとに、ユーザ＃２宛てのリファレンス信号が配置され、その後にガード区間が設けられている。周波数帯Ｆ１７１とＦ１７２とにおいて、ユーザ宛のデータシンボル、リファレンス信号及びガード区間の時間長は互いに異なる。例えば、ＡＰ、中継器などが送信するフレームと考えることができる。
　図３４に示されるフレームは、端末が送信するフレーム構成例、例えば、ユーザ＃１が保有する端末が送信するフレームの構成例であり、プリアンブルと、制御情報シンボルと、（ユーザ＃１が保有する端末が送信する）データシンボルとを含む。（ユーザ＃１が保有する端末が送信する）データシンボルは、周波数帯Ｆ１８１に配置されている。周波数帯Ｆ１８２は、ユーザ＃１が保有する端末には割り当てられていない。ただし、周波数帯Ｆ１８２は、他のユーザが保有する端末（ユーザ＃１以外の端末）が、データシンボル、リファレンス信号を送信するのに使用することができる。
　図３５に示されるフレームは、端末が送信するフレーム構成例、例えば、ユーザ＃１が保有する端末が送信するフレームの構成例であり、プリアンブルと、制御情報シンボルと、（ユーザ＃１が保有する端末が送信する）データシンボルと、リファレンス信号とを含む。（ユーザ＃１が保有する端末が送信する）データシンボルは、周波数帯Ｆ１９１に配置されている。周波数帯Ｆ１９２は、ユーザ＃１が保有する端末には割り当てられていない。また、（ユーザ＃１が保有する端末が送信するデータシンボルの後にはリファレンス信号及びガード区間が設けられている。また、次の（ユーザ＃１が保有する端末が送信するデータシンボルの後にも、リファレンス信号及びガード区間が設けられている。ただし、周波数帯Ｆ１９２は、他のユーザが保有する端末（ユーザ＃１以外の端末）が、データシンボル、リファレンス信号を送信するのに使用することができる。
　図３６に示されるフレームは、端末が送信するフレーム構成例、例えば、ユーザ＃１が保有する端末が送信するフレームの構成例であり、プリアンブルと、制御情報シンボルと、（ユーザ＃１が保有する端末が送信する）データシンボルと、リファレンス信号とを含む。（ユーザ＃１が保有する端末が送信する）データシンボルは、周波数帯Ｆ２０１及びＦ２０２に配置されている。周波数帯Ｆ２０３は、ユーザ＃１が保有する端末には割り当てられていない。また、周波数帯Ｆ２０１では、図３５の周波数帯Ｆ１９１と同様、（ユーザ＃１が保有する端末が送信する）データシンボルの後にリファレンス信号及びガード区間が設けられ、次の（ユーザ＃１が保有する端末が送信する）データシンボルの後にもリファレンス信号及びガード区間が設けられている。周波数帯Ｆ２０２では、図３４の周波数帯Ｆ１８１と同様、（ユーザ＃１が保有する端末が送信する）データシンボルが配置されており、リファレンス信号及びガード区間は設けられていない。ただし、周波数帯Ｆ２０３は、他のユーザが保有する端末（ユーザ＃１以外の端末）が、データシンボル、リファレンス信号を送信するのに使用することができる。
　図３７に示されるフレームは、端末が送信するフレーム構成例、例えば、ユーザ＃１が保有する端末が送信するフレームの構成例であり、プリアンブルと、制御情報シンボルと、（ユーザ＃１が保有する端末が送信する）データシンボルと、リファレンス信号とを含む。（ユーザ＃１が保有する端末が送信する）データシンボルは、周波数帯Ｆ２１１及びＦ２１２に配置されている。周波数帯Ｆ２１３は、ユーザ＃１が保有する端末には割り当てられていない。また、周波数帯Ｆ２１１では、図３５の周波数帯Ｆ１９１と同様、（ユーザ＃１が保有する端末が送信する）データシンボルの後にリファレンス信号及びガード区間が設けられ、次の（ユーザ＃１が保有する端末が送信する）データシンボルの後にもリファレンス信号及びガード区間が設けられている。周波数帯Ｆ２１２では、（ユーザ＃１が保有する端末が送信する）のデータシンボルとリファレンス信号とが配置されている。ただし、周波数帯Ｆ２１３は、他のユーザが保有する端末（ユーザ＃１以外の端末）が、データシンボル、リファレンス信号を送信するのに使用することができる。ひとつの特徴的な点は、広帯域のリファレンス信号と狭帯域のリファレンス信号が存在している点である。これにより、高精度なセンシングができる可能性が高くなる。
　本実施の形態の装置は、図１９のフレーム、又は図２０のフレームの送受信の処理が可能な装置であってもよい。
　本実施の形態の装置は、図１９のフレーム、図２２から図３７のフレームの送受信の処理が可能な装置であってもよい。
　本実施の形態の装置は、図２０のフレーム、図２２から図３７のフレームの送受信の処理が可能な装置であってもよい。
　本実施の形態の装置は、図１９のフレーム、図２０のフレーム、図２２から図３７のフレームの送受信の処理が可能な装置であってもよい。
　なお、本実施の形態の装置が、例えば、図１９から図３７のフレームを送信する場合、本実施の形態の装置が、一つのアンテナから、図１９から図３７のフレームを送信してもよいし、また、本実施の形態の装置が、複数のアンテナから、図１９から図３７のフレームを送信してもよい。
　また、本実施の形態の装置が、例えば、図１９から図３７のフレームの変調信号を受信する場合、本実施の形態の装置が、一つのアンテナで、図１９から図３７のフレームの信号を受信してもよいし、また、本実施の形態の装置が、複数のアンテナで、図１９から図３７のフレームの信号を受信してもよい。したがって、伝送方式として、ＳＩＳＯ（Single-Input Single-Output）、ＭＩＳＯ（Multiple-Input Single-Output）、ＳＩＭＯ（Single-Input Multiple-Output）、ＭＩＭＯ（Multiple-Input Multiple-Output）のいずれの方式であってもよい。
　以上のようにすることで、ＡＰ（または、中継器）、端末は、センシングおよび通信を実施することができるという効果を得ることができる。
　以上のように、送信装置は、ＯＦＤＭＡ方式に準拠したフレームであって、時間及び周波数により規定されるリソースである時間周波数リソースを複数含むフレームを構成するフレーム構成部と、フレーム構成部が構成したフレームを電波により送信する送信部とを備え、フレーム構成部は、通信データを含むシンボルが配置される時間周波数リソースである通信用リソースと、送信部が送信する電波によるセンシングのためのシンボルが配置される時間周波数リソースであるセンシング用リソースとを含むフレームを、上記フレームとして構成する。
　例えば、上記フレームは、２つのセンシング用リソースであって、上記２つのセンシング用リソースの時間が異なり、周波数が同じであり、ガード区間を挟んで時間方向に隣接して配置される２つのセンシング用リソースを少なくとも含んでいてもよい。例えば、図３０の周波数帯Ｆ１４２にあるリファレンス信号が、上記２つのセンシング用リソースに相当する。
　例えば、上記フレームは、２つのガード区間であって、上記２つのガード区間の時間長が異なり、周波数が異なる２つのガード区間を含んでいてもよい。例えば、図３３の周波数帯Ｆ１７１のガード区間と、周波数帯Ｆ１７２のガード区間が、上記２つのガード区間に相当する。
　例えば、上記フレームは、２つのセンシング用リソースであって、上記２つのセンシング用リソースの周波数が異なり、時間長が異なる２つのセンシング用リソースを少なくとも含んでいてもよい。例えば、図３３の周波数帯Ｆ１７１のリファレンス信号と、周波数帯Ｆ１７２のリファレンス信号が、上記２つのセンシング用リソースに相当する。
　さらに、上記センシング処理は、受信部が受信した反射波を解析することで、物体の位置を検出する処理、物体の有無を検出する処理、又は、物体の外形を検出する処理を少なくとも含んでもよい。
　（実施の形態５）
　本実施の形態では、実施の形態１～４で説明した検出装置等を用いて機器の動作を制御する制御システムについて説明する。
　本実施の形態における検出装置は、さらに、処理部によるセンシング処理の結果に基づいて電気機器の駆動を制御する制御部を備える。そして、本実施の形態の制御システムは、検出装置と上記電気機器とを備える。
　図３８は、本実施の形態における制御システムの構成の一例を示す図である。
　図３８に示される制御システムは、機器Ａ１１と、検出装置Ａ１２とを備える。ここで、機器Ａ１１は、機器Ａ１１の装置からの制御の下で動作し得る電気機器であり、例えば、電動バイク、電動キックボード、掃除機、電気自動車などである。また、機器Ａ１１は、スマートフォン又はタブレットなどの情報処理装置である。
　機器Ａ１１は、インタフェース＃１及び＃２と、制御部Ａ１１１と、駆動部Ａ１１２と、センサＡ１１３と、通信部Ａ１１４とを備える。
　インタフェース＃１及び＃２は、検出装置Ａ１２との通信のインタフェース装置である。インタフェース＃１及び＃２は、図３８の例では、中継装置などの他の装置を介さずにで通信を行うインタフェースである。なお、ここでの通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、光通信などのような無線通信であってもよいし、例えば、ＵＳＢ（Universal Serial Bus）、ＰＬＣ（Power Line Communication）などの有線通信であってもよい。また、図３８の例とは異なり、中継器などの他の装置を介してもよい。インタフェース＃１は、検出装置Ａ１２のインタフェース＃３から信号（第１の信号ともいう）を受信する。インタフェース＃２は、検出装置Ａ１２のインタフェース＃４に信号（第２の信号ともいう）を送信する。なお、インタフェース＃１は、検出装置Ａ１２から電力の供給を受けてもよい。
　制御部Ａ１１１は、駆動部Ａ１１２の駆動の制御、及び、センサＡ１１３の制御をする処理部である。制御部Ａ１１１は、検出装置Ａ１２からの信号をインタフェース＃１を介して受信し、受信した信号に基づいて駆動部Ａ１１２の駆動の制御、及び、センサＡ１１３の制御をする。また、制御部Ａ１１１は、駆動部Ａ１１２及びセンサＡ１１３の状態などを示す情報を取得し、インタフェース＃２を介して検出装置Ａ１２に送信する。なお、制御部Ａ１１１は、通信部Ａ１１４を介して、制御部Ａ１１１を動作させるためのソフトウェアプログラムを取得してもよい。
　駆動部Ａ１１２は、機器Ａ１１を駆動させる処理部である。駆動部Ａ１１２は、例えば、機器Ａ１１を移動させるための車輪、車輪の向きを制御する操舵装置、車輪の回転速度を制御する加速装置又は制動装置などを含む。駆動部Ａ１１２は、車輪の駆動のための動力源である電池などをさらに備えてもよい。駆動部Ａ１１２は、制御部Ａ１１１による制御により動作することによって、機器Ａ１１の移動速度を加速又は減速させ、また、移動方向を変更する。また、駆動部Ａ１１２は、駆動部Ａ１１２の状態などを示す情報を制御部Ａ１１１に出力する。
　センサＡ１１３は、機器Ａ１１の周囲のセンシングを行うセンサである。センサＡ１１３は、例えば、温度、湿度若しくは照度などを計測するセンサ、又は、周囲の物体までの距離を測定する距離センサである。センサＡ１１３は、制御部Ａ１１１による制御により動作し、また、センサ値などを制御部Ａ１１１に出力する。
　通信部Ａ１１４は、ＡＰ（アクセスポイント）との間で無線通信をする通信インタフェースである。ただし、ＡＰと記載しているが、基地局、通信装置などであってもよい。
　検出装置Ａ１２は、インタフェース＃３及び＃４と、制御部Ａ１２１と、処理部Ａ１２２と、イメージセンサＡ１２３と、アプリケーション記憶部Ａ１２４と、通信部＃１及び＃２と、センシング部Ａ１２５とを備える。
　インタフェース＃３及び＃４は、機器Ａ１１との通信のインタフェース装置である。インタフェース＃３及び＃４は、図３８の例では、中継装置などの他の装置を介さずに通信を行うインタフェースである。なお、ここでの通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、光通信などのような無線通信であってもよいし、例えば、ＵＳＢ、ＰＬＣなどの有線通信であってもよい。また、図３８の例とは異なり、中継器などの他の装置を介してもよい。インタフェース＃３は、機器Ａ１１のインタフェース＃１に信号を送信する。インタフェース＃４は、機器Ａ１１のインタフェース＃２から信号を受信する。なお、インタフェース＃３は、機器Ａ１１に電力を供給してもよい。
　制御部Ａ１２１は、機器Ａ１１の動作を制御する処理部である。制御部Ａ１２１は、機器Ａ１１からインタフェース＃４を介して、例えば、センサＡ１１３により取得したセンサ値、又は、駆動部Ａ１１２の状態などを示す情報を取得し、取得したセンサ値又は情報に基づいて、駆動部Ａ１１２の駆動、および／または、制御部Ａ１１１を制御する信号を生成する。制御部Ａ１２１は、生成した信号をインタフェース＃３を介して機器Ａ１１に送信し、例えば、制御部Ａ１１１、および／または、駆動部Ａ１１２を制御する。
　別の方法について説明する。制御部Ａ１２１は、機器Ａ１１の動作を制御する処理部である。制御部Ａ１２１は、センシング部Ａ１２５で所得したセンサ値を、処理部Ａ１２２を介して取得し、取得したセンサ値に基づいて、駆動部Ａ１１２の駆動、および／または、制御部Ａ１１１を制御する信号を生成する。なお、制御部Ａ１２１は、駆動部Ａ１１２の駆動、および／または、制御部Ａ１１１を制御する信号を生成する際、駆動部Ａ１１２、および／または、センサＡ１１３から得た情報を用いてもよい。そして、制御部Ａ１２１は、生成した信号をインタフェース＃３を介して機器Ａ１１に送信し、例えば、制御部Ａ１１１、および／または、駆動部Ａ１１２を制御する。
　処理部Ａ１２２は、検出装置Ａ１２における情報処理を行う演算装置である。処理部Ａ１２２は、例えば、ＣＰＵにより構成される。
　イメージセンサＡ１２３は、検出装置Ａ１２の周囲を撮影し、画像を生成するセンサである。イメージセンサＡ１２３は、生成した画像に係るデータを処理部Ａ１２２に提供する。
　アプリケーション記憶部Ａ１２４は、機器Ａ１１又は検出装置Ａ１２の制御のためのアプリケーション（ソフトウェアプログラム）を記憶している記憶装置である。アプリケーション記憶部Ａ１２４は、上記アプリケーション（ソフトウェアプログラム）を、例えば、通信部＃１又は＃２を介して取得する。
　なお、アプリケーションを更新することで、制御部Ａ１２１の制御の精度が向上すると、機器Ａ１１、検出装置Ａ１２で構成するシステムの駆動関連における安全性が向上するという効果を得ることができる。
　通信部＃１は、ＡＰ（アクセスポイント）との間で無線通信をする通信インタフェースである。
　通信部＃２は、携帯電話のキャリアネットワークの基地局との間で無線通信をする通信インタフェースである。
　センシング部Ａ１２５は、通信のための電波を用いてセンシングを行う処理部である。センシング部Ａ１２５は、検出装置Ａ１２の周囲の物体、より具体的には、人、車、自転車、障害物などの検出、上記物体の動作の認識をする。センシング部Ａ１２５は、通信部＃１と同一の周波数の電波を送信するというように、実現されてもよい。
　図３８に示される制御システムにおいて、機器Ａ１１は、検出装置Ａ１２を搭載していてもよいし、検出装置Ａ１２から離れた位置に配置されていてもよい。
　機器Ａ１１が検出装置Ａ１２を搭載している場合、機器Ａ１１は、通信部Ａ１１４、またはインタフェース＃１又は＃２を介して送受信される信号により制御される。
　例えば、インタフェース＃１又は＃２を介して機器Ａ１１が制御される場合、ユーザが外出しているときに使用されるときには、機器Ａ１１に検出装置Ａ１２を搭載しておく。
　また、例えば、通信部Ａ１１４を介して機器Ａ１１が制御される場合、機器Ａ１１は、ＡＰ（アクセスポイント）を介して検出装置Ａ１２から送信される信号に基づいて制御される。ただし、通信部Ａ１１４を介して機器Ａ１１の制御を行う場合は、機能制限を受ける可能性がある。なお、機器Ａ１１から通信部Ａ１１４を介して検出装置Ａ１２と通信する場合、ＡＰ（アクセスポイント）を介した通信ではなく、検出装置Ａ１２の通信部＃１との間で直接通信を行ってもよい。
　本構成によると、検出装置Ａ１２側のアプリケーションを更新することで、機能の更新と、制御アルゴリズムの更新とをすることが可能となる。その結果、アプリケーションの更新により新たな機能の提供を行うことができるという効果を得ることができる。
　また、検出装置Ａ１２に対して新たにアプリケーションをインストールすることで、従来の機器Ａ１１の制御に利用されていなかったスマートフォン又はタブレットなどの装置を、機器Ａ１１の制御に利用することが可能となる。この構成により、既存の装置などを機器Ａ１１の制御に利用できるようになる。その結果、例えば、使用されずに遊休状態にある装置であっても利用することができ、使用されていない装置が備えるＣＰＵ、ＧＰＵ、メモリ、ストレージ、モデム又はディスプレイなど、無駄になっているリソースを活用できる可能性があるという効果を得ることができる。
　なお、検出装置Ａ１２側だけではなく、機器Ａ１１側においても、ファームウェア又はアプリケーションの更新を行うことができるようにしてもよい。この構成により、検出装置Ａ１２側のアプリケーションの更新だけでは対応できない新たな機能の提供、又は、機器Ａ１１側でセキュリティ上の課題が発見された場合などに、セキュリティ上の問題を解消したファームウェア又はアプリケーションを提供して速やかに対策を行うことが可能となる。アプリケーションは、通信部＃１、通信部＃２を介して、例えば、クラウドサーバーなどの外部の装置から入手される。
　次に、機器Ａ１１に検出装置Ａ１２を搭載した状態で、ユーザが外出しているときに機器Ａ１１を制御する制御システムの構成の一例を説明する。
　図３９は、本実施の形態における制御システムの構成の一例を示す図である。
　図３９に示される制御システムは、機器Ａ１１と、検出装置Ａ１２と、Ａ２１のＡＰと、ネットワークＡ２２と、基地局Ａ２３と、装置Ａ２４とを備える。
　機器Ａ１１と検出装置Ａ１２とは、インタフェース＃１、＃２、＃３及び＃４を介して信号の送受信を行う。なお、詳細については、すでに説明を行ったとおりである。
　Ａ２１のＡＰは、検出装置Ａ１２の通信部＃１と接続し得るアクセスポイントである。
　ネットワークＡ２２は、Ａ２１のＡＰと接続され、また、基地局Ａ２３と接続されているネットワークである。ネットワークＡ２２は、携帯電話のキャリアネットワークの一部、又は、インターネットの一部を含んでもよい。また、情報処理を実行するサーバを含むクラウドが接続されていてもよい。
　基地局Ａ２３は、例えば、携帯電話のキャリアネットワークに接続される基地局装置であり、装置Ａ２４と接続される。
　装置Ａ２４は、例えば、ユーザが所持しているスマートフォン又はタブレットなどの可搬性のある情報処理装置である。
　制御システムにおいて、検出装置Ａ１２は、通信部＃１によってＡＰＡ２１、ネットワークＡ２２及び基地局Ａ２３を介して装置Ａ２４と通信可能に接続されている。
　例えば、掃除機などの機器Ａ１１に対して、検出装置Ａ１２がインタフェース＃１、＃２、＃３及び＃４を介して接続されている。装置Ａ２４は、例えば、一つ以上のネットワークを介して、機器Ａ１１に搭載された検出装置Ａ１２にアクセスし、検出装置Ａ１２を介して機器Ａ１１を制御する。
　本制御システムの特徴の１つは、検出装置Ａ１２が備えているセンシング部Ａ１２５でセンシングされたデータを利用して、機器Ａ１１の制御が行われる点である。この構成により、機器Ａ１１の制御に、機器Ａ１１が備えていないセンサでセンシングされたデータを用いることができる。これにより、機器Ａ１１単体では実現できない機能の実現が可能となりうる。
　また、機器Ａ１１がインターフェース＃１および／または＃２を介して、検出装置Ａ１２のセンシング部Ａ１２５でセンシングされたデータを取得することで、通信部Ａ１１４を介してネットワーク経由でデータを取得する場合と比較してセキュリティを向上させることができ、また、セキュリティ上の制約がある場合に実現できない機能の提供ができるようになる可能性がある。
　また、本制御システムの特徴の１つは、機器Ａ１１に搭載された検出装置Ａ１２を介して、機器Ａ１１の制御が行われる点である。この構成により、装置Ａ２４から送信された制御用の指示を受け付けるか否かといった判断を検出装置Ａ１２で行うことができるようになる。例えば、装置Ａ２４と検出装置Ａ１２との間で認証などの処理を行うことで、不正なアクセスに対する安全性を向上させることができる。
　さらに、前にも述べたように、アプリケーション記憶部Ａ１２４におけるアプリケーションを更新することで、制御部Ａ１２１の制御の精度が向上すると、機器Ａ１１、検出装置Ａ１２で構成するシステムの駆動関連における安全性が向上するという効果を得ることができる。
　図４０は、本実施の形態における制御システムの外観の一例を示す図である。
　図４０に示される制御システムは、機器Ａ１１に相当する電動キックボードに、検出装置Ａ１２が搭載されたものである。検出装置Ａ１２は、センシング部Ａ１２５によるセンシングの結果に基づいて、例えば、機器Ａ１１の加減速などの制御を行う。
　電動キックボードは、例えば、機器Ａ１１（つまり電動キックボード）側または検出装置Ａ１２側にある操作入力用の入力部を用いたユーザの入力に応じて、駆動部Ａ１１２の制御を行うことが可能であってもよい。
　制御部Ａ１２１は、駆動部Ａ１１２を制御して、機器Ａ１１（つまり電動キックボード）の加速または進行方向の変更などの動作を行う。また、制御部Ａ１２１は、駆動部Ａ１１２を制御して、機器Ａ１１の減速を行ってもよい。減速は、ブレーキによって実現されてもよいし、発電機などの制動力を用いて実現されてもよい。
　ここで、制御部Ａ１２１は、入力部からの入力に応じて、駆動部Ａ１１２の制御を行ってもよいし、機器Ａ１１および／またはセンシング部Ａ１２５から取得されたセンシングデータに基づいて駆動部Ａ１１２の制御を行ってもよい。
　例えば、センシング部Ａ１２５は、電波を用いたセンシングを行う。なお、電波を用いたセンシング方法については、他の実施の形態で説明したとおりである。例えば、センシング部Ａ１２５は、センシングを行い、人を検出したものとする。制御部Ａ１２１は、センシング部Ａ１２５から得た、「人を検出」という情報に基づき、速度の減速を行うという情報を含む制御信号を、インタフェース＃３、インタフェース＃４を介して、機器Ａ１１に伝送する。これに伴い、機器Ａ１１の制御部Ａ１１１、駆動部Ａ１１２は、減速するという制御を行う。
　また、センシング部Ａ１２５は、電波を用いたセンシングを行い、前に障害物がないことを検出したものとする。制御部Ａ１２１は、センシング部Ａ１２５から得た、「障害物がない」という情報に基づき、速度の加速を行い、その後、定速走行を行うという情報を含む制御信号を、インタフェース＃３、インタフェース＃４を介して、機器Ａ１１に伝送する。これに伴い、機器Ａ１１の制御部Ａ１１１、駆動部Ａ１１２は、加速後、定速走行を行うという制御を行う。
　さらに、センシング部Ａ１２５は、電波を用いたセンシングを行い、右側に障害物があることを検出したものとする。制御部Ａ１２１は、センシング部Ａ１２５から得た、「右側に障害物あり」という情報に基づき、障害物をよけるような動作を行うという情報を含む制御信号を、インターフェース＃３、インタフェース＃４を介して、機器Ａ１１に伝送する。これに伴い、機器Ａ１１の制御部Ａ１１１、駆動部Ａ１１２は、障害物をよけるような動作を行うという制御を行う。
　別の動作例を説明する。センシング部Ａ１２５は、電波を用いたセンシングを行い、、センシングの結果の情報に基づいて、制御部Ａ１２１は、自己位置推定又は障害物検出を行い、加速又は減速の制御を行うための制御信号を出力してもよい。このとき、制御部Ａ１２１は、イメージセンサＡ１２３から得た画像情報、センサＡ１１３から得た情報を用いて、自己位置推定又は障害物検出を行うことも可能である。制御部Ａ１２１は、この制御信号を、インタフェース＃３、インタフェース＃４を介して、機器Ａ１１に伝送する。これに伴い、機器Ａ１１の制御部Ａ１１１、駆動部Ａ１１２は、制御信号に基づいた制御が行われることになる。
　センシング部Ａ１２５から取得されたセンシングデータに基づく制御のさらに別の例として、制御部Ａ１２１は、速度センサ又は加速度センサで取得された速度又は加速度のデータに基づいてユーザの動作を検出し、加速又は減速の制御を行う。ここでは、センシング部Ａ１２５を用いて検出されるユーザの動作として、ユーザが地面を蹴るという動作であるが、それ以外の動作であってもよい。例えば、ユーザが身体の重心を移動であってもよいし、ユーザの顔の向きやユーザの顔の向きの変化であってもよい。このとき、センシング部Ａ１２５として用いることができるセンサは、重量センサ又は無線レーダ、電波によるセンシングであってもよい。
　以上のように制御することで、使用するユーザの安全性が向上するという効果を得ることができる。
　図４１は、本実施の形態における制御システムの処理の一例を示す図である。制御部Ａ１２１による制御動作の上記の例における制御の一例を、フローチャートを用いて説明する。
　機器Ａ１１は、例えば、ユーザがスイッチ又はボタンにより制御動作の開始を指示した時点、ユーザが機器Ａ１１の電源をＯＮにした時点、ユーザが機器Ａ１１に検出装置Ａ１２を装着した時点、またはユーザが機器Ａ１１であるキックボードに搭乗したことを検出した時点で、フローチャートの制御動作を開始する。
　ステップＳ００１において、制御部Ａ１２１は、制御動作を開始すると、機器Ａ１１が備えるセンサＡ１１３、および／または、検出装置Ａ１２が備えるセンシング部Ａ１２５から加速度データを取得する。
　ステップＳ００２において、制御部Ａ１２１は、加速度データから機器Ａ１１の加速動作を検出する。加速度動作を検出した場合（ステップＳ００２でＹｅｓ）にはステップＳ００３に移行し、加速動作を検出しない場合（ステップＳ００２でＮｏ）にはステップＳ００４に移行する。
　ステップＳ００３において、制御部Ａ１２１は、駆動部Ａ１１２を制御し、例えばモーターの回転させて進行方向への加速力を発生させるアシスト処理を実行する。加速力の発生は、例えば加速度データから加速が行われたと判断した時点で、加速度をさらに向上させるために決められた時間に亘って行われてもよいし、加速が行われた後、加速が終わった時点や減速が始まった時点で、決められた時間に亘って速度を維持するように行われてもよい。ステップＳ００３のアシスト処理が終了すると、ステップＳ００１に戻る。
　ステップＳ００４において、制御部Ａ１２１は、駆動部Ａ１１２の制御を終了するか否かを判定し、駆動部Ａ１１２の制御を終了する場合は処理を終了し、駆動部Ａ１１２の制御を終了しない場合はステップＳ００１に戻る。駆動部Ａ１１２の制御を終了するか否かの判断は、例えば機器Ａ１１が完全に停止した場合に駆動部Ａ１１２の制御を終了すると判断してもよいし、ユーザが機器Ａ１１の電源をＯＦＦした場合、ユーザが機器Ａ１１から検出装置Ａ１２を取り除いた場合、またはユーザが機器Ａ１１であるキックボードから降りたことを検出した場合に駆動部Ａ１１２の制御を終了すると判断してもよい。
　図４１の別の動作を説明する。機器Ａ１１は、例えば、ユーザがスイッチ又はボタンにより制御動作の開始を指示した時点、ユーザが機器Ａ１１の電源をＯＮにした時点、ユーザが機器Ａ１１に検出装置Ａ１２を装着した時点、またはユーザが機器Ａ１１であるキックボードに搭乗したことを検出した時点で、フローチャートの制御動作を開始する。
　ステップＳ００１において、制御部Ａ１１１は、制御動作を開始すると、機器Ａ１１が備えるセンサＡ１１３から加速度データを取得する。
　ステップＳ００２において、制御部Ａ１１１は、加速度データから機器Ａ１１の加速動作を検出する。加速度動作を検出した場合（ステップＳ００２でＹｅｓ）にはステップＳ００３に移行し、加速動作を検出しない場合（ステップＳ００２でＮｏ）にはステップＳ００４に移行する。
　ステップＳ００３において、制御部Ａ１１１は、駆動部Ａ１１２を制御し、例えばモーターの回転させて進行方向への加速力を発生させるアシスト処理を実行する。加速力の発生は、例えば加速度データから加速が行われたと判断した時点で、加速度をさらに向上させるために決められた時間に亘って行われてもよいし、加速が行われた後、加速が終わった時点や減速が始まった時点で、決められた時間に亘って速度を維持するように行われてもよい。ステップＳ００３のアシスト処理が終了すると、ステップＳ００１に戻る。
　ステップＳ００４において、制御部Ａ１１１は、駆動部Ａ１１２の制御を終了するか否かを判定し、駆動部Ａ１１２の制御を終了する場合は処理を終了し、駆動部Ａ１１２の制御を終了しない場合はステップＳ００１に戻る。駆動部Ａ１１２の制御を終了するか否かの判断は、例えば機器Ａ１１が完全に停止した場合に駆動部Ａ１１２の制御を終了すると判断してもよいし、ユーザが機器Ａ１１の電源をＯＦＦした場合、ユーザが機器Ａ１１から検出装置Ａ１２を取り除いた場合、またはユーザが機器Ａ１１であるキックボードから降りたことを検出した場合に駆動部Ａ１１２の制御を終了すると判断してもよい。
　ユーザの動作に基づいた加速のアシストを行うことで、ユーザの動作に応じた詳細の制御が可能なため、意図していない加速を防止することができるため、安全性が向上するという効果を得ることができる。
　（実施の形態６）
　本実施の形態において、上記実施の形態における送信装置の構成および処理の別形態について説明する。
　図４２は、本実施の形態６における送信装置Ａ３の構成の一例を示す図である。
　図４２に示されるように、送信装置Ａ３は、フレーム構成部Ａ３１と、送信部Ａ３２と、受信部Ａ３３と、処理部Ａ３４とを備える。
　フレーム構成部Ａ３１は、シングルキャリア方式、または、ＯＦＤＭのようなマルチキャリア方式、または、ＯＦＤＭＡ（Orthogonal Frequency-Division Multiple Access）方式に準拠したフレームであって、時間及び周波数により規定されるリソースである時間周波数リソースを複数含むフレームを構成する。
　フレーム構成部Ａ３１は、通信データを含むシンボルが配置される時間周波数リソースである通信用リソースと、送信部Ａ３２が送信する電波によるセンシングのためのシンボルが配置される時間周波数リソースであるセンシング用リソースとを含むフレームを、上記フレームとして構成する。
　送信部Ａ３２は、フレーム構成部Ａ３１が構成したフレームを電波により送信する。
　図４３は、実施の形態６における送信装置の処理の一例を示す図である。
　図４３に示されるように、ステップＳ１（フレーム構成ステップ）において、シングルキャリア方式、または、ＯＦＤＭのようなマルチキャリア方式、または、ＯＦＤＭＡ方式に準拠したフレームであって、時間及び／又は周波数により規定されるリソースである時間周波数リソースを複数含むフレームを構成する。ここで、フレーム構成ステップでは、通信データを含むシンボルが配置される時間周波数リソースである通信用リソースと、送信ステップで送信する電波によるセンシングのためのシンボルが配置される時間周波数リソースであるセンシング用リソースとを含むフレームを、上記フレームとして構成する。
　ステップＳ２（送信ステップ）において、フレーム構成ステップで構成したフレームを電波により送信する。
　これにより、送信装置は、周囲のセンシングを行うことができる。
　（実施の形態７）
　本実施の形態では、センシングを行うことができる装置の具体的な実施例について説明する。
　図４４は、通信機能とセンシング機能の両者を有した装置の構成の一例を示している。
　送受信部Ｎ１０２は、データＮ１０１および制御信号Ｎ１００を入力とする。そして、制御信号Ｎ１００が「通信を実施する」ということを示している場合、送受信部Ｎ１０２は、データＮ１０１に対して、誤り訂正符号化、変調などの処理を行い、変調信号Ｎ１０３を出力する。なお、制御信号Ｎ１００が「センシングを実施する」ということを示している場合、送受信部Ｎ１０２は、動作しないことになる。
　センシング部Ｎ１０４は、制御信号Ｎ１００を入力とし、制御信号Ｎ１００が「センシングを実施する」ということを示している場合、センシング部Ｘ２０４は、センシング用信号Ｎ１０５を出力する。なお、制御信号Ｎ１００が「通信を実施する」ということを示している場合、センシング部Ｎ１０４は、例えば、動作しないことになる。
　また、センシング部Ｎ１０４は、動作に関する信号Ｎ１８０を入力とし、動作に関する信号Ｎ１８０に基づいて、センシング動作を決定し、その決定に基づいた動作を行うことになる。詳細については、後で説明を行う。
　送信用信号選択部Ｎ１０６は、制御信号Ｎ１００、変調信号Ｎ１０３、センシング用信号Ｎ１０５を入力とする。そして、制御信号Ｎ１００が「通信を実施する」ということを示している場合、送信用信号選択部Ｎ１０６は、変調信号Ｎ１０３を、選択した信号Ｎ１０７として出力する。また、制御信号Ｎ１００が「センシングを実施する」ということを示している場合、送信用信号選択部Ｎ１０６は、センシング用信号Ｎ１０５を、選択した信号Ｎ１０７として出力する。
　パワー調整部Ｎ１０８は、選択した信号Ｎ１０７、制御信号Ｎ１００を入力とする。制御信号Ｎ１００が「通信を実施する」ということを示している場合、選択した信号Ｎ１０７に対し、通信用のパワー調整を行い（例えば、選択信号Ｎ１０７に対し乗算する係数をαとする）、送信信号Ｎ１０９を出力する。
　また、制御信号Ｎ１００が「センシングを実施する」ということを示している場合、選択した信号Ｎ１０７に対し、通信用のパワー調整を行い（例えば、選択信号Ｎ１０７に対し乗算する係数をβとする）、送信信号Ｎ１０９を出力する。
　なお、例えば、αとβは０以上の実数であるものとする。このとき、α＞β（αはβより大きい）であるものとする。このようにすることで、センシング時の送信電力を低減することができ、これにより、壁などを通過してのセンシングが困難になり、プライバシーが確保できる可能性が高くなり、また、通信時は高いデータの受信品質を得ることができるという効果を得ることができる。
　また、αとβは複素数であってもよい。このとき｜α｜＞｜β｜であるものとする。このときも、センシング時の送信電力を低減することができ、これにより、壁などを通過してのセンシングが困難になり、プライバシーが確保できる可能性が高くなり、また、通信時は高いデータの受信品質を得ることができるという効果を得ることができる。
　そして、送信信号Ｎ１０９は、電波として、送受信アンテナ部Ｎ１１０から出力される。
　なお、パワー調整部Ｎ１０８なくてもよい。このとき、選択した信号Ｎ１０７が送受信アンテナ部Ｎ１１０から、電波として出力される。
　送受信アンテナ部Ｎ１１０は、受信信号Ｎ１１１を出力する。受信用信号選択部Ｎ１１２は、制御信号Ｎ１００、受信信号Ｎ１１１を入力とする。制御信号Ｎ１００が「通信を実施する」ということを示している場合、受信用信号選択部Ｎ１１２は、受信信号Ｎ１１１を信号Ｎ１１３として出力する。
　また、制御信号Ｎ１００が「センシングを実施する」ということを示している場合、受信用信号選択部Ｎ１１２は、受信信号Ｎ１１１を信号Ｎ１１４として出力する。
　送受信部Ｎ１０２は、制御信号Ｎ１００、信号Ｎ１１３を入力とする。制御信号Ｎ１００が「通信を実施する」ということを示している場合、送受信部Ｎ１０２は、信号Ｎ１１３に対し、復調、誤り訂正復号などの処理を行い、受信データＮ１１５を出力する。
　センシング部Ｎ１０４は、制御信号Ｎ１００，信号Ｎ１１４を入力とする。制御信号Ｎ１００が「センシングを実施する」ということを示している場合、センシング部Ｎ１０４は、信号Ｎ１１４などを用いてセンシングを行い、センシング結果Ｎ１１６を出力する。
　制御部Ｎ１５１は、外部信号Ｎ１５０、受信データＮ１１５などに基づいて、制御信号Ｎ１００を生成し、出力する。
　制御部Ｎ１５１は、外部信号Ｎ１５０、受信データＮ１１５などに基づいて、制御信号Ｎ１００を生成し、出力する。
　登録部Ｎ１８０は、外部信号Ｎ１５０、センシング結果Ｎ１１６を入力とする。例えば、外部信号Ｎ１５０が、動作登録のための動作を行う、ということを示している場合、登録部Ｎ１８０は、動作登録を実施するという情報を含む動作に関する信号Ｎ１８０を出力する。
　動作に関する信号Ｎ１８０が動作登録を実施するという情報を含んでいる場合、センシング部Ｎ１０４は、対象となるジェスチャーなどをセンシングするためのセンシング用信号Ｎ１０５を生成し、出力する。
　そして、このセンシング用信号Ｎ１０５は、電波として送信されるが、その後、センシング可能な装置は、信号を受信し、センシング部Ｎ１０４は、受信した信号に対し、センシングの推定を行い、センシング結果Ｎ１１６を出力する。
　登録部Ｎ１８０は、センシング結果Ｎ１１６を登録することになる。
　以下では、具体例を説明する。
　例１：
　宅内において、第１の人が、「センシング可能な機器」、または、「センシング可能であり、かつ、通信機能を具備する装置」を持ち出し、どこかに置き忘れたものとする。ここで、「センシング可能な機器」、または、「センシング可能であり、かつ、通信機能を具備する装置」を装置＃Ａと名付ける。なお、装置＃Ａの具体例については、すでに、説明したとおりである。
　第１の人は、置き忘れた装置＃Ａを簡単に探したいという要求がある。以下では、この要求に対する動作例の説明を行う。
　図４５は、装置＃Ａと第１の人との関係の例を示している。図４５に示すように、まず、装置＃Ａは、「ジェスチャーを登録することを決定（Ｎ２０１）」する。したがって、装置＃Ａはセンシング用信号を送信することになる。
　これに対し、第１の人は、「装置＃Ａに登録する動きを実施（Ｎ２０２）」する。なお、このジェスチャーを「第１のジェスチャー」と名付ける。
　そして、装置＃Ａは、「第１のジェスチャーを登録（Ｎ２０３）」する。なお、装置＃Ａは、ジェスチャーを正しく登録できたかどうかを確認する機能が存在していてもよい。また、装置＃Ａは、登録したジェスチャーを編集する機能があってもよい。これらの機能を、例えば、第１の人が利用し、第１のジェスチャーを正しく装置＃Ａに登録するとしてもよい。
　次に、「登録したジェスチャー（例えば、第１のジェスチャー）と装置＃Ａの動作を連携（Ｎ２１１）」させる。例として、「装置＃Ａが見当たらないときに人が、第１のジェスチャーを行うと、装置＃Ａは「音をならす」、または、「振動する」という動作を行う」と連携させるものとする。例えば、上述（「音をならす」、または、「振動する」）を、「第１の動作」と名付けるものとする。なお、装置＃Ａは、第１の動作と連携させた内容を登録するものとする。
　その後、装置＃Ａは、センシングを定期的、または、規則的、または、不規則的に実施しているものとする。
　そして、例えば、第１の人は、装置＃Ａが見当たらなくなったため、「第１のジェスチャーを実施（Ｎ２１２）」したものとする。なお、第１のジェスチャーを実施する人を第１の人としたが、別の人が、第１のジェスチャーを実施してもよい。
　すると、装置＃Ａは、センシングを行うことにより、第１のジェスチャーを認識し、第１の動作（Ｎ２１３）を実施することになる。
　このようにすることで、装置＃Ａを簡単に見つけ出すことができるという効果を得ることができる。このとき、人は、特別な装置を持つ必要がないという効果も得ることができる。
　次に、ジェスチャーの誤認識を防ぐ方法について説明を行う。
　前述のとおり、図４５におけるＮ２０１、Ｎ２０２、Ｎ２０３により、装置＃Ａは、人が行ったジェスチャーを登録することができる。このようにして、装置＃Ａは、複数のジェスチャーを登録するものとする。例えば、装置＃Ａは、第１のジェスチャー、第２のジェスチャー、第３のジェスチャー、第４のジェスチャーを登録したものとする。
　ところで、前述のように、第１のジェスチャーを人が行うのみで、装置＃Ａは「音をならす」、または、「振動する」としてしまうと、ある人が、意図しないときに第１のジェスチャーを行ってしまうだけで、装置＃Ａは「音をならす」、または、「振動する」ということが発生しまう可能性がある（ここでは、誤動作と呼ぶ）。
　このような誤動作を防止するために、複数のジェスチャーと装置＃Ａの動作を連携させるという方法をとる。
　例えば、装置＃Ａに登録されている第１のジェスチャーと第４のジェスチャーを、例えば、連続的に行うと、装置＃Ａは「音をならす」、または、「振動する」という動作を行うと、第１の人が、装置＃Ａに登録するものとする。
　このようにすると、第１の人が、第１のジェスチャーと第４のジェスチャーを実施すると、装置＃Ａは、これらのジェスチャーを認識し、装置＃Ａは「音をならす」、または、「振動する」ことになる。
　このように、ジェスチャーを複数組み合わせると、登録を行った第１の人以外の人が、組み合わせた動作を偶然行う確率が低くなるため、装置＃Ａの誤動作を劇的に減らすことができるという効果を得ることができる。
　なお、装置＃Ａに登録するジェスチャーの数は、上記の例に限ったものではなく、複数のジェスチャーを登録していれば、同様に実施することができる。また、組み合わせるジェスチャーの数についても、上記の例に限ったものではなく、複数のジェスチャーを組み合わせ、装置＃Ａの動作とリンクさせればよい。
　なお、装置＃Ａに登録するジェスチャーの数は、上記の例に限ったものではなく、複数のジェスチャーを登録していれば、同様に実施することができる。また、組み合わせるジェスチャーの数についても、上記の例に限ったものではなく、複数のジェスチャーを組み合わせ、装置＃Ａの動作とリンクさせればよい。このとき、装置＃Ａの動作の例として、「音をならす」、または、「振動する」例を説明したが、複数のジェスチャーと装置の動作のリンクはこれに限ったものではなく、図４６から図４９を用いて、後述する例のように、複数のジェスチャーと装置（端末）の動作をリンクさせてもよい。
　また、人が複数のジェスチャーを実施し、装置＃Ａがこれらの複数のジェスチャーを認識することで、装置＃Ａが実施する動作として、上記例では「音をならす」、または、「振動する」について説明したが、これに限ったものではなく、図４６から図４９を用いて、後述する例のように、装置（端末）が動作してもよい。
　また、図４５では、ジェスチャーを登録し、その後、ジェスチャーと装置＃Ａの動作をリンクさせているが、手順は、この順番に限っておらず、装置＃Ａの動作を指定し、その後、リンクさせるジェスチャーの登録を行うとしてもよい。また、装置＃Ａの動作とリンクさせるジェスチャーは装置＃Ａが（あらかじめ）保有しているジェスチャーであってもよい。ここでの重要な点は、一つ、または、複数のジェスチャーと端末＃Ａの動作をリンクさせることである。
　例２：
　例１では、「ジェスチャー」と「装置＃Ａの「音をならす」、または、「振動する」という動作」をリンクさせる場合について説明したが、本例では、「ジェスチャー」と「装置＃Ａ（端末＃Ａ）の通信機能の動作」をリンクさせる場合について説明する。
　図４６は、第１の人Ｎ３０１、「センシング可能であり、かつ、通信機能を具備」するＮ３０２の端末＃Ａ、Ｎ３０３の装置＃Ｂの状態の例を示す。図４６では、Ｎ３０２の端末＃ＡとＮ３０３の装置＃Ｂは通信を行うことが可能であるものとする。
　図４７は、図４６とは異なる例で、図４６と同様に動作するものについては、同一番号を付している。図４７では、第１の人Ｎ３０１、「センシング可能であり、かつ、通信装置を具備」するＮ３０２の端末＃Ａ、ＡＰ（アクセスポイント）Ｎ４０１、Ｎ３０３の装置＃Ｂが存在している。また、ネットワークＮ４０２が存在していてもよい。図４７では、Ｎ３０２の端末＃ＡとＮ４０１のＡＰが通信を行うことが可能であり、また、Ｎ３０３の装置＃ＢとＮ４０１のＡＰが通信を行うことが可能であるものとする。
　図４８を用いて、図４６の各装置の動作について説明する。
　まず、Ｎ３０２の端末＃Ａは、「ジェスチャーを登録することを決定（Ｎ５０１）」する。したがって、Ｎ３０２の端末＃Ａはセンシング用信号を送信することになる。
　これに対し、第１の人Ｎ３０１は、「Ｎ３０２の端末＃Ａに登録する動きを実施（Ｎ５０２）」する。なお、このジェスチャーを「第２のジェスチャー」と名付ける。
　そして、Ｎ３０２の端末＃Ａは、「第２のジェスチャーを登録（Ｎ５０３）」する。なお、前述のように、Ｎ３０２の端末＃Ａは、ジェスチャーを正しく登録できたかどうかを確認する機能が存在していてもよい。また、Ｎ３０２の端末＃Ａは、登録したジェスチャーを編集する機能があってもよい。これらの機能を、例えば、第１の人Ｎ３０１が利用し、第２のジェスチャーを正しくＮ３０２の端末＃Ａに登録するとしてもよい。
　次に、「登録したジェスチャー（例えば、第２のジェスチャー）とＮ３０２の端末＃Ａの動作を連携（Ｎ５１１）」させる。例として、以下のような連携とするものとする。「第１の人Ｎ３０１を含む人が、第２のジェスチャーを行うと、Ｎ３０２の端末＃Ａは、Ｎ３０３の装置＃Ｂに対し、「第２の動作」の実施を指示するものとする。したがって、Ｎ３０２の端末＃Ａは、第２の動作実施を指示する情報を、Ｎ３０３の装置＃Ｂに送信する。」以上のような連携を行うものとする。
　その後、Ｎ３０２の端末＃Ａは、センシングを定期的、または、規則的、または、不規則的に実施しているものとする。
　そして、第１の人Ｎ３０１は、Ｎ３０３の装置＃Ｂに「第２の動作」実施を要求したくなったため、「第２のジェスチャーを実施（Ｎ５１２）」したものとする。なお、第２のジェスチャーを実施する人を第１の人Ｎ３０１としたが、別の人が、第２のジェスチャーを実施してもよい。
　すると、Ｎ０３０２の端末は、センシングを行うことにより、第２のジェスチャーを認識し（Ｎ５１３）、「第２の動作」実施を指示する情報を、Ｎ３０３の装置＃Ｂに送信することになる（Ｎ５１４）。
　そして、Ｎ３０３の装置＃Ｂは、第２の動作を実施することになる（Ｎ５１５）。
　このようにすることで、装置＃Ｂに対し、簡単に動作指示を行うことができるといこうかを得ることができる。このとき、人は、特別な装置を持つ必要がないという効果を得ることができる。
　図４９を用いて、図４７の各装置の動作について説明する。なお、図４９において、図４８と同様に動作するものについては、同一番号を付している。
　まず、Ｎ３０２の端末＃Ａは、「ジェスチャーを登録することを決定（Ｎ５０１）」する。したがって、Ｎ３０２の端末＃Ａはセンシング用信号を送信することになる。
　これに対し、第１の人Ｎ３０１は、「Ｎ３０２の端末＃Ａに登録する動きを実施（Ｎ５０２）」する。なお、このジェスチャーを「第２のジェスチャー」と名付ける。
　そして、Ｎ３０２の端末＃Ａは、「第２のジェスチャーを登録（Ｎ５０３）」する。なお、前述のように、Ｎ３０２の端末＃Ａは、ジェスチャーを正しく登録できたかどうか確認する機能が存在していてもよい。また、Ｎ３０２の端末＃Ａは、登録したジェスチャーを編集する機能があってもよい。これらの機能を、例えば、第１の人Ｎ３０１が利用し、第２のジェスチャーを正しくＮ３０２の端末Ａに登録するとしてもよい。
　次に、「登録したジェスチャー（例えば、第２のジェスチャー）とＮ３０２の端末＃Ａの動作を連携（Ｎ６１１）」させる。例として、以下のような連携とするものとする。「第１の人Ｎ３０１を含む人が、第２のジェスチャーを行うと、Ｎ３０２の端末＃Ａは、Ｎ３０３の装置＃Ｂに対し、「第３の動作」の実施を指示するものとする。このために、Ｎ３０２の端末＃Ａは、第３の動作実施を指示する情報をＮ４０１のＡＰに送信する。そして、Ｎ４０１のＡＰは、この情報（第３の動作実施を指示）を含む変調信号を、Ｎ３０３の装置＃Ｂに送信する。
　その後、Ｎ３０２の端末＃Ａは、センシングを定期的、または、規則的、または、不規則的に実施しているものとする。
　そして、第１の人Ｎ３０１は、Ｎ３０３の装置＃Ｂに「第３の動作」実施を要求したくなったため、「第２のジェスチャーを実施（Ｎ６１２）」したものとする。なお、第２のジェスチャーを実施する人を第１の人Ｎ３０１としたが、別の人が、第２のジェスチャーを実施してもよい。
　すると、Ｎ３０２の端末＃Ａは、センシングを行うことにより、第２のジェスチャーを認識し（Ｎ６１３）、「第３の動作」実施を指示する情報をＮ４０１のＡＰに送信することになる（Ｎ６１４）。
　そして、Ｎ４０１のＡＰは、この情報（第３の動作実施の指示）を含む変調信号をＮ３０３の装置＃Ｂに送信する（Ｎ６１５）。
　これにより、Ｎ３０３の装置＃Ｂは、第３の動作を実施することになる（Ｎ６１６）。
　なお、図４７において、Ｎ４０１のＡＰは、ネットワークＮ４０２と通信を行っていてもよい。例えば、Ｎ４０１のＡＰは、ネットワークＮ４０２を経由し、クラウドサーバと通信を行ってもよい。そして、Ｎ４０１のＡＰは、クラウドサーバから指示を受けてもよい。
　例えば、クラウドサーバは、Ｎ３０２の端末＃Ａ、Ｎ３０３の装置＃Ｂ、Ｎ４０１のＡＰなどから、センシングに関する情報を得ていてもよい。
　この場合、クラウドサーバ自身が、ジェスチャーの登録内容の把握、ジェスチャーの認識の演算を行ってもよい。ただし、Ｎ３０２の端末＃Ａは、これらのベースとなる情報をクラウドサーバにアップロードする必要がある。また、クラウドサーバーが、ジェスチャーと連携する内容を把握しており、これらに基づいて、Ｎ３０２の端末＃Ａ、Ｎ３０３の装置＃Ｂ、Ｎ４０１のＡＰに対し、指示を行ってもよい。
　このようにすることで、装置＃Ｂに対し、簡単に動作指示を行うことができるという効果を得ることができる。このとき、人は、特別な装置を持つことなく機器に対して指示を行うことができるという効果を得ることができる。
　なお、本説明において、ジェスチャーという語を用いて説明しているが、ジェスチャーのかわりに、人の動き、人体の一部分の形状、人体の一部分の動き、人の検出、人の一部の検出、人の認証、人の一部の認証、物体の動き、物体の形状、物体の検出、物体の認証などを用いて、本説明を実施してもよい。
　また、センシングの方法は、本明細書に記載している例を用いてもよいし、それ以外の方法であってもよい。
　（実施の形態８）
　本実施の形態では、センシングを行うことができる装置が存在する空間におけるセンシングの具体例について説明する。
　図５０は、本実施の形態における各装置の状態の例を示している。Ｎ７００は例と宅内という空間を示している。図５０に示すように、例えば、宅内Ｎ７００には、ＡＰ（アクセスポイント）Ｎ７０１、オーディオＮ７０２、「スマートフォン、または、スマートスピーカ、または、タブレット、または、コンピュータ、または、携帯電話」などの端末である機器Ｎ７０３、照明器具Ｎ７０４が存在するものとする。なお、機器Ｎ７０３を以降では、機器＃Ｃと呼ぶことにする。
　また、宅内Ｎ７００には、人Ｎ７０５が生活していることになる。
　Ｎ７０１のＡＰは、他の実施の形態で説明したように、センシングが可能であるとともに、通信が可能であるものとする。
　そして、Ｎ７０１のＡＰは、例えば、オーディオＮ７０２、Ｎ７０３の機器＃Ｃ、照明Ｎ７０４などと通信を行うものとする。なお、Ｎ７０１のＡＰは、これら以外の装置と通信を行ってもよい。
　また、Ｎ７０１のＡＰは、ネットワークＮ７１０を介し、（クラウド）サーバＮ７２０と通信を行っているものとする。
　さらに、Ｎ７０１のＡＰは、ネットワークＮ７１０を介し、基地局Ｎ７３０と通信を行っているものとする。
　基地局Ｎ７３０は、「スマートフォン、または、タブレット、または、コンピュータ、または、携帯電話」などの端末である機器Ｎ７３１と通信を行っているものとする。なお、機器Ｎ７３１を以降では、機器＃Ｄと呼ぶことにする。
　次に、図５０におけるＮ７０１のＡＰの詳細の動作例について説明する。
　図５１は、宅内にＮ７０１のＡＰを設置したときの動作例のフローチャートを示している。
　まず、Ｎ７０１のＡＰは、センシングを行い（Ｎ８０１）、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電（当然、オーディオＮ７０２、照明Ｎ７０４を含む）の位置の情報、家電の形状の情報、電子機器（当然、Ｎ７０３の機器＃Ｃを含む）の位置の情報、電子機器の形状の情報などをクラウドサーバにアップロードする（Ｎ８０２）。
　これにより、Ｎ７０１のＡＰは、初期センシングが終了することになる（Ｎ８０３）。なお、初期センシングと記載しているが、Ｎ７０１のＡＰ設置後、定期的、または、不定期的、または、規則的、または、不規則的に図５１の動作をＮ７０１のＡＰが行ってもよい。
　別の例として、図５１が、Ｎ７０３の機器＃Ｃの動作であるものとする。
　まず、Ｎ７０３の機器＃Ｃは、センシングを行い（Ｎ８０１）、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電（当然、オーディオＮ７０２、照明Ｎ７０４を含む）の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、Ｎ７０１のＡＰを介して、クラウドサーバにアップロードする（Ｎ８０２）。
　これにより、Ｎ７０３の機器＃Ｃは、初期センシングが終了することになる（Ｎ８０３）。なお、初期センシングと記載しているが、Ｎ７０３の機器＃Ｃは、定期的、または、不定期的、または、規則的、または、不規則的に図５１の動作を行ってもよい。
　図５２は、Ｎ７０１のＡＰの一つの動作例のフローチャートを示している。
　Ｎ７０１のＡＰは、センシングによって得られた宅内の機器、例えば、家電（当然、オーディオＮ７０２、照明Ｎ７０４を含む）の情報、電子機器（当然、Ｎ７０３の機器＃Ｃを含む）の情報をクラウドサーバにアップロードする（Ｎ９０１）。
　そして、宅内の機器の動作とＮ７０１のＡＰが行ったセンシングの連携に関する情報をクラウドサーバにアップロードする（Ｎ９０２）。なお、宅内の機器の動作とセンシング可能な機器（ここでは、Ｎ７０１のＡＰ）のセンシングの連携、連携の登録に関しては、実施の形態７で例を説明している。以下では、実施の形態７とは異なる、特に、連携の動作例について説明を行う。
　別の例として、図５２が、Ｎ７０３の機器＃Ｃの動作であるものとする。
　Ｎ７０３の機器＃Ｃは、センシングによって得られた宅内の機器、例えば、家電（当然、オーディオＮ７０２、照明Ｎ７０４を含む）の情報、電子機器の情報を、Ｎ７０１のＡＰを介して、クラウドサーバにアップロードする（Ｎ９０１）。
　そして、宅内の機器の動作とＮ７０３の機器＃Ｃが行ったセンシングの連携に関する情報をクラウドサーバにアップロードする（Ｎ９０２）。なお、宅内の機器の動作とセンシング可能な機器（ここでは、Ｎ７０３の機器＃Ｃ）のセンシングの連携、連携の登録に関しては、実施の形態７で例を説明している。以下では、実施の形態７とは異なる、特に、連携の動作例について説明を行う。
　図５３は、システム一連に関する動作例のフローチャートを示している。以下では、図５３を用いて、オーディオＮ７０２とセンシングの連携、機器＃Ｃとセンシングの連携、照明Ｎ７０４とセンシングの連携の例について説明する。
　Ｎ７０１のＡＰはセンシングを実施する（Ｎ１００１）。
　センシングの結果、Ｎ７０１のＡＰは、宅内の、人を含む動くものを検出したかどうかを確認する（Ｎ１００２）。
　Ｎ７０１のＡＰは、宅内の、人を含む動くものを検出していない（Ｎ１００２　ＮＯ）場合、「センシング実施Ｎ１００１」に行く。
　Ｎ７０１のＡＰは、宅内の、人を含む動くものを検出した（Ｎ１００２　ＹＥＳ）場合、Ｎ７０１のＡＰは、ネットワークＮ７１０を介し、クラウドサーバＮ７２０に、宅内の状況に関する情報をアップロードする（Ｎ１００３）。
　これに伴い、クラウドサーバＮ７２０は、Ｎ７０１のＡＰに、オーディオＮ７０２の制御に関する情報、または、Ｎ７０３の機器＃Ｃの制御に関する情報、または、照明Ｎ７０４の制御に関する情報を送信したものとする。すると、Ｎ７０１のＡＰ７０１は、制御に関する情報（制御情報）を得ることになる（Ｎ１００４　ＹＥＳ）。
　すると、Ｎ７０１のＡＰは、対象となる機器（図５０の場合、オーディオＮ７０２、または、Ｎ７０３の機器＃Ｃ、または、照明Ｎ７０４）に、制御情報を送信する（Ｎ１００５）。
　これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する（Ｎ１００６）。
　そして、Ｎ７０１のＡＰは、次のセンシングを行っていることになる（Ｎ１００１）。
　一方で、Ｎ７０１のＡＰは、宅内の、人を含む動くものを検出した（Ｎ１００２　ＹＥＳ）場合、Ｎ７０１のＡＰは、ネットワークＮ７１０を介し、クラウドサーバＮ７２０に、宅内の状況に関する情報をアップロードしたが（Ｎ１００３）、Ｎ７０１のＡＰは制御情報を、クラウドサーバＮ７２０から得なかったものとする（Ｎ１００４　ＮＯ）。この場合、Ｎ７０１のＡＰは、次のセンシングを行っていることになる（Ｎ１００１）。
　例えば、Ｎ１００５において、Ｎ７０１のＡＰが、オーディオＮ７０２に対して、制御情報を送信する場合を考える。この場合、Ｎ７０１のＡＰがセンシングによって得た、人の位置の情報に基づいて、クラウドサーバＮ７２０は、オーディオＮ７０２の音・オーディオの指向性制御に関する情報を、Ｎ７０１のＡＰに送信する。そして、Ｎ７０１のＡＰは、音・オーディオの指向性制御に関する情報をオーディオＮ７０２に送信し、オーディオＮ７０２は、音・オーディオの指向性制御に関する情報に基づいて、音・オーディオの指向性制御を行う。
　別の例として、Ｎ１００５において、Ｎ７０１のＡＰが、照明Ｎ７０４に対して、制御情報を送信する場合を考える。この場合、Ｎ７０１のＡＰがセンシングによって得た、人・動きもの位置の情報に基づいて、クラウドサーバＮ７２０は、照明Ｎ７０４の照明の「ＯＮ／ＯＦＦ、または、光の照射指向性制御」に関する情報をＮ７０１のＡＰに送信する。そして、Ｎ７０１のＡＰは、「ＯＮ／ＯＦＦ、または、光の照射指向性制御」に関する情報を照明Ｎ７０４に送信し、照明Ｎ７０４は、「ＯＮ／ＯＦＦ、または、光の照射指向性制御」に関する情報に基づいて、照明のＯＮ／ＯＦＦ、または、照明の照らす方向制御を行う。
　以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。
　図５３の別の例について説明する。
　Ｎ７０３の機器＃Ｃはセンシングを実施する（Ｎ１００１）。
　センシングの結果、Ｎ７０３の機器＃Ｃは、宅内の、人を含む動くものを検出したかどうかを確認する（Ｎ１００２）。
　Ｎ７０３の機器＃Ｃは、宅内の、人を含む動くものを検出していない（Ｎ１００２　ＮＯ）場合、「センシング実施Ｎ１００１」に行く。
　Ｎ７０３の機器＃Ｃは、宅内の、人を含む動くものを検出した（Ｎ１００２　ＹＥＳ）場合、Ｎ７０３の機器＃Ｃは、Ｎ７０１のＡＰ、ネットワークＮ７１０を介し、クラウドサーバＮ７２０に、宅内の状況に関する情報をアップロードする（Ｎ１００３）。
　これに伴い、クラウドサーバＮ７２０は、ネットワークＮ７１０、Ｎ７０１のＡＰを介し、Ｎ７０３の機器＃Ｃに、オーディオＮ７０２の制御に関する情報、または、照明Ｎ７０４の制御に関する情報を送信したものとする。すると、Ｎ７０３の機器＃Ｃは、制御に関する情報（制御情報）を得ることになる（Ｎ１００４　ＹＥＳ）。
　すると、Ｎ７０３の機器＃Ｃは、対象となる機器（図５０の場合、オーディオＮ７０２、または、照明Ｎ７０４）に、制御情報を送信する（Ｎ１００５）。ただし、Ｎ７０１のＡＰを介すことになる。
　これに伴い、対象となる機器は、この制御情報に基づいて制御を行い、制御を終了する（Ｎ１００６）。
　そして、Ｎ７０３の機器＃Ｃは、次のセンシングを行っていることになる（Ｎ１００１）。
　一方で、Ｎ７０３の機器＃Ｃは、宅内の、人を含む動くものを検出した（Ｎ１００２　ＹＥＳ）場合、Ｎ７０３の機器＃Ｃは、Ｎ７０１のＡＰ、ネットワークＮ７１０を介し、クラウドサーバＮ７２０に、宅内の状況に関する情報をアップロードしたが（Ｎ１００３）、Ｎ７０３の機器＃Ｃは制御情報を、クラウドサーバＮ７２０から得なかったものとする（Ｎ１００４　ＮＯ）。この場合、Ｎ７０３の機器＃Ｃは、次のセンシングを行っていることになる（Ｎ１００１）。
　例えば、Ｎ１００５において、Ｎ７０３の機器＃Ｃが、オーディオＮ７０２に対して、制御情報を送信する場合を考える。この場合、Ｎ７０３の機器＃Ｃがセンシングによって得た、人の位置の情報に基づいて、クラウドサーバＮ７２０は、オーディオＮ７０２の音・オーディオの指向性制御に関する情報を、Ｎ７０１のＡＰを介し、Ｎ７０３の機器＃Ｃに送信する。そして、Ｎ７０３の機器＃Ｃは、音・オーディオの指向性制御に関する情報を、Ｎ７０１のＡＰを介し、オーディオＮ７０２に送信し、オーディオＮ７０２は、音・オーディオの指向性制御に関する情報に基づいて、音・オーディオの指向性制御を行う。
　別の例として、Ｎ１００５において、Ｎ７０３の機器＃Ｃが、照明Ｎ７０４に対して、制御情報を送信する場合を考える。この場合、Ｎ７０３の機器＃Ｃがセンシングによって得た、人・動きもの位置の情報に基づいて、クラウドサーバＮ７２０は、照明Ｎ７０４の照明の「ＯＮ／ＯＦＦ、または、光の照射指向性制御」に関する情報を、Ｎ７０１のＡＰを介し、Ｎ７０３の機器＃Ｃに送信する。そして、Ｎ７０３の機器＃Ｃは、「ＯＮ／ＯＦＦ、または、光の照射指向性制御」に関する情報を、Ｎ７０１のＡＰを介し、照明Ｎ７０４に送信し、照明Ｎ７０４は、「ＯＮ／ＯＦＦ、または、光の照射指向性制御」に関する情報に基づいて、照明のＯＮ／ＯＦＦ、または、照明の照らす方向制御を行う。
　以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。
　図５４は、宅内にＮ７０１のＡＰ、Ｎ７２０のクラウドサーバの動作例のフローチャートを示している。
　Ｎ７０１のＡＰは、センシングを行い（Ｎ１１０１）、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電（当然、オーディオＮ７０２、照明Ｎ７０４を含む）の位置の情報、家電の形状の情報、電子機器（当然、Ｎ７０３の機器＃Ｃを含む）の位置の情報、電子機器の形状の情報などをクラウドサーバにアップロードする（Ｎ１１０２）。
　Ｎ７２０のクラウドサーバは、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、Ｎ７２０のクラウドサーバは、「新しい状態を検出したか」、を確認する（Ｎ１１０３）。
　Ｎ７２０のクラウドサーバは、新しい状態が確認できた（Ｎ１１０３　ＹＥＳ）とき、宅内の状況に関する情報を更新する（Ｎ１１０４）。そして、次の、Ｎ７０１のＡＰのセンシング実施（Ｎ１１０１）となる。
　Ｎ７２０のクラウドサーバは、新しい状態が確認できないとき（Ｎ１１０３　ＮＯ）とき、次の、Ｎ７０１のＡＰのセンシング実施（Ｎ１１０１）となる。
　別の例として、図５４が、Ｎ７０３の機器＃Ｃ、Ｎ７２０のクラウドサーバの動作であるものとする。
　Ｎ７０３の機器＃Ｃは、センシングを行い（Ｎ１１０１）、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電（当然、オーディオＮ７０２、照明Ｎ７０４を含む）の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、Ｎ７０１のＡＰを介し、クラウドサーバにアップロードする（Ｎ１１０２）。
　Ｎ７２０のクラウドサーバは、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、Ｎ７２０のクラウドサーバは、「新しい状態を検出したか」、を確認する（Ｎ１１０３）。
　Ｎ７２０のクラウドサーバは、新しい状態が確認できた（Ｎ１１０３　ＹＥＳ）とき、宅内の状況に関する情報を更新する（Ｎ１１０４）。そして、次の、Ｎ７０３の機器＃Ｃのセンシング実施（Ｎ１１０１）となる。
　Ｎ７２０のクラウドサーバは、新しい状態が確認できないとき（Ｎ１１０３　ＮＯ）とき、次の、Ｎ７０３の機器＃Ｃのセンシング実施（Ｎ１１０１）となる。
　以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができ、また、適宜、センシングによって得た情報を更新することで、より好適な制御が可能であるという効果を得ることができる。
　なお、図５３において、クラウドサーバが関連する動作は、点線で示している。同様に、図５４において、クラウドサーバが関連する動作は、点線で示している。
　（実施の形態９）
　本実施の形態では、センシングを行うことができる装置が存在する空間におけるセンシングの具体例について説明する。
　図５５は、本実施の形態における各装置の状態の例を示している。なお、図５０と同様に動作するものについては、同一番号を付している。
　Ｎ７００は例と宅内という空間を示している。図５５に示すように、例えば、宅内Ｎ７００には、ＡＰ（アクセスポイント）Ｎ７０１、オーディオＮ７０２、「スマートフォン、または、スマートスピーカ、または、タブレット、または、コンピュータ、または、携帯電話」などの端末である機器Ｎ７０３、照明器具Ｎ７０４が存在するものとする。なお、機器Ｎ７０３を以降では、機器＃Ｃと呼ぶことにする。そして、例えば、宅内Ｎ７００にサーバＱ１０１が存在しているものとする。
　また、宅内Ｎ７００には、人Ｎ７０５が生活していることになる。
　Ｎ７０１のＡＰは、他の実施の形態で説明したように、センシングが可能であるとともに、通信が可能であるものとする。
　そして、Ｎ７０１のＡＰは、例えば、オーディオＮ７０２、Ｎ７０３の機器＃Ｃ、照明Ｎ７０４などと通信を行うものとする。なお、Ｎ７０１のＡＰは、これら以外の装置と通信を行ってもよい。
　また、Ｎ７０１のＡＰは、ネットワークＱ１０２を介し、サーバＱ１０１と通信を行っているものとする。
　さらに、Ｎ７０１のＡＰは、ネットワークＮ７０１を介し、基地局Ｎ７３０と通信を行っているものとする。
　基地局Ｎ７３０は、「スマートフォン、または、タブレット、または、コンピュータ、または、携帯電話」などの端末である機器Ｎ７３１と通信を行っているものとする。なお、機器Ｎ７３１を以降では、機器＃Ｄと呼ぶことにする。
　次に、図５５におけるＮ７０１のＡＰの詳細の動作例について説明する。
　図５６は、宅内にＮ７０１のＡＰを設置したときの動作例のフローチャートを示している。
　まず、Ｎ７０１のＡＰは、センシングを行い（Ｑ２０１）、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電（当然、オーディオＮ７０２、照明Ｎ７０４を含む）の位置の情報、家電の形状の情報、電子機器（当然、Ｎ７０３の機器＃Ｃを含む）の位置の情報、電子機器の形状の情報などをサーバＱ１０１にアップロードする（Ｑ２０２）。
　これにより、Ｎ７０１のＡＰは、初期センシングが終了することになる（Ｑ２０３）。なお、初期センシングと記載しているが、Ｎ７０１のＡＰ設置後、定期的、または、不定期的、または、規則的、または、不規則的に図５６の動作をＮ７０１のＡＰが行ってもよい。
　別の例として、図５６が、Ｎ７０３の機器＃Ｃの動作であるものとする。
　まず、Ｎ７０３の機器＃Ｃは、センシングを行い（Ｑ２０１）、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電（当然、オーディオＮ７０２、照明Ｎ７０４を含む）の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、Ｎ７０１のＡＰを介して、サーバＱ１０１にアップロードする（Ｑ２０２）。
　これにより、Ｎ７０３の機器＃Ｃは、初期センシングが終了することになる（Ｑ２０３）。なお、初期センシングと記載しているが、Ｎ７０３の機器＃Ｃは、定期的、または、不定期的、または、規則的、または、不規則的に図５６の動作を行ってもよい。
　図５７は、Ｎ７０１のＡＰの一つの動作例のフローチャートを示している。
　Ｎ７０１のＡＰは、センシングによって得られた宅内の機器、例えば、家電（当然、オーディオＮ７０２、照明Ｎ７０４を含む）の情報、電子機器（当然、Ｎ７０３の機器＃Ｃを含む）の情報をサーバＱ１０１にアップロードする（Ｑ３０１）。
　そして、宅内の機器の動作とＮ７０１のＡＰが行ったセンシングの連携に関する情報をサーバＱ１０１にアップロードする（Ｑ３０２）。なお、宅内の機器の動作とセンシング可能な機器（ここでは、Ｎ７０１のＡＰ）のセンシングの連携、連携の登録に関しては、実施の形態７で例を説明している。以下では、実施の形態７とは異なる、特に、連携の動作例について説明を行う。
　別の例として、図５７が、Ｎ７０３の機器＃Ｃの動作であるものとする。
　Ｎ７０３の機器＃Ｃは、センシングによって得られた宅内の機器、例えば、家電（当然、オーディオＮ７０２、照明Ｎ７０４を含む）の情報、電子機器の情報を、Ｎ７０１のＡＰを介して、サーバＱ１０１にアップロードする（Ｑ３０１）。
　そして、宅内の機器の動作とＮ７０３の機器＃Ｃが行ったセンシングの連携に関する情報をクラウドサーバにアップロードする（Ｑ３０２）。なお、宅内の機器の動作とセンシング可能な機器（ここでは、Ｎ７０３の機器＃Ｃ）のセンシングの連携、連携の登録に関しては、実施の形態７で例を説明している。以下では、実施の形態７とは異なる、特に、連携の動作例について説明を行う。
　図５８は、例えば、図５５のシステム一連に関する動作例のフローチャートを示している。以下では、図５８を用いて、オーディオＮ７０２とセンシングの連携、機器＃Ｃとセンシングの連携、照明Ｎ７０４とセンシングの連携の例について説明する。なお、図５８において、サーバが関連する動作については、点線で示している。
　Ｎ７０１のＡＰはセンシングを実施する（Ｑ４０１）。
　センシングの結果、Ｎ７０１のＡＰは、宅内の、人を含む動くものを検出したかどうかを確認する（Ｑ４０２）。
　Ｎ７０１のＡＰは、宅内の、人を含む動くものを検出していない（Ｑ４０２　ＮＯ）場合、「センシング実施Ｑ４０１」に行く。
　Ｎ７０１のＡＰは、宅内の、人を含む動くものを検出した（Ｑ４０２　ＹＥＳ）場合、Ｎ７０１のＡＰは、ネットワークＱ１０２を介し、サーバＱ１０１に、宅内の状況に関する情報をアップロードする（Ｑ４０３）。
　これに伴い、サーバＱ１０１は、Ｎ７０１のＡＰに、オーディオＮ７０２の制御に関する情報、または、Ｎ７０３の機器＃Ｃの制御に関する情報、または、照明Ｎ７０４の制御に関する情報を送信したものとする。すると、Ｎ７０１のＡＰ７０１は、制御に関する情報（制御情報）を得ることになる（Ｑ４０４　ＹＥＳ）。
　すると、Ｎ７０１のＡＰは、対象となる機器（図５５の場合、オーディオＮ７０２、または、Ｎ７０３の機器＃Ｃ、または、照明Ｎ７０４）に、制御情報を送信する（Ｑ４０５）。
　これに伴い、対象となる機器は、この制御情報に基づいた制御を行い、制御を終了する（Ｑ４０６）。
　そして、Ｎ７０１のＡＰは、次のセンシングを行っていることになる（Ｑ４０１）。
　一方で、Ｎ７０１のＡＰは、宅内の、人を含む動くものを検出した（Ｑ４０２　ＹＥＳ）場合、Ｎ７０１のＡＰは、ネットワークＱ１０２を介し、サーバＱ１０１に、宅内の状況に関する情報をアップロードしたが（Ｑ４０３）、Ｎ７０１のＡＰは制御情報を、サーバＱ１０１から得なかったものとする（Ｑ４０４　ＮＯ）。この場合、Ｎ７０１のＡＰは、次のセンシングを行っていることになる（Ｑ４０１）。
　例えば、Ｑ４０５において、Ｎ７０１のＡＰが、オーディオＮ７０２に対して、制御情報を送信する場合を考える。この場合、Ｎ７０１のＡＰがセンシングによって得た、人の位置の情報に基づいて、サーバＱ１０１は、オーディオＮ７０２の音・オーディオの指向性制御に関する情報を、Ｎ７０１のＡＰに送信する。そして、Ｎ７０１のＡＰは、音・オーディオの指向性制御に関する情報をオーディオＮ７０２に送信し、オーディオＮ７０２は、音・オーディオの指向性制御に関する情報に基づいて、音・オーディオの指向性制御を行う。
　別の例として、Ｑ４０５において、Ｎ７０１のＡＰが、照明Ｎ７０４に対して、制御情報を送信する場合を考える。この場合、Ｎ７０１のＡＰがセンシングによって得た、人・動きもの位置の情報に基づいて、サーバＱ１０１は、照明Ｎ７０４の照明の「ＯＮ／ＯＦＦ、または、光の照射指向性制御」に関する情報をＮ７０１のＡＰに送信する。そして、Ｎ７０１のＡＰは、「ＯＮ／ＯＦＦ、または、光の照射指向性制御」に関する情報を照明Ｎ７０４に送信し、照明Ｎ７０４は、「ＯＮ／ＯＦＦ、または、光の照射指向性制御」に関する情報に基づいて、照明のＯＮ／ＯＦＦ、または、照明の照らす方向制御を行う。
　以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。
　図５８の別の例について説明する。
　Ｎ７０３の機器＃Ｃはセンシングを実施する（Ｑ４０１）。
　センシングの結果、Ｎ７０３の機器＃Ｃは、宅内の、人を含む動くものを検出したかどうかを確認する（Ｑ４０２）。
　Ｎ７０３の機器＃Ｃは、宅内の、人を含む動くものを検出していない（Ｑ４０２　ＮＯ）場合、センシング実施Ｑ４０１」に行く。
　Ｎ７０３の機器＃Ｃは、宅内の、人を含む動くものを検出した（Ｑ４０２　ＹＥＳ）場合、Ｎ７０３の機器＃Ｃは、Ｎ７０１のＡＰ、ネットワークＱ１０２を介し、サーバＱ１０１に、宅内の状況に関する情報をアップロードする（Ｑ４０３）。
　これに伴い、サーバＱ１０１は、ネットワークＱ１０２、Ｎ７０１のＡＰを介し、Ｎ７０３の機器＃Ｃに、オーディオＮ７０２の制御に関する情報、または、照明Ｎ７０４の制御に関する情報を送信したものとする。すると、Ｎ７０３の機器＃Ｃは、制御に関する情報（制御情報）を得ることになる（Ｑ４０４　ＹＥＳ）。
　すると、Ｎ７０３の機器＃Ｃは、対象となる機器（図５５の場合、オーディオＮ７０２、または、照明Ｎ７０４）に、制御情報を送信する（Ｑ４０５）。ただし、Ｎ７０１のＡＰを介すことになる。
　これに伴い、対象となる機器は、この制御情報に基づいて制御を行い、制御を終了する（Ｑ４０６）。
　そして、Ｎ７０３の機器＃Ｃは、次のセンシングを行っていることになる（Ｑ４０１）。
　一方で、Ｎ７０３の機器＃Ｃは、宅内の、人を含む動くものを検出した（Ｑ４０２　ＹＥＳ）場合、Ｎ７０３の機器＃Ｃは、Ｎ７０１のＡＰ、ネットワークＱ１０２を介し、サーバＱ１０１に、宅内の状況に関する情報をアップロードしたが（Ｑ４０３）、Ｎ７０３の機器＃Ｃは制御情報を、サーバＱ１０１から得なかったものとする（Ｑ４０４　ＮＯ）。この場合、Ｎ７０３の機器＃Ｃは、次のセンシングを行っていることになる（Ｑ４０１）。
　例えば、Ｑ４０５において、Ｎ７０３の機器＃Ｃが、オーディオＮ７０２に対して、制御情報を送信する場合を考える。この場合、Ｎ７０３の機器＃Ｃがセンシングによって得た、人の位置の情報に基づいて、サーバＱ１０１は、オーディオＮ７０２の音・オーディオの指向性制御に関する情報を、Ｎ７０１のＡＰを介し、Ｎ７０３の機器＃Ｃに送信する。そして、Ｎ７０３の機器＃Ｃは、音・オーディオの指向性制御に関する情報を、Ｎ７０１のＡＰを介し、オーディオＮ７０２に送信し、オーディオＮ７０２は、音・オーディオの指向性制御に関する情報に基づいて、音・オーディオの指向性制御を行う。
　別の例として、Ｑ４０５において、Ｎ７０３の機器＃Ｃが、照明Ｎ７０４に対して、制御情報を送信する場合を考える。この場合、Ｎ７０３の機器＃Ｃがセンシングによって得た、人・動きもの位置の情報に基づいて、サーバＱ１０１は、照明Ｎ７０４の照明の「ＯＮ／ＯＦＦ、または、光の照射指向性制御」に関する情報を、Ｎ７０１のＡＰを介し、Ｎ７０３の機器＃Ｃに送信する。そして、Ｎ７０３の機器＃Ｃは、「ＯＮ／ＯＦＦ、または、光の照射指向性制御」に関する情報を、Ｎ７０１のＡＰを介し、照明Ｎ７０４に送信し、照明Ｎ７０４は、「ＯＮ／ＯＦＦ、または、光の照射指向性制御」に関する情報に基づいて、照明のＯＮ／ＯＦＦ、または、照明の照らす方向制御を行う。
　以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができる。
　図５９は、宅内にＮ７０１のＡＰ、サーバＱ１０１の動作例のフローチャートを示している。なお、図５９において、サーバが関連する動作については、点線で示している。
　Ｎ７０１のＡＰは、センシングを行い（Ｑ５０１）、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電（当然、オーディオＮ７０２、照明Ｎ７０４を含む）の位置の情報、家電の形状の情報、電子機器（当然、Ｎ７０３の機器＃Ｃを含む）の位置の情報、電子機器の形状の情報などをサーバＱ１０１にアップロードする（Ｑ５０２）。
　サーバＱ１０１は、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、サーバＱ１０１は、「新しい状態を検出したか」、を確認する（Ｑ５０３）。
　サーバＱ１０１は、新しい状態が確認できた（Ｑ５０３　ＹＥＳ）とき、宅内の状況に関する情報を更新する（Ｑ５０４）。そして、次の、Ｎ７０１のＡＰのセンシング実施（Ｑ５０１）となる。
　サーバＱ１０１は、新しい状態が確認できないとき（Ｑ５０３　ＮＯ）とき、次の、Ｎ７０１のＡＰのセンシング実施（Ｑ５０１）となる。
　別の例として、図５９が、Ｎ７０３の機器＃Ｃ、サーバＱ１０１の動作であるものとする。
　Ｎ７０３の機器＃Ｃは、センシングを行い（Ｑ５０１）、宅内の状況の情報、例えば、部屋の数の情報、部屋の形状の情報、設置されているものの情報、例えば、家具の位置の情報、家具の形状の情報、家電（当然、オーディオＮ７０２、照明Ｎ７０４を含む）の位置の情報、家電の形状の情報、電子機器の位置の情報、電子機器の形状の情報などを、Ｎ７０１のＡＰを介し、サーバＱ１０１にアップロードする（Ｑ５０２）。
　サーバＱ１０１は、保存している宅内の状況に関する情報と、新に得た宅内の状況に関する情報を比較する。そして、サーバＱ１０１は、「新しい状態を検出したか」、を確認する（Ｑ５０３）。
　サーバＱ１０１は、新しい状態が確認できた（Ｑ５０３　ＹＥＳ）とき、宅内の状況に関する情報を更新する（Ｑ５０４）。そして、次の、Ｎ７０３の機器＃Ｃのセンシング実施（Ｑ５０１）となる。
　サーバＱ１０１は、新しい状態が確認できないとき（Ｑ５０３　ＮＯ）とき、次の、Ｎ７０３の機器＃Ｃのセンシング実施（Ｑ５０１）となる。
　以上のように、宅内の状態に基づいて、宅内に存在する機器を制御することで、快適、安全な暮らしを提供することができるという効果を得ることができ、また、適宜、センシングによって得た情報を更新することで、より好適な成語が可能であるという効果を得ることができる。
　なお、図５５において、Ｎ７０１のＡＰ、Ｑ１０２のネットワーク、サーバＱ１０１が一つの装置で構成されていてもよい。このとき、ネットワークＱ１０２は、有線、無線通信どちらであってもよく、したがって、Ｎ７０１のＡＰとサーバＱ１０１が装置内で有線、または、無線で接続されていることになる。
　（実施の形態１０）
　本実施の形態では、少なくともセンシングの機能を持つ装置の具体的な利用方法の例を説明する。
　例１：
　センシングによって得た物体に基づいてキャラクタを生成し、それを画面上で表示する。
　キャラクタを、アプリケーションで利用することで、アプリケーションの多様性を実現することができ、また、そのような効果を得ることができる。
　図６０は、本実施の形態におけるシステムの構成の一例を示す図である。
　図６０において、第２装置は、モニターを搭載しているものとする。
　第１装置が、少なくともセンシングの機能を有する。そして、第１装置は、センシングを行い、例えば、第１の人物の特徴をとらえることにより情報を生成し、その情報を第２装置に伝送する。
　そして、第２装置は、第１の人物の特徴の情報から、第２装置のモニターで表示する、第１キャラクタを生成する。そして、第２装置のモニターで、第１キャラクタを表示することができるものとする。なお、第１キャラクタに対し、何らの変形を行うカスタマイズも可能である。
　別の方法として、第１装置は、センシングを行い、例えば、第２の物体の特徴をとらえ、第２キャラクタの情報を生成し、その情報を第２装置に伝送する。
　そして、第２装置は、第２キャラクタの情報に基づき第２キャラクタを第２装置のモニターで、表示する。なお、第２キャラクタに対し、何らの変形を行うカスタマイズも可能である。
　なお、第１装置と第２装置で、一つの装置を形成してもよい。
　図６１は、図６０とは異なる本実施の形態におけるシステムの構成の一例を示す図である。
　図６１において、第２装置は、外部モニターを接続可能であるものとする。
　第１装置が、少なくともセンシングの機能を有する。そして、第１装置は、センシングを行い、例えば、第１の人物の特徴をとらえることにより情報を生成し、その情報を第２装置に伝送する。
　そして、第２装置は、第１の人物の特徴の情報から、第２装置と接続するモニターで表示する、第１キャラクタを生成する。そして、モニターで、第１キャラクタを表示することができるものとする。なお、第１キャラクタに対し、何らの変形を行うカスタマイズも可能である。
　別の方法として、第１装置は、センシングを行い、例えば、第２の物体の特徴をとらえ、第２キャラクタの情報を生成し、その情報を第２装置に伝送する。
　そして、第２装置は、第２キャラクタの情報に基づき第２キャラクタをモニターで、表示する。なお、第２キャラクタに対し、何らの変形を行うカスタマイズも可能である。
　例２：
　カメラなどの画像撮影できるセンサーにより得た物体の画像（静止画、または、動画）と、例えば、無線を利用したセンシングを行うことにより得た物体の推定情報を利用することで、物体の３次元空間を再生することができる。
　図６２は、本実施の形態におけるシステムの構成の一例を示す図である。
　図６２において、第３装置は、モニターを搭載しているものとする。
　第３装置は、カメラなどの画像撮影できるセンサー、無線によるセンシング部を具備するものとする。
　無線によるセンシング部により、物体の３次元の空間推定情報を得る。
　カメラなどの画像撮影できるセンサーで画像を撮影することにより、物体の２次元（または、３次元）の画像情報および色情報を得る。
　３次元空間推定部は、「物体の３次元の空間推定情報」、「物体の２次元（または、３次元）の画像情報および色情報」から、物体の（色付き）３次元空間の推定情報を生成し、モニターに表示する。
　なお、物体の（色付き）３次元空間の推定情報は、３次元の情報を得ているため、モニターに表示する際、物体を表示するための視点を自由に変更することができる利点がある。
　図６３は、図６２とは異なる本実施の形態におけるシステムの構成の一例を示す図である。
　図６３において、第３装置は、外部モニターに接続可能であるものとする。
　各部の基本的な動作は、図６２の説明と同様となる。
　なお、各実施の形態におけるセンシングの方法について補足的に説明する。
　図６４及び図６５は、各実施の形態におけるセンシングの方法を示す図である。
　図６４は、空間を３次元的に示す模式図である。図６４に示されるように、空間内に物体と検出装置とが存在している。検出装置は、例えば、電波などによる無線によって物体をセンシングする。なお、物体の形状は、どのようなものであってもよい。
　図６５は、図６４においてｘｙ平面に平行な平面であって、物体を貫く平面の一例であり、例えば、検出装置が送信した電波の経路を示したものである。ここで、検出装置が物体から得られる電波は、物体に到来する電波を物体が反射した反射波であってもよいし、物体自身が反射した電波であってもよい。
　図６５に示されるように、検出装置は、物体自身が反射して直接に検出装置に到達する電波（直接波と呼ぶ）Ｗ１を受信する。また、検出装置は電波を送出し、壁に反射されて物体に到達した電波が、物体に反射し、さらに壁に反射して、検出装置に到達する電波（反射波ともいう）Ｗ２、Ｗ３及びＷ４を、検出装置は受信する。
　図６５は、３次元空間を切り出したｘｙ平面という一つの２次元平面を例示したが、３次元空間を切り出し２次元平面において、上記と同様の説明を行うことができるので、検出装置は、直接波及び反射波を用いて、物体の位置及び形状を検出することができる。言い換えれば、検出装置は、カメラなどの画像撮影できるセンサーでは撮影することができない物体の部分を検出することができるという効果を得ることができる。
　（補足１）
　当然であるが、本開示において説明した実施の形態、補足などのその他の内容を複数組み合わせて、実施してもよい。
　本開示においては、検出装置Ａ１２をカメラとして実施する場合を例に挙げて説明したが、本開示における検出装置Ａ１２はそれ以外の形態で実現されてもよい。検出装置Ａ１２は、例えば、スマートフォンやパーソナルコンピュータであってもよいし、車やロボット、ドローンなどであってもよい。
　（補足２）
　当然であるが、本開示において説明した実施の形態、補足などのその他の内容を複数組み合わせて、実施してもよい。
　そして、端末、アクセスポイント（ＡＰ）が通信を行うために、変調信号を送信する際、一つの変調信号を送信してもよいし、複数の変調信号を、複数のアンテナを用いて送信してもよい。したがって、ＭＩＭＯ（Multiple-Input Multiple-Output）の伝送方式を用いてもよい。したがって、端末、ＡＰは、複数の受信のアンテナを具備する構成であってもよい。
　また、本明細書において、説明を簡略化するために、端末、ＡＰ、基地局、装置、検出装置、機器と名づけて実施の形態の説明を行ったが、呼び名はこれに限ったものではない。例えば、「端末」は、基地局、アクセスポイント、携帯電話（ｍｏｂｉｌｅ　ｐｈｏｎｅ）・スマートフォン・タブレット等の通信・放送機器、テレビ、ラジオ、パーソナルコンピュータ等の通信機器、通信装置、中継器、サーバと呼んでもよい。また、「ＡＰ」は、基地局、端末、携帯電話・スマートフォン・タブレット等の通信・放送機器、テレビ、ラジオ、パーソナルコンピュータ等の通信機器、通信装置、中継器、サーバと呼んでもよい。そして、「基地局」は、ＡＰ、端末、携帯電話・スマートフォン・タブレット等の通信・放送機器、テレビ、ラジオ、パーソナルコンピュータ等の通信機器、通信装置、中継器、サーバと呼んでもよい。さらに、センシングを行う機器は、ＡＰ、基地局、端末、携帯電話・スマートフォン・タブレット等の通信・放送機器、テレビ、ラジオ、パーソナルコンピュータ等の通信機器、通信装置、中継器、サーバと呼んでもよい。「装置」、「検出装置」は、ＡＰ、基地局、端末、携帯電話・スマートフォン・タブレット等の通信・放送機器、テレビ、ラジオ、パーソナルコンピュータ等の通信機器、通信装置、中継器、サーバと呼んでもよい。「機器」「機器Ａ」は、ＡＰ、基地局、端末、携帯電話・スマートフォン・タブレット等の通信・放送機器、テレビ、ラジオ、パーソナルコンピュータ等の通信機器、通信装置、中継器、サーバ、電動バイク（e-バイク）、電動キックボード、掃除機、電気自動車、電動アシスト自転車、電動アシストキックボード、バイク、自動車、船、飛行機と呼んでもよい。
　各実施の形態については、あくまでも例であり、例えば、「変調方式、誤り訂正符号化方式（使用する誤り訂正符号、符号長、符号化率等）、制御情報など」を例示していても、別の「変調方式、誤り訂正符号化方式（使用する誤り訂正符号、符号長、符号化率等）、制御情報など」を適用した場合でも同様の構成で実施することが可能である。
　変調方式については、本明細書で記載している変調方式以外の変調方式を使用しても、本明細書において説明した実施の形態、その他の内容を実施することが可能である。例えば、ＡＰＳＫ（例えば、16APSK, 64APSK, 128APSK, 256APSK, 1024APSK, 4096APSKなど）、ＰＡＭ（例えば、4PAM, 8PAM, 16PAM, 64PAM, 128PAM, 256PAM, 1024PAM, 4096PAMなど）、ＰＳＫ（例えば、BPSK, QPSK, 8PSK, 16PSK, 64PSK, 128PSK, 256PSK, 1024PSK, 4096PSKなど）、ＱＡＭ（例えば、4QAM, 8QAM, 16QAM, 64QAM, 128QAM, 256QAM, 1024QAM, 4096QAMなど）などを適用してもよいし、各変調方式において、均一マッピング、非均一マッピングとしてもよい。また、Ｉ－Ｑ平面における２個、４個、８個、１６個、６４個、１２８個、２５６個、１０２４個等の信号点の配置方法（２個、４個、８個、１６個、６４個、１２８個、２５６個、１０２４個等の信号点をもつ変調方式）は、本明細書で示した変調方式の信号点配置方法に限ったものではない。
　また、本開示における送信装置、受信装置は、通信機能を有している機器であって、その機器が、テレビ、ラジオ、パーソナルコンピュータ、携帯電話等のアプリケーションを実行するための装置に何らかのインターフェースを解して接続できるような形態であることも考えられる。また、本実施の形態では、データシンボル以外のシンボル、例えば、パイロットシンボル（プリアンブル、ユニークワード、ポストアンブル、リファレンスシンボル、ミッドアンブル等）、制御情報用のシンボル、ヌルシンボルなどが、フレームにどのように配置されていてもよい。そして、ここでは、リファレンスシンボル、制御情報用のシンボルと名付けているが、どのような名付け方を行ってもよく、機能自身が重要となっている。
　リファレンスシンボル、リファレンス信号は、例えば、送受信機において、ＰＳＫ変調を用いて変調した既知のシンボルであればよく、受信機は、このシンボルを用いて、周波数同期、時間同期、各変調信号のチャネル推定（ＣＳＩ（Channel State Information）の推定）、信号の検出等を行う。または、リファレンスシンボル、リファレンス信号は、受信機が同期することによって、受信機は、送信機が送信したシンボルを知ることができてもよい。
　また、制御情報用のシンボルは、データ（アプリケーション等のデータ）以外の通信を実現するための、通信相手に伝送する必要がある情報（例えば、通信に用いている変調方式、誤り訂正符号化方式、誤り訂正符号化方式の符号化率、上位レイヤーでの設定情報等）を伝送するためのシンボルである。
　なお、本開示は各実施の形態に限定されず、種々変更して実施することが可能である。例えば、各実施の形態では、通信装置として行う場合について説明しているが、これに限られるものではなく、この通信方法をソフトウェアとして行うことも可能である。
　例えば、上記通信方法を実行するプログラムを予めＲＯＭに格納しておき、そのプログラムをＣＰＵによって動作させるようにしても良い。
　また、上記通信方法を実行するプログラムをコンピュータで読み取り可能な記憶媒体に格納し、記憶媒体に格納されたプログラムをコンピュータのＲＡＭに記録して、コンピュータをそのプログラムにしたがって動作させるようにしても良い。
　そして、上記の各実施の形態などの各構成は、典型的には、入力端子及び出力端子を有する集積回路であるＬＳＩとして実現されてもよい。これらは、個別に１チップ化されてもよいし、各実施の形態の全ての構成または一部の構成を含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡや、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
　なお、ＡＰ、端末が対応している送信方法は、ＯＦＤＭなどのマルチキャリア方式であってもよいし、シングルキャリア方式であってもよい。また、ＡＰ、端末は、マルチキャリア方式、シングルキャリア方式の両者に対応していてもよい。このときシングルキャリア方式の変調信号を生成する方法は、複数あり、いずれの方式の場合についても実施が可能である。例えば、シングルキャリア方式の例として、「DFT（Discrete Fourier Transform）-Spread OFDM（Orthogonal Frequency Division Multiplexing）」、「Trajectory Constrained DFT-Spread OFDM」、「OFDM based SC（Single Carrier）」、「SC（Single Carrier）-FDMA（Frequency Division Multiple Access）」、「Guard interval DFT-Spread OFDM」などがある。
　また、ＦＰＧＡ（Field Programmable Gate Array）およびＣＰＵ（Central Processing Unit）の少なくとも一方が、本開示において説明した通信方法を実現するために必要なソフトウェアの全部あるいは一部を無線通信または有線通信によりダウンロードできるような構成であってもよい。さらに、更新のためのソフトウェアの全部あるいは一部を無線通信または有線通信によりダウンロードできるような構成であってもよい。そして、ダウンロードしたソフトウェアを記憶部に格納し、格納されたソフトウェアに基づいてＦＰＧＡおよびＣＰＵの少なくとも一方を動作させることにより、本開示において説明したデジタル信号処理を実行するようにしてもよい。
　このとき、ＦＰＧＡおよびＣＰＵの少なくとも一方を具備する機器は、通信モデムと無線または有線で接続し、この機器と通信モデムにより、本開示において説明した通信方法を実現してもよい。
　例えば、本明細書で記載したＡＰ、端末などの通信装置が、ＦＰＧＡ、および、ＣＰＵのうち、少なくとも一方を具備しており、ＦＰＧＡ及びＣＰＵの少なくとも一方を動作させるためのソフトウェアを外部から入手するためのインターフェースを通信装置が具備していてもよい。さらに、通信装置が外部から入手したソフトウェアを格納するための記憶部を具備し、格納されたソフトウェアに基づいて、ＦＰＧＡ、ＣＰＵを動作させることで、本開示において説明した信号処理を実現するようにしてもよい。
　なお、本明細書で記載した「センシング」又は「センシング処理」は、物体の位置を検出する処理、物体の有無を検出する処理、物体の材質を予測する処理、物体の動きを検出する処理、センシング実施可能な装置周辺の状況を推定する処理、センシング実施可能な装置と物体の距離を推定する処理、又は、物体の外形を検出する処理、を少なくとも含む。なお、物体の位置を検出する処理では、物体の検出、物体の動きも同時に検出することが可能である場合がある。また、物体の有無を検出する処理、又は、物体の外形を検出する処理では、対象物を特定することも可能である。
　なお、上記実施の形態において、物体（人、動物、車など）を検出したら、シャッターをきる、つまり、静止画を撮影してもよい。また、物体を検出したら、動画を撮影してもよい。検出するのは、予め定められたジェスチャーであってもよい。
　また、センシングは、例えば、電波を用いた無線によるセンシングであってもよいし、より高い周波数を用いた、例えば、光を用いた無線によるセンシングであってもよい。
　図１４のようなセンシング用の装置と図１５のような通信用の装置を、例えば、インタフェースを介し、接続することで、センシングと通信が可能な図１６のようなセンシングと通信が可能な装置を実現してもよい。
　なお、空間のセンシングを利用する目的や用途、利用環境は多様化しており、用途や利用環境に応じて、検出対象となる物体や検出対象となる物体との距離、検出したい距離の精度、許容される遅延時間、または物体の検出と同時に取得したい情報などが異なる。そのため、空間のセンシングを利用する目的や用途、利用環境に応じて、センシング方法を切り替えたり、複数のセンシング方法を組み合わせたりして、目的に応じたセンシング結果を得られる送信装置および送信方法が必要とされている。
　上記態様の検出装置によると、電波を用いた物体との間の距離の検出と、画像情報を用いた検出位置の制御とを行うことで、距離の検出対象の物体を容易に特定して距離の検出を行うこともできる。
　例えば、タッチパネル等の表示部と入力部の機能を有する装置に表示された映像に基づいてユーザが検出対象の物体を指定、または選択する信号を入力する場合、電波を用いたセンシングを行う対象物をユーザが容易に指定できるようになる。
　また、例えば、撮像部で取得された画像情報を用いた画像処理により、検出対象となる物体を検出して、検出された物体との間の距離の測定を行う場合、画像情報に含まれる色や形状などの特徴量を物体の検出に用いることが可能となり、電波による検出のみを行う場合と比較して、物体の検出精度の向上や、物体の識別能力の向上を促進することができる。
　本開示において、三角測量について例を挙げて説明した。以下で、三角測量を用いて位置を測定または推定する別の方法について、図６６を用いて説明を行う。
　処理Ａ：
　図６６において、第１装置６６０１は、例えば、電波を用いて信号を送信する。そして、この信号は、第２装置６６０２に反射し、第１装置６６０１は、反射したこの信号を得ることで、「第１装置６６０１と第２装置６６０２の距離」を知ることになる。なお、第１装置６６０１は、第２装置６６０２と、「第１装置６６０１と第２装置６６０２の距離」の情報を共有してもよい。
　処理Ｂ：
　第１装置６６０１は、例えば、電波を用いて信号を送信する。そして、この信号は、ターゲット（物体）６６０３に反射し、第１装置６６０１は、反射したこの信号を得ることで、「第１装置６６０１とターゲット（物体）６６０３の距離」を知ることになる。なお、第１装置６６０１は、第２装置６６０２と、「第１装置６６０１とターゲット（物体）６６０３の距離」の情報を共有してもよい。
　処理Ｃ：
　第２装置６６０２は、例えば、電波を用いて信号を送信する。そして、この信号は、ターゲット（物体）６６０３に反射し、第２装置６６０２は、反射したこの信号を得ることで、「第２装置６６０２とターゲット（物体）６６０３の距離」を知ることになる。なお、第２装置６６０２は、第１装置６６０１と、「第２装置６６０２とターゲット（物体）６６０３の距離」の情報を共有してもよい。
　処理Ｄ：
　第１装置６６０１、および／または、第２装置６６０２は、処理Ａ、処理Ｂ、処理Ｃによって「第１装置６６０１と第２装置６６０２の距離」の情報、「第１装置６６０１とターゲット（物体）６６０３の距離」の情報、「第２装置６６０２とターゲット（物体）６６０３の距離」の情報を得ており、これらの情報を用いて三角測量を行い、ターゲット（物体）６６０３の位置を知ることができることになる。
　次に、上記と別の手法について説明する。
　処理Ｅ：
　第１装置６６０１、および／または、第２装置６６０２は、例えば、設置している時点で、「第１装置６６０１と第２装置６６０２の距離」の情報を保持しているものとする。
　処理Ｆ：
　第１装置６６０１は、例えば、電波を用いて信号を送信する。そして、この信号は、ターゲット（物体）６６０３に反射し、第１装置６６０１は、反射したこの信号を得ることで、「第１装置６６０１とターゲット（物体）６６０３の距離」を知ることになる。なお、第１装置６６０１は、第２装置６６０２と、「第１装置６６０１とターゲット（物体）６６０３の距離」の情報を共有してもよい。
　処理Ｇ：
　第２装置６６０２は、例えば、電波を用いて信号を送信する。そして、この信号は、ターゲット（物体）６６０３に反射し、第２装置６６０２は、反射したこの信号を得ることで、「第２装置６６０２とターゲット（物体）６６０３の距離」を知ることになる。なお、第２装置６６０２は、第１装置６６０１と、「第２装置６６０２とターゲット（物体）６６０３の距離」の情報を共有してもよい。
　処理Ｈ：
　第１装置６６０１、および／または、第２装置６６０２は、処理Ｅ、処理Ｆ、処理Ｇによって「第１装置６６０１と第２装置６６０２の距離」の情報、「第１装置６６０１とターゲット（物体）６６０３の距離」の情報、「第２装置６６０２とターゲット（物体）６６０３の距離」の情報を得ており、これらの情報を用いて三角測量を行い、ターゲット（物体）６６０３の位置を知ることができることになる。なお、第１装置６６０１おとび第２装置６６０２で一つの装置を構成していてもよい。
　本開示では、ジェスチャーと装置の動作とを連携させることについて説明した。以下では、ジェスチャーと装置の動作とを連携させるための登録処理の例について説明する。
　本開示の実施の形態７において、登録された第１のジェスチャーと、装置＃Ａの「音をならす」、または「振動する」などの動作である第１の動作とを連携させる例を説明した。このとき、第１のジェスチャーと装置＃Ａの動作とを組み合わせて連携動作として登録する処理は、例えば、機器＃Ａにおける機器の連携動作を設定するための設定画面などを用いて行われてもよい。
　例えば、ジェスチャーと機器の動作とを連携させるために、ユーザが機器＃Ａを操作して設定画面を開くと、設定画面に一または複数の候補ジェスチャーが表示される。ここで、ユーザが、設定画面に表示された一または複数の候補ジェスチャーの中から第１のジェスチャーを選択すると、装置＃Ａにおいて利用が許されている一または複数の候補動作が設定画面に表示される。ユーザが複数の候補動作の中から第１の動作を選択すると、第１のジェスチャーと第１の動作とを連携させるジェスチャーと機器動作の組み合わせとして決定するか否かの確認画面が表示され、ユーザが確認の入力を行うことで登録が行われる。
　なお、上述した設定画面を用いたジェスチャーと機器動作の連携の登録方法は、複数ある連携登録方法の一例であり、本開示におけるジェスチャーと機器動作の連携登録方法は、上記の方法に限定されない。
　例えば、ジェスチャーの選択後に連携させる動作を選択するのではなく、連携させる動作の選択後に、ジェスチャーを選択してもよい。この場合、連携させる動作を選択後に、連携させることが可能な複数のジェスチャー候補が設定画面に表示される。
　なお、この例のように、ジェスチャーと装置の動作とを連携させるための複数の処理の手順、複数の処理の順番は、本明細書で記載されているものに限ったものではない。
　また、ジェスチャーと機器動作の連携登録方法は、グラフィカルユーザインタフェイス（ＧＵＩ）を用いて提供されてもよい。ＧＵＩを用いる場合、例えば、複数のジェスチャー候補のそれぞれに対応するアイコンやブロック、複数の機器の動作候補のそれぞれに対応するアイコンやブロックなどが画面上に表示されており、これらのアイコンやブロックをタッチパネルやマウスなどの操作により移動させて接続したり、アイコンやブロック間を線などで表されるコネクタで接続したりすることで連携処理を記述し、記述された連携処理を登録できるようにしてもよい。
　なお、上記説明では、ジェスチャーと機器の動作を連携させる場合について説明したが、設定画面においてジェスチャーだけでなく、音声による指示など機器＃Ａが備える他のセンサーで検出可能な周囲の環境やユーザの行動などが、機器動作と連携可能な入力の候補として選択可能に提示されていてもよい。上記構成によると、ジェスチャー以外のユーザの行動や機器を利用している場所などに基づいて機器の動作を制御することが可能となるので、操作の簡略化や誤操作の抑制を実現できる可能性が高くなり、操作性の向上に貢献できる可能性がある。
　なお、上記説明では、ジェスチャーと機器動作の連携を機器＃Ａの設定画面で行う場合について説明したが、機器＃Ａとは異なる他の機器を用いて設定が行われてもよい。この場合、他の機器の設定画面において、他の機器から連携動作の設定が可能な複数の候補機器の中から設定を行う対象となる機器の選択がユーザにより行われる。
　また、例えば、実施の形態８で説明したセンシング可能な機器が存在する宅内などの空間において、センシング可能な機器が検出したジェスチャーなどのユーザの動作と、機器の動作との組み合わせを連携動作としてサーバなどに登録を行う場合、センシング可能な複数の機器またはセンサーの中からどの機器またはセンサーを連携登録するのかの選択と、利用可能な動作を提供する複数の機器の中からどの機器を連携登録するのかの選択がユーザにより行われる。
　例えば、連携登録を行うために、ユーザがスマートフォン、タブレット、コンピュータ、携帯電話などの機器で設定画面を開くと、設定画面に連携登録に利用可能な一または複数の候補機器または候補センサーが表示される。ユーザが、設定画面に表示された候補機器または候補センサーの中から第１の機器を選択すると、選択された第１の機器において検出可能な一または複数の候補ジェスチャーが表示される。ユーザが、設定画面に表示された一または複数の候補ジェスチャーの中から第１のジェスチャーを選択すると、連携させることができる一または複数の候補装置が設定画面に表示される。ユーザが、表示された複数の候補装置の中から装置＃Ａを選択すると、装置＃Ａにおいて利用が許されている一または複数の候補動作が設定画面に表示される。ユーザが複数の候補動作の中から第１の動作を選択すると、第１のジェスチャーと第１の動作とを連携させるジェスチャーと機器動作の組み合わせとして決定するか否かの確認画面が表示され、ユーザが確認の入力を行うことで登録が行われる。
　上記の構成によると、例えば、宅内などの対象空間に配置された連携可能な任意の機器またはセンサーで検出されたジェスチャーと、連携可能な任意の機器の動作との連携登録が可能となる。その結果、例えば、ジェスチャーの検出機能を備えていない機器に対してもジェスチャーに基づく動作の制御を行うことが可能となり、機器の操作性の向上などが可能となる。
　なお、上述した設定画面を用いたジェスチャーと機器及び機器動作の組み合わせの連携登録方法は、複数ある連携登録方法の一例であり、本開示におけるジェスチャーと機器及び機器動作の組み合わせの連携登録方法は、上記の方法に限定されない。
　例えば、連携させる機器またはセンサーを選択した後に選択された機器またはセンサーで検出可能なジェスチャー候補が表示される代わりに、複数の機器またはセンサーについて、機器またはセンサーごとに検出可能な一または複数のジェスチャー候補が同時に設定画面に表示されてもよい。同様に、連携させる機器を選択した後に選択された機器の動作候補が表示される代わりに、複数の機器について、機器ごとに選択可能な複数の動作が同時に設定画面に表示されてもよい。上記の構成によると、ユーザが一度の入力操作で連携させる機器と動作の組み合わせを選択できるようになり、操作が簡略化され、操作性が向上する可能性がある。また、ジェスチャーを選択後に、機器の動作を選択するのではなく、機器の動作を選択後に、ジェスチャーを選択してもよい。この場合、機器の動作を選択後に、連携させることが可能な複数の候補ジェスチャーが設定画面に表示される。
　また、複数のジェスチャーの組み合わせを機器動作と対応付ける場合、互いに異なる複数の機器またはセンサーで検出可能なジェスチャーを組み合わせて用いてもよい。
　複数の機器またはセンサーで検出可能なジェスチャーを組み合わせた連携動作の一例として、図５０または図５５において、ＡＰ（アクセスポイント）Ｎ７０１、オーディオＮ７０２のそれぞれがセンシング機能を備えている場合について説明する。
　ＡＰ（アクセスポイント）Ｎ７０１は、ＡＰ（アクセスポイント）Ｎ７０１が備える第１のセンサーで取得される第１のセンシングデータの時間的変化から事前に登録された第１の変化パターンを検出する。ここで、第１の変化パターンは、ユーザが第１のジェスチャーを行った場合に検出されるパターンであるものとする。なお、ここでは第１のセンシングデータから第１の変化パターンを検出する処理をＡＰ（アクセスポイント）Ｎ７０１が実施するとして説明しているが、検出処理は、例えば図５０のクラウドサーバＮ７２０、図５５のサーバＱ１０１センシングデータまたはその他の機器など他の機器で行われてもよい。この場合、ＡＰ（アクセスポイント）Ｎ７０１が、第１のセンシングデータをネットワークを介して他の機器に転送し、当該他の機器において第１のセンシングデータを用いて、第１の変化パターンを含む、一または複数の変化パターンの検出処理を行う。
　オーディオＮ７０２は、オーディオＮ７０２が備える第２のセンサーで取得される第２のセンシングデータの時間的変化から事前に登録された第２の変化パターンを検出する。ここで、第２の変化パターンは、ユーザが第１のジェスチャーを行った場合に検出されるパターンであるものとする。なお、ここでは第２のセンシングデータから第２の変化パターンを検出する処理をオーディオＮ７０２が実施するとして説明しているが、検出処理は、例えばＡＰ（アクセスポイント）Ｎ７０１、図５０のクラウドサーバＮ７２０、図５５のサーバＱ１０１センシングデータまたはその他の機器など他の機器で行われてもよい。この場合、オーディオＮ７０２が、第１のセンシングデータをネットワークを介して他の機器に転送し、当該他の機器において第１のセンシングデータを用いて、第２の変化パターンを含む、一または複数の変化パターンの検出処理を行う。なお、検出処理を行う他の機器は、セキュリティなどを考慮して、ＡＰ（アクセスポイント）Ｎ７０１のような直接無線通信が可能な機器や、直接有線の通信ケーブルで接続された機器に制限してもよい。
　ここで、互いに異なる複数の機器またはセンサーを組み合わせてジェスチャー検出に用いる第１の例について説明する。第１の例では、連携機能登録の際に、第１のセンシングデータからの第１の変化パターンの検出と、第２のセンシングデータからの第２の変化パターンの検出との両方が発生した場合に、例えば「オーディオＮ７０２が搭載している、例えば、スピーカから出力される音の音量を上げる、または、オーディオ出力端子から出力される音声信号で伝送される音声成分の振幅を大きくする」または「オーディオＮ７０２が搭載している、例えば、スピーカから出力される音の音量を下げる、または、オーディオ出力端子から出力される音声信号で伝送される音声成分の振幅を小さくする」などの第４の動作を行うように対応付けて登録する。すなわち、第１のセンシングデータから第１の変化パターンが検出され、第２のセンシングデータから第２の変化パターンが検出された場合に、オーディオＮ７０２で第４の動作が行われる。
　上記の構成における連携動作の一例として、ユーザが、第１のジェスチャーとは異なる第２のジェスチャーを行った場合について説明する。ユーザが第２のジェスチャーを行うと、ＡＰ（アクセスポイント）Ｎ７０１の位置からは第１のジェスチャーと類似したセンシング結果が取得され、オーディオＮ７０２の位置からは第１のジェスチャーと類似しないセンシング結果が取得されるとする。この場合、第１のセンシングデータのみを用いた判断では、第１の変化パターンが検出されてオーディオＮ７０２において第４の動作が実行される。これは、第２のジェスチャーを行ったユーザにとって意図しない動作である。一方、第１のセンシングデータに加えて第２のセンシングデータを用いる判断であれば、第２のセンシングデータからは第２の変化パターンが検出されないことになり、第４の動作は行われない。すなわち、上述した複数のセンシング機能を有する機器またはセンサーを用いてユーザのジェスチャーの判断を行い、判断結果を任意の機器の動作の連携させる構成によると、ユーザの意図しない機器動作の発生を抑制できる可能性がある。
　次に、互いに異なる複数の機器またはセンサーを組み合わせてジェスチャー検出に用いる第２の例について説明する。第２の例では、連携機能登録の際に、第１のセンシングデータから第１の変化パターンが検出され、且つ、第２のセンシングデータから第２の変化パターンが検出されなかった場合に、第４の動作を行うように対応付けて登録する。すなわち、第１のセンシングデータから第１の変化パターンが検出され、第２のセンシングデータから第２の変化パターンが検出されなかった場合に、オーディオＮ７０２で第４の動作が行われる。
　上記の構成における連携動作の一例として、ユーザが、オーディオＮ７０２の近い位置などの、ＡＰ（アクセスポイント）Ｎ７０１からセンシング可能であり、且つ、オーディオＮ７０２からもセンシング可能な位置で第１のジェスチャーを行う場合について説明する。この場合、第１のセンシングデータから第１の変化パターンが検出され、第２のセンシングデータから第２の変化パターンが検出されるため、オーディオＮ７０２は第４の動作を実行しない。次に、上記の構成における連携動作の別の例として、ユーザが、オーディオＮ７０２から離れた位置などの、ＡＰ（アクセスポイント）Ｎ７０１からセンシング可能であり、且つ、オーディオＮ７０２からはセンシングできない、つまり、オーディオＮ７０２のセンシング領域外の位置で第１のジェスチャーを行う場合について説明する。この場合、第１のセンシングデータから第１の変化パターンが検出され、第２のセンシングデータから第２の変化パターンが検出されないため、オーディオＮ７０２は第４の動作を実行する。
　上記説明では、ＡＰ（アクセスポイント）Ｎ７０１のセンシング結果から第１のジェスチャーが検出され、オーディオＮ７０２のセンシング結果から第１のジェスチャーが検出されない場合に、オーディオＮ７０２が第４の動作を行う場合を例に挙げて説明したが、本開示における複数のセンシング機能を有する機器またはセンサーを用いてユーザのジェスチャーが行われたかの判断を行い、判断結果を任意の機器の動作と連携させる構成はこの例に限定されない。
　例えば、オーディオＮ７０２の実施するセンシングがジェスチャーの検出は行わず、周囲に物体があるか否かのみを判断するセンシングであってもよい。この場合、「オーディオＮ７０２のセンシング結果から第１のジェスチャーが検出されない」という条件の代わりに、例えば、「オーディオＮ７０２のセンシング結果から周囲に物体が検出されない」という条件を用いる。ここで、「オーディオＮ７０２のセンシング結果から周囲に物体が検出されない」とは、例えば、実施の形態８または９で説明した初期センシングにおいて検出された物体以外の物体が検出されていない状態や、初期センシングの際に得られた第２のセンシングデータと類似した第２のセンシングデータが取得されている状態を示す。
　また、ＡＰ（アクセスポイント）Ｎ７０１のセンシング結果から第１のジェスチャーが検出され、オーディオＮ７０２のセンシング結果から第１のジェスチャーが検出された場合に、オーディオＮ７０２が第４の動作と異なる第５の動作を実施し、ＡＰ（アクセスポイント）Ｎ７０１のセンシング結果から第１のジェスチャーが検出され、オーディオＮ７０２のセンシング結果から第１のジェスチャーが検出されない場合に、オーディオＮ７０２が第４の動作を実施するとしてもよい。
　以上で説明したように、複数のセンシング機能を有する機器またはセンサーを用いてユーザがジェスチャーを行ったか否かの判断を行い、判断結果を任意の機器の動作の連携させる構成によると、ユーザが同じジェスチャーを行ってもユーザの位置や向き、姿勢などに応じて連携動作を実施するか否かを切り替えたり、ユーザの位置や向き、姿勢などに応じて実施する機器動作を切り替えたりすることができる。その結果、ユーザによる機器の操作性を向上させ、ユーザの意図しない機器動作の発生を抑制できる可能性がある。
　また、上述した、複数の機器またはセンサーのセンシングデータで検出可能な事象と機器動作の連携登録方法は、グラフィカルユーザインタフェイス（ＧＵＩ）を用いて提供されてもよい。ＧＵＩを用いる場合、例えば、複数の機器またはセンサーのセンシングデータで検出可能な事象の候補のそれぞれに対応するアイコンやブロック、複数の機器の動作候補のそれぞれに対応するアイコンやブロックなどが画面上に表示されており、これらのアイコンやブロックをタッチパネルやマウスなどの操作により移動させて接続したり、アイコンやブロック間を線などで表されるコネクタで接続したりすることで連携処理を記述し、記述された連携処理を登録できるようにしてもよい。
　上述した設定画面および連携登録方法では、例えば、指定されたジェスチャーが検出されたか否か、または指定された事象がセンシングデータを用いて検出されたか否かという条件判定を行い、検出された場合、または検出されなかった場合に指定された機器動作を行うという連携処理を記述して登録する機能を提供する例について説明した。しかしながら、本開示で登録可能な連携処理はこれに限られない。例えば、上述した設定画面および連携登録方法は、複雑な連携処理を記述するために、例えば、論理和、論理積、排他的論理和、否定などの任意の論理演算子を用いて、複数のジェスチャー間やジェスチャーと機器動作間の関係性を記述する機能を提供していてもよい。また、上述した設定画面および連携登録方法は、複雑な連携処理を記述するために、例えば、論理和、論理積、排他的論理和、否定などの任意の論理演算子を用いて、複数の事象間や事象と機器動作間の関係性を記述できる機能を提供してもよい。また、センシングデータに基づく条件判定に加えて、例えば、時刻情報に基づく条件判定やネットワークに接続されている機器の数や機器が備える機能などに基づく条件判定など任意の条件判定を組み合わせて用いてもよい。
　また、本開示において、センシングに用いるセンサーは電波を用いたセンシングに限定されない。例えば、ＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）などの光を用いたセンシングであってもよい。また、複数のセンサーを組み合わせて用いる場合、組み合わせるセンサーはどのようなものであってもよい。例えば、センサーとしてカメラを用いて、撮影された映像自体、当該映像に対して特徴量を抽出するための画像処理またはパターン認識などの画像処理を施して得られた結果をセンシングデータとして用いてもよい。また、例えばユーザが装着しているウェアラブル端末が備える、例えば、マイク、位置センサー、加速度センサー、筋電位センサー、温度センサーなどの任意のセンサーで得られたデータをセンシングデータとして用いてもよい。
　また、上記の説明では、複数のセンシングデータを用いて検出された事象を組み合わせた連携動作の登録を、ユーザが設定画面やＧＵＩなどを用いて登録する場合を例に挙げて説明したが、その他の方法で登録されてもよい。例えば、実施の形態７に記載された機器へのジェスチャーの登録処理において、自動的に作成されてもよい。例えば、実施の形態８または９で説明したシステムにおいて、ユーザがジェスチャーの登録開始を指示すると、ユーザがジェスチャーを行っている期間に、同一または互いに異なる複数の機器に備えられた第１のセンサーと第２のセンサーがそれぞれセンシングデータの取得を行い、それぞれのセンサーで得られたセンシングデータの時間的変化のパターンを記憶する。その後、登録されたジェスチャーが行われたか否かを判定は、第１のセンサーで得られたセンシングデータと第２のセンサーで取得されたセンシングデータを用いて行われる。上記構成によると、複数のセンシングデータを用いて検出された事象を組み合わせた連携動作の登録を簡単化することができるという効果が得られる。
　なお、電波を用いたセンシングを実施するセンサーを用いる場合、上述の処理において用いられるセンシングデータは、例えば点群やメッシュなどの任意の形式で表現される３次元の位置や形状を示すデータであってあってもよいし、受信信号に対して任意の信号処理を施して得られる、例えば、パイロットやリファレンス信号から推定された伝送路特性、基準信号と受信信号との相関値またはＯＦＤＭ信号におけるサブキャリア間の位相差などのデータであってもよい。また、センシングデータは、例えば、上述した初期センシングなどの移動する対象物が無い状態で得られたセンシング結果と、対象物の検出などのために行われている通常のセンシングで得られたセンシング結果との差分を抽出したデータであってもよい。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の送信装置などを実現するソフトウェアは、次のようなプログラムである。
　すなわち、このプログラムは、コンピュータに、ＯＦＤＭＡ（Orthogonal Frequency-Division Multiple Access）方式に準拠したフレームであって、時間及び周波数により規定されるリソースである時間周波数リソースを複数含むフレームを構成するフレーム構成ステップと、前記フレーム構成ステップで構成した前記フレームを電波により送信する送信ステップとを含み、前記フレーム構成ステップでは、通信データを含むシンボルが配置される時間周波数リソースである通信用リソースと、前記送信ステップで送信する電波によるセンシングのためのシンボルが配置される時間周波数リソースであるセンシング用リソースとを含むフレームを、前記フレームとして構成する送信方法を実行させるプログラムである。
　以上、一つまたは複数の態様に係る送信装置などについて、実施の形態に基づいて説明したが、本開示に基づいて把握されるであろう発明は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　本開示は、例えば、無線通信装置、有線通信装置およびそれらの装置を備える端末や機器において適用可能な発明を含む。
　Ａ３、Ｘ１０１、Ｘ２０１、Ｘ３０１、Ｙ１０１　送信装置
　Ａ１１、Ｎ７０３、Ｎ７３１　機器
　Ａ１１１、Ａ１２１、Ｎ１５１、Ｚ２０６　制御部
　Ａ１１２　駆動部
　Ａ１１３　センサ
　Ａ１１４　通信部
　Ａ１２　検出装置
　Ａ１２２、Ａ３４　処理部
　Ａ１２３　イメージセンサ
　Ａ１２４　アプリケーション記憶部
　Ａ１２５、Ｎ１０４、Ｘ２０４、Ｚ２０２　センシング部
　Ａ２１、Ｎ７０１、Ｙ１１０４、Ｚ１００　ＡＰ
　Ａ２２、Ｎ４０２、Ｎ７１０　ネットワーク
　Ａ２３、Ｎ７３０　基地局
　Ａ２４、Ｘ１００、Ｘ２００、Ｘ３００、Ｙ１１０１　装置
　Ａ３１　フレーム構成部
　Ａ３２　送信部
　Ａ３３　受信部
　Ｆ８１、Ｆ８２、Ｆ８３、Ｆ９１、Ｆ９２、Ｆ９３、Ｆ９４、Ｆ９５、Ｆ１０１、Ｆ１０２、Ｆ１０３、Ｆ１０４、Ｆ１０５、Ｆ１１１、Ｆ１１２、Ｆ１１３、Ｆ１１４、Ｆ１２１、Ｆ１２２、Ｆ１２３、Ｆ１２４、Ｆ１３１、Ｆ１３２、Ｆ１３３、Ｆ１３４、Ｆ１４１、Ｆ１４２、Ｆ１４３、Ｆ１４４、Ｆ１５１、Ｆ１５２、Ｆ１５３、Ｆ１５４、Ｆ１６１、Ｆ１６２、Ｆ１６３、Ｆ１６４、Ｆ１７１、Ｆ１７２、Ｆ１７３、Ｆ１７４、Ｆ１８１、Ｆ１８２、Ｆ１９１、Ｆ１９２、Ｆ２０１、Ｆ２０２、Ｆ２０３、Ｆ２１１、Ｆ２１２、Ｆ２１３　周波数帯
　Ｎ１００、Ｘ１０９、Ｘ３０９、Ｙ１００　制御信号
　Ｎ１０２、Ｚ２０１　送受信部
　Ｎ１０３、Ｙ１３０２　変調信号
　Ｎ１０６、Ｚ２０４　送信用信号選択部
　Ｎ１１０、Ｚ２０３　送受信アンテナ部
　Ｎ１１２、Ｚ２０５　受信用信号選択部
　Ｎ７２０　　サーバ
　Ｘ１０２＿１、Ｘ１０２＿Ｎ、Ｘ２０２＿１、Ｘ２０２＿Ｎ、Ｙ１０２　送信信号
　Ｘ１０３＿１、Ｘ１０３＿Ｎ、Ｘ１０４＿１、Ｘ１０４＿Ｎ、Ｙ１０３＿１、Ｙ１０３＿Ｍ、Ｙ１０４＿１、Ｙ１０４＿Ｎ　アンテナ
　Ｘ１０５＿１、Ｘ１０５＿Ｎ、Ｘ２０５＿１、Ｘ２０５＿Ｎ　受信信号
　Ｘ１０６、Ｘ２０６、Ｘ３０６、Ｙ１０６　受信装置
　Ｘ１０７、Ｘ２０７　推定信号
　Ｘ１０８、Ｘ２０８、Ｘ３０８　推定部
　Ｘ２１０　送信データ
　Ｙ１００２　第４装置
　Ｙ１０５＿１、Ｙ１０５＿Ｎ　受信信号群
　Ｙ１０７　物体推定情報
　Ｙ１０８　第１処理部
　Ｙ１０９　物体推定信号
　Ｙ１１０　レンズ制御部
　Ｙ１１０２　物体
　Ｙ１１０３、Ｚ１０１＿１、Ｚ１０１＿２、Ｚ１０１＿３　端末
　Ｙ１１１　エリア情報
　Ｙ１１２　選択部
　Ｙ１１３　表示部
　Ｙ１１４　エリア信号
　Ｙ１１５　選択エリア信号
　Ｙ１１６　第２処理部
　Ｙ１１７　推定距離情報
　Ｙ１１８　動作制御信号
　Ｙ１１９　レンズ部
　Ｙ１２０、Ｙ１２２　物体信号
　Ｙ１２０１　通信用リファレンスシンボル
　Ｙ１２０２　通信用制御情報シンボル
　Ｙ１２０３　通信用データシンボル
　Ｙ１２１　シャッター部
　Ｙ１２３　センサー部
　Ｙ１２４　画像情報
　Ｙ１２５　記憶部
　Ｙ２００　シャッター機能付センサー部
　Ｙ４００　通信装置
　Ｙ４０１　データベース
　Ｙ４０２　照会データ部
　Ｙ４０３　データ群
　Ｙ４０４　認識情報
　Ｙ７０１　第１装置
　Ｙ７０２　第２装置
　Ｙ７０３　第１インターフェース
　Ｙ７０４　第２インターフェース
　Ｙ８０１　第１’装置
　Ｙ８０２　第３装置
　Ｙ８０３　第３インターフェース
　Ｙ８０４　第４インターフェース
　Ｙ９０１　第１’’装置

Claims (9)

  1. 　ＯＦＤＭＡ（Orthogonal Frequency-Division Multiple Access）方式に準拠したフレームであって、時間及び周波数により規定されるリソースである時間周波数リソースを複数含むフレームを構成するフレーム構成部と、
    　前記フレーム構成部が構成した前記フレームを電波により送信する送信部とを備え、
    　前記フレーム構成部は、通信データを含むシンボルが配置される時間周波数リソースである通信用リソースと、前記送信部が送信する電波によるセンシングのためのシンボルが配置される時間周波数リソースであるセンシング用リソースとを含むフレームを、前記フレームとして構成する
    　送信装置。
  2. 　前記フレームは、２つのセンシング用リソースであって、前記２つのセンシング用リソースの時間が異なり、周波数が同じであり、ガード区間を挟んで時間方向に隣接して配置される２つのセンシング用リソースを少なくとも含んでいる
    　請求項１に記載の送信装置。
  3. 　前記フレームは、２つのガード区間であって、前記２つのガード区間の時間長が異なり、周波数が異なる２つのガード区間を含んでいる
    　請求項２に記載の送信装置。
  4. 　前記フレームは、２つのセンシング用リソースであって、前記２つのセンシング用リソースの周波数が異なり、時間長が異なる２つのセンシング用リソースを少なくとも含んでいる
    　請求項１～３のいずれか１項に記載の送信装置。
  5. 　前記送信装置は、さらに、
    　前記送信部が送信した前記電波の反射波を受信する受信部と、
    　前記受信部が受信した前記反射波を解析することで、センシング処理を実行する処理部とを備える
    　請求項１～４のいずれか１項に記載の送信装置。
  6. 　前記センシング処理は、前記受信部が受信した前記反射波を解析することで、物体の位置を検出する処理、物体の有無を検出する処理、又は、物体の外形を検出する処理を少なくとも含む
    　請求項５に記載の送信装置。
  7. 　前記送信装置は、さらに、
    　前記処理部による前記センシング処理の結果に基づいて電気機器の駆動を制御する制御部を備える
    　請求項５又は６に記載の送信装置。
  8. 　請求項７に記載の送信装置と、
    　前記送信装置の前記制御部による制御により駆動する前記電気機器とを備える
    　制御システム。
  9. 　ＯＦＤＭＡ（Orthogonal Frequency-Division Multiple Access）方式に準拠したフレームであって、時間及び周波数により規定されるリソースである時間周波数リソースを複数含むフレームを構成するフレーム構成ステップと、
    　前記フレーム構成ステップで構成した前記フレームを電波により送信する送信ステップとを含み、
    　前記フレーム構成ステップでは、通信データを含むシンボルが配置される時間周波数リソースである通信用リソースと、前記送信ステップで送信する電波によるセンシングのためのシンボルが配置される時間周波数リソースであるセンシング用リソースとを含むフレームを、前記フレームとして構成する
    　送信方法。
PCT/JP2019/048833 2018-12-13 2019-12-12 送信装置、制御システム、および送信方法 WO2020122220A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020559332A JPWO2020122220A1 (ja) 2018-12-13 2019-12-12 送信装置、制御システム、および送信方法
EP19895948.8A EP3896481A4 (en) 2018-12-13 2019-12-12 TRANSMISSION DEVICE, CONTROL SYSTEM AND TRANSMISSION METHOD
CN201980042518.2A CN112334787A (zh) 2018-12-13 2019-12-12 发送装置、控制系统、以及发送方法
US17/132,828 US20210149016A1 (en) 2018-12-13 2020-12-23 Transmitting apparatus, control system, and transmitting method
JP2024011493A JP2024050713A (ja) 2018-12-13 2024-01-30 撮影装置および方法
JP2024011492A JP2024056745A (ja) 2018-12-13 2024-01-30 駆動装置および駆動方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862779096P 2018-12-13 2018-12-13
US62/779,096 2018-12-13
US201962895673P 2019-09-04 2019-09-04
US62/895,673 2019-09-04
JP2019-204317 2019-11-11
JP2019204317 2019-11-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/132,828 Continuation US20210149016A1 (en) 2018-12-13 2020-12-23 Transmitting apparatus, control system, and transmitting method

Publications (1)

Publication Number Publication Date
WO2020122220A1 true WO2020122220A1 (ja) 2020-06-18

Family

ID=71075740

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048833 WO2020122220A1 (ja) 2018-12-13 2019-12-12 送信装置、制御システム、および送信方法

Country Status (5)

Country Link
US (1) US20210149016A1 (ja)
EP (1) EP3896481A4 (ja)
JP (3) JPWO2020122220A1 (ja)
CN (1) CN112334787A (ja)
WO (1) WO2020122220A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021215080A1 (ja) * 2020-04-24 2021-10-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 通信装置及びセンシング方法
WO2022015774A1 (en) * 2020-07-14 2022-01-20 Qualcomm Incorporated Using base stations for air-interface-based environment sensing without user equipment assistance
WO2022031856A1 (en) * 2020-08-07 2022-02-10 Qualcomm Incorporated Air-interface-based environment sensing assisted by device-equipped target object
WO2022116919A1 (zh) * 2020-12-01 2022-06-09 华为技术有限公司 通信方法、设备及系统
WO2023184483A1 (en) * 2022-04-01 2023-10-05 Zte Corporation Wireless communication and sensing method and device thereof

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527299B2 (en) * 2020-06-03 2022-12-13 Samsung Electronics Co., Ltd. Polar neural network decoder for memory devices
CN115134845A (zh) * 2021-03-25 2022-09-30 华为技术有限公司 通信方法以及通信装置
US11889377B2 (en) 2021-09-01 2024-01-30 Qualcomm Incorporated Wireless sensing bandwidth aggregation
GB202207168D0 (en) * 2022-05-16 2022-06-29 Novelda As Wireless communication
US20240125918A1 (en) * 2022-10-12 2024-04-18 Nxp B.V. Systems and methods for joint communication and sensing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180095161A1 (en) * 2016-07-27 2018-04-05 Raytheon Company System and method for concurrent communication of different signal types by a radar

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012030104A2 (ko) * 2010-09-01 2012-03-08 엘지전자 주식회사 무선통신 시스템에서 제어정보의 전송 방법 및 장치
TW201448621A (zh) * 2013-01-29 2014-12-16 Interdigital Patent Holdings 調度分頻間隙以賦能次頻帶感測
WO2014126514A1 (en) * 2013-02-15 2014-08-21 Telefonaktiebolaget L M Ericsson (Publ) A wireless device, a network node and methods therein for transmitting control information in a d2d communication
US20150063321A1 (en) * 2013-09-04 2015-03-05 Qualcomm Incorporated Radar detection
US10299158B2 (en) * 2016-12-02 2019-05-21 Qualcomm Incorporated Vehicle-to-vehicle (V2V) sensor sharing
US11057170B2 (en) * 2018-07-27 2021-07-06 Raytheon Company Multidimensional shared spectrum access

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180095161A1 (en) * 2016-07-27 2018-04-05 Raytheon Company System and method for concurrent communication of different signal types by a radar

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A. BOURDOUXK. PARASHARM. BAUDUIN: "Phenomenology of mutual interference of FMCW and PMCW automotive radars", 2017 IEEE RADAR CONFERENCE (RADAR CONF., 2017, pages 1709 - 1714, XP033104303, DOI: 10.1109/RADAR.2017.7944482
D. CAOT. LIP. KANGH. LIUS. ZHOUH. SU: "Single-Pulse Multi-Beams Operation of Phased Array Radar", CIE INTERNATIONAL CONFERENCE ON RADAR (RADAR, 2016, pages 1 - 4, XP033161994, DOI: 10.1109/RADAR.2016.8059597
DOKHANCHI SAYED HOSSEIN; SHANKAR M. R. BHAVANI; STIFTER THOMAS; OTTERSTEN BJORN: "OFDM-based automotive joint radar-communication system", 2018 IEEE RADAR CONFERENCE (RADARCONF18), IEEE, 23 April 2018 (2018-04-23), pages 0902 - 0907, XP033357004, DOI: 10.1109/RADAR.2018.8378680 *
HADIZADEHMOGHADDAM SEPEHR; ADVE RAVIRAJ S.: "Simultaneous execution of multiple radar tasks using OFDMA", 2017 IEEE RADAR CONFERENCE (RADARCONF), IEEE, 8 May 2017 (2017-05-08), pages 0622 - 0626, XP033104091, DOI: 10.1109/RADAR.2017.7944278 *
J. FINKF. K. JONDRAL: "Comparison of OFDM radar and chirp sequence radar", 2015 16TH INTERNATIONAL RADAR SYMPOSIUM (IRS, 2015, pages 315 - 320
S. SCHUSTERS. SCHEIBLHOFERR. FEGERA. STELZER: "Signal model and statistical analysis for the sequential sampling pulse radar technique", PROC. IEEE RADAR CONF, 2008, pages 1 - 6, XP031376309

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021215080A1 (ja) * 2020-04-24 2021-10-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 通信装置及びセンシング方法
WO2022015774A1 (en) * 2020-07-14 2022-01-20 Qualcomm Incorporated Using base stations for air-interface-based environment sensing without user equipment assistance
WO2022031856A1 (en) * 2020-08-07 2022-02-10 Qualcomm Incorporated Air-interface-based environment sensing assisted by device-equipped target object
WO2022116919A1 (zh) * 2020-12-01 2022-06-09 华为技术有限公司 通信方法、设备及系统
WO2023184483A1 (en) * 2022-04-01 2023-10-05 Zte Corporation Wireless communication and sensing method and device thereof

Also Published As

Publication number Publication date
JPWO2020122220A1 (ja) 2021-10-21
US20210149016A1 (en) 2021-05-20
EP3896481A1 (en) 2021-10-20
CN112334787A (zh) 2021-02-05
JP2024056745A (ja) 2024-04-23
JP2024050713A (ja) 2024-04-10
EP3896481A4 (en) 2022-03-02

Similar Documents

Publication Publication Date Title
WO2020122220A1 (ja) 送信装置、制御システム、および送信方法
US20170276764A1 (en) A system for output of audio and/or visual content
US9270357B2 (en) Method and apparatus for selecting multi-antenna transmission mode in electronic device
WO2021215080A1 (ja) 通信装置及びセンシング方法
US10433307B2 (en) Diversity based relay for wireless communications between a head-mounted display and a console
KR20220155252A (ko) 안테나를 구비하는 전자 기기
JP2009021653A (ja) 画像表示装置および無線通信システム
JP7405101B2 (ja) 通信装置、情報処理装置、及び情報処理方法
EP4027163A1 (en) Communication device and method of communication
Doppler et al. Future indoor network with a sixth sense: Requirements, challenges and enabling technologies
CN109672465B (zh) 一种调整天线增益的方法、设备及系统
US10720959B2 (en) Spread spectrum based audio frequency communication system
WO2021084887A1 (ja) 通信装置及び通信方法
JP2022505765A (ja) 電子機器、通信方法、及び媒体
EP4338434A1 (en) Acoustic configuration based on radio frequency sensing
US20220075445A1 (en) Method for controlling a virtualized reality system, and system for implementing the method
KR20230002660A (ko) 무선랜 시스템에서 센싱 프레임을 분류하는 방법 및 장치
CN114363457A (zh) 用于调整位置信息的方法、设备和系统
US8983381B2 (en) Multi-mode short-range wireless signal processing apparatus and method
US11805380B2 (en) Augmented audio for communications
WO2020112900A2 (en) Method for mirroring 3d objects to light field displays
WO2018156831A1 (en) Repeater management based on user localization
US11990152B2 (en) Classification of audio as originating from a human source or a non-human to avoid false wake-word detection
CN116266820A (zh) 用于路由多个诊断途径的装置、系统和方法
TW202311909A (zh) 映射聯網設備

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19895948

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020559332

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019895948

Country of ref document: EP

Effective date: 20210713