WO2020145431A1 - Rf 신호를 이용한 사용자 제스쳐 결정 방법 및 이를 위한 장치 - Google Patents

Rf 신호를 이용한 사용자 제스쳐 결정 방법 및 이를 위한 장치 Download PDF

Info

Publication number
WO2020145431A1
WO2020145431A1 PCT/KR2019/000321 KR2019000321W WO2020145431A1 WO 2020145431 A1 WO2020145431 A1 WO 2020145431A1 KR 2019000321 W KR2019000321 W KR 2019000321W WO 2020145431 A1 WO2020145431 A1 WO 2020145431A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
user gesture
determining
neural network
characteristic value
Prior art date
Application number
PCT/KR2019/000321
Other languages
English (en)
French (fr)
Inventor
이상림
이호재
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2019/000321 priority Critical patent/WO2020145431A1/ko
Publication of WO2020145431A1 publication Critical patent/WO2020145431A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to wireless communication, and more particularly, to a method for determining a user gesture using an RF signal and an apparatus therefor.
  • RNN Recurrent Neural Network
  • CNN Convolutional Neural Network
  • an input device has been developed through non-contact user gesture recognition.
  • a device for recognizing a user gesture through a camera such as Kinect
  • Kinect a device for recognizing a user gesture through a camera
  • Technical problem to be achieved in the present invention is to provide a user gesture determination method using an RF signal that is not affected by ambient light.
  • Another technical problem to be achieved in the present invention is to provide a method for detecting a user gesture with high accuracy using deep learning.
  • a method for determining a user gesture using the RF signal comprises learning a neural network to calculate a characteristic value corresponding to a radio frequency (RF) signal according to a user gesture on an input space, Transmitting an RF signal to the input space, receiving an RF signal reflected from the input space, using the learned neural network, obtaining a characteristic value corresponding to the received RF signal, and the acquired characteristic And determining a user gesture on the input space based on the value.
  • RF radio frequency
  • the step of learning the neural network may include mapping at least one RF signal according to a specific user gesture to at least one point on a virtual K dimension, wherein K is an integer of 1 or more and the mapped at least one RF signal.
  • the method may further include learning a boundary to determine a specific user gesture.
  • the obtaining of a characteristic value corresponding to the received RF signal may include extracting a difference between RF signals in a predetermined time unit using the received RF signal, and obtaining a characteristic value corresponding to the difference between the extracted RF signals. It may further include the step of obtaining.
  • the method for determining a user gesture using the RF signal may further include receiving first information related to the RF signal. At this time, the characteristic value may be obtained using the received first information and the learned neural network.
  • the first information includes sampling rate, bandwidth, carrier frequency, signal to noise ratio (SNR), Doppler value and reflection coefficients. It may include at least one of.
  • the method for determining a user gesture using the RF signal may further include generating second information for determining the validity of the characteristic value. At this time, the user gesture on the input space may be determined based on the generated second information and the characteristic value.
  • the step of learning the neural network may include receiving weight and bias values of at least one node constituting the neural network from an external server, and using the received weight value and bias value. It may further include the step of updating.
  • the method for determining a user gesture using an RF signal according to an aspect of the present invention has a technical effect of minimizing spatial limitations because it is based on a non-contact interface.
  • a user gesture determination method using an RF signal according to another aspect of the present invention is advantageous in terms of speed compared to a camera-based gesture recognition method.
  • the user gesture determination method using the RF signal according to another aspect of the present invention is advantageous in terms of performance due to nonlinear characteristic extraction and determination through learning compared to the camera-based gesture recognition method.
  • FIG. 1 is a diagram illustrating a system for implementing the present invention.
  • FIG. 2 exemplarily shows a structure of a subframe in which a data channel and a control channel are TDM.
  • FIG. 3 is a block diagram of an apparatus for determining a user gesture using an RF signal according to an aspect of the present invention.
  • FIG. 4 shows a pattern of a sampled RF signal received through an apparatus for determining a user gesture using an RF signal.
  • 5 to 6 are diagrams for explaining a method of learning an artificial neural network according to an aspect of the present invention.
  • FIG. 7 shows a method of determining an artificial neural network as a result of learning.
  • FIG. 8 is a flowchart illustrating an operation procedure of a learned artificial neural network according to an aspect of the present invention.
  • NBD neural network device
  • FIG. 10 is a diagram for describing a recognition module of an apparatus for determining a user gesture according to an aspect of the present invention.
  • FIG. 11 is a diagram for explaining a pattern classification module of an apparatus for determining a user gesture according to an aspect of the present invention.
  • FIGS. 12 to 13 are diagrams for describing an input RF signal of an apparatus for determining a user gesture according to an aspect of the present invention.
  • FIGS. 14 to 15 are diagrams for explaining that an apparatus for determining a user gesture according to an aspect of the present invention additionally receives domain expert knowledge related to an RF signal.
  • 16 is a view for explaining the validity detection of a device for determining a user gesture according to an aspect of the present invention.
  • 17 is a flowchart illustrating a method for determining a user gesture using an RF signal according to an aspect of the present invention.
  • the terminal collectively refers to a mobile or fixed user end device such as a user equipment (UE), a mobile station (MS), or an advanced mobile station (AMS).
  • UE user equipment
  • MS mobile station
  • AMS advanced mobile station
  • the base station refers to any node of a network terminal communicating with a terminal such as Node B, eNode B, Base Station, AP (Access Point), gNode B (gNB).
  • a user equipment In a mobile communication system, a user equipment (User Equipment) can receive information through a downlink from a base station, and the user equipment can also transmit information through an uplink.
  • the information transmitted or received by the terminal includes data and various control information, and various physical channels exist according to the type and purpose of the information transmitted or received by the terminal.
  • CDMA code division multiple access
  • FDMA frequency division multiple access
  • TDMA time division multiple access
  • OFDMA orthogonal frequency division multiple access
  • SC-FDMA single carrier frequency division multiple access
  • CDMA may be implemented by radio technology such as Universal Terrestrial Radio Access (UTRA) or CDMA2000.
  • TDMA may be implemented with wireless technologies such as Global System for Mobile communications (GSM)/General Packet Radio Service (GPRS)/Enhanced Data Rates for GSM Evolution (EDGE).
  • GPRS General Packet Radio Service
  • EDGE Enhanced Data Rates for GSM Evolution
  • OFDMA may be implemented with wireless technologies such as IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802-20, and Evolved UTRA (E-UTRA).
  • UTRA is part of the Universal Mobile Telecommunications System (UMTS).
  • UMTS Universal Mobile Telecommunications System
  • 3GPP 3rd Generation Partnership Project
  • LTE long term evolution
  • E-UMTS Evolved UMTS
  • LTE-A Advanced
  • 3GPP LTE Advanced
  • FIG. 1 is a diagram illustrating a system for implementing the present invention.
  • a wireless communication system includes a base station (BS) 10 and one or more terminals (UE) 20.
  • the transmitter can be part of the BS 10, and the receiver can be part of the UE 20.
  • the BS 10 may include a processor 11, a memory 12, and a radio frequency (RF) unit 13 (transmitter and receiver).
  • the processor 11 may be configured to implement the proposed procedures and/or methods described in the UE 20 herein.
  • the memory 12 is combined with the processor 11 to store various information for operating the processor 11.
  • the RF unit 13 is coupled to the processor 11 to transmit and/or receive radio signals.
  • the UE 20 may include a processor 21, a memory 22, and an RF unit 23 (transmitter and receiver).
  • the processor 21 can be configured to implement the proposed procedures and/or methods described in this application.
  • the memory 22 is combined with the processor 21 to store various information for operating the processor 21.
  • the RF unit 23 is coupled to the processor 21 to transmit and/or receive radio signals.
  • BS 10 and/or UE 20 may have a single antenna and multiple antennas. When at least one of BS 10 and UE 20 has multiple antennas, the wireless communication system may be referred to as a multiple input multiple output (MIMO) system.
  • MIMO multiple input multiple output
  • the processor 21 of the terminal and the processor 11 of the base station process signals and data except for functions and storage functions of the terminal 20 and the base station 10 to receive or transmit signals, respectively.
  • the processors 11 and 21 are not specifically mentioned below. It can be said that even if there is no mention of the processors 11 and 21, it performs a series of operations such as data processing, not a function of receiving or transmitting a signal.
  • next-generation 5G systems scenarios can be classified into Enhanced Mobile BroadBand (eMBB)/Ultra-reliable Machine-Type Communications (uMTC)/Massive Machine-Type Communications (mMTC).
  • eMBB is a next-generation mobile communication scenario with characteristics such as High Spectrum Efficiency, High User Experienced Data Rate, High Peak Data Rate
  • uMTC is a next-generation mobile communication scenario with characteristics such as Ultra Reliable, Ultra Low Latency, and Ultra High Availability ( For example, V2X, Emergency Service, Remote Control)
  • mMTC are next-generation mobile communication scenarios having low cost, low energy, short packet, and mass connectivity characteristics (for example, IoT).
  • FIG. 2 exemplarily shows a structure of a subframe in which a data channel and a control channel are TDM.
  • a structure in which a control channel and a data channel as shown in FIG. 2 are time-division multiplexed (TDM) as a purpose of minimizing latency may be considered as one of the frame structures. .
  • the hatched area indicates a transmission region of a physical downlink control channel (eg, Physical Downlink Control Channel (PDCCH)) for DCI (Downlink Control Information) delivery, and the last symbol is UCI (Uplink Control Information) delivery. It represents a transmission region of a physical uplink control channel (eg, Physical Uplink Control CHannel (PUCCH)).
  • the DCI which is control information that the eNB delivers to the UE, may include information about cell configuration that the UE needs to know, DL specific information such as DL scheduling, and UL specific information such as UL grant.
  • UCI which is control information that the UE transmits to the base station, may include ACK/NACK report of HARQ for DL data, CSI report for DL channel status, and scheduling request (SR).
  • a DL or UL section may be flexibly set for DL/UL flexibility in an area without a hatching mark.
  • a data channel for DL data transmission eg, a physical downlink shared channel
  • a data channel for UL data transmission eg, a physical uplink shared channel (Physical Uplink Shared CHannel, PUSCH)
  • PUSCH Physical Uplink Shared CHannel
  • the feature of this structure is that the DL transmission and the UL transmission are sequentially performed in one subframe, and the eNB can transmit DL data in the subframe and receive HARQ ACK/NACK signals for the DL data from the UE. As a result, when a data transmission error occurs, it takes less time to retransmit the data, thereby minimizing the latency of the final data transmission.
  • a time gap is required for a base station and a UE to switch from a transmission mode to a reception mode or a process to switch from a reception mode to a transmission mode.
  • some OFDM symbols at the time of switching from DL to UL are set as a guard period (GP).
  • Every computer device receives human input through an input device and drives the corresponding action.
  • the input device can be, for example, a mouse, keyboard or touch pad screen.
  • An input device such as a mouse, keyboard or touch pad screen can be viewed as a touch-based device.
  • a non-contact input device for example, a device that recognizes motion through a camera, such as Kinect.
  • Non-contact input devices are generally based on complex algorithms that involve more signal processing than contact input devices. Nevertheless, a non-contact input device has the advantage of providing a high degree of freedom for distance compared to a contact input device.
  • NND Neuronal network detector
  • a Neural Network device that extracts characteristics of radio signals in a physical layer according to a user's hand or finger movement based on radio frequency (RF).
  • the NND can classify an input pattern by extracting a change in a radio signal through a neural network.
  • the NND includes a device for confirming the movement of the user's hand or finger.
  • FIG. 3 shows a block diagram of the NND
  • FIG. 4 shows a pattern of a sampled RF signal.
  • the NND modulated signal is transmitted through the transmit antenna.
  • the transmit antenna may be provided with multiple antennas or one antenna.
  • a signal reflected or scattered by the user's hand or finger located at a distance from the NND is received through the receiving antenna.
  • the received signal is an input to a device composed of a neural network, and the neural network recognizes the user's hand or finger and determines movement.
  • the device according to the prior art is re-determined in the application layer after primarily extracting hand-crafted features such as radar.
  • hand-crafted features such as radar.
  • the NND proposed by the present invention it is possible to expect not only gain in terms of speed but also performance gain related to extraction and discrimination of nonlinear characteristics through learning.
  • the artificial neural network may be trained to calculate characteristic parameter values corresponding to RF signal values according to gestures.
  • Training data may consist of a pair of gestures and corresponding RF signals.
  • the Label value can be expressed as a general formula value. That is, depending on the type of label, the value can be expressed as an index.
  • a gesture of moving a hand down in virtual space and an RF signal corresponding thereto may be collected. This is a different operation and may correspond to a label different from the label moving to the right.
  • a gesture (or label) to be classified and an RF signal corresponding to each gesture may be configured as training data.
  • more than one data may be required to express the RF signal for each gesture.
  • various RF signal patterns may exist for one gesture according to various environmental factors according to the angle of the hand, the size of the hand, the surrounding environment, or the noise level in the virtual input space. And it is obvious that it is too complicated to mathematically model these various environmental factors.
  • FIG. 6 shows a method of training an artificial neural network based on the acquired training data.
  • a learning method may be referred to as a supervised learning method.
  • the characteristic parameters may be index values corresponding to gestures. It may also be an estimated value other than gesture. For example, when taking a gesture while wearing gloves, the other estimated value may be a value indicating whether or not the glove is worn. Alternatively, there may be a characteristic parameter that derives the value of the reflection coefficient itself according to the material worn on the hand. In addition, in relation to the presence or absence of a hand in the virtual input space, the RF signal when it exists and the RF signal when it does not exist can be learned as training data.
  • FIG. 7 shows a method of determining an artificial neural network as a result of learning. It is assumed that the artificial neural network is trained (learned) through three gestures (gesture 1 to gesture 3) and corresponding training data. Referring to FIG. 7, RF signals corresponding to a given gesture according to various environments are not the same. That is, multiple input data are generated even in the same gesture. 7 shows the results of mapping such RF signals to a 2-dimension value by an artificial neural network. Through learning, the decision boundary with the largest maximum likelihood is learned. The gesture corresponding to the newly input RF signal input may be determined through the artificial neural network previously learned by the above-described method.
  • FIG. 8 is a flow chart for explaining an operation procedure of an artificial neural network previously learned by the above-described method.
  • the neural network detector determines whether a hand or a finger is present in the virtual input space.
  • the presence or absence of a hand or finger may be determined through a neural network that has been previously learned based on an RF signal input as an input.
  • step 801 if there is no hand or finger in the virtual input space, step 801 may be performed again. At this time, in order to reduce the complexity, the NND may not be operated for a specific time.
  • the NND extracts a feature according to the movement of the hand or finger based on the corresponding RF signal.
  • features may be extracted through a neural network learned in advance.
  • step 804 if there is no extracted feature, step 801 may be performed again. On the other hand, if there is an extracted feature, in step 805, a classification value according to the extracted feature may be finally delivered to the device.
  • NBD neural network device
  • the NND may include a recognition module 901 and a pattern classification module 902.
  • the recognition module 901 can be a module that verifies whether a hand or finger is present in a virtual input space.
  • the pattern classification module 902 may be a module that detects validity and classifies hand or finger movement in a virtual input space.
  • 10 is a view for specifically describing a recognition module.
  • the recognition module can determine whether a hand or a finger is present in a virtual input space in response to a sampled RF signal being input.
  • the recognition module may be a module that performs step 801 of FIG. 8 described above.
  • a recognition module composed of at least one layer continuously outputs a result value (eg, a value between 0 and 1) for a sampled RF signal input through an activation function (eg, a sigmoid function).
  • a result value eg, a value between 0 and 1
  • an activation function eg, a sigmoid function
  • 11 is a view for specifically describing a pattern classification module.
  • the pattern classification module may be a module that receives a sampled RF signal as an input and extracts characteristics of the RF signal according to hand or finger movement in a virtual input space.
  • the pattern classification module may be a module that performs step 803 of FIG. 8 described above.
  • the sampled RF signal is directly input.
  • the length of the input data means that the data is input from the point where the hand or finger is present in the virtual input space to the point where the movement ends. It also means that the pattern classification module operates by receiving the same data.
  • the learning method of the neural network may vary depending on how the sampled RF signal is input. 12 to 13, a difference (difference) of an RF signal may be input. In other words, the difference between N samples of RF signals and N samples of samples after t1 may be used as an input.
  • the input size of the neural network to be learned also varies, and the characteristics of extraction can also vary.
  • Setting the size of the input may vary depending on the application. For example, assuming the same sampling rate, in case of having a resolution for a faster input, the feature can be extracted by dividing the sample division a little further (for example, 4/N as shown in FIG. 13). On the other hand, in case of having a relatively low resolution, it can be divided into 2/N as shown in FIG. 12. Alternatively, the sampling rate may be adjusted.
  • domain expert knowledge related to radio frequency when inputting a sampled RF signal, domain expert knowledge related to radio frequency may be additionally input.
  • domain expert knowledge can be utilized for maximum likelihood in learning and actual testing.
  • domain expert knowledge may be additionally input to enhance the performance of the recognition shown in FIG. 14 and the pattern classification module shown in FIG. 15.
  • Additional domain expert knowledge can be:
  • the above-described values may be added as a single value or may be input in multiple combinations. Meanwhile, in addition to the above-described values, values extracted by domain expert knowledge may be additionally input.
  • the validity of the recognition value and the pattern classification value may be additionally determined through additional output.
  • 16 shows the addition of validity detection in the recognition module.
  • an output value indicating the wearing of the glove may be obtained by setting an additional output value indicating whether the glove is worn. Based on this, it may be determined that the glove is worn, and if the setting of the corresponding application allows wearing the glove, it may be determined to be effective. If the glove is set to be disallowed, it can be determined that the recognition value is invalid even if it is valid.
  • the recognition value is valid only when it is within an effective distance set in the application.
  • the pattern classification module can also add validity judgment through other outputs.
  • a step of performing learning on the corresponding result in the learning step may be added.
  • the NND described with reference to FIGS. 3 to 16 may set different weights and bias numbers in the neural network according to the characteristics of the application (eg, type and setting of input/output).
  • the NND may set different values of the weight and bias learned according to the function of the application. Therefore, NND can request the number and value of the set weight and bias from the server.
  • the device may update the server by requesting weight and bias values optimized for the distance.
  • the Neural Network device may request newly learned weight and bias values from the server to recognize a new fabric type glove.
  • 17 is a flowchart illustrating a method for determining a user gesture using an RF signal according to an aspect of the present invention.
  • the method for determining a user gesture using the RF signal includes learning a neural network to calculate a characteristic value corresponding to a radio frequency (RF) signal according to a user gesture on an input space (s1710), and the RF signal as the input space Transmitting, receiving an RF signal reflected from the input space (s1720), using the trained neural network, obtaining a characteristic value corresponding to the received RF signal (s1730), and the acquired characteristic And determining a user gesture on the input space based on the value (s1740).
  • RF radio frequency
  • the step of learning the neural network may include mapping at least one RF signal according to a specific user gesture to at least one point in a virtual K-dimensionality, where K is an integer of 1 or more and the mapped at least one RF signal.
  • the method may further include learning a boundary to determine a specific user gesture.
  • the obtaining of a characteristic value corresponding to the received RF signal may include extracting a difference between RF signals in a predetermined time unit using the received RF signal, and obtaining a characteristic value corresponding to the difference between the extracted RF signals. It may further include the step of obtaining.
  • the method for determining a user gesture using the RF signal may further include receiving first information related to the RF signal. At this time, the characteristic value may be obtained using the received first information and the learned neural network.
  • the first information includes sampling rate, bandwidth, carrier frequency, signal to noise ratio (SNR), Doppler value and reflection coefficients. It may include at least one of.
  • the method for determining a user gesture using the RF signal may further include generating second information for determining the validity of the characteristic value. At this time, the user gesture on the input space may be determined based on the generated second information and the characteristic value.
  • the step of learning the neural network may include receiving weight and bias values of at least one node constituting the neural network from an external server and using the received weight value and bias value. It may further include the step of updating.
  • the present invention can be applied industrially in various wireless communication systems such as 3GPP LTE/LTE-A and 5G systems.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

RF 신호를 이용한 사용자 제스쳐 결정 방법 및 이를 위하나 장치가 개시된다. 상기 RF 신호를 이용한 사용자 제스쳐 결정 방법은 입력 공간상의 사용자 제스쳐에 따른 RF (Radio Frequency) 신호에 대응하는 특성 값을 산출하도록 신경망 (neural network)을 학습하는 단계, 상기 입력 공간으로 RF 신호를 전송하고, 상기 입력 공간으로부터 반사되는 RF 신호를 수신하는 단계, 상기 학습된 신경망을 이용하여, 상기 수신된 RF 신호에 대응하는 특성 값을 획득하는 단계 및 상기 획득된 특성 값에 기초하여, 상기 입력 공간상의 사용자 제스쳐를 결정하는 단계를 포함할 수 있다.

Description

RF 신호를 이용한 사용자 제스쳐 결정 방법 및 이를 위한 장치
본 발명은 무선통신에 관한 것으로, 보다 상세하게는, RF 신호를 이용한 사용자 제스쳐 결정 방법 및 이를 위한 장치에 관한 것이다.
더욱 많은 통신 기기들이 더욱 큰 통신 용량을 요구하게 됨에 따라 기존의 radio access technology (RAT)에 비해 향상된 mobile broadband 통신에 대한 필요성이 대두되고 있다. 또한 다수의 4G 이후의 차세대 이동통신 시스템에서는 다수의 송신자와 수신자가 네트워크를 구성하여 정보를 주고 받는 다자간 협력 통신을 가정하고 있는데 이는 정보 전송률을 극대화하고 통신 음영 지역이 잘 발생하지 않게 하고자 함이다. 정보이론에 따르면 이러한 통신 환경에서 모든 정보를 점대점 채널을 형성해서 전송하는 것보다 네트워크 상에서 다중점 채널을 적절히 형성해서 정보를 유동적으로 전송하는 것이 전송 속도를 더 높일 수 있는 방법이 되며 전체 네트워크의 채널 용량에 근접할 수 있게 된다. 그러나 이론적이 아닌 실용적인 측면에서 네트워크 채널 용량에 근접하는 부호의 설계는 아직까지 해결하지 못한 어려운 문제이며 앞으로 해결해야 할 중요한 문제 중 하나이다. 이에 따라 5G 등 가까운 미래의 통신 시스템에서는 여전히 점대점 채널에 최적화되어 있는 터보 코드나 LDPC (Low Density Parity Check) 코드가 사용될 것으로 예상된다.
최근 딥 러닝 (deep learning) 분야의 많은 어플리케이션이 개발되고 있다. 특히, 수학적으로 모델링하기 힘든 모델에 대해 RNN (Recurrent Neural Network), CNN (Convolutional Neural Network) 등을 이용한 학습을 통해 동작하는 어플리케이션이 개발되고 있다.
한편, 비 접촉 방식의 사용자 제스쳐 인식을 통한 입력 장치가 개발되고 있다. 종래 기술에 따르면, 키넥트 (Kinect)와 같이 카메라를 통해 사용자 제스쳐를 인식하는 장치가 개발된 바 있다. 그러나, 카메라를 통해 사용자 제스쳐를 인식하는 장치는 주변의 빛의 영향을 쉽게 받는다는 문제가 있다.
본 발명에서 이루고자 하는 기술적 과제는 주변의 빛의 영향을 받지 않는 RF 신호를 이용한 사용자 제스쳐 결정 방법을 제공하는 데 있다.
본 발명에서 이루고자 하는 다른 기술적 과제는 딥 러닝 (Deep learning)을 이용하여 높은 정확도로 사용자 제스쳐를 검출하는 방법을 제공하는 데 있다.
본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 달성하기 위한, 상기 RF 신호를 이용한 사용자 제스쳐 결정 방법은 입력 공간상의 사용자 제스쳐에 따른 RF (Radio Frequency) 신호에 대응하는 특성 값을 산출하도록 신경망 (neural network)을 학습하는 단계, 상기 입력 공간으로 RF 신호를 전송하고, 상기 입력 공간으로부터 반사되는 RF 신호를 수신하는 단계, 상기 학습된 신경망을 이용하여, 상기 수신된 RF 신호에 대응하는 특성 값을 획득하는 단계 및 상기 획득된 특성 값에 기초하여, 상기 입력 공간상의 사용자 제스쳐를 결정하는 단계를 포함할 수 있다.
상기 신경망을 학습하는 단계는 특정 사용자 제스쳐에 따른 적어도 하나의 RF 신호를 가상의 K차원상의 적어도 하나의 점에 맵핑하는 단계-상기 K는 1 이상의 정수- 및 상기 맵핑된 적어도 하나의 RF 신호를 상기 특정 사용자 제스쳐로 결정하기 위한 경계 (boundary)를 학습하는 단계를 더 포함할 수 있다.
상기 수신된 RF 신호에 대응하는 특성 값을 획득하는 단계는 상기 수신된 RF 신호를 이용하여, 소정 시간 단위로 RF 신호들의 차이를 추출하는 단계 및 상기 추출된 RF 신호들의 차이에 대응하는 특성 값을 획득하는 단계를 더 포함할 수 있다.
상기 RF 신호를 이용한 사용자 제스쳐 결정 방법은 상기 RF 신호와 관련된 제 1 정보를 추가적으로 수신하는 단계를 더 포함할 수 있다. 이 때, 상기 특성 값은 상기 수신된 제 1 정보 및 상기 학습된 신경망을 이용하여 획득될 수 있다.
상기 제 1 정보는 샘플링 레이트 (sampling rate), 대역폭 (bandwidth), 캐리어 주파수 (carrier frequency), 신호 대 잡음 비 (Signal to Noise Ratio, SNR), 도플러 값 (Doppler value) 및 반사 계수 (reflection coefficients) 중 적어도 하나를 포함할 수 있다.
상기 RF 신호를 이용한 사용자 제스쳐 결정 방법은 상기 특성 값의 유효성을 판단하기 위한 제 2 정보를 생성하는 단계를 더 포함할 수 있다. 이 때, 상기 입력 공간상의 사용자 제스쳐는 상기 생성된 제 2 정보 및 상기 특성 값에 기초하여 결정될 수 있다.
상기 신경망을 학습하는 단계는 상기 신경망을 구성하는 적어도 하나의 노드의 웨이트 (weight) 값 및 바이어스 (bias) 값을 외부 서버로부터 수신하는 단계 및 상기 수신된 웨이트 값 및 바이어스 값을 이용하여 상기 신경망을 업데이트하는 단계를 더 포함할 수 있다.
본 발명의 일 측면에 따른 RF 신호를 이용한 사용자 제스쳐 결정 방법은 비접촉식 인터페이스에 기초하기 때문에 공간적 제한을 최소화하는 기술적 효과가 있다.
본 발명의 다른 일 측면에 따른 RF 신호를 이용한 사용자 제스쳐 결정 방법은 카메라 기반의 제스쳐 인식 방법에 비해 속도 측면에서 유리하다.
본 발명의 다른 일 측면에 따른 RF 신호를 이용한 사용자 제스쳐 결정 방법은 카메라 기반의 제스쳐 인식 방법에 비해 학습을 통한 비선형적 특성 추출 및 결정으로 인해 성능 측면에서 유리하다.
본 발명에서 얻은 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명을 구현하기 위한 시스템을 예시한 도면이다.
도 2는 데이터 채널과 제어 채널이 TDM된 서브프레임의 구조를 예시적으로 나타낸 도면이다.
도 3은 본 발명의 일 측면에 따른 RF 신호를 이용하여 사용자 제스쳐를 결정하는 장치의 블록 다이어그램을 나타낸 것이다.
도 4는 RF 신호를 이용하여 사용자 제스쳐를 결정하는 장치를 통해 수신되는 sampled RF signal의 패턴을 나타낸 것이다.
도 5 내지 도 6은 본 발명의 일 측면에 따른 인공 신경망의 학습 방법을 설명하기 위한 도면이다.
도 7은 학습의 결과로 나타나는 인공신경망의 결정 방법을 나타낸다.
도 8은 본 발명의 일 측면에 따른 학습된 인공신경망의 동작 절차를 설명하기 위한 순서도이다.
도 9는 도 8에서 설명된 동작들을 구현하기 위한 neural network device (NND)의 구성을 나타낸 도면이다.
도 10은 본 발명의 일 측면에 따른 사용자 제스쳐를 결정하는 장치의 recognition module을 설명하기 위한 도면이다.
도 11은 본 발명의 일 측면에 따른 사용자 제스쳐를 결정하는 장치의 pattern classification module을 설명하기 위한 도면이다.
도 12 내지 도 13은 본 발명의 일 측면에 따른 사용자 제스쳐를 결정하는 장치의 입력 RF 신호를 설명하기 위한 도면이다.
도 14 내지 도 15는 본 발명의 일 측면에 따른 사용자 제스쳐를 결정하는 장치가 RF 신호와 관련된 도메인 지식(domain expert knowledge)를 추가적으로 수신하는 것을 설명하기 위한 도면이다.
도 16은 본 발명의 일 측면에 따른 사용자 제스쳐를 결정하는 장치의 유효성 검출을 설명하기 위한 도면이다.
도 17은 본 발명의 일 측면에 따른 RF 신호를 이용한 사용자 제스쳐 결정 방법을 설명하기 위한 순서도이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다. 예를 들어, 이하의 상세한 설명은 이동통신 시스템이 3GPP LTE, LTE-A, 5G 시스템인 경우를 가정하여 구체적으로 설명하나, 3GPP LTE, LTE-A의 특유한 사항을 제외하고는 다른 임의의 이동통신 시스템에도 적용 가능하다.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.
아울러, 이하의 설명에 있어서 단말은 UE(User Equipment), MS(Mobile Station), AMS(Advanced Mobile Station) 등 이동 또는 고정형의 사용자단 기기를 통칭하는 것을 가정한다. 또한, 기지국은 Node B, eNode B, Base Station, AP(Access Point), gNode B (gNB) 등 단말과 통신하는 네트워크 단의 임의의 노드를 통칭하는 것을 가정한다.
이동 통신 시스템에서 단말(User Equipment)은 기지국으로부터 하향링크(Downlink)를 통해 정보를 수신할 수 있으며, 단말은 또한 상향링크(Uplink)를 통해 정보를 전송할 수 있다. 단말이 전송 또는 수신하는 정보로는 데이터 및 다양한 제어 정보가 있으며, 단말이 전송 또는 수신하는 정보의 종류 용도에 따라 다양한 물리 채널이 존재한다.
이하의 기술은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 등과 같은 다양한 무선 접속 시스템에 사용될 수 있다. CDMA는 UTRA(Universal Terrestrial Radio Access)나 CDMA2000과 같은 무선 기술(radio technology)로 구현될 수 있다. TDMA는 GSM(Global System for Mobile communications)/GPRS(General Packet Radio Service)/EDGE(Enhanced 데이터 Rates for GSM Evolution)와 같은 무선 기술로 구현될 수 있다. OFDMA는 IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802-20, E-UTRA(Evolved UTRA) 등과 같은 무선 기술로 구현될 수 있다. UTRA는 UMTS(Universal Mobile Telecommunications System)의 일부이다. 3GPP(3rd Generation Partnership Project) LTE(long term evolution)는 E-UTRA를 사용하는 E-UMTS(Evolved UMTS)의 일부로서 하향링크에서 OFDMA를 채용하고 상향링크에서 SC-FDMA를 채용한다. LTE-A(Advanced)는 3GPP LTE의 진화된 버전이다.
또한, 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
도 1은 본 발명을 구현하기 위한 시스템을 예시한 도면이다.
도 1을 참조하면, 무선 통신 시스템은 기지국(BS) (10) 및 하나 이상의 단말(UE) (20)를 포함한다. 하향링크에서, 송신기는 BS (10)의 일부일 수 있고, 수신기는 UE (20)의 일부일 수 있다. 상향링크에서, BS (10)는 프로세서 (11), 메모리 (12), 및 무선 주파수 (RF) 유닛 (13)(송신기 및 수신기)을 포함 할 수 있다. 프로세서 (11)는 UE (20) 본 출원에 기재된 제안된 절차들 및/또는 방법들을 구현하도록 구성될 수 있다. 메모리 (12)는 프로세서 (11)와 결합되어 프로세서 (11)를 동작시키기 위한 다양한 정보를 저장한다. RF 유닛 (13)은 프로세서 (11)와 결합되어 무선 신호를 송신 및/또는 수신한다. UE (20)는 프로세서 (21), 메모리 (22) 및 RF 유닛 (23)(송신기 및 수신기)을 포함 할 수 있다. 프로세서 (21)는 본 출원에서 설명된 제안된 절차 및/또는 방법을 구현하도록 구성 될 수 있다. 메모리 (22)는 프로세서 (21)와 결합되어 프로세서 (21)를 동작시키기 위한 다양한 정보를 저장한다. RF 유닛 (23)은 프로세서 (21)와 결합되어 무선 신호를 송신 및/또는 수신한다. BS (10) 및/또는 UE (20)는 단일 안테나 및 다중 안테나를 가질 수 있다. BS (10) 및 UE (20) 중 적어도 하나가 다중 안테나를 갖는 경우, 무선 통신 시스템은 MIMO (multiple input multiple output) 시스템으로 불릴 수 있다.
본 명세서에서 단말의 프로세서(21)와 기지국의 프로세서(11)는 각각 단말(20) 및 기지국(10)이 신호를 수신하거나 송신하는 기능 및 저장 기능 등을 제외하고, 신호 및 데이터를 처리하는 동작을 수행하지만, 설명의 편의를 위하여 이하에서 특별히 프로세서(11, 21)를 언급하지 않는다. 특별히 프로세서(11, 21)의 언급이 없더라도 신호를 수신하거나 송신하는 기능이 아닌 데이터 처리 등의 일련의 동작들을 수행한다고 할 수 있다.
본 발명에서는 5세대(5G) 통신 시스템을 위한 새롭고 다양한 프레임 구조를 제안한다. 차세대 5G 시스템에서는 Enhanced Mobile BroadBand (eMBB)/Ultra-reliable Machine-Type Communications (uMTC)/Massive Machine-Type Communications (mMTC) 등으로 시나리오를 구분할 수 있다. eMBB는 High Spectrum Efficiency, High User Experienced Data Rate, High Peak Data Rate 등의 특성을 갖는 차세대 이동통신 시나리오이고, uMTC는 Ultra Reliable, Ultra Low Latency, Ultra High Availability 등의 특성을 갖는 차세대 이동통신 시나리오이며 (예를 들어, V2X, Emergency Service, Remote Control), mMTC는 Low Cost, Low Energy, Short Packet, Massive Connectivity 특성을 갖는 차세대 이동통신 시나리오이다(예를 들어, IoT).
도 2는 데이터 채널과 제어 채널이 TDM된 서브프레임의 구조를 예시적으로 나타낸 도면이다. 5G new RAT (NR)에서는 지연(latency)를 최소화하기 위한 목적으로서 도 2와 같은 제어 채널과 데이터 채널이 시간분할다중화(Time Division Multiplexing, TDM)되는 구조가 프레임 구조의 한 가지로서 고려될 수 있다.
도 2에서 빗금 친 영역은 DCI(Downlink Control Information) 전달을 위한 물리 하향링크 제어 채널 (예를 들어, Physical Downlink Control Channel (PDCCH))의 전송 영역을 나타내고, 마지막 심볼은 UCI(Uplink Control Information) 전달을 위한 물리 상향링크 제어 채널 (예를 들어, Physical Uplink Control CHannel (PUCCH))의 전송 영역을 나타낸다. 여기서 eNB가 UE에게 전달하는 제어 정보인 DCI는 UE가 알아야 하는 cell configuration 에 관한 정보, DL scheduling 등의 DL specific한 정보, 그리고 UL grant 등과 같은 UL specific 정보 등을 포함할 수 있다. 또한 UE가 기지국에게 전달하는 제어 정보인 UCI는 DL data에 대한 HARQ의 ACK/NACK report, DL 채널 상태에 대한 CSI report, 그리고 SR(Scheduling Request) 등을 포함할 수 있다.
도 2에서 해칭 표시가 없는 영역은 DL/UL flexibility 를 위해 DL 또는 UL 구간이 flexible하게 설정될 수 있다. 일 예로서, DL 데이터 전송을 위한 데이터 채널(예를 들어, 물리 하향링크 공유 채널 (Physical Downlink Shared Channel))로 사용될 수도 있고, UL 데이터 전송을 위한 데이터 채널(예를 들어, 물리 상향링크 공유 채널(Physical Uplink Shared CHannel, PUSCH))가 사용될 수도 있다. 이러한 구조의 특징은 한 개의 subframe 내에서 DL 전송과 UL 전송의 순차적으로 진행되어, eNB가 subframe 내에서 DL data를 보내고, UE로부터 상기 DL data에 대한 HARQ ACK/NACK 신호를 수신할 수 있다. 결과적으로 데이터 전송 에러 발생시에 데이터 재전송까지 걸리는 시간을 줄이게 되며, 이로 인해 최종 데이터 전달의 latency를 최소화할 수 있다.
이러한 self-contained subframe 구조에서 기지국과 UE가 송신 모드에서 수신모드로 전환 과정 또는 수신모드에서 송신모드로 전환 과정을 위한 time gap이 필요하다. 이를 위하여 self-contained subframe 구조에서 DL에서 UL로 전환되는 시점의 일부 OFDM symbol이 guard period(GP)로 설정되게 된다.
[Motivation]
모든 컴퓨터 장치는 입력 장치를 통해서 인간의 입력을 받아들이고 그것에 해당하는 행동을 구동한다. 입력 장치는 예를 들면, 마우스, 키보드 또는 터치 패드 스크린일 수 있다. 마우스, 키보드 또는 터치 패드 스크린과 같은 입력 장치는 접촉을 기반으로 하는 장치로 볼 수 있다. 한편, 비 접촉 방식의 입력 장치, 예를 들면, 키넥트 (Kinect)와 같이 카메라를 통해 모션을 인지하는 장치가 있을 수 있다. 비접촉식 입력 장치는 접촉식 입력 장치에 비해 일반적으로 더 많은 신호 처리를 포함하는 복잡한 알고리즘에 기초한다. 그럼에도 불구하고, 비접촉식 입력 장치는 접촉식 입력 장치에 비해 거리에 대한 높은 자유도를 제공하는 장점이 있다.
[Neural network detector, NND ]
본 발명의 일 측면에 따르면, RF (radio frequency)를 기반으로 사용자의 손 또는 손가락의 움직임에 따른 물리계층에서의 radio 신호의 특징을 추출하는 Neural Network device (NND)이 제안된다. 상기 NND는 radio 신호의 변화를 neural network을 통해 추출함으로써 입력 패턴을 분류할 수 있다. 또한, 상기 NND는 사용자의 손 또는 손가락의 움직임을 확인하는 장치를 포함한다. 도 3은 상기 NND의 블록 다이어그램을 나타낸 것이고, 도 4는 sampled RF signal의 패턴을 나타낸 것이다.
도 3에서 보는 것과 같이, NND는 modulated 된 신호가 송신 안테나를 통해 전송된다. 송신 안테나는 다중 안테나 또는 하나의 안테나로 구비될 수 있다. NND로부터 소정 거리에 위치한 사용자의 손 또는 손가락에 의해 반사되거나 스케터드 (scattered)된 신호가 수신 안테나를 통해 수신된다. 수신된 신호는 neural network으로 구성된 장치에 대한 입력이 되고, neural network은 사용자의 손 또는 손가락을 인지하고 움직임을 판별한다.
종래 기술에 따른 장치는 레이다 (RADAR)와 같이 hand-crafted된 특징을 일차적으로 추출한 이후에 어플리케이션 레이어 (Layer)에서 다시 판단한다. 반면, 본 발명에서 제안하는 NND에 따르면, 속도 측면에서의 이득뿐만 아니라 학습을 통한 비선형적 특성의 추출 및 판별과 관련된 성능 이득을 기대할 수 있다.
도 5 내지 도 6은 본 발명의 일 측면에 따른 인공 신경망의 학습 방법을 설명하기 위한 도면이다. 인공 신경망은 제스쳐 (gesture)에 따른 RF signal 값에 대응하는 특성 파라미터 값을 산출하도록 학습될 수 있다.
도 5는 학습을 위한 훈련 데이터를 수집하는 방법을 나타낸다. 훈련 데이터는 제스쳐 (gesture)와 그에 대응하는 RF signal의 쌍으로 구성될 수 있다.
예를 들면, 가상 입력 공간 (virtual input space)에 손이 오른쪽으로 움직이는 gesture가 Label 되고, 그에 대응하는 RF signal이 입력 데이터가 될 수 있다. 여기서, Label 값은 일반적인 수식 값으로 표현될 수 있다. 즉, label의 종류에 따라 그 값이 인덱스 (index)로 표현될 수 있다.
다른 예를 들면, 손을 가상공간에서 아래로 움직이는 gesture 및 그에 대응하는 RF signal이 수집될 수 있다. 이는 다른 동작으로, 상기 오른쪽으로 움직이는 label과 다른 label로 대응될 수 있다. 전술한 방법을 통해, 구분하고자 하는 gesture (또는 label) 및 각 gesture에 대응하는 RF signal이 훈련 데이터로 구성될 수 있다.
한편, 각 gesture마다 RF signal을 표현하기 위해서는 둘 이상의 데이터가 필요할 수 있다. 예를 들면, 가상 입력 공간 안의 손의 각도, 손의 크기, 주변 환경 또는 잡음 수준에 따른 여러 가지 환경적인 요인에 따라, 하나의 gesture에 대해 다양한 RF signal 패턴이 존재할 수 있다. 그리고, 이러한 다양한 환경적인 요소를 수학적으로 모델링 하기에는 너무 복잡한 것이 자명하다.
도 6은 획득된 훈련 데이터에 기초하여 인공신경망을 학습시키는 방법을 나타낸다. 인공신경망의 입력으로 gesture에 대응하는 RF signal을 입력하고, 그에 대응하는 label인 gesture의 값을 동시에 알려줌으로써, 인공신경망의 최종 출력인 특성 파라미터들이 높은 정확도로 추출되도록 하는 것이다. 이러한 학습 방법은 지도 학습방법으로 명명될 수 있다.
이 때, 특성 파라미터들은 gesture에 대응하는 index 값이 될 수 있다. 또한 gesture이외에 다른 추정된 값도 될 수 있다 예를 들면, 장갑을 낀 상태에서 gesture를 취할 때는 상기 다른 추정된 값은 장갑의 착용 여부를 나타내는 값이 될 수도 있다. 또는, 손에 착용한 재료에 따른 반사 계수의 값 자체를 도출하는 특성 파라미터가 있을 수도 있다. 또한, 가상 입력 공간 안에 손의 존재 여부와 관련하여, 존재할 때의 RF signal과 존재하지 않을 때의 RF signal이 훈련데이터로 학습될 수 있다.
도 7은 학습의 결과로 나타나는 인공신경망의 결정 방법을 나타낸다. 3개의 gesture (gesture 1 내지 gesture 3) 및 그에 대응하는 훈련 데이터들을 통해 인공신경망을 훈련(학습)시킨 것을 가정한다. 도 7을 참조하면, 여러 환경에 따라 주어진 gesture에 대응하는 RF signal들은 동일하지 않다. 즉, 동일 gesture에서도 여러 입력 데이터가 생성된다. 도 7에서는 그러한 RF signal들을 인공 신경망이 2-dimension 값으로 맵핑 (mapping)한 결과를 나타낸다. 학습을 통해서 maximum likelihood가 가장 큰 decision boundary가 학습된다. 전술한 방법으로 사전에 학습된 인공신경망을 통해, 새롭게 입력되는 RF signal input에 대응하는 gesture가 판별될 수 있다.
도 8은 전술한 방법으로 사전에 학습된 인공신경망의 동작 절차를 설명하기 위한 순서도이다.
단계 801에서, neural network detector (NND)는 가상 input space에 손 또는 손가락의 존재 여부를 판단한다. 손 또는 손가락의 존재 여부는 입력으로 들어온 RF 신호에 기초하여 사전에 학습된 neural network을 통해 판단될 수 있다.
단계 802에서, 가상 input space에 손 또는 손가락이 존재하지 않는다면, 단계 801이 다시 수행될 수 있다. 이 때, 복잡도를 줄이기 위해서 특정 시간 동안 NND가 동작 하지 않도록 설계될 수도 있다.
가상 input space에 손 또는 손가락이 존재한다고 판단된 경우, 단계 803에서, NND는 해당 RF 신호를 기초로 손 또는 손가락의 움직임에 따른 특징을 추출한다. 이 때, 사전에 학습된 neural network을 통해 특징이 추출될 수 있다.
단계 804에서, 추출된 특징이 아무것도 없는 경우, 단계 801이 다시 수행될 수 있다. 반면, 추출된 특징이 있는 경우, 단계 805에서는 추출된 특징에 따른 분류 값이 최종적으로 장치에 전달될 수 있다.
도 9는 도 8에서 설명된 동작들을 구현하기 위한 neural network device (NND)의 구성을 나타낸 도면이다.
도 9를 참조하면, NND는 recognition module (901) 및 pattern classification module (902)를 포함할 수 있다. recognition module (901)은 손 또는 손가락이 가상 input space 안에 존재하는 지 확인하는 모듈일 수 있다. pattern classification module (902)은 유효성 (validity)을 검출하고 가상 input space에서의 손 또는 손가락의 움직임을 분류하는 모듈일 수 있다.
도 10은 recognition module을 구체적으로 설명하기 위한 도면이다.
도 10에 도시된 것과 같이, recognition module은 sampled RF signal이 입력되는 것에 반응하여 손 또는 손가락이 가상 input space에 존재하는 지 판단할 수 있다. recognition module은 전술한 도 8의 단계 801을 수행하는 모듈일 수 있다. 예를 들면, 적어도 하나의 레이어로 구성되는 recognition module은 activation function (예를 들면, sigmoid function)을 통해 입력된 sampled RF signal에 대한 결과 값 (예를 들면, 0 내지 1 사이의 값)을 지속적으로 출력할 수 있다.
도 11은 pattern classification module을 구체적으로 설명하기 위한 도면이다.
도 11에 도시된 것과 같이, pattern classification module은 sampled RF signal을 입력으로 받아들여, 가상 input space에서의 손 또는 손가락의 움직임에 따른 RF 신호의 특징을 추출하는 모듈일 수 있다. pattern classification module은 전술한 도 8의 단계 803을 수행하는 모듈일 수 있다.
전술한 recognition module의 경우, sampled RF 신호를 직접 입력한다. 즉, 입력된 데이터의 길이가 손 or 손가락이 가상 input space에 존재하는 시점부터 움직임이 끝나는 시점까지의 데이터가 입력함을 의미한다. pattern classification module 역시 동일한 데이터를 입력 받아 동작함을 의미한다.
[Data input to the NND ]
recognition module 의 입력 방법에 대해 설명하도록 한다. sampled RF signal을 어떠한 방법으로 입력하는 지에 따라 본 발명의 일 측면에 따른 neural network의 학습 방법이 달라질 수 있다. 도 12 내지 도 13을 참조하면, RF 신호의 차이 (difference)가 입력될 수 있다. 다시 말해, t1 시점을 기준으로 RF 신호 sample N개와 그 이후에 sample N개의 차이가 입력으로 이용될 수 있다.
입력 sample의 크기에 따라, 학습할 Neural Network이 입력 사이즈도 달라지고, 추출하는 특징 역시 달라질 수 있다. 입력의 크기 설정은 응용 어플리케이션에 따라 달라질 수 있다. 예를 들면, 동일한 sampling rate을 가정하면, 더 빠른 입력에 대한 해상도를 가지는 경우에는 sample 분할을 조금 더 나누어서 (예를 들면, 도 13과 같이 4/N) 그 특징을 추출할 수 있다. 반면, 상대적으로 낮은 해상도를 가지는 경우는 도 12와 같이 2/N으로 분할할 수 있다. 또는, sampling rate이 조절될 수도 있다.
[Use of Domain expert knowledge]
도 14 내지 도 15를 참조하면, sampled RF signal의 입력 시 radio frequency와 관련된 도메인 지식(domain expert knowledge)가 추가적으로 입력될 수 있다. 본 발명의 일 측면에 따르면, domain expert knowledge는 학습 및 실제 테스트에서 maximum likelihood를 위해 활용될 수 있다.
예를 들면, 도 14에 도시된 recognition 및 도 15에 도시된 pattern classification module의 성능 강화를 위해 domain expert knowledge가 추가적으로 입력될 수 있다. 추가적인 domain expert knowledge는 다음과 같은 것이 될 수 있다.
(i) Sampling rate, bandwidth, carrier frequency, SNR
(ii) Doppler 값, reflection coefficients
본 발명의 일 측면에 따르면, 전술한 값들이 single value로 추가될 수도 있고 복수의 조합으로도 입력될 수 있다. 한편, 전술한 값 외에도 domain expert knowledge에 의해 추출된 값이 추가적으로 입력될 수 있다.
[Use of Validity check]
한편, 추가적인 출력을 통해 recognition 값과 pattern classification 값의 유효성이 추가로 판단될 수 있다. 도 16은 recognition module에서 유효성 검출을 추가한 것을 나타낸다.
예를 들면, 장갑을 착용한 상태에서도 입력을 유효하게 설정할 수 있는 어플리케이션이 있다고 가정하자. 해당 어플리케이션에서는 장갑 착용 여부를 알려주는 추가적인 출력 값을 설정으로써 장갑 착용을 알려주는 출력 값을 가질 수 있다. 이에 기초하여, 장갑을 착용하였는지 확인하고 해당 어플리케이션의 설정이 장갑 착용을 허용할 경우, 유효하다고 판단할 수 있다. 만약 장갑이 허용되지 않게 설정되었다면 recognition 값이 유효하더라도 유효하지 않다고 판별할 수 있다.
다른 일례로, NND와 손 또는 손가락의 거리를 출력으로 같이 추출함으로써, 어플리케이션에서 설정된 유효 거리 안에 있는 경우에만 recognition 값이 유효하다고 판단될 수도 있다.
한편, Pattern classification module 역시 다른 출력을 통해서 유효성 판단을 추가할 수 있다. 상기 추가적인 결과를 추출하기 위해서, 학습 단계에서 해당 결과에 대한 학습을 수행하는 단계가 추가될 수 있다.
[variable weight and bias based on the application characteristics]
한편, 어플리케이션의 특성에 따른 다운로드 가능한 weight와 bias 값이 고려될 수 있다.
도 3 내지 도 16을 통해 설명한 NND는 어플리케이션의 특성 (예를 들면, 입출력의 종류 및 설정)에 따라 Neural Network 내의 weight와 bias의 수를 다르게 설정할 수 있다. 또한, NND는 어플리케이션의 기능에 따라 학습된 weight 와 bias의 값도 다르게 설정할 수 있다. 따라서, NND는 설정한 weight와 bias의 수 및 값을 서버에게 요청할 수 있다.
예를 들면, 특정 거리에 최적 학습을 통해 설정한 weight와 bias 값들을 가지는 Neural Network 장치가 있다고 가정하자. 만약 가상 공간과 장치간의 새로운 거리 설정이 필요할 경우, 상기 장치는 서버로 해당 거리에 최적화된 weight와 bias값들을 요청하여 업데이트 할 수 있다. 다른 예로, Neural Network 장치는 새로운 직물 종류의 장갑을 인식하기 위해 새롭게 학습된 weight와 bias 값들을 서버에 요청 할 수 있다.
도 17은 본 발명의 일 측면에 따른 RF 신호를 이용한 사용자 제스쳐 결정 방법을 설명하기 위한 순서도이다.
상기 RF 신호를 이용한 사용자 제스쳐 결정 방법은 입력 공간상의 사용자 제스쳐에 따른 RF (Radio Frequency) 신호에 대응하는 특성 값을 산출하도록 신경망 (neural network)을 학습하는 단계 (s1710), 상기 입력 공간으로 RF 신호를 전송하고, 상기 입력 공간으로부터 반사되는 RF 신호를 수신하는 단계 (s1720), 상기 학습된 신경망을 이용하여, 상기 수신된 RF 신호에 대응하는 특성 값을 획득하는 단계 (s1730) 및 상기 획득된 특성 값에 기초하여, 상기 입력 공간상의 사용자 제스쳐를 결정하는 단계 (s1740)를 포함할 수 있다.
상기 신경망을 학습하는 단계는 특정 사용자 제스쳐에 따른 적어도 하나의 RF 신호를 가상의 K차원상의 적어도 하나의 점에 맵핑하는 단계-상기 K는 1 이상의 정수- 및 상기 맵핑된 적어도 하나의 RF 신호를 상기 특정 사용자 제스쳐로 결정하기 위한 경계 (boundary)를 학습하는 단계를 더 포함할 수 있다.
상기 수신된 RF 신호에 대응하는 특성 값을 획득하는 단계는 상기 수신된 RF 신호를 이용하여, 소정 시간 단위로 RF 신호들의 차이를 추출하는 단계 및 상기 추출된 RF 신호들의 차이에 대응하는 특성 값을 획득하는 단계를 더 포함할 수 있다.
상기 RF 신호를 이용한 사용자 제스쳐 결정 방법은 상기 RF 신호와 관련된 제 1 정보를 추가적으로 수신하는 단계를 더 포함할 수 있다. 이 때, 상기 특성 값은 상기 수신된 제 1 정보 및 상기 학습된 신경망을 이용하여 획득될 수 있다.
상기 제 1 정보는 샘플링 레이트 (sampling rate), 대역폭 (bandwidth), 캐리어 주파수 (carrier frequency), 신호 대 잡음 비 (Signal to Noise Ratio, SNR), 도플러 값 (Doppler value) 및 반사 계수 (reflection coefficients) 중 적어도 하나를 포함할 수 있다.
상기 RF 신호를 이용한 사용자 제스쳐 결정 방법은 상기 특성 값의 유효성을 판단하기 위한 제 2 정보를 생성하는 단계를 더 포함할 수 있다. 이 때, 상기 입력 공간상의 사용자 제스쳐는 상기 생성된 제 2 정보 및 상기 특성 값에 기초하여 결정될 수 있다.
상기 신경망을 학습하는 단계는 상기 신경망을 구성하는 적어도 하나의 노드의 웨이트 (weight) 값 및 바이어스 (bias) 값을 외부 서버로부터 수신하는 단계 및 상기 수신된 웨이트 값 및 바이어스 값을 이용하여 상기 신경망을 업데이트하는 단계를 더 포함할 수 있다.
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명은 본 발명의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
발명의 실시를 위한 다양한 형태가 상기 발명의 실시를 위한 최선의 형태에서 설명되었다.
상기 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
본 발명은 3GPP LTE/LTE-A, 5G 시스템 등 다양한 무선통신 시스템에서 산업상으로 적용이 가능하다.

Claims (14)

  1. 입력 공간상의 사용자 제스쳐에 따른 RF (Radio Frequency) 신호에 대응하는 특성 값을 산출하도록 신경망 (neural network)을 학습하는 단계;
    상기 입력 공간으로 RF 신호를 전송하고, 상기 입력 공간으로부터 반사되는 RF 신호를 수신하는 단계;
    상기 학습된 신경망을 이용하여, 상기 수신된 RF 신호에 대응하는 특성 값을 획득하는 단계; 및
    상기 획득된 특성 값에 기초하여, 상기 입력 공간상의 사용자 제스쳐를 결정하는 단계를 포함하는, RF 신호를 이용한 사용자 제스쳐 결정 방법.
  2. 제 1 항에 있어서,
    상기 신경망을 학습하는 단계는,
    특정 사용자 제스쳐에 따른 적어도 하나의 RF 신호를 가상의 K차원상의 적어도 하나의 점에 맵핑하는 단계;-상기 K는 1 이상의 정수- 및
    상기 맵핑된 적어도 하나의 RF 신호를 상기 특정 사용자 제스쳐로 결정하기 위한 경계 (boundary)를 학습하는 단계를 더 포함하는, RF 신호를 이용한 사용자 제스쳐 결정 방법.
  3. 제 1 항에 있어서,
    상기 수신된 RF 신호에 대응하는 특성 값을 획득하는 단계는,
    상기 수신된 RF 신호를 이용하여, 소정 시간 단위로 RF 신호들의 차이를 추출하는 단계; 및
    상기 추출된 RF 신호들의 차이에 대응하는 특성 값을 획득하는 단계를 더 포함하는, RF 신호를 이용한 사용자 제스쳐 결정 방법.
  4. 제 1 항에 있어서,
    상기 RF 신호와 관련된 제 1 정보를 추가적으로 수신하는 단계를 더 포함하고,
    상기 특성 값은 상기 수신된 제 1 정보 및 상기 학습된 신경망을 이용하여 획득되는, RF 신호를 이용한 사용자 제스쳐 결정 방법.
  5. 제 4 항에 있어서,
    상기 제 1 정보는 샘플링 레이트 (sampling rate), 대역폭 (bandwidth), 캐리어 주파수 (carrier frequency), 신호 대 잡음 비 (Signal to Noise Ratio, SNR), 도플러 값 (Doppler value) 및 반사 계수 (reflection coefficients) 중 적어도 하나를 포함하는, RF 신호를 이용한 사용자 제스쳐 결정 방법.
  6. 제 1 항에 있어서,
    상기 특성 값의 유효성을 판단하기 위한 제 2 정보를 생성하는 단계를 더 포함하고,
    상기 입력 공간상의 사용자 제스쳐는 상기 생성된 제 2 정보 및 상기 특성 값에 기초하여 결정되는, RF 신호를 이용한 사용자 제스쳐 결정 방법.
  7. 제 1 항에 있어서,
    상기 신경망을 학습하는 단계는,
    상기 신경망을 구성하는 적어도 하나의 노드의 웨이트 (weight) 값 및 바이어스 (bias) 값을 외부 서버로부터 수신하는 단계; 및
    상기 수신된 웨이트 값 및 바이어스 값을 이용하여 상기 신경망을 업데이트하는 단계를 더 포함하는, RF 신호를 이용한 사용자 제스쳐 결정 방법.
  8. RF (Radio Frequency) 신호를 이용하여 사용자 제스쳐를 결정하는 장치에 있어서,
    RF 유닛 및 프로세서를 포함하고,
    상기 프로세서는,
    입력 공간상의 사용자 제스쳐에 따른 RF (Radio Frequency) 신호에 대응하는 특성 값을 산출하도록 신경망 (neural network)을 학습하고,
    상기 RF 유닛을 제어하여 상기 입력 공간으로 RF 신호를 전송하고, 상기 입력 공간으로부터 반사되는 RF 신호를 수신하고,
    상기 학습된 신경망을 이용하여, 상기 수신된 RF 신호에 대응하는 특성 값을 획득하고,
    상기 획득된 특성 값에 기초하여, 상기 입력 공간상의 사용자 제스쳐를 결정하는, RF 신호를 이용하여 사용자 제스쳐를 결정하는 장치.
  9. 제 8 항에 있어서,
    상기 프로세서는,
    특정 사용자 제스쳐에 따른 적어도 하나의 RF 신호를 가상의 K차원상의 적어도 하나의 점에 맵핑하고,-상기 K는 1 이상의 정수-
    상기 맵핑된 적어도 하나의 RF 신호를 상기 특정 사용자 제스쳐로 결정하기 위한 경계 (boundary)를 학습하는, RF 신호를 이용하여 사용자 제스쳐를 결정하는 장치.
  10. 제 8 항에 있어서,
    상기 프로세서는,
    상기 수신된 RF 신호를 이용하여, 소정 시간 단위로 RF 신호들의 차이를 추출하고,
    상기 추출된 RF 신호들의 차이에 대응하는 특성 값을 획득하는, RF 신호를 이용하여 사용자 제스쳐를 결정하는 장치.
  11. 제 8 항에 있어서,
    상기 프로세서는,
    상기 RF 신호와 관련된 제 1 정보를 추가적으로 수신하고,
    상기 수신된 제 1 정보 및 상기 학습된 신경망을 이용하여 상기 특성 값을 획득하는, RF 신호를 이용하여 사용자 제스쳐를 결정하는 장치.
  12. 제 11 항에 있어서,
    상기 제 1 정보는 샘플링 레이트 (sampling rate), 대역폭 (bandwidth), 캐리어 주파수 (carrier frequency), 신호 대 잡음 비 (Signal to Noise Ratio, SNR), 도플러 값 (Doppler value) 및 반사 계수 (reflection coefficients) 중 적어도 하나를 포함하는, RF 신호를 이용하여 사용자 제스쳐를 결정하는 장치.
  13. 제 8 항에 있어서,
    상기 프로세서는,
    상기 특성 값의 유효성을 판단하기 위한 제 2 정보를 생성하고,
    상기 생성된 제 2 정보 및 상기 특성 값에 기초하여 상기 입력 공간상의 사용자 제스쳐를 결정하는, RF 신호를 이용하여 사용자 제스쳐를 결정하는 장치.
  14. 제 8 항에 있어서,
    상기 프로세서는,
    상기 신경망을 구성하는 적어도 하나의 노드의 웨이트 (weight) 값 및 바이어스 (bias) 값을 외부 서버로부터 수신하고,
    상기 수신된 웨이트 값 및 바이어스 값을 이용하여 상기 신경망을 업데이트하는, RF 신호를 이용하여 사용자 제스쳐를 결정하는 장치.
PCT/KR2019/000321 2019-01-09 2019-01-09 Rf 신호를 이용한 사용자 제스쳐 결정 방법 및 이를 위한 장치 WO2020145431A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/000321 WO2020145431A1 (ko) 2019-01-09 2019-01-09 Rf 신호를 이용한 사용자 제스쳐 결정 방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/000321 WO2020145431A1 (ko) 2019-01-09 2019-01-09 Rf 신호를 이용한 사용자 제스쳐 결정 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
WO2020145431A1 true WO2020145431A1 (ko) 2020-07-16

Family

ID=71520461

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/000321 WO2020145431A1 (ko) 2019-01-09 2019-01-09 Rf 신호를 이용한 사용자 제스쳐 결정 방법 및 이를 위한 장치

Country Status (1)

Country Link
WO (1) WO2020145431A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113971437A (zh) * 2021-09-24 2022-01-25 西北大学 一种基于商用Wi-Fi设备的跨域手势识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090251407A1 (en) * 2008-04-03 2009-10-08 Microsoft Corporation Device interaction with combination of rings
KR20130032992A (ko) * 2011-09-26 2013-04-03 (주)엠아이웨어 공간 마우스 장치
KR20170132191A (ko) * 2015-04-30 2017-12-01 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
KR20180088390A (ko) * 2015-10-30 2018-08-03 오스텐도 테크놀로지스 인코포레이티드 인체 부착 제스처 인터페이스 및 프로젝션 디스플레이를 위한 시스템 및 방법
KR20180101171A (ko) * 2017-03-02 2018-09-12 삼성전자주식회사 제스처를 인식하기 위한 방법 및 그 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090251407A1 (en) * 2008-04-03 2009-10-08 Microsoft Corporation Device interaction with combination of rings
KR20130032992A (ko) * 2011-09-26 2013-04-03 (주)엠아이웨어 공간 마우스 장치
KR20170132191A (ko) * 2015-04-30 2017-12-01 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
KR20180088390A (ko) * 2015-10-30 2018-08-03 오스텐도 테크놀로지스 인코포레이티드 인체 부착 제스처 인터페이스 및 프로젝션 디스플레이를 위한 시스템 및 방법
KR20180101171A (ko) * 2017-03-02 2018-09-12 삼성전자주식회사 제스처를 인식하기 위한 방법 및 그 전자 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113971437A (zh) * 2021-09-24 2022-01-25 西北大学 一种基于商用Wi-Fi设备的跨域手势识别方法
CN113971437B (zh) * 2021-09-24 2024-01-19 西北大学 一种基于商用Wi-Fi设备的跨域手势识别方法

Similar Documents

Publication Publication Date Title
WO2021091172A1 (en) Method and apparatus for fast beam management
WO2017150911A1 (en) Method and apparatus for uplink channel accessin wireless communication system
US20210227531A1 (en) Uplink information sending method and terminal
WO2017086662A1 (ko) 무선 통신 시스템에서 방송 정보 수신을 위한 방법 및 장치
WO2019076169A1 (zh) 同步信号块的处理方法、同步信号块的指示方法及装置
WO2019226029A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 단말이 사이드링크 신호를 송수신하는 방법 및 이를 위한 장치
WO2019190210A1 (en) Methods of radio front-end beam sweeping for 5g terminals
WO2019225842A1 (ko) 무선 통신 시스템에서 빔포밍을 적용한 통신 방법 및 장치
WO2020091270A1 (ko) 무선 통신 시스템에서 다중 주파수 부분대역을 지원하는 방법 및 장치
WO2020226363A1 (en) Enhancement of flexibility to change sts index/counter for ieee 802.15.4z
WO2020045881A1 (en) Method and electronic device for forming beam in wireless communication system
WO2022060103A1 (en) Enhancing scheduling flexibility for operation with carrier aggregation
WO2020032645A1 (ko) 무선통신 시스템에서 동기화 신호 블록 지시 방법 및 장치
WO2020080838A1 (en) Apparatus for signaling of control messages for fronthaul interface
WO2020145431A1 (ko) Rf 신호를 이용한 사용자 제스쳐 결정 방법 및 이를 위한 장치
WO2021162476A1 (en) User equipment and method for performing sidelink measurements in v2x communication
WO2018070853A1 (ko) 무선 셀룰러 통신 시스템에서 네트워크 지원 간섭 제거 및 억제를 위한 방법 및 장치
KR20220129031A (ko) 주파수 도메인 자원 처리 방법, 주파수 도메인 자원 설정 방법 및 관련 장치
WO2019156468A1 (ko) 실시간으로 안테나를 전환하기 위한 단말 방법 및 장치
EP3878131A1 (en) Method and apparatus for providing a positioning reference signal
WO2019132511A1 (ko) 무선 통신 시스템의 초기 접속 방법 및 장치
KR102565255B1 (ko) 유저단말 및 무선 통신 방법
WO2021246774A1 (ko) 무선 통신 시스템에서 iab 노드의 이중 접속을 이용한 데이터 송수신 방법 및 장치
EP4007341A1 (en) User equipment in wireless communication system, electronic apparatus, method, and storage medium
WO2021167135A1 (ko) 무선 통신 시스템에서 무선 신호를 송수신하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19908661

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19908661

Country of ref document: EP

Kind code of ref document: A1