WO2021033797A1 - 낮은-비트 양자화 시스템에서의 신호 송수신 방법 및 이를 위한 장치 - Google Patents

낮은-비트 양자화 시스템에서의 신호 송수신 방법 및 이를 위한 장치 Download PDF

Info

Publication number
WO2021033797A1
WO2021033797A1 PCT/KR2019/010566 KR2019010566W WO2021033797A1 WO 2021033797 A1 WO2021033797 A1 WO 2021033797A1 KR 2019010566 W KR2019010566 W KR 2019010566W WO 2021033797 A1 WO2021033797 A1 WO 2021033797A1
Authority
WO
WIPO (PCT)
Prior art keywords
snn
signal
output value
input signal
sequence
Prior art date
Application number
PCT/KR2019/010566
Other languages
English (en)
French (fr)
Inventor
이상림
김병훈
김성진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US17/637,420 priority Critical patent/US12003277B2/en
Priority to PCT/KR2019/010566 priority patent/WO2021033797A1/ko
Publication of WO2021033797A1 publication Critical patent/WO2021033797A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/516—Details of coding or modulation
    • H04B10/548—Phase or frequency modulation
    • H04B10/556—Digital modulation, e.g. differential phase shift keying [DPSK] or frequency shift keying [FSK]
    • H04B10/5561—Digital phase modulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/60—Receivers
    • H04B10/66—Non-coherent receivers, e.g. using direct detection
    • H04B10/67—Optical arrangements in the receiver
    • H04B10/676—Optical arrangements in the receiver for all-optical demodulation of the input optical signal
    • H04B10/677—Optical arrangements in the receiver for all-optical demodulation of the input optical signal for differentially modulated signal, e.g. DPSK signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/38—Synchronous or start-stop systems, e.g. for Baudot code
    • H04L25/40—Transmitting circuits; Receiving circuits
    • H04L25/49—Transmitting circuits; Receiving circuits using code conversion at the transmitter; using predistortion; using insertion of idle bits for obtaining a desired frequency spectrum; using three or more amplitude levels ; Baseband coding techniques specific to data transmission systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/18—Phase-modulated carrier systems, i.e. using phase-shift keying
    • H04L27/20—Modulator circuits; Transmitter circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/18—Phase-modulated carrier systems, i.e. using phase-shift keying
    • H04L27/22—Demodulator circuits; Receiver circuits
    • H04L27/233—Demodulator circuits; Receiver circuits using non-coherent demodulation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Definitions

  • the present invention relates to a wireless communication system, and more particularly, to a method for transmitting and receiving a signal in a communication system based on low-bit quantization and an apparatus supporting the same.
  • Mobile communication systems have been developed to provide voice services while ensuring user activity.
  • the mobile communication system has expanded to not only voice but also data services, and nowadays, the explosive increase in traffic causes a shortage of resources and users request higher speed services, so a more advanced mobile communication system is required. .
  • next-generation mobile communication system The requirements of the next-generation mobile communication system are largely explosive data traffic acceptance, dramatic increase in transmission rate per user, largely increased number of connected devices, very low end-to-end latency, and support for high energy efficiency. You should be able to. For this, dual connectivity, Massive Multiple Input Multiple Output (MIMO), In-band Full Duplex, Non-Orthogonal Multiple Access (NOMA), and Super Wideband Various technologies such as wideband) support and device networking are being studied.
  • MIMO Massive Multiple Input Multiple Output
  • NOMA Non-Orthogonal Multiple Access
  • Super Wideband Various technologies such as wideband support and device networking are being studied.
  • the present invention proposes a signal transmission/reception method based on low-bit quantization considering energy efficiency.
  • the present invention proposes a pre-processing method for learning a neural network for a signal quantized to a low-bit based on a differential phase shift modulation and demodulation technique and a post-processing method for a value output as a learned result.
  • a receiving device in a wireless communication system receiving a signal modulated based on a differential phase shift keying (DPSK) method from a transmitting device ; Converting the received signal into an input signal of a Spiking neural network (SNN); Calculating an output value through the previously learned spike neural network; And converting the output value into an input signal of a channel decoder.
  • DPSK differential phase shift keying
  • the received signal can be converted into an input signal of the SNN based on any one of a spike rate, timing, and sequence. have.
  • the input signal of the SNN and the input layer of the SNN may be mapped one-to-one.
  • a log value based on a spike counter of the output value is calculated, and the It can be converted into an input signal of a channel decoder.
  • an LLR value based on a time difference between the output value and a time label is calculated from the output value.
  • it can be converted into an input signal of the channel decoder.
  • the sequence is generated by converting a costas array into a one-dimensional sequence based on a row or column. Can be.
  • an LLR value based on a degree of correlation between a sequence label and a sequence of the output value may be calculated from the output value and converted into an input signal of the channel decoder.
  • an LLR value based on a time difference between a sequence label and a sequence of the output value may be calculated from the output value and converted into an input signal of the channel decoder.
  • the input signal of the channel decoder may correspond to a log-likelihood ratio (LLR) value calculated based on the output value.
  • LLR log-likelihood ratio
  • a value obtained by grouping the received signals and summing the signals of each group is any one of a spike rate, timing, and sequence. May be converted into an input signal of the SNN based on.
  • the conversion in the case of converting the sum of the signals of each group based on the rate of the spike, the conversion may be performed by additionally considering the time slot of the spike. have.
  • the received signal may correspond to a signal quantized into 1 to 3 bits.
  • the apparatus comprises: an ADC that receives and quantizes modulated signals based on a differential phase shift keying (DPSK) scheme ( Analog to digital converter), a pre-processor that converts the signals quantized by the ADC into an input signal of a Spiking neural network (SNN), and the spike that calculates an output value based on a previously learned result It may include a neural network, and a post-processor that converts the output value of the spike neural network into an input signal of a channel decoder.
  • DPSK differential phase shift keying
  • SNN Spiking neural network
  • the preprocessor may convert the input signal of the SNN based on any one of a spike rate, timing, and sequence.
  • the post-processor may calculate an LLR based on the output value and convert it into an input signal of the channel decoder.
  • the ADC may quantize the modulated signals into 1 to 3 bits.
  • power consumption of a system may be improved through a signal transmission/reception method based on low-bit quantization.
  • a nonlinear relationship between transmission and reception signals due to low-bit quantization may be understood through neural network learning.
  • the number of activated neurons can be reduced and power consumption can be reduced.
  • FIG. 1 shows an example of an overall system structure of an NR to which the method proposed in the present specification can be applied.
  • FIG. 2 shows a relationship between an uplink frame and a downlink frame in a wireless communication system to which the method proposed in the present specification can be applied.
  • FIG 3 shows an example of a frame structure in an NR system.
  • FIG. 4 shows an example of a resource grid supported by a wireless communication system to which the method proposed in the present specification can be applied.
  • FIG. 5 shows examples of an antenna port and a resource grid for each neurology to which the method proposed in the present specification can be applied.
  • FIG. 6 is a diagram showing an example of a block diagram of a transmitting end and a receiving end.
  • FIG. 7 shows an example of a receiving device including a 64x64 2D antenna and a 1-bit analog to digital converter (ADC) connected to each antenna.
  • ADC analog to digital converter
  • FIG. 9 shows an example of a signal processing procedure for learning a neural network in an apparatus for transmitting and receiving signals based on low-bit quantization to which the method proposed in the present invention can be applied.
  • FIG. 10 shows an example in which a signal encoded based on a ratio in the preprocessing step according to the method proposed in the present invention is calculated as an output value through SNN learning.
  • 11 is an example of a signal output through a 2-bit ADC and a differential demodulation value thereof.
  • FIG. 12 shows another example in which a signal encoded based on a ratio in the preprocessing step according to the method proposed in the present invention is calculated as an output value through SNN learning.
  • FIG. 13 shows an example in which a P to 1 mapping rule is applied in a 2D area according to the method proposed in the present invention.
  • FIG. 14 shows an example in which a signal encoded based on time in the preprocessing step according to the method proposed in the present invention is calculated as an output value through SNN learning.
  • FIG. 15 shows an example of an output value of an SNN for a signal to which a time-based encoding mapping rule according to the method proposed in the present invention is applied.
  • 16 is another example of an output value of an SNN of a signal to which a time-based encoding mapping rule according to the method proposed in the present invention is applied.
  • FIG. 17 shows an example in which a signal encoded based on a time difference between two spikes in a preprocessing step according to the method proposed in the present invention is calculated as an output value through SNN learning.
  • Fig. 18 shows an example of costas arrangement in order 6 and auto-correlation of the costas arrangement.
  • FIG. 19 shows an example in which a signal encoded based on a sequence in a preprocessing step according to the method proposed in the present invention is calculated as an output value through SNN learning.
  • FIG. 20 shows an example of an output value of an SNN of a signal to which a sequence-based encoding mapping rule according to the method proposed in the present invention is applied.
  • 21 shows an example of an operation flowchart of an apparatus for transmitting and receiving signals in a wireless communication system to which the methods proposed in the present specification can be applied.
  • FIG. 22 illustrates a block diagram of a wireless communication device to which the methods proposed in the present specification can be applied.
  • FIG. 23 is another example of a block diagram of a wireless communication device to which the methods proposed in the present specification can be applied.
  • FIG 24 shows an AI device 2400 according to an embodiment of the present invention.
  • FIG 25 shows an AI server 2500 according to an embodiment of the present invention.
  • 26 shows an AI system 2600 according to an embodiment of the present invention.
  • downlink refers to communication from a base station to a terminal
  • uplink refers to communication from a terminal to a base station
  • the transmitter may be part of the base station, and the receiver may be part of the terminal.
  • the transmitter may be part of the terminal, and the receiver may be part of the base station.
  • the base station may be referred to as a first communication device, and the terminal may be referred to as a second communication device.
  • Base station is a fixed station, Node B, evolved-NodeB (eNB), Next Generation NodeB (gNB), base transceiver system (BTS), access point (AP), network (5G).
  • BS Base station
  • eNB evolved-NodeB
  • gNB Next Generation NodeB
  • BTS base transceiver system
  • AP access point
  • 5G network
  • the terminal may be fixed or mobile, and UE (User Equipment), MS (Mobile Station), UT (user terminal), MSS (Mobile Subscriber Station), SS (Subscriber Station), AMS (Advanced Mobile) Station), WT (Wireless terminal), MTC (Machine-Type Communication) device, M2M (Machine-to-Machine) device, D2D (Device-to-Device) device, vehicle, robot, AI module , Drone (Unmanned Aerial Vehicle, UAV), AR (Augmented Reality) device, VR (Virtual Reality) device.
  • UE User Equipment
  • MS Mobile Station
  • UT user terminal
  • MSS Mobile Subscriber Station
  • SS Subscriber Station
  • AMS Advanced Mobile
  • WT Wireless terminal
  • MTC Machine-Type Communication
  • M2M Machine-to-Machine
  • D2D Device-to-Device
  • vehicle robot
  • AI module Drone (Unmanned Aerial Vehicle, UAV), AR (Augmented Reality) device
  • CDMA may be implemented with a radio technology such as Universal Terrestrial Radio Access (UTRA) or CDMA2000.
  • TDMA may be implemented with radio technologies such as Global System for Mobile communications (GSM)/General Packet Radio Service (GPRS)/Enhanced Data Rates for GSM Evolution (EDGE).
  • GSM Global System for Mobile communications
  • GPRS General Packet Radio Service
  • EDGE Enhanced Data Rates for GSM Evolution
  • OFDMA may be implemented with a wireless technology such as IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802-20, and E-UTRA (Evolved UTRA).
  • Wi-Fi IEEE 802.11
  • WiMAX IEEE 802.16
  • IEEE 802-20 and E-UTRA
  • Evolved UTRA Evolved UTRA
  • 3rd Generation Partnership Project (3GPP) Long Term Evolution (LTE) is a part of Evolved UMTS (E-UMTS) using E-UTRA
  • LTE-A Advanced
  • LTE-A pro is an evolved version of 3GPP LTE
  • 3GPP New Radio or New Radio Access Technology (NR) is an evolved version of 3GPP LTE/LTE-A/LTE-A pro.
  • LTE refers to technology after 3GPP TS 36.xxx Release 8.
  • LTE technology after 3GPP TS 36.xxx Release 10 is referred to as LTE-A
  • LTE technology after 3GPP TS 36.xxx Release 13 is referred to as LTE-A pro
  • 3GPP NR refers to the technology after TS 38.xxx Release 15.
  • LTE/NR may be referred to as a 3GPP system.
  • "xxx" means standard document detail number.
  • LTE/NR may be collectively referred to as a 3GPP system.
  • RRC Radio Resource Control
  • RRC Radio Resource Control
  • NR is an expression showing an example of a 5G radio access technology (RAT).
  • RAT radio access technology
  • the three main requirements areas for 5G are (1) Enhanced Mobile Broadband (eMBB) area, (2) Massive Machine Type Communication (mMTC) area, and (3) ultra-reliability and It includes a low-latency communication (Ultra-reliable and Low Latency Communications, URLLC) area.
  • eMBB Enhanced Mobile Broadband
  • mMTC Massive Machine Type Communication
  • URLLC Low Latency Communications
  • KPI key performance indicator
  • eMBB goes far beyond basic mobile Internet access, covering rich interactive work, media and entertainment applications in the cloud or augmented reality.
  • Data is one of the key drivers of 5G, and it may not be possible to see dedicated voice services for the first time in the 5G era.
  • voice is expected to be processed as an application program simply using the data connection provided by the communication system.
  • the main reasons for the increased traffic volume are an increase in content size and an increase in the number of applications requiring high data rates.
  • Streaming services (audio and video), interactive video and mobile Internet connections will become more widely used as more devices connect to the Internet. Many of these applications require always-on connectivity to push real-time information and notifications to the user.
  • Cloud storage and applications are increasing rapidly in mobile communication platforms, which can be applied to both work and entertainment.
  • cloud storage is a special use case that drives the growth of the uplink data rate.
  • 5G is also used for remote work in the cloud, and requires much lower end-to-end delays to maintain a good user experience when tactile interfaces are used.
  • Entertainment For example, cloud gaming and video streaming is another key factor that is increasing the demand for mobile broadband capabilities. Entertainment is essential on smartphones and tablets anywhere, including high mobility environments such as trains, cars and airplanes.
  • Another use case is augmented reality and information retrieval for entertainment.
  • augmented reality requires very low latency and an instantaneous amount of data.
  • one of the most anticipated 5G use cases relates to the ability to seamlessly connect embedded sensors in all fields, i.e. mMTC.
  • mMTC massive machine type computer
  • Industrial IoT is one of the areas where 5G plays a major role in enabling smart cities, asset tracking, smart utilities, agriculture and security infrastructure.
  • URLLC includes new services that will transform the industry with ultra-reliable/low-latency links such as self-driving vehicles and remote control of critical infrastructure.
  • the level of reliability and delay is essential for smart grid control, industrial automation, robotics, drone control and coordination.
  • 5G can complement fiber-to-the-home (FTTH) and cable-based broadband (or DOCSIS) as a means of providing streams rated at hundreds of megabits per second to gigabits per second. This high speed is required to deliver TVs in 4K or higher (6K, 8K and higher) resolutions as well as virtual and augmented reality.
  • Virtual Reality (VR) and Augmented Reality (AR) applications involve almost immersive sports events. Certain application programs may require special network settings. In the case of VR games, for example, game companies may need to integrate core servers with network operators' edge network servers to minimize latency.
  • Automotive is expected to be an important new driving force in 5G, with many use cases for mobile communication to vehicles. For example, entertainment for passengers demands simultaneous high capacity and high mobility mobile broadband. The reason is that future users will continue to expect high-quality connections, regardless of their location and speed.
  • Another application example in the automotive field is an augmented reality dashboard. It identifies an object in the dark on top of what the driver is looking through the front window, and displays information that tells the driver about the distance and movement of the object overlaid.
  • wireless modules enable communication between vehicles, exchange of information between the vehicle and supporting infrastructure, and exchange of information between the vehicle and other connected devices (eg, devices carried by pedestrians).
  • the safety system allows the driver to lower the risk of accidents by guiding alternative courses of action to make driving safer.
  • the next step will be a remote controlled or self-driven vehicle. It is very reliable and requires very fast communication between different self-driving vehicles and between the vehicle and the infrastructure. In the future, self-driving vehicles will perform all driving activities, and drivers will be forced to focus only on traffic anomalies that the vehicle itself cannot identify.
  • the technical requirements of self-driving vehicles call for ultra-low latency and ultra-fast reliability to increase traffic safety to levels unachievable by humans.
  • Smart cities and smart homes referred to as smart society, will be embedded with high-density wireless sensor networks.
  • a distributed network of intelligent sensors will identify the conditions for cost and energy-efficient maintenance of a city or home.
  • a similar setup can be done for each household.
  • Temperature sensors, window and heating controllers, burglar alarms and appliances are all wirelessly connected. Many of these sensors are typically low data rates, low power and low cost. However, for example, real-time HD video may be required in certain types of devices for surveillance.
  • the smart grid interconnects these sensors using digital information and communication technologies to collect information and act accordingly. This information can include the behavior of suppliers and consumers, allowing smart grids to improve efficiency, reliability, economics, sustainability of production and the distribution of fuels such as electricity in an automated way.
  • the smart grid can also be viewed as another low-latency sensor network.
  • the health sector has many applications that can benefit from mobile communications.
  • the communication system can support telemedicine providing clinical care from remote locations. This can help reduce barriers to distance and improve access to medical services that are not consistently available in remote rural areas. It is also used to save lives in critical care and emergencies.
  • a wireless sensor network based on mobile communication may provide remote monitoring and sensors for parameters such as heart rate and blood pressure.
  • Wireless and mobile communications are becoming increasingly important in industrial applications. Wiring is expensive to install and maintain. Thus, the possibility of replacing cables with reconfigurable wireless links is an attractive opportunity for many industries. However, achieving this requires that the wireless connection operates with a delay, reliability and capacity similar to that of the cable, and its management is simplified. Low latency and very low error probability are new requirements that need to be connected to 5G.
  • Logistics and freight tracking are important use cases for mobile communications that enable tracking of inventory and packages from anywhere using location-based information systems. Logistics and freight tracking use cases typically require low data rates, but require a wide range and reliable location information.
  • Machine learning refers to the field of researching methodologies to define and solve various problems dealt with in the field of artificial intelligence. do.
  • Machine learning is also defined as an algorithm that improves the performance of a task through continuous experience.
  • An artificial neural network is a model used in machine learning, and may refer to an overall model with problem-solving capabilities, composed of artificial neurons (nodes) that form a network by combining synapses.
  • the artificial neural network may be defined by a connection pattern between neurons of different layers, a learning process for updating model parameters, and an activation function for generating an output value.
  • the artificial neural network may include an input layer, an output layer, and optionally one or more hidden layers. Each layer includes one or more neurons, and the artificial neural network may include neurons and synapses connecting neurons. In an artificial neural network, each neuron can output a function of an activation function for input signals, weights, and biases input through synapses.
  • Model parameters refer to parameters determined through learning, and include weights of synaptic connections and biases of neurons.
  • hyperparameters refer to parameters that must be set before learning in a machine learning algorithm, and include a learning rate, iteration count, mini-batch size, and initialization function.
  • the purpose of learning artificial neural networks can be seen as determining model parameters that minimize the loss function.
  • the loss function can be used as an index to determine an optimal model parameter in the learning process of the artificial neural network.
  • Machine learning can be classified into supervised learning, unsupervised learning, and reinforcement learning according to the learning method.
  • Supervised learning refers to a method of training an artificial neural network when a label for training data is given, and a label indicates the correct answer (or result value) that the artificial neural network should infer when training data is input to the artificial neural network. It can mean.
  • Unsupervised learning may refer to a method of training an artificial neural network in a state where a label for training data is not given.
  • Reinforcement learning may mean a learning method in which an agent defined in a certain environment learns to select an action or action sequence that maximizes the cumulative reward in each state.
  • machine learning implemented as a deep neural network (DNN) including a plurality of hidden layers is sometimes referred to as deep learning (deep learning), and deep learning is a part of machine learning.
  • DNN deep neural network
  • machine learning is used in the sense including deep learning.
  • a robot may refer to a machine that automatically processes or operates a task given by its own capabilities.
  • a robot having a function of recognizing the environment and performing an operation by self-determining may be referred to as an intelligent robot.
  • Robots can be classified into industrial, medical, household, military, etc. depending on the purpose or field of use.
  • the robot may be provided with a driving unit including an actuator or a motor to perform various physical operations such as moving a robot joint.
  • a driving unit including an actuator or a motor to perform various physical operations such as moving a robot joint.
  • the movable robot includes a wheel, a brake, a propeller, etc. in a driving unit, and can travel on the ground or fly in the air through the driving unit.
  • Autonomous driving refers to self-driving technology
  • autonomous driving vehicle refers to a vehicle that is driven without a user's manipulation or with a user's minimal manipulation.
  • a technology that maintains a driving lane a technology that automatically adjusts the speed such as adaptive cruise control, a technology that automatically drives along a specified route, and a technology that automatically sets a route when a destination is set, etc. All of these can be included.
  • the vehicle includes all vehicles including only an internal combustion engine, a hybrid vehicle including an internal combustion engine and an electric motor, and an electric vehicle including only an electric motor, and may include a train, a motorcycle, etc.
  • the autonomous vehicle can be viewed as a robot having an autonomous driving function.
  • Extended reality is a generic term for virtual reality (VR), augmented reality (AR), and mixed reality (MR).
  • VR technology provides only CG images of real world objects or backgrounds
  • AR technology provides virtually created CG images on top of real object images
  • MR technology is a computer that mixes and combines virtual objects in the real world. It is a graphic technology.
  • MR technology is similar to AR technology in that it shows real and virtual objects together.
  • virtual objects are used in a form that complements real objects
  • MR technology virtual objects and real objects are used with equal characteristics.
  • XR technology can be applied to HMD (Head-Mount Display), HUD (Head-Up Display), mobile phones, tablet PCs, laptops, desktops, TVs, digital signage, etc., and devices applied with XR technology are XR devices. It can be called as.
  • HMD Head-Mount Display
  • HUD Head-Up Display
  • mobile phones tablet PCs, laptops, desktops, TVs, digital signage, etc.
  • devices applied with XR technology are XR devices. It can be called as.
  • a new RAT system including NR uses an OFDM transmission scheme or a similar transmission scheme.
  • the new RAT system may follow OFDM parameters different from those of LTE.
  • the new RAT system follows the numerology of the existing LTE/LTE-A as it is, but can have a larger system bandwidth (eg, 100 MHz).
  • one cell may support a plurality of neurology. That is, terminals operating in different neurology can coexist within one cell.
  • Numerology corresponds to one subcarrier spacing in the frequency domain.
  • different numerology can be defined.
  • eLTE eNB is an evolution of eNB that supports connectivity to EPC and NGC.
  • gNB A node that supports NR as well as connection with NGC.
  • New RAN A radio access network that supports NR or E-UTRA or interacts with NGC.
  • Network slice is a network defined by an operator to provide an optimized solution for specific market scenarios that require specific requirements with end-to-end coverage.
  • Network function is a logical node within a network infrastructure with well-defined external interfaces and well-defined functional behaviors.
  • NG-C Control plane interface used for the NG2 reference point between the new RAN and NGC.
  • NG-U User plane interface used for the NG3 reference point between the new RAN and NGC.
  • Non-standalone NR A deployment configuration in which gNB requires LTE eNB as an anchor for control plane connection to EPC or eLTE eNB as an anchor for control plane connection to NGC.
  • Non-standalone E-UTRA Deployment configuration where eLTE eNB requires gNB as an anchor for control plane connection to NGC.
  • User plane gateway The endpoint of the NG-U interface.
  • FIG. 1 shows an example of an overall system structure of an NR to which the method proposed in the present specification can be applied.
  • the NG-RAN is composed of gNBs that provide a control plane (RRC) protocol termination for an NG-RA user plane (new AS sublayer/PDCP/RLC/MAC/PHY) and a user equipment (UE). do.
  • RRC control plane
  • UE user equipment
  • the gNBs are interconnected through an X n interface.
  • the gNB is also connected to the NGC through the NG interface.
  • the gNB is connected to an Access and Mobility Management Function (AMF) through an N2 interface and a User Plane Function (UPF) through an N3 interface.
  • AMF Access and Mobility Management Function
  • UPF User Plane Function
  • the neurology may be defined by subcarrier spacing and CP (Cyclic Prefix) overhead.
  • the plurality of subcarrier spacing may be derived by scaling the basic subcarrier spacing by an integer N (or ⁇ ). Further, even if it is assumed that a very low subcarrier spacing is not used at a very high carrier frequency, the used neurology can be selected independently of the frequency band.
  • OFDM Orthogonal Frequency Division Multiplexing
  • a number of OFDM neurology supported in the NR system may be defined as shown in Table 1.
  • Downlink and uplink transmission It is composed of a radio frame having a section of.
  • each radio frame It consists of 10 subframes having a section of.
  • FIG. 2 shows a relationship between an uplink frame and a downlink frame in a wireless communication system to which the method proposed in the present specification can be applied.
  • the slots are within a subframe Are numbered in increasing order of, within the radio frame Are numbered in increasing order.
  • One slot is Consisting of consecutive OFDM symbols of, Is determined according to the used neurology and slot configuration. Slot in subframe Start of OFDM symbol in the same subframe It is aligned in time with the beginning of.
  • Table 2 shows the number of OFDM symbols per slot in a normal CP ( ), the number of slots per radio frame ( ), the number of slots per subframe ( ), and Table 3 shows the number of OFDM symbols per slot, the number of slots per radio frame, and the number of slots per subframe in an extended CP.
  • 3 shows an example of a frame structure in an NR system. 3 is merely for convenience of description and does not limit the scope of the present invention.
  • 1 subframe may include 4 slots.
  • a mini-slot may be composed of 2, 4 or 7 symbols, or may be composed of more or fewer symbols.
  • an antenna port In relation to the physical resource in the NR system, an antenna port, a resource grid, a resource element, a resource block, a carrier part, etc. Can be considered.
  • the antenna port is defined such that a channel carrying a symbol on the antenna port can be inferred from a channel carrying another symbol on the same antenna port.
  • the two antenna ports are QC/QCL (quasi co-located or quasi co-location) relationship.
  • the wide-range characteristic includes one or more of delay spread, Doppler spread, frequency shift, average received power, and received timing.
  • FIG. 4 shows an example of a resource grid supported by a wireless communication system to which the method proposed in the present specification can be applied.
  • the resource grid on the frequency domain It is composed of subcarriers, and one subframe Although it is exemplarily described as consisting of OFDM symbols, it is not limited thereto.
  • the transmitted signal is One or more resource grids composed of subcarriers and Is described by the OFDM symbols. From here, to be. remind Denotes a maximum transmission bandwidth, which may vary between uplink and downlink as well as neurology.
  • the neurology And one resource grid may be configured for each antenna port p.
  • FIG. 5 shows examples of an antenna port and a resource grid for each neurology to which the method proposed in the present specification can be applied.
  • each element of the resource grid for the antenna port p is referred to as a resource element, and an index pair Is uniquely identified by From here, Is the index in the frequency domain, Refers to the position of a symbol within a subframe.
  • an index pair Is used. From here, to be.
  • antenna port p Is a complex value Corresponds to. If there is no risk of confusion or if a specific antenna port or neurology is not specified, the indices p and Can be dropped, resulting in a complex value or Can be
  • the physical resource block (physical resource block) in the frequency domain It is defined as consecutive subcarriers.
  • Point A serves as a common reference point of the resource block grid and can be obtained as follows.
  • -OffsetToPointA for the PCell downlink indicates the frequency offset between the lowest subcarrier of the lowest resource block and point A of the lowest resource block that overlaps the SS/PBCH block used by the UE for initial cell selection, and the 15 kHz subcarrier spacing for FR1 and It is expressed in resource block units assuming a 60 kHz subcarrier spacing for FR2;
  • -absoluteFrequencyPointA represents the frequency-position of point A expressed as in the absolute radio-frequency channel number (ARFCN).
  • Common resource blocks set the subcarrier interval Numbered from 0 to the top in the frequency domain for.
  • Subcarrier spacing setting The center of subcarrier 0 of the common resource block 0 for is coincided with'point A'.
  • the resource element (k,l) for may be given as in Equation 1 below.
  • Is It can be defined relative to point A so that it corresponds to a subcarrier centered on point A.
  • Physical resource blocks are from 0 in the bandwidth part (BWP) Numbered to, Is the number of the BWP.
  • Physical resource block in BWP i And common resource block The relationship between may be given by Equation 2 below.
  • PRB grid of each neurology supported by the carrier BWP setting in each carrier of DL/UL (supports up to 4 BWP), code block group (CBG) setting, transmission power control (TPC) per cell group,
  • CBG code block group
  • TPC transmission power control
  • the HARQ process, scrambling/sequence related parameters, and the like may be set at a carrier level.
  • Control resource set (set per cell, but associated per BWP), parameters related to resource allocation and DM-RS settings, CSI-RS related parameters, SRS resource set, HARQ-ACK and SR ( schedule request) resources, configured UL grant, etc. may be set in the BWP stage.
  • eMBB enhanced Mobile Broadband communication
  • a massive MIMO environment in which transmission and reception antennas are greatly increased may be considered. That is, as the huge MIMO environment is considered, the number of transmit/receive antennas may increase to tens or hundreds or more.
  • a beamforming weight vector/precoding vector is used to reduce the complexity of hardware implementation, increase performance using multiple antennas, flexibility in resource allocation, and ease beam control for each frequency.
  • a hybrid beamforming technique in which an analog beamforming technique and a digital beamforming technique are combined is required.
  • 6 shows an example of a receiving device including a 64x64 2D antenna and a 1-bit analog to digital converter (ADC) connected to each antenna.
  • ADC analog to digital converter
  • the RF (Radio Frequency) front-end in front of the ADC is omitted. 6 is merely for convenience of description and does not limit the scope of the present invention.
  • the receiving device includes 4096 (eg, 64x64) antennas, and an I (in-phase) signal (in-phase) of a RX path connected to each antenna ( Example: You can include a 1-bit ADC for each of a real signal) and a Q (quadrature) signal (such as an imaginary signal).
  • I in-phase
  • Q quadrature
  • a received signal in the form of a+bj (e.g., a and b is a number represented by 8 to 10 bits each) was delivered to the baseband as the output of the high-performance ADC.
  • the output signal of the existing high-performance ADC is referred to as an unquantized version.
  • High-performance ADCs are excellent in terms of the resolution of the output signal, but can be disadvantageous in terms of system power consumption.
  • the types of signals transmitted to the baseband through the 1-bit ADC may be limited to four types per reception path. That is, one of 1+j, 1-j, -1+j, and -1+j may be received for each reception path.
  • a receiving device including a 1-bit ADC it may be difficult to obtain information such as SNR (Signal to Noise Ratio) due to loss of information such as the size of the received signal, but it may be easy to transmit information through phase information and It consumes much less power than high-performance ADCs.
  • SNR Signal to Noise Ratio
  • a modulation technique and a non-coherent detection of a differential phase shift keying method e.g., DBPSK (Differential Binary Phase Shift Keying), DQPSK (Differential Quadrature Phase Shift Keying), etc.
  • DBPSK Different Binary Phase Shift Keying
  • DQPSK Different Quadrature Phase Shift Keying
  • the description is based on the demodulation technique of the method. Since the 1-bit quantization system can use a 1-bit ADC, it can be replaced with the term 1-bit ADC system.
  • DBPSK Differential BPSK
  • this is only for convenience in description and does not limit the scope of the present invention. Therefore, it is apparent that the same can be applied to the case of the DQPSK method.
  • Differential Phase Shift Keying is a modulation method that transfers data based on a phase difference of a carrier between consecutive symbols.
  • DBPSK Differential BPSK
  • DQPSK differential QPSK
  • the phase shift may correspond to 0°, 90°, 180°, -90° corresponding to the data “00”, “01”, “11”, and “10”.
  • demodulation is possible only by knowing the phase difference between adjacent symbols.
  • the transmitting device may continuously transmit 1 and 1 to transmit 0, and may transmit 1,0 to transmit 1 in succession. It can be assumed that the coherence time, that is, the channel remains the same while the transmission device transmits the signal.
  • FIG 8 shows an example of a result of passing an encoded signal received from a receiving device through a 1-bit ADC. It can be assumed that the coded signal is a signal modulated by the DBPSK method.
  • reception path 1 (RX1)
  • -1+j is received in the t-th symbol
  • -1+j is received in the t+1-th symbol.
  • the receiving device may determine that 0 is received through decoding, and a differential value at this time may be output as 2. That is, the difference value may be expressed as a product of a conjugate value of a value received at a t-th symbol and a value received at a t+1-th symbol.
  • the transmission/reception method in the 1-bit ADC system can deliver one of four values to the baseband, unlike the conventional non-quantized version.
  • the 1-bit ADC When passing through the 1-bit ADC, all the signal magnitude information is lost, and the phase information is quantized into 4 types, resulting in loss of information.
  • information loss may occur in a system (or device) using an ADC of low bits (eg, 1 to 3 bits). Therefore, the receiving device needs to consider a new receiving technique.
  • neural networks e.g., Spiking neural networks, SNNs
  • SNNs Spiking neural networks
  • low-bit quantization and neural network learning there is an effect of improving reception performance and reducing power consumption of a receiving device.
  • the signal transmitted from the transmitting device is a signal modulated by the DBPSK method.
  • the DBPSK method is only for convenience of description and does not limit the scope of the present invention. Therefore, it can be applied to a signal modulated by the DPSK method including the DQPSK method.
  • SNN Spiking Neural Network
  • a signal passing through a low bit ADC (eg, 1-bit ADC) is subjected to a pre-processing, neural network learning, and post-processing step. Can be converted into an input signal of.
  • the receiving device may include a low bit ADC, a pre-processor, a neural network (eg, SNN), a post-processor, and a channel decoder.
  • the low bit may mean 1 to 3 bits.
  • Spiking neural networks (hereinafter, SNNs) operate through discrete spikes occurring at specific times. Whether spikes occur can be determined by differential equations representing various biological processes. Spatiotemporal data can be processed through SNN learning.
  • the spatial aspect refers to individually processing the values of the input layer.
  • the temporal aspect means that learning takes place over time, and the time information of the spike can be obtained during the encoding process.
  • the preprocessor needs to convert the sampled signal through a low-bit ADC (eg, 1-bit ADC) into a form that the SNN can learn.
  • the post-processor needs to convert the output value of the SNN into the input value of the channel decoder.
  • the post-processor may convert the output value of the SNN into a log-likelihood ratio (LLR) (hereinafter, referred to as LLR), and transfer it as an input value of the channel decoder.
  • LLR log-likelihood ratio
  • the signal modulated with DBPSK can take only real values from the demodulated symbol through 1-bit ADC for each receiving path, and +j and -j Can be represented by 0. That is, the preprocessor may receive a vector having a size of N and each element consisting of one of ⁇ 1, -1, 0 ⁇ from the 1-bit ADC.
  • the preprocessor can convert the received signal into an input signal of the SNN, and the postprocessor can convert the output value of the SNN calculated through SNN learning into an input signal of the channel decoder.
  • the preprocessor can convert the received signal into an input signal of the SNN
  • the postprocessor can convert the output value of the SNN calculated through SNN learning into an input signal of the channel decoder.
  • a pre-processing method based on a spike rate and a post-processing method based on a corresponding spike counter can be considered.
  • the ratio may mean the number of spikes within an arbitrary window size.
  • the preprocessor can encode (or transform) an input signal of the SNN based on the ratio of spikes corresponding to each element constituting a vector of size N, and transfer the encoded signal to the input layer of the SNN.
  • Table 4 shows an example of a rate-based encoding mapping rule.
  • the preprocessor when the window size is set to 16, the preprocessor can configure the ratio of spikes to 1 as 16, 8 for 0, and 4 for -1. That is, the ratio of the spikes can be differently configured according to each element.
  • FIG. 10 shows an example in which a signal encoded based on Table 4 in a pre-processing step is calculated as an output value through SNN learning.
  • FIG. 10 shows a case in which a reception path of a receiving device and each neuron (or input) of an input layer of an SNN are mapped one-to-one.
  • the preprocessor may generate spikes at a ratio corresponding to each element constituting a vector having a size of 4096.
  • Each element may correspond to an information bit, and when the information bit is 1, 16 spikes, when 0, 8 spikes, and -1, 4 spikes.
  • the information bits are transferred to the input layer of the SNN, and the learned SNN can output many spikes to the output of a corresponding class in the output layer.
  • the learned SNN may be output to approximate the number (ratio) of spikes suitable for a corresponding class in an output layer. For example, when the label is 0, it may be trained to output more spikes to an output node corresponding to 0.
  • a node of the SNN output layer may be composed of a plurality of nodes, or a plurality of nodes may be merged into the same node to learn and operate. Accordingly, C1 and C2 of FIG. 10 may be merged into the same node to learn and operate.
  • the post-processor can convert the output value of the SNN into an input signal of the channel decoder based on the spike rate.
  • the LLR may be calculated based on the ratio of the spike counter (eg, the number of spikes) of the SNN output layer, and the calculated LLR value may be transmitted to the channel decoder.
  • the spike counter of C1 may be divided by the spike counter value of C2 and a value obtained by taking a log may be transferred as an input of the channel decoder.
  • FIG. 11 is an example of a signal output through a 2-bit ADC and a differential demodulation value thereof.
  • values outputted by a DBPSK-modulated signal through a 2-bit ADC may be output in one of a total of 16 values, 4 in the real area and 4 in the imaginary area.
  • the differential demodulation value for this can be expressed as one of a total of 40.
  • one of a total of 15 values can be output as follows. The following values can be changed according to the output value of the 2-bit ADC and can be scaled.
  • the preprocessor can encode the output signal of a 2-bit ADC by applying a ratio-based encoding mapping rule.
  • Table 5 shows an example of a rate-based 2-bit ADC output encoding mapping rule. Referring to Table 5, as the number of output bits of the ADC increases, the window size may need to increase. The spike ratio may be set differently for each element of 15 values.
  • the preprocessor can convert the output signal of a 2-bit ADC into an SNN input signal by applying the encoding mapping rule of Table 5.
  • the post-processor can convert the output value of the SNN into an input signal of the channel decoder based on the spike rate.
  • the LLR may be calculated based on the spike ratio of the SNN output layer, and the calculated LLR value may be transmitted to the channel decoder.
  • a value obtained by summing the elements of each reception path in the combined group may be mapped with neurons of the input layer of the SNN.
  • a time slot may be used to classify the sum value.
  • a value obtained by summing the elements of each reception path in the combined reception path group may be represented by one of an integer ranging from -4 to 4, and a spike ratio may be configured corresponding to each sum value.
  • a time slot may be used to classify the sum value. For example, when the sum value is 4 and when the sum value is -4, the ratio of the spike is equal to 32, but the sum value can be classified by dividing the time slot in which the spike occurs into an odd time slot and an even time slot.
  • the preprocessor combines and groups a vector of size 4096 into 4 units, adds up the elements of the 4 reception paths for each group, and generates a spike at a ratio corresponding to the sum value. have.
  • the generated spikes are transmitted to the input layer of the SNN, and the learned SNN can output many spikes to the output of a corresponding class in the output layer. In other words, it can be output to approximate the spike ratio suitable for the corresponding category.
  • a node of the SNN output layer may be composed of a plurality of nodes, or a plurality of nodes may be merged into the same node to learn and operate.
  • the post-processor can convert the output value of the SNN into an input signal of the channel decoder based on the spike rate.
  • the LLR may be calculated based on the spike ratio of the SNN output layer, and the calculated LLR value may be transmitted to the channel decoder.
  • the spike counter of C1 may be divided by the spike counter value of C2 and a value obtained by taking a log may be transferred as an input of the channel decoder.
  • 13 shows an example in which a P to 1 mapping rule is applied in a 2D area. 13 is only for convenience of description, and does not limit the scope of the present invention.
  • a timing-based pre-processing method and a corresponding spike counter-based post-processing method can be considered.
  • a time offset may be applied to each element constituting a vector of size N differently to encode (or transform) the input signal of the SNN, and the encoded signal may be transmitted to the input layer of the SNN.
  • Table 7 shows an example of a time-based encoding mapping rule. Referring to Table 7, when the window size is set to 16, the preprocessor may set the time offset to 4 for 1, 8 for 0, and 12 for -1.
  • 14 shows an example in which a signal encoded based on Table 7 in a preprocessing step is calculated as an output value through SNN learning. 14 shows a case in which a reception path of a reception device and each neuron (or input) of an input layer of an SNN correspond to one to one.
  • the generated spikes are transmitted to the input layer of the SNN, and the SNN can learn to output the spikes corresponding to the output timing of the corresponding class in the output layer.
  • the post-processor may convert the output value of the SNN into an input signal of the channel decoder based on the spike time.
  • T1 denotes a timing label of an output layer node C1
  • T2 denotes a time label of an output layer node C2.
  • the time label may be predefined for SNN learning.
  • X1 and X2 correspond to output values at each output layer node.
  • the output value of C1 is 1, and the output value of C2 is 0.
  • the output value calculated as a result of training of the (pre-learned) SNN can be interpreted based on how close it is to the predefined time label. Therefore, the time difference between the time label and the SNN output value can be expressed as a probability.
  • the post-processor may convert the output value of the SNN into an input signal of the channel decoder based on the time difference between the time label and the output value of the SNN.
  • the LLR may be calculated based on the time difference between the time label of the SNN output layer and the output value, and the calculated LLR value may be transferred to the channel decoder. Specifically, as shown in Equation 3, the LLR may be calculated based on the time difference between T1 and X1 and the time difference between T2 and X2.
  • f is Means the same function as However, this is only an example, and the function f may be any function representing probability.
  • T1 denotes a timing label of an output layer node C1
  • T2 denotes a time label of an output layer node C2.
  • the time label may be predefined for SNN learning.
  • the time label of each output node can be set based on the same time.
  • the output value calculated as a result of the learning of the SNN can be interpreted according to how much latency occurs and is output based on a predefined time label.
  • the LLR can be calculated according to how fast the spike occurs based on the time label of each output layer node set at the same time (or how much delay occurs until the spike occurs).
  • the post-processor may convert the output value of the SNN into LLR based on the time difference between the time label and the output value according to Equation 3, and redundant descriptions will be omitted.
  • a preprocessing method based on a time difference between two spikes may be considered.
  • the time difference between the two spikes can be set differently for each element constituting the vector of size N, and encoded (or transformed) into the input signal of the SNN can be performed, and the encoded signal can be transferred to the input layer of the SNN.
  • Table 8 shows an example of an encoding mapping rule based on a time difference between two spikes.
  • FIG. 17 shows an example in which a signal encoded based on Table 8 in a pre-processing step is calculated as an output value through SNN learning.
  • FIG. 17 shows a case in which a reception path of a reception device and each neuron of an input layer of an SNN correspond one-to-one.
  • the preprocessor may encode the time difference between the two spikes as an encoding mapping rule and transmit the encoded signal to the input layer of the SNN.
  • a value output through SNN learning of a signal encoded based on the time difference between the two spikes may be interpreted based on how close to a predefined time label is output, as described above. Alternatively, it may be interpreted according to how much latency is generated and output based on a predefined time label.
  • the post-processor may convert the output value of the SNN into an input signal of the channel decoder based on the time difference between the time label and the output value of the SNN. Specifically, it may be converted into an LLR value according to Equation 3 described above and transmitted to a channel decoder.
  • a method of reducing the number of neurons of the SNN input layer by grouping the values of several receiving paths and mapping each group and the input layer of the SNN is proposed.
  • a sequence-based pre-processing method and a sequence-based post-processing method corresponding thereto can be considered.
  • the preprocessor can encode (or convert) the output of the ADC into the input signal of the SNN based on the sequence corresponding to each element constituting the N-sized vector, and transfer the encoded signal to the input layer of the SNN.
  • a costas array can be used to create the sequence.
  • nxn matrix only one entry in each row or column has a value of 1, the rest is 0, and n(n-2)/2 vectors between all elements with a value of 1 are different. It means a matrix that satisfies the condition. If the above condition is satisfied, it has an ideal auto-ambiguity function.
  • There may be several Costas arrays according to the order n. For example, there are 116 Costas arrays in the order of n 6.
  • the Costas array can be created in various ways, such as Welch and Lempel-Golomb.
  • Fig. 18 shows an example of costas arrangement in order 6 and auto-correlation of the costas arrangement.
  • a two-dimensional (dimension) costas array can be converted into a one-dimensional sequence by rearranging it in a row-wise (or column-wise). Encoding may be performed by mapping each element constituting a vector of size N to the generated one-dimensional sequence. In this case, the one having the longest distance between sequences may be selected and mapped.
  • a total of 12 costas arrays of degree 4 are as follows.
  • Table 10 is an example of changing the 4th order costas array to a one-dimensional sequence.
  • An index that can distinguish each sequence can be allocated.
  • An encoding mapping rule can be determined based on the generated one-dimensional sequence.
  • Table 11 shows an example of a sequence-based encoding mapping rule.
  • 1 when the window size is set to 16, 1 may correspond to sequence index 1, 0 may correspond to sequence index 6, and -1 may correspond to sequence index 12.
  • a sequence index may be applied differently according to each element, and a different sequence may be applied accordingly.
  • FIG. 19 shows an example in which a signal encoded based on Table 11 in the preprocessing step is calculated as an output value through SNN learning.
  • FIG. 19 shows a case in which a reception path of a reception device and each neuron (or input) of an input layer of an SNN correspond one-to-one.
  • the preprocessor may generate spikes in a sequence corresponding to each element constituting a vector having a size of 4096.
  • the SNN may learn to output an output sequence of a corresponding class or a spike corresponding to a timing of the sequence in an output layer.
  • the post-processor may convert the output value of the SNN into an input signal of the channel decoder according to the sequence or timing of the sequence.
  • FIG. 20 shows an example of an output value of an SNN of a signal to which a sequence-based encoding mapping rule is applied.
  • a bit corresponding to the output layer node C1 indicates 1
  • a bit corresponding to the output layer node C2 indicates 0.
  • the output sequence of C1 shows a high correlation with the sequence label
  • the output sequence of C2 shows a low correlation with the sequence label, where the sequence label may be predefined for SNN learning.
  • the sequence outputted as a result of learning of can be interpreted based on how similar it is to the sequence label, that is, the degree of correlation between the sequence label and the actual output sequence can be determined.
  • the post-processor may convert the output value of the SNN into an input signal of the channel decoder based on the degree of correlation between the sequence label and the output sequence.
  • Equation 4 is an equation for calculating the LLR based on the degree of correlation between the sequence label and the output sequence. The calculated LLR value can be transferred to the channel decoder.
  • f means a correlation function as an example.
  • the post-processor may convert the output value of the SNN into an input signal of the channel decoder based on the time difference between the sequence label and the output sequence.
  • the LLR may be calculated based on the time difference between the sequence label of the SNN output layer and the output sequence. Therefore, redundant detailed descriptions are omitted.
  • the calculated LLR value can be transferred to the channel decoder.
  • a method of reducing the number of neurons in the SNN input layer by grouping values of several receiving paths and mapping each group and the input layer of the SNN can be considered. For example, by combining the reception paths in units of P (P is a natural number of 2 or more), a value obtained by summing the elements of each reception path in the combined group may be mapped with neurons of the input layer of the SNN. In this case, the one with the longest distance between sequences may be selected.
  • the sum of the elements in a group in which the reception paths are combined in units of 4 may have a maximum value of 4 to -4. Therefore, based on this, a sequence-based encoding mapping rule can be applied.
  • the sum of elements of each Rx path in the combined Rx path group may be represented by one of integers in the range of -4 to 4, and a spike sequence may be applied differently in correspondence to each sum value. That is, the index of the spike sequence may be mapped differently for each element of each sum value.
  • sequence-based encoding mapping can also be mapped from a two-dimensional region to a P-to-one.
  • a matrix can be formed in correspondence with the shape of the 2D antenna, and the matrix can be reconstructed by combining the elements of the matrix in units of P. Based on the reconstructed matrix, each neuron of the SNN can be mapped.
  • power consumption of the receiving device can be reduced, and signal loss due to quantization of low bits and nonlinearity between transmission and reception signals can be improved through SNN learning.
  • 21 shows an example of an operation flowchart of an apparatus for transmitting and receiving signals in a wireless communication system to which the methods proposed in the present specification can be applied.
  • a receiving device may receive a signal modulated by a differential phase shift keying (DPSK) method from a transmitting device (S2110).
  • the receiving device may receive the modulated signal through a plurality of receiving paths.
  • Each of the plurality of receive paths of the receiving device may include a low bit ADC.
  • the low bit may correspond to 1 to 3 bits.
  • a signal modulated with DPSK can be quantized to a low-bit through a low-bit ADC. That is, the received signal may correspond to a signal quantized into 1 to 3 bits.
  • the received signal may be converted into an input signal of a spiking neural network (SNN) (S2120). Conversion of the SNN into an input signal may be performed based on the above-described Methods 1 to 3, and the like. For example, the received signal may be converted into an input signal of the SNN based on any one of a spike rate, timing, and sequence.
  • SNN spiking neural network
  • it may be converted (or encoded) into an input signal of the SNN based on a ratio of spikes corresponding to each element of the received signal.
  • the ratio may mean the number of spikes within an arbitrary window size.
  • the number of spikes within an arbitrary window size can be applied differently.
  • it may be converted into an input signal of the SNN based on the time of the spike corresponding to each element of the received signal. Transformation may be performed by applying different time offsets of the spikes for each element, or may be transformed based on a time difference between two spikes corresponding to each element.
  • it may be converted into an input signal of the SNN based on a sequence of spikes corresponding to each element of the received signal.
  • a costas array may be used to generate the sequence.
  • a two-dimensional costas array may be rearranged in either a row-unit or a column-unit to transform into a one-dimensional sequence. Transformation may be performed by mapping each element of the received signal to the generated 1D sequence. In this case, the one having the longest distance between sequences may be selected and mapped.
  • the received signal and the input layer of the SNN may be mapped one-to-one. That is, when the received signal is converted to the input signal of the SNN, the input signal of the SNN and the input layer of the SNN may be mapped one-to-one.
  • each group and the input layer of the SNN may be mapped by grouping the received signals into specific units. Specifically, the received signals are grouped, and the sum of the signals of each group is converted into an input signal of the SNN based on any one of a spike rate, timing, and sequence, and input to the SNN. Can be mapped to layers. In the case of converting the sum of the signals of each group based on the rate of the spike, the conversion may be performed by additionally considering the time slot of the spike.
  • An output value may be calculated by performing SNN learning based on the input signal of the SNN transmitted to the SNN input layer (S2130). That is, an output value can be calculated through a pre-trained SNN neural network. The output value may be interpreted differently depending on how the received signal is converted into the input signal of the SNN in step S2120. As a specific example, the output value calculated as a result of SNN learning the encoded signal based on the ratio may be interpreted according to the ratio of the output spike.
  • An output value calculated as a result of SNN learning an encoded signal based on time can be interpreted based on how close it is to a predefined time label. Alternatively, it may be interpreted according to how much latency is generated and output based on a predefined time label.
  • the output sequence produced as a result of SNN learning the encoded signal based on the sequence can be interpreted based on how similar it is to the sequence label. That is, the degree of correlation between the sequence label and the actual output sequence can be determined.
  • the output value may be converted into an input signal of the channel decoder (S2140). For example, conversion of the channel decoder into an input signal may be performed based on the above-described Methods 1 to 3, and the like.
  • the output value of the SNN may be converted into an input signal of the channel decoder in the form of a log likelihood ratio (LLR).
  • LLR log likelihood ratio
  • the output value output by learning the converted signal based on the spike rate may calculate the LLR based on the spike rate of the SNN output layer, and transfer the calculated LLR value to the channel decoder.
  • a log value based on the spike counter of the output value may be calculated and converted into an input signal of the channel decoder.
  • a value obtained by taking a logarithm of the ratio of the spike counter value of each node of the SNN output layer can be transferred as an input of the channel decoder.
  • the input signal of the channel decoder can be converted by calculating the LLR based on the time difference between the time label of the SNN output layer and the output value from the output value output by learning the converted signal based on time.
  • the LLR may be calculated based on the correlation between the sequence label of the SNN output layer and the output sequence from the output value obtained by learning the converted signal based on the sequence, and converted into an input signal of the channel decoder.
  • the LLR may be calculated based on a time difference between the sequence label of the SNN output layer and the output sequence and converted into an input signal of the channel decoder.
  • FIG. 22 illustrates a block diagram of a wireless communication device to which the methods proposed in the present specification can be applied.
  • a wireless communication system may include a first device 2210 and a second device 2220.
  • the first device 2210 includes a base station, a network node, a transmission terminal, a reception terminal, a transmission device, a reception device, a wireless device, a wireless communication device, a vehicle, a vehicle equipped with an autonomous driving function, a connected car, Drone (Unmanned Aerial Vehicle, UAV), AI (Artificial Intelligence) module, robot, AR (Augmented Reality) device, VR (Virtual Reality) device, MR (Mixed Reality) device, hologram device, public safety device, MTC device, IoT It may be a device, a medical device, a fintech device (or a financial device), a security device, a climate/environment device, a device related to 5G service, or a device related to the fourth industrial revolution field.
  • Drone Unmanned Aerial Vehicle, UAV
  • AI Artificial Intelligence
  • robot AR (Augmented Reality) device, VR (Virtual Reality) device, MR (Mixed Reality) device, hologram device
  • the second device 2220 includes a base station, a network node, a transmission terminal, a reception terminal, a transmission device, a reception device, a wireless device, a wireless communication device, a vehicle, a vehicle equipped with an autonomous driving function, a connected car, Drone (Unmanned Aerial Vehicle, UAV), AI (Artificial Intelligence) module, robot, AR (Augmented Reality) device, VR (Virtual Reality) device, MR (Mixed Reality) device, hologram device, public safety device, MTC device, IoT It may be a device, a medical device, a fintech device (or a financial device), a security device, a climate/environment device, a device related to 5G service, or a device related to the fourth industrial revolution field.
  • Drone Unmanned Aerial Vehicle, UAV
  • AI Artificial Intelligence
  • robot AR (Augmented Reality) device, VR (Virtual Reality) device, MR (Mixed Reality) device, hologram device
  • the terminal is a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistants (PDA), a portable multimedia player (PMP), a navigation system, a slate PC, and a tablet.
  • PDA personal digital assistants
  • PMP portable multimedia player
  • PC tablet PC
  • ultrabook ultrabook
  • wearable device wearable device, for example, a watch-type terminal (smartwatch), glass-type terminal (smart glass), HMD (head mounted display)
  • the HMD may be a display device worn on the head.
  • HMD can be used to implement VR, AR or MR.
  • a drone may be a vehicle that is not human and is flying by a radio control signal.
  • the VR device may include a device that implements an object or a background of a virtual world.
  • the AR device may include a device that connects and implements an object or background of a virtual world, such as an object or background of the real world.
  • the MR device may include a device that combines and implements an object or background of a virtual world, such as an object or background of the real world.
  • the hologram device may include a device that implements a 360-degree stereoscopic image by recording and reproducing stereoscopic information by utilizing an interference phenomenon of light generated by the encounter of two laser lights called holography.
  • the public safety device may include an image relay device or an image device wearable on a user's human body.
  • the MTC device and the IoT device may be devices that do not require direct human intervention or manipulation.
  • the MTC device and the IoT device may include a smart meter, a bending machine, a thermometer, a smart light bulb, a door lock, or various sensors.
  • the medical device may be a device used for the purpose of diagnosing, treating, alleviating, treating or preventing a disease.
  • the medical device may be a device used for the purpose of diagnosing, treating, alleviating or correcting an injury or disorder.
  • a medical device may be a device used for the purpose of examining, replacing or modifying a structure or function.
  • the medical device may be a device used for the purpose of controlling pregnancy.
  • the medical device may include a device for treatment, a device for surgery, a device for (extra-corporeal) diagnosis, a device for hearing aid or a procedure.
  • the security device may be a device installed to prevent a risk that may occur and maintain safety.
  • the security device may be a camera, CCTV, recorder, or black box.
  • the fintech device may be a device capable of providing financial services such as mobile payment.
  • the fintech device may include a payment device or a point of sales (POS).
  • the climate/environment device may include a device that monitors or predicts the climate/environment.
  • the first device 2210 may include at least one or more processors such as the processor 2211, at least one or more memories such as the memory 2212, and at least one or more transceivers such as the transceiver 2213.
  • the processor 2211 may perform the functions, procedures, and/or methods described above.
  • the processor 2211 may perform one or more protocols.
  • the processor 2211 may perform one or more layers of an air interface protocol.
  • the memory 2212 is connected to the processor 2211 and may store various types of information and/or commands.
  • the transceiver 2213 may be connected to the processor 2211 and controlled to transmit and receive radio signals.
  • the processor 2211 may control the transceiver 2213 to transmit a signal modulated by a differential phase shift keying (DPSK) method to the second device 2220.
  • DPSK differential phase shift keying
  • the second device 2220 may include at least one processor such as a processor 2221, at least one memory device such as a memory 2222, and at least one transceiver such as a transceiver 2223.
  • the processor 2221 may perform the functions, procedures, and/or methods described above.
  • the processor 2221 may implement one or more protocols.
  • the processor 2221 may implement one or more layers of a radio interface protocol.
  • the memory 2222 is connected to the processor 2221 and may store various types of information and/or commands.
  • the transceiver 2223 may be connected to the processor 2221 and controlled to transmit and receive wireless signals.
  • the processor 2221 may control the transceiver 2223 to receive a signal modulated by the DPSK method from the first device 2210 through the low-bit ADC (S2110). Further, the processor 2221 may convert the received signal into an input signal for learning a spiking neural network (SNN) (S2120). For example, the received signal may be converted into an input signal of the SNN based on any one of a spike rate, timing, and sequence. Also, the processor 2221 may calculate an output value by performing SNN learning based on the input signal of the SNN (S2130). Also, the processor 2221 may convert the output value into an input signal of the channel decoder (S2140).
  • SNN spiking neural network
  • conversion of the channel decoder into an input signal may be performed based on the above-described Methods 1 to 3, and the like.
  • the output value of the SNN may be converted into an input signal of the channel decoder in the form of a log likelihood ratio (LLR).
  • LLR log likelihood ratio
  • FIG. 23 is another example of a block diagram of a wireless communication device to which the methods proposed in the present specification can be applied.
  • a wireless communication system includes a base station 2310 and a plurality of terminals 2320 located in the base station area.
  • the base station may be represented as a transmitting device, and the terminal may be represented as a receiving device, and vice versa.
  • the base station and the terminal are a processor (processor, 2311,2321), memory (memory, 2314,2324), one or more Tx/Rx RF modules (radio frequency modules, 2315,2325), Tx processors (2312,2322), Rx processors ( 2313,2323) and antennas 2316,2326.
  • the processor implements the previously salpin functions, processes and/or methods.
  • higher layer packets from the core network are provided to the processor 2311.
  • the processor implements the functions of the L2 layer.
  • the processor provides multiplexing between logical channels and transport channels and radio resource allocation to the terminal 2320, and is responsible for signaling to the terminal.
  • the transmit (TX) processor 2312 implements various signal processing functions for the L1 layer (ie, the physical layer).
  • the signal processing function facilitates forward error correction (FEC) in the terminal, and includes coding and interleaving.
  • FEC forward error correction
  • the coded and modulated symbols are divided into parallel streams, each stream is mapped to an OFDM subcarrier, multiplexed with a reference signal (RS) in the time and/or frequency domain, and uses Inverse Fast Fourier Transform (IFFT). These are combined together to create a physical channel carrying a time domain OFDMA symbol stream.
  • the OFDM stream is spatially precoded to produce multiple spatial streams.
  • Each spatial stream may be provided to a different antenna 2316 via a separate Tx/Rx module (or transceiver 2315).
  • Each Tx/Rx module can modulate the RF carrier with each spatial stream for transmission.
  • each Tx/Rx module (or transceiver, 2325) receives a signal through each antenna 2326 of each Tx/Rx module.
  • Each Tx/Rx module restores information modulated by an RF carrier and provides the information to the reception (RX) processor 2323.
  • the RX processor implements a variety of layer 1 signal processing functions.
  • the RX processor may perform spatial processing on the information to recover an arbitrary spatial stream directed to the terminal. If multiple spatial streams are directed to the terminal, they can be combined into a single OFDMA symbol stream by multiple RX processors.
  • the RX processor transforms the OFDMA symbol stream from time domain to frequency domain using Fast Fourier Transform (FFT).
  • FFT Fast Fourier Transform
  • the frequency domain signal contains a separate OFDMA symbol stream for each subcarrier of the OFDM signal.
  • the symbols and reference signal on each subcarrier are reconstructed and demodulated by determining the most probable signal constellation points transmitted by the base station. These soft decisions can be based on channel estimate values.
  • the soft decisions are decoded and deinterleaved to recover the data and control signal originally transmitted by the base station on the physical channel. Corresponding
  • Each Tx/Rx module 2325 receives a signal through a respective antenna 2326.
  • Each Tx/Rx module provides an RF carrier and information to the RX processor 2323.
  • the processor 2321 may be associated with a memory 2324 that stores program codes and data.
  • the memory may be referred to as a computer-readable medium.
  • FIG 24 shows an AI device 2400 according to an embodiment of the present invention.
  • AI devices 2400 include TVs, projectors, mobile phones, smartphones, desktop computers, notebook computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation, tablet PCs, wearable devices, and set-top boxes (STBs). ), a DMB receiver, a radio, a washing machine, a refrigerator, a desktop computer, a digital signage, a robot, a vehicle, and the like.
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • STBs set-top boxes
  • the terminal 2400 includes a communication unit 2410, an input unit 2420, a learning processor 2430, a sensing unit 2440, an output unit 2450, a memory 2470, and a processor 2480.
  • the communication unit 2410 may transmit and receive data with external devices such as other AI devices 2600a to 2600e or the AI server 2500 using wired/wireless communication technology.
  • the communication unit 2410 may transmit and receive sensor information, a user input, a learning model, and a control signal with external devices.
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • LTE Long Term Evolution
  • WLAN Wireless LAN
  • Wi-Fi Wireless-Fidelity
  • BluetoothTM Radio Frequency Identification
  • IrDA Infrared Data Association
  • ZigBee ZigBee
  • NFC Near Field Communication
  • the input unit 2420 may acquire various types of data.
  • the input unit 2420 may include a camera for inputting an image signal, a microphone for receiving an audio signal, and a user input unit for receiving information from a user.
  • a camera or microphone for treating a camera or microphone as a sensor, a signal obtained from the camera or microphone may be referred to as sensing data or sensor information.
  • the input unit 2420 may acquire training data for model training and input data to be used when obtaining an output by using the training model.
  • the input unit 2420 may obtain unprocessed input data, and in this case, the processor 2480 or the learning processor 2430 may extract an input feature as a preprocess for the input data.
  • the learning processor 2430 may train a model composed of an artificial neural network using the training data.
  • the learned artificial neural network may be referred to as a learning model.
  • the learning model can be used to infer a result value for new input data other than the training data, and the inferred value can be used as a basis for a decision to perform a certain operation.
  • the learning processor 2430 may perform AI processing together with the learning processor 2540 of the AI server 2500.
  • the learning processor 2430 may include a memory integrated or implemented in the AI device 2400.
  • the learning processor 2430 may be implemented using a memory 2470, an external memory directly coupled to the AI device 2400, or a memory maintained in an external device.
  • the sensing unit 2440 may acquire at least one of internal information of the AI device 2400, information about the surrounding environment of the AI device 2400, and user information by using various sensors.
  • the sensors included in the sensing unit 2440 include proximity sensors, illuminance sensors, acceleration sensors, magnetic sensors, gyro sensors, inertial sensors, RGB sensors, IR sensors, fingerprint recognition sensors, ultrasonic sensors, optical sensors, microphones, and lidars. , Radar, etc.
  • the output unit 2450 may generate output related to visual, auditory, or tactile sense.
  • the output unit 2450 may include a display unit outputting visual information, a speaker outputting auditory information, a haptic module outputting tactile information, and the like.
  • the memory 2470 may store data supporting various functions of the AI device 2400.
  • the memory 2470 may store input data, training data, training models, training history, and the like acquired from the input unit 2420.
  • the processor 2480 may determine at least one executable operation of the AI device 2400 based on information determined or generated using a data analysis algorithm or a machine learning algorithm. In addition, the processor 2480 may perform a determined operation by controlling the components of the AI device 2400.
  • the processor 2480 may request, search, receive, or utilize data from the learning processor 2430 or the memory 2470, and perform a predicted or desirable operation among the at least one executable operation.
  • the components of the AI device 2400 can be controlled to run.
  • the processor 2480 may generate a control signal for controlling the corresponding external device and transmit the generated control signal to the corresponding external device.
  • the processor 2480 may obtain intention information for a user input, and determine a user's requirement based on the obtained intention information.
  • the processor 2480 uses at least one of a Speech To Text (STT) engine for converting a speech input into a character string or a Natural Language Processing (NLP) engine for obtaining intention information of a natural language. Intention information corresponding to the input can be obtained.
  • STT Speech To Text
  • NLP Natural Language Processing
  • At this time, at least one or more of the STT engine and the NLP engine may be composed of an artificial neural network, at least partially trained according to a machine learning algorithm. And, at least one of the STT engine or the NLP engine is learned by the learning processor 2430, learned by the learning processor 2540 of the AI server 2500, or learned by distributed processing thereof. Can be.
  • the processor 2480 collects the history information including the contents of the operation of the AI device 2400 or the user's feedback on the operation, and stores it in the memory 2470 or the learning processor 2430, or the AI server 2500 Can be transferred to an external device.
  • the collected history information can be used to update the learning model.
  • the processor 2480 may control at least some of the components of the AI device 2400 to drive an application program stored in the memory 2470. Further, the processor 2480 may operate by combining two or more of the components included in the AI device 2400 to drive the application program.
  • FIG 25 shows an AI server 2500 according to an embodiment of the present invention.
  • the AI server 2500 may refer to a device that trains an artificial neural network using a machine learning algorithm or uses the learned artificial neural network.
  • the AI server 2500 may be configured with a plurality of servers to perform distributed processing, or may be defined as a 5G network.
  • the AI server 2500 may be included as a part of the AI device 2400 and may perform at least part of AI processing together.
  • the AI server 2500 may include a communication unit 2510, a memory 2530, a running processor 2540, a processor 2560, and the like.
  • the communication unit 2510 may transmit and receive data with an external device such as the AI device 2400.
  • the memory 2530 may include a model storage unit 2531.
  • the model storage unit 2531 may store a model (or artificial neural network, 2531a) being trained or trained through the learning processor 2540.
  • the learning processor 2540 may train the artificial neural network 2531a using the training data.
  • the learning model may be used while being mounted on the AI server 2500 of the artificial neural network, or may be mounted on an external device such as the AI device 2400 and used.
  • the learning model can be implemented in hardware, software, or a combination of hardware and software. When part or all of the learning model is implemented in software, one or more instructions constituting the learning model may be stored in the memory 2530.
  • the processor 2560 may infer a result value for new input data by using the learning model, and may generate a response or a control command based on the inferred result value.
  • 26 shows an AI system 2600 according to an embodiment of the present invention.
  • the AI system 2600 includes at least one of an AI server 2500, a robot 2600a, an autonomous vehicle 2600b, an XR device 2600c, a smartphone 2600d, or a home appliance 2600e. It is connected to the cloud network 2610.
  • the robot 2600a to which the AI technology is applied, the autonomous vehicle 2600b, the XR device 2600c, the smartphone 2600d, or the home appliance 2600e may be referred to as AI devices 2600a to 2600e.
  • the cloud network 2610 may constitute a part of the cloud computing infrastructure or may mean a network that exists in the cloud computing infrastructure.
  • the cloud network 2610 may be configured using a 3G network, a 4G or long term evolution (LTE) network, or a 5G network.
  • LTE long term evolution
  • the devices 2600a to 2600e and 2500 constituting the AI system 2600 may be connected to each other through the cloud network 2610.
  • the devices 2600a to 2600e and 2500 may communicate with each other through a base station, but may communicate with each other directly without through a base station.
  • the AI server 2500 may include a server that performs AI processing and a server that performs an operation on big data.
  • the AI server 2500 includes at least one of a robot 2600a, an autonomous vehicle 2600b, an XR device 2600c, a smartphone 2600d, or a home appliance 2600e, which are AI devices constituting the AI system 2600. It is connected through the cloud network 2610 and may help at least part of the AI processing of the connected AI devices 2600a to 2600e.
  • the AI server 2500 may train an artificial neural network according to a machine learning algorithm on behalf of the AI devices 2600a to 2600e, and may directly store the learning model or transmit it to the AI devices 2600a to 2600e.
  • the AI server 2500 receives input data from the AI devices 2600a to 2600e, infers a result value for the received input data using a learning model, and provides a response or control command based on the inferred result value. It can be generated and transmitted to the AI devices 2600a to 2600e.
  • the AI devices 2600a to 2600e may infer a result value for input data using a direct learning model and generate a response or a control command based on the inferred result value.
  • the AI devices 2600a to 2600e may be viewed as a specific example of the AI device 2400 illustrated in FIG. 24.
  • the robot 2600a is applied with AI technology and may be implemented as a guide robot, a transport robot, a cleaning robot, a wearable robot, an entertainment robot, a pet robot, an unmanned flying robot, and the like.
  • the robot 2600a may include a robot control module for controlling an operation, and the robot control module may refer to a software module or a chip implementing the same as hardware.
  • the robot 2600a acquires status information of the robot 2600a using sensor information acquired from various types of sensors, detects (recognizes) the surrounding environment and objects, generates map data, or moves and travels. It can decide a plan, decide a response to user interaction, or decide an action.
  • the robot 2600a may use sensor information obtained from at least one sensor from among a lidar, a radar, and a camera in order to determine a movement path and a driving plan.
  • the robot 2600a may perform the above operations using a learning model composed of at least one artificial neural network.
  • the robot 2600a may recognize a surrounding environment and an object using a learning model, and may determine an operation using the recognized surrounding environment information or object information.
  • the learning model may be directly learned by the robot 2600a or learned by an external device such as the AI server 2500.
  • the robot 2600a may perform an operation by generating a result using a direct learning model, but it transmits sensor information to an external device such as the AI server 2500 and performs the operation by receiving the result generated accordingly. You may.
  • the robot 2600a determines a movement route and a driving plan using at least one of map data, object information detected from sensor information, or object information obtained from an external device, and controls the driving unit to determine the determined movement path and travel plan. Accordingly, the robot 2600a can be driven.
  • the map data may include object identification information on various objects arranged in a space in which the robot 2600a moves.
  • the map data may include object identification information on fixed objects such as walls and doors and movable objects such as flower pots and desks.
  • the object identification information may include a name, type, distance, and location.
  • the robot 2600a may perform an operation or run by controlling the driving unit based on the user's control/interaction.
  • the robot 2600a may acquire interaction intention information according to a user's motion or voice speech, and determine a response based on the acquired intention information to perform an operation.
  • the autonomous vehicle 2600b may be implemented as a mobile robot, vehicle, or unmanned aerial vehicle by applying AI technology.
  • the autonomous driving vehicle 2600b may include an autonomous driving control module for controlling an autonomous driving function, and the autonomous driving control module may refer to a software module or a chip implementing the same as hardware.
  • the autonomous driving control module may be included inside as a configuration of the autonomous driving vehicle 2600b, but may be configured as separate hardware and connected to the exterior of the autonomous driving vehicle 2600b.
  • the autonomous driving vehicle 2600b acquires state information of the autonomous driving vehicle 2600b using sensor information acquired from various types of sensors, detects (recognizes) surrounding environments and objects, or generates map data, It is possible to determine a travel route and a driving plan, or to determine an action.
  • the autonomous vehicle 2600b may use sensor information obtained from at least one sensor among a lidar, a radar, and a camera, similar to the robot 2600a, in order to determine a moving route and a driving plan.
  • the autonomous vehicle 2600b may recognize an environment or object in an area where the view is obscured or an area greater than a certain distance by receiving sensor information from external devices, or directly recognized information from external devices. .
  • the autonomous vehicle 2600b may perform the above operations using a learning model composed of at least one artificial neural network.
  • the autonomous vehicle 2600b may recognize a surrounding environment and an object using a learning model, and may determine a driving movement using the recognized surrounding environment information or object information.
  • the learning model may be directly learned by the autonomous vehicle 2600b or learned by an external device such as the AI server 2500.
  • the autonomous vehicle 2600b may perform an operation by generating a result using a direct learning model, but it transmits sensor information to an external device such as the AI server 2500 and receives the generated result to operate. You can also do
  • the autonomous vehicle 2600b determines a movement path and a driving plan using at least one of map data, object information detected from sensor information, or object information obtained from an external device, and controls the driving unit to determine the determined movement path and driving.
  • the autonomous vehicle 2600b can be driven according to a plan.
  • the map data may include object identification information on various objects arranged in a space (eg, a road) in which the autonomous vehicle 2600b travels.
  • the map data may include object identification information on fixed objects such as street lights, rocks, and buildings, and movable objects such as vehicles and pedestrians.
  • the object identification information may include a name, type, distance, and location.
  • the autonomous vehicle 2600b may perform an operation or drive by controlling a driving unit based on a user's control/interaction.
  • the autonomous vehicle 2600b may obtain information on intention of interaction according to a user's motion or voice utterance, and determine a response based on the obtained intention information to perform an operation.
  • the XR device 2600c is equipped with AI technology, such as HMD (Head-Mount Display), HUD (Head-Up Display) provided in the vehicle, TV, mobile phone, smart phone, computer, wearable device, home appliance, digital signage. , A vehicle, a fixed robot, or a mobile robot.
  • HMD Head-Mount Display
  • HUD Head-Up Display
  • the XR device 2600c analyzes 3D point cloud data or image data acquired through various sensors or from an external device to generate location data and attribute data for 3D points, thereby providing information on surrounding spaces or real objects.
  • the XR object to be acquired and output can be rendered and output.
  • the XR apparatus 2600c may output an XR object including additional information on the recognized object in correspondence with the recognized object.
  • the XR device 2600c may perform the above operations using a learning model composed of at least one artificial neural network.
  • the XR apparatus 2600c may recognize a real object from 3D point cloud data or image data using a learning model, and may provide information corresponding to the recognized real object.
  • the learning model may be directly trained by the XR device 2600c or may be trained by an external device such as the AI server 2500.
  • the XR device 2600c may perform an operation by generating a result using a direct learning model, but it transmits sensor information to an external device such as the AI server 2500 and receives the generated result to perform the operation. You can also do it.
  • the robot 2600a may be implemented as a guide robot, a transport robot, a cleaning robot, a wearable robot, an entertainment robot, a pet robot, an unmanned flying robot, etc. by applying AI technology and autonomous driving technology.
  • the robot 2600a to which AI technology and autonomous driving technology are applied may refer to a robot itself having an autonomous driving function or a robot 2600a that interacts with the autonomous vehicle 2600b.
  • the robot 2600a having an autonomous driving function may collectively refer to devices that move by themselves according to a given movement line without the user's control or by determining the movement line by themselves.
  • the robot 2600a having an autonomous driving function and the autonomous driving vehicle 2600b may use a common sensing method to determine one or more of a moving route or a driving plan.
  • the robot 2600a having an autonomous driving function and the autonomous driving vehicle 2600b may determine one or more of a movement route or a driving plan using information sensed through a lidar, a radar, and a camera.
  • the robot 2600a interacting with the autonomous vehicle 2600b exists separately from the autonomous vehicle 2600b and is linked to an autonomous driving function inside or outside the autonomous vehicle 2600b, or ), you can perform an operation associated with the user on board.
  • the robot 2600a interacting with the autonomous vehicle 2600b acquires sensor information on behalf of the autonomous vehicle 2600b and provides it to the autonomous vehicle 2600b, or acquires sensor information, By generating object information and providing it to the autonomous driving vehicle 2600b, it is possible to control or assist the autonomous driving function of the autonomous driving vehicle 2600b.
  • the robot 2600a interacting with the autonomous vehicle 2600b may monitor a user boarding the autonomous vehicle 2600b or control functions of the autonomous vehicle 2600b through interaction with the user. .
  • the robot 2600a may activate an autonomous driving function of the autonomous vehicle 2600b or assist the control of a driving unit of the autonomous driving vehicle 2600b.
  • the functions of the autonomous vehicle 2600b controlled by the robot 2600a may include not only an autonomous driving function, but also a function provided by a navigation system or an audio system provided inside the autonomous driving vehicle 2600b.
  • the robot 2600a interacting with the autonomous vehicle 2600b may provide information or assist a function to the autonomous vehicle 2600b from outside the autonomous vehicle 2600b.
  • the robot 2600a may provide traffic information including signal information to the autonomous vehicle 2600b, such as a smart traffic light, or interact with the autonomous driving vehicle 2600b, such as an automatic electric charger of an electric vehicle. You can also automatically connect an electric charger to the charging port.
  • the robot 2600a may be implemented as a guide robot, a transport robot, a cleaning robot, a wearable robot, an entertainment robot, a pet robot, an unmanned flying robot, a drone, etc. by applying AI technology and XR technology.
  • the robot 2600a to which the XR technology is applied may refer to a robot to be controlled/interacted within an XR image.
  • the robot 2600a is distinguished from the XR device 2600c and may be interlocked with each other.
  • the robot 2600a which is the object of control/interaction in the XR image, acquires sensor information from sensors including a camera
  • the robot 2600a or the XR device 2600c generates an XR image based on the sensor information.
  • the XR device 2600c may output the generated XR image.
  • the robot 2600a may operate based on a control signal input through the XR device 2600c or a user's interaction.
  • the user can check the XR image corresponding to the viewpoint of the robot 2600a linked remotely through an external device such as the XR device 2600c, and adjust the autonomous driving path of the robot 2600a through the interaction.
  • You can control motion or driving, or check information on surrounding objects.
  • the autonomous vehicle 2600b may be implemented as a mobile robot, a vehicle, or an unmanned aerial vehicle by applying AI technology and XR technology.
  • the autonomous driving vehicle 2600b to which the XR technology is applied may refer to an autonomous driving vehicle including a means for providing an XR image, or an autonomous driving vehicle that is an object of control/interaction within the XR image.
  • the autonomous vehicle 2600b, which is an object of control/interaction in the XR image is distinguished from the XR device 2600c and may be interlocked with each other.
  • the autonomous vehicle 2600b having a means for providing an XR image may acquire sensor information from sensors including a camera, and may output an XR image generated based on the acquired sensor information.
  • the autonomous vehicle 2600b may provide an XR object corresponding to a real object or an object in a screen to the occupant by having a HUD and outputting an XR image.
  • the XR object when the XR object is output to the HUD, at least a part of the XR object may be output to overlap the actual object facing the occupant's gaze.
  • the XR object when the XR object is output on a display provided inside the autonomous vehicle 2600b, at least a part of the XR object may be output to overlap the object in the screen.
  • the autonomous vehicle 2600b may output XR objects corresponding to objects such as lanes, other vehicles, traffic lights, traffic signs, motorcycles, pedestrians, and buildings.
  • the autonomous driving vehicle 2600b which is the object of control/interaction in the XR image, acquires sensor information from sensors including a camera
  • the autonomous driving vehicle 2600b or the XR device 2600c is based on the sensor information.
  • An XR image is generated, and the XR device 2600c may output the generated XR image.
  • the autonomous vehicle 2600b may operate based on a control signal input through an external device such as the XR device 2600c or a user's interaction.
  • an embodiment of the present invention may be implemented by various means, for example, hardware, firmware, software, or a combination thereof.
  • an embodiment of the present invention provides one or more ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), and FPGAs ( field programmable gate arrays), processors, controllers, microcontrollers, microprocessors, etc.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, microcontrollers, microprocessors, etc.
  • an embodiment of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above.
  • the software code can be stored in a memory and driven by a processor.
  • the memory may be located inside or outside the processor, and may exchange data with the processor through various known means.
  • the method of transmitting/receiving signals in the wireless communication system of the present invention has been described centering on an example applied to a 3GPP LTE/LTE-A system and a 5G system (New RAT system).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 발명은 무선 통신 시스템에서, 수신 장치가 신호를 송수신 하는 방법에 있어서, 상기 방법은 송신 장치로부터, 차등 위상 천이 변조 (Differential Phase Shift Keying, DPSK) 방식에 기반하여 변조된 신호를 수신하는 단계; 수신된 신호를 스파이크 신경망(Spiking neural network, SNN)의 입력 신호로 변환하는 단계; 기 학습된 상기 스파이크 신경망을 통해 출력값을 산출하는 단계; 및 상기 출력값을 채널 디코더의 입력 신호로 변환하는 단계를 포함할 수 있다.

Description

낮은-비트 양자화 시스템에서의 신호 송수신 방법 및 이를 위한 장치
본 발명은 무선 통신 시스템에 관한 것으로서, 보다 상세하게 낮은-비트(Low-bit) 양자화(quantization)에 기반하는 통신 시스템에서의 신호 송수신 방법 및 이를 지원하는 장치에 관한 것이다.
이동 통신 시스템은 사용자의 활동성을 보장하면서 음성 서비스를 제공하기 위해 개발되었다. 그러나 이동통신 시스템은 음성뿐 아니라 데이터 서비스까지 영역을 확장하였으며, 현재에는 폭발적인 트래픽의 증가로 인하여 자원의 부족 현상이 야기되고 사용자들이 보다 고속의 서비스를 요구하므로, 보다 발전된 이동 통신 시스템이 요구되고 있다.
차세대 이동 통신 시스템의 요구 조건은 크게 폭발적인 데이터 트래픽의 수용, 사용자 당 전송률의 획기적인 증가, 대폭 증가된 연결 디바이스 개수의 수용, 매우 낮은 단대단 지연(End-to-End Latency), 고에너지 효율을 지원할 수 있어야 한다. 이를 위하여 이중 연결성(Dual Connectivity), 대규모 다중 입출력(Massive MIMO: Massive Multiple Input Multiple Output), 전이중(In-band Full Duplex), 비직교 다중접속(NOMA: Non-Orthogonal Multiple Access), 초광대역(Super wideband) 지원, 단말 네트워킹(Device Networking) 등 다양한 기술들이 연구되고 있다.
본 발명에서는 에너지 효율을 고려한 낮은-비트 양자화에 기반하는 신호 송수신 방법을 제안한다.
구체적으로, 본 발명에서는 차등(differential) 위상 천이 변조 및 복조 기법에 기반하여 낮은-비트로 양자화 된 신호에 대해 신경망 학습을 위한 전처리 방법 및 학습된 결과로 출력되는 값에 대한 후처리 방법을 제안한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시 예에 따른 무선 통신 시스템에서, 수신 장치가 신호를 송수신 하는 방법에 있어서, 송신 장치로부터, 차등 위상 천이 변조 (Differential Phase Shift Keying, DPSK) 방식에 기반하여 변조된 신호를 수신하는 단계; 수신된 신호를 스파이크 신경망(Spiking neural network, SNN)의 입력 신호로 변환하는 단계; 기 학습된 상기 스파이크 신경망을 통해 출력값을 산출하는 단계; 및 상기 출력값을 채널 디코더의 입력 신호로 변환하는 단계를 포함할 수 있다.
또한, 본 발명의 실시예에 따른 상기 방법에 있어서, 상기 수신된 신호를 스파이크의 비율(rate), 시간(timing), 시퀀스(sequence) 중 어느 하나에 기반하여 상기 SNN의 입력 신호로 변환할 수 있다.
또한, 본 발명의 실시예에 따른 상기 방법에 있어서, 상기 SNN의 입력 신호와 상기 SNN의 입력 레이어(input layer)이 일대일 매핑될 수 있다.
또한, 본 발명의 실시예에 따른 상기 방법에 있어서, 상기 수신된 신호를 상기 스파이크의 비율(rate)에 기반하여 변환하는 경우, 상기 출력값의 스파이크 카운터에 기초한 로그(log) 값을 산출하여, 상기 채널 디코더의 입력 신호로 변환할 수 있다.
또한, 본 발명의 실시예에 따른 상기 방법에 있어서, 상기 수신된 신호를 상기 시간(timing)에 기반하여 변환한 경우, 상기 출력값으로부터, 상기 출력값과 시간 레이블의 시간 차이에 기반하는 LLR 값을 산출하여, 상기 채널 디코더의 입력 신호로 변환할 수 있다.
또한, 본 발명의 실시예에 따른 상기 방법에 있어서, 상기 수신된 신호를 상기 시퀀스(sequence) 에 기반하여 변환한 경우, 상기 시퀀스는 코스타스 배열을 행 또는 열을 기준으로 1차원 시퀀스로 변환하여 생성될 수 있다.
또한, 본 발명의 실시예에 따른 상기 방법에 있어서, 상기 출력값으로부터, 시퀀스 레이블과 상기 출력값의 시퀀스의 상관 정도에 기반하는 LLR 값을 산출하여, 상기 채널 디코더의 입력 신호로 변환할 수 있다.
또한, 본 발명의 실시예에 따른 상기 방법에 있어서, 상기 출력값으로부터, 시퀀스 레이블과 상기 출력값의 시퀀스의 시간 차이에 기반하는 LLR 값을 산출하여, 상기 채널 디코더의 입력 신호로 변환할 수 있다.
또한, 본 발명의 실시예에 따른 상기 방법에 있어서, 상기 채널 디코더의 입력 신호는, 상기 출력값에 기반하여 산출된 로그우도비(log-likelihood ratio, LLR) 값에 해당할 수 있다.
또한, 본 발명의 실시예에 따른 상기 방법에 있어서, 상기 수신된 신호들을 그룹핑하여, 각 그룹의 신호들을 합산한 값을 스파이크의 비율(rate), 시간(timing), 시퀀스(sequence) 중 어느 하나에 기반하여 상기 SNN의 입력 신호로 변환할 수 있다.
또한, 본 발명의 실시예에 따른 상기 방법에 있어서, 상기 각 그룹의 신호들을 합산한 값을 상기 스파이크의 비율(rate)에 기반하여 변환하는 경우, 상기 스파이크의 시간 슬롯을 추가적으로 고려하여 변환할 수 있다.
또한, 본 발명의 실시예에 따른 상기 방법에 있어서, 상기 수신된 신호는 1 내지 3 비트로 양자화 된 신호에 해당할 수 있다.
본 발명의 실시예에 따른 무선 통신 시스템에서, 신호를 송수신 하는 장치에 있어서, 상기 장치는, 차등 위상 천이 변조 (Differential Phase Shift Keying, DPSK) 방식에 기반하여 변조된 신호들을 수신하여 양자화 하는 ADC(Analog to digital converter), 상기 ADC에 의해 양자화된 신호들을 스파이크 신경망(Spiking neural network, SNN)의 입력 신호로 변환하는 전처리기(pre-processor), 기 학습된 결과에 기반하여 출력값을 산출하는 상기 스파이크 신경망, 및 상기 스파이크 신경망의 상기 출력값을 채널 디코더의 입력 신호로 변환하는 후처리기(post-processor)를 포함할 수 있다.
또한, 본 발명의 실시예에 따른 상기 장치에 있어서, 상기 전처리기는 스파이크의 비율(rate), 시간(timing), 시퀀스(sequence) 중 어느 하나에 기반하여 상기 SNN의 입력 신호로 변환할 수 있다.
또한, 본 발명의 실시예에 따른 상기 방법에 있어서, 상기 후처리기는 상기 출력값에 기반한 LLR을 산출하여 상기 채널 디코더의 입력 신호로 변환할 수 있다.
또한, 본 발명의 실시예에 따른 상기 방법에 있어서, 상기 ADC는 상기 변조된 신호들을 1 내지 3 비트로 양자화 할 수 있다.
본 발명의 실시 예에 따르면, 낮은-비트 양자화(quantization)에 기반하는 신호 송수신 방법을 통해 시스템의 전력 소모를 개선할 수 있다.
또한, 본 발명의 실시 예에 따르면, 낮은-비트 양자화로 인한 송수신 신호간의 비선형적 관계를 신경망 학습을 통해 이해할 수 있다.
또한, 본 발명의 실시 예에 따르면, 스파이크 신경망 학습 방식을 이용함으로써, 활성화(activation)되는 뉴런의 수를 줄어들 수 있고, 전력 소모를 줄일 수 있는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시 예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 명세서에서 제안하는 방법이 적용될 수 있는 NR의 전체적인 시스템 구조의 일례를 나타낸다.
도 2는 본 명세서에서 제안하는 방법이 적용될 수 있는 무선 통신 시스템에서 상향링크 프레임과 하향링크 프레임 간의 관계를 나타낸다.
도 3은 NR 시스템에서의 프레임 구조의 일례를 나타낸다.
도 4는 본 명세서에서 제안하는 방법이 적용될 수 있는 무선 통신 시스템에서 지원하는 자원 그리드(resource grid)의 일례를 나타낸다.
도 5는 본 명세서에서 제안하는 방법이 적용될 수 있는 안테나 포트 및 뉴머롤로지 별 자원 그리드의 예들을 나타낸다.
도 6은 송신단 및 수신단의 블록도의 일례를 나타낸 도이다.
도 7은 64x64 2차원 안테나와 각 안테나와 연결된 1-비트 ADC(analog to digital converter)를 포함하는 수신 장치의 일례를 나타낸다.
도 8은 DBPSK 방식의 변조가 수행되는 일례를 나타낸다.
도 9는 본 발명에서 제안하는 방법이 적용될 수 있는 낮은-비트의 양자화에 기반하여 신호를 송수신 하는 장치에서, 신경망 학습을 위한 신호처리 과정의 일례를 나타낸다.
도 10은 본 발명에서 제안하는 방법에 따른 전처리 단계에서 비율에 기반하여 인코딩 된 신호가 SNN 학습을 통해 출력값으로 산출되는 일례를 나타낸다.
도 11은 2-비트 ADC를 거쳐 출력되는 신호와 이에 대한 차등 복조값의 예시이다.
도 12는 본 발명에서 제안하는 방법에 따른 전처리 단계에서 비율에 기반하여 인코딩 된 신호가 SNN 학습을 통해 출력값으로 산출되는 또 다른 일례를 나타낸다.
도 13은 본 발명에서 제안하는 방법에 따른 2차원 영역에서 P대1 매핑 규칙이 적용되는 일례를 나타낸다.
도 14는 본 발명에서 제안하는 방법에 따른 전처리 단계에서 시간에 기반하여 인코딩 된 신호가 SNN 학습을 통해 출력값으로 산출되는 일례를 나타낸다.
도 15는 본 발명에서 제안하는 방법에 따른 시간 기반 인코딩 매핑 규칙이 적용된 신호에 대한 SNN의 출력값의 일례를 나타낸다.
도 16은 본 발명에서 제안하는 방법에 따른 시간 기반 인코딩 매핑 규칙이 적용된 신호의 SNN의 출력값의 또 다른 예시이다.
도 17은 본 발명에서 제안하는 방법에 따른 전처리 단계에서 두 스파이크 간 시간 차이에 기반하여 인코딩 된 신호가 SNN 학습을 통해 출력값으로 산출되는 일례를 나타낸다.
도 18은 차수 6 에서의 코스타스 배열의 일례와 그 코스타스 배열의 자기 상관(auto-correlation)을 나타낸다.
도 19는 본 발명에서 제안하는 방법에 따른 전처리 단계에서 시퀀스에 기반하여 인코딩 된 신호가 SNN 학습을 통해 출력값으로 산출되는 일례를 나타낸다.
도 20은 본 발명에서 제안하는 방법에 따른 시퀀스 기반 인코딩 매핑 규칙이 적용된 신호의 SNN의 출력값의 일례를 나타낸다.
도 21은 본 명세서에서 제안하는 방법들이 적용될 수 있는 무선 통신 시스템에서 신호를 송수신하는 장치의 동작 순서도의 일례를 나타낸다.
도 22는 본 명세서에서 제안하는 방법들이 적용될 수 있는 무선 통신 장치의 블록 구성도를 예시한다.
도 23은 본 명세서에서 제안하는 방법들이 적용될 수 있는 무선 통신 장치의 블록 구성도의 또 다른 예시이다.
도 24는 본 발명의 일 실시 예에 따른 AI 장치(2400)를 나타낸다.
도 25은 본 발명의 일 실시 예에 따른 AI 서버(2500)를 나타낸다.
도 26은 본 발명의 일 실시 예에 따른 AI 시스템(2600)을 나타낸다.
이하에서, 하향링크(DL: downlink)는 기지국에서 단말로의 통신을 의미하며, 상향링크(UL: uplink)는 단말에서 기지국으로의 통신을 의미한다. 하향링크에서 송신기는 기지국의 일부이고, 수신기는 단말의 일부일 수 있다. 상향링크에서 송신기는 단말의 일부이고, 수신기는 기지국의 일부일 수 있다. 기지국은 제 1 통신 장치로, 단말은 제 2 통신 장치로 표현될 수도 있다. 기지국(BS: Base Station)은 고정국(fixed station), Node B, eNB(evolved-NodeB), gNB(Next Generation NodeB), BTS(base transceiver system), 액세스 포인트(AP: Access Point), 네트워크(5G 네트워크), AI 시스템, RSU(road side unit), 차량(vehicle), 로봇, 드론(Unmanned Aerial Vehicle, UAV), AR(Augmented Reality)장치, VR(Virtual Reality)장치 등의 용어에 의해 대체될 수 있다. 또한, 단말(Terminal)은 고정되거나 이동성을 가질 수 있으며, UE(User Equipment), MS(Mobile Station), UT(user terminal), MSS(Mobile Subscriber Station), SS(Subscriber Station), AMS(Advanced Mobile Station), WT(Wireless terminal), MTC(Machine-Type Communication) 장치, M2M(Machine-to-Machine) 장치, D2D(Device-to-Device) 장치, 차량(vehicle), 로봇(robot), AI 모듈, 드론(Unmanned Aerial Vehicle, UAV), AR(Augmented Reality)장치, VR(Virtual Reality)장치 등의 용어로 대체될 수 있다.
이하의 기술은 CDMA, FDMA, TDMA, OFDMA, SC-FDMA 등과 같은 다양한 무선 접속 시스템에 사용될 수 있다. CDMA는 UTRA(Universal Terrestrial Radio Access)나 CDMA2000과 같은 무선 기술로 구현될 수 있다. TDMA는 GSM(Global System for Mobile communications)/GPRS(General Packet Radio Service)/EDGE(Enhanced Data Rates for GSM Evolution)와 같은 무선 기술로 구현될 수 있다. OFDMA는 IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802-20, E-UTRA(Evolved UTRA) 등과 같은 무선 기술로 구현될 수 있다. UTRA는 UMTS(Universal Mobile Telecommunications System)의 일부이다. 3GPP(3rd Generation Partnership Project) LTE(Long Term Evolution)은 E-UTRA를 사용하는 E-UMTS(Evolved UMTS)의 일부이고 LTE-A(Advanced)/LTE-A pro는 3GPP LTE의 진화된 버전이다. 3GPP NR(New Radio or New Radio Access Technology)는 3GPP LTE/LTE-A/LTE-A pro의 진화된 버전이다.
설명을 명확하게 하기 위해, 3GPP 통신 시스템(예, LTE-A, NR)을 기반으로 설명하지만 본 발명의 기술적 사상이 이에 제한되는 것은 아니다. LTE는 3GPP TS 36.xxx Release 8 이후의 기술을 의미한다. 세부적으로, 3GPP TS 36.xxx Release 10 이후의 LTE 기술은 LTE-A로 지칭되고, 3GPP TS 36.xxx Release 13 이후의 LTE 기술은 LTE-A pro로 지칭된다. 3GPP NR은 TS 38.xxx Release 15 이후의 기술을 의미한다. LTE/NR은 3GPP 시스템으로 지칭될 수 있다. "xxx"는 표준 문서 세부 번호를 의미한다. LTE/NR은 3GPP 시스템으로 통칭될 수 있다. 본 발명의 설명에 사용된 배경기술, 용어, 약어 등에 관해서는 본 발명 이전에 공개된 표준 문서에 기재된 사항을 참조할 수 있다. 예를 들어, 다음 문서를 참조할 수 있다.
3GPP LTE
- 36.211: Physical channels and modulation
- 36.212: Multiplexing and channel coding
- 36.213: Physical layer procedures
- 36.300: Overall description
- 36.331: Radio Resource Control (RRC)
3GPP NR
- 38.211: Physical channels and modulation
- 38.212: Multiplexing and channel coding
- 38.213: Physical layer procedures for control
- 38.214: Physical layer procedures for data
- 38.300: NR and NG-RAN Overall Description
- 36.331: Radio Resource Control (RRC) protocol specification
더욱 많은 통신 기기들이 더욱 큰 통신 용량을 요구하게 됨에 따라 기존의 radio access technology 에 비해 향상된 mobile broadband 통신에 대한 필요성이 대두되고 있다. 또한 다수의 기기 및 사물들을 연결하여 언제 어디서나 다양한 서비스를 제공하는 massive MTC (Machine Type Communications) 역시 차세대 통신에서 고려될 주요 이슈 중 하나이다. 뿐만 아니라 reliability 및 latency 에 민감한 서비스/단말을 고려한 통신 시스템 디자인이 논의되고 있다. 이와 같이 eMBB(enhanced mobile broadband communication), Mmtc(massive MTC), URLLC (Ultra-Reliable and Low Latency Communication) 등을 고려한 차세대 radio access technology 의 도입이 논의되고 있으며, 본 명세서에서는 편의상 해당 technology 를 NR 이라고 부른다. NR은 5G 무선 접속 기술(radio access technology, RAT)의 일례를 나타낸 표현이다.
5G의 세 가지 주요 요구 사항 영역은 (1) 개선된 모바일 광대역 (Enhanced Mobile Broadband, eMBB) 영역, (2) 다량의 머신 타입 통신 (massive Machine Type Communication, mMTC) 영역 및 (3) 초-신뢰 및 저 지연 통신 (Ultra-reliable and Low Latency Communications, URLLC) 영역을 포함한다.
일부 사용 예(Use Case)는 최적화를 위해 다수의 영역들이 요구될 수 있고, 다른 사용 예는 단지 하나의 핵심 성능 지표 (Key Performance Indicator, KPI)에만 포커싱될 수 있다. 5G는 이러한 다양한 사용 예들을 유연하고 신뢰할 수 있는 방법으로 지원하는 것이다.
eMBB는 기본적인 모바일 인터넷 액세스를 훨씬 능가하게 하며, 풍부한 양방향 작업, 클라우드 또는 증강 현실에서 미디어 및 엔터테인먼트 애플리케이션을 커버한다. 데이터는 5G의 핵심 동력 중 하나이며, 5G 시대에서 처음으로 전용 음성 서비스를 볼 수 없을 수 있다. 5G에서, 음성은 단순히 통신 시스템에 의해 제공되는 데이터 연결을 사용하여 응용 프로그램으로서 처리될 것이 기대된다. 증가된 트래픽 양(volume)을 위한 주요 원인들은 콘텐츠 크기의 증가 및 높은 데이터 전송률을 요구하는 애플리케이션 수의 증가이다. 스트리밍 서비스 (오디오 및 비디오), 대화형 비디오 및 모바일 인터넷 연결은 더 많은 장치가 인터넷에 연결될수록 더 널리 사용될 것이다. 이러한 많은 응용 프로그램들은 사용자에게 실시간 정보 및 알림을 푸쉬하기 위해 항상 켜져 있는 연결성이 필요하다. 클라우드 스토리지 및 애플리케이션은 모바일 통신 플랫폼에서 급속히 증가하고 있으며, 이것은 업무 및 엔터테인먼트 모두에 적용될 수 있다. 그리고, 클라우드 스토리지는 상향링크 데이터 전송률의 성장을 견인하는 특별한 사용 예이다. 5G는 또한 클라우드의 원격 업무에도 사용되며, 촉각 인터페이스가 사용될 때 우수한 사용자 경험을 유지하도록 훨씬 더 낮은 단-대-단(end-to-end) 지연을 요구한다. 엔터테인먼트 예를 들어, 클라우드 게임 및 비디오 스트리밍은 모바일 광대역 능력에 대한 요구를 증가시키는 또 다른 핵심 요소이다. 엔터테인먼트는 기차, 차 및 비행기와 같은 높은 이동성 환경을 포함하는 어떤 곳에서든지 스마트폰 및 태블릿에서 필수적이다. 또 다른 사용 예는 엔터테인먼트를 위한 증강 현실 및 정보 검색이다. 여기서, 증강 현실은 매우 낮은 지연과 순간적인 데이터 양을 필요로 한다.
또한, 가장 많이 예상되는 5G 사용 예 중 하나는 모든 분야에서 임베디드 센서를 원활하게 연결할 수 있는 기능 즉, mMTC에 관한 것이다. 2020년까지 잠재적인 IoT 장치들은 204 억 개에 이를 것으로 예측된다. 산업 IoT는 5G가 스마트 도시, 자산 추적(asset tracking), 스마트 유틸리티, 농업 및 보안 인프라를 가능하게 하는 주요 역할을 수행하는 영역 중 하나이다.
URLLC는 주요 인프라의 원격 제어 및 자체-구동 차량(self-driving vehicle)과 같은 초 신뢰 / 이용 가능한 지연이 적은 링크를 통해 산업을 변화시킬 새로운 서비스를 포함한다. 신뢰성과 지연의 수준은 스마트 그리드 제어, 산업 자동화, 로봇 공학, 드론 제어 및 조정에 필수적이다.
다음으로, 다수의 사용 예들에 대해 보다 구체적으로 살펴본다.
5G는 초당 수백 메가 비트에서 초당 기가 비트로 평가되는 스트림을 제공하는 수단으로 FTTH (fiber-to-the-home) 및 케이블 기반 광대역 (또는 DOCSIS)을 보완할 수 있다. 이러한 빠른 속도는 가상 현실과 증강 현실뿐 아니라 4K 이상(6K, 8K 및 그 이상)의 해상도로 TV를 전달하는데 요구된다. VR(Virtual Reality) 및 AR(Augmented Reality) 애플리케이션들은 거의 몰입형(immersive) 스포츠 경기를 포함한다. 특정 응용 프로그램은 특별한 네트워크 설정이 요구될 수 있다. 예를 들어, VR 게임의 경우, 게임 회사들이 지연을 최소화하기 위해 코어 서버를 네트워크 오퍼레이터의 에지 네트워크 서버와 통합해야 할 수 있다.
자동차(Automotive)는 차량에 대한 이동 통신을 위한 많은 사용 예들과 함께 5G에 있어 중요한 새로운 동력이 될 것으로 예상된다. 예를 들어, 승객을 위한 엔터테인먼트는 동시의 높은 용량과 높은 이동성 모바일 광대역을 요구한다. 그 이유는 미래의 사용자는 그들의 위치 및 속도와 관계 없이 고품질의 연결을 계속해서 기대하기 때문이다. 자동차 분야의 다른 활용 예는 증강 현실 대시보드이다. 이는 운전자가 앞면 창을 통해 보고 있는 것 위에 어둠 속에서 물체를 식별하고, 물체의 거리와 움직임에 대해 운전자에게 말해주는 정보를 겹쳐서 디스플레이 한다. 미래에, 무선 모듈은 차량들 간의 통신, 차량과 지원하는 인프라구조 사이에서 정보 교환 및 자동차와 다른 연결된 디바이스들(예를 들어, 보행자에 의해 수반되는 디바이스들) 사이에서 정보 교환을 가능하게 한다. 안전 시스템은 운전자가 보다 안전한 운전을 할 수 있도록 행동의 대체 코스들을 안내하여 사고의 위험을 낮출 수 있게 한다. 다음 단계는 원격 조종되거나 자체 운전 차량(self-driven vehicle)이 될 것이다. 이는 서로 다른 자체 운전 차량들 사이 및 자동차와 인프라 사이에서 매우 신뢰성이 있고, 매우 빠른 통신을 요구한다. 미래에, 자체 운전 차량이 모든 운전 활동을 수행하고, 운전자는 차량 자체가 식별할 수 없는 교통 이상에만 집중하도록 할 것이다. 자체 운전 차량의 기술적 요구 사항은 트래픽 안전을 사람이 달성할 수 없을 정도의 수준까지 증가하도록 초 저 지연과 초고속 신뢰성을 요구한다.
스마트 사회(smart society)로서 언급되는 스마트 도시와 스마트 홈은 고밀도 무선 센서 네트워크로 임베디드될 것이다. 지능형 센서의 분산 네트워크는 도시 또는 집의 비용 및 에너지-효율적인 유지에 대한 조건을 식별할 것이다. 유사한 설정이 각 가정을 위해 수행될 수 있다. 온도 센서, 창 및 난방 컨트롤러, 도난 경보기 및 가전 제품들은 모두 무선으로 연결된다. 이러한 센서들 중 많은 것들이 전형적으로 낮은 데이터 전송 속도, 저전력 및 저비용이다. 하지만, 예를 들어, 실시간 HD 비디오는 감시를 위해 특정 타입의 장치에서 요구될 수 있다.
열 또는 가스를 포함한 에너지의 소비 및 분배는 고도로 분산화되고 있어, 분산 센서 네트워크의 자동화된 제어가 요구된다. 스마트 그리드는 정보를 수집하고 이에 따라 행동하도록 디지털 정보 및 통신 기술을 사용하여 이런 센서들을 상호 연결한다. 이 정보는 공급 업체와 소비자의 행동을 포함할 수 있으므로, 스마트 그리드가 효율성, 신뢰성, 경제성, 생산의 지속 가능성 및 자동화된 방식으로 전기와 같은 연료들의 분배를 개선하도록 할 수 있다. 스마트 그리드는 지연이 적은 다른 센서 네트워크로 볼 수도 있다.
건강 부문은 이동 통신의 혜택을 누릴 수 있는 많은 응용 프로그램을 보유하고 있다. 통신 시스템은 멀리 떨어진 곳에서 임상 진료를 제공하는 원격 진료를 지원할 수 있다. 이는 거리에 대한 장벽을 줄이는데 도움을 주고, 거리가 먼 농촌에서 지속적으로 이용하지 못하는 의료 서비스들로의 접근을 개선시킬 수 있다. 이는 또한 중요한 진료 및 응급 상황에서 생명을 구하기 위해 사용된다. 이동 통신 기반의 무선 센서 네트워크는 심박수 및 혈압과 같은 파라미터들에 대한 원격 모니터링 및 센서들을 제공할 수 있다.
무선 및 모바일 통신은 산업 응용 분야에서 점차 중요해지고 있다. 배선은 설치 및 유지 비용이 높다. 따라서, 케이블을 재구성할 수 있는 무선 링크들로의 교체 가능성은 많은 산업 분야에서 매력적인 기회이다. 그러나, 이를 달성하는 것은 무선 연결이 케이블과 비슷한 지연, 신뢰성 및 용량으로 동작하는 것과, 그 관리가 단순화될 것이 요구된다. 낮은 지연과 매우 낮은 오류 확률은 5G로 연결될 필요가 있는 새로운 요구 사항이다.
물류(logistics) 및 화물 추적(freight tracking)은 위치 기반 정보 시스템을 사용하여 어디에서든지 인벤토리(inventory) 및 패키지의 추적을 가능하게 하는 이동 통신에 대한 중요한 사용 예이다. 물류 및 화물 추적의 사용 예는 전형적으로 낮은 데이터 속도를 요구하지만 넓은 범위와 신뢰성 있는 위치 정보가 필요하다.
<인공 지능(AI: Artificial Intelligence)>
인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력 레이어(Input Layer), 출력 레이어(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
<로봇(Robot)>
로봇은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 의미할 수 있다. 특히, 환경을 인식하고 스스로 판단하여 동작을 수행하는 기능을 갖는 로봇을 지능형 로봇이라 칭할 수 있다.
로봇은 사용 목적이나 분야에 따라 산업용, 의료용, 가정용, 군사용 등으로 분류할 수 있다.
로봇은 액츄에이터 또는 모터를 포함하는 구동부를 구비하여 로봇 관절을 움직이는 등의 다양한 물리적 동작을 수행할 수 있다. 또한, 이동 가능한 로봇은 구동부에 휠, 브레이크, 프로펠러 등이 포함되어, 구동부를 통해 지상에서 주행하거나 공중에서 비행할 수 있다.
<자율 주행(Self-Driving, Autonomous-Driving)>
자율 주행은 스스로 주행하는 기술을 의미하며, 자율 주행 차량은 사용자의 조작 없이 또는 사용자의 최소한의 조작으로 주행하는 차량(Vehicle)을 의미한다.
예컨대, 자율 주행에는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등이 모두 포함될 수 있다.
차량은 내연 기관만을 구비하는 차량, 내연 기관과 전기 모터를 함께 구비하는 하이브리드 차량, 그리고 전기 모터만을 구비하는 전기 차량을 모두 포괄하며, 자동차뿐만 아니라 기차, 오토바이 등을 포함할 수 있다.
이때, 자율 주행 차량은 자율 주행 기능을 가진 로봇으로 볼 수 있다.
<확장 현실(XR: eXtended Reality)>
확장 현실은 가상 현실(VR: Virtual Reality), 증강 현실(AR: Augmented Reality), 혼합 현실(MR: Mixed Reality)을 총칭한다. VR 기술은 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다.
MR 기술은 현실 객체와 가상 객체를 함께 보여준다는 점에서 AR 기술과 유사하다. 그러나, AR 기술에서는 가상 객체가 현실 객체를 보완하는 형태로 사용되는 반면, MR 기술에서는 가상 객체와 현실 객체가 동등한 성격으로 사용된다는 점에서 차이점이 있다.
XR 기술은 HMD(Head-Mount Display), HUD(Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 디지털 사이니지 등에 적용될 수 있고, XR 기술이 적용된 장치를 XR 장치(XR Device)라 칭할 수 있다.
NR을 포함하는 새로운 RAT 시스템은 OFDM 전송 방식 또는 이와 유사한 전송 방식을 사용한다. 새로운 RAT 시스템은 LTE의 OFDM 파라미터들과는 다른 OFDM 파라미터들을 따를 수 있다. 또는 새로운 RAT 시스템은 기존의 LTE/LTE-A의 뉴머롤로지(numerology)를 그대로 따르나 더 큰 시스템 대역폭(예, 100MHz)를 지닐 수 있다. 또는 하나의 셀이 복수 개의 뉴머롤로지들을 지원할 수도 있다. 즉, 서로 다른 뉴머롤로지로 동작하는 하는 단말들이 하나의 셀 안에서 공존할 수 있다.
뉴머로러지(numerology)는 주파수 영역에서 하나의 subcarrier spacing에 대응한다. Reference subcarrier spacing을 정수 N으로 scaling함으로써, 상이한 numerology가 정의될 수 있다.
용어 정의
eLTE eNB: eLTE eNB는 EPC 및 NGC에 대한 연결을 지원하는 eNB의 진화(evolution)이다.
gNB: NGC와의 연결뿐만 아니라 NR을 지원하는 노드.
새로운 RAN: NR 또는 E-UTRA를 지원하거나 NGC와 상호 작용하는 무선 액세스 네트워크.
네트워크 슬라이스(network slice): 네트워크 슬라이스는 종단 간 범위와 함께 특정 요구 사항을 요구하는 특정 시장 시나리오에 대해 최적화된 솔루션을 제공하도록 operator에 의해 정의된 네트워크.
네트워크 기능(network function): 네트워크 기능은 잘 정의된 외부 인터페이스와 잘 정의된 기능적 동작을 가진 네트워크 인프라 내에서의 논리적 노드.
NG-C: 새로운 RAN과 NGC 사이의 NG2 레퍼런스 포인트(reference point)에 사용되는 제어 평면 인터페이스.
NG-U: 새로운 RAN과 NGC 사이의 NG3 레퍼런스 포인트(reference point)에 사용되는 사용자 평면 인터페이스.
비 독립형(Non-standalone) NR: gNB가 LTE eNB를 EPC로 제어 플레인 연결을 위한 앵커로 요구하거나 또는 eLTE eNB를 NGC로 제어 플레인 연결을 위한 앵커로 요구하는 배치 구성.
비 독립형 E-UTRA: eLTE eNB가 NGC로 제어 플레인 연결을 위한 앵커로 gNB를 요구하는 배치 구성.
사용자 평면 게이트웨이: NG-U 인터페이스의 종단점.
시스템 일반
도 1은 본 명세서에서 제안하는 방법이 적용될 수 있는 NR의 전체적인 시스템 구조의 일례를 나타낸다.
도 1을 참조하면, NG-RAN은 NG-RA 사용자 평면(새로운 AS sublayer/PDCP/RLC/MAC/PHY) 및 UE(User Equipment)에 대한 제어 평면(RRC) 프로토콜 종단을 제공하는 gNB들로 구성된다.
상기 gNB는 X n 인터페이스를 통해 상호 연결된다.
상기 gNB는 또한, NG 인터페이스를 통해 NGC로 연결된다.
보다 구체적으로는, 상기 gNB는 N2 인터페이스를 통해 AMF(Access and Mobility Management Function)로, N3 인터페이스를 통해 UPF(User Plane Function)로 연결된다.
NR(New Rat) 뉴머롤로지(Numerology) 및 프레임(frame) 구조
NR 시스템에서는 다수의 뉴머롤로지(numerology)들이 지원될 수 있다. 여기에서, 뉴머롤로지는 서브캐리어 간격(subcarrier spacing)과 CP(Cyclic Prefix) 오버헤드에 의해 정의될 수 있다. 이 때, 다수의 서브캐리어 간격은 기본 서브캐리어 간격을 정수 N(또는, μ)으로 스케일링(scaling) 함으로써 유도될 수 있다. 또한, 매우 높은 반송파 주파수에서 매우 낮은 서브캐리어 간격을 이용하지 않는다고 가정될지라도, 이용되는 뉴머롤로지는 주파수 대역과 독립적으로 선택될 수 있다.
또한, NR 시스템에서는 다수의 뉴머롤로지에 따른 다양한 프레임 구조들이 지원될 수 있다.
이하, NR 시스템에서 고려될 수 있는 OFDM(Orthogonal Frequency Division Multiplexing) 뉴머롤로지 및 프레임 구조를 살펴본다.
NR 시스템에서 지원되는 다수의 OFDM 뉴머롤로지들은 표 1과 같이 정의될 수 있다.
Figure PCTKR2019010566-appb-img-000001
NR 시스템에서의 프레임 구조(frame structure)와 관련하여, 시간 영역의 다양한 필드의 크기는
Figure PCTKR2019010566-appb-img-000002
의 시간 단위의 배수로 표현된다. 여기에서,
Figure PCTKR2019010566-appb-img-000003
이고,
Figure PCTKR2019010566-appb-img-000004
이다. 하향링크(downlink) 및 상향크(uplink) 전송은
Figure PCTKR2019010566-appb-img-000005
의 구간을 가지는 무선 프레임(radio frame)으로 구성된다. 여기에서, 무선 프레임은 각각
Figure PCTKR2019010566-appb-img-000006
의 구간을 가지는 10 개의 서브프레임(subframe)들로 구성된다. 이 경우, 상향링크에 대한 한 세트의 프레임들 및 하향링크에 대한 한 세트의 프레임들이 존재할 수 있다.
도 2는 본 명세서에서 제안하는 방법이 적용될 수 있는 무선 통신 시스템에서 상향링크 프레임과 하향링크 프레임 간의 관계를 나타낸다.
도 2에 나타난 것과 같이, 단말(User Equipment, UE)로 부터의 상향링크 프레임 번호 i의 전송은 해당 단말에서의 해당 하향링크 프레임의 시작보다
Figure PCTKR2019010566-appb-img-000007
이전에 시작해야 한다.
뉴머롤로지
Figure PCTKR2019010566-appb-img-000008
에 대하여, 슬롯(slot)들은 서브프레임 내에서
Figure PCTKR2019010566-appb-img-000009
의 증가하는 순서로 번호가 매겨지고, 무선 프레임 내에서
Figure PCTKR2019010566-appb-img-000010
의 증가하는 순서로 번호가 매겨진다. 하나의 슬롯은
Figure PCTKR2019010566-appb-img-000011
의 연속하는 OFDM 심볼들로 구성되고,
Figure PCTKR2019010566-appb-img-000012
는, 이용되는 뉴머롤로지 및 슬롯 설정(slot configuration)에 따라 결정된다. 서브프레임에서 슬롯
Figure PCTKR2019010566-appb-img-000013
의 시작은 동일 서브프레임에서 OFDM 심볼
Figure PCTKR2019010566-appb-img-000014
의 시작과 시간적으로 정렬된다.
모든 단말이 동시에 송신 및 수신을 할 수 있는 것은 아니며, 이는 하향링크 슬롯(downlink slot) 또는 상향링크 슬롯(uplink slot)의 모든 OFDM 심볼들이 이용될 수는 없다는 것을 의미한다.
표 2는 일반(normal) CP에서 슬롯 별 OFDM 심볼의 개수(
Figure PCTKR2019010566-appb-img-000015
), 무선 프레임 별 슬롯의 개수(
Figure PCTKR2019010566-appb-img-000016
), 서브프레임 별 슬롯의 개수(
Figure PCTKR2019010566-appb-img-000017
)를 나타내며, 표 3은 확장(extended) CP에서 슬롯 별 OFDM 심볼의 개수, 무선 프레임 별 슬롯의 개수, 서브프레임 별 슬롯의 개수를 나타낸다.
Figure PCTKR2019010566-appb-img-000018
Figure PCTKR2019010566-appb-img-000019
도 3은 NR 시스템에서의 프레임 구조의 일례를 나타낸다. 도 3은 단지 설명의 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것이 아니다.
표 3의 경우, μ=2인 경우, 즉 서브캐리어 간격(subcarrier spacing, SCS)이 60kHz인 경우의 일례로서, 표 2를 참고하면 1 서브프레임(또는 프레임)은 4개의 슬롯들을 포함할 수 있으며, 도 3에 도시된 1 서브프레임={1,2,4} 슬롯들은 일례로서, 1 서브프레임에 포함될 수 있는 스롯(들)의 개수는 표 2와 같이 정의될 수 있다.
또한, 미니-슬롯(mini-slot)은 2, 4 또는 7 심볼(symbol)들로 구성될 수도 있고, 더 많거나 또는 더 적은 심볼들로 구성될 수도 있다.
NR 시스템에서의 물리 자원(physical resource)과 관련하여, 안테나 포트(antenna port), 자원 그리드(resource grid), 자원 요소(resource element), 자원 블록(resource block), 캐리어 파트(carrier part) 등이 고려될 수 있다.
이하, NR 시스템에서 고려될 수 있는 상기 물리 자원들에 대해 구체적으로 살펴본다.
먼저, 안테나 포트와 관련하여, 안테나 포트는 안테나 포트 상의 심볼이 운반되는 채널이 동일한 안테나 포트 상의 다른 심볼이 운반되는 채널로부터 추론될 수 있도록 정의된다. 하나의 안테나 포트 상의 심볼이 운반되는 채널의 광범위 특성(large-scale property)이 다른 안테나 포트 상의 심볼이 운반되는 채널로부터 유추될 수 있는 경우, 2 개의 안테나 포트는 QC/QCL(quasi co-located 혹은 quasi co-location) 관계에 있다고 할 수 있다. 여기에서, 상기 광범위 특성은 지연 확산(Delay spread), 도플러 확산(Doppler spread), 주파수 쉬프트(Frequency shift), 평균 수신 파워(Average received power), 수신 타이밍(Received Timing) 중 하나 이상을 포함한다.
도 4는 본 명세서에서 제안하는 방법이 적용될 수 있는 무선 통신 시스템에서 지원하는 자원 그리드(resource grid)의 일례를 나타낸다.
도 4를 참고하면, 자원 그리드가 주파수 영역 상으로
Figure PCTKR2019010566-appb-img-000020
서브캐리어들로 구성되고, 하나의 서브프레임이
Figure PCTKR2019010566-appb-img-000021
OFDM 심볼들로 구성되는 것을 예시적으로 기술하나, 이에 한정되는 것은 아니다.
NR 시스템에서, 전송되는 신호(transmitted signal)는
Figure PCTKR2019010566-appb-img-000022
서브캐리어들로 구성되는 하나 또는 그 이상의 자원 그리드들 및
Figure PCTKR2019010566-appb-img-000023
의 OFDM 심볼들에 의해 설명된다. 여기에서,
Figure PCTKR2019010566-appb-img-000024
이다. 상기
Figure PCTKR2019010566-appb-img-000025
는 최대 전송 대역폭을 나타내고, 이는, 뉴머롤로지들뿐만 아니라 상향링크와 하향링크 간에도 달라질 수 있다.
이 경우, 도 5와 같이, 뉴머롤로지
Figure PCTKR2019010566-appb-img-000026
및 안테나 포트 p 별로 하나의 자원 그리드가 설정될 수 있다.
도 5는 본 명세서에서 제안하는 방법이 적용될 수 있는 안테나 포트 및 뉴머롤로지 별 자원 그리드의 예들을 나타낸다.
뉴머롤로지
Figure PCTKR2019010566-appb-img-000027
및 안테나 포트 p에 대한 자원 그리드의 각 요소는 자원 요소(resource element)로 지칭되며, 인덱스 쌍
Figure PCTKR2019010566-appb-img-000028
에 의해 고유적으로 식별된다. 여기에서,
Figure PCTKR2019010566-appb-img-000029
는 주파수 영역 상의 인덱스이고,
Figure PCTKR2019010566-appb-img-000030
는 서브프레임 내에서 심볼의 위치를 지칭한다. 슬롯에서 자원 요소를 지칭할 때에는, 인덱스 쌍
Figure PCTKR2019010566-appb-img-000031
이 이용된다. 여기에서,
Figure PCTKR2019010566-appb-img-000032
이다.
뉴머롤로지
Figure PCTKR2019010566-appb-img-000033
및 안테나 포트 p에 대한 자원 요소
Figure PCTKR2019010566-appb-img-000034
는 복소 값(complex value)
Figure PCTKR2019010566-appb-img-000035
에 해당한다. 혼동(confusion)될 위험이 없는 경우 혹은 특정 안테나 포트 또는 뉴머롤로지가 특정되지 않은 경우에는, 인덱스들 p 및
Figure PCTKR2019010566-appb-img-000036
는 드롭(drop)될 수 있으며, 그 결과 복소 값은
Figure PCTKR2019010566-appb-img-000037
또는
Figure PCTKR2019010566-appb-img-000038
이 될 수 있다.
또한, 물리 자원 블록(physical resource block)은 주파수 영역 상의
Figure PCTKR2019010566-appb-img-000039
연속적인 서브캐리어들로 정의된다.
Point A는 자원 블록 그리드의 공통 참조 지점(common reference point)으로서 역할을 하며 다음과 같이 획득될 수 있다.
- PCell 다운링크에 대한 offsetToPointA는 초기 셀 선택을 위해 UE에 의해 사용된 SS/PBCH 블록과 겹치는 가장 낮은 자원 블록의 가장 낮은 서브 캐리어와 point A 간의 주파수 오프셋을 나타내며, FR1에 대해 15kHz 서브캐리어 간격 및 FR2에 대해 60kHz 서브캐리어 간격을 가정한 리소스 블록 단위(unit)들로 표현되고;
- absoluteFrequencyPointA는 ARFCN(absolute radio-frequency channel number)에서와 같이 표현된 point A의 주파수-위치를 나타낸다.
공통 자원 블록(common resource block)들은 서브캐리어 간격 설정
Figure PCTKR2019010566-appb-img-000040
에 대한 주파수 영역에서 0부터 위쪽으로 넘버링(numbering)된다.
서브캐리어 간격 설정
Figure PCTKR2019010566-appb-img-000041
에 대한 공통 자원 블록 0의 subcarrier 0의 중심은 'point A'와 일치한다. 주파수 영역에서 공통 자원 블록 번호(number)
Figure PCTKR2019010566-appb-img-000042
와 서브캐리어 간격 설정
Figure PCTKR2019010566-appb-img-000043
에 대한 자원 요소(k,l)은 아래 수학식 1과 같이 주어질 수 있다.
Figure PCTKR2019010566-appb-img-000044
여기에서,
Figure PCTKR2019010566-appb-img-000045
는
Figure PCTKR2019010566-appb-img-000046
이 point A를 중심으로 하는 subcarrier에 해당하도록 point A에 상대적으로 정의될 수 있다. 물리 자원 블록들은 대역폭 파트(bandwidth part, BWP) 내에서 0부터
Figure PCTKR2019010566-appb-img-000047
까지 번호가 매겨지고,
Figure PCTKR2019010566-appb-img-000048
는 BWP의 번호이다. BWP i에서 물리 자원 블록
Figure PCTKR2019010566-appb-img-000049
와 공통 자원 블록
Figure PCTKR2019010566-appb-img-000050
간의 관계는 아래 수학식 2에 의해 주어질 수 있다.
Figure PCTKR2019010566-appb-img-000051
여기에서,
Figure PCTKR2019010566-appb-img-000052
는 BWP가 공통 자원 블록 0에 상대적으로 시작하는 공통 자원 블록일 수 있다.
한편, 캐리어에 의해 지원되는 각 뉴머롤로지의 PRB grid, DL/UL 각각의 캐리어에서의 BWP 설정(최대 4개의 BWP 지원), CBG(code block group) 설정, cell 그룹 당 TPC(Transmission power control), HARQ 프로세스, 스크램블링/시퀀스 관련 파라미터 등은 캐리어 단계(level)에서 설정될 수 있다. 제어 자원 세트(control resource set)(셀 당 설정되나, BWP 당 연관(association)됨), 자원 할당과 관련된 파라미터와 DM-RS 설정, CSI-RS 관련 파라미터, SRS 자원 세트, HARQ-ACK 과 SR(schedule request) 자원, 설정된 UL grant 등은 BWP 단계에서 설정될 수 있다.
eMBB (enhanced Mobile Broadband communication)
NR 시스템의 경우, 송수신 안테나가 크게 증가하는 거대(massive) MIMO 환경이 고려될 수 있다. 즉, 거대 MIMO 환경이 고려됨에 따라, 송수신 안테나의 수는 수십 또는 수백 개 이상으로 증가할 수 있다. 거대 MIMO 환경에서는 하드웨어 구현의 복잡도를 줄이고, 다수의 안테나들을 이용한 성능 증가, 자원 할당의 유연성, 주파수별 빔 제어의 용이를 위해, 빔 형성 가중치 벡터(weight vector)/프리코딩 벡터(precoding vector)를 적용하는 위치에 따라 아날로그 빔포밍(analog beamforming) 기법과 디지털 빔포밍(digital beamforming) 기법이 결합된 하이브리드(hybrid) 형태의 빔포밍 기법이 요구된다.
도 6은 64x64 2차원 안테나와 각 안테나와 연결된 1-비트 ADC(analog to digital converter)를 포함하는 수신 장치의 일례를 나타낸다. 여기서, ADC 앞 단에 있는 RF(Radio Frequency) 프론트-엔드(front-end)는 생략되었다. 도 6은 단지 설명의 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것이 아니다.
도 6을 참고하면, 예를 들어, 수신 장치는 4096 (예: 64x64)개의 안테나를 포함하고, 각각의 안테나와 연결된 수신 경로(RX path)의 I(동-위상(in-phase)) 신호 (예: 실수 신호)와 Q(직교(Quadrature)) 신호 (예: 허수 신호)에 대한 각 1-비트 ADC를 포함할 수 있다.
기존 고성능 ADC를 포함하는 수신 장치에서는 고성능 ADC의 출력(output)으로 a+bj (예: a, b는 각각 8 비트 내지 10 비트로 표현되는 수)형태의 수신 신호가 베이스밴드(Baseband)로 전달되었다. 이하에서, 기존 고성능 ADC의 출력 신호를 비양자화(Unquantized) 버전으로 지칭한다. 고성능 ADC는 출력 신호의 해상도(resolution) 측면에서는 우수하나, 시스템의 전력 소모 측면에서는 불리할 수 있다.
반면, 도 6을 참고하면, 1-비트 ADC를 통해 베이스밴드(Baseband)로 전달되는 신호의 종류는 수신 경로 당 4개 종류로 한정될 수 있다. 즉, 수신 경로 별로 1+j, 1-j, -1+j, -1+j 중 하나의 신호가 수신될 수 있다. 1-비트 ADC를 포함하는 수신 장치는 수신 신호의 크기 등의 정보 손실로 인해, SNR (Signal to Noise Ratio) 등의 정보를 얻기 어려울 수도 있지만, 위상 정보를 통한 정보 전달이 용이할 수 있고 시스템의 전력 소모가 고성능 ADC 대비 훨씬 적다.
본 발명에서는 차등 위상 천이 변조 (Differential Phase Shift Keying) 방식 (예: DBPSK(Differential Binary Phase Shift Keying), DQPSK(Differential Quadrature Phase Shift Keying) 등)의 변조 기법과 비-동기 검출(non-coherent detection) 방식의 복조 기법을 기반으로 설명한다. 상기 1-비트 양자화 시스템은 1-비트 ADC를 이용할 수 있으므로, 1-비트 ADC 시스템이라는 용어로 대체될 수 있다. 이하에서 설명의 편의성을 위해 DBPSK (Differential BPSK) 방식을 기준으로 설명한다. 그러나, 이는 설명상 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것은 아니다. 따라서, DQPSK 방식의 경우도 동일하게 적용할 수 있음은 자명하다.
차등 위상 천이 변조 (Differential Phase Shift Keying, DPSK)는 연속적인 심볼 사이의 반송파의 위상 차이를 기초로 데이터를 전달하는 변조 방식이다. 예를 들어, 차등 BPSK (Differential BPSK, DBPSK)에서, 현재 위상에 180 °를 더함으로써 "1"을 전송하고 현재 위상에 0 °를 더함으로써 "0"을 전송할 수 있다. 차등 QPSK (DQPSK)에서, 위상 천이는 데이터 "00", "01", "11", "10"에 대응하는 0 °, 90 °, 180 °, -90 ° 에 해당할 수 있다. 수신 장치에서는 인접 심볼 간의 위상 차이만 알면 복조가 가능하다.
도 7은 DBPSK 방식의 변조가 수행되는 일례를 나타낸다. DBPSK 방식의 변조에서 0을 전송하기 위해 이전 심볼에서 변조된 심볼과 동일한 심볼을 전송한다. 1을 전송하기 위해 이전 심볼에서 파이만큼의 위상차를 적용하여 심볼을 전송한다. 도 7을 참고하면, 송신 장치는 0을 전달하기 위해서 1,1을 연속하여 전송할 수 있고, 1을 전달하기 위해서 1,0을 연속하여 전송할 수 있다. 송신 장치가 신호를 전송하는 동안 상관 시간(coherence time), 즉 채널이 변하지 않고 동일하다고 가정할 수 있다. 이하에서, 설명의 편의를 위해서 b=0인 경우, 즉 1,1을 연속하여 전송하였다고 가정하고 설명한다. 그러나, 이는 설명상 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것은 아니다.
도 8은 수신 장치에서 수신된 부호화된 신호가 1-비트 ADC를 통과한 결과의 일례를 나타낸다. 상기 부호화된 신호는 DBPSK 방식으로 변조된 신호라고 가정할 수 있다.
도 8을 참고하면, 수신 경로 1(RX1)의 경우 t번째 심볼에서는 -1+j이 수신되고, t+1번째 심볼에서도 -1+j이 수신된다. 따라서, 둘 간의 채널이 동일하다는 가정하에서 수신 장치는 디코딩을 통해 0을 수신한 것으로 판단할 수 있고, 이 때의 차등 값(differential value)은 2로 출력될 수 있다. 즉, 상기 차등값은 t번째 심볼에서 수신된 값과 t+1번째 심볼에서 수신된 값의 켤레(conjugate)값의 곱으로 나타낼 수 있다. 수신 경로 2(RX2)의 경우도 비슷하게 채널을 통과한 후, t번째 심볼과 t+1번째 심볼에서 모두 -1-j이 수신되며, 차등 값은 2로 출력될 수 있다. 따라서, 수신 장치는 송신 장치가 b=0을 전송한 것이라고 추정할 수 있다.
상술한 바와 같이 1-비트 ADC 시스템에서의 송수신 방법은 기존 비양자화 버전과는 달리 베이스밴드로 4개 값 중 하나를 전달할 수 있다. 1-bit ADC를 통과하면서 신호의 크기 정보는 모두 손실되고, 위상 정보는 4가지로 양자화되면서 정보 손실이 일어날 수 있다. 또한, 기존의 고성능 ADC를 이용하는 것과 달리, 낮은-비트(low bits)(예: 1 내지 3 비트)의 ADC를 이용하는 시스템(또는 장치)에서도 정보 손실이 일어날 수 있다. 따라서, 수신 장치는 새로운 수신 기법을 고려할 필요가 있다.
본 명세서에서는 낮은-비트(low bits)(예: 1 내지 3 비트)의 양자화(Quantization)로 인한 송수신 신호 간의 비선형적 관계를 잘 학습할 수 있는 신경망 (예: Spiking neural networks, SNNs) 을 이용하여 신호를 송수신 하는 방법을 제안한다. 낮은-비트 양자화 및 신경망 학습을 이용함으로써, 수신 장치의 수신 성능 향상 및 전력 소모를 줄일 수 있는 효과가 있다.
이하에서, 수신 신호의 낮은-비트(예: 1 내지 3비트)의 양자화를 위해, 수신 장치에서 1-비트 ADC 시스템을 이용하는 예를 중심으로 설명한다. 다만, 이는 설명의 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것은 아니다. 따라서, 3비트 이하의 ADC 시스템을 이용하는 수신 장치에도 적용 가능하다.
또한, 송신 장치에서 전송된 신호는 DBPSK 방식으로 변조된 신호라고 가정한다. 다만, 이는 설명의 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것은 아니다. 따라서 DQPSK 방식을 포함하는 DPSK 방식으로 변조된 신호에도 적용 가능하다.
또한, 수신 장치의 수신 경로가 4096개 (N=4096)인 경우를 가정하고 설명한다. 다만, 이는 설명의 편의를 위한 것일 뿐, 본 발명의 범위를 제한하지는 않는다. 따라서, 다양한 형태 및 개수의 MIMO 안테나 환경에 적용될 수 있음은 자명하다.
또한, 본 명세서에서는 다양한 신경망 중 스파이크 신경망(Spiking Neural Network, SNN)을 중심으로 설명한다. 다만, 이는 설명의 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것은 아니다. 따라서, SNN과 유사한 방식의 신경망에도 적용 가능할 수 있다.
도 9는 본 발명에서 제안하는 방법 및 실시예가 적용될 수 있는 낮은-비트의 양자화에 기반하여 신호를 송수신 하는 장치에서, 신경망 학습을 위한 신호처리 과정의 일례를 나타낸다. 도 9를 참고하면, 낮은 비트 ADC(예: 1-비트 ADC)를 통과한 신호는 전처리 단계(pre-processing), 신경망 학습 (neural network learning), 후처리 단계(post-processing)를 거쳐 채널 디코더의 입력 신호로 변환 될 수 있다. 각 신호처리 과정에 대응하여, 수신 장치는 낮은 비트 ADC, 전처리기(pre-processor), 신경망(예: SNN), 후처리기(post-processor), 채널 디코더(channel decoder)를 포함할 수 있다. 여기서, 낮은 비트는 1 내지 3 비트를 의미할 수 있다.
스파이킹 신경망(Spiking neural network, SNN)(이하, SNN)은 특정 시점에 발생하는 이산적인 스파이크(spike)를 통해서 동작한다. 스파이크 발생 여부는 다양한 생물학적 프로세스를 나타내는 미분 방정식에 의해 결정될 수 있다. SNN 학습을 통해 시공간 데이터를 처리할 수 있다. 공간적 측면은 입력 계층의 값들을 개별적으로 처리하는 것을 의미한다. 시간적 측면은 시간이 지남에 따라 학습이 이루어지며, 인코딩 과정에서 스파이크의 시간 정보를 얻을 수 있다는 것을 의미한다.
SNN은 비율 부호화(rate coding), 시간적 부호화(temporal coding), 인구 부호화(population coding), 공간적 부호화(sparse coding) 등을 통해서 학습을 수행한다. 따라서, 전처리기는 낮은-비트 ADC(예: 1-비트 ADC)를 통해 샘플링 된 신호를 SNN이 학습할 수 있는 형태로 변환할 필요가 있다. 후처리기는 SNN의 출력값을 채널 디코더의 입력값으로 변환할 필요가 있다. 일례로, 후처리기는 SNN의 출력값을 로그우도비 (log-likelihood ratio, LLR)(이하, LLR)로 변환하여 채널 디코더의 입력값으로 전달할 수 있다.
수신 장치의 수신 경로가 N개 (N은 자연수)일 때, DBPSK로 변조된 신호가 각 수신 경로 별 1-비트 ADC를 거쳐 복조된 심볼에서 실수(real) 값만 취할 수 있고, +j와 -j는 0으로 나타낼 수 있다. 즉, 전처리기는, 1-비트 ADC로부터, 각 요소(element)는 {1, -1, 0} 중 어느 하나로 구성되고, 크기가 N인 벡터를 전달받을 수 있다.
전처리기는 수신된 신호를 SNN의 입력 신호로 변환할 수 있고, 후처리기는 SNN 학습을 통해 산출된 SNN의 출력값을 채널 디코더의 입력 신호로 변환할 수 있다. 이하에서, 전처리기와 후처리기의 동작 방법을 중심으로 구체적으로 설명한다.
< 방법 1>
스파이크 비율(Rate) 기반의 전처리 방법과 그에 상응하는 스파이크 카운터(spike counter) 기반의 후처리 방법을 고려할 수 있다. 여기서, 비율은 임의의 윈도우 크기 내에서의 스파이크의 수를 의미할 수 있다. 전처리기는 N 크기의 벡터를 구성하는 각 요소에 대응하는 스파이크의 비율에 기반하여 SNN의 입력 신호로 인코딩(또는 변환) 할 수 있으며, 인코딩 된 신호를 SNN의 입력 레이어로 전달할 수 있다.
표 4는 비율 기반의 인코딩 매핑(mapping) 규칙의 일례를 나타낸다.
Figure PCTKR2019010566-appb-img-000053
표 4를 참고하면, 윈도우 크기가 16으로 설정된 경우, 전처리기는 1 에 대해서 스파이크의 비율을 16개로 구성할 수 있고, 0 에 대해서는 8개, -1 에 대해서는 4개로 구성할 수 있다. 즉, 각 요소에 따라 스파이크의 비율을 다르게 구성할 수 있다.
도 10은 전처리 단계에서 표 4에 기반하여 인코딩 된 신호가 SNN 학습을 통해 출력값으로 산출되는 일례를 나타낸다. 도 10은 수신 장치의 수신 경로와 SNN의 입력 레이어(input layer)의 각 뉴런(또는, 입력)이 1대1 로 매핑되는 경우를 나타낸다.
도 10과 표 4를 참고하면, 전처리기는 4096 크기의 벡터를 구성하는 각 요소에 상응하는 비율로 스파이크를 생성할 수 있다. 각 요소는 정보 비트에 대응될 수 있으며, 정보 비트가 1인 경우 16개의 스파이크, 0인 경우 8개의 스파이크, -1인 경우 4개의 스파이크 비율로 매핑될 수 있다. 정보 비트는 SNN의 입력 레이어로 전달되고, 학습된 SNN은 출력 레이어(Output layer)에서 해당되는 부류(class)의 출력에 많은 스파이크를 출력할 수 있다. 다시 말해, 학습된 SNN은 출력 레이어(Output layer)에서 해당되는 부류(class)에 맞는 스파이크 수(비율)에 근접하도록 출력할 수 있다. 일례로, 레이블(label)이 0인 경우, 0에 해당하는 출력 노드에 더 많은 스파이크가 출력되도록 학습시킬 수 있다.
SNN 출력 레이어의 노드는 복수 개의 노드로 구성될 수도 있고, 복수 개의 노드가 동일 노드로 병합되어 학습 및 동작할 수도 있다. 따라서, 도 10의 C1과 C2는 동일 노드로 병합되어 학습 및 동작할 수도 있다. 후처리기는 SNN의 출력값을 스파이크 비율에 기반하여 채널 디코더의 입력 신호로 변환할 수 있다. SNN 출력 레이어의 스파이크 카운터(예: 스파이크의 개수)의 비에 기반하여 LLR을 산출하고, 산출된 LLR 값을 채널 디코더로 전달할 수 있다. 구체적인 예로, C1의 스파이크 카운터를 C2의 스파이크 카운터 값으로 나누고 로그(log) 를 취한 값을 채널 디코더의 입력(input)으로 전달할 수 있다.
또 다른 예로, 2-비트 ADC 시스템을 포함하는 수신 장치에서의 비율 기반 인코딩 매핑 규칙을 설명한다.
도 11은 2-비트 ADC를 거쳐 출력되는 신호와 이에 대한 차등 복조값의 예시이다. 도 11을 참고하면, DBPSK로 변조된 신호가 2-비트 ADC를 거쳐 출력되는 값은 실수 영역에서 4개, 허수 영역에서 4개로 총 16개 중 하나의 형태로 출력될 수 있다. 이에 대한 차등 복조값은 총 40개 중 하나로 표현할 수 있다. 그 중, 실수 영역의 값들만을 선택하면 아래와 같이 총 15개의 값 중 하나로 출력될 수 있다. 하기 값들은 2-비트 ADC의 출력값에 따라 변경 가능하며, 스케일링(scaling)이 가능하다.
{18, 12, 10, 8, 6, 4, 2, 0, -2, -4, -6, -8, -10, -12, -18}
전처리기는 2-비트 ADC의 출력 신호에 비율 기반의 인코딩 매핑 규칙을 적용하여 인코딩할 수 있다.
표 5는 비율 기반의 2-비트 ADC 출력의 인코딩 매핑 규칙의 일례를 나타낸다. 표 5를 참고하면, ADC의 출력 비트 수가 늘어남에 따라 윈도우 크기가 증가해야 할 수 있다. 15개의 값의 각 요소 별로 스파이크 비율이 다르게 설정될 수 있다. 전처리기는 표 5의 인코딩 매핑 규칙을 적용하여 2-비트 ADC의 출력 신호를 SNN 입력 신호로 변환할 수 있다.
Figure PCTKR2019010566-appb-img-000054
후처리기는 SNN의 출력값을 스파이크 비율에 기반하여 채널 디코더의 입력 신호로 변환할 수 있다. SNN 출력 레이어의 스파이크 비율에 기반하여 LLR을 산출하고, 산출된 LLR 값을 채널 디코더로 전달할 수 있다.
한편, 수신 경로와 SNN의 입력 레이어의 각 뉴런(또는, 입력)을 1대1 로 매핑하는 방법 외에, 여러 개의 수신 경로의 값들을 그룹화하여 각 그룹과 SNN의 입력 레이어를 매핑함으로써 SNN 입력 레이어의 뉴런 수를 줄이는 방법을 고려할 수 있다.
예를 들어, P (P는 2 이상의 자연수)개 단위로 수신 경로를 결합하여, 결합된 그룹 내 각 수신 경로의 요소들을 합산한 값을 SNN의 입력 레이어의 뉴런과 매핑할 수 있다. 이때, 합산 값을 구분하기 위하여 시간 슬롯이 이용될 수 있다. 구체적인 예로, P = 4인 경우, 수신 경로를 4개 단위로 결합한 그룹에서의 각 요소들의 합은 최대 4에서 -4까지의 값이 존재할 수 있다. 따라서, 이를 기반으로 비율 기반의 인코딩 매핑 규칙을 적용할 수 있다.
표 6은 P=4 인 경우, 비율 기반의 인코딩 매핑 규칙의 일례를 나타낸다.
Figure PCTKR2019010566-appb-img-000055
표 6을 참고하면, 결합된 수신 경로 그룹 내 각 수신 경로의 요소들을 합산한 값은 -4 내지 4 범위의 정수 중 하나로 나타낼 수 있고, 각 합산값에 대응하여 스파이크 비율을 구성할 수 있다. 이때, 합산 값을 구분하기 위하여 시간 슬롯이 이용될 수 있다. 일례로, 합산값이 4인 경우와 -4인 경우 스파이크의 비율은 32로 동일하나, 스파이크가 발생하는 시간 슬롯을 홀수 시간 슬롯과 짝수 시간 슬롯으로 구분함으로써, 합산값을 구분할 수 있다.
도 12는 전처리 단계에서 표 6에 기반하여 인코딩 된 신호가 기 학습된 SNN 을 통해 출력값으로 산출되는 일례를 나타낸다. 도 12는 수신 장치의 수신 경로와 SNN의 입력 레이어의 각 뉴런이 P(예: P=4) 대1 로 대응되는 경우를 나타낸다.
도 12와 표 6을 참고하면, 전처리기는 4096 크기의 벡터를 4개 단위로 결합하여 그룹화하고, 각 그룹 별 4개의 수신 경로의 요소들을 합산하여, 합산값에 상응하는 비율로 스파이크를 생성할 수 있다. 생성된 스파이크는 SNN의 입력 레이어로 전달되고, 학습된 SNN은 출력 레이어(Output layer)에서 해당되는 부류(class)의 출력에 많은 스파이크를 출력할 수 있다. 다시 말해, 해당되는 부류에 맞는 스파이크 비율에 근접하도록 출력할 수 있다. SNN 출력 레이어의 노드는 복수 개의 노드로 구성될 수도 있고, 복수 개의 노드가 동일 노드로 병합되어 학습 및 동작할 수도 있다.
후처리기는 SNN의 출력값을 스파이크 비율에 기반하여 채널 디코더의 입력 신호로 변환할 수 있다. SNN 출력 레이어의 스파이크 비율에 기반하여 LLR을 산출하고, 산출된 LLR 값을 채널 디코더로 전달할 수 있다. 구체적인 예로, C1의 스파이크 카운터를 C2의 스파이크 카운터 값으로 나누고 로그(log) 를 취한 값을 채널 디코더의 입력(input)으로 전달할 수 있다.
상술한 수신 장치의 수신 경로와 SNN의 입력 레이어의 각 뉴런을 1차원 영역에서 P대1 로 매핑하는 방법 외에, 2차원 영역에서 P대1 로 매핑하는 방법도 고려될 수 있다.
도 13은 2차원 영역에서 P대1 매핑 규칙이 적용되는 일례를 나타낸다. 도 13은 설명의 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것은 아니다.
도 13을 참고하면, 2차원 안테나의 형상과 대응하여 행렬을 구성할 수 있고, 행렬의 구성 요소를 P개 단위로 결합하여 행렬을 재구성 할 수 있다. 재구성 된 행렬을 기반으로 SNN의 입력 레이어의 각 뉴런과 매핑할 수 있다. 구체적으로 64 x 64 형태로 구성된 2D 안테나 형상의 실제 위치와 연계하여 64 x 64(=4096) 크기의 행렬을 구성할 수 있고, 이를 4개 단위로 결합하여 32x32 크기의 행렬로 재구성할 수 있다. 이를 기반으로 SNN의 입력 레이어의 각 뉴런과 매핑할 수 있다.
< 방법 2>
시간(Timing) 기반의 전처리 방법과 그에 상응하는 스파이크 카운터(spike counter) 기반의 후처리 방법을 고려할 수 있다.
일례로, 전처리 단계에서 N 크기의 벡터를 구성하는 각 요소 별로 시간 오프셋을 다르게 적용하여 SNN의 입력 신호로 인코딩(또는 변환) 할 수 있으며, 인코딩 된 신호를 SNN의 입력 레이어로 전달할 수 있다.
Figure PCTKR2019010566-appb-img-000056
표 7은 시간 기반의 인코딩 매핑(mapping) 규칙의 일례를 나타낸다. 표 7을 참고하면, 윈도우 크기가 16으로 설정된 경우, 전처리기는 1 에 대해서 시간 오프셋(timing offset)을 4로 설정할 수 있고, 0 에 대해서는 8, -1 에 대해서는 12로 시간 오프셋을 설정할 수 있다.
도 14는 전처리 단계에서 표 7에 기반하여 인코딩 된 신호가 SNN 학습을 통해 출력값으로 산출되는 일례를 나타낸다. 도 14는 수신 장치의 수신 경로와 SNN의 입력 레이어의 각 뉴런(또는 입력)이 1대1 로 대응되는 경우를 나타낸다.
도 14와 표 7을 참고하면, 전처리기는 4096 크기의 벡터를 구성하는 각 요소에 상응하는 시간 오프셋을 적용하여 스파이크를 생성할 수 있다. 구체적으로, 1 에 대해서 t=4에서 스파이크가 생성될 수 있고, 0 에 대해서 t=8에서 스파이크가 생성될 수 있으며, -1 에 대해서 t=12에서 스파이크가 생성될 수 있다. 생성된 스파이크는 SNN의 입력 레이어로 전달되고, SNN은 출력 레이어에서 해당되는 부류의 출력 시간(timing)에 맞는 스파이크를 출력하도록 학습할 수 있다. 후처리기는 SNN의 출력값을 스파이크의 시간에 기반하여 채널 디코더의 입력 신호로 변환할 수 있다.
도 15는 시간 기반 인코딩 매핑 규칙이 적용된 신호에 대한 SNN의 출력값의 일례를 나타낸다. 도 15를 참고하면, T1은 출력 레이어 노드 C1의 시간 레이블(Timing label)을 의미하고, T2는 출력 레이어 노드 C2의 시간 레이블을 의미한다. 여기서, 시간 레이블은 SNN 학습을 위하여 미리 정의될 수 있다. X1과 X2는 각 출력 레이어 노드에서의 출력값에 해당한다. C1의 출력값은 1, C2의 출력값은 0를 의미한다. (기 학습된) SNN의 학습 결과 산출되는 출력값은 미리 정의된 시간 레이블에 얼마나 근접하게 출력되었는지를 기준으로 해석될 수 있다. 따라서, 시간 레이블과 SNN 출력값의 시간 차이를 확률로 나타낼 수 있다.
후처리기는 시간 레이블과 SNN 출력값의 시간 차이에 기반하여 SNN의 출력값을 채널 디코더의 입력 신호로 변환할 수 있다. SNN 출력 레이어의 시간 레이블과 출력값의 시간 차이에 기반하여 LLR을 산출하고, 산출된 LLR 값을 채널 디코더로 전달할 수 있다. 구체적으로, 수학식 3과 같이 T1과 X1의 시간 차이, T2와 X2의 시간 차이에 기반하여 LLR을 산출할 수 있다.
Figure PCTKR2019010566-appb-img-000057
여기서, f는
Figure PCTKR2019010566-appb-img-000058
와 같은 함수를 의미한다. 다만, 이는 하나의 예시에 불과하며, 함수 f는 확률을 나타내는 어떠한 함수도 될 수 있다.
도 16은 시간 기반 인코딩 매핑 규칙이 적용된 신호의 SNN의 출력값의 또 다른 예시이다. 도 16을 참고하면, T1은 출력 레이어 노드 C1의 시간 레이블(Timing label)을 의미하고, T2는 출력 레이어 노드 C2의 시간 레이블을 의미한다. 여기서, 시간 레이블은 SNN 학습을 위하여 미리 정의될 수 있다. 각 출력 노드의 시간 레이블은 동일한 시간을 기준으로 설정될 수 있다. SNN의 학습 결과 산출되는 출력값은 미리 정의된 시간 레이블을 기준으로 얼마나 지연(latency)이 발생하여 출력되었는지에 따라 해석될 수 있다. 따라서, 동일한 시간에서 설정된 각 출력 레이어 노드의 시간 레이블을 기준으로 얼마나 빨리 스파이크가 발생하는지에 따라(또는, 스파이크가 발생할 때까지 얼마나 지연이 발생하였는지에 따라) LLR을 산출할 수 있다. 후처리기는 상술한 수학식 3에 따라 시간 레이블과 출력값의 시간 차이에 기반하여 SNN의 출력값을 LLR로 변환할 수 있으며, 중복되는 설명은 생략한다.
또 다른 예로, 두 스파이크 간 시간 차이에 기반한 전처리 방법을 고려할 수 있다. 전처리 단계에서 N 크기의 벡터를 구성하는 각 요소 별로 두 스파이크 간 시간 차이를 다르게 설정하여 SNN의 입력 신호로 인코딩(또는 변환) 할 수 있으며, 인코딩 된 신호를 SNN의 입력 레이어로 전달할 수 있다.
표 8은 두 스파이크 간 시간 차이에 기반한 인코딩 매핑(mapping) 규칙의 일례를 나타낸다.
Figure PCTKR2019010566-appb-img-000059
표 8을 참고하면, 윈도우 크기가 16으로 설정된 경우, 1 에 대해서 제1 스파이크가 t=1에서 발생하고 제2 스파이크가 t=5에서 발생하도록 하여 인코딩 할 수 있다. 즉, 두 스파이크 간 시간 차이가 4가 적용될 수 있다. 0 에 대해서 제1 스파이크가 t=1에서 발생하고 제2 스파이크가 t=9에서 발생하도록 하여 인코딩 할 수 있다. 즉, 두 스파이크 간 시간 차이가 8가 적용될 수 있다. -1 에 대해서 제1 스파이크가 t=1에서 발생하고 제2 스파이크가 t=13에서 발생하도록 하여 인코딩 할 수 있다. 즉, 두 스파이크 간 시간 차이가 12가 적용될 수 있다.
도 17은 전처리 단계에서 표 8에 기반하여 인코딩 된 신호가 SNN 학습을 통해 출력값으로 산출되는 일례를 나타낸다. 도 17은 수신 장치의 수신 경로와 SNN의 입력 레이어(input layer)의 각 뉴런이 1대1 로 대응되는 경우를 나타낸다. 도 17과 표 8을 참고하면, 전처리기는 두 스파이크 간 시간 차이를 인코딩 매핑 규칙으로 적용하여 인코딩할 수 있고, 인코딩 된 신호를 SNN의 입력 레이어로 전달할 수 있다.
두 스파이크 간 시간 차이에 기반하여 인코딩된 신호가 SNN 학습을 통해 출력된 값은 상술한 바와 같이, 미리 정의된 시간 레이블에 얼마나 근접하게 출력되었는지를 기준으로 해석될 수 있다. 또는, 미리 정의된 시간 레이블을 기준으로 얼마나 지연(latency)이 발생하여 출력되었는지에 따라 해석될 수 있다. 후처리기는 시간 레이블과 SNN 출력값의 시간 차이에 기반하여 SNN의 출력값을 채널 디코더의 입력 신호로 변환할 수 있다. 구체적으로, 상술한 수학식 3에 따라 LLR 값으로 변환하여 채널 디코더로 전달할 수 있다.
한편, 수신 경로와 SNN의 입력 레이어의 각 뉴런을 1대1 로 매핑하는 방법 외에, 여러 개의 수신 경로의 값들을 그룹화하여 각 그룹과 SNN의 입력 레이어을 매핑함으로써 SNN 입력 레이어의 뉴런 수를 줄이는 방법을 고려할 수 있다. 예를 들어, P (P는 2 이상의 자연수)개 단위로 수신 경로를 결합하여, 결합된 그룹 내 각 수신 경로의 요소들을 합산한 값을 SNN의 입력 레이어의 뉴런과 매핑할 수 있다. 이때, 합산 값을 구분하기 위하여 시간 슬롯이 이용될 수 있다.
구체적인 예로, 표 9는 P=4 인 경우, 시간 기반의 P대1 인코딩 매핑 규칙의 일례를 나타낸다. P = 4인 경우, 수신 경로를 4개 단위로 결합한 그룹에서의 각 요소들의 합은 최대 4에서 -4까지의 값이 존재할 수 있다. 따라서, 이를 기반으로 시간 기반의 인코딩 매핑 규칙을 적용할 수 있다. 각 그룹의 합산값에 대응하여 스파이크의 시간 오프셋을 적용할 수 있다.
Figure PCTKR2019010566-appb-img-000060
또한, 방법 1에서 상술한 바와 같이, 시간 기반 인코딩 매핑 규칙을 적용할 때도, 2차원 영역에서 수신 경로와 SNN의 입력 레이어의 각 뉴런을 P대1 로 매핑 하는 것 역시 가능하다. 따라서, 중복되는 설명은 생략한다.
< 방법 3>
시퀀스(sequence) 기반의 전처리 방법과 그에 상응하는 시퀀스 기반의 후처리 방법을 고려할 수 있다. 전처리기는 N크기의 벡터를 구성하는 각 요소에 대응하는 시퀀스에 기반하여, ADC의 출력을 SNN의 입력 신호로 인코딩(또는 변환) 할 수 있으며, 인코딩 된 신호를 SNN의 입력 레이어로 전달할 수 있다.
시퀀스를 생성하기 위해 코스타스 배열(costas array) 이 이용될 수 있다. 코스타스 배열은 n x n 행렬에서 각 행 또는 열에서 오직 하나의 요소(entry)만 1의 값을 가지고 나머지는 0이며, 1의 값을 가지는 모든 요소 간의 n(n-2)/2개의 벡터가 서로 다르다는 조건을 만족하는 행렬을 의미한다. 상기 조건을 만족하면, 이상적인 자동 모호함수(auto-ambiguity function)를 가진다. 코스타스 배열은 차수(order) n 에 따라 여러 개가 존재할 수 있다. 예를 들어, n=6인 차수에서 116개의 코스타스 배열이 존재한다. 코스타스 배열은 웰치(Welch), 렘펠 골롬(Lempel-Golomb) 등의 다양한 방법으로 생성할 수 있다.
도 18은 차수 6 에서의 코스타스 배열의 일례와 그 코스타스 배열의 자기 상관(auto-correlation)을 나타낸다.
2차원(dimension)의 코스타스 배열을 행-단위(column-wise)(또는, 열-단위(row-wise))로 재배치하여 1차원 시퀀스로 변환할 수 있다. 생성된 1차원 시퀀스에 N 크기의 벡터를 구성하는 각 요소를 매핑하여 인코딩을 수행할 수 있다. 이때, 시퀀스 간 거리가 가장 먼 것을 선택하여 매핑할 수 있다.
예를 들어, 차수가 4인 코스타스 배열은 총 12개로 아래와 같다.
(1, 2, 4, 3), (1, 3, 4, 2), (1, 4, 2, 3), (2, 1, 3, 4), (2, 3, 1, 4), (2, 4, 3, 1), (3, 1, 2, 4), (3, 2, 4, 1), (3, 4, 2, 1), (4, 1, 3, 2), (4, 2, 1, 3), (4, 3, 1, 2)
표 10은 4 차수 코스타스 배열을 1차원 시퀀스로 변경한 예시이다. 각 시퀀스를 구분할 수 있는 인덱스가 할당될 수 있다. 생성된 1차원 시퀀스를 기준으로 인코딩 매핑 규칙을 정할 수 있다.
Figure PCTKR2019010566-appb-img-000061
표 11은 시퀀스 기반 인코딩 매핑 규칙의 일례를 나타낸다.
Figure PCTKR2019010566-appb-img-000062
표 11을 참고하면, 윈도우 크기가 16으로 설정된 경우, 1은 시퀀스 인덱스 1에 대응될 수 있고, 0은 시퀀스 인덱스 6에, -1은 시퀀스 인덱스 12에 대응될 수 있다. 각 요소에 따라 시퀀스 인덱스가 다르게 적용될 수 있고, 이에 따라 다른 시퀀스가 적용될 수 있다.
도 19는 전처리 단계에서 표 11에 기반하여 인코딩 된 신호가 SNN 학습을 통해 출력값으로 산출되는 일례를 나타낸다. 도 19은 수신 장치의 수신 경로와 SNN의 입력 레이어(input layer)의 각 뉴런(또는, 입력)이 1대1 로 대응되는 경우를 나타낸다.
도 19와 표 11을 참고하면, 전처리기는 4096 크기의 벡터를 구성하는 각 요소에 상응하는 시퀀스로 스파이크를 생성할 수 있다. SNN은 출력 레이어(Output layer)에서 해당되는 부류(class)의 출력 시퀀스 또는 시퀀스의 시간(timing)에 해당하는 스파이크를 출력하도록 학습할 수 있다. 후처리기는 SNN의 출력 값을 시퀀스 또는 시퀀스의 시간(timing)에 따라 채널 디코더의 입력 신호로 변환할 수 있다.
도 20은 시퀀스 기반 인코딩 매핑 규칙이 적용된 신호의 SNN의 출력값의 일례를 나타낸다. 도 20을 참고하면, 출력 레이어 노드 C1에 해당하는 비트는 1, 출력 레이어 노드 C2에 해당하는 비트는 0을 의미한다. C1의 출력 시퀀스는 시퀀스 레이블((sequence label)과 높은 상관도를 보이는 반면, C2의 출력 시퀀스는 시퀀스 레이블과 낮은 상관도를 보인다. 여기서, 시퀀스 레이블은 SNN 학습을 위하여 미리 정의될 수 있다. SNN의 학습 결과 출력되는 시퀀스는 시퀀스 레이블과 얼마나 비슷한지를 기준으로 해석될 수 있다. 다시 말해, 시퀀스 레이블과 실제 출력 시퀀스 간의 상관(correlation) 정도로 판단할 수 있다.
후처리기는 시퀀스 레이블과 출력 시퀀스의 상관 정도에 기반하여 SNN의 출력값을 채널 디코더의 입력 신호로 변환할 수 있다. 수학식 4는 시퀀스 레이블과 출력 시퀀스의 상관 정도에 기반하여 LLR을 산출하는 수식이다. 산출된 LLR 값을 채널 디코더로 전달할 수 있다.
Figure PCTKR2019010566-appb-img-000063
여기서, f는 일례로 상관 함수을 의미한다.
또는, 후처리기는 시퀀스 레이블과 출력 시퀀스의 시간 차이에 기반하여 SNN의 출력값을 채널 디코더의 입력 신호로 변환할 수 있다. 구체적으로, 상술한 수학식 3에 따라, SNN 출력 레이어의 시퀀스 레이블과 출력 시퀀스의 시간 차이에 기반하여 LLR을 산출할 수 있다. 따라서, 중복되는 구체적인 설명은 생략한다. 산출된 LLR 값을 채널 디코더로 전달할 수 있다.
한편, 수신 경로와 SNN의 입력 레이어의 각 뉴런을 1대1 로 매핑하는 방법 외에, 여러 개의 수신 경로의 값들을 그룹화하여 각 그룹과 SNN의 입력 레이어를 매핑함으로써 SNN 입력 레이어의 뉴런 수를 줄이는 방법을 고려할 수 있다. 예를 들어, P (P는 2 이상의 자연수)개 단위로 수신 경로를 결합하여, 결합된 그룹 내 각 수신 경로의 요소들을 합산한 값을 SNN의 입력 레이어의 뉴런과 매핑할 수 있다. 이때, 시퀀스 간 거리가 가장 먼 것을 선택할 수 있다.
구체적인 예로, P = 4인 경우, 수신 경로를 4개 단위로 결합한 그룹에서의 각 요소들의 합은 최대 4에서 -4까지의 값이 존재할 수 있다. 따라서, 이를 기반으로 시퀀스 기반의 인코딩 매핑 규칙을 적용할 수 있다.
표 12는 P=4 인 경우, 시퀀스 기반의 인코딩 매핑 규칙의 일례를 나타낸다.
Figure PCTKR2019010566-appb-img-000064
표 12를 참고하면, 결합된 수신 경로 그룹 내 각 수신 경로의 요소들을 합산한 값은 -4 내지 4 범위의 정수 중 하나로 나타낼 수 있고, 각 합산값에 대응하여 스파이크 시퀀스를 다르게 적용할 수 있다. 즉, 각 합산값의 요소별로 스파이크 시퀀스의 인덱스를 다르게 매핑할 수 있다.
또한, 상술한 수신 경로와 SNN의 입력 레이어의 각 뉴런을 1차원 영역에서 P대1로 매핑하는 방법 외에, 시퀀스 기반의 인코딩 매핑에서도 2차원 영역에서 P대1로 매핑할 수 있다. 2차원 안테나의 형상과 대응하여 행렬을 구성할 수 있고, 행렬의 구성 요소를 P개 단위로 결합하여 행렬을 재구성 할 수 있다. 재구성 된 행렬을 기반으로 SNN의 각 뉴런과 매핑할 수 있다.
상술한 방법 및 실시예들을 통해 수신 장치의 전력 소모를 줄일 수 있고, SNN 학습을 통해 낮은 비트의 양자화로 인한 신호 손실 및 송수신 신호간의 비선형성을 개선할 수 있는 효과가 있다.
도 21은 본 명세서에서 제안하는 방법들이 적용될 수 있는 무선 통신 시스템에서 신호를 송수신하는 장치의 동작 순서도의 일례를 나타낸다.
도 21을 참고하면, 수신 장치는 송신 장치로부터 차등 위상 천이 변조 (Differential Phase Shift Keying, DPSK) 방식으로 변조된 신호를 수신할 수 있다(S2110). 수신 장치는 복수의 수신 경로를 통해 변조된 신호를 수신할 수 있다. 수신 장치의 복수의 수신 경로 각각은 낮은 비트의 ADC를 포함할 수 있다. 여기서, 낮은 비트는 1 내지 3 비트에 해당할 수 있다. DPSK로 변조된 신호는 낮은 비트의 ADC를 거쳐 낮은-비트로 양자화 될 수 있다. 즉, 수신된 신호는 1 내지 3 비트로 양자화 된 신호에 해당할 수 있다.
수신된 신호를 SNN(spiking neural network, SNN)의 입력 신호로 변환할 수 있다(S2120). SNN의 입력 신호로의 변환은 상술한 방법 1 내지 방법 3 등에 기반하여 수행될 수 있다. 예를 들어, 수신된 신호는 스파이크의 비율(rate), 시간(timing), 시퀀스(sequence) 중 어느 하나에 기반하여 SNN의 입력 신호로 변환될 수 있다.
구체적인 예로, 수신된 신호의 각 요소에 대응하는 스파이크의 비율에 기반하여 SNN의 입력 신호로 변환(또는 인코딩)될 수 있다. 여기서, 비율은 임의의 윈도우 크기 내에서의 스파이크의 수를 의미할 수 있다. 각 요소 별로 임의의 윈도우 크기 내에서의 스파이크의 수를 다르게 적용할 수 있다. 또는, 수신 신호의 각 요소에 대응하는 스파이크의 시간을 기반하여 SNN의 입력 신호로 변환될 수 있다. 각 요소 별로 스파이크의 시간 오프셋을 다르게 적용하여 변환될 수도 있고, 각 요소에 대응하는 두 스파이크 간 시간 차이를 기반으로 변환될 수도 있다. 또는, 수신 신호의 각 요소에 대응하는 스파이크의 시퀀스에 기반하여 SNN의 입력 신호로 변환될 수 있다. 이때, 시퀀스를 생성하기 위해 코스타스 배열이 이용될 수 있다. 2차원(dimension)의 코스타스 배열을 행-단위 또는 열-단위 중 어느 하나의 단위로 재배치하여 1차원 시퀀스로 변환할 수 있다. 생성된 1차원 시퀀스에 수신된 신호의 각 요소를 매핑하여 변환을 수행할 수 있다. 이때, 시퀀스 간 거리가 가장 먼 것을 선택하여 매핑할 수 있다.
수신된 신호와 SNN의 입력 레이어가 1대1로 매핑될 수 있다. 즉, 수신된 신호가 SNN의 입력 신호로 변환될 때, SNN의 입력 신호와 SNN의 입력 레이어가 1대1로 매핑될 수 있다. 또는 수신된 신호를 특정 단위로 그룹화하여 각 그룹과 SNN의 입력 레이어가 매핑될 수도 있다. 구체적으로, 수신된 신호들을 그룹핑하여, 각 그룹의 신호들을 합산한 값을 스파이크의 비율(rate), 시간(timing), 시퀀스(sequence) 중 어느 하나에 기반하여 SNN의 입력 신호로 변환하여 SNN 입력 레이어로 매핑할 수 있다. 상기 각 그룹의 신호들을 합산한 값을 상기 스파이크의 비율(rate)에 기반하여 변환하는 경우, 상기 스파이크의 시간 슬롯을 추가적으로 고려하여 변환할 수 있다.
SNN 입력 레이어로 전달된 SNN의 입력 신호에 기반하여 SNN 학습을 수행하여 출력값을 산출할 수 있다(S2130). 즉, 기 학습된 SNN 신경망을 통해 출력값을 산출할 수 있다. 출력값은 S2120 단계에서 수신 신호가 어떠한 방식으로 SNN의 입력 신호로 변환되었는지에 따라 다르게 해석될 수 있다. 구체적인 예로, 비율에 기반하여 인코딩 된 신호를 SNN 학습한 결과 산출되는 출력값은 출력되는 스파이크의 비율에 따라 해석될 수 있다. 시간에 기반하여 인코딩 된 신호를 SNN 학습한 결과 산출되는 출력값은 미리 정의된 시간 레이블에 얼마나 근접하게 출력되었는지를 기준으로 해석될 수 있다. 또는, 미리 정의된 시간 레이블을 기준으로 얼마나 지연(latency)이 발생하여 출력되었는지에 따라 해석될 수 있다. 따라서, 동일한 시간에서 설정된 각 출력 레이어 노드의 시간 레이블을 기준으로 얼마나 빨리 스파이크가 발생하는지에 따라(또는, 스파이크가 발생할 때까지 얼마나 지연이 발생하였는지에 따라) 해석될 수 있다. 시퀀스에 기반하여 인코딩 된 신호를 SNN 학습한 결과 산출되는 출력 시퀀스는 시퀀스 레이블과 얼마나 비슷한지를 기준으로 해석될 수 있다. 즉, 시퀀스 레이블과 실제 출력 시퀀스 간의 상관(correlation) 정도로 판단할 수 있다.
출력값을 채널 디코더의 입력 신호로 변환할 수 있다(S2140). 예를 들어, 채널 디코더의 입력 신호로의 변환은 상술한 방법 1 내지 방법 3 등에 기반하여 수행될 수 있다. SNN의 출력값은 로그 우도비(LLR) 형태로 채널 디코더의 입력 신호로 변환될 수 있다.
구체적인 예로, 스파이크 비율에 기반하여 변환 된 신호를 학습하여 출력된 출력값은, SNN 출력 레이어의 스파이크 비율에 기반하여 LLR을 산출하고, 산출된 LLR 값을 채널 디코더로 전달할 수 있다. 다시 말해, 상기 출력값의 스파이크 카운터에 기초한 로그(log) 값을 산출하여, 상기 채널 디코더의 입력 신호로 변환할 수 있다. SNN 출력 레이어의 각 노드의 스파이크 카운터 값의 비에 로그(log) 를 취한 값을 채널 디코더의 입력(input)으로 전달할 수 있다. 시간에 기반하여 변환 된 신호를 학습하여 출력된 출력값으로부터, SNN 출력 레이어의 시간 레이블과 출력값의 시간 차이에 기반하여 LLR을 산출하여, 채널 디코더의 입력 신호를 변환할 수 있다. 시퀀스에 기반하여 변환 된 신호를 학습하여 출력된 출력값으로부터, SNN 출력 레이어의 시퀀스 레이블과 출력 시퀀스의 상관 정도에 기반하여 LLR을 산출하여, 채널 디코더의 입력 신호로 변환할 수 있다. 또는, SNN 출력 레이어의 시퀀스 레이블과 출력 시퀀스의 시간 차이에 기반하여 LLR을 산출하여, 채널 디코더의 입력 신호로 변환할 수 있다.
본 발명이 적용될 수 있는 장치 일반
도 22는 본 명세서에서 제안하는 방법들이 적용될 수 있는 무선 통신 장치의 블록 구성도를 예시한다.
도 22를 참조하면, 무선 통신 시스템은 제 1 장치(2210)와 제 2 장치(2220)를 포함할 수 있다.
상기 제 1 장치(2210)는 기지국, 네트워크 노드, 전송 단말, 수신 단말, 전송 장치, 수신 장치, 무선 장치, 무선 통신 장치, 차량, 자율주행 기능을 탑재한 차량, 커넥티드카(Connected Car), 드론(Unmanned Aerial Vehicle, UAV), AI(Artificial Intelligence) 모듈, 로봇, AR(Augmented Reality) 장치, VR(Virtual Reality) 장치, MR(Mixed Reality) 장치, 홀로그램 장치, 공공 안전 장치, MTC 장치, IoT 장치, 의료 장치, 핀테크 장치(또는 금융 장치), 보안 장치, 기후/환경 장치, 5G 서비스와 관련된 장치 또는 그 이외 4차 산업 혁명 분야와 관련된 장치일 수 있다.
상기 제 2 장치(2220)는 기지국, 네트워크 노드, 전송 단말, 수신 단말, 전송 장치, 수신 장치, 무선 장치, 무선 통신 장치, 차량, 자율주행 기능을 탑재한 차량, 커넥티드카(Connected Car), 드론(Unmanned Aerial Vehicle, UAV), AI(Artificial Intelligence) 모듈, 로봇, AR(Augmented Reality) 장치, VR(Virtual Reality) 장치, MR(Mixed Reality) 장치, 홀로그램 장치, 공공 안전 장치, MTC 장치, IoT 장치, 의료 장치, 핀테크 장치(또는 금융 장치), 보안 장치, 기후/환경 장치, 5G 서비스와 관련된 장치 또는 그 이외 4차 산업 혁명 분야와 관련된 장치일 수 있다.
예를 들어, 단말은 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털 방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등을 포함할 수 있다. 예를 들어, HMD는 머리에 착용하는 형태의 디스플레이 장치일 수 있다. 예를 들어, HMD는 VR, AR 또는 MR을 구현하기 위해 사용될 수 있다.
예를 들어, 드론은 사람이 타지 않고 무선 컨트롤 신호에 의해 비행하는 비행체일 수 있다. 예를 들어, VR 장치는 가상 세계의 객체 또는 배경 등을 구현하는 장치를 포함할 수 있다. 예를 들어, AR 장치는 현실 세계의 객체 또는 배경 등에 가상 세계의 객체 또는 배경을 연결하여 구현하는 장치를 포함할 수 있다. 예를 들어, MR 장치는 현실 세계의 객체 또는 배경 등에 가상 세계의 객체 또는 배경을 융합하여 구현하는 장치를 포함할 수 있다. 예를 들어, 홀로그램 장치는 홀로그래피라는 두 개의 레이저 광이 만나서 발생하는 빛의 간섭현상을 활용하여, 입체 정보를 기록 및 재생하여 360도 입체 영상을 구현하는 장치를 포함할 수 있다. 예를 들어, 공공 안전 장치는 영상 중계 장치 또는 사용자의 인체에 착용 가능한 영상 장치 등을 포함할 수 있다. 예를 들어, MTC 장치 및 IoT 장치는 사람의 직접적인 개입이나 또는 조작이 필요하지 않는 장치일 수 있다. 예를 들어, MTC 장치 및 IoT 장치는 스마트 미터, 벤딩 머신, 온도계, 스마트 전구, 도어락 또는 각종 센서 등을 포함할 수 있다. 예를 들어, 의료 장치는 질병을 진단, 치료, 경감, 처치 또는 예방할 목적으로 사용되는 장치일 수 있다. 예를 들어, 의료 장치는 상해 또는 장애를 진단, 치료, 경감 또는 보정할 목적으로 사용되는 장치일 수 있다. 예를 들어, 의료 장치는 구조 또는 기능을 검사, 대체 또는 변형할 목적으로 사용되는 장치일 수 있다. 예를 들어, 의료 장치는 임신을 조절할 목적으로 사용되는 장치일 수 있다. 예를 들어, 의료 장치는 진료용 장치, 수술용 장치, (체외) 진단용 장치, 보청기 또는 시술용 장치 등을 포함할 수 있다. 예를 들어, 보안 장치는 발생할 우려가 있는 위험을 방지하고, 안전을 유지하기 위하여 설치한 장치일 수 있다. 예를 들어, 보안 장치는 카메라, CCTV, 녹화기(recorder) 또는 블랙박스 등일 수 있다. 예를 들어, 핀테크 장치는 모바일 결제 등 금융 서비스를 제공할 수 있는 장치일 수 있다. 예를 들어, 핀테크 장치는 결제 장치 또는 POS(Point of Sales) 등을 포함할 수 있다. 예를 들어, 기후/환경 장치는 기후/환경을 모니터링 또는 예측하는 장치를 포함할 수 있다.
상기 제 1 장치(2210)는 프로세서(2211)와 같은 적어도 하나 이상의 프로세서와, 메모리(2212)와 같은 적어도 하나 이상의 메모리와, 송수신기(2213)과 같은 적어도 하나 이상의 송수신기를 포함할 수 있다. 상기 프로세서(2211)는 전술한 기능, 절차, 및/또는 방법들을 수행할 수 있다. 상기 프로세서(2211)는 하나 이상의 프로토콜을 수행할 수 있다. 예를 들어, 상기 프로세서(2211)는 무선 인터페이스 프로토콜의 하나 이상의 계층들을 수행할 수 있다. 상기 메모리(2212)는 상기 프로세서(2211)와 연결되고, 다양한 형태의 정보 및/또는 명령을 저장할 수 있다. 상기 송수신기(2213)는 상기 프로세서(2211)와 연결되고, 무선 시그널을 송수신하도록 제어될 수 있다.
구체적인 예로, 프로세서(2211)은 송수신기(2213)를 제어하여 제 2 장치(2220)로 차등 위상 천이 변조 (Differential Phase Shift Keying, DPSK) 방식으로 변조된 신호를 전송할 수 있다.
상기 제 2 장치(2220)는 프로세서(2221)와 같은 적어도 하나의 프로세서와, 메모리(2222)와 같은 적어도 하나 이상의 메모리 장치와, 송수신기(2223)와 같은 적어도 하나의 송수신기를 포함할 수 있다. 상기 프로세서(2221)는 전술한 기능, 절차, 및/또는 방법들을 수행할 수 있다. 상기 프로세서(2221)는 하나 이상의 프로토콜을 구현할 수 있다. 예를 들어, 상기 프로세서(2221)는 무선 인터페이스 프로토콜의 하나 이상의 계층들을 구현할 수 있다. 상기 메모리(2222)는 상기 프로세서(2221)와 연결되고, 다양한 형태의 정보 및/또는 명령을 저장할 수 있다. 상기 송수신기(2223)는 상기 프로세서(2221)와 연결되고, 무선 시그널을 송수신하도록 제어될 수 있다.
구체적인 예로, 프로세서(2221)는 송수신기(2223)를 제어하여 제 1 장치(2210)로부터 낮은-비트 ADC를 통해 DPSK 방식으로 변조된 신호를 수신할 수 있다(S2110). 또한, 프로세서(2221)는 수신된 신호를 SNN(spiking neural network, SNN) 학습을 위한 입력 신호로 변환할 수 있다(S2120). 예를 들어, 수신된 신호는 스파이크의 비율(rate), 시간(timing), 시퀀스(sequence) 중 어느 하나에 기반하여 SNN의 입력 신호로 변환될 수 있다. 또한, 프로세서(2221)는 SNN의 입력 신호에 기반하여 SNN 학습을 수행하여 출력값을 산출할 수 있다(S2130). 또한, 프로세서(2221)는 출력값을 채널 디코더의 입력 신호로 변환할 수 있다(S2140). 예를 들어, 채널 디코더의 입력 신호로의 변환은 상술한 방법 1 내지 방법 3 등에 기반하여 수행될 수 있다. SNN의 출력값은 로그 우도비(LLR) 형태로 채널 디코더의 입력 신호로 변환될 수 있다.
도 23은 본 명세서에서 제안하는 방법들이 적용될 수 있는 무선 통신 장치의 블록 구성도의 또 다른 예시이다.
도 23을 참조하면, 무선 통신 시스템은 기지국(2310)과 기지국 영역 내에 위치한 다수의 단말(2320)을 포함한다. 기지국은 송신 장치로, 단말은 수신 장치로 표현될 수 있으며, 그 반대도 가능하다. 기지국과 단말은 프로세서(processor, 2311,2321), 메모리(memory, 2314,2324), 하나 이상의 Tx/Rx RF 모듈(radio frequency module, 2315,2325), Tx 프로세서(2312,2322), Rx 프로세서(2313,2323), 안테나(2316,2326)를 포함한다. 프로세서는 앞서 살핀 기능, 과정 및/또는 방법을 구현한다. 보다 구체적으로, DL(기지국에서 단말로의 통신)에서, 코어 네트워크로부터의 상위 계층 패킷은 프로세서(2311)에 제공된다. 프로세서는 L2 계층의 기능을 구현한다. DL에서, 프로세서는 논리 채널과 전송 채널 간의 다중화(multiplexing), 무선 자원 할당을 단말(2320)에 제공하며, 단말로의 시그널링을 담당한다. 전송(TX) 프로세서(2312)는 L1 계층 (즉, 물리 계층)에 대한 다양한 신호 처리 기능을 구현한다. 신호 처리 기능은 단말에서 FEC(forward error correction)을 용이하게 하고, 코딩 및 인터리빙(coding and interleaving)을 포함한다. 부호화 및 변조된 심볼은 병렬 스트림으로 분할되고, 각각의 스트림은 OFDM 부반송파에 매핑되고, 시간 및/또는 주파수 영역에서 기준 신호(Reference Signal, RS)와 멀티플렉싱되며, IFFT (Inverse Fast Fourier Transform)를 사용하여 함께 결합되어 시간 영역 OFDMA 심볼 스트림을 운반하는 물리적 채널을 생성한다. OFDM 스트림은 다중 공간 스트림을 생성하기 위해 공간적으로 프리코딩된다. 각각의 공간 스트림은 개별 Tx/Rx 모듈(또는 송수신기,2315)를 통해 상이한 안테나(2316)에 제공될 수 있다. 각각의 Tx/Rx 모듈은 전송을 위해 각각의 공간 스트림으로 RF 반송파를 변조할 수 있다. 단말에서, 각각의 Tx/Rx 모듈(또는 송수신기,2325)는 각 Tx/Rx 모듈의 각 안테나(2326)을 통해 신호를 수신한다. 각각의 Tx/Rx 모듈은 RF 캐리어로 변조된 정보를 복원하여, 수신(RX) 프로세서(2323)에 제공한다. RX 프로세서는 layer 1의 다양한 신호 프로세싱 기능을 구현한다. RX 프로세서는 단말로 향하는 임의의 공간 스트림을 복구하기 위해 정보에 공간 프로세싱을 수행할 수 있다. 만약 다수의 공간 스트림들이 단말로 향하는 경우, 다수의 RX 프로세서들에 의해 단일 OFDMA 심볼 스트림으로 결합될 수 있다. RX 프로세서는 고속 푸리에 변환 (FFT)을 사용하여 OFDMA 심볼 스트림을 시간 영역에서 주파수 영역으로 변환한다. 주파수 영역 신호는 OFDM 신호의 각각의 서브 캐리어에 대한 개별적인 OFDMA 심볼 스트림을 포함한다. 각각의 서브캐리어 상의 심볼들 및 기준 신호는 기지국에 의해 전송된 가장 가능성 있는 신호 배치 포인트들을 결정함으로써 복원되고 복조된다. 이러한 연 판정(soft decision)들은 채널 추정 값들에 기초할 수 있다. 연판정들은 물리 채널 상에서 기지국에 의해 원래 전송된 데이터 및 제어 신호를 복원하기 위해 디코딩 및 디인터리빙되다. 해당 데이터 및 제어 신호는 프로세서(2321)에 제공된다.
UL(단말에서 기지국으로의 통신)은 단말(2320)에서 수신기 기능과 관련하여 기술된 것과 유사한 방식으로 기지국(2310)에서 처리된다. 각각의 Tx/Rx 모듈(2325)는 각각의 안테나(2326)을 통해 신호를 수신한다. 각각의 Tx/Rx 모듈은 RF 반송파 및 정보를 RX 프로세서(2323)에 제공한다. 프로세서 (2321)는 프로그램 코드 및 데이터를 저장하는 메모리 (2324)와 관련될 수 있다. 메모리는 컴퓨터 판독 가능 매체로서 지칭될 수 있다.
도 24는 본 발명의 일 실시 예에 따른 AI 장치(2400)를 나타낸다.
AI 장치(2400)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 데스크탑 컴퓨터, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 24를 참조하면, 단말기(2400)는 통신부(2410), 입력부(2420), 러닝 프로세서(2430), 센싱부(2440), 출력부(2450), 메모리(2470) 및 프로세서(2480) 등을 포함할 수 있다.
통신부(2410)는 유무선 통신 기술을 이용하여 다른 AI 장치(2600a 내지 2600e)나 AI 서버(2500) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(2410)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
이때, 통신부(2410)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
입력부(2420)는 다양한 종류의 데이터를 획득할 수 있다.
이때, 입력부(2420)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(2420)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(2420)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(2480) 또는 러닝 프로세서(2430)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
러닝 프로세서(2430)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이때, 러닝 프로세서(2430)는 AI 서버(2500)의 러닝 프로세서(2540)과 함께 AI 프로세싱을 수행할 수 있다.
이때, 러닝 프로세서(2430)는 AI 장치(2400)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(2430)는 메모리(2470), AI 장치(2400)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
센싱부(2440)는 다양한 센서들을 이용하여 AI 장치(2400) 내부 정보, AI 장치(2400)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(2440)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.
출력부(2450)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다.
이때, 출력부(2450)에는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.
메모리(2470)는 AI 장치(2400)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(2470)는 입력부(2420)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.
프로세서(2480)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 장치(2400)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(2480)는 AI 장치(2400)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.
이를 위해, 프로세서(2480)는 러닝 프로세서(2430) 또는 메모리(2470)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 장치(2400)의 구성 요소들을 제어할 수 있다.
이때, 프로세서(2480)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(2480)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
이때, 프로세서(2480)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.
이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(2430)에 의해 학습된 것이나, AI 서버(2500)의 러닝 프로세서(2540)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(2480)는 AI 장치(2400)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(2470) 또는 러닝 프로세서(2430)에 저장하거나, AI 서버(2500) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(2480)는 메모리(2470)에 저장된 응용 프로그램을 구동하기 위하여, AI 장치(2400)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(2480)는 상기 응용 프로그램의 구동을 위하여, AI 장치(2400)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
도 25는 본 발명의 일 실시 예에 따른 AI 서버(2500)를 나타낸다.
도 25를 참조하면, AI 서버(2500)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(2500)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, AI 서버(2500)는 AI 장치(2400)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.
AI 서버(2500)는 통신부(2510), 메모리(2530), 러닝 프로세서(2540) 및 프로세서(2560) 등을 포함할 수 있다.
통신부(2510)는 AI 장치(2400) 등의 외부 장치와 데이터를 송수신할 수 있다.
메모리(2530)는 모델 저장부(2531)를 포함할 수 있다. 모델 저장부(2531)는 러닝 프로세서(2540)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 2531a)을 저장할 수 있다.
러닝 프로세서(2540)는 학습 데이터를 이용하여 인공 신경망(2531a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(2500)에 탑재된 상태에서 이용되거나, AI 장치(2400) 등의 외부 장치에 탑재되어 이용될 수도 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(2530)에 저장될 수 있다.
프로세서(2560)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
도 26은 본 발명의 일 실시 예에 따른 AI 시스템(2600)을 나타낸다.
도 26을 참조하면, AI 시스템(2600)은 AI 서버(2500), 로봇(2600a), 자율 주행 차량(2600b), XR 장치(2600c), 스마트폰(2600d) 또는 가전(2600e) 중에서 적어도 하나 이상이 클라우드 네트워크(2610)와 연결된다. 여기서, AI 기술이 적용된 로봇(2600a), 자율 주행 차량(2600b), XR 장치(2600c), 스마트폰(2600d) 또는 가전(2600e) 등을 AI 장치(2600a 내지 2600e)라 칭할 수 있다.
클라우드 네트워크(2610)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(2610)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.
즉, AI 시스템(2600)을 구성하는 각 장치들(2600a 내지 2600e, 2500)은 클라우드 네트워크(2610)를 통해 서로 연결될 수 있다. 특히, 각 장치들(2600a 내지 2600e, 2500)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.
AI 서버(2500)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.
AI 서버(2500)는 AI 시스템(2600)을 구성하는 AI 장치들인 로봇(2600a), 자율 주행 차량(2600b), XR 장치(2600c), 스마트폰(2600d) 또는 가전(2600e) 중에서 적어도 하나 이상과 클라우드 네트워크(2610)을 통하여 연결되고, 연결된 AI 장치들(2600a 내지 2600e)의 AI 프로세싱을 적어도 일부를 도울 수 있다.
이때, AI 서버(2500)는 AI 장치(2600a 내지 2600e)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(2600a 내지 2600e)에 전송할 수 있다.
이때, AI 서버(2500)는 AI 장치(2600a 내지 2600e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(2600a 내지 2600e)로 전송할 수 있다.
또는, AI 장치(2600a 내지 2600e)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
이하에서는, 상술한 기술이 적용되는 AI 장치(2600a 내지 2600e)의 다양한 실시 예들을 설명한다. 여기서, 도 26에 도시된 AI 장치(2600a 내지 2600e)는 도 24에 도시된 AI 장치(2400)의 구체적인 실시 예로 볼 수 있다.
<AI+로봇>
로봇(2600a)은 AI 기술이 적용되어, 안내 로봇, 운반 로봇, 청소 로봇, 웨어러블 로봇, 엔터테인먼트 로봇, 펫 로봇, 무인 비행 로봇 등으로 구현될 수 있다.
로봇(2600a)은 동작을 제어하기 위한 로봇 제어 모듈을 포함할 수 있고, 로봇 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다.
로봇(2600a)은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 로봇(2600a)의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 사용자 상호작용에 대한 응답을 결정하거나, 동작을 결정할 수 있다.
여기서, 로봇(2600a)은 이동 경로 및 주행 계획을 결정하기 위하여, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
로봇(2600a)은 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, 로봇(2600a)은 학습 모델을 이용하여 주변 환경 및 객체를 인식할 수 있고, 인식된 주변 환경 정보 또는 객체 정보를 이용하여 동작을 결정할 수 있다. 여기서, 학습 모델은 로봇(2600a)에서 직접 학습되거나, AI 서버(2500) 등의 외부 장치에서 학습된 것일 수 있다.
이때, 로봇(2600a)은 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(2500) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
로봇(2600a)은 맵 데이터, 센서 정보로부터 검출한 객체 정보 또는 외부 장치로부터 획득한 객체 정보 중에서 적어도 하나 이상을 이용하여 이동 경로와 주행 계획을 결정하고, 구동부를 제어하여 결정된 이동 경로와 주행 계획에 따라 로봇(2600a)을 주행시킬 수 있다.
맵 데이터에는 로봇(2600a)이 이동하는 공간에 배치된 다양한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 예컨대, 맵 데이터에는 벽, 문 등의 고정 객체들과 화분, 책상 등의 이동 가능한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 그리고, 객체 식별 정보에는 명칭, 종류, 거리, 위치 등이 포함될 수 있다.
또한, 로봇(2600a)은 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 로봇(2600a)은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
<AI+자율주행>
자율 주행 차량(2600b)은 AI 기술이 적용되어, 이동형 로봇, 차량, 무인 비행체 등으로 구현될 수 있다.
자율 주행 차량(2600b)은 자율 주행 기능을 제어하기 위한 자율 주행 제어 모듈을 포함할 수 있고, 자율 주행 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다. 자율 주행 제어 모듈은 자율 주행 차량(2600b)의 구성으로써 내부에 포함될 수도 있지만, 자율 주행 차량(2600b)의 외부에 별도의 하드웨어로 구성되어 연결될 수도 있다.
자율 주행 차량(2600b)은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 자율 주행 차량(2600b)의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 동작을 결정할 수 있다.
여기서, 자율 주행 차량(2600b)은 이동 경로 및 주행 계획을 결정하기 위하여, 로봇(2600a)과 마찬가지로, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
특히, 자율 주행 차량(2600b)은 시야가 가려지는 영역이나 일정 거리 이상의 영역에 대한 환경이나 객체는 외부 장치들로부터 센서 정보를 수신하여 인식하거나, 외부 장치들로부터 직접 인식된 정보를 수신할 수 있다.
자율 주행 차량(2600b)은 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, 자율 주행 차량(2600b)은 학습 모델을 이용하여 주변 환경 및 객체를 인식할 수 있고, 인식된 주변 환경 정보 또는 객체 정보를 이용하여 주행 동선을 결정할 수 있다. 여기서, 학습 모델은 자율 주행 차량(2600b)에서 직접 학습되거나, AI 서버(2500) 등의 외부 장치에서 학습된 것일 수 있다.
이때, 자율 주행 차량(2600b)은 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(2500) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
자율 주행 차량(2600b)은 맵 데이터, 센서 정보로부터 검출한 객체 정보 또는 외부 장치로부터 획득한 객체 정보 중에서 적어도 하나 이상을 이용하여 이동 경로와 주행 계획을 결정하고, 구동부를 제어하여 결정된 이동 경로와 주행 계획에 따라 자율 주행 차량(2600b)을 주행시킬 수 있다.
맵 데이터에는 자율 주행 차량(2600b)이 주행하는 공간(예컨대, 도로)에 배치된 다양한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 예컨대, 맵 데이터에는 가로등, 바위, 건물 등의 고정 객체들과 차량, 보행자 등의 이동 가능한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 그리고, 객체 식별 정보에는 명칭, 종류, 거리, 위치 등이 포함될 수 있다.
또한, 자율 주행 차량(2600b)은 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 자율 주행 차량(2600b)은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
<AI+XR>
XR 장치(2600c)는 AI 기술이 적용되어, HMD(Head-Mount Display), 차량에 구비된 HUD(Head-Up Display), 텔레비전, 휴대폰, 스마트 폰, 컴퓨터, 웨어러블 디바이스, 가전 기기, 디지털 사이니지, 차량, 고정형 로봇이나 이동형 로봇 등으로 구현될 수 있다.
XR 장치(2600c)는 다양한 센서들을 통해 또는 외부 장치로부터 획득한 3차원 포인트 클라우드 데이터 또는 이미지 데이터를 분석하여 3차원 포인트들에 대한 위치 데이터 및 속성 데이터를 생성함으로써 주변 공간 또는 현실 객체에 대한 정보를 획득하고, 출력할 XR 객체를 렌더링하여 출력할 수 있다. 예컨대, XR 장치(2600c)는 인식된 물체에 대한 추가 정보를 포함하는 XR 객체를 해당 인식된 물체에 대응시켜 출력할 수 있다.
XR 장치(2600c)는 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, XR 장치(2600c)는 학습 모델을 이용하여 3차원 포인트 클라우드 데이터 또는 이미지 데이터에서 현실 객체를 인식할 수 있고, 인식한 현실 객체에 상응하는 정보를 제공할 수 있다. 여기서, 학습 모델은 XR 장치(2600c)에서 직접 학습되거나, AI 서버(2500) 등의 외부 장치에서 학습된 것일 수 있다.
이때, XR 장치(2600c)는 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(2500) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
<AI+로봇+자율주행>
로봇(2600a)은 AI 기술 및 자율 주행 기술이 적용되어, 안내 로봇, 운반 로봇, 청소 로봇, 웨어러블 로봇, 엔터테인먼트 로봇, 펫 로봇, 무인 비행 로봇 등으로 구현될 수 있다.
AI 기술과 자율 주행 기술이 적용된 로봇(2600a)은 자율 주행 기능을 가진 로봇 자체나, 자율 주행 차량(2600b)과 상호작용하는 로봇(2600a) 등을 의미할 수 있다.
자율 주행 기능을 가진 로봇(2600a)은 사용자의 제어 없이도 주어진 동선에 따라 스스로 움직이거나, 동선을 스스로 결정하여 움직이는 장치들을 통칭할 수 있다.
자율 주행 기능을 가진 로봇(2600a) 및 자율 주행 차량(2600b)은 이동 경로 또는 주행 계획 중 하나 이상을 결정하기 위해 공통적인 센싱 방법을 사용할 수 있다. 예를 들어, 자율 주행 기능을 가진 로봇(2600a) 및 자율 주행 차량(2600b)은 라이다, 레이더, 카메라를 통해 센싱된 정보를 이용하여, 이동 경로 또는 주행 계획 중 하나 이상을 결정할 수 있다.
자율 주행 차량(2600b)과 상호작용하는 로봇(2600a)은 자율 주행 차량(2600b)과 별개로 존재하면서, 자율 주행 차량(2600b)의 내부 또는 외부에서 자율 주행 기능에 연계되거나, 자율 주행 차량(2600b)에 탑승한 사용자와 연계된 동작을 수행할 수 있다.
이때, 자율 주행 차량(2600b)과 상호작용하는 로봇(2600a)은 자율 주행 차량(2600b)을 대신하여 센서 정보를 획득하여 자율 주행 차량(2600b)에 제공하거나, 센서 정보를 획득하고 주변 환경 정보 또는 객체 정보를 생성하여 자율 주행 차량(2600b)에 제공함으로써, 자율 주행 차량(2600b)의 자율 주행 기능을 제어하거나 보조할 수 있다.
또는, 자율 주행 차량(2600b)과 상호작용하는 로봇(2600a)은 자율 주행 차량(2600b)에 탑승한 사용자를 모니터링하거나 사용자와의 상호작용을 통해 자율 주행 차량(2600b)의 기능을 제어할 수 있다. 예컨대, 로봇(2600a)은 운전자가 졸음 상태인 경우로 판단되는 경우, 자율 주행 차량(2600b)의 자율 주행 기능을 활성화하거나 자율 주행 차량(2600b)의 구동부의 제어를 보조할 수 있다. 여기서, 로봇(2600a)이 제어하는 자율 주행 차량(2600b)의 기능에는 단순히 자율 주행 기능뿐만 아니라, 자율 주행 차량(2600b)의 내부에 구비된 네비게이션 시스템이나 오디오 시스템에서 제공하는 기능도 포함될 수 있다.
또는, 자율 주행 차량(2600b)과 상호작용하는 로봇(2600a)은 자율 주행 차량(2600b)의 외부에서 자율 주행 차량(2600b)에 정보를 제공하거나 기능을 보조할 수 있다. 예컨대, 로봇(2600a)은 스마트 신호등과 같이 자율 주행 차량(2600b)에 신호 정보 등을 포함하는 교통 정보를 제공할 수도 있고, 전기 차량의 자동 전기 충전기와 같이 자율 주행 차량(2600b)과 상호작용하여 충전구에 전기 충전기를 자동으로 연결할 수도 있다.
<AI+로봇+XR>
로봇(2600a)은 AI 기술 및 XR 기술이 적용되어, 안내 로봇, 운반 로봇, 청소 로봇, 웨어러블 로봇, 엔터테인먼트 로봇, 펫 로봇, 무인 비행 로봇, 드론 등으로 구현될 수 있다.
XR 기술이 적용된 로봇(2600a)은 XR 영상 내에서의 제어/상호작용의 대상이 되는 로봇을 의미할 수 있다. 이 경우, 로봇(2600a)은 XR 장치(2600c)와 구분되며 서로 연동될 수 있다.
XR 영상 내에서의 제어/상호작용의 대상이 되는 로봇(2600a)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하면, 로봇(2600a) 또는 XR 장치(2600c)는 센서 정보에 기초한 XR 영상을 생성하고, XR 장치(2600c)는 생성된 XR 영상을 출력할 수 있다. 그리고, 이러한 로봇(2600a)은 XR 장치(2600c)를 통해 입력되는 제어 신호 또는 사용자의 상호작용에 기초하여 동작할 수 있다.
예컨대, 사용자는 XR 장치(2600c) 등의 외부 장치를 통해 원격으로 연동된 로봇(2600a)의 시점에 상응하는 XR 영상을 확인할 수 있고, 상호작용을 통하여 로봇(2600a)의 자율 주행 경로를 조정하거나, 동작 또는 주행을 제어하거나, 주변 객체의 정보를 확인할 수 있다.
<AI+자율주행+XR>
자율 주행 차량(2600b)은 AI 기술 및 XR 기술이 적용되어, 이동형 로봇, 차량, 무인 비행체 등으로 구현될 수 있다.
XR 기술이 적용된 자율 주행 차량(2600b)은 XR 영상을 제공하는 수단을 구비한 자율 주행 차량이나, XR 영상 내에서의 제어/상호작용의 대상이 되는 자율 주행 차량 등을 의미할 수 있다. 특히, XR 영상 내에서의 제어/상호작용의 대상이 되는 자율 주행 차량(2600b)은 XR 장치(2600c)와 구분되며 서로 연동될 수 있다.
XR 영상을 제공하는 수단을 구비한 자율 주행 차량(2600b)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하고, 획득한 센서 정보에 기초하여 생성된 XR 영상을 출력할 수 있다. 예컨대, 자율 주행 차량(2600b)은 HUD를 구비하여 XR 영상을 출력함으로써, 탑승자에게 현실 객체 또는 화면 속의 객체에 대응되는 XR 객체를 제공할 수 있다.
이때, XR 객체가 HUD에 출력되는 경우에는 XR 객체의 적어도 일부가 탑승자의 시선이 향하는 실제 객체에 오버랩되도록 출력될 수 있다. 반면, XR 객체가 자율 주행 차량(2600b)의 내부에 구비되는 디스플레이에 출력되는 경우에는 XR 객체의 적어도 일부가 화면 속의 객체에 오버랩되도록 출력될 수 있다. 예컨대, 자율 주행 차량(2600b)은 차로, 타 차량, 신호등, 교통 표지판, 이륜차, 보행자, 건물 등과 같은 객체와 대응되는 XR 객체들을 출력할 수 있다.
XR 영상 내에서의 제어/상호작용의 대상이 되는 자율 주행 차량(2600b)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하면, 자율 주행 차량(2600b) 또는 XR 장치(2600c)는 센서 정보에 기초한 XR 영상을 생성하고, XR 장치(2600c)는 생성된 XR 영상을 출력할 수 있다. 그리고, 이러한 자율 주행 차량(2600b)은 XR 장치(2600c) 등의 외부 장치를 통해 입력되는 제어 신호 또는 사용자의 상호작용에 기초하여 동작할 수 있다.
이상에서 설명된 실시 예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시 예를 구성하는 것도 가능하다. 본 발명의 실시 예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시 예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명에 따른 실시 예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시 예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시 예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
본 발명은 본 발명의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 통상의 기술자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
본 발명의 무선 통신 시스템에서 신호를 송수신하는 방안은 3GPP LTE/LTE-A 시스템, 5G 시스템(New RAT 시스템)에 적용되는 예를 중심으로 설명하였으나, 이외에도 다양한 무선 통신 시스템에 적용하는 것이 가능하다.

Claims (16)

  1. 무선 통신 시스템에서, 수신 장치가 신호를 송수신 하는 방법에 있어서,
    송신 장치로부터, 차등 위상 천이 변조 (Differential Phase Shift Keying, DPSK) 방식에 기반하여 변조된 신호를 수신하는 단계;
    수신된 신호를 스파이크 신경망(Spiking neural network, SNN)의 입력 신호로 변환하는 단계;
    기 학습된 상기 스파이크 신경망을 통해 출력값을 산출하는 단계; 및
    상기 출력값을 채널 디코더의 입력 신호로 변환하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 수신된 신호를 스파이크의 비율(rate), 시간(timing), 시퀀스(sequence) 중 어느 하나에 기반하여 상기 SNN의 입력 신호로 변환하는 것을 특징으로 하는 방법.
  3. 제 2항에 있어서,
    상기 SNN의 입력 신호와 상기 SNN의 입력 레이어(input layer)가 일대일 매핑되는 것을 특징으로 하는 방법.
  4. 제 2항에 있어서,
    상기 수신된 신호를 상기 스파이크의 비율(rate)에 기반하여 변환하는 경우,
    상기 출력값의 스파이크 카운터에 기초한 로그(log) 값을 산출하여, 상기 채널 디코더의 입력 신호로 변환하는 것을 특징으로 하는 방법.
  5. 제 2항에 있어서,
    상기 수신된 신호를 상기 시간(timing)에 기반하여 변환한 경우,
    상기 출력값으로부터, 상기 출력값과 시간 레이블의 시간 차이에 기반하는 LLR 값을 산출하여, 상기 채널 디코더의 입력 신호로 변환하는 것을 특징으로 하는 방법.
  6. 제 2항에 있어서,
    상기 수신된 신호를 상기 시퀀스(sequence) 에 기반하여 변환한 경우,
    상기 시퀀스는 코스타스 배열을 행 또는 열을 기준으로 1차원 시퀀스로 변환하여 생성되는 것을 특징으로 하는 방법.
  7. 제 6항에 있어서,
    상기 출력값으로부터, 시퀀스 레이블과 상기 출력값의 시퀀스의 상관 정도에 기반하는 LLR 값을 산출하여, 상기 채널 디코더의 입력 신호로 변환하는 것을 특징으로 하는 방법.
  8. 제 6항에 있어서,
    상기 출력값으로부터, 시퀀스 레이블과 상기 출력값의 시퀀스의 시간 차이에 기반하는 LLR 값을 산출하여, 상기 채널 디코더의 입력 신호로 변환하는 것을 특징으로 하는 방법.
  9. 제 1항에 있어서,
    상기 채널 디코더의 입력 신호는, 상기 출력값에 기반하여 산출된 로그우도비(log-likelihood ratio, LLR) 값에 해당하는 것을 특징으로 하는 방법.
  10. 제 1항에 있어서,
    상기 수신된 신호들을 그룹핑하여, 각 그룹의 신호들을 합산한 값을 스파이크의 비율(rate), 시간(timing), 시퀀스(sequence) 중 어느 하나에 기반하여 상기 SNN의 입력 신호로 변환하는 것을 특징으로 하는 방법.
  11. 제 10항에 있어서,
    상기 각 그룹의 신호들을 합산한 값을 상기 스파이크의 비율(rate)에 기반하여 변환하는 경우,
    상기 스파이크의 시간 슬롯을 추가적으로 고려하여 변환하는 것을 특징으로 하는 방법.
  12. 제 1항에 있어서,
    상기 수신된 신호는 1 내지 3 비트로 양자화 된 신호에 해당하는 것을 특징으로 하는 방법.
  13. 무선 통신 시스템에서, 신호를 송수신 하는 장치에 있어서, 상기 장치는,
    차등 위상 천이 변조 (Differential Phase Shift Keying, DPSK) 방식에 기반하여 변조된 신호들을 수신하여 양자화 하는 ADC(Analog to digital converter),
    상기 ADC에 의해 양자화된 신호들을 스파이크 신경망(Spiking neural network, SNN)의 입력 신호로 변환하는 전처리기(pre-processor),
    기 학습된 결과에 기반하여 출력값을 산출하는 상기 스파이크 신경망, 및
    상기 스파이크 신경망의 상기 출력값을 채널 디코더의 입력 신호로 변환하는 후처리기(post-processor)를 포함하는 것을 특징으로 하는 장치.
  14. 제 13항에 있어서,
    상기 전처리기는 스파이크의 비율(rate), 시간(timing), 시퀀스(sequence) 중 어느 하나에 기반하여 상기 SNN의 입력 신호로 변환하는 것을 특징으로 하는 장치.
  15. 제 13항에 있어서,
    상기 후처리기는 상기 출력값에 기반한 LLR을 산출하여 상기 채널 디코더의 입력 신호로 변환하는 것을 특징으로 하는 장치.
  16. 제 13항에 있어서,
    상기 ADC는 상기 변조된 신호들을 1 내지 3 비트로 양자화 하는 것을 특징으로 하는 장치.
PCT/KR2019/010566 2019-08-20 2019-08-20 낮은-비트 양자화 시스템에서의 신호 송수신 방법 및 이를 위한 장치 WO2021033797A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/637,420 US12003277B2 (en) 2019-08-20 2019-08-20 Method for transmitting or receiving signal in low-bit quantization system and device therefor
PCT/KR2019/010566 WO2021033797A1 (ko) 2019-08-20 2019-08-20 낮은-비트 양자화 시스템에서의 신호 송수신 방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/010566 WO2021033797A1 (ko) 2019-08-20 2019-08-20 낮은-비트 양자화 시스템에서의 신호 송수신 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
WO2021033797A1 true WO2021033797A1 (ko) 2021-02-25

Family

ID=74659592

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/010566 WO2021033797A1 (ko) 2019-08-20 2019-08-20 낮은-비트 양자화 시스템에서의 신호 송수신 방법 및 이를 위한 장치

Country Status (2)

Country Link
US (1) US12003277B2 (ko)
WO (1) WO2021033797A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113595606A (zh) * 2021-07-29 2021-11-02 东南大学 一种基于深度强化学习的基站预编码与智能反射表面相移联合优化方法
CN114095063A (zh) * 2021-10-28 2022-02-25 杭州电子科技大学 一种1-bit量化A/D的混合毫米波信道估计的方法
WO2023091060A1 (en) * 2021-11-17 2023-05-25 Telefonaktiebolaget Lm Ericsson (Publ) Binary distributed vector symbolic radio multiple access
WO2023091061A1 (en) * 2021-11-17 2023-05-25 Telefonaktiebolaget Lm Ericsson (Publ) Delay encoded vector symbolic radio multiple access
WO2023158352A1 (en) * 2022-02-21 2023-08-24 Telefonaktiebolaget Lm Ericsson (Publ) Communication of spiking data over a wireless communication network

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4046301A4 (en) * 2019-11-22 2022-12-14 Samsung Electronics Co., Ltd. PACKET DECODING METHOD AND APPARATUS FOR CALCULATING A LOGARITHM OF THE LIKELIHOOD RATIO IN A WIRELESS NETWORK
CN118075905A (zh) * 2022-11-24 2024-05-24 维沃移动通信有限公司 信号传输方法、装置、信号发送节点及信号接收节点

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170230675A1 (en) * 2016-02-05 2017-08-10 Google Inc. Compressing images using neural networks
CN108650201A (zh) * 2018-05-10 2018-10-12 东南大学 基于神经网络的信道均衡方法、译码方法及对应设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7243945B2 (en) * 1992-05-05 2007-07-17 Automotive Technologies International, Inc. Weight measuring systems and methods for vehicles
US9484046B2 (en) * 2010-11-04 2016-11-01 Digimarc Corporation Smartphone-based methods and systems
US9871582B2 (en) * 2015-12-04 2018-01-16 Cienna Corporation Optical channel telemetry
US10735141B2 (en) * 2018-12-21 2020-08-04 Huawei Technologies Co., Ltd. System and a method for error correction coding using a deep neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170230675A1 (en) * 2016-02-05 2017-08-10 Google Inc. Compressing images using neural networks
CN108650201A (zh) * 2018-05-10 2018-10-12 东南大学 基于神经网络的信道均衡方法、译码方法及对应设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN, MINGZHE ET AL.: "Artificial Neural Networks-Based Machine Learning for Wireless Networks: A Tutorial", IEEE COMMUNICATIONS SURVEYS & TUTORIALS, vol. 21, no. 4, 3 July 2019 (2019-07-03), pages 3039 - 3071, XP011758808, DOI: 10.1109/COMST.2019.2926625 *
GRUBER, TOBIAS ET AL.: "On deep learning-based channel decoding", 2017 51ST ANNUAL CONFERENCE ON INFORMATION SCIENCES AND SYSTEMS (CISS, 15 May 2017 (2017-05-15), XP033096118, DOI: 10.1109/CISS.2017.7926071 *
ZAMANI, MASOOD, SADEGHIAN A; CHARTIER S: "A Bidirectional Associative Memory Based On Cortical Spiking Neurons Using Temporal Coding", RYERSON UNIVERSITY, COMPUTER SCIENCE, 18 July 2010 (2010-07-18), pages 1 - 8, XP031771759 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113595606A (zh) * 2021-07-29 2021-11-02 东南大学 一种基于深度强化学习的基站预编码与智能反射表面相移联合优化方法
CN114095063A (zh) * 2021-10-28 2022-02-25 杭州电子科技大学 一种1-bit量化A/D的混合毫米波信道估计的方法
CN114095063B (zh) * 2021-10-28 2022-09-06 杭州电子科技大学 一种1-bit量化A/D的混合毫米波信道估计的方法
WO2023091060A1 (en) * 2021-11-17 2023-05-25 Telefonaktiebolaget Lm Ericsson (Publ) Binary distributed vector symbolic radio multiple access
WO2023091061A1 (en) * 2021-11-17 2023-05-25 Telefonaktiebolaget Lm Ericsson (Publ) Delay encoded vector symbolic radio multiple access
WO2023158352A1 (en) * 2022-02-21 2023-08-24 Telefonaktiebolaget Lm Ericsson (Publ) Communication of spiking data over a wireless communication network

Also Published As

Publication number Publication date
US12003277B2 (en) 2024-06-04
US20220278755A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
WO2020032527A1 (ko) 무선 통신 시스템의 코어셋에서 신호를 수신하는 방법 및 상기 방법을 이용하는 장치
WO2021033797A1 (ko) 낮은-비트 양자화 시스템에서의 신호 송수신 방법 및 이를 위한 장치
WO2019216737A1 (ko) 무선 통신 시스템에서 상향링크 전송을 수행하는 방법 및 이를 위한 장치
WO2020040572A1 (ko) 무선 통신 시스템에서 상향링크 전송을 수행하는 방법 및 이를 위한 장치
WO2019221553A1 (ko) 무선 통신 시스템에서 단말의 전송 설정 지시자 결정 방법 및 상기 방법을 이용하는 장치
WO2020032774A1 (ko) 무선 통신 시스템에서 채널 추정을 수행하기 위한 방법 및 이를 위한 장치
WO2019216740A1 (ko) 무선 통신 시스템에서 상향 링크 제어 정보를 송수신하는 방법 및 이를 위한 장치
WO2020032779A1 (ko) 무선 통신 시스템에서 harq 정보를 송수신하는 방법 및 이를 위한 장치
WO2020032685A1 (ko) 무선 통신 시스템에서 빔 실패 검출을 수행하는 방법 및 이에 대한 장치
WO2020032776A1 (ko) 무선 통신 시스템에서 물리 하향링크 제어 채널 후보에 대한 블라인드 디코딩을 수행하기 위한 방법 및 이를 위한 장치
WO2019245234A1 (ko) 무선 통신 시스템에서 위치 결정을 위한 측정 결과 보고 방법 및 그 장치
WO2020027503A1 (ko) 무선 통신 시스템에서 채널 상태 정보를 송수신하는 방법 및 이를 위한 장치
WO2020027577A1 (ko) 무선 통신 시스템에서 상향링크 물리 채널을 송수신하는 방법 및 이를 위한 장치
WO2020017874A1 (ko) 무선 통신 시스템에서 harq-ack 피드백을 수신하는 방법 및 이를 위한 장치
WO2020231189A1 (ko) 무선 통신 시스템에서 빔 정보를 보고 하는 방법 및 이를 위한 장치
WO2020027587A1 (ko) 무선 통신 시스템에서 데이터를 송수신하기 위한 자원 할당 방법 및 이를 위한 장치
WO2020032617A1 (ko) 무선 통신 시스템에서 채널 상태 정보를 송수신하는 방법 및 이를 위한 장치
WO2020032693A1 (ko) 무선 통신 시스템에서 스케줄링 정보의 모니터링 방법 및 상기 방법을 이용하는 장치
WO2020091579A1 (ko) 무선 통신 시스템에서 물리 공유 채널 상에서 데이터를 전송하는 방법 및 이를 위한 장치
WO2020027579A1 (ko) 무선 통신 시스템에서 물리 상향링크 제어 채널을 송수신하는 방법 및 이를 위한 장치
WO2020032587A1 (ko) 무선 통신 시스템에서 물리 상향링크 공유 채널을 송수신하는 방법 및 이를 위한 장치
WO2020032737A1 (ko) 무선 통신 시스템에서 상향링크 전송을 수행하기 위한 방법 및 이를 위한 장치
WO2020159254A1 (ko) 무선 통신 시스템에서 물리 랜덤 액세스 채널 프리앰블을 송수신하는 방법 및 이를 위한 장치
WO2019221549A1 (ko) 무선 통신 시스템에서 채널 상태 정보를 보고하는 방법 및 그 장치
WO2020145793A1 (ko) 무선 통신 시스템에서 복수의 물리 하향링크 공유 채널들을 송수신하는 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19941911

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19941911

Country of ref document: EP

Kind code of ref document: A1