KR20230091093A - 조건부 변이형 오토-인코더들을 사용한 무선 채널들의 데이터-기반 확률론적 모델링 - Google Patents

조건부 변이형 오토-인코더들을 사용한 무선 채널들의 데이터-기반 확률론적 모델링 Download PDF

Info

Publication number
KR20230091093A
KR20230091093A KR1020237012331A KR20237012331A KR20230091093A KR 20230091093 A KR20230091093 A KR 20230091093A KR 1020237012331 A KR1020237012331 A KR 1020237012331A KR 20237012331 A KR20237012331 A KR 20237012331A KR 20230091093 A KR20230091093 A KR 20230091093A
Authority
KR
South Korea
Prior art keywords
channel
neural network
conditional
artificial neural
latent
Prior art date
Application number
KR1020237012331A
Other languages
English (en)
Inventor
아라쉬 베부디
시멍 젱
조셉 비나미라 소리아가
맥스 웰링
트리부바네쉬 오레콘디
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20230091093A publication Critical patent/KR20230091093A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/0202—Channel estimation
    • H04L25/024—Channel estimation channel estimation algorithms
    • H04L25/0254—Channel estimation channel estimation algorithms using neural network algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/391—Modelling the propagation channel
    • H04B17/3912—Simulation models, e.g. distribution of spectral power density or received signal strength indicator [RSSI] for a given geographic region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/391—Modelling the propagation channel
    • H04B17/3913—Predictive models, e.g. based on neural network models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/03—Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
    • H04L25/03006—Arrangements for removing intersymbol interference
    • H04L25/03165—Arrangements for removing intersymbol interference using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

인공 신경망(artificial neural network)에 의해 수행되는 방법은, 송신 및 수신 시퀀스들의 데이터 세트에 기반하여, 채널을 표현하는 조건부 확률 분포(conditional probability distribution)를 결정하는 단계를 포함한다. 방법은 또한, 조건부 확률 분포에 기반하여 채널의 잠재 표현을 결정하는 단계를 포함한다. 방법은, 잠재 표현에 기반하여 채널-기반 기능(channel-based function)을 수행하는 단계를 더 포함한다.

Description

조건부 변이형 오토-인코더들을 사용한 무선 채널들의 데이터-기반 확률론적 모델링
[0001] 본 출원은, "DATA-DRIVEN PROBABILISTIC MODELING OF WIRELESS CHANNELS USING CONDITIONAL VARIATIONAL AUTO-ENCODERS"라는 명칭으로 2020년 10월 19일에 출원된 미국 가 특허 출원 제63/093,728호에 대한 이득을 주장하는, "DATA-DRIVEN PROBABILISTIC MODELING OF WIRELESS CHANNELS USING CONDITIONAL VARIATIONAL AUTO-ENCODERS"라는 명칭으로 2021년 10월 18일에 출원된 미국 특허 출원 제17/504,341호에 대한 우선권을 주장하며, 상기 출원들의 개시내용은 그 전체가 인용에 의해 명백히 포함된다.
[0002] 본 개시내용의 양상들은 일반적으로 무선 통신들에 관한 것으로, 더 상세하게는, 무선 채널들의 데이터-기반 확률론적 모델링(data-driven probabilistic modeling)을 위한 기법들 및 장치들에 관한 것이다.
[0003] 무선 통신 시스템들은 텔레포니(telephony), 비디오, 데이터, 메시징, 및 브로드캐스트들과 같은 다양한 전기통신 서비스들을 제공하도록 널리 배치되어 있다. 통상적인 무선 통신 시스템들은 이용가능한 시스템 자원들(예컨대, 대역폭, 송신 전력 등)을 공유함으로써 다수의 사용자들과의 통신들을 지원할 수 있는 다중-액세스 기술들을 이용할 수 있다. 이러한 다중-액세스 기술들의 예들은 CDMA(code division multiple access) 시스템들, TDMA(time division multiple access) 시스템들, FDMA(frequency division multiple access) 시스템들, OFDMA(orthogonal frequency division multiple access) 시스템들, SC-FDMA(single-carrier frequency division multiple access) 시스템들, TD-SCDMA(time division synchronous code division multiple access) 시스템들, 및 LTE(long term evolution)를 포함한다. LTE/LTE-어드밴스드는 3GPP(Third Generation Partnership Project)에 의해 공표된 UMTS(universal mobile telecommunications system) 모바일 표준에 대한 향상들의 세트이다.
[0004] 무선 통신 네트워크는, 다수의 UE(user equipment)들에 대한 통신들을 지원할 수 있는 다수의 BS(base stations)들을 포함할 수 있다. UE(user equipment)는 다운링크 및 업링크를 통해 BS(base station)와 통신할 수 있다. 다운링크(또는 순방향 링크)는 BS로부터 UE로의 통신 링크를 지칭하고, 업링크(또는 역방향 링크)는 UE로부터 BS로의 통신 링크를 지칭한다. 더 상세히 설명될 바와 같이, BS는 노드 B, gNB, AP(access point), 라디오 헤드, TRP(transmit and receive point), NR(new radio) BS, 5G 노드 B 등으로 지칭될 수 있다.
[0005] 상기 다중 액세스 기술들은 상이한 사용자 장비가, 도시 레벨, 국가 레벨, 지역 레벨, 및 심지어 글로벌 레벨 상에서 통신할 수 있게 하는 공통 프로토콜을 제공하기 위해 다양한 전기통신 표준들에서 채택되어 왔다. 5G로 또한 지칭될 수 있는 NR(New Radio)은 3GPP(Third Generation Partnership Project)에 의해 공표된 LTE 모바일 표준에 대한 향상들의 세트이다. NR은, 스펙트럼 효율을 개선하고, 비용들을 낮추고, 서비스들을 개선하고, 새로운 스펙트럼을 이용하고, DL(downlink) 상에서는 CP(cyclic prefix)를 갖는 OFDM(orthogonal frequency division multiplexing)(CP-OFDM)을 사용하고 UL(uplink) 상에서는 CP-OFDM 및/또는 SC-FDM(예컨대, 또한 DFT-s-OFDM(discrete Fourier transform spread OFDM)으로 공지됨)을 사용할 뿐만 아니라 빔포밍(beamforming), MIMO(multiple-input multiple-output) 안테나 기술 및 캐리어 어그리게이션을 지원하여 다른 개방형 표준들과 더 양호하게 통합함으로써 모바일 브로드밴드 인터넷 액세스를 더 양호하게 지원하도록 설계된다.
[0006] 인공 신경망(artificial neural network)들은 인공 뉴런(artificial neuron)들(예컨대, 뉴런 모델들)의 상호연결된 그룹들을 포함할 수 있다. 인공 신경망은 컴퓨테이셔널 디바이스(computational device)일 수 있거나 또는 컴퓨테이셔널 디바이스에 의해 수행될 방법으로서 표현될 수 있다. 심층 컨볼루션 신경망(deep convolutional neural network)들과 같은 컨볼루션 신경망들은 피드-포워드(feed-forward) 인공 신경망의 유형이다. 컨볼루션 신경망들은 타일링된 수용 필드(tiled receptive field)에 구성될 수 있는 뉴런들의 계층들을 포함할 수 있다. 더 큰 효율들을 달성하기 위해서는 무선 통신들에 신경망 프로세싱을 적용하는 것이 바람직할 것이다.
[0007] 본 개시내용의 일 양상에서, 인공 신경망(artificial neural network)을 사용하는 방법이 개시된다. 방법은, 송신 및 수신 시퀀스들의 데이터 세트에 기반하여, 채널을 표현하는 조건부 확률 분포(conditional probability distribution)를 결정하는 단계를 포함한다. 방법은 또한, 조건부 확률 분포에 기반하여 채널의 잠재 표현을 결정하는 단계를 포함한다. 방법은, 잠재 표현에 기반하여 채널-기반 기능(channel-based function)을 수행하는 단계를 더 포함한다.
[0008] 본 개시내용의 다른 양상은 장치에 관한 것으로서, 이 장치는 송신 및 수신 시퀀스들의 데이터 세트에 기반하여, 채널을 표현하는 조건부 확률 분포를 결정하기 위한 수단을 포함한다. 장치는 또한, 송신 및 수신 시퀀스들의 데이터 세트에 기반하여, 채널을 표현하는 조건부 확률 분포를 결정하기 위한 수단을 포함한다. 장치는, 잠재 표현에 기반하여 채널-기반 기능을 수행하기 위한 수단을 더 포함한다.
[0009] 본 개시내용의 다른 양상에서, 비-일시적인 프로그램 코드가 기록되어 있는 비-일시적인 컴퓨터-판독가능 매체가 개시된다. 프로그램 코드는 프로세서에 의해 실행되며, 그리고 송신 및 수신 시퀀스들의 데이터 세트에 기반하여, 채널을 표현하는 조건부 확률 분포를 결정하기 위한 프로그램 코드를 포함한다. 프로그램 코드는 또한, 조건부 확률 분포에 기반하여 채널의 잠재 표현을 결정하기 위한 프로그램 코드를 포함한다. 프로그램 코드는, 잠재 표현에 기반하여 채널-기반 기능을 수행하기 위한 프로그램 코드를 더 포함한다.
[0010] 본 개시내용의 다른 양상은 인공 신경망을 위한 장치에 관한 것이다. 장치는, 메모리, 메모리에 커플링된 하나 이상의 프로세서들, 및 메모리에 저장된 명령들을 갖는다. 명령들은, 프로세서에 의해 실행될 때, 장치로 하여금, 송신 및 수신 시퀀스들의 데이터 세트에 기반하여, 채널을 표현하는 조건부 확률 분포를 결정하게 하도록 동작가능하다. 명령들은 또한, 장치로 하여금, 조건부 확률 분포에 기반하여 채널의 잠재 표현을 결정하게 한다. 명령들은 부가적으로, 장치로 하여금, 잠재 표현에 기반하여 채널-기반 기능을 수행하게 한다.
[0011] 양상들은 일반적으로, 첨부된 도면들 및 명세서를 참조하여 실질적으로 설명되고 그에 의해 예시된 바와 같은 방법, 장치, 시스템, 컴퓨터 프로그램 제품, 비-일시적인 컴퓨터-판독가능 매체, 사용자 장비, 기지국, 무선 통신 디바이스 및 프로세싱 시스템을 포함한다.
[0012] 전술한 바는, 다음의 상세한 설명이 더 양호하게 이해될 수 있도록 본 개시내용에 따른 예들의 특징들 및 기술적 이점들을 상당히 광범위하게 요약하였다. 이하, 추가적인 특징들 및 이점들이 설명될 것이다. 개시된 개념 및 특정한 예들은 본 개시내용의 동일한 목적들을 수행하기 위해 다른 구조들을 변형 또는 설계하기 위한 기초로 용이하게 활용될 수 있다. 이러한 균등한 구조들은 첨부된 청구항들의 범위로부터 벗어나지 않는다. 개시된 개념들의 특성들, 즉, 이들의 구성 및 동작 방법 둘 모두는, 연관된 이점들과 함께, 첨부한 도면들과 함께 고려될 때 다음의 설명으로부터 더 잘 이해될 것이다. 각각의 도면들은 예시 및 설명의 목적으로 제공되며, 청구항의 제한들에 대한 정의로 의도되지 않는다.
[0013] 본 개시내용의 특징들이 상세히 이해될 수 있도록, 구체적인 설명이 양상들을 참조하여 행해질 수 있으며, 그 양상들 중 일부는 첨부된 도면들에 예시되어 있다. 그러나, 상기 설명이 다른 균등하게 유효한 양상들에 허용될 수 있기 때문에, 첨부된 도면들이 본 개시내용의 특정한 양상들만을 예시하며, 따라서, 본 개시내용의 범위를 제한하는 것으로 고려되지 않음을 주목해야 한다. 상이한 도면들에서 동일한 참조 번호들은 동일하거나 유사한 엘리먼트들을 식별할 수 있다.
[0014] 도 1은 본 개시내용의 다양한 양상들에 따른 무선 통신 네트워크의 예를 개념적으로 예시하는 블록도이다.
[0015] 도 2는, 본 개시내용의 다양한 양상들에 따른, 무선 통신 네트워크에서 UE(user equipment)와 통신하는 기지국의 예를 개념적으로 예시하는 블록도이다.
[0016] 도 3은 본 개시내용의 특정 양상들에 따른, 범용 프로세서를 포함하는 SOC(system-on-a-chip)를 사용하여 신경망을 설계하는 예시적인 구현을 예시한다.
[0017] 도 4a, 도 4b, 및 도 4c는 본 개시내용의 양상들에 따른 신경망을 예시하는 도면들이다.
[0018] 도 4d는 본 개시내용의 양상들에 따른 예시적인 DCN(deep convolutional network)을 예시하는 도면이다.
[0019] 도 5는 본 개시내용의 양상들에 따른 예시적인 DCN(deep convolutional network)을 예시하는 블록도이다.
[0020] 도 6은 본 개시내용의 양상들에 따른 조건부 VAE(variational auto-encoder)의 예를 예시하는 블록도이다.
[0021] 도 7a는 본 개시내용의 양상들에 따른 채널의 예를 예시하는 블록도이다.
[0022] 도 7b는 본 개시내용의 양상들에 따른 채널 모델링 시스템의 예를 예시하는 블록도이다.
[0023] 도 8은, 본 개시내용의 다양한 양상들에 따른, 예컨대 인공 신경망에 의해 수행되는 예시적인 프로세스를 예시하는 흐름도이다.
[0024] 본 개시내용의 다양한 양상들은 첨부된 도면들을 참조하여 아래에서 더 완전히 설명된다. 그러나, 본 개시내용은 많은 상이한 형태들로 구현될 수 있고, 본 개시내용 전반에 걸쳐 제시되는 임의의 특정 구조 또는 기능에 제한되는 것으로 해석되어서는 안된다. 오히려, 이러한 양상들은, 본 개시내용이 철저하고 완전해지도록, 그리고 당업자들에게 본 개시내용의 범위를 완전히 전달하도록 제공된다. 이러한 교시들에 기반하여, 당업자는, 본 개시내용의 범위가, 본 개시내용의 임의의 다른 양상과 독립적으로 구현되든 또는 임의의 다른 양상과 결합되어 구현되든, 본 개시내용의 임의의 양상을 커버하도록 의도됨을 인식해야 한다. 예컨대, 기술되는 임의의 수의 양상들을 사용하여 장치가 구현될 수 있거나 방법이 실시될 수 있다. 또한, 본 개시내용의 범위는, 기술된 본 개시내용의 다양한 양상들에 추가로 또는, 그 이외의 다른 구조, 기능 또는 구조 및 기능을 사용하여 실시되는 이러한 장치 또는 방법을 커버하도록 의도된다. 개시되는 본 개시내용의 임의의 양상은 청구항의 하나 이상의 엘리먼트들에 의해 구현될 수 있음을 이해해야 한다.
[0025] 이제 전기통신 시스템들의 몇몇 양상들이 다양한 장치들 및 기법들을 참조하여 제시될 것이다. 이러한 장치들 및 기법들은, 다양한 블록들, 모듈들, 컴포넌트들, 회로들, 단계들, 프로세스들, 알고리즘들 등(집합적으로, "엘리먼트들"로 지칭됨)에 의해 다음의 상세한 설명에서 설명되고 첨부한 도면들에서 예시될 것이다. 이러한 엘리먼트들은 하드웨어, 소프트웨어, 또는 이들의 조합을 사용하여 구현될 수 있다. 이러한 엘리먼트들이 하드웨어로서 구현될지 또는 소프트웨어로서 구현될지는 특정한 애플리케이션 및 전체 시스템에 부과된 설계 제약들에 의존한다.
[0026] 양상들은 통상적으로 5G 및 이후의 무선 기술들과 연관된 용어를 사용하여 설명될 수 있지만, 본 개시내용의 양상들은, 이를테면, 3G 및/또는 4G 기술들을 포함하는 다른 세대-기반 통신 시스템들에서 적용될 수 있음을 주목해야 한다.
[0027] 종래의 무선 통신 시스템들은 무선 채널을 선형 시스템으로서 모델링할 수 있다. 이러한 시스템들에서, 전파 채널 특성들은 이득들 및 지연들과 연관된 채널 탭들의 클러스터를 통해 캡처될 수 있다. 일부 예들에서, 종래의 시스템은 RF(radio frequency) 전파의 수학적 추상화 및 물리적 특징(예컨대, 물리 법칙들)에 기반하여 채널을 모델링한다. 이러한 예들에서, 파라미터들, 이를테면 지연 확산, 도플러, 캐리어 주파수, 및 대역폭이 모델에 제공될 수 있다. 그런 다음, 채널은 파라미터들에 기반하여 모델링될 수 있다. 이러한 예에서, 모델링된 채널로부터 채널 특성들을 추론하는 것이 어려울 수 있다. 또한, 채널에 대해 특정된 모델들은 일반적인 시나리오들로 제한되고 그리고/또는 구축하는 데 비용이 많이 들 수 있다.
[0028] 다른 예들에서, 종래의 시스템은 입력-출력 시퀀스들과 같은 채널 측정들에 파라메트릭 모델(parametric model)을 피팅(fitting)(예컨대, 모델 피팅)함으로써 채널을 모델링할 수 있다. 모델 피팅은 복잡한 채널들을 모델링하는 데 실패할 수 있다. 부가적으로, 모델 피팅은 다루기가 어렵다. 즉, 모델 피팅은 미분가능(differentiable)하지 않다. 대조적으로, 다루기 쉬운 모델은 신경망에 의해 표현될 수 있다. 부가적으로, 다루기 쉬운 모델은 미분가능하다. 따라서, 하나 이상의 파라미터들이 역전파(backpropagation)를 통해 학습될 수 있다.
[0029] 머신 러닝 시스템(machine learning system)들은 데이터세트
Figure pct00001
에서의 데이터(x)의 잠재 표현(z)을 학습하기 위해 생성 모델링(generative modeling)을 구현할 수 있다. 잠재 표현은 생성 프로세스(generative process) (
Figure pct00002
)에 기반하여 학습될 수 있다. 생성 프로세스는, 잠재 표현(z)이 주어지는 경우 데이터(x)의 조건부 분포(conditional distribution)를 지칭한다. 생성 모델(generative model)은 추론을 개선할 수 있고, 지향성 확률론적 모델(directed probabilistic model)들을 학습할 수 있다. VAE(variational auto-encoder) 및 GAN(generative adversarial network)이 생성 모델들의 예들이다. 일부 예들에서, 조건부 VAE는, 채널을 추정하고, 채널 코드들을 디코딩하고, 채널 상태를 압축하고, 그리고/또는 채널을 통해 수신된 신호들을 검출하기 위한 채널-기반 기능을 수행한다. 압축은 채널 상태들을 압축하는 것을 지칭한다. 예컨대, 채널들은 CSF(channel state feedback)를 위해 압축될 수 있다. 디코딩은 채널 코드들을 디코딩하는 것, 이를테면 LDPC(low-density parity-check) 디코딩을 지칭한다. 예로서, 송신되는 비트들에 대한 LLR(log-likelihood ratio)은 채널의 조건부 확률에 기반하여 결정될 수 있다. LLR은, 이를테면 LDPC 디코딩과 같은 디코딩을 위해 사용될 수 있다. 마지막으로, 검출은 송신된 심볼들을 찾는 것, 이를테면 MIMO(multiple-input multiple-output) 검출을 지칭한다.
[0030] 설명된 바와 같이, 이를테면 VAE와 같은 생성 모델이 채널을 추정하는 데 사용될 수 있다. 이러한 예들에서, 채널은 조건부 확률 분포(
Figure pct00003
)에 의해 표현될 수 있으며, 여기서 파라미터(y)는 채널 출력을 표현하고, 파라미터(x)는 채널 입력을 표현한다. 다루기 쉽고 미분가능한 아키텍처들(예컨대, 신경망 아키텍처들)에 기반하여 채널(예컨대, 복소 채널(complex channel))의 조건부 확률(
Figure pct00004
)을 근사화하는 것이 바람직할 수 있다. 부가적으로, 새로운 채널 인스턴스(channel instance)들을 생성하기 위한 프로세스를 개선하는 것이 바람직할 수 있다.
[0031] 본 개시내용의 양상들은 일반적으로 무선 통신 시스템에서 생성 모델을 사용하기 위한 기법들 및 장치들에 관한 것이다. 본 개시내용에서 설명되는 요지의 특정한 양상들은 다음의 잠재적인 장점들 중 하나 이상을 실현하도록 구현될 수 있다. 일부 양상들에서, 생성 모델링은 새로운 채널들, 이를테면 시뮬레이션들을 위한 새로운 채널들의 생성을 개선할 수 있다. 다른 예로서, 생성 모델링은 채널에 대응하는 조건부 분포를 학습할 수 있다. 부가적으로, 생성 모델들은 단대단 딥 러닝-기반 트랜시버(end-to-end deep learning-based transceiver)들을 트레이닝하는 데 사용될 수 있다. 이러한 예들에서, 생성 모델들을 트레이닝하기 위해 그래디언트(gradient)가 채널을 통해 역전파될 수 있다. 또한, 생성 모델들은, 그래디언트가 역전파될 수 있게 하는 채널의 미분가능 에뮬레이터(differentiable emulator)로서 사용될 수 있다.
[0032] 도 1은 본 개시내용의 양상들이 실시될 수 있는 네트워크(100)를 예시하는 도면이다. 네트워크(100)는 5G 또는 NR 네트워크 또는 일부 다른 무선 네트워크, 이를테면 LTE 네트워크일 수 있다. 무선 네트워크(100)는 다수의 BS(base station)들(110)(BS(110a), BS(110b), BS(110c), 및 BS(110d)로 도시됨) 및 다른 네트워크 엔티티들을 포함할 수 있다. BS는 UE(user equipment)들과 통신하는 엔티티이고, 또한 기지국, NR BS, 노드 B, gNB, 5G NB(node B), 액세스 포인트, TRP(transmit and receive point) 등으로 지칭될 수 있다. 각각의 BS는 특정 지리적 커버리지 영역에 대한 통신 커버리지를 제공할 수 있다. 3GPP에서, "셀"이라는 용어는, 그 용어가 사용되는 상황에 따라, BS의 커버리지 영역 및/또는 이러한 커버리지 영역을 서빙하는 BS 서브시스템을 지칭할 수 있다.
[0033] BS는 매크로 셀, 피코 셀, 펨토 셀 및/또는 다른 타입의 셀에 대한 통신 커버리지를 제공할 수 있다. 매크로 셀은, 비교적 넓은 지리적 영역(예컨대, 반경 수 킬로미터)을 커버할 수 있고, 서비스 가입을 한 UE들에 의한 제한없는 액세스를 허용할 수 있다. 피코 셀은 비교적 작은 지리적 영역을 커버할 수 있고, 서비스 가입을 한 UE들에 의한 제한없는 액세스를 허용할 수 있다. 펨토 셀은 비교적 작은 지리적 영역(예컨대, 집)을 커버할 수 있고, 펨토 셀과의 연관을 갖는 UE들(예컨대, CSG(closed subscriber group) 내의 UE들)에 의한 제한적 액세스를 허용할 수 있다. 매크로 셀에 대한 BS는 매크로 BS로 지칭될 수 있다. 피코 셀에 대한 BS는 피코 BS로 지칭될 수 있다. 펨토 셀에 대한 BS는 펨토 BS 또는 홈 BS로 지칭될 수 있다. 도 1에 도시된 예에서, BS(110a)는 매크로 셀(102a)에 대한 매크로 BS일 수 있고, BS(110b)는 피코 셀(102b)에 대한 피코 BS일 수 있고, BS(110c)는 펨토 셀(102c)에 대한 펨토 BS일 수 있다. BS는 하나의 또는 다수의(예컨대, 3개의) 셀들을 지원할 수 있다. "eNB", "기지국", "NR BS", "gNB", "TRP", "AP", "노드 B", "5G NB", 및 "셀"이라는 용어들은 상호교환가능하게 사용될 수 있다.
[0034] 일부 양상들에서, 셀은 필수적으로 고정식은 아닐 수 있고, 셀의 지리적 영역은 모바일 BS의 로케이션(location)에 따라 이동할 수 있다. 일부 양상들에서, BS들은 임의의 적합한 전송 네트워크를 사용하여 직접 물리적 접속, 가상 네트워크 등과 같은 다양한 타입들의 백홀 인터페이스들을 통해 서로 및/또는 무선 네트워크(100)의 하나 이상의 다른 BS들 또는 네트워크 노드들(도시되지 않음)에 상호접속될 수 있다.
[0035] 무선 네트워크(100)는 또한 중계국들을 포함할 수 있다. 중계국은, 업스트림 스테이션(예컨대, BS 또는 UE)으로부터 데이터의 송신을 수신하고 다운스트림 스테이션(예컨대, UE 또는 BS)으로 데이터의 송신을 전송할 수 있는 엔티티이다. 또한, 중계국은 다른 UE들에 대한 송신들을 중계할 수 있는 UE일 수 있다. 도 1에 도시된 예에서, 중계국(110d)은 BS(110a)와 UE(120d) 사이의 통신들을 용이하게 하기 위해 매크로 BS(110a) 및 UE(120d)와 통신할 수 있다. 또한, 중계국은 중계 BS, 중계 기지국, 중계기 등으로 지칭될 수 있다.
[0036] 무선 네트워크(100)는 상이한 타입들의 BS들, 예컨대, 매크로 BS들, 피코 BS들, 펨토 BS들, 중계 BS들 등을 포함하는 이종 네트워크일 수 있다. 이러한 상이한 타입들의 BS들은 상이한 송신 전력 레벨들, 상이한 커버리지 영역들 및 무선 네트워크(100)에서의 간섭에 대한 상이한 영향을 가질 수 있다. 예컨대, 매크로 BS들은 높은 송신 전력 레벨(예컨대, 5 내지 40 와트)을 가질 수 있는 반면, 피코 BS들, 펨토 BS들 및 중계 BS들은 더 낮은 송신 전력 레벨들(예컨대, 0.1 내지 2 와트)을 가질 수 있다.
[0037] 네트워크 제어기(130)는 BS들의 세트에 커플링될 수 있고, 이러한 BS들에 대한 조정 및 제어를 제공할 수 있다. 네트워크 제어기(130)는 백홀을 통해 BS들과 통신할 수 있다. BS들은 또한, 예컨대, 무선 또는 유선 백홀을 통해 간접적으로 또는 직접적으로 서로 통신할 수 있다.
[0038] UE들(120)(예컨대, 120a, 120b, 120c)은 무선 네트워크(100) 전반에 걸쳐 산재되어 있을 수 있고, 각각의 UE는 고정형 또는 이동형일 수 있다. UE는 또한 액세스 단말, 단말, 모바일 스테이션, 가입자 유닛, 스테이션 등으로 지칭될 수 있다. UE는 셀룰러 폰(예컨대, 스마트 폰), PDA(personal digital assistant), 무선 모뎀, 무선 통신 디바이스, 핸드헬드 디바이스, 랩탑 컴퓨터, 코드리스 폰, WLL(wireless local loop) 스테이션, 태블릿, 카메라, 게이밍 디바이스, 넷북, 스마트북, 울트라북, 의료 디바이스 또는 장비, 생체인식 센서들/디바이스들, 웨어러블 디바이스들(예컨대, 스마트 시계들, 스마트 의류, 스마트 안경, 스마트 손목 밴드들, 스마트 보석류(예컨대, 스마트 반지, 스마트 팔찌 등)), 엔터테인먼트 디바이스(예컨대, 뮤직 또는 비디오 디바이스, 또는 위성 라디오), 차량 컴포넌트 또는 센서, 스마트 계측기들/센서들, 산업용 제조 장비, 글로벌 포지셔닝 시스템 디바이스 또는 무선 또는 유선 매체를 통해 통신하도록 구성되는 임의의 다른 적합한 디바이스일 수 있다.
[0039] 일부 UE들은 MTC(machine-type communications) 또는 eMTC(evolved or enhanced machine-type communications) UE들로 고려될 수 있다. MTC 및 eMTC UE들은, 기지국, 다른 디바이스(예컨대, 원격 디바이스) 또는 일부 다른 엔티티와 통신할 수 있는, 예컨대, 로봇들, 드론들, 원격 디바이스들, 센서들, 계측기들, 모니터들, 로케이션 태그(location tag)들 등을 포함한다. 무선 노드는, 예컨대, 유선 또는 무선 통신 링크를 통해 네트워크(예컨대, 인터넷 또는 셀룰러 네트워크와 같은 광역 네트워크)에 대한 또는 네트워크로의 접속을 제공할 수 있다. 일부 UE들은 IoT(Internet-of-Things) 디바이스들로 고려될 수 있고, 그리고/또는 NB-IoT(narrowband internet of things) 디바이스들로 구현될 수 있다. 일부 UE들은 CPE(customer premises equipment)로 고려될 수 있다. UE(120)는 프로세서 컴포넌트들, 메모리 컴포넌트들 등과 같은 UE(120)의 컴포넌트들을 수납하는 하우징 내에 포함될 수 있다.
[0040] 일반적으로, 임의의 수의 무선 네트워크들이 주어진 지리적 영역에 배치될 수 있다. 각각의 무선 네트워크는 특정 RAT를 지원할 수 있고 하나 이상의 주파수들 상에서 동작할 수 있다. RAT는 또한 라디오 기술, 에어 인터페이스 등으로 지칭될 수 있다. 주파수는 또한, 캐리어, 주파수 채널 등으로 지칭될 수 있다. 각각의 주파수는 상이한 RAT들의 무선 네트워크들 사이에서 간섭을 회피하기 위해 주어진 지리적 영역에서 단일 RAT를 지원할 수 있다. 일부 경우들에서, NR 또는 5G RAT 네트워크들이 배치될 수 있다.
[0041] 일부 양상들에서, 2개 이상의 UE들(120)(예컨대, UE(120a) 및 UE(120e)로 도시됨)은 (예컨대, 서로 통신하기 위한 매개체로서 기지국(110)을 사용함이 없이) 하나 이상의 사이드링크 채널들을 사용하여 직접 통신할 수 있다. 예컨대, UE들(120)은 P2P(peer-to-peer) 통신들, D2D(device-to-device) 통신들, V2X(vehicle-to-everything) 프로토콜(예컨대, V2V(vehicle-to-vehicle) 프로토콜, V2I(vehicle-to-infrastructure) 프로토콜 등을 포함할 수 있음), 메시 네트워크 등을 사용하여 통신할 수 있다. 이러한 경우, UE(120)는 스케줄링 동작들, 자원 선택 동작들, 및/또는 기지국(110)에 의해 수행되는 것으로 다른 곳에 설명된 다른 동작들을 수행할 수 있다. 예컨대, 기지국(110)은, DCI(downlink control information), RRC(radio resource control) 시그널링, MAC-CE(media access control-control element)를 통해 또는 시스템 정보(예컨대, SIB(system information block))를 통해 UE(120)를 구성할 수 있다.
[0042] 앞서 표시된 바와 같이, 도 1은 단지 예로서 제공된다. 다른 예들은 도 1과 관련하여 설명된 것과는 상이할 수 있다.
[0043] 도 2는, 도 1의 기지국들 중 하나 및 UE들 중 하나일 수 있는 기지국(110) 및 UE(120)의 설계(200)에 대한 블록도를 도시한다. 기지국(110)은 T개의 안테나들(234a 내지 234t)을 구비할 수 있고, UE(120)는 R개의 안테나들(252a 내지 252r)을 구비할 수 있으며, 여기서 일반적으로 T ≥ 1 및 R ≥ 1이다.
[0044] 기지국(110)에서, 송신 프로세서(220)는 하나 이상의 UE들에 대한 데이터 소스(212)로부터 데이터를 수신하고, UE로부터 수신된 CQI(channel quality indicator)들에 적어도 부분적으로 기반하여 각각의 UE에 대한 하나 이상의 MCS(modulation and coding schemes)를 선택하고, UE에 대해 선택된 MCS(들)에 적어도 부분적으로 기반하여 각각의 UE에 대한 데이터를 프로세싱(예컨대, 인코딩 및 변조)하고, 모든 UE들에 대한 데이터 심볼들을 제공할 수 있다. MCS를 감소시키게 되면, 스루풋을 낮추지만 송신의 신뢰성을 증가시킨다. 송신 프로세서(220)는 또한 (예컨대, SRPI(semi-static resource partitioning information) 등에 대한) 시스템 정보 및 제어 정보(예컨대, CQI 요청들, 그랜트들, 상위 계층 시그널링 등)를 프로세싱하고 오버헤드 심볼들 및 제어 심볼들을 제공할 수 있다. 송신 프로세서(220)는 또한 기준 신호들(예컨대, CRS(cell-specific reference signal)) 및 동기화 신호들(예컨대, PSS(primary synchronization signal) 및 SSS(secondary synchronization signal))에 대한 기준 심볼들을 생성할 수 있다. 송신(TX) MIMO(multiple-input multiple-output) 프로세서(230)는, 적용가능하다면, 데이터 심볼들, 제어 심볼들, 오버헤드 심볼들 및/또는 기준 심볼들에 대해 공간 프로세싱(예컨대, 프리코딩)을 수행할 수 있고, T개의 출력 심볼 스트림들을 T개의 변조기들(MOD들)(232a 내지 232t)에 제공할 수 있다. 각각의 변조기(232)는 각각의 출력 심볼 스트림을 (예컨대, OFDM 등을 위해) 프로세싱하여 출력 샘플 스트림을 획득할 수 있다. 각각의 변조기(232)는 출력 샘플 스트림을 추가 프로세싱(예컨대, 아날로그로 변환, 증폭, 필터링 및 상향 변환)하여 다운링크 신호를 획득할 수 있다. 변조기들(232a 내지 232t)로부터의 T개의 다운링크 신호들은 T개의 안테나들(234a 내지 234t)을 통해 각각 송신될 수 있다. 아래에서 더 상세히 설명되는 다양한 양상들에 따르면, 동기화 신호들은 추가적인 정보를 전달하기 위해 로케이션 인코딩으로 생성될 수 있다.
[0045] UE(120)에서, 안테나들(252a 내지 252r)은 기지국(110) 및/또는 다른 기지국들로부터 다운링크 신호들을 수신할 수 있고, 수신된 신호들을 복조기들(DEMOD들)(254a 내지 254r)에 각각 제공할 수 있다. 각각의 복조기(254)는 수신된 신호를 컨디셔닝(condition)(예컨대, 필터링, 증폭, 하향변환 및 디지털화)하여, 입력 샘플들을 획득할 수 있다. 각각의 복조기(254)는 입력 샘플들을 (예컨대, OFDM 등을 위해) 추가로 프로세싱하여, 수신된 심볼들을 획득할 수 있다. MIMO 검출기(256)는 모든 R개의 복조기들(254a 내지 254r)로부터의 수신된 심볼들을 획득하고, 적용가능하다면 수신된 심볼들에 대해 MIMO 검출을 수행하고, 검출된 심볼들을 제공할 수 있다. 수신 프로세서(258)는 검출된 심볼들을 프로세싱(예컨대, 복조 및 디코딩)하고, UE(120)에 대한 디코딩된 데이터를 데이터 싱크(260)에 제공하고, 디코딩된 제어 정보 및 시스템 정보를 제어기/프로세서(280)에 제공할 수 있다. 채널 프로세서는 RSRP(reference signal received power), RSSI(received signal strength indicator), RSRQ(reference signal received quality), CQI(channel quality indicator) 등을 결정할 수 있다. 일부 양상들에서, UE(120)의 하나 이상의 컴포넌트들은 하우징에 포함될 수 있다.
[0046] 업링크에서, UE(120)에서, 송신 프로세서(264)는 데이터 소스(262)로부터의 데이터 및 제어기/프로세서(280)로부터의 (예컨대, RSRP, RSSI, RSRQ, CQI 등을 포함하는 보고들에 대한) 제어 정보를 수신 및 프로세싱할 수 있다. 송신 프로세서(264)는 또한 하나 이상의 기준 신호들에 대한 기준 심볼들을 생성할 수 있다. 송신 프로세서(264)로부터의 심볼들은 적용가능하다면 TX MIMO 프로세서(266)에 의해 프리코딩되고, 변조기들(254a 내지 254r)에 의해 (예컨대, DFT-s-OFDM, CP-OFDM 등을 위해) 추가로 프로세싱되고, 기지국(110)에 송신될 수 있다. 기지국(110)에서, UE(120)에 의해 전송된 데이터 및 제어 정보에 대한 디코딩된 데이터 및 제어 정보를 획득하기 위해, UE(120) 및 다른 UE들로부터의 업링크 신호들은 안테나들(234)에 의해 수신되고, 복조기들(254)에 의해 프로세싱되고, 적용가능하다면 MIMO 검출기(236)에 의해 검출되고, 수신 프로세서(238)에 의해 추가로 프로세싱될 수 있다. 수신 프로세서(238)는 디코딩된 데이터를 데이터 싱크(239)에 제공할 수 있고, 디코딩된 제어 정보를 제어기/프로세서(240)에 제공할 수 있다. 기지국(110)은 통신 유닛(244)을 포함하고, 통신 유닛(244)을 통해 네트워크 제어기(130)에 통신할 수 있다. 네트워크 제어기(130)는 통신 유닛(294), 제어기/프로세서(290) 및 메모리(292)를 포함할 수 있다.
[0047] 도 2의 기지국(110)의 제어기/프로세서(240), UE(120)의 제어기/프로세서(280) 및/또는 임의의 다른 컴포넌트(들)는, 다른 곳에 더 상세히 설명되는 바와 같이, 채널 모델링을 위한 머신 러닝과 연관된 하나 이상의 기법들을 수행할 수 있다. 예컨대, 도 2의 기지국(110)의 제어기/프로세서(240), UE(120)의 제어기/프로세서(280) 및/또는 임의의 다른 컴포넌트(들)는, 예컨대, 도 6의 프로세스들의 동작들을 수행 또는 지시할 수 있다. 메모리들(242 및 282)은 기지국(110) 및 UE(120)에 대한 데이터 및 프로그램 코드들을 각각 저장할 수 있다. 스케줄러(246)는 다운링크 및/또는 업링크를 통한 데이터 송신을 위해 UE들을 스케줄링할 수 있다.
[0048] 앞서 표시된 바와 같이, 도 2는 단지 예로서 제공된다. 다른 예들은 도 2와 관련하여 설명된 것과는 상이할 수 있다.
[0049] 일부 경우들에서, 상이한 타입들의 애플리케이션들 및/또는 서비스들을 지원하는 상이한 타입들의 디바이스들이 셀에 공존할 수 있다. 상이한 타입들의 디바이스들의 예들은 UE 핸드셋들, CPE(customer premises equipment)들, 차량들, IoT(Internet of Things) 디바이스들 등을 포함한다. 상이한 타입들의 애플리케이션들의 예들은 URLLC(ultra-reliable low-latency communications) 애플리케이션들, mMTC(massive machine-type communications) 애플리케이션들, eMBB(enhanced mobile broadband) 애플리케이션들, V2X(vehicle-to-anything) 애플리케이션들 등을 포함한다. 또한, 일부 경우들에서는, 단일 디바이스가, 상이한 애플리케이션들 또는 서비스들을 동시에 지원할 수 있다.
[0050] 도 3은 본 개시내용의 특정 양상들에 따른, 신경망 트레이닝을 위한 그래디언트들을 생성하도록 구성된 CPU(central processing unit)(302) 또는 멀티-코어 CPU를 포함할 수 있는 SOC(system-on-a-chip)(300)의 예시적인 구현을 예시한다. SOC(300)는 기지국(110) 또는 UE(120)에 포함될 수 있다. 변수들(예컨대, 뉴럴 신호들(neural signals) 및 시냅틱 가중치들(synaptic weights)), 컴퓨테이셔널 디바이스(computational device)(예컨대, 가중치들을 갖는 신경망)와 연관된 시스템 파라미터들, 지연들, 주파수 빈(frequency bin) 정보, 및 작업 정보는, NPU(neural processing unit)(308)와 연관된 메모리 블록, CPU(302)와 연관된 메모리 블록, GPU(graphics processing unit)(304)와 연관된 메모리 블록, DSP(digital signal processor)(306)와 연관된 메모리 블록, 메모리 블록(318)에 저장될 수 있거나, 또는 다수의 블록들에 걸쳐 분포될 수 있다. CPU(302)에서 실행되는 명령들은 CPU(302)와 연관된 프로그램 메모리로부터 로딩될 수 있거나, 또는 메모리 블록(318)으로부터 로딩될 수 있다.
[0051] SOC(300)는 또한, 특정 기능들에 맞춰진 추가적인 프로세싱 블록들, 이를테면 GPU(304), DSP(306), 연결성 블록(connectivity block)(310)(이는 5G(fifth generation) 연결성, 4G LTE(fourth generation long term evolution) 연결성, Wi-Fi 연결성, USB 연결성, Bluetooth 연결성 등을 포함할 수 있음), 및 멀티미디어 프로세서(312)(이는 예컨대, 제스처(gesture)들을 검출하고 인식할 수 있음)를 포함할 수 있다. 일 구현에서, NPU는 CPU, DSP, 및/또는 GPU에서 구현된다. SOC(300)는 또한, 센서 프로세서(314), ISP(image signal processor)들(316), 및/또는 글로벌 포지셔닝 시스템을 포함할 수 있는 내비게이션 모듈(320)을 포함할 수 있다.
[0052] SOC(300)는 ARM 명령 세트에 기반할 수 있다. 본 개시내용의 양상에서, 범용 프로세서(302)로 로딩되는 명령들은, 송신 및 수신 시퀀스들의 데이터 세트에 기반하여, 채널을 표현하는 조건부 확률 분포를 결정하고; 조건부 확률 분포에 기반하여 채널의 잠재 표현을 결정하며; 그리고 잠재 표현에 기반하여 채널-기반 기능을 수행하기 위한 코드를 포함할 수 있다.
[0053] 딥 러닝 아키텍처(deep learning architecture)들은, 각각의 계층에서 연속적으로 더 높은 추상화 레벨들로 입력들을 표현하는 것을 학습함으로써 객체 인식 작업을 수행할 수 있고, 그에 의해, 입력 데이터의 유용한 특징 표현을 축적할 수 있다. 이러한 방식으로, 딥 러닝은 종래의 머신 러닝의 주요 병목 현상을 해결한다. 딥 러닝의 출현 전에, 객체 인식 문제에 대한 머신 러닝 접근법은, 아마도 얕은 분류기(shallow classifier)와 결합하여, 인간 공학적 특징(human engineered feature)들에 크게 의존했을 수 있다. 얕은 분류기는, 예컨대, 특징 벡터(feature vector) 성분들의 가중 합(weighted sum)을 임계치와 비교하여 입력이 어느 클래스에 속하는지를 예측할 수 있는 2-클래스 선형 분류기일 수 있다. 인간 공학적 특징들은 도메인 전문 지식을 가진 엔지니어들에 의해 특정 문제 도메인에 대해 맞춤화된 템플릿(template)들 또는 커널들일 수 있다. 대조적으로, 딥 러닝 아키텍처들은, 인간 엔지니어가 설계할 수 있는 것과 유사한 특징들을, 그러나 트레이닝을 통해, 표현하는 것을 학습할 수 있다. 게다가, 심층망(deep network)은 인간이 고려하지 않았을 수도 있는 새로운 타입들의 특징들을 표현하고 인식하는 것을 학습할 수 있다.
[0054] 딥 러닝 아키텍처는 특징들의 계층구조를 학습할 수 있다. 예컨대, 시각적 데이터가 제시되는 경우, 제1 계층은 입력 스트림에서 에지들과 같은 비교적 간단한 특징들을 인식하는 것을 학습할 수 있다. 다른 예에서, 청각 데이터가 제시되는 경우, 제1 계층은 특정 주파수들에서 스펙트럼 전력을 인식하는 것을 학습할 수 있다. 제1 계층의 출력을 입력으로서 취하는 제2 계층은, 특징들의 조합들, 이를테면, 시각적 데이터를 위한 간단한 형상들 또는 청각 데이터를 위한 소리들의 조합들을 인식하는 것을 학습할 수 있다. 예컨대, 상위 계층들은 시각적 데이터로 복잡한 형상들을 표현하거나 또는 청각 데이터로 워드들을 표현하는 것을 학습할 수 있다. 더 상위 계층들은 일반적인 시각적 객체들 또는 음성 어구(spoken phrase)들을 인식하는 것을 학습할 수 있다.
[0055] 딥 러닝 아키텍처들은, 자연적인 계층적 구조(hierarchical structure)를 갖는 문제들에 적용될 때 특히 잘 수행될 수 있다. 예컨대, 전동 차량들의 분류는, 휠들, 앞 유리들, 및 다른 특징들을 인식하는 것을 먼저 학습하는 것으로부터 이익을 얻을 수 있다. 이러한 특징들은, 자동차들, 트럭들, 및 비행기들을 인식하기 위해 상이한 방식들로 상위 계층들에서 조합될 수 있다.
[0056] 신경망들은 다양한 연결성 패턴(connectivity pattern)들로 설계될 수 있다. 피드-포워드망(feed-forward network)들에서, 정보는 하위 계층으로부터 상위 계층으로 전달되고, 주어진 계층의 각각의 뉴런은 상위 계층들의 뉴런들과 통신한다. 위에서 설명된 바와 같이, 계층적 표현은 피드-포워드망의 연속적인 계층들에서 구축될 수 있다. 신경망들은 또한, 순환(recurrent) 또는 피드백(하향식(top-down)으로도 불림) 연결들을 가질 수 있다. 순환 연결에서, 주어진 계층의 뉴런으로부터의 출력은 동일한 계층의 다른 뉴런에 통신될 수 있다. 순환 아키텍처는, 시퀀스로 신경망에 전달되는 입력 데이터 청크(chunk)들 중 하나 초과에 걸쳐있는 패턴들을 인식하는 데 도움이 될 수 있다. 주어진 계층의 뉴런으로부터 하위 계층의 뉴런으로의 연결은 피드백(또는 하향식) 연결이라고 불린다. 고-레벨의 개념의 인식이 입력의 특정 저-레벨 특징들을 구별하는 것을 도울 수 있을 때, 많은 피드백 연결들을 갖는 망이 도움이 될 수 있다.
[0057] 신경망의 계층들 사이의 연결들은 완전히 연결될 수 있거나 또는 국부적으로 연결될 수 있다. 도 4a는 완전 연결 신경망(fully connected neural network)(402)의 예를 예시한다. 완전 연결 신경망(402)에서, 제1 계층의 뉴런은 제2 계층의 모든 뉴런에 자신의 출력을 통신할 수 있고, 그에 따라, 제2 계층의 각각의 뉴런은 제1 계층의 모든 뉴런으로부터 입력을 수신할 것이다. 도 4b는 국부 연결 신경망(locally connected neural network)(404)의 예를 예시한다. 국부 연결 신경망(404)에서, 제1 계층의 뉴런은 제2 계층의 제한된 수의 뉴런들에 연결될 수 있다. 더 일반적으로, 국부 연결 신경망(404)의 국부적으로 연결된 계층은, 계층 내의 각각의 뉴런이 동일한 또는 유사한 연결성 패턴을 갖지만, 상이한 값들을 가질 수 있는 연결 강도(connection strength)들(예컨대, 410, 412, 414, 및 416)을 갖도록, 구성될 수 있다. 국부적으로 연결된 연결성 패턴은 상위 계층에서 공간적으로 별개의 수용 필드(receptive field)들을 발생시킬 수 있는데, 왜냐하면 주어진 구역의 상위 계층 뉴런들은, 망에 대한 총 입력의 제한된 부분의 특성들에 대한 트레이닝을 통해 조정(tune)되는 입력들을 수신할 수 있기 때문이다.
[0058] 국부 연결 신경망의 일 예는 컨볼루션 신경망(convolutional neural network)이다. 도 4c는 컨볼루션 신경망(406)의 예를 예시한다. 컨볼루션 신경망(406)은, 제2 계층의 각각의 뉴런에 대한 입력들과 연관된 연결 강도들이 공유되도록(예컨대, 408) 구성될 수 있다. 컨볼루션 신경망들은 입력들의 공간적 로케이션이 의미가 있는 문제들에 매우 적합할 수 있다.
[0059] 하나의 타입의 컨볼루션 신경망은 DCN(deep convolutional network)이다. 도 4d는, 이미지 캡처링 디바이스(430), 이를테면 자동차-탑재 카메라로부터의 이미지(426) 입력으로부터 시각적 특징들을 인식하도록 설계된 DCN(400)의 상세한 예를 예시한다. 본 예의 DCN(400)은 교통 표지판들 및 교통 표지판 상에 제공되는 숫자를 식별하도록 트레이닝될 수 있다. 물론, DCN(400)은 다른 작업들, 이를테면, 차선 표시를 식별하거나 신호등을 식별하도록 트레이닝될 수 있다.
[0060] DCN(400)은 지도 학습(supervised learning)으로 트레이닝될 수 있다. 트레이닝 동안, DCN(400)에는 이미지, 이를테면 속도 제한 표지판의 이미지(426)가 제시될 수 있고, 그런 다음, 출력(422)을 생성하기 위해 포워드 패스(forward pass)가 컴퓨팅될 수 있다. DCN(400)은 특징 추출 섹션 및 분류 섹션을 포함할 수 있다. 이미지(426)를 수신하면, 컨볼루션 계층(432)은 컨볼루션 커널(convolutional kernel)들(미도시)을 이미지(426)에 적용하여 제1 세트의 특징 맵(feature map)들(418)을 생성할 수 있다. 예로서, 컨볼루션 계층(432)에 대한 컨볼루션 커널은 28x28 특징 맵들을 생성하는 5x5 커널일 수 있다. 본 예에서, 제1 세트의 특징 맵들(418)에서 4개의 상이한 특징 맵들이 생성되기 때문에, 컨볼루션 계층(432)에서 4개의 상이한 컨볼루션 커널들이 이미지(426)에 적용되었다. 컨볼루션 커널들은 또한 필터들 또는 컨볼루션 필터(convolutional filter)들로 지칭될 수 있다.
[0061] 제1 세트의 특징 맵들(418)은 최대 풀링 계층(max pooling layer)(미도시)에 의해 서브샘플링(subsample)되어, 제2 세트의 특징 맵들(420)을 생성할 수 있다. 최대 풀링 계층은 제1 세트의 특징 맵들(418)의 크기를 감소시킨다. 즉, 제2 세트의 특징 맵들(420)의 크기, 이를테면 14x14는, 제1 세트의 특징 맵들(418)의 크기, 이를테면 28x28보다 더 작다. 감소된 크기는, 메모리 소비를 감소시키면서 후속 계층에 유사한 정보를 제공한다. 제2 세트의 특징 맵들(420)은 하나 이상의 후속 컨볼루션 계층들(미도시)을 통해 추가로 컨볼빙되어, 하나 이상의 후속 세트들의 특징 맵들(미도시)을 생성할 수 있다.
[0062] 도 4d의 예에서, 제2 세트의 특징 맵들(420)은 컨볼빙되어 제1 특징 벡터(feature vector)(424)를 생성한다. 게다가, 제1 특징 벡터(424)는 추가로 컨볼빙되어 제2 특징 벡터(428)를 생성한다. 제2 특징 벡터(428)의 각각의 특징은, 이미지(426)의 가능한 특징에 대응하는 숫자, 이를테면 "표지판(sign)", "60", 및 "100"을 포함할 수 있다. 소프트맥스 함수(softmax function)(미도시)가 제2 특징 벡터(428)의 숫자들을 확률로 변환할 수 있다. 따라서, DCN(400)의 출력(422)은, 이미지(426)가 하나 이상의 특징들을 포함할 확률이다.
[0063] 본 예에서, 출력(422)에서 "표지판" 및 "60"에 대한 확률들은, 출력(422) 중 다른 것들, 이를테면 "30," "40," "50," "70," "80," "90" 및 "100"의 확률들보다 더 높다. 트레이닝 전에, DCN(400)에 의해 생성되는 출력(422)은 부정확할 가능성이 있다. 따라서, 출력(422)과 타겟 출력 간의 에러가 계산될 수 있다. 타겟 출력은 이미지(426)의 실측 자료(ground truth)(예컨대, "표지판" 및 "60")이다. 그런 다음, DCN(400)의 출력(422)이 타겟 출력과 더 밀접하게 정렬되도록, DCN(400)의 가중치들이 조정될 수 있다.
[0064] 가중치들을 조정하기 위해, 학습 알고리즘은 가중치들에 대한 그래디언트 벡터(gradient vector)를 컴퓨팅할 수 있다. 그래디언트는, 가중치가 조정된 경우 에러가 증가 또는 감소하게 될 양을 표시할 수 있다. 최상위(top) 계층에서, 그래디언트는, 끝에서 두 번째 계층에서의 활성화된 뉴런과 출력 계층에서의 뉴런을 연결하는 가중치의 값에 직접적으로 대응할 수 있다. 하위 계층들에서, 그래디언트는 가중치들의 값 및 상위 계층들의 컴퓨팅된 에러 그래디언트들에 의존할 수 있다. 그런 다음, 에러를 감소시키기 위해 가중치들이 조정될 수 있다. 가중치들을 조정하는 이러한 방식은, 신경망을 통한 "백워드 패스(backward pass)"를 수반하기 때문에 "역전파(back propagation)"로 지칭될 수 있다.
[0065] 실제로, 가중치들의 에러 그래디언트는, 계산된 그래디언트가 실제(true) 에러 그래디언트에 근사하도록 적은 수의 예들에 걸쳐 계산될 수 있다. 이러한 근사화 방법은 확률론적 그래디언트 하강(stochastic gradient descent)으로 지칭될 수 있다. 확률론적 그래디언트 하강은, 전체 시스템의 달성 가능한 에러 레이트가 감소를 중단할 때까지 또는 에러 레이트가 타겟 레벨에 도달할 때까지 반복될 수 있다. 학습 후에, DCN에는 새로운 이미지들(예컨대, 이미지(426)의 속도 제한 표지판)이 제시될 수 있으며, 그리고 망을 통한 포워드 패스는 DCN의 추론 또는 예측으로 고려될 수 있는 출력(422)을 산출할 수 있다.
[0066] DBN(deep belief network)들은 다수의 은닉 노드(hidden node)들의 계층들을 포함하는 확률론적 모델(probabilistic model)들이다. DBN들은 트레이닝 데이터 세트들의 계층적 표현을 추출하는 데 사용될 수 있다. DBN은, RBM(Restricted Boltzmann Machine)들의 계층들을 적층함으로써 획득될 수 있다. RBM은, 입력들의 세트에 걸친 확률 분포를 학습할 수 있는 인공 신경망의 타입이다. RBM들은 각각의 입력이 분류되어야 하는 클래스에 대한 정보가 없을 때 확률 분포를 학습할 수 있기 때문에, RBM들은 비지도 학습(unsupervised learning)에서 종종 사용된다. 하이브리드 비지도 및 지도 패러다임(hybrid unsupervised and supervised paradigm)을 사용하여, DBN의 최하부 RBM들은 비지도 방식으로 트레이닝될 수 있고, 특징 추출기(feature extractor)들의 역할을 할 수 있으며, 그리고 최상부 RBM은 (타겟 클래스들 및 이전 계층으로부터의 입력들의 공동 분포에 대해) 지도 방식으로 트레이닝될 수 있고, 분류기의 역할을 할 수 있다.
[0067] DCN(deep convolutional network)들은, 부가적인 풀링 및 정규화(normalization) 계층들로 구성된 컨볼루션망들의 네트워크들이다. DCN들은 많은 작업들에 대해 최첨단 기술 성능을 달성하였다. DCN들은 지도 학습을 사용하여 트레이닝될 수 있으며, 여기서, 입력 및 출력 타겟들 둘 모두는 많은 예시들에 대해 알려져 있고, 그래디언트 하강 방법들을 사용하여 망의 가중치들을 수정하는 데 사용된다.
[0068] DCN들은 피드-포워드망들일 수 있다. 또한, 위에서 설명된 바와 같이, DCN의 제1 계층의 뉴런으로부터 다음 상위 계층의 뉴런들의 그룹으로의 연결들은 제1 계층의 뉴런들에 걸쳐 공유된다. DCN들의 피드-포워드 및 공유 연결들은 신속한 프로세싱을 위해 활용될 수 있다. DCN의 계산 부담은, 예컨대, 순환 또는 피드백 연결들을 포함하는 유사한 크기의 신경망의 계산 부담보다 훨씬 더 적을 수 있다.
[0069] 컨볼루션망의 각각의 계층의 프로세싱은 공간적으로 불변인 템플릿 또는 기초 투영(basis projection)으로 고려될 수 있다. 입력이 먼저 다수의 채널들, 이를테면 컬러 이미지의 적색 채널, 녹색 채널 및 청색 채널로 분해되는 경우, 그 입력에 대해 트레이닝된 컨볼루션망은, 이미지의 축들을 따라 2개의 공간 차원들을 갖고 컬러 정보를 캡처하는 제3 차원을 갖는, 3차원으로 고려될 수 있다. 컨볼루션 연결의 출력들은 후속 계층에서 특징 맵을 형성하는 것으로 고려될 수 있으며, 특징 맵(예컨대, 420)의 각각의 엘리먼트는 이전 계층(예컨대, 특징 맵들(418))의 뉴런들의 범위로부터 그리고 다수의 채널들 각각으로부터 입력을 수신한다. 특징 맵 내의 값들은, 비-선형성(non-linearity)으로, 이를테면 정류(rectification), max(0, x)로 추가로 프로세싱될 수 있다. 인접한 뉴런들로부터의 값들은 추가로 풀링될 수 있으며, 이는 다운 샘플링(down sampling)에 대응하고, 그리고 부가적인 국부적 불변성 및 차원성(dimensionality) 감소를 제공할 수 있다. 화이트닝(whitening)에 대응하는 정규화는 또한, 특징 맵에서 뉴런들 사이의 측방향 억제(lateral inhibition)를 통해 적용될 수 있다.
[0070] 딥 러닝 아키텍처들의 성능은, 더 많은 라벨링된 데이터 포인트들이 이용 가능하게 될 때 또는 계산력이 증가함에 따라 증가될 수 있다. 현대의 심층 신경망(deep neural network)들은, 단지 15년 전에 전형적인 연구자에게 이용 가능했던 것보다 수천 배 더 큰 컴퓨팅 자원들로 일상적으로 트레이닝된다. 새로운 아키텍처들 및 트레이닝 패러다임들은 딥 러닝의 성능을 더욱 향상시킬 수 있다. 정류된 선형 유닛들은 그래디언트 소실(vanishing gradient)들로 알려진 트레이닝 문제를 감소시킬 수 있다. 새로운 트레이닝 기법들은 오버-피팅(over-fitting)을 감소시킬 수 있고, 그에 따라 더 큰 모델들이 더 나은 일반화를 달성할 수 있게 한다. 캡슐화(encapsulation) 기법들은 주어진 수용 필드에서 데이터를 추상화(abstract)할 수 있고, 전체 성능을 더욱 향상시킬 수 있다.
[0071] 도 5는 심층 컨볼루션망(deep convolutional network)(550)을 예시하는 블록도이다. 심층 컨볼루션망(550)은 연결성 및 가중치 공유에 기반하여 다수의 상이한 타입들의 계층들을 포함할 수 있다. 도 5에 도시된 바와 같이, 심층 컨볼루션망(550)은 컨볼루션 블록들(554A, 554B)을 포함한다. 컨볼루션 블록들(554A, 554B) 각각은 컨볼루션 계층(CONV)(556), 정규화 계층(LNorm)(558), 및 최대 풀링 층(MAX POOL)(560)으로 구성될 수 있다.
[0072] 컨볼루션 계층들(556)은, 특징 맵을 생성하기 위해 입력 데이터에 적용될 수 있는 하나 이상의 컨볼루션 필터들을 포함할 수 있다. 컨볼루션 블록들 중 단지 2개(554A, 554B) 만이 도시되어 있지만, 본 개시내용은 그렇게 제한되지 않으며, 대신에, 설계 선호도에 따라 임의의 수의 컨볼루션 블록들(554A, 554B)이 심층 컨볼루션망(550)에 포함될 수 있다. 정규화 계층(558)은 컨볼루션 필터들의 출력을 정규화할 수 있다. 예컨대, 정규화 계층(558)은 화이트닝 또는 측방향 억제를 제공할 수 있다. 최대 풀링 계층(560)은, 국부적 불변성 및 차원성 감소를 위해 공간에 걸친 다운 샘플링 어그리게이션(down sampling aggregation)을 제공할 수 있다.
[0073] 예컨대, 심층 컨볼루션망의 병렬 필터 뱅크(filter bank)들이 SOC(300)의 CPU(302) 또는 GPU(304) 상에 로딩되어, 높은 성능 및 낮은 전력 소비를 달성할 수 있다. 대안적인 실시예들에서, 병렬 필터 뱅크들은 SOC(300)의 ISP(316) 또는 DSP(306) 상에 로딩될 수 있다. 또한, 심층 컨볼루션망(550)은 SOC(300) 상에 존재할 수 있는 다른 프로세싱 블록들, 이를테면, 각각, 센서들 및 내비게이션에 전용되는 센서 프로세서(314) 및 내비게이션 모듈(320)에 액세스할 수 있다.
[0074] 심층 컨볼루션망(550)은 또한, 하나 이상의 완전 연결 계층들(fully connected layers)(562)(FC1 및 FC2)을 포함할 수 있다. 심층 컨볼루션망(550)은 LR(logistic regression) 계층(564)을 더 포함할 수 있다. 심층 컨볼루션망(550)의 각각의 계층(556, 558, 560, 562, 564) 사이에는 업데이트될 가중치들(미도시)이 있다. 컨볼루션 블록들 중 첫 번째 컨볼루션 블록(554A)에 공급되는 입력 데이터(552)(예컨대, 이미지들, 오디오, 비디오, 센서 데이터 및/또는 다른 입력 데이터)로부터 계층적 특징 표현들을 학습하기 위해, 계층들(예컨대, 556, 558, 560, 562, 564) 각각의 출력은 심층 컨볼루션망(550) 내의 계층들(예컨대, 556, 558, 560, 562, 564) 중 후속 계층의 입력의 역할을 할 수 있다. 심층 컨볼루션망(550)의 출력은 입력 데이터(552)에 대한 분류 스코어(566)이다. 분류 스코어(566)는 확률들의 세트일 수 있으며, 각각의 확률은 입력 데이터가 특징들의 세트로부터의 특징을 포함할 확률이다.
[0075] 앞서 표시된 바와 같이, 도 3 내지 도 5는 예들로서 제공된다. 다른 예들은 도 3 내지 도 5와 관련하여 설명된 것과 상이할 수 있다.
[0076] 앞서 논의된 바와 같이, 머신 러닝 시스템들은 데이터세트
Figure pct00005
에서의 데이터(x)의 잠재 표현(z)을 학습하기 위해 생성 모델링을 구현할 수 있다. 잠재 표현은 생성 프로세스(
Figure pct00006
)에 기반하여 학습될 수 있다. 생성 프로세스는, 잠재 표현(z)이 주어지는 경우 데이터(x)의 조건부 분포(conditional distribution)를 지칭한다. 일부 예들에서, 생성 모델들은 밀도 함수(density function)를 추정하고, 잠재 표현(z)을 무작위로(randomly) 선택함으로써 새로운 샘플들을 생성할 수 있다. VAE(variational auto-encoder) 및 GAN(generative adversarial network)이 생성 모델들의 예들이다. 무선 채널들에 대해 생성 모델링을 사용하는 것이 바람직할 수 있다. 예컨대, 생성 모델링은 새로운 채널들, 이를테면 시뮬레이션들을 위한 새로운 채널들의 생성을 개선할 수 있다. 다른 예로서, 생성 모델링은 채널에 대응하는 조건부 분포를 학습할 수 있다. 부가적으로, 생성 모델들은 단대단 딥 러닝-기반 트랜시버(end-to-end deep learning-based transceiver)들을 트레이닝하는 데 사용될 수 있다. 이러한 모델들을 트레이닝하기 위해, 그래디언트가 채널을 통해 역전파될 수 있다. 또한, 생성 모델들은, 그래디언트가 역전파될 수 있게 하는 채널의 미분가능 에뮬레이터로서 사용될 수 있다.
[0077] 본 개시내용의 양상들은 무선 통신 채널들과 같은 통신 채널들을 모델링하기 위해 생성 모델들을 사용하는 것에 관한 것이다. 채널은 비선형 효과(non-linear effect)들을 포함하도록 자신의 조건부 분포를 사용하여 표현될 수 있다. 비선형 효과들(예컨대, 채널 비선형성)은, 예컨대, 디바이스들, 증폭기들 및/또는 양자화기들에 의해 야기될 수 있다. 일 구성에서, 조건부 변이형 오토-인코더(conditional variational auto-encoder)들이 조건부 분포를 학습하는 데 사용될 수 있다. 일부 양상들에서, 채널 디코더는, 통신 채널을 조건부 확률 분포로서 모델링할 수 있는 미분가능 채널 모델(differentiable channel model)을 포함할 수 있다. 부가적으로, 새로운 채널들이 잠재 변수(latent variable)에 기반하여 생성될 수 있다. 새로운 채널들은 필드 데이터(field data)로부터 뉴럴 채널 모델(neural channel model)들을 구축하는 데 사용될 수 있다.
[0078] 무선 통신 시스템과 같은 통신 시스템에서, 채널은 입력(x)을 수신하고 출력(y)을 제공할 수 있다. 입력(x) 및 출력(y)은 송신-수신 시퀀스 또는 입력-출력 시퀀스로 지칭될 수 있다. 설명된 바와 같이, 본 개시내용의 양상들은 채널의 확률 분포(예컨대, 확률론적 표현)를 학습하는 것에 관한 것이다. 이 예에서, 확률 분포는, 입력(x)이 주어질 때 출력(y)을 획득할 확률이다. 확률 분포를 학습한 후, 채널은 머신 러닝 모델(machine learning model)에 의해 시뮬레이팅되거나 근사화될 수 있다.
[0079] 일부 예들에서, 채널의 조건부 확률 분포는
Figure pct00007
로 표현될 수 있으며, 여기서 파라미터(y)는 채널 출력을 표현하고, 파라미터(x)는 채널 입력을 표현한다. 다루기 쉽고 미분가능한 아키텍처들(예컨대, 신경망 아키텍처들)에 기반하여 채널(예컨대, 복소 채널)의 조건부 확률(
Figure pct00008
)을 근사화하는 것이 바람직할 수 있다. 부가적으로, 새로운 채널 인스턴스(channel instance)들을 생성하기 위한 프로세스를 개선하는 것이 바람직할 수 있다.
[0080] 논의된 바와 같이, 조건부 VAE는, 채널을 추정하고, 채널 코드들을 디코딩하고, 채널 상태를 압축하고, 그리고/또는 채널을 통해 수신된 신호들을 검출하기 위한 채널-기반 기능을 수행할 수 있다. 압축은 채널 상태들을 압축하는 것을 지칭한다. 예컨대, 채널들은 CSF(channel state feedback)를 위해 압축될 수 있다. 디코딩은 채널 코드들을 디코딩하는 것, 이를테면 LDPC(low-density parity-check) 디코딩을 지칭한다. 예로서, 송신되는 비트들에 대한 LLR(log-likelihood ratio)은 채널의 조건부 확률에 기반하여 결정될 수 있다. LLR은, 이를테면 LDPC 디코딩과 같은 디코딩을 위해 사용될 수 있다. 마지막으로, 검출은 송신된 심볼들을 찾는 것, 이를테면 MIMO(multiple-input multiple-output) 검출을 지칭한다.
[0081] 도 6은 본 개시내용의 양상들에 따른 CVAE(conditional variational auto-encoder)(600)의 예를 예시하는 블록도이다. CVAE(600)는 또한 조건부 VAE(600)로 지칭될 수 있다. 도 6에 도시된 바와 같이, 조건부 VAE(600)는 송신 디바이스 또는 수신 디바이스 중 하나 또는 둘 모두에 통합될 수 있다. 도 6의 예에서, 조건부 VAE(600)는 채널 입력(x)에 대해 컨디셔닝된(conditioned) 잠재 표현(z)을 학습할 수 있다. 도 6의 예에 도시된 바와 같이, 조건부 VAE(600)는 인코더(602) 및 디코더(604)를 포함한다. 인코더(602)는 인코딩 함수(encoding function)(
Figure pct00009
)를 구현하는 인공 신경망일 수 있다. 일 구성에서, 인코더(602)는 입력(x) 및 출력(y)을 수신한다. 본 개시내용에서, 입력(x)은 채널 입력(x)으로 지칭될 수 있고, 출력(y)은 채널 출력(y)으로 지칭될 수 있다. 일부 예들에서, 채널 입력(x)은 채널 입력(x)의 샘플, 이를테면 수신된 OFDM(orthogonal frequency division) 파형의 샘플일 수 있다. 부가적으로, 채널 출력(y)은 채널 출력(y)의 샘플, 이를테면 송신된 OFDM 파형의 샘플일 수 있다. 도 6의 예에 도시된 바와 같이, 인코더(602)는, 잠재 표현(z)의 가우시안 분포(Gaussian distribution)와 연관된, 채널 입력(x) 및 채널 출력(y)의 평균(
Figure pct00010
)("
Figure pct00011
"로 도시됨) 및 채널 입력(x) 및 채널 출력(y)의 분산(
Figure pct00012
)("
Figure pct00013
"로 도시됨)을 결정한다. 평균(
Figure pct00014
) 및 분산(
Figure pct00015
)은 채널 입력(x) 및 채널 출력(y)에 기반할 수 있다. 따라서, 인코더(602)는, 채널 입력(x) 및 채널 출력(y)에 기반하여 잠재 표현(z)을 생성할 수 있다.
[0082] 부가적으로, 디코더(604)는 디코딩 함수(decoding function)(
Figure pct00016
)를 구현하는 인공 신경망일 수 있다. 디코더(604)는, 채널 입력(x) 및 채널 상태 정보가 주어지는 경우 채널 출력(y)의 조건부 분포가, 수신기의 부가 잡음(additive noise)에 의해 결정되는 가우시안이 되도록, 가우시안 포스테리어(Gaussian posterior)를 가정(assume)한다. 도 6에 도시된 바와 같이, 디코더(604)는 잠재 표현(z) 및 입력 채널(x)에 기반하여 출력 채널(y)을 결정할 수 있다. 잠재 표현(z)은 가우시안 분포의 평균(
Figure pct00017
) 및 분산(
Figure pct00018
)으로부터 샘플링(예컨대, 무작위 샘플링)될 수 있다. 인코딩 함수(
Figure pct00019
) 및 디코딩 함수(
Figure pct00020
) 중의 각각의 함수는 확률 분포들을 표현한다.
[0083] 일부 예들에서, 트레이닝 동안, 손실 함수(loss function)는 잠재 표현(z)의 평균(
Figure pct00021
), 분산(
Figure pct00022
) 및
Figure pct00023
개의 무작위 샘플(random sample)들에 기반하여 손실을 결정한다. 즉, 잠재 표현(z)은 가우시안 분포
Figure pct00024
에 기반하여 무작위로 이루어질 수 있고, 여기서, 파라미터(
Figure pct00025
)는 무작위 변수(random variable)를 표현하고 파라미터(
Figure pct00026
)는
Figure pct00027
개의 무작위 샘플들 중 현재 무작위 샘플을 표현한다. 손실은 다음과 같이 정의될 수 있다:
Figure pct00028
[0084] 본 개시내용의 양상들에 따르면, 트레이닝 동안, 손실(
Figure pct00029
)은 조건부 VAE(600)를 트레이닝하도록 최소화될 수 있다. 수학식 1에서,
Figure pct00030
는 인코더(602)의 출력으로서 획득된
Figure pct00031
를 갖는 쿨백-라이블러 발산(Kullback-Leibler divergence) 항을 표현한다. 부가적으로,
Figure pct00032
는 디코더(604)의 출력을 사용하여 컴퓨팅되는 재구성 손실의 예상 값을 표현한다. 트레이닝 동안,
Figure pct00033
은 1과 동일할 수 있다. VAE는 n개의 ELBO(evidence lower bound)를 최대화함으로써 데이터
Figure pct00034
의 가능성을 최대화한다. ELBO(evidence lower bound)는 2개의 항들로 구성된다. 첫 번째 항은 쿨백-라이블러 발산 항이고, 두 번째 항은 재구성 손실이다. 트레이닝 이후, 트레이닝된 인코더(602) 및 트레이닝된 디코더(604)는 다양한 모델링 및 추론 작업들을 위해 사용될 수 있다.
[0085] 일부 양상들에서, 조건부 VAE(600)는 채널 모델링 시스템의 컴포넌트일 수 있다. 이러한 일부 양상들에서, 채널 모델링 시스템은 채널 입력들(x) 및 대응하는 채널 출력들(y)(예컨대, 입력-출력 시퀀스들)을 수집하고,
Figure pct00035
에 대해 수집된 샘플들(
Figure pct00036
)의 데이터세트를 생성한다.
[0086] 도 7a는 본 개시내용의 양상들에 따른 채널(750)의 예를 예시하는 블록도이다. 논의된 바와 같이, 채널(750)은 무선 채널일 수 있다. 그럼에도 불구하고, 채널은 무선 채널로 제한되지 않으며, 다른 타입의 통신 채널일 수 있다. 도 7a의 예에 도시된 바와 같이, 채널(750)은 채널 입력(x) 및 채널 출력(y)을 포함한다. 도 7a의 예에서, 채널 입력(x)은, 이를테면 도 1 및 도 2에서 설명된 바와 같은 UE(120) 또는 기지국(110)과 같은 송신기에 의해 송신될 수 있다. 부가적으로, 채널 출력(y)은, 이를테면 도 1 및 도 2에서 설명된 바와 같은 UE(120) 또는 기지국(110)과 같은 수신기에서 수신될 수 있다. 채널(750)의 비선형 효과들은 채널 입력(x)과 채널 출력(y) 사이의 차이들을 야기할 수 있다. 비선형 효과들은, 예컨대, 네트워크 디바이스들, 증폭기들 및/또는 양자화기들에 의해 야기될 수 있다.
[0087] 설명된 바와 같이, 본 개시내용의 양상들은 채널(750)의 확률 분포(
Figure pct00037
)(예컨대, 확률론적 표현)를 학습하는 것에 관한 것이다. 이 예에서, 확률 분포(
Figure pct00038
)는, 채널 입력(x)이 주어질 때 채널 출력(y)을 획득할 확률이다. 부가적으로, 논의된 바와 같이, 도 6에서 설명된 조건부 VAE(600)와 같은 조건부 VAE는 채널 입력(x)에 대해 컨디셔닝된, 채널(750)의 잠재 표현(z)을 학습할 수 있다.
[0088] 앞서 논의된 바와 같이, 채널(750)은 채널 입력(x) 및 채널 출력(y)을 포함한다. 일부 예들에서, 채널 입력(x)은 송신기에 의해 생성된 파형일 수 있고, 채널 출력(y)은 수신기에서 수신된 파형일 수 있다. 도 7b는 본 개시내용의 양상들에 따른 채널 모델링 시스템(700)의 예를 예시하는 블록도이다. 도 7b의 예에서, 채널 모델링 시스템(700)은 도 7a에서 설명된 채널 입력(x)에 대응하는 파형(706)을 생성하기 위한 송신기(702) 및 도 7a에서 설명된 채널 출력(y)에 대응하는 파형(714)을 수신하기 위한 수신기(704)를 포함한다. 송신기(702) 및 수신기(704)는, 도 1 및 도 2에서 설명된 바와 같은 UE(120) 또는 기지국(110)의 예들일 수 있다. 즉, UE(120) 및 기지국(110) 둘 모두는, 송신기(702) 및 수신기(704)의 기능들을 수행하는 컴포넌트들을 포함한다. 도 7b의 예에서, 송신기(702)는 OFDM(orthogonal frequency demodulation) 파형과 같은 송신기 파형(706)을 송신할 수 있다. 송신기 파형(706)은 채널 입력(x)의 예일 수 있다. 송신기 파형(706)을 송신하기 전에, 송신기(702)는 변조 컴포넌트(708)에서 신호(720)를 변조하고, IFFT(inverse fast Fourier transformation) 컴포넌트(710)에서 IFFT를 수행하고, CP(cyclic prefix) 컴포넌트(712)에서 CP를 부가할 수 있다. 일부 예들에서, 변조 컴포넌트(708)는 QPSK(quadrature phase shift keying) 변조를 통해 신호를 변조할 수 있다.
[0089] 도 7b에 도시된 바와 같이, 채널(750)은 채널 입력(x)(예컨대, 송신기 파형(706))을 수신하고 채널 출력(y)(예컨대, 수신기 파형(714))을 생성한다. 채널(750)은 도 7a에서 설명된 채널(750)의 예일 수 있다. 송신은, 수신기(704)에서, OFDM 파형과 같은 수신기 파형(714)으로서 수신될 수 있다. 도 7b의 예에 도시된 바와 같이, 수신기(704)는 CP(cyclic prefix) 컴포넌트(716)에서 CP를 제거하고, FFT(fast Fourier transformation) 컴포넌트(718)에서 FFT를 수행하여, 신호(720)를 획득할 수 있다. 본 발명의 양상들에 따르면, 채널 모델링 시스템(700)에 대한 데이터세트는 상이한 채널 입력 및 채널 출력 샘플들(
Figure pct00039
)로 구성된다.
[0090] 일 구성에서, 채널 모델링은 데이터 기반(data driven)이다. 예컨대, 생성 모델은 필드 측정(field measurement)들에 기반하여 구축될 수 있다. 필드 측정들은 제한된 해상도의 입력 및 출력 파형들, 또는 고해상도의 채널 임펄스 응답 측정들(예컨대, 지연, 각도 및 도플러 프로파일)을 포함할 수 있다. 모델 구축을 위해 추가 정보가 또한 사용될 수 있으며, 이러한 정보는 예컨대, 로케이션 정보, 지연 확산, 캐리어 주파수 또는 대역폭 중 하나 이상을 포함할 수 있다. 그러한 구성들에서, 인코딩 함수(
Figure pct00040
)(예컨대, 채널 표현) 및 디코딩 함수(
Figure pct00041
)(예컨대, 근사 조건부 분포)의 사후 분포(posterior distribution)가 필드 측정들로부터 학습될 수 있다.
[0091] 채널의 조건부 확률은 미분가능할 수 있고, 데이터-기반 통신 시스템(data-driven communication system)들을 설계하는 데 사용될 수 있다. 디코딩 함수로서,
Figure pct00042
가 디코딩 및/또는 채널 검출을 위해 사용될 수 있다. 다른 예로서, 인코딩 함수(
Figure pct00043
) 또는 디코딩 함수(
Figure pct00044
)가 채널 추정 및/또는 채널 압축에 사용될 수 있다.
[0092] 일부 양상들에서, 채널은 잠재 표현(z)을 무작위로 선택함으로써 시뮬레이팅될 수 있다. 이러한 양상들에서, 각각의 잠재 표현(z)에 대해 새로운 채널 인스턴스가 획득될 수 있다. 논의된 바와 같이, 잠재 표현(z)은 채널을 표현할 수 있다. 따라서, 특정 환경에 대해, 잠재 표현(z)이 결정되면, 채널을 알게 된다. 일부 예들에서, 잠재 표현(z)은 채널 입력(x) 및 채널 출력(y)을 알게 됨으로써 결정될 수 있다.
[0093] 일 구성에서, 채널 가능성들(예컨대, 조건부 확률 분포)은 채널을 추정하기 위해 사용될 수 있다. 즉, 조건부 확률 분포들은 채널 입력 및 출력 측정들로부터 학습될 수 있다. 이러한 구성에서, 조건부 VAE(variational auto-encoder), 이를테면 도 6의 조건부 VAE(600)는 채널의 잠재 표현(z)을 학습하는 데 사용될 수 있다. 조건부 VAE(600)는 재파라미터화(reparametrization)를 사용하여 역전파에 의해 트레이닝될 수 있다. 일부 예들에서, 잠재 표현(z)은, 파일럿 신호(
Figure pct00045
)(예컨대, 채널 입력) 및 채널 출력(y)에 기반하여 결정될 수 있다. 이러한 예에서, 조건부 확률(
Figure pct00046
)은 잠재 표현(z):
Figure pct00047
를 추정할 수 있다. 파라미터(
Figure pct00048
)는 그래디언트 하강에 기반하여 결정될 수 있다. 이러한 예에서, 파라미터(
Figure pct00049
)는, 파일럿 신호(
Figure pct00050
)에 기반하여 출력(y)을 획득할 확률을 최대화하는 잠재 표현(z)의 값에 기반하여 결정된다.
[0094] 다른 구성에서, 채널 입력(x)은 채널 출력(y) 및 잠재 표현(z)(예컨대, 추정된 채널)으로부터 추정될 수 있다. 이러한 예에서, 조건부 확률(
Figure pct00051
)은, 입력(x):
Figure pct00052
를 추정하기 위해 채널 추정으로부터 획득된 잠재 표현(z)을 사용할 수 있다. 이러한 예에서, 파라미터(
Figure pct00053
)는 그래디언트 하강에 기반하여 결정될 수 있다. 구체적으로, 파라미터(
Figure pct00054
)는, 잠재 표현(z)에 기반하여 채널 출력(y)을 획득할 확률을 최대화하는 잠재 표현(z)의 값에 기반하여 결정될 수 있다.
[0095] 또 다른 구성에서, 잠재 표현(z)은 단대단 딥 러닝-기반 통신 시스템(end-to-end deep learning-based communication system)을 설계하는 데 사용될 수 있고, 종래의 채널 인코더들(예컨대, 송신기들) 및 디코더들(예컨대, 수신기들)은 인공 신경망들로 대체될 수 있다. 본 개시내용의 양상들은, 채널 모델이 미분가능할 때, 채널을 통해 역전파하도록 구현될 수 있다. 따라서, 신경망-기반 채널 인코더들 및 디코더들은 미분가능한 채널에 기반하여 트레이닝될 수 있다.
[0096] 논의된 바와 같이, 본 개시내용의 양상들에 따르면, 생성 모델은 시뮬레이션, 테스팅 및/또는 다른 목적들을 위한 새로운 채널들을 생성할 수 있다. 부가적으로 또는 대안적으로, 채널의 압축된 표현은 잠재 표현에 기반하여 생성될 수 있다. 예로서, 압축된 표현은 CSF(channel state feedback)에 대해 사용될 수 있다.
[0097] 일부 예들에서, 생성 모델은 통신 시스템을 시뮬레이팅하고 그리고/또는 통신 시스템을 설계하는 데 사용될 수 있다. 이러한 예들에서, 생성 모델은 도 6의 조건부 VAE(600)와 같은 조건부 VAE로부터 획득될 수 있다. 조건부 VAE는 잠재 변수에 대한 가우시안 분포를 가정할 수 있다. 부가적으로, 조건부 VAE의 디코딩 함수(
Figure pct00055
)는, 표준 가우시안을 따르는 잠재 분포(z)를 무작위로 선택함으로써 새로운 채널 인스턴스들을 생성할 수 있다. 생성 모델은 미분가능한 모델들로 샘플 생성을 개선하기 위해 기존의 시뮬레이터들에 대해 트레이닝될 수 있다.
[0098] 도 8은, 본 개시내용의 다양한 양상들에 따른, 예컨대 인공 신경망에 의해 수행되는 예시적인 프로세스(800)를 예시하는 흐름도이다. 예시적인 프로세스(800)는, 채널을 표현하는 조건부 확률 분포에 기반하여 결정되는 잠재 표현에 기반하여 채널-기반 기능을 수행하는 예이다. 프로세스(800)는, 도 6의 조건부 VAE(600)와 같은 조건부 VAE를 포함하는 ANN(artificial neural network)에 의해 수행될 수 있다. 도 8에 도시된 바와 같이, 블록(802)에서, ANN은 송신 및 수신 시퀀스들의 데이터 세트에 기반하여, 채널을 표현하는 조건부 확률 분포를 결정한다. 송신 및 수신 시퀀스들은, 송신기에 의해 채널을 통해 송신되는 제1 데이터 및 수신기에서 채널을 통해 수신되는 제2 데이터에 기반하여 수집될 수 있다. 일부 예들에서, 각각의 송신 및 수신 시퀀스에 대해, 제1 데이터는 제2 데이터에 대응한다. 부가적으로, 일부 예들에서, ANN은 잠재 표현의 가우시안 분포를 샘플링함으로써 잠재 변수의 인스턴스를 획득하고, 잠재 변수의 인스턴스에 기반하여 조건부 확률 분포를 결정한다.
[0099] 부가적으로, 도 8에 도시된 바와 같이, 블록(804)에서, ANN은 조건부 확률 분포에 기반하여 채널의 잠재 표현을 결정한다. 또한, 블록(806)에서, ANN은 잠재 표현에 기반하여 채널-기반 기능을 수행한다. 일부 예들에서, 채널-기반 기능은 조건부 VAE를 통해 수행될 수 있다. 부가적으로, 채널-기반 기능은, 채널과 연관된 하나 이상의 특성들을 추정하는 것, 채널 코드들을 디코딩하는 것, 채널 상태를 압축하는 것, 또는 심볼들을 검출하는 것 중 하나 이상을 포함할 수 있다.
[00100] 구현 예들은 다음의 번호가 매겨진 조항들에서 설명된다.
1. 인공 신경망(artificial neural network)에 의해 수행되는 방법으로서, 송신 및 수신 시퀀스들의 데이터 세트에 기반하여, 채널을 표현하는 조건부 확률 분포(conditional probability distribution)를 결정하는 단계; 조건부 확률 분포에 기반하여 채널의 잠재 표현(latent representation)을 결정하는 단계; 및 잠재 표현에 기반하여 채널-기반 기능(channel-based function)을 수행하는 단계를 포함하는, 인공 신경망에 의해 수행되는 방법.
2. 조항 1의 방법에 있어서, 인공 신경망은 조건부 VAE(variational auto-encoder)를 포함하고, 조건부 VAE는 인코더 및 디코더를 포함하는, 인공 신경망에 의해 수행되는 방법.
3. 조항 2의 방법에 있어서, 조건부 VAE를 통해 채널-기반 기능을 수행하는 단계를 더 포함하고, 채널-기반 기능은, 채널과 연관된 하나 이상의 특성(property)들을 추정하는 것, 채널 코드들을 디코딩하는 것, 채널 상태를 압축하는 것, 및 심볼들을 검출하는 것을 포함하는, 인공 신경망에 의해 수행되는 방법.
4. 조항 2 또는 조항 3의 방법에 있어서, 채널 기능을 수행하는 단계는, 조건부 VAE의 디코더에 의해 시뮬레이팅된 채널을 생성하기 위해, 잠재 표현으로부터 잠재 변수(latent variable)의 인스턴스(instance)를 무작위로(randomly) 선택하는 단계를 포함하는, 인공 신경망에 의해 수행되는 방법.
5. 조항 2 또는 조항 3의 방법에 있어서, 채널 기능을 수행하는 단계는 신경망 기반 통신 시스템을 단대단(end-to-end)으로 트레이닝하기 위해 채널을 통해 역전파(back propagating)하는 단계를 포함하는, 인공 신경망에 의해 수행되는 방법.
6. 조항 5의 방법에 있어서, 신경망 기반 통신 시스템은 하이브리드 시스템이고, 하이브리드 시스템은: 신경망 수신기 또는 신경망 송신기; 또는 신경망 수신기 및 신경망 송신기를 포함하는 완전한(full) 신경망 기반 시스템을 포함하는, 인공 신경망에 의해 수행되는 방법.
7. 조항 2 내지 조항 6 중 어느 한 조항의 방법에 있어서, 조건부 VAE를 통해 조건부 확률 분포를 결정하는 단계를 더 포함하는, 인공 신경망에 의해 수행되는 방법.
8. 조항 2 내지 조항 7 중 어느 한 조항의 방법에 있어서, 잠재 표현의 가우시안 분포(Gaussian distribution)를 샘플링(sampling)함으로써 잠재 변수의 인스턴스를 획득하는 단계; 및 잠재 변수의 인스턴스에 기반하여 조건부 확률 분포를 결정하는 단계를 더 포함하는, 인공 신경망에 의해 수행되는 방법.
9. 조항 8의 방법에 있어서, 잠재 변수의 인스턴스에 기반하여 새로운 채널을 생성하는 단계를 더 포함하는, 인공 신경망에 의해 수행되는 방법.
10. 조항 1 내지 조항 9 중 어느 한 조항의 방법에 있어서, 송신기에 의해 채널을 통해 송신되는 제1 데이터 및 수신기에서 채널을 통해 수신되는 제2 데이터에 기반하여 송신 및 수신 시퀀스들을 수집하는 단계를 더 포함하는, 인공 신경망에 의해 수행되는 방법.
11. 조항 10의 방법에 있어서, 각각의 송신 및 수신 시퀀스에 대해, 제1 데이터는 제2 데이터에 대응하는, 인공 신경망에 의해 수행되는 방법.
12. 인공 신경망으로서, 프로세서, 프로세서와 커플링된 메모리, 및 메모리에 저장된 명령들을 포함하고, 명령들은, 프로세서에 의해 실행될 때, 인공 신경망으로 하여금 조항 1 내지 조항 11 중 어느 한 조항을 수행하게 하도록 동작가능한, 인공 신경망.
13. 채널을 통한 통신을 가능하게 하기 위한 장치로서, 조항 1 내지 조항 11 중 어느 한 조항을 수행하기 위한 적어도 하나의 수단을 포함하는, 장치.
14. 인공 신경망으로 하여금 조항 1 내지 조항 11 중 어느 한 조항을 수행하게 하기 위한 코드를 포함하는 컴퓨터 프로그램.
[00101] 상기 개시내용은 예시 및 설명을 제공하지만, 포괄적이거나 양상들을 개시된 정확한 형태로 제한하도록 의도되지 않는다. 수정들 및 변화들이 상기 개시내용의 관점에서 이루어질 수 있거나, 양상들의 실시로부터 포착될 수 있다.
[00102] 사용되는 바와 같이, 용어 "컴포넌트"는 하드웨어, 펌웨어 및/또는 하드웨어와 소프트웨어의 조합으로 널리 해석되도록 의도된다. 사용되는 바와 같이, 프로세서는 하드웨어, 펌웨어 및/또는 하드웨어와 소프트웨어의 조합으로 구현된다.
[00103] 일부 양상들은 임계치들과 관련하여 설명된다. 사용되는 바와 같이, 임계치를 충족한다는 것은, 콘텍스트에 따라, 값이 임계치보다 큰 것, 임계치보다 크거나 동일한 것, 임계치보다 작은 것, 임계치보다 작거나 동일한 것, 임계치와 동일한 것, 임계치와 동일하지 않은 것 등을 지칭할 수 있다.
[00104] 설명된 시스템들 및/또는 방법들은 상이한 형태들의 하드웨어, 펌웨어, 및/또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있음이 명백할 것이다. 이러한 시스템들 및/또는 방법들을 구현하기 위해 사용되는 실제의 특수한 제어 하드웨어 또는 소프트웨어 코드는 양상들의 제한이 아니다. 따라서, 시스템들 및/또는 방법들의 동작 및 거동은, 특정한 소프트웨어 코드에 대한 참조 없이 설명되었고, 이는 설명에 적어도 부분적으로 기반하여 시스템들 및/또는 방법들을 구현하기 위해 소프트웨어 및 하드웨어가 설계될 수 있는 것으로 이해된다.
[00105] 특징들의 특정 조합들이 청구항들에 인용되고 그리고/또는 명세서에 개시되지만, 이러한 조합들은 다양한 양상들의 개시내용을 제한하는 것으로 의도되지 않는다. 실제로, 이러한 특징들 대부분은, 구체적으로 청구항들에서 인용되지 않은 및/또는 명세서에 개시되지 않은 방식들로 조합될 수 있다. 아래에 나열되는 각각의 종속항은 오직 하나의 청구항에만 직접 의존하지만, 다양한 양상들의 개시내용은 청구항 세트의 모든 다른 청구항과 조합하여 각각의 종속항을 포함한다. 항목들의 리스트 "중 적어도 하나"로 지칭되는 구문은 단일 멤버들을 포함하여 그 항목들의 임의의 조합을 지칭한다. 예로서, "a, b 또는 c 중 적어도 하나"는 a, b, c, a-b, a-c, b-c, 및 a-b-c 뿐만 아니라 다수의 동일한 엘리먼트의 임의의 결합(예컨대, a-a, a-a-a, a-a-b, a-a-c, a-b-b, a-c-c, b-b, b-b-b, b-b-c, c-c, 및 c-c-c 또는 a, b, 및 c의 임의의 다른 순서화)을 커버하는 것으로 의도된다.
[00106] 사용된 어떠한 엘리먼트, 동작 또는 명령도, 이와 같이 명시적으로 설명되지 않는 한 결정적 또는 필수적인 것으로 해석되어서는 안된다. 또한, 사용되는 바와 같이, 단수형 표현은 하나 이상의 항목들을 포함하도록 의도되고, "하나 이상"과 상호교환가능하게 사용될 수 있다. 게다가, 사용되는 바와 같이, "세트" 및 "그룹"이라는 용어들은 하나 이상의 항목들(예컨대, 관련된 항목들, 관련없는 항목들, 관련된 및 관련없는 항목들의 조합 등)을 포함하도록 의도되며, "하나 이상"과 상호교환적으로 사용될 수 있다. 오직 하나의 항목만이 의도되는 경우, 용어 "오직 하나" 또는 유사한 어구가 사용된다. 또한, 사용되는 바와 같이, 용어 "갖는" 등은 확장가능한(open-ended) 용어들로 의도된다. 또한, 구문 "기반하는"은 달리 명시적으로 언급되지 않는 한 "적어도 부분적으로 기반하여"를 의미하도록 의도된다.

Claims (40)

  1. 인공 신경망(artificial neural network)을 사용하는 컴퓨터-구현(computer-implemented) 방법으로서,
    송신 및 수신 시퀀스들의 데이터 세트에 기반하여, 채널을 표현하는 조건부 확률 분포(conditional probability distribution)를 결정하는 단계;
    상기 조건부 확률 분포에 기반하여 상기 채널의 잠재 표현(latent representation)을 결정하는 단계; 및
    상기 잠재 표현에 기반하여 채널-기반 기능(channel-based function)을 수행하는 단계를 포함하는,
    인공 신경망을 사용하는 컴퓨터-구현 방법.
  2. 제1 항에 있어서,
    상기 인공 신경망은 조건부 VAE(variational auto-encoder)를 포함하고, 상기 조건부 VAE는 인코더 및 디코더를 포함하는,
    인공 신경망을 사용하는 컴퓨터-구현 방법.
  3. 제2 항에 있어서,
    상기 조건부 VAE를 통해 상기 채널-기반 기능을 수행하는 단계를 더 포함하고,
    상기 채널-기반 기능은, 상기 채널과 연관된 하나 이상의 특성(property)들을 추정하는 것, 채널 코드들을 디코딩하는 것, 채널 상태를 압축하는 것, 및 심볼들을 검출하는 것을 포함하는,
    인공 신경망을 사용하는 컴퓨터-구현 방법.
  4. 제2 항에 있어서,
    상기 채널-기반 기능을 수행하는 단계는, 상기 조건부 VAE의 디코더에 의해 시뮬레이팅된 채널을 생성하기 위해, 상기 잠재 표현으로부터 잠재 변수(latent variable)의 인스턴스(instance)를 무작위로(randomly) 선택하는 단계를 포함하는,
    인공 신경망을 사용하는 컴퓨터-구현 방법.
  5. 제2 항에 있어서,
    상기 채널-기반 기능을 수행하는 단계는 신경망 기반 통신 시스템을 단대단(end-to-end)으로 트레이닝하기 위해 상기 채널을 통해 역전파(back propagating)하는 단계를 포함하는,
    인공 신경망을 사용하는 컴퓨터-구현 방법.
  6. 제5 항에 있어서,
    상기 신경망 기반 통신 시스템은 하이브리드 시스템이고,
    상기 하이브리드 시스템은:
    신경망 수신기 또는 신경망 송신기; 또는
    상기 신경망 수신기 및 상기 신경망 송신기를 포함하는 완전한(full) 신경망 기반 시스템을 포함하는,
    인공 신경망을 사용하는 컴퓨터-구현 방법.
  7. 제2 항에 있어서,
    상기 조건부 VAE를 통해 상기 조건부 확률 분포를 결정하는 단계를 더 포함하는,
    인공 신경망을 사용하는 컴퓨터-구현 방법.
  8. 제2 항에 있어서,
    상기 잠재 표현의 가우시안 분포(Gaussian distribution)를 샘플링(sampling)함으로써 잠재 변수의 인스턴스를 획득하는 단계; 및
    상기 잠재 변수의 인스턴스에 기반하여 상기 조건부 확률 분포를 결정하는 단계를 더 포함하는,
    인공 신경망을 사용하는 컴퓨터-구현 방법.
  9. 제8 항에 있어서,
    상기 잠재 변수의 인스턴스에 기반하여 새로운 채널을 생성하는 단계를 더 포함하는,
    인공 신경망을 사용하는 컴퓨터-구현 방법.
  10. 제1 항에 있어서,
    송신기에 의해 상기 채널을 통해 송신되는 제1 데이터 및 수신기에서 상기 채널을 통해 수신되는 제2 데이터에 기반하여 상기 송신 및 수신 시퀀스들을 수집하는 단계를 더 포함하는,
    인공 신경망을 사용하는 컴퓨터-구현 방법.
  11. 제10 항에 있어서,
    각각의 송신 및 수신 시퀀스에 대해, 상기 제1 데이터는 상기 제2 데이터에 대응하는,
    인공 신경망을 사용하는 컴퓨터-구현 방법.
  12. 채널을 통한 통신을 가능하게 하기 위한 장치로서,
    송신 및 수신 시퀀스들의 데이터 세트에 기반하여, 채널을 표현하는 조건부 확률 분포를 결정하기 위한 수단;
    상기 조건부 확률 분포에 기반하여 상기 채널의 잠재 표현을 결정하기 위한 수단; 및
    상기 잠재 표현에 기반하여 채널-기반 기능을 수행하기 위한 수단을 포함하는,
    채널을 통한 통신을 가능하게 하기 위한 장치.
  13. 제12 항에 있어서,
    상기 장치는 조건부 변이형 인코딩(conditional variational encoding)을 위한 수단을 포함하고, 상기 조건부 변이형 인코딩을 위한 수단은 인코딩을 위한 수단 및 디코딩을 위한 수단을 포함하는,
    채널을 통한 통신을 가능하게 하기 위한 장치.
  14. 제13 항에 있어서,
    상기 조건부 변이형 인코딩을 위한 수단을 통해 상기 채널-기반 기능을 수행하기 위한 수단을 더 포함하고,
    상기 채널-기반 기능은, 상기 채널과 연관된 하나 이상의 특성들을 추정하는 것, 채널 코드들을 디코딩하는 것, 채널 상태를 압축하는 것, 및 심볼들을 검출하는 것을 포함하는,
    채널을 통한 통신을 가능하게 하기 위한 장치.
  15. 제13 항에 있어서,
    상기 채널-기반 기능을 수행하기 위한 수단은, 상기 디코딩을 위한 수단에 의해 시뮬레이팅된 채널을 생성하기 위해, 상기 잠재 표현으로부터 잠재 변수의 인스턴스를 무작위로 선택하기 위한 수단을 포함하는,
    채널을 통한 통신을 가능하게 하기 위한 장치.
  16. 제13 항에 있어서,
    상기 채널-기반 기능을 수행하기 위한 수단은 신경망 기반 통신 시스템을 단대단으로 트레이닝하기 위해 상기 채널을 통해 역전파하기 위한 수단을 포함하는,
    채널을 통한 통신을 가능하게 하기 위한 장치.
  17. 제16 항에 있어서,
    상기 신경망 기반 통신 시스템은 하이브리드 시스템이고,
    상기 하이브리드 시스템은:
    신경망 수신기 또는 신경망 송신기; 또는
    상기 신경망 수신기 및 상기 신경망 송신기를 포함하는 완전한 신경망 기반 시스템을 포함하는,
    채널을 통한 통신을 가능하게 하기 위한 장치.
  18. 제13 항에 있어서,
    상기 조건부 변이형 인코딩을 위한 수단을 통해 상기 조건부 확률 분포를 결정하기 위한 수단을 더 포함하는,
    채널을 통한 통신을 가능하게 하기 위한 장치.
  19. 제13 항에 있어서,
    상기 잠재 표현의 가우시안 분포를 샘플링함으로써 잠재 변수의 인스턴스를 획득하기 위한 수단; 및
    상기 잠재 변수의 인스턴스에 기반하여 상기 조건부 확률 분포를 결정하기 위한 수단을 더 포함하는,
    채널을 통한 통신을 가능하게 하기 위한 장치.
  20. 제19 항에 있어서,
    상기 잠재 변수의 인스턴스에 기반하여 새로운 채널을 생성하기 위한 수단을 더 포함하는,
    채널을 통한 통신을 가능하게 하기 위한 장치.
  21. 제13 항에 있어서,
    송신기에 의해 상기 채널을 통해 송신되는 제1 데이터 및 수신기에서 상기 채널을 통해 수신되는 제2 데이터에 기반하여 상기 송신 및 수신 시퀀스들을 수집하기 위한 수단을 더 포함하는,
    채널을 통한 통신을 가능하게 하기 위한 장치.
  22. 제21 항에 있어서,
    각각의 송신 및 수신 시퀀스에 대해, 상기 제1 데이터는 상기 제2 데이터에 대응하는,
    채널을 통한 통신을 가능하게 하기 위한 장치.
  23. 인공 신경망을 위한 장치로서,
    프로세서;
    상기 프로세서와 커플링된 메모리; 및
    상기 메모리에 저장된 명령들을 포함하고,
    상기 명령들은, 상기 프로세서에 의해 실행될 때, 상기 장치로 하여금:
    송신 및 수신 시퀀스들의 데이터 세트에 기반하여, 채널을 표현하는 조건부 확률 분포를 결정하게 하도록;
    상기 조건부 확률 분포에 기반하여 상기 채널의 잠재 표현을 결정하게 하도록; 그리고
    상기 잠재 표현에 기반하여 채널-기반 기능을 수행하게 하도록 동작가능한,
    인공 신경망을 위한 장치.
  24. 제23 항에 있어서,
    상기 인공 신경망은 조건부 VAE(variational auto-encoder)를 더 포함하고, 상기 조건부 VAE는 인코더 및 디코더를 포함하는,
    인공 신경망을 위한 장치.
  25. 제24 항에 있어서,
    상기 명령들은 추가로, 상기 장치로 하여금, 상기 조건부 VAE를 통해 상기 채널-기반 기능을 수행하게 하고,
    상기 채널-기반 기능은, 상기 채널과 연관된 하나 이상의 특성들을 추정하는 것, 채널 코드들을 디코딩하는 것, 채널 상태를 압축하는 것, 및 심볼들을 검출하는 것을 포함하는,
    인공 신경망을 위한 장치.
  26. 제24 항에 있어서,
    상기 채널-기반 기능을 수행하는 것은, 상기 조건부 VAE의 디코더에 의해 시뮬레이팅된 채널을 생성하기 위해, 상기 잠재 표현으로부터 잠재 변수의 인스턴스를 무작위로 선택하는 것을 포함하는,
    인공 신경망을 위한 장치.
  27. 제24 항에 있어서,
    상기 채널-기반 기능을 수행하는 것은 신경망 기반 통신 시스템을 단대단으로 트레이닝하기 위해 상기 채널을 통해 역전파하는 것을 포함하는,
    인공 신경망을 위한 장치.
  28. 제27 항에 있어서,
    상기 신경망 기반 통신 시스템은 하이브리드 시스템이고,
    상기 하이브리드 시스템은:
    신경망 수신기 또는 신경망 송신기; 또는
    상기 신경망 수신기 및 상기 신경망 송신기를 포함하는 완전한 신경망 기반 시스템을 포함하는,
    인공 신경망을 위한 장치.
  29. 제24 항에 있어서,
    상기 명령들은 추가로, 상기 인공 신경망으로 하여금 상기 조건부 VAE를 통해 상기 조건부 확률 분포를 결정하게 하는,
    인공 신경망을 위한 장치.
  30. 제24 항에 있어서,
    상기 명령들은 추가로, 상기 장치로 하여금:
    상기 잠재 표현의 가우시안 분포를 샘플링함으로써 잠재 변수의 인스턴스를 획득하게 하고; 그리고
    상기 잠재 변수의 인스턴스에 기반하여 상기 조건부 확률 분포를 결정하게 하는,
    인공 신경망을 위한 장치.
  31. 제30 항에 있어서,
    상기 명령들은 추가로, 상기 장치로 하여금 상기 잠재 변수의 인스턴스에 기반하여 새로운 채널을 생성하게 하는,
    인공 신경망을 위한 장치.
  32. 제23 항에 있어서,
    상기 명령들은 추가로, 상기 장치로 하여금, 송신기에 의해 상기 채널을 통해 송신되는 제1 데이터 및 수신기에서 상기 채널을 통해 수신되는 제2 데이터에 기반하여 상기 송신 및 수신 시퀀스들을 수집하게 하는,
    인공 신경망을 위한 장치.
  33. 제32 항에 있어서,
    각각의 송신 및 수신 시퀀스에 대해, 상기 제1 데이터는 상기 제2 데이터에 대응하는,
    인공 신경망을 위한 장치.
  34. 인공 신경망을 위한 프로그램 코드가 기록되어 있는 비-일시적인 컴퓨터-판독가능 저장 매체로서,
    상기 프로그램 코드는 프로세서에 의해 실행되고,
    상기 프로그램 코드는:
    송신 및 수신 시퀀스들의 데이터 세트에 기반하여, 채널을 표현하는 조건부 확률 분포를 결정하기 위한 프로그램 코드;
    상기 조건부 확률 분포에 기반하여 상기 채널의 잠재 표현을 결정하기 위한 프로그램 코드; 및
    상기 잠재 표현에 기반하여 채널-기반 기능을 수행하기 위한 프로그램 코드를 포함하는,
    비-일시적인 컴퓨터-판독가능 저장 매체.
  35. 제34 항에 있어서,
    상기 인공 신경망은 조건부 VAE(variational auto-encoder)를 더 포함하고, 상기 조건부 VAE는 인코더 및 디코더를 포함하는,
    비-일시적인 컴퓨터-판독가능 저장 매체.
  36. 제35 항에 있어서,
    상기 프로그램 코드는 상기 조건부 VAE를 통해 상기 채널-기반 기능을 수행하기 위한 프로그램 코드를 더 포함하고,
    상기 채널-기반 기능은, 상기 채널과 연관된 하나 이상의 특성들을 추정하는 것, 채널 코드들을 디코딩하는 것, 채널 상태를 압축하는 것, 및 심볼들을 검출하는 것을 포함하는,
    비-일시적인 컴퓨터-판독가능 저장 매체.
  37. 제35 항에 있어서,
    상기 채널-기반 기능을 수행하는 것은, 상기 조건부 VAE의 디코더에 의해 시뮬레이팅된 채널을 생성하기 위해, 상기 잠재 표현으로부터 잠재 변수의 인스턴스를 무작위로 선택하는 것을 포함하는,
    비-일시적인 컴퓨터-판독가능 저장 매체.
  38. 제35 항에 있어서,
    상기 채널-기반 기능을 수행하는 것은 신경망 기반 통신 시스템을 단대단으로 트레이닝하기 위해 상기 채널을 통해 역전파하는 것을 포함하는,
    비-일시적인 컴퓨터-판독가능 저장 매체.
  39. 제38 항에 있어서,
    상기 신경망 기반 통신 시스템은 하이브리드 시스템이고,
    상기 하이브리드 시스템은:
    신경망 수신기 또는 신경망 송신기; 또는
    상기 신경망 수신기 및 상기 신경망 송신기를 포함하는 완전한 신경망 기반 시스템을 포함하는,
    비-일시적인 컴퓨터-판독가능 저장 매체.
  40. 제35 항에 있어서,
    상기 프로그램 코드는 상기 조건부 VAE를 통해 상기 조건부 확률 분포를 결정하기 위한 프로그램 코드를 더 포함하는,
    비-일시적인 컴퓨터-판독가능 저장 매체.
KR1020237012331A 2020-10-19 2021-10-19 조건부 변이형 오토-인코더들을 사용한 무선 채널들의 데이터-기반 확률론적 모델링 KR20230091093A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063093728P 2020-10-19 2020-10-19
US63/093,728 2020-10-19
US17/504,341 US11929853B2 (en) 2020-10-19 2021-10-18 Data-driven probabilistic modeling of wireless channels using conditional variational auto-encoders
US17/504,341 2021-10-18
PCT/US2021/055614 WO2022086962A1 (en) 2020-10-19 2021-10-19 Data-driven probabilistic modeling of wireless channels using conditional variational auto-encoders

Publications (1)

Publication Number Publication Date
KR20230091093A true KR20230091093A (ko) 2023-06-22

Family

ID=81185690

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237012331A KR20230091093A (ko) 2020-10-19 2021-10-19 조건부 변이형 오토-인코더들을 사용한 무선 채널들의 데이터-기반 확률론적 모델링

Country Status (5)

Country Link
US (1) US11929853B2 (ko)
EP (1) EP4229557A1 (ko)
KR (1) KR20230091093A (ko)
CN (1) CN116368749A (ko)
WO (1) WO2022086962A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110932734B (zh) * 2019-11-14 2021-06-08 浙江大学 一种基于交替方向乘子法的深度学习信道译码方法
US20220303158A1 (en) * 2021-03-19 2022-09-22 NEC Laboratories Europe GmbH End-to-end channel estimation in communication networks

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3486816A1 (en) * 2017-11-16 2019-05-22 Institut Pasteur Method, device, and computer program for generating protein sequences with autoregressive neural networks
EP3767541A1 (en) * 2019-07-17 2021-01-20 Robert Bosch GmbH A machine learnable system with conditional normalizing flow
WO2021100184A1 (ja) * 2019-11-21 2021-05-27 日本電信電話株式会社 学習装置、推定装置、学習方法および学習プログラム
WO2022059194A1 (ja) * 2020-09-18 2022-03-24 富士通株式会社 異常判定プログラム、装置、及び方法

Also Published As

Publication number Publication date
US11929853B2 (en) 2024-03-12
US20220123966A1 (en) 2022-04-21
CN116368749A (zh) 2023-06-30
EP4229557A1 (en) 2023-08-23
WO2022086962A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
US20220116764A1 (en) User equipment (ue) capability report for machine learning applications
US20210326701A1 (en) Architecture for machine learning (ml) assisted communications networks
WO2021208061A1 (en) Configurable neural network for channel state feedback (csf) learning
WO2022000365A1 (en) Machine learning based downlink channel estimation and prediction
US20210264255A1 (en) Gradient feedback framework for joint transceiver neural network training
US20220070822A1 (en) Unsupervised learning for simultaneous localization and mapping in deep neural networks using channel state information
US11863495B2 (en) Signaling for a channel state information reference signal (CSI-RS)
US11929853B2 (en) Data-driven probabilistic modeling of wireless channels using conditional variational auto-encoders
US11456834B2 (en) Adaptive demodulation reference signal (DMRS)
WO2023146862A1 (en) Equivariant generative prior for inverse problems with unknown rotation
KR20240024082A (ko) 모델 기반 뉴럴 네트워크들을 통한 채널 특징 추출
KR20230026319A (ko) 무선 채널 추정 및 추적을 위한 신경망 증강
WO2023070486A1 (en) Channel state feedback for reduced resource consumption reference signals
US20230259754A1 (en) Machine learning model validation with verification data
US20230297825A1 (en) Weighted average federated learning based on neural network training loss
EP4378129A1 (en) Signaling for additional training of neural networks for multiple channel conditions
KR20230173664A (ko) 머신 러닝 모델 업데이트들을 위한 보고
CN118140559A (zh) 减少资源消耗参考信号的信道状态反馈
CN115039434A (zh) 基于主频带测量的辅助小区群组选择