KR20230173664A - 머신 러닝 모델 업데이트들을 위한 보고 - Google Patents

머신 러닝 모델 업데이트들을 위한 보고 Download PDF

Info

Publication number
KR20230173664A
KR20230173664A KR1020237035182A KR20237035182A KR20230173664A KR 20230173664 A KR20230173664 A KR 20230173664A KR 1020237035182 A KR1020237035182 A KR 1020237035182A KR 20237035182 A KR20237035182 A KR 20237035182A KR 20230173664 A KR20230173664 A KR 20230173664A
Authority
KR
South Korea
Prior art keywords
neural network
receiver
network parameters
parameters
updated
Prior art date
Application number
KR1020237035182A
Other languages
English (en)
Inventor
하메드 페제쉬키
타오 루오
태상 유
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/694,467 external-priority patent/US20220335294A1/en
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20230173664A publication Critical patent/KR20230173664A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/065—Generation of reports related to network devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

수신기는, 송신기로부터, 기준 뉴럴 네트워크를 수신한다. 수신기는 기준 뉴럴 네트워크에 대한 업데이트된 뉴럴 네트워크 파라미터들을 획득하도록 기준 뉴럴 네트워크를 트레이닝한다. 수신기는 트리거에 응답하여, 기준 뉴럴 네트워크에 대한 이전의 뉴럴 네트워크 파라미터들과 업데이트된 뉴럴 네트워크 파라미터들 사이의 차이를 송신기에 보고한다. 트리거는, 손실 함수, 업데이트된 뉴럴 네트워크 파라미터들과 이전의 뉴럴 네트워크 파라미터들 사이의 차이의 크기, 및/또는 업데이트된 뉴럴 네트워크 파라미터들을 갖는 기준 뉴럴 네트워크의 성능과 이전의 뉴럴 네트워크 파라미터들을 갖는 기준 뉴럴 네트워크의 성능 사이의 차이에 기초할 수도 있다.

Description

머신 러닝 모델 업데이트들을 위한 보고
관련 출원들에 대한 상호 참조
본 출원은, "REPORTING FOR MACHINE LEARNING MODEL UPDATES"의 제목으로 2021년 4월 20일자 출원된 미국 가특허출원 제63/177,180호의 이점을 주장하는 "REPORTING FOR MACHINE LEARNING MODEL UPDATES"의 제목으로 2022년 3월 14일자 출원된 미국 특허출원 제17/694,467호에 대한 우선권을 주장하며, 이들의 개시들은 명시적으로 그 전체가 참조에 의해 통합된다.
개시의 분야
본 개시의 양태들은 일반적으로 무선 통신들에 관한 것으로, 보다 구체적으로는, 예를 들어 차동(differential) 머신 러닝 모델 업데이트들을 위한 보고를 트리거(trigger)하기 위한 기법들 및 장치들에 관한 것이다.
무선 통신 시스템들은, 텔레포니, 비디오, 데이터, 메시징, 및 브로드캐스트와 같은 다양한 전기통신 서비스들을 제공하기 위해 널리 배치되어 있다. 전형적인 무선 통신 시스템들은, 이용가능한 시스템 리소스들(예를 들어, 대역폭, 송신 전력, 및/또는 기타 등등)을 공유함으로써 다수의 사용자들과의 통신들을 지원할 수 있는 다중 액세스 기술들을 채용할 수도 있다. 이러한 다중 액세스 기술들의 예들은 코드 분할 다중 액세스(CDMA) 시스템, 시간 분할 다중 액세스(TDMA) 시스템, 주파수 분할 다중 액세스(FDMA) 시스템, 직교 주파수 분할 다중 액세스(OFDMA) 시스템, 단일 캐리어 주파수 분할 다중 액세스(SC-FDMA) 시스템, 시간 분할 동기식 코드 분할 다중 액세스(TD-SCDMA) 시스템, 및 롱텀 에볼루션(LTE)을 포함한다. LTE/LTE 어드밴스드는 3세대 파트너쉽 프로젝트(3GPP)에 의해 공표된 유니버셜 모바일 전기통신 시스템(UMTS) 모바일 표준에 대한 향상물들의 세트이다.
무선 통신 네트워크는, 다수의 사용자 장비(UE들)에 대한 통신을 지원할 수 있는 다수의 기지국들(BS들)을 포함할 수도 있다. 사용자 장비(UE)는 다운링크 및 업링크를 통해 기지국(BS)과 통신할 수도 있다. 다운링크(또는, 순방향 링크)는 BS로부터 UE로의 통신 링크를 지칭하며, 업링크(또는, 역방향 링크)는 UE로부터 BS로의 통신 링크를 지칭한다. 본 명세서에서 더 상세히 설명될 바와 같이, BS는 노드 B, gNB, 액세스 포인트(AP), 라디오 헤드, 송수신 포인트(TRP), 뉴 라디오(NR) BS, 5G 노드 B, 및/또는 기타 등등으로 지칭될 수도 있다.
상기 다중 액세스 기술들은, 상이한 사용자 장비가 도시작, 국가적, 지역적, 및 심지어 글로벌 레벨 상에서 통신할 수 있게 하는 공통 프로토콜을 제공하도록 다양한 전기통신 표준들에서 채택되었다. 5G로도 지칭될 수도 있는 뉴 라디오(NR)는 3세대 파트너쉽 프로젝트(3GPP)에 의해 공표된 LTE 모바일 표준에 대한 향상물들의 세트이다. NR은, 빔포밍, 다중입력 다중출력(MIMO) 안테나 기술, 및 캐리어 집성(carrier aggregation)을 지원할 뿐만 아니라, 다운링크(DL) 상에서 사이클릭 프리픽스(CP)를 갖는 직교 주파수 분할 멀티플렉싱(OFDM)(CP-OFDM)을 사용하고, 업링크(UL) 상에서 CP-OFDM 및/또는 SC-FDM(예를 들어, 이산 푸리에 변환 확산 OFDM(DFT-s-OFDM)으로도 알려짐)을 사용하여 스펙트럼 효율을 향상시키는 것, 비용을 절감하는 것, 서비스들을 향상시키는 것, 새로운 스펙트럼을 이용하는 것, 및 다른 개방 표준들과 더 우수하게 통합하는 것에 의해 모바일 브로드밴드 인터넷 액세스를 더 우수하게 지원하도록 설계된다.
인공 뉴럴 네트워크들은 인공 뉴런들의 상호연결된 그룹들(예를 들어, 뉴런 모델들)을 포함할 수도 있다. 인공 뉴럴 네트워크는 계산(computational) 디바이스일 수도 있거나, 계산 디바이스에 의해 수행될 방법으로서 표현될 수도 있다. 딥 컨볼루션 뉴럴 네트워크들과 같은 컨볼루션 뉴럴 네트워크들은 피드포워드(feed-forward) 인공 뉴럴 네트워크의 일 타입이다. 컨볼루션 뉴럴 네트워크들은, 타일링된 수용 필드에서 구성될 수도 있는 뉴런들의 계층들을 포함할 수도 있다. 더 큰 효율을 달성하기 위해 무선 통신들에 뉴럴 네트워크 프로세싱을 적용하는 것이 바람직할 것이다.
본 개시의 양태들에 따르면, 방법은 송신기로부터 기준 뉴럴 네트워크를 수신한다. 방법은 또한, 기준 뉴럴 네트워크에 대한 업데이트된 뉴럴 네트워크 파라미터들을 획득하도록 기준 뉴럴 네트워크를 트레이닝한다. 방법은 추가로, 트리거에 응답하여, 기준 뉴럴 네트워크에 대한 이전의 뉴럴 네트워크 파라미터들과 업데이트된 뉴럴 네트워크 파라미터들 사이의 차이를 송신기에 보고한다.
본 개시의 다른 양태들에서, 무선 통신들을 위한 장치는 적어도 하나의 프로세서 및 프로세서(들)와 커플링된 메모리를 포함한다. 메모리에 저장된 명령들은, 프로세서(들)에 의해 실행될 때, 장치로 하여금 송신기로부터 기준 뉴럴 네트워크를 수신하게 하도록 동작가능하다. 장치는 또한, 기준 뉴럴 네트워크에 대한 업데이트된 뉴럴 네트워크 파라미터들을 획득하도록 기준 뉴럴 네트워크를 트레이닝할 수 있다. 장치는 추가로, 트리거에 응답하여, 기준 뉴럴 네트워크에 대한 이전의 뉴럴 네트워크 파라미터들과 업데이트된 뉴럴 네트워크 파라미터들 사이의 차이를 송신기에 보고할 수 있다.
본 개시의 다른 양태들에서, 수신기에 의한 무선 통신을 위한 장치는 송신기로부터 기준 뉴럴 네트워크를 수신하기 위한 수단을 포함한다. 장치는 또한, 기준 뉴럴 네트워크에 대한 업데이트된 뉴럴 네트워크 파라미터들을 획득하도록 기준 뉴럴 네트워크를 트레이닝하기 위한 수단을 포함한다. 장치는 추가로, 트리거에 응답하여, 기준 뉴럴 네트워크에 대한 이전의 뉴럴 네트워크 파라미터들과 업데이트된 뉴럴 네트워크 파라미터들 사이의 차이를 송신기에 보고하기 위한 수단을 포함한다.
본 개시의 다른 양태들에서, 프로그램 코드가 기록된 비일시적 컴퓨터 판독가능 매체가 개시된다. 프로그램 코드는 장치에 의해 실행되고, 송신기로부터 기준 뉴럴 네트워크를 수신하기 위한 프로그램 코드를 포함한다. 장치는 또한, 기준 뉴럴 네트워크에 대한 업데이트된 뉴럴 네트워크 파라미터들을 획득하도록 기준 뉴럴 네트워크를 트레이닝하기 위한 프로그램 코드를 포함한다. 장치는 추가로, 트리거에 응답하여, 기준 뉴럴 네트워크에 대한 이전의 뉴럴 네트워크 파라미터들과 업데이트된 뉴럴 네트워크 파라미터들 사이의 차이를 송신기에 보고하기 위한 프로그램 코드를 포함한다.
양태들은 일반적으로, 첨부 도면들 및 명세서를 참조하여 본 명세서에서 실질적으로 설명되는 바와 같은 그리고 첨부 도면들 및 명세서에 의해 예시된 바와 같은 방법, 장치, 시스템, 컴퓨터 프로그램 제품, 비일시적 컴퓨터 판독가능 매체, 사용자 장비, 기지국, 무선 통신 디바이스, 및 프로세싱 시스템을 포함한다.
전술한 것은, 뒤따르는 상세한 설명이 더 잘 이해될 수도 있도록 본 개시에 따른 예들의 피처들 및 기술적 이점들을 다소 폭넓게 약술하였다. 추가적인 특징들 및 이점들이 설명될 것이다. 개시된 개념 및 특정 예들은 본 개시의 동일한 목적들을 수행하기 위한 다른 구조들을 수정 또는 설계하기 위한 기초로서 용이하게 활용될 수도 있다. 그러한 등가의 구성들은 첨부된 청구항들의 범위에서 벗어나지 않는다. 개시된 개념들의 특성들, 그들의 조직 및 동작 방법 양자 모두는, 연관된 이점들과 함께, 첨부 도면들과 관련하여 고려될 때 다음의 설명으로부터 더 잘 이해될 것이다. 도면들 각각은 예시 및 설명의 목적들을 위해 제공되고, 청구항들의 한계들의 정의로서 제공된 것은 아니다.
본 개시의 특징들이 자세히 이해될 수도 있도록, 특정한 설명은 양태들을 참조로 이루질 수도 있으며, 그 양태들 중 일부가 첨부된 도면들에 예시된다. 그러나, 첨부된 도면들은 본 개시의 특정 양태들만을 예시하고 따라서 본 개시의 범위를 제한하는 것으로 고려되서는 안된다는 점에 유의해야 하는데, 본 설명은 다른 동일 효과의 양태들을 허용할 수도 있기 때문이다. 상이한 도면들에서의 동일한 참조 번호들은 동일하거나 유사한 엘리먼트들을 식별할 수도 있다.
도 1은 본 개시의 다양한 양태들에 따른, 무선 통신 네트워크의 예를 개념적으로 예시하는 블록도이다.
도 2는 본 개시의 다양한 양태들에 따른, 무선 통신 네트워크에서 사용자 장비(UE)와 통신하는 기지국의 예를 개념적으로 예시하는 블록도이다.
도 3은 본 개시의 특정 양태들에 따른, 범용 프로세서를 포함하는, 시스템 온 칩(SOC)을 사용하여 뉴럴 네트워크를 설계하는 예시적인 구현을 예시한다.
도 4a, 도 4b 및 도 4c는 본 개시의 양태들에 따른, 뉴럴 네트워크를 예시하는 도면들이다.
도 4d는 본 개시의 양태들에 따른, 예시적인 딥 컨볼루션 네트워크(DCN)를 예시하는 도면이다.
도 5는 본 개시의 양태들에 따른, 예시적인 딥 컨볼루션 네트워크(DCN)를 예시하는 블록도이다.
도 6은 본 개시의 양태들에 따른, 시나리오 특정 모델들을 예시하는 블록도이다.
도 7은 본 개시의 양태들에 따른, 서브모델 업데이트를 예시하는 블록도이다.
도 8은 본 개시의 양태들에 따른, 머신 러닝 모델의 공유를 예시하는 블록도이다.
도 9는 본 개시의 양태들에 따른, 트리거에 기초한 머신 러닝 모델의 차동 업데이트를 예시하는 타이밍도이다.
도 10은 본 개시의 다양한 양태들에 따른, 예를 들어 수신기에 의해 수행되는 예시적인 프로세스를 예시하는 흐름도이다.
본 개시의 다양한 양태들은 첨부 도면들을 참조하여 보다 충분히 하기에서 설명된다. 그러나 본 개시는, 많은 상이한 형태들로 구현될 수도 있고, 본 개시 전반에 걸쳐 제시된 임의의 특정 구조 또는 기능에 제한되는 것으로서 해석되지 않아야 한다. 오히려, 이들 양태들은 본 개시가 철저하고 완전하게 되고, 그리고 본 개시의 범위를 당업자에게 충분히 전달하도록 제공된다. 본 교시들에 기초하여, 당업자들은 본 개시의 범위가 독립적으로든 본 개시의 임의의 다른 양태들과 결합하여 구현되든 본 개시의 임의의 양태를 커버하도록 의도됨을 이해할 것이다. 예를 들어, 제시된 임의의 수의 양태들을 사용하여 장치가 구현될 수도 있거나 방법이 실시될 수도 있다. 또한 본 개시의 범위는, 제시된 본 개시의 다양한 양태들 외에 또는 그에 더하여 다른 구조, 기능성, 또는 구조 및 기능성을 사용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 개시된 본 개시의 임의의 양태는 청구항의 하나 이상의 엘리먼트들에 의해 구현될 수도 있음을 이해해야 한다.
전기통신 시스템들의 여러 양태들이 이제 다양한 장치들 및 기법들을 참조하여 제시될 것이다. 이들 장치들 및 기법들은 다음의 상세한 설명에서 설명되고, 다양한 블록들, 모듈들, 컴포넌트들, 회로들, 단계들, 프로세스들, 알고리즘들 등("엘리먼트들"로 통칭됨)에 의해 첨부 도면들에서 예시될 것이다. 이들 엘리먼트들은 하드웨어, 소프트웨어, 또는 이의 조합들을 사용하여 구현될 수도 있다. 그러한 엘리먼트들이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지는 전반적인 시스템에 부과된 설계 제약들 및 특정 애플리케이션에 의존한다.
5G 및 이후의 무선 기술들과 일반적으로 연관된 용어를 사용하여 양태들이 설명될 수도 있지만, 본 개시의 양태들은 3G 및/또는 4G 기술들과 같은 그리고 이들을 포함한, 다른 세대기반 통신 시스템들에서 적용될 수 있음을 유의해야 한다.
딥 컨볼루션 네트워크와 같은 머신 러닝(ML) 모델이 네트워크에서 생성될 수도 있고, 이후 추가 트레이닝을 위해 사용자 장비(UE)로 송신될 수 있다. 본 설명은 주로 네트워크에서 기원하는 모델(때때로 기지국 또는 gNB로 지칭됨)을 설명하지만, 본 개시는 그 반대를 고려한다. 즉, 본 개시는 또한, UE 발신 모델에 대한 모델 업데이트들을 UE로 전송하는 기지국을 커버하도록 의도된다.
UE들과 네트워크 사이의 트레이닝된 뉴럴 네트워크의 파라미터들을 교환할 때 많은 양의 데이터가 수반된다. 일부 경우들에서, 뉴럴 네트워크의 사이즈는 매우 클 수 있고, UE가 각각의 업데이트로 트레이닝된 인공 지능(AI) 모듈 전체를 업로드하는 것이 가능하고/하거나 효율적이지 않을 수도 있다.
본 개시의 양태들은 머신 러닝 모델 업데이트를 위해 필요한 오버 디 에어(over-the-air) 송신들을 감소시킨다. 본 개시의 일부 양태들에서, 기지국은 뉴럴 네트워크 전체가 아니라, 사전 트레이닝된(pre-trained) 뉴럴 네트워크(NN)의 "일부"만을 트레이닝하고 보고할 것을 UE에 명시적으로 요청할 수도 있다.
본 개시의 양태들은 트리거 이벤트에 기초하여 차동 방식에서 업데이트된 뉴럴 네트워크를 전송하는 UE 또는 기지국에 관한 것이다. UE는 각각의 모델 업데이트 인스턴스에서 전체 뉴럴 네트워크를 보고하는 것과는 대조적으로, UE가 머신 러닝 모델을 업데이트할 때 시간에 따른 모델 변화들을 보고할 수도 있다. 후속 모델 업데이트들은 기준 모델(예를 들어, 네트워크에 의해 전송된 사전 트레이닝된 모델 또는 UE에 의해 네트워크로 전송된 제1 사전 트레이닝된 모델)에 대한 차동 모델 업로드에 기초할 수도 있다.
본 개시의 양태들에 따르면, 차동 모델 업데이트를 위한 트리거 조건은 뉴럴 네트워크를 트레이닝하기 위한 손실 함수에 기초할 수도 있다. 예를 들어, 손실 함수가 임계치 아래로 감소하거나 손실 함수의 감소율이 임계치 아래로 떨어지면, 모델 업데이트가 트리거될 수도 있다. 즉, 트레이닝 동안 미세 튜닝의 양이 네트워크가 트레이닝 동안 더 이상 많이 변화하지 않을 정도로 충분히 작아지면, 업데이트들은 전송할 준비가 될 수도 있다. 따라서, UE는 업데이트의 송신을 위한 리소스 할당을 수신하기 위해 스케줄링 요청을 송신할 수도 있다.
다른 양태들에서, 트리거 조건은 뉴럴 네트워크의 송신된 파라미터들의 변화의 양의 함수일 수도 있다. 이 변화 메트릭은 예를 들어, 현재의 및 이전에 보고된 뉴럴 네트워크 파라미터들 사이의 차이의 L1-norm 또는 L2-norm의 관점에서 측정될 수도 있다. 변화가 뉴럴 네트워크의 전반적인 성능의 변화로 변환되는 한, 파라미터들의 이러한 변화는 관련이 있다. 다시 말해서, 파라미터들의 변화가 네트워크 성능에 어느 정도의 임계량만큼 영향을 줄 정도로 상당한 경우 업데이트가 발생해야 한다. 본 개시의 양태들에 따르면, UE가 업데이트를 전송할 때, UE는 업데이트를 송신하기 위한 리소스들의 할당을 수신하기 위해 스케줄링 요청을 송신한다.
도 1은 본 개시의 양태들이 실시될 수도 있는 네트워크(100)를 예시하는 도면이다. 네트워크(100)는 5G 또는 NR 네트워크 또는 LTE 네트워크와 같은 일부 다른 무선 네트워크일 수도 있다. 무선 네트워크(100)는 다수의 BS들(110)(BS(110a), BS(110b), BS(110c), 및 BS(110d)로 도시됨) 및 다른 네트워크 엔티티들을 포함할 수도 있다. BS는 사용자 장비(UE들)와 통신하는 엔티티이고, 기지국, NR BS, 노드 B, gNB, 5G 노드 B(NB), 액세스 포인트, 송수신 포인트(TRP) 등으로도 지칭될 수도 있다. 각각의 BS는 특정한 지리적 영역을 위한 통신 커버리지를 제공할 수도 있다. 3GPP에서, 용어 "셀 은, 그 용어가 사용되는 맥락에 의존하여, BS의 커버리지 영역 및/또는 이 커버리지 영역을 서빙하는 BS 서브시스템을 지칭할 수 있다.
BS는 매크로 셀, 피코 셀, 펨토 셀, 및/또는 다른 타입의 셀을 위한 통신 커버리지를 제공할 수도 있다. 매크로 셀은 상대적으로 큰 지리적 영역(예를 들어, 수 킬로미터 반경)을 커버할 수도 있고, 서비스 가입을 갖는 UE들에 의한 제한되지 않은 액세스를 허용할 수도 있다. 피코 셀은 상대적으로 작은 지리적 영역을 커버할 수도 있고, 서비스 가입을 갖는 UE들에 의한 제한되지 않은 액세스를 허용할 수도 있다. 펨토 셀은 상대적으로 작은 지리적 영역(예를 들어, 홈)을 커버할 수도 있고, 펨토 셀과의 연관을 갖는 UE들(예를 들어, 폐쇄 가입자 그룹(CSG)에 있는 UE들)에 의한 제한된 액세스를 허용할 수도 있다. 매크로 셀에 대한 BS는 매크로 BS로 지칭될 수도 있다. 피코 셀에 대한 BS는 피코 BS로 지칭될 수도 있다. 펨토 셀에 대한 BS는 펨토 BS 또는 홈 BS로 지칭될 수도 있다. 도 1에 도시된 예에서, BS(110a)는 매크로 셀(102a)에 대한 매크로 BS일 수도 있고, BS(110b)는 피코 셀(102b)에 대한 피코 BS일 수도 있으며, BS(110c)는 펨토 셀(102c)에 대한 펨토 BS일 수도 있다. BS는 하나의 또는 다수(예를 들어, 3 개)의 셀들을 지원할 수도 있다. 용어들 "eNB", "기지국", "NR BS", "gNB", "TRP", "AP", "노드 B", "5G NB", 및 "셀"은 상호교환가능하게 사용될 수도 있다.
일부 양태들에서, 셀은 반드시 고정식일 필요는 없을 수도 있고, 셀의 지리적 영역은 이동식 BS의 위치에 따라 이동할 수도 있다. 일부 양태들에서 BS들은, 임의의 적합한 전송 네트워크를 사용하여 직접 물리 접속, 가상 네트워크 등과 같은 다양한 타입들의 백홀(backhaul) 인터페이스들을 통해 무선 네트워크(100)에서의 하나 이상의 다른 BS들 또는 네트워크 노드들(도시되지 않음)에 그리고/또는 서로에 상호접속될 수도 있다.
무선 네트워크(100)는 또한 중계국들을 포함할 수도 있다. 중계국은 업스트림 스테이션(예를 들어, BS 또는 UE)으로부터 데이터의 송신물을 수신하고 다운스트림 스테이션(예를 들어, UE 또는 BS)으로 그 데이터의 송신물을 전송할 수 있는 엔티티이다. 중계국은 또한, 다른 UE들을 위한 송신물들을 중계할 수 있는 UE일 수도 있다. 도 1에 도시된 예에서, 중계국(110d)은 매크로 BS(110a)와 UE(120d) 사이의 통신을 용이하게 하기 위해 BS(110a) 및 UE(120d)와 통신할 수도 있다 중계국은 또한, 중계 BS, 중계 기지국, 중계기 등으로 지칭될 수도 있다.
무선 네트워크(100)는 상이한 타입들의 BS들, 예를 들어 매크로 BS들, 피코 BS들, 펨토 BS들, 중계 BS들 등을 포함하는 이종(heterogeneous) 네트워크일 수도 있다. 이들 상이한 타입들의 BS들은 무선 네트워크(100)에서 간섭에 대한 상이한 임팩트들, 상이한 커버리지 영역들, 및 상이한 송신 전력 레벨들을 가질 수도 있다. 예를 들어, 매크로 BS들은 높은 송신 전력 레벨(예를 들어, 5 내지 40 와트)을 가질 수도 있는 한편, 피코 BS들, 펨토 BS들, 및 중계 BS들은 더 낮은 송신 전력 레벨들(예를 들어, 0.1 내지 2 와트)을 가질 수도 있다.
네트워크 제어기(130)는 BS들의 세트에 커플링할 수도 있고 이들 BS들을 위한 조정 및 제어를 제공할 수도 있다. 네트워크 제어기(130)는 백홀을 통해 BS들과 통신할 수도 있다. BS들은 또한, 예를 들어 무선 또는 유선 백홀을 통해 간접적으로 또는 직접적으로 서로 통신할 수도 있다.
UE들(120)(예를 들어, 120a, 120b, 120c)은 무선 네트워크(100) 전체에 걸쳐 분산될 수도 있고, 각각의 UE는 고정식 또는 이동식일 수도 있다. UE는 또한, 액세스 단말기, 단말기, 이동국, 가입자 유닛, 스테이션 등으로 지칭될 수도 있다. UE는 셀룰러 폰(예를 들어, 스마트 폰), PDA(personal digital assistant), 무선 모뎀, 무선 통신 디바이스, 핸드헬드 디바이스, 랩톱 컴퓨터, 코드리스 폰, 무선 로컬 루프(WLL) 스테이션, 태블릿, 카메라, 게이밍 디바이스, 넷북, 스마트북, 울트라북, 의료용 디바이스 또는 장비, 바이오메트릭(biometric) 센서들/디바이스들, 웨어러블 디바이스들(스마트 워치들, 스마트 의류, 스마트 안경, 스마트 손목 밴드들, 스마트 주얼리(예를 들어, 스마트 반지, 스마트 팔찌)), 엔터테인먼트 디바이스(예를 들어, 뮤직 또는 비디오 디바이스, 또는 위성 라디오), 차량용 컴포넌트 또는 센서, 스마트 미터들/센서들, 산업용 제조 장비, 글로벌 포지셔닝 시스템 디바이스, 또는 무선 또는 유선 매체를 통해 통신하도록 구성된 임의의 다른 적합한 디바이스일 수도 있다.
일부 UE들은 머신 타입 통신(MTC) 또는 진화된 또는 향상된 머신 타입 통신(eMTC) UE들로 고려될 수도 있다. MTC 및 eMTC UE들은 예를 들어, 기지국, 다른 디바이스(예를 들어, 원격 디바이스), 또는 일부 다른 엔티티와 통신할 수도 있는 로봇들, 드론들, 원격 디바이스들, 센서들, 미터들, 모니터들, 위치 태그들 등을 포함한다. 무선 노드는 예를 들어, 네트워크(예컨대, 인터넷과 같은 광역 네트워크 또는 셀룰러 네트워크)를 위한 또는 이에 대한 접속성을 유선 또는 무선 통신 링크를 통해 제공할 수도 있다. 일부 UE들은 사물 인터넷(IoT) 디바이스들로 간주될 수 있고, 그리고/또는 NB-IoT(narrowband internet of things) 디바이스들로서 구현될 수도 있다. 일부 UE들은 고객 댁내 장치(customer premises equipment; CPE)로 고려될 수도 있다. UE(120)는, 프로세서 컴포넌트들, 메모리 컴포넌트들 등과 같은 UE(120)의 컴포넌트들을 하우징하는 하우징의 내부에 포함될 수도 있다.
일반적으로, 임의의 수의 무선 네트워크들이 주어진 지리적 영역에 배치될 수도 있다. 각각의 무선 네트워크는 특정 RAT를 지원할 수도 있고, 하나 이상의 주파수 상에서 동작할 수도 있다. RAT는 또한 무선(radio) 기술, 에어 인터페이스 등으로 지칭될 수도 있다. 주파수는 또한 캐리어, 주파수 채널 등으로 지칭될 수도 있다. 각각의 주파수는 상이한 RAT들의 무선 네트워크들 간의 간섭을 회피하기 위해 주어진 지리적 영역에서 단일 RAT를 지원할 수도 있다. 일부 경우들에서, NR 또는 5G RAT 네트워크들이 배치될 수도 있다.
일부 양태들에서, 2 개 이상의 UE들(120)(예를 들어, UE(120a) 및 UE(120e)로서 도시됨)은 하나 이상의 사이드링크 채널들을 사용하여 직접적으로 (예를 들어, 서로 통신하기 위한 중개자로서 기지국(110)을 사용하지 않고) 통신할 수도 있다. 예를 들어, UE들(120)은 P2P(peer-to-peer) 통신들, D2D(device-to-device) 통신들, V2X(vehicle-to-everything) 프로토콜(예를 들어, V2V(vehicle-to-vehicle) 프로토콜, V2I(vehicle-to-infrastructure) 프로토콜 등을 포함할 수도 있음), 메쉬 네트워크 등을 사용하여 통신할 수도 있다. 이 경우에, UE(120)는 기지국(110)에 의해 수행되는 것으로서 다른 곳에 설명된 스케줄링 동작들, 리소스 선택 동작들, 및/또는 다른 동작들을 수행할 수도 있다. 예를 들어, 기지국(110)은 다운링크 제어 정보(DCI), 라디오 리소스 제어(RRC) 시그널링, 미디어 액세스 제어-제어 엘리먼트(MAC-CE)를 통하여 또는 시스템 정보(예를 들어, 시스템 정보 블록(SIB))을 통하여 UE(120)를 구성할 수도 있다.
위에 나타낸 바와 같이, 도 1은 단지 예로서 제공된다. 다른 예들은 도 1과 관련하여 설명되는 것과 상이할 수도 있다.
도 2는 도 1에서의 UE들 중 하나 및 기지국들 중 하나일 수도 있는, UE(120) 및 기지국(110)의 설계(200)의 블록도를 도시한다. 기지국(110)에는 T 개의 안테나들(234a 내지 234t)이 구비될 수도 있고, UE(120)에는 R 개의 안테나들(252a 내지 252r)이 구비될 수도 있으며, 여기서 일반적으로 T≥1 이고 R≥1이다.
기지국(110)에서, 송신 프로세서(220)는 하나 이상의 UE들에 대한 데이터를 데이터 소스(212)로부터 수신하고, UE로부터 수신된 채널 품질 표시자(CQI)들에 적어도 부분적으로 기초하여 각각의 UE에 대한 하나 이상의 변조 및 코딩 방식들(MCS)을 선택하고, UE에 대해 선택된 MCS(들)에 적어도 부분적으로 기초하여 각각의 UE에 대한 데이터를 프로세싱(예를 들어, 인코딩 및 변조)하고, 모든 UE들에 대한 데이터 심볼들을 제공할 수도 있다. MCS를 감소시키면 스루풋이 줄어들지만 송신의 신뢰성이 높아진다. 송신 프로세서(220)는 또한, (예를 들어, 반정적(semi-static) 리소스 파티셔닝 정보(SRPI) 등을 위한) 시스템 정보 및 제어 정보(예를 들어, CQI 요청들, 승인들, 상위 계층 시그널링, 및/또는 기타 등등)를 프로세싱할 수도 있고 오버헤드 심볼들 및 제어 심볼들을 제공할 수도 있다. 송신 프로세서(220)는 또한 기준 신호들(예를 들어, 셀 특정 기준 신호(CRS)) 및 동기화 신호들(예를 들어, 1차 동기화 신호(PSS) 및 2차 동기화 신호(SSS))에 대한 기준 심볼들을 생성할 수도 있다. 송신(TX) 다중입력 다중출력(MIMO) 프로세서(230)는, 적용가능한 경우 데이터 심볼들, 제어 심볼들, 오버헤드 심볼들, 및/또는 기준 심볼들에 대해 공간 프로세싱(예를 들어, 프리코딩(precoding))을 수행할 수도 있고, T 개의 출력 심볼 스트림들을 T 개의 변조기(MOD)들(232a 내지 232t)에 제공할 수도 있다. 각각의 변조기(232)는 (예를 들어, 직교 주파수 분할 멀티플렉싱(OFDM) 등에 대해) 각각의 출력 심볼 스트림을 프로세싱하여 출력 샘플 스트림을 획득할 수도 있다. 각각의 변조기(232)는 출력 샘플 스트림을 추가로 프로세싱(예를 들어, 아날로그로 컨버팅, 증폭, 필터링, 및 업컨버팅)하여 다운링크 신호를 획득할 수도 있다. 변조기들(232a 내지 232t)로부터의 T 개의 다운링크 신호들은 T 개의 안테나들(234a 내지 234t)를 통해 각각 송신될 수도 있다. 이하에 더 상세히 설명되는 다양한 양태들에 따르면, 추가적인 정보를 전달하기 위해 위치 인코딩으로 동기화 신호들이 생성될 수 있다.
UE(120)에서, 안테나들(252a 내지 252r)은 기지국(110) 및/또는 다른 기지국들로부터 다운링크 신호들을 수신할 수도 있고 수신된 신호들을 복조기들(DEMOD들)(254a 내지 254r)에 각각 제공할 수도 있다. 각각의 복조기(254)는 수신된 신호를 컨디셔닝(예를 들어, 필터링, 증폭, 다운컨버팅, 및 디지털화)하여 입력 샘플들을 획득할 수도 있다. 각각의 복조기(254)는 (예를 들어, OFDM 등을 위한) 입력 샘플들을 추가로 프로세싱하여, 수신된 심볼들을 획득할 수도 있다. MIMO 검출기(256)는 모든 R 개의 복조기들(254a 내지 254r)로부터의 수신된 심볼들을 획득할 수도 있고, 적용가능한 경우 수신된 심볼들에 대해 MIMO 검출을 수행할 수도 있고, 검출된 심볼들을 제공할 수도 있다. 수신 프로세서(258)는 검출된 심볼들을 프로세싱(예를 들어, 복조 및 디코딩)하여, UE(120)를 위한 디코딩된 데이터를 데이터 싱크(260)에 제공하고, 디코딩된 제어 정보 및 시스템 정보를 제어기/프로세서(280)에 제공할 수도 있다. 채널 프로세서는 기준 신호 수신 전력(RSRP), 수신 신호 강도 표시자(RSSI), 기준 신호 수신 품질(RSRQ), 채널 품질 표시자(CQI), 등을 결정할 수도 있다. 일부 양태들에서, UE(120)의 하나 이상의 컴포넌트들은 하우징에 포함될 수도 있다.
업링크 상에서, UE(120)에서 송신 프로세서(264)는 데이터 소스(262)로부터 데이터를, 그리고 제어기/프로세서(280)로부터 (예컨대, RSRP, RSSI, RSRQ, CQI 등등을 포함하는 보고들에 대한) 제어 정보를 수신 및 프로세싱할 수도 있다. 송신 프로세서(264)는 또한, 하나 이상의 기준 신호들을 위한 기준 심볼들을 생성할 수도 있다. 송신 프로세서(264)로부터의 심볼들은 적용가능한 경우 TX MIMO 프로세서(266)에 의해 프리코딩되고, (예를 들어, DFT-s-OFDM, CP-OFDM 등을 위해) 변조기들(254a 내지 254r)에 의해 추가로 프로세싱되고, 기지국(110)으로 송신될 수도 있다. 기지국(110)에서, UE(120) 및 다른 UE 들로부터의 업링크 신호들은 안테나(234)에 의해 수신되고, 복조기들(254)에 의해 프로세싱되고, 적용가능한 경우 MIMO 검출기(236)에 의해 검출되고, 그리고 수신 프로세서(238)에 의해 추가로 프로세싱되어, UE(120)에 의해 전송된 디코딩된 데이터 및 제어 정보를 획득할 수도 있다. 수신 프로세서(238)는 디코딩된 데이터를 데이터 싱크(239)에 그리고 디코딩된 제어 정보를 제어기/프로세서(240)에 제공할 수도 있다. 기지국(110)은 통신 유닛(244)을 포함할 수도 있고 통신 유닛(244)을 통해 네트워크 제어기(130)에 통신할 수도 있다. 네트워크 제어기(130)는 통신 유닛(294), 제어기/ 프로세서(290), 및 메모리(292)를 포함할 수도 있다.
기지국(110)의 제어기/프로세서(240), UE(120)의 제어기/프로세서(280), 및/또는 도 2의 임의의 다른 컴포넌트(들)은 다른 곳에서 더 상세히 설명되는 바와 같이, 머신 러닝 업데이트들의 트리거과 연관된 하나 이상의 기법들을 수행할 수도 있다. 예를 들어, 기지국(110)의 제어기/프로세서(240), UE(120)의 제어기/프로세서(280), 및/또는 도 2의 임의의 다른 컴포넌트(들)은, 예를 들어 도 10의 프로세스들 및/또는 설명된 바와 같은 다른 프로세스들의 동작들을 수행하거나 지시할 수도 있다. 메모리들(242 및 282)은, 각각 기지국(110) 및 UE(120)에 대한 데이터 및 프로그램 코드들을 저장할 수도 있다. 스케줄러(246)는 다운링크 및/또는 업링크 상에서 데이터 송신을 위해 UE들을 스케줄링할 수도 있다.
일부 양태들에서, UE(120)는 수신하기 위한 수단, 트레이닝하기 위한 수단, 보고하기 위한 수단, 및/또는 송신하기 위한 수단을 포함할 수도 있다. 이러한 수단은 도 2와 관련하여 설명된 UE(120) 및/또는 기지국(110)의 하나 이상의 컴포넌트를 포함할 수도 있다.
위에 나타낸 바와 같이, 도 2는 단지 예로서 제공된다. 다른 예들은 도 2와 관련하여 설명되는 것과 상이할 수도 있다.
일부 경우들에서, 상이한 타입들의 애플리케이션들 및/또는 서비스들을 지원하는 상이한 타입들의 디바이스들이 셀에서 공존할 수도 있다. 상이한 타입들의 디바이스들의 예들은 UE 핸드셋들, 고객 댁내 장치(CPE)들, 차량들, 사물 인터넷(IoT) 디바이스들 등을 포함한다. 상이한 타입들의 애플리케이션들의 예들은 초신뢰 저레이턴시 통신(URLLC) 애플리케이션들, 대규모 머신 타입 통신(mMTC) 애플리케이션들, 향상된 모바일 브로드밴드(eMBB) 애플리케이션들, V2X(vehicle-to-anything) 애플리케이션들 등을 포함한다. 또한, 일부 경우들에서, 단일 디바이스는 상이한 애플리케이션들 또는 서비스들을 동시에 지원할 수도 있다.
도 3은 본 개시의 특정 양태들에 따른, 트리거에 응답하여 모델 업데이트들을 보고하기 위해 구성된 멀티코어 중앙 프로세싱 유닛(CPU) 또는 CPU(302)를 포함할 수도 있는, 시스템 온 칩(SOC)(300)의 예시적인 구현을 예시한다. SOC(300)는 기지국(110) 또는 UE(120)에 포함될 수도 있다. 변수들(예를 들어, 뉴럴 신호들 및 시냅틱(synaptic) 가중치들), 계산 디바이스와 연관된 시스템 파라미터들(예를 들어, 가중치들을 갖는 뉴럴 네트워크), 지연들, 주파수 빈(bin) 정보, 및 태스크 정보는 뉴럴 프로세싱 유닛(NPU)(308)과 연관된 메모리 블록에, CPU(302)와 연관된 메모리 블록에, 그래픽 프로세싱 유닛(GPU)(304)과 연관된 메모리 블록에, 디지털 신호 프로세서(DSP)(306)와 연관된 메모리 블록에, 메모리 블록(318)에 저장될 수도 있거나, 다수의 블록들에 걸쳐 분산될 수도 있다. CPU(302)에서 실행되는 명령들은 CPU(302)와 연관된 프로그램 메모리로부터 로딩될 수도 있거나 메모리 블록(318)으로부터 로딩될 수도 있다.
SOC(300)는 또한, GPU(304), DSP(306), 5세대(5G) 접속성, 4세대 롱 텀 에볼루션(4G LTE) 접속성, Wi-Fi 접속성, USB 접속성, 블루투스 접속성 등을 포함할 수도 있는 접속성 블록(310), 및 예를 들어 제스처들을 검출 및 인식할 수도 있는 멀티미디어 프로세서(312)와 같은, 특정 기능들에 맞춤화된 추가적인 프로세싱 블록들을 포함할 수도 있다. 일 구현에서, NPU는 CPU, DSP, 및/또는 GPU에서 구현된다. SOC(300)는 또한 센서 프로세서(314), 이미지 신호 프로세서들(ISP들)(316), 및/또는 글로벌 포지셔닝 시스템을 포함할 수도 있는 내비게이션 모듈(320)을 포함할 수 있다.
SOC(300)는 ARM 명령 세트에 기초할 수도 있다. 본 개시의 일 양태에서, 범용 프로세서(302)에 로딩된 명령들은, 송신기로부터, 기준 뉴럴 네트워크를 수신하기 위한 코드를 포함할 수도 있다. 범용 프로세서(302)는 또한, 기준 뉴럴 네트워크에 대한 업데이트된 뉴럴 네트워크 파라미터들을 획득하도록 기준 뉴럴 네트워크를 트레이닝하기 위한 코드를 포함할 수도 있다. 범용 프로세서(302)는 트리거에 응답하여, 업데이트된 뉴럴 네트워크 파라미터들과 기준 뉴럴 네트워크에 대한 이전의 뉴럴 네트워크 파라미터들 사이의 차이를 송신기에 보고하기 위한 코드를 더 포함할 수도 있다.
딥 러닝 아키텍처들은 각 계층에서 추상화(abstraction)의 연속적으로 더 높은 레벨들에서 입력들을 표현하는 것을 학습함으로써 객체 인식 태스크를 수행하여, 입력 데이터의 유용한 피처 표현을 구축할 수도 있다. 이러한 방식으로, 딥 러닝은 전형적인 머신 러닝의 주된 병목현상을 해결한다. 딥 러닝의 도래 이전에, 객체 인식 문제에 대한 머신 러닝 접근법은 아마도 얕은 분류기(shallow classifier)와 조합하여, 인간 공학기술(human engineered) 피처들에 크게 의존했을 수도 있다. 얕은 분류기는 예를 들어, 입력이 어느 클래스에 속하는지를 예측하기 위해 피처 벡터 성분들의 가중된 합이 임계치와 비교될 수도 있는, 2-클래스 선형 분류기일 수도 있다. 인간 공학기술 피처들은 도메인 전문지식을 갖춘 엔지니어에 의해 특정 문제 도메인에 맞춤화된 템플릿들 또는 커널들일 수도 있다. 이와 대조적으로, 딥 러닝 아키텍처는 인간 엔지니어가 설계할 수도 있는 것과 유사하지만, 트레이닝을 통해 피처들을 표현하는 것을 학습할 수도 있다. 또한, 딥 네트워크는 인간이 고려하지 않았을 수도 있는 새로운 타입의 피처들을 표현하 인식하는 것을 학습할 수도 있다.
딥 러닝 아키텍처는 피처들의 계위(hierarchy)를 학습할 수도 있다. 예를 들어, 시각적 데이터로 제시되는 경우, 제1 계층은 입력 스트림에서, 에지들과 같은 비교적 간단한 피처들을 인식하는 것을 학습할 수도 있다. 다른 예에서, 청각적 데이터가 제시되는 경우, 제1 계층은 특정 주파수들에서의 스펙트럼 파워를 인식하는 것을 학습할 수도 있다. 제1 계층의 출력을 입력으로서 취하는 제2 계층은, 시각적 데이터에 대한 단순한 형상들 또는 청각적 데이터에 대한 사운드들의 조합들과 같은 피처들의 조합들을 인식하는 것을 학습할 수도 있다. 예를 들어, 상위 계층들은 시각적 데이터에서의 복잡한 형상들 또는 청각적 데이터에서의 단어들을 표현하는 것을 학습할 수도 있다. 보다 상위의 계층들은 공통의 시각적 객체들 또는 구두(spoken) 어구들을 인식하는 것을 학습할 수도 있다.
딥 러닝 아키텍처들은 자연스러운 계위 구조를 갖는 문제들에 적용될 때 특히 잘 수행할 수도 있다. 예를 들어, 모터구동(motorized) 차량들의 분류는 휠들, 윈드쉴드들 및 다른 피처들을 인식하는 것을 먼저 학습하는 것으로부터 이익을 얻을 수도 있다. 이러한 피처들은 자동차들, 트럭들, 및 비행기들을 인식하기 위해 상이한 방식들로 상위 계층들에서 조합될 수도 있다.
뉴럴 네트워크들은 다양한 접속성 패턴들로 설계될 수도 있다. 피드포워드 네트워크들에서, 정보는 하위 계층으로부터 상위 계층으로 전달되며, 주어진 계층에서의 각각의 뉴런은 상위 계층들에서의 뉴런들에 통신한다. 계위적 표현은 상술한 바와 같이, 피드포워드 네트워크의 연속적인 계층들에서 구축될 수도 있다. 뉴럴 네트워크들은 또한 순환(recurrent) 또는 피드백(하향식(top-down)이라고도 불림) 연결들을 가질 수도 있다. 순환 연결에서, 주어진 계층의 뉴런으로부터의 출력은 동일한 계층의 다른 뉴런으로 통신될 수도 있다. 순환 아키텍처는, 시퀀스로 뉴럴 네트워크에 전달되는 입력 데이터 청크들 중 하나보다 많은 청크들에 걸친 패턴들을 인식하는데 도움이 될 수도 있다. 주어진 계층의 뉴런으로부터 하위 계층의 뉴런으로의 연결은 피드백(또는 하향식) 연결이라고 한다. 많은 피드백 연결들을 갖는 네트워크는 하이레벨(high-level) 개념의 인식이 입력의 특정 로우레벨(low-level) 피처들을 식별하는 것을 보조할 수도 있을 때 도움이 될 수도 있다.
뉴럴 네트워크의 계층들 사이의 연결들은 완전 연결(fully connected)이거나 로컬 연결(locally connected)일 수도 있다. 도 4a는 완전 연결 뉴럴 네트워크(402)의 예를 예시한다. 완전 연결 뉴럴 네트워크(402)에서, 제1 계층에서의 뉴런은 그의 출력을 제2 계층에서의 모든 뉴런으로 통신할 수도 있어서, 제2 계층에서의 각각의 뉴런이 제1 계층에서의 모든 뉴런으로부터 입력을 수신할 것이다. 도 4b는 로컬 연결 뉴럴 네트워크(404)의 예를 예시한다. 로컬 연결 뉴럴 네트워크(404)에서, 제1 층에서의 뉴런은 제2 계층에서의 제한된 수의 뉴런들에 연결될 수도 있다. 보다 일반적으로는, 계층에서의 각각의 뉴런이 동일하거나 유사한 접속성 패턴을 가질 것이지만, 상이한 값들(예를 들어, 410, 412, 414, 및 416)을 가질 수도 있는 연결 강도들을 갖도록, 로컬 연결 뉴럴 네트워크(404)의 로컬 연결 계층이 구성될 수도 있다. 로컬 연결 접속성 패턴은 상위 계층에서 공간적으로 별개의 수용 필드들을 발생시킬 수도 있는데, 이는 주어진 영역 내 상위 계층 뉴런들이 네트워크에 대한 전체 입력의 제한된 부분의 특성들에 대한 트레이닝을 통해 튜닝된 입력들을 수신할 수도 있기 때문이다.
로컬 연결 뉴럴 네트워크의 일 예는 컨볼루션 뉴럴 네트워크이다. 도 4c는 컨볼루션 뉴럴 네트워크(406)의 예를 예시한다. 컨볼루션 뉴럴 네트워크(406)은, 제2 계층에서의 각각의 뉴런을 위한 입력들과 연관된 연결 강도들이 공유되도록 구성될 수도 있다(예를 들어, 408). 컨볼루션 뉴럴 네트워크들은, 입력들의 공간적 위치가 의미가 있는 문제들에 매우 적합할 수도 있다.
컨볼루션 뉴럴 네트워크의 일 타입은 딥 컨볼루션 네트워크(DCN)이다. 도 4d는 자동차 장착형(car-mounted) 카메라와 같은 이미지 캡처 디바이스(430)로부터 입력된 이미지(426)로부터 시각적 피처들을 인식하도록 설계된 DCN(400)의 상세한 예를 예시한다. 본 예의 DCN(400)은 교통 표지판들 및 교통 표지판 상에 제공된 넘버를 식별하도록 트레이닝될 수도 있다. 물론, DCN(400)은 차선 마킹들을 식별하는 것 또는 신호등들을 식별하는 것과 같은 다른 태스크들을 위해 트레이닝될 수도 있다.
DCN(400)은 지도 학습(supervised learning)으로 트레이닝될 수도 있다. 트레이닝 동안, DCN(400)은 속도 제한 표지판의 이미지(426)와 같은 이미지가 제시될 수도 있고, 그 후 포워드 패스(forward pass)가 계산되어 출력(422)을 생성할 수도 있다. DCN(400)은 피처 추출 섹션 및 분류 섹션을 포함할 수도 있다. 이미지(426)를 수신하면, 컨볼루션 계층(432)은 이미지(426)에 컨볼루션 커널들(도시되지 않음)을 적용하여 제1 세트의 피처 맵들(418)을 생성할 수도 있다. 예로서, 컨볼루션 계층(432)을 위한 컨볼루션 커널은 28x28 피처 맵들을 생성하는 5x5 커널일 수도 있다. 본 예에서, 4 개의 상이한 피처 맵들이 제1 세트의 피처 맵들(418)에서 생성되기 때문에, 4 개의 상이한 컨볼루션 커널들이 컨볼루션 계층(432)에서 이미지(426)에 적용되었다. 컨볼루션 커널들은 또한 필터들 또는 컨볼루션 필터들로 지칭될 수도 있다.
제1 세트의 피처 맵들(418)이 최대 풀링(max pooling) 계층(도시되지 않음)에 의해 서브샘플링되어 제2 세트의 피처 맵들(420)을 생성할 수도 있다. 최대 풀링 계층은 제1 세트의 피처 맵들(418)의 사이즈를 감소시킨다. 즉, 14x14와 같은 제2 세트(420)의 피처 맵들의 사이즈는 28x28과 같은 제1 세트의 피처 맵들(418)의 사이즈보다 작다. 감소된 사이즈는 메모리 소비를 감소시키면서 후속 계층에 유사한 정보를 제공한다. 제2 세트의 피처 맵들(420)은 추가로 하나 이상의 후속 컨볼루션 계층들(도시되지 않음)을 통해 컨볼브(convolve)되어, 하나 이상의 후속 세트들의 피처 맵들(도시되지 않음)을 생성할 수도 있다.
도 4d의 예에서, 제2 세트의 피처 맵들(420)는 제1 피처 벡터(424)를 생성하도록 컨볼브된다. 또한, 제1 피처 벡터(424)는 제2 피처 벡터(428)를 생성하도록 추가로 컨볼브된다. 제2 피처 벡터(428)의 각각의 피처는 "표지판", "60" 및 "100"과 같은 이미지(426)의 가능한 피처에 대응하는 넘버를 포함할 수도 있다. 소프트맥스 함수(도시되지 않음)는 제2 피처 벡터(428)에서의 넘버들을 확률로 컨버팅할 수도 있다. 이와 같이, DCN(400)의 출력(422)은 하나 이상의 피처들을 포함하는 이미지(426)의 확률이다.
본 예에서, "표지판" 및 "60"에 대한 출력(422)에서의 확률들은 "30", "40", "50", "70", "80", "90" 및 "100"과 같은 출력(422)의 다른 것들의 확률들보다 높다. 트레이닝 전에, DCN(400)에 의해 생성된 출력(422)은 부정확할 가능성이 있다. 따라서, 출력(422)과 타겟 출력 사이에 에러가 계산될 수도 있다. 타겟 출력은 이미지(426)의 그라운드 트루스(ground truth)(예를 들어, "표지판" 및 "60")이다. DCN(400)의 가중치들은 그 후, DCN(400)의 출력(422)이 타겟 출력과 더 밀접하게 정렬되도록 조절될 수도 있다.
가중치들을 조절하기 위해, 러닝 알고리즘은 가중치들에 대해 그래디언트(gradient) 벡터를 계산할 수도 있다. 그래디언트는, 가중치가 조절된 경우 에러가 증가 또는 감소할 양을 표시할 수도 있다. 최상위 계층에서, 그래디언트는 끝에서 두번째(penultimate) 계층에서의 활성화된 뉴런과 출력 계층에서의 뉴런을 연결하는 가중치의 값에 직접 대응할 수도 있다. 하위 계층들에서, 그래디언트는 가중치들의 값에 그리고 상위 계층들의 계산된 에러 그래디언트들에 의존할 수도 있다. 그 후 가중치들은 에러를 감소시키도록 조절될 수도 있다. 가중치를 조절하는 이러한 방식은 뉴럴 네트워크를 통한 "역방향 패스"를 수반하므로 "역 전파(back propagation)"로 지칭될 수도 있다.
실질적으로, 가중치들의 에러 그래디언트는 작은 수의 예들에 걸쳐 계산될 수도 있어서, 계산된 그래디언트가 실제( 에러 그래디언트에 근사한다. 이러한 근사화는 확률적 그래디언트 하강법(stochastic gradient descent)으로 지칭될 수도 있다. 확률적 그래디언트 하강법은, 전체 시스템의 달성가능한 에러율이 감소하는 것을 멈출 때까지 또는 에러율이 타겟 레벨에 도달할 때까지 반복될 수도 있다. 학습 후, DCN은 새로운 이미지들(예를 들어, 이미지(426)의 속도 제한 표지판)이 제시될 수도 있고, 네트워크를 통한 순방향 패스가 DCN의 추론 또는 예측으로 간주될 수도 있는 출력(422)을 산출할 수도 있다.
심층 신뢰 네트워크(deep belief network; DBN)들은 은닉 노드들의 다수의 계층들을 포함하는 확률 모델들이다. DBN들은 트레이닝 데이터 세트들의 계위적 표현을 추출하는데 사용될 수도 있다. DBN은 제한된 볼츠만 머신(Restricted Boltzmann Machine; RBM)들의 계층들을 적층함으로써 획득될 수도 있다. RBM은 입력들의 세트에 걸친 확률 분포를 학습할 수 있는 인공 뉴럴 네트워크의 일 타입이다. RBM들은 각각의 입력이 카테고리화되어야 하는 클래스에 대한 정보의 부재 시 확률 분포를 학습할 수 있기 때문에, RBM들은 종종 비지도 학습(unsupervised learning)에서 사용된다. 하이브리드 비지도 및 지도 패러다임을 사용하여, DBN의 최하위 RBM들은 비지도 방식으로 트레이닝될 수도 있고 피처 추출기들로서의 역할을 할 수도 있으며, 최상위 RBM은 (이전 계층 및 타겟 클래스들로부터의 입력들의 공동 분포에 대해) 지도 방식으로 트레이닝될 수도 있고 분류기로서 역할을 할 수도 있다.
딥 컨볼루션 네트워크(DCN)들은 추가적인 풀링 및 정규화(normalization) 계층들로 구성된 컨볼루션 네트워크들의 네트워크들이다. DCN들은 많은 태스크들에 대해 최첨단 성능을 달성하였다. DCN들은, 입력 및 출력 타겟들 양자 모두가 많은 예시들에 대해 알려져 있고 그래디언트 하강 방법들의 사용에 의해 네트워크의 가중치들을 수정하는데 사용되는, 지도 학습을 사용하여 트레이닝될 수 있다.
DCN은 피드포워드 네트워크일 수도 있다. 또한, 상술한 바와 같이, DCN 의 제1 계층에서의 뉴런으로부터 다음 상위 계층에서의 뉴런들의 그룹으로의 연결들은 제1 계층에서의 뉴런들에 걸쳐 공유된다. DCN들의 피드포워드 및 공유 연결들은 빠른 프로세싱을 위해 이용될 수도 있다. DCN의 계산 부담은, 예를 들어 순환 또는 피드백 연결들을 포함하는 유사하게 사이징된 뉴럴 네트워크의 것보다, 훨씬 적을 수도 있다.
컨볼루션 네트워크의 각 계층의 프로세싱은 공간적으로 불변의 템플릿 또는 기저 투영(basis projection)으로 간주될 수도 있다. 먼저 입력이 컬러 이미지의 적색, 녹색, 및 청색 채널들과 같은 다수의 채널들로 분해(decompose)되면, 그 입력에 대해 트레이닝된 컨볼루션 네트워크는 이미지의 축들에 따른 2 개의 공간 차원들 및 컬러 정보를 캡처하는 제3 차원을 갖는, 3차원으로 간주될 수도 있다. 컨볼루션 연결들의 출력들은 후속 계층에서 피처 맵을 형성하는 것으로 간주될 수도 있으며, 이때 피처 맵(예를 들어, 220)의 각각의 엘리먼트는 이전 계층(예를 들어, 피처 맵들(218))에서의 뉴런들의 범위로부터 그리고 다중 채널들 각각으로부터 입력을 수신한다. 피처 맵에서의 값들은, 정류(rectification), max(0,x)와 같이 비선형성으로 추가로 프로세싱될 수도 있다. 인접한 뉴런들로부터의 값들은 추가로 풀링될 수도 있으며 이는 다운 샘플링에 대응하고, 추가적인 로컬 불변 및 차원성 감소를 제공할 수도 있다. 화이트닝(whitening)에 대응하는 정규화는 또한, 피처 맵에서 뉴런들 사이의 측면 억제를 통해서 적용될 수도 있다.
딥 러닝 아키텍처들의 성능은 더 많은 라벨링된 데이터 포인트들이 이용가능하게 되거나 또는 계산 파워가 증가함에 따라 증가할 수도 있다. 현대의 딥 뉴럴 네트워크는 불과 15 년 전 통상의 연구자에게 이용가능했던 것보다 수천 배 더 큰 컴퓨팅 리소스들로 관례적으로 트레이닝된다. 새로운 아키텍처들 및 교육 패러다임들은 딥 러닝의 성능을 추가로 부스팅할 수도 있다. 정류된 선형 유닛들은 그래디언트 소실(vanishing gradients)로서 알려진 트레이닝 이슈를 감소시킬 수도 있다. 새로운 트레이닝 기법들은 오버피팅(over-fitting)을 감소시킬 수도 있고, 따라서 더 큰 모델들이 더 나은 일반화를 달성하는 것을 가능하게 한다. 캡슐화 기법들은 주어진 수용 필드에서 데이터를 추상화하고 추가로 전반적인 성능을 부스팅할 수도 있다.
도 5는 딥 컨볼루션 네트워크(550)를 예시하는 블록도이다. 딥 컨볼루션 네트워크(550)는 접속성 및 가중치 공유에 기초하여 다중의 상이한 타입들의 계층들을 포함할 수도 있다. 도 5에 도시된 바와 같이, 딥 컨볼루션 네트워크(550)는 컨볼루션 블록들(554A, 554B)을 포함한다. 컨볼루션 블록들(554A, 554B)의 각각은 컨볼루션 계층(CONV)(356), 정규화 계층(LNorm)(558), 및 최대 풀링 계층(MAX POOL)(560)으로 구성될 수도 있다.
컨볼루션 계층들(556)은 피처 맵을 생성하기 위해 입력 데이터에 적용될 수도 있는 하나 이상의 컨볼루션 필터를 포함할 수도 있다. 오직 2 개의 컨볼루션 블록들(554A, 554B)만이 도시되어 있지만, 본 개시는 그렇게 한정하지 않으며, 대신에 설계 선호도에 따라 임의의 수의 컨볼루션 블록들(554A, 554B)이 딥 컨볼루션 네트워크(550)에 포함될 수도 있다. 정규화 계층(558)은 컨볼루션 필터들의 출력을 정규화할 수도 있다. 예를 들어, 정규화 계층(558)은 화이트닝 또는 측면 억제를 제공할 수도 있다. 최대 풀링 계층(560)은 로컬 불변 및 차원성 감소를 위해 공간에 걸쳐 다운 샘플링 집성을 제공할 수도 있다.
예를 들어 딥 컨볼루션 네트워크의 병렬 필터 뱅크들은 고성능 및 저전력 소비를 달성하기 위해 SOC(300)의 GPU(304) 또는 CPU(302) 상에 로딩될 수도 있다. 대안적인 실시예들에서, 병렬 필터 뱅크들은 SOC(300)의 ISP(316) 또는 DSP(306) 상에 로딩될 수도 있다. 또한, 딥 컨볼루션 네트워크(550)는 센서들 및 내비게이션에 각각 전용된, 센서 프로세서(314) 및 내비게이션 모듈(320)과 같,은 SOC(300) 상에 존재할 수도 있는 다른 프로세싱 블록들에 액세스할 수도 있다.
딥 컨볼루션 네트워크(550)는 또한 하나 이상의 완전 연결 계층들(562)(FC1 및 FC2)을 포함할 수도 있다. 딥 컨볼루션 네트워크(550)는 로지스틱 회귀(LR) 계층(564)을 더 포함할 수도 있다. 딥 컨볼루션 네트워크(550)의 각 계층(556, 558, 560, 562, 564) 사이에는 업데이트될 가중치들(도시도지 않음)이 있다. 계층들(예를 들어, 556, 558, 560, 562, 564) 각각의 출력은 딥 컨볼루션 네트워크(550)에서 계층들(예를 들어, 556, 558, 560, 562, 564) 중의 후속하는 계층의 입력으로서의 역할을 하여, 컨볼루션 블록들 중 첫 번째(554A)에서 공급된 입력 데이터(552)(예를 들어, 이미지들, 오디오, 비디오, 센서 데이터 및/또는 다른 입력 데이터)로부터 계위적 피처 표현들을 학습할 수도 있다. 딥 컨볼루션 네트워크(550)의 출력은 입력 데이터(552)에 대한 분류 스코어(566)이다. 분류 스코어(566)는 확률들의 세트일 수도 있으며, 여기서 각각의 확률은 피처들의 세트로부터의 피처를 포함하는 입력 데이터의 확률이다.
위에 나타낸 바와 같이, 도 3 내지 도 5는 예들로서 제공된다. 다른 예들은 도 3 내지 도 5와 관련하여 설명되는 것과 상이할 수도 있다.
딥 컨볼루션 네트워크(550)와 같은 머신 러닝(ML) 모델이 네트워크에서 생성될 수도 있고, 그 후 추가 트레이닝을 위해 사용자 장비(UE)로 송신될 수도 있다. 본 설명은 주로 네트워크에서 기원하는 모델(때때로 기지국 또는 gNB로 지칭됨)을 설명하지만, 본 개시는 그 반대를 고려한다. 즉, 본 개시는 또한, UE 발신 모델에 대한 모델 업데이트들을 UE로 전송하는 기지국을 커버하도록 의도된다.
네트워크에 의해 송신된 머신 러닝 모델은 시나리오 특정적일 수 있다. 도 6은 본 개시의 양태들에 따른, 시나리오 특정 모델들을 예시하는 블록도이다. 도 6에 도시된 예에서, 상이한 시나리오들은 상이한 채널 모델들에 대응한다. 각각의 시나리오는 그 고유의 서브모델을 갖는다. 예시적인 서브모델들은 어반 마이크로(UMi) 모델, 어반 매크로(Uma) 모델, 및 실내 핫 스팟(InH) 모델을 포함한다. 상이한 서브모델들은 상이한 파라미터들을 갖는 동일한 모델일 수도 있거나, 또는 상이한 구조들(예를 들어, 계층들의 수 또는 계층을 갖는 뉴런들의 수)을 갖는 상이한 모델들일 수도 있다. 일부 경우들에서, 네트워크는 전체 모델 대신에 특정 서브모델에 대해 업데이트를 요청할 수도 있다. 예를 들어, 전체 모델 업데이트는 일부 라디오 조건들에서 실현가능하지 않을 수 있다. 또한, 모델 업데이트를 요청할 때 시그널링 오버헤드가 고려되어야 한다.
도 7은 본 개시의 양태들에 따른, 서브모델 업데이트를 예시하는 블록도이다. 뉴럴 네트워크 모델(710)은 가중치들 및 바이어스들의 세트와 함께 다수의 뉴럴 네트워크 계층들을 포함한다. 입력은 레이어들, 가중치들, 및 바이어스들에 의해 프로세싱되어 출력된다. 뉴럴 네트워크 모델(710)과 병렬적으로, 보충 서브모듈(720)이 있다. 보충 서브모듈(720)은 뉴럴 네트워크 모델(710)의 전반적인 출력을 조절하기 위해 활성화되거나 비활성화될 수도 있다.
도 8은 본 개시의 양태들에 따른, 머신 러닝 모델의 공유를 예시하는 블록도이다. UE(120a)가 네트워크 노드(예컨대, gNB)(110)로부터 모델을 수신한 후, UE(120a)는 모델을 위한 온라인 트레이닝을 수행할 수도 있다. 일부 경우들에서, 초기 모델은 UE들(120a, 120b)이 UE들(120a, 120b)에 의해 경험되는 조건들에 기초하여 모델을 미세 튜닝할 것이라는 예상과 함께, 네트워크 노드(110)에 의해 오프라인으로 트레이닝된다. 트레이닝에 기초하여, UE(120a)는 모델 업데이트를 전송할 수도 있다. 예를 들어, 검출된 환경 변화들에 기초하여 또는 UE(120a)에 의한 초기 온라인 트레이닝 후에, UE(120a)는 모델 업데이트들을 네트워크 노드(110)에 업로드하고 그리고/또는 모델 업데이트들을 UE(120b)에 공유할 수도 있다. 일부 양태들에서, UE(120a)는 환경 변화들을 검출하고, UE(120b)와 같은, 이웃하는 유사한 타입들의 UE들로부터 새로운 모델 또는 모델 업데이트들을 찾는다. 그 다음, UE(120b)는 예를 들어 사이드링크 시나리오에서, 학습된 모델들에 영향을 줄 수도 있다. 네트워크 노드(110)는 하나의 UE(120a)로부터 수신된 업데이트들을 다른 UE(120b)와 공유할 수도 있다.
UE들(120)과 네트워크 노드(110) 사이에서의 트레이닝된 뉴럴 네트워크의 파라미터들을 교환할 때 많은 양의 데이터가 수반된다. 일부 경우들에서, 뉴럴 네트워크의 사이즈는 매우 클 수 있고, UE(120)가 트레이닝된 인공 지능(AI) 모듈 전체를 각각의 업데이트로 업로드하는 것이 가능하고/하거나 효율적이지 않을 수도 있다.
본 개시의 양태들은 머신 러닝 모델 업데이트를 위해 필요한 오버 디 에어 송신들을 감소시킨다. 본 개시의 일부 양태들에서, 기지국은 뉴럴 네트워크 전체가 아니라, 사전 트레이닝된 뉴럴 네트워크(NN)의 "일부"만을 트레이닝하고 보고할 것을 UE에 명시적으로 요청할 수도 있다. 일반적으로, 두 가지 타입들의 UE 보고들, 즉 전체 모델 업로드 또는 차동 모델 업로드가 있을 수도 있다. 다음 설명은 차동 모델 업로드에 주로 초점을 둔다. "일부"는 예를 들어, 뉴럴 네트워크 계층들의 주어진 세트(예를 들어, 최종 k 계층들), 인공 지능(AI) 모듈의 서브모듈, 또는 파라미터들의 세트(예를 들어, 네트워크의 가중치들 및 바이어스들)를 지칭할 수도 있다.
기지국은 사전 트레이닝된 모델을 UE에 제공할 수도 있다. 기지국은 이후에, 단 몇 개의 계층들만을 트레이닝하도록 UE에게 요청하고, 트레이닝된 계층들에 대한 파라미터들을 보고할 수도 있다. 뉴럴 네트워크의 일부 계층을 트레이닝하는 것은 전이 학습(transfer learning)으로 지칭된다. 기지국은 대안적으로, 또는 추가로, 뉴럴 네트워크 전체에 대한 변화된 네트워크 파라미터들에 기초하여 업데이트들을 요청할 수도 있다.
일부 양태들에서, 뉴럴 네트워크에 대한 초기 파라미터 세트는 오프라인 트레이닝 동안 도출된다. UE 및/또는 네트워크는, 예를 들어 장치가 배치되는 특정 환경을 고려하기 위해, 온라인 트레이닝 프로세스 동안 업데이트들을 생성할 수 있다. 따라서, 파라미터들은 시간에 따라 진화하여, 파라미터들에 대한 업데이트를 트리거할 수도 있다. 업데이트들을 수신한 후, 네트워크는 업데이트들을 다른 UE들과 공유할 수도 있다.
본 개시의 일부 양태들에서, UE느 각각의 모델 업데이트 인스턴스에서 전반적인 뉴럴 네트워크를 보고하는 것과는 대조적으로, UE가 머신 러닝 모델을 업데이트할 때 시간에 따른 모델 변화들을 보고할 수도 있다. 기준 모델은 기지국에 의해 전송된 사전 트레이닝된 모델일 수도 있거나, UE에 의해 기지국으로 전송된 제1 사전 트레이닝된 모델일 수 있다. 후속 모델 업데이트들은 기준 모델에 대한 차동 모델 업로드에 기초할 수도 있다. 즉, 기준 모델에 비해 변화한 뉴럴 네트워크의 일부만이 송신된다. 일부 양태들에서, 기준 모델은 이전의 모델 업로드 인스턴스에서 업로드된 모델일 수도 있다. UE와 기지국 양자 모두가 어느 모델이 기준 모델인지 알아야 한다. 모델 업로드는 주기적이거나, UE 또는 기지국에 의해 트리거될 수도 있다. 업데이트들이 주기적인 경우, 주기적 리소스들이 구성될 수 있다. 마지막 업데이트 이래로 네트워크가 많이 변화되지 않은 경우, 업데이트들이 사소할 수도 있기 때문에 이러한 리소스들은 낭비될 수도 있다.
본 개시의 양태들은 트리거 이벤트에 기초하여 차동 방식에서 업데이트된 뉴럴 네트워크를 전송하는 UE 또는 기지국에 관한 것이다. 설명된 바와 같이, UE는 각각의 모델 업데이트 인스턴스에서 전체 뉴럴 네트워크를 보고하는 것과는 대조적으로, UE가 머신 러닝 모델을 업데이트할 때 시간에 따른 모델 변화들을 보고할 수도 있다. 후속 모델 업데이트들은 기준 모델(예를 들어, 네트워크에 의해 전송된 사전 트레이닝된 모델 또는 UE에 의해 네트워크로 전송된 제1 사전 트레이닝된 모델)에 대한 차동 모델 업로드에 기초할 수도 있다. 예를 들어, 뉴럴 네트워크에 대한 파라미터들의 초기 세트가 w 1이고, 뉴럴 네트워크에 대한 파라미터들의 제2 세트가 w 2이면, UE 또는 네트워크는 시그널링 오버헤드를 감소시키기 위해, w 2가 아니라, w 2 - w 1을 보고할 것이다. 일부 양태들에서, 이러한 차동 모델 업데이트에 대한 기준 모델은 이전의 보고 인스턴스일 수도 있다.
본 개시의 양태들에 따르면, 차동 모델 업데이트를 위한 트리거 조건은 뉴럴 네트워크를 트레이닝하기 위한 손실 함수에 기초할 수도 있다. 예를 들어, 손실 함수가 임계치 아래로 감소하거나 손실 함수의 감소율이 임계치 아래로 떨어지면, 모델 업데이트가 트리거될 수도 있다. 즉, 트레이닝 동안 미세 튜닝의 양이 네트워크가 트레이닝 동안 더 이상 많이 변화하지 않을 정도로 충분히 작아지면, 업데이트들은 전송할 준비가 될 수도 있다. 따라서, UE는 업데이트의 송신을 위한 리소스 할당을 수신하기 위해 스케줄링 요청을 송신할 수도 있다.
다른 양태들에서, 트리거 조건은 뉴럴 네트워크의 송신된 파라미터들의 변화의 양의 함수일 수도 있다. 이 변화 메트릭은 예를 들어, 현재의 및 이전에 보고된 뉴럴 네트워크 파라미터들 사이의 차이의 L1-norm 또는 L2-norm의 관점에서 측정될 수도 있다. 변화가 뉴럴 네트워크의 전반적인 성능의 변화로 변환되는 한, 파라미터들의 이러한 변화는 관련이 있다. 다시 말해서, 파라미터들의 변화가 네트워크 성능에 어느 정도의 임계량만큼 영향을 줄 정도로 상당한 경우 업데이트가 발생해야 한다. 본 개시의 양태들에 따르면, UE가 업데이트를 전송할 때, UE는 업데이트를 송신하기 위한 리소스들의 할당을 수신하기 위해 스케줄링 요청을 송신한다.
도 9는 본 개시의 양태들에 따른, 트리거에 기초한 머신 러닝 모델의 차동 업데이트를 예시하는 타이밍도이다. 하기 예는 기지국으로부터 기원하는 기준 모델에 관한 것이지만, 반대의(reverse) 시나리오 또한 고려된다. 시간 t1에서, 기지국(110)은 사전 트레이닝된 뉴럴 네트워크를 UE(120)로 송신한다. 시간 t2에서 UE(120)는 추가로, 일부 경우들에서는 온라인 트레이닝으로, 뉴럴 네트워크를 트레이닝한다.
시간 t3에서, UE(120)는 UE 트레이닝에 기초하여, 업데이트된 파라미터들을 기지국(110)으로 전송하기 위한 트리거 이벤트를 검출한다. 트리거 조건은 뉴럴 네트워크 트레이닝을 위한 손실 함수 또는 파라미터들의 차이의 L1 또는 L2 놈(norm)에 기초할 수도 있다. 파라미터들은 예를 들어, 전체 뉴럴 네트워크의 가중치들 또는 바이어스들일 수도 있다. 다른 양태들에서, 파라미터들은 UE에 의해 트레이닝된 뉴럴 네트워크의 부분들, 예를 들어 전이 학습 시나리오에서 뉴럴 네트워크의 마지막 몇몇 계층들에만 대한 것이다. 이러한 양태들에서, UE는 이러한 마지막 몇몇 계층들에 대한 구조적 변화들을 송신할 수도 있다. 또 다른 양태들에서, 파라미터들은 특정 서브모델들에 대한 것이다. 시간 t4에서, UE(120)는 업데이트들을 기지국(110)으로 송신한다.
도 10은 본 개시의 다양한 양태들에 따른, 예를 들어 수신기에 의해 수행되는 예시적인 프로세스(1000)를 예시하는 흐름도이다. 예시적인 프로세스(1000)는 머신 러닝 모델 업데이트들을 위한 보고의 예이다.
도 10에 도시된 바와 같이, 일부 양태들에서, 프로세스(1000)는 송신기로부터, 기준 뉴럴 네트워크를 수신하는 것(블록 1002)을 포함할 수도 있다. 예를 들어, 사용자 장비(UE)는 (예컨대, 안테나(252), DEMOD/MOD(254), MIMO 검출기(256), 수신 프로세서(258), 제어기/프로세서(280), 및/또는 메모리(282)를 사용하여) 송신기로부터, 기준 뉴럴 네트워크를 수신할 수 있다. 일부 양태들에서, 기준 뉴럴 네트워크의 제1 부분은 이미 트레이닝되고, 제2 부분은 트레이닝되지 않는다. 일부 양태들에서, 송신기는 기지국이고 수신기는 UE이다. 다른 양태들에서, 송신기는 UE이고 수신기는 기지국이다.
프로세스(1000)는 또한, 기준 뉴럴 네트워크에 대한 업데이트된 뉴럴 네트워크 파라미터들을 획득하도록해 기준 뉴럴 네트워크를 트레이닝하는 것(블록 1004)을 포함할 수도 있다. 예를 들어, UE는 (예컨대, 안테나(252), DEMOD/MOD(254), TX MIMO 프로세서(266), 송신 프로세서(264), 제어기/프로세서(280), 및/또는 메모리(282)를 사용하여) 기준 뉴럴 네트워크를 트레이닝할 수 있다. 일부 양태들에서, 업데이트된 뉴럴 네트워크 파라미터들은 뉴럴 네트워크 계층들의 서브세트와 같은 기준 뉴럴 네트워크의 일부만에 대한 것이다. 다른 양태들에서, 업데이트된 뉴럴 네트워크 파라미터들은 기준 뉴럴 네트워크의 서브모듈에 대한 것이다.
프로세스(1000)는 트리거에 응답하여, 업데이트된 뉴럴 네트워크 파라미터들과 기준 뉴럴 네트워크에 대한 이전의 뉴럴 네트워크 파라미터들 사이의 차이를 송신기에 보고하는 것(블록 1006)을 더 포함할 수도 있다. 예를 들어, UE는 (예컨대, 안테나(252), DEMOD/MOD(254), TX MIMO 프로세서(266), 송신 프로세서(264), 제어기/프로세서(280), 및/또는 메모리(282)를 사용하여) 송신기에 보고할 수 있다. 일부 양태들에서, 트리거 조건은 뉴럴 네트워크 트레이닝을 위한 손실 함수 또는 파라미터들의 차이의 L1 또는 L2 놈에 기초할 수도 있다. 예를 들어, 트리거는 손실 함수가 임계값보다 작을 때 발생할 수도 있다. 또는, 트리거는 업데이트된 뉴럴 네트워크 파라미터들과 이전의 뉴럴 네트워크 파라미터들 사이의 차이의 크기(magnitude)에 기초할 수도 있다. 크기는 차이의 L1 놈 또는 차이의 L2 놈에 기초할 수도 있다. 또 다른 양태들에서, 트리거는 업데이트된 뉴럴 네트워크 파라미터들을 갖는 기준 뉴럴 네트워크의 성능과 이전의 뉴럴 네트워크 파라미터들을 갖는 기준 뉴럴 네트워크의 성능 사이의 차이에 기초한다.
예시적인 양태들
양태 1: 수신기에 의한 무선 통신의 방법으로서, 송신기로부터, 기준 뉴럴 네트워크를 수신하는 단계; 기준 뉴럴 네트워크에 대한 업데이트된 뉴럴 네트워크 파라미터들을 획득하도록 기준 뉴럴 네트워크를 트레이닝하는 단계; 및 트리거에 응답하여, 기준 뉴럴 네트워크에 대한 이전의 뉴럴 네트워크 파라미터들과 업데이트된 뉴럴 네트워크 파라미터들 사이의 차이를 송신기에 보고하는 단계를 포함하는, 방법.
양태 2: 양태 1에 있어서, 트리거는 트레이닝 동안 적용되는 손실 함수에 기초하는, 방법.
양태 3: 양태 2에 있어서, 트리거는 손실 함수가 임계값보다 작을 때 발생하는, 방법.
양태 4: 선행하는 양태들 중 임의의 양태에 있어서, 트리거는 업데이트된 뉴럴 네트워크 파라미터들과 이전의 뉴럴 네트워크 파라미터들 사이의 차이의 크기에 기초하는, 방법.
양태 5: 양태 4에 있어서, 크기는 차이의 L1 놈에 기초하는, 방법.
양태 6: 양태 4에 있어서, 크기는 차이의 L2 놈에 기초하는, 방법.
양태 7: 양태 1 내지 양태 3, 양태 5, 또는 양태 6 중 임의의 양태에 있어서, 트리거는 업데이트된 뉴럴 네트워크 파라미터들을 갖는 기준 뉴럴 네트워크의 성능과 이전의 뉴럴 네트워크 파라미터들을 갖는 기준 뉴럴 네트워크의 성능 사이의 차이에 기초하는, 방법.
양태 8: 선행하는 양태들 중 임의의 양태에 있어서, 스케줄링 요청을 송신하는 단계; 및 스케줄링 요청에 응답하여 할당된 리소스들에 따라 보고하는 단계를 더 포함하는, 방법.
양태 9: 선행하는 양태들 중 임의의 양태에 있어서, 업데이트된 뉴럴 네트워크 파라미터들은 뉴럴 네트워크 가중치들 및 뉴럴 네트워크 바이어스들을 포함하는, 방법.
양태 10: 선행하는 양태들 중 임의의 양태에 있어서, 업데이트된 뉴럴 네트워크 파라미터들은 기준 뉴럴 네트워크의 오직 일부에 대한 것이며, 상기 일부는 뉴럴 네트워크 계층들의 서브세트를 포함하는, 방법.
양태 11: 선행하는 양태들 중 임의의 양태에 있어서, 업데이트된 뉴럴 네트워크 파라미터들은 기준 뉴럴 네트워크의 서브모듈에 대한 것인, 방법.
양태 12: 선행하는 양태들 중 임의의 양태에 있어서, 송신기로부터, 이미 트레이닝된 제1 부분 및 트레이닝되지 않은 제2 부분을 포함하는 기준 뉴럴 네트워크를 수신하는 단계를 더 포함하는, 방법.
양태 13: 선행하는 양태들 중 임의의 양태에 있어서, 송신기는 기지국을 포함하고 수신기는 사용자 장비(UE)를 포함하는, 방법.
양태 14: 양태 1 내지 양태 12 중 임의의 양태에 있어서, 수신기는 기지국을 포함하고 송신기는 사용자 장비(UE)를 포함하는, 방법.
양태 15: 수신기에 의한 무선 통신들을 위한 장치로서, 적어도 하나의 프로세서; 적어도 하나의 프로세서와 커플링되는 메모리; 및 메모리에 저장되는 명령들을 포함하며, 명령들은 적어도 하나의 프로세서에 의해 실행될 때, 장치로 하여금: 송신기로부터, 기준 뉴럴 네트워크를 수신하게 하고; 기준 뉴럴 네트워크에 대한 업데이트된 뉴럴 네트워크 파라미터들을 획득하도록 기준 뉴럴 네트워크를 트레이닝하게 하고; 그리고 트리거에 응답하여, 기준 뉴럴 네트워크에 대한 이전의 뉴럴 네트워크 파라미터들과 업데이트된 뉴럴 네트워크 파라미터들 사이의 차이를 송신기에 보고하게 하도록 동작가능한, 장치.
양태 16: 양태 15에 있어서, 트리거는 트레이닝 동안 적용되는 손실 함수에 기초하는, 장치.
양태 17: 양태 16에 있어서, 트리거는 손실 함수가 임계값보다 작을 때 발생하는, 장치.
양태 18: 양태 15 내지 양태 17 중 임의의 양태에 있어서, 트리거는 업데이트된 뉴럴 네트워크 파라미터들과 이전의 뉴럴 네트워크 파라미터들 사이의 차이의 크기에 기초하는, 장치.
양태 19: 양태 18에 있어서, 크기는 차이의 L1 놈에 기초하는, 장치.
양태 20: 양태 18에 있어서, 크기는 차이의 L2 놈에 기초하는, 장치.
양태 21: 양태 15 내지 양태 17, 양태 19, 또는 양태 20 중 임의의 양태에 있어서, 트리거는 업데이트된 뉴럴 네트워크 파라미터들을 갖는 기준 뉴럴 네트워크의 성능과 이전의 뉴럴 네트워크 파라미터들을 갖는 기준 뉴럴 네트워크의 성능 사이의 차이에 기초하는, 장치.
양태 22: 양태 15 내지 양태 21 중 임의의 양태에 있어서, 적어도 하나의 프로세서는 장치로 하여금: 스케줄링 요청을 송신하게 하고; 그리고 스케줄링 요청에 응답하여 할당된 리소스들에 따라 보고하게 하는, 장치.
양태 23: 양태 15 내지 양태 22 중 임의의 양태에 있어서, 업데이트된 뉴럴 네트워크 파라미터들은 뉴럴 네트워크 가중치들 및 뉴럴 네트워크 바이어스들을 포함하는, 장치.
양태 24: 양태 15 내지 양태 23 중 임의의 양태에 있어서, 업데이트된 뉴럴 네트워크 파라미터들은 기준 뉴럴 네트워크의 오직 일부에 대한 것이며, 상기 일부는 뉴럴 네트워크 계층들의 서브세트를 포함하는, 장치.
양태 25: 양태 15 내지 양태 24 중 임의의 양태에 있어서, 업데이트된 뉴럴 네트워크 파라미터들은 기준 뉴럴 네트워크의 서브모듈에 대한 것인, 장치.
양태 26: 양태 15 내지 양태 25 중 임의의 양태에 있어서, 적어도 하나의 프로세서는 장치로 하여금, 송신기로부터, 이미 트레이닝된 제1 부분 및 트레이닝되지 않은 제2 부분을 포함하는 기준 뉴럴 네트워크를 수신하게 하는, 장치.
양태 27: 양태 15 내지 양태 26 중 임의의 양태에 있어서, 송신기는 기지국을 포함하고 수신기는 사용자 장비(UE)를 포함하는, 장치.
양태 28: 양태 15 내지 양태 27 중 임의의 양태에 있어서, 수신기는 기지국을 포함하고 송신기는 사용자 장비(UE)를 포함하는, 장치.
양태 29: 장치로서, 송신기로부터, 기준 뉴럴 네트워크를 수신하기 위한 수단; 기준 뉴럴 네트워크에 대한 업데이트된 뉴럴 네트워크 파라미터들을 획득하도록 기준 뉴럴 네트워크를 트레이닝하기 위한 수단; 및 트리거에 응답하여, 기준 뉴럴 네트워크에 대한 이전의 뉴럴 네트워크 파라미터들과 업데이트된 뉴럴 네트워크 파라미터들 사이의 차이를 송신기에 보고하기 위한 수단을 포함하는, 장치.
양태 30: 양태 29에 있어서, 트리거는 트레이닝 동안 적용되는 손실 함수에 기초하는, 장치.
전술한 개시는 예시 및 설명을 제공하지만, 양태들을 개시된 정확한 형태로 제한하도록 또는 총망라하도록 의도되지 않는다. 수정들 및 변형들은 상기 개시의 관점에서 이루어질 수도 있거나 양태들의 실시로부터 획득될 수도 있다.
사용된 바와 같이, 용어 "컴포넌트"는 하드웨어, 펌웨어 및/또는 하드웨어와 소프트웨어의 조합으로서 폭넓게 해석되도록 의도된다. 사용된 바와 같이, 프로세서는 하드웨어, 펌웨어, 및/또는 하드웨어와 소프트웨어의 조합에서 구현된다.
일부 양태들은 임계치들과 관련하여 설명된다. 사용된 바와 같이, 임계치를 충족하는 것은 맥락에 따라, 값이 임계치 초과 것, 임계치 이상인 것, 임계치 미만인 것, 임계치 이하인 것, 임계치와 동일한 것, 임계치와 동일하지 않은 것 등을 지칭할 수도 있다.
설명된 시스템들 및/또는 방법들은 상이한 형태들의 하드웨어, 펌웨어, 및/또는 하드웨어 및 소프트웨어의 조합으로 구현될 수도 있음이 명백할 것이다. 이들 시스템들 및/또는 방법들을 구현하는데 사용된 실제 특수 제어 하드웨어 또는 소프트웨어 코드는 양태들을 한정하지 않는다. 따라서, 시스템들 및/또는 방법들의 동작 및 거동은 특정 소프트웨어 코드에 대한 참조 없이 설명되었다-소프트웨어 및 하드웨어는 설명에 적어도 부분적으로 기초하여 시스템들 및/또는 방법들을 구현하기 위해 설계될 수 있음이 이해된다.
특징들의 특정한 조합들이 청구항들에서 언급되고 그리고/또는 명세서에 개시되더라도, 이들 조합들은 다양한 양태들의 개시를 한정하도록 의도되지 않는다. 실제로는, 이들 특징들 중 다수는 구체적으로 청구항들에서 언급되고/되거나 명세서에 개시되지 않은 방식으로 조합될 수도 있다. 하기 열거된 각각의 종속 청구항이 오직 하나의 청구항에만 직접적으로 종속할 수도 있지만, 다양한 양태들의 개시는 청구항 세트 내 모든 다른 청구항과 조합하여 각각의 종속 청구항을 포함한다. 아이템들의 리스트 "중 적어도 하나"를 지칭하는 어구는 단일 멤버들을 포함하여 그 아이템들의 임의의 조합을 지칭한다. 예로서, "a, b, 또는 c 중 적어도 하나"는 a, b, c, a-b, a-c, b-c, 및 a-b-c뿐만 아니라 동일한 엘리먼트의 배수들과의 임의의 조합(예컨대, a-a, a-a-a, a-a-b, a-a-c, a-b-b, a-c-c, b-b, b-b-b, b-b-c, c-c, 및 c-c-c 또는 a, b, 및 c의 임의의 다른 순서화)을 커버하도록 의도된다.
사용된 어떠한 엘리먼트, 액트, 또는 명령도, 명시적으로 그렇게 설명되지 않는 한 핵심적인 또는 본질적인 것으로서 해석되지 않아야 한다. 또한, 사용된 바와 같이, 관사들("a" 및 "an")은 하나 이상의 아이템들을 포함하도록 의도되고, "하나 이상"과 상호교환가능하게 사용될 수도 있다. 게다가, 본 명세서에서 사용된 바와 같이, 용어들 "세트" 및 "그룹"은 하나 이상의 아이템들(예를 들어, 관련된 아이템들, 관련되지 않은 아이템들, 관련된 및 관련되지 않은 아이템들의 조합 등)을 포함하도록 의도되고, "하나 이상"과 상호교환가능하게 사용될 수도 있다. 오직 하나의 아이템만이 의도된 경우, 어구 "오직 하나" 또는 유사한 언어가 사용된다. 또한, 사용된 바와 같이, 용어들 "갖는다(has, have)", "갖는(having)" 등은 개방형(open-ended) 용어들인 것으로 의도된다. 더불어, 어구 "에 기초하여"는, 달리 명시적으로 언급되지 않는 한 "에 적어도 부분적으로 기초하여"를 의미하도록 의도된다.

Claims (30)

  1. 수신기에 의한 무선 통신의 방법으로서,
    송신기로부터, 기준 뉴럴 네트워크를 수신하는 단계;
    상기 기준 뉴럴 네트워크에 대한 업데이트된 뉴럴 네트워크 파라미터들을 획득하도록 상기 기준 뉴럴 네트워크를 트레이닝하는 단계; 및
    트리거에 응답하여, 상기 기준 뉴럴 네트워크에 대한 이전의 뉴럴 네트워크 파라미터들과 상기 업데이트된 뉴럴 네트워크 파라미터들 사이의 차이를 상기 송신기에 보고하는 단계를 포함하는, 수신기에 의한 무선 통신의 방법.
  2. 제 1 항에 있어서,
    상기 트리거는 트레이닝 동안 적용되는 손실 함수에 기초하는, 수신기에 의한 무선 통신의 방법.
  3. 제 2 항에 있어서,
    상기 트리거는 상기 손실 함수가 임계값보다 작을 때 발생하는, 수신기에 의한 무선 통신의 방법.
  4. 제 1 항에 있어서,
    상기 트리거는 상기 업데이트된 뉴럴 네트워크 파라미터들과 상기 이전의 뉴럴 네트워크 파라미터들 사이의 상기 차이의 크기에 기초하는, 수신기에 의한 무선 통신의 방법.
  5. 제 4 항에 있어서,
    상기 크기는 상기 차이의 L1 놈에 기초하는, 수신기에 의한 무선 통신의 방법.
  6. 제 4 항에 있어서,
    상기 크기는 상기 차이의 L2 놈에 기초하는, 수신기에 의한 무선 통신의 방법.
  7. 제 1 항에 있어서,
    상기 트리거는 상기 업데이트된 뉴럴 네트워크 파라미터들을 갖는 상기 기준 뉴럴 네트워크의 성능과 상기 이전의 뉴럴 네트워크 파라미터들을 갖는 상기 기준 뉴럴 네트워크의 성능 사이의 차이에 기초하는, 수신기에 의한 무선 통신의 방법.
  8. 제 1 항에 있어서,
    스케줄링 요청을 송신하는 단계; 및
    상기 스케줄링 요청에 응답하여 할당된 리소스들에 따라 보고하는 단계를 더 포함하는, 수신기에 의한 무선 통신의 방법.
  9. 제 1 항에 있어서,
    상기 업데이트된 뉴럴 네트워크 파라미터들은 뉴럴 네트워크 가중치들 및 뉴럴 네트워크 바이어스들을 포함하는, 수신기에 의한 무선 통신의 방법.
  10. 제 1 항에 있어서,
    상기 업데이트된 뉴럴 네트워크 파라미터들은 상기 기준 뉴럴 네트워크의 오직 일부에 대한 것이며, 상기 일부는 뉴럴 네트워크 계층들의 서브세트를 포함하는, 수신기에 의한 무선 통신의 방법.
  11. 제 1 항에 있어서,
    상기 업데이트된 뉴럴 네트워크 파라미터들은 상기 기준 뉴럴 네트워크의 서브모듈에 대한 것인, 수신기에 의한 무선 통신의 방법.
  12. 제 1 항에 있어서,
    상기 송신기로부터, 이미 트레이닝된 제1 부분 및 트레이닝되지 않은 제2 부분을 포함하는 상기 기준 뉴럴 네트워크를 수신하는 단계를 더 포함하는, 수신기에 의한 무선 통신의 방법.
  13. 제 1 항에 있어서,
    상기 송신기는 기지국을 포함하고 상기 수신기는 사용자 장비(UE)를 포함하는, 수신기에 의한 무선 통신의 방법.
  14. 제 1 항에 있어서,
    상기 수신기는 기지국을 포함하고 상기 송신기는 사용자 장비(UE)를 포함하는, 수신기에 의한 무선 통신의 방법.
  15. 수신기에 의한 무선 통신들을 위한 장치로서,
    적어도 하나의 프로세서;
    상기 적어도 하나의 프로세서와 커플링되는 메모리; 및
    상기 메모리에 저장되는 명령들을 포함하며, 상기 명령들은 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치로 하여금:
    송신기로부터, 기준 뉴럴 네트워크를 수신하게 하고;
    상기 기준 뉴럴 네트워크에 대한 업데이트된 뉴럴 네트워크 파라미터들을 획득하도록 상기 기준 뉴럴 네트워크를 트레이닝하게 하고; 그리고
    트리거에 응답하여, 상기 기준 뉴럴 네트워크에 대한 이전의 뉴럴 네트워크 파라미터들과 상기 업데이트된 뉴럴 네트워크 파라미터들 사이의 차이를 상기 송신기에 보고하게 하도록
    동작가능한, 수신기에 의한 무선 통신들을 위한 장치.
  16. 제 15 항에 있어서,
    상기 트리거는 트레이닝 동안 적용되는 손실 함수에 기초하는, 수신기에 의한 무선 통신들을 위한 장치.
  17. 제 16 항에 있어서,
    상기 트리거는 상기 손실 함수가 임계값보다 작을 때 발생하는, 수신기에 의한 무선 통신들을 위한 장치.
  18. 제 15 항에 있어서,
    상기 트리거는 상기 업데이트된 뉴럴 네트워크 파라미터들과 상기 이전의 뉴럴 네트워크 파라미터들 사이의 상기 차이의 크기에 기초하는, 수신기에 의한 무선 통신들을 위한 장치.
  19. 제 18 항에 있어서,
    상기 크기는 상기 차이의 L1 놈에 기초하는, 수신기에 의한 무선 통신들을 위한 장치.
  20. 제 18 항에 있어서,
    상기 크기는 상기 차이의 L2 놈에 기초하는, 수신기에 의한 무선 통신들을 위한 장치.
  21. 제 15 항에 있어서,
    상기 트리거는 상기 업데이트된 뉴럴 네트워크 파라미터들을 갖는 상기 기준 뉴럴 네트워크의 성능과 상기 이전의 뉴럴 네트워크 파라미터들을 갖는 상기 기준 뉴럴 네트워크의 성능 사이의 차이에 기초하는, 수신기에 의한 무선 통신들을 위한 장치.
  22. 제 15 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 장치로 하여금:
    스케줄링 요청을 송신하게 하고; 그리고
    상기 스케줄링 요청에 응답하여 할당된 리소스들에 따라 보고하게 하는, 수신기에 의한 무선 통신들을 위한 장치.
  23. 제 15 항에 있어서,
    상기 업데이트된 뉴럴 네트워크 파라미터들은 뉴럴 네트워크 가중치들 및 뉴럴 네트워크 바이어스들을 포함하는, 수신기에 의한 무선 통신들을 위한 장치.
  24. 제 15 항에 있어서,
    상기 업데이트된 뉴럴 네트워크 파라미터들은 상기 기준 뉴럴 네트워크의 오직 일부에 대한 것이며, 상기 일부는 뉴럴 네트워크 계층들의 서브세트를 포함하는, 수신기에 의한 무선 통신들을 위한 장치.
  25. 제 15 항에 있어서,
    상기 업데이트된 뉴럴 네트워크 파라미터들은 상기 기준 뉴럴 네트워크의 서브모듈에 대한 것인, 수신기에 의한 무선 통신들을 위한 장치.
  26. 제 15 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 장치로 하여금, 상기 송신기로부터, 이미 트레이닝된 제1 부분 및 트레이닝되지 않은 제2 부분을 포함하는 상기 기준 뉴럴 네트워크를 수신하게 하는, 수신기에 의한 무선 통신들을 위한 장치.
  27. 제 15 항에 있어서,
    상기 송신기는 기지국을 포함하고 상기 수신기는 사용자 장비(UE)를 포함하는, 수신기에 의한 무선 통신들을 위한 장치.
  28. 제 15 항에 있어서,
    상기 수신기는 기지국을 포함하고 상기 송신기는 사용자 장비(UE)를 포함하는, 수신기에 의한 무선 통신들을 위한 장치.
  29. 장치로서,
    송신기로부터, 기준 뉴럴 네트워크를 수신하기 위한 수단;
    상기 기준 뉴럴 네트워크에 대한 업데이트된 뉴럴 네트워크 파라미터들을 획득하도록 상기 기준 뉴럴 네트워크를 트레이닝하기 위한 수단; 및
    트리거에 응답하여, 상기 기준 뉴럴 네트워크에 대한 이전의 뉴럴 네트워크 파라미터들과 상기 업데이트된 뉴럴 네트워크 파라미터들 사이의 차이를 상기 송신기에 보고하기 위한 수단을 포함하는, 장치.
  30. 제 29 항에 있어서,
    상기 트리거는 트레이닝 동안 적용되는 손실 함수에 기초하는, 장치.
KR1020237035182A 2021-04-20 2022-03-15 머신 러닝 모델 업데이트들을 위한 보고 KR20230173664A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163177180P 2021-04-20 2021-04-20
US63/177,180 2021-04-20
US17/694,467 2022-03-14
US17/694,467 US20220335294A1 (en) 2021-04-20 2022-03-14 Reporting for machine learning model updates
PCT/US2022/020355 WO2022225627A1 (en) 2021-04-20 2022-03-15 Reporting for machine learning model updates

Publications (1)

Publication Number Publication Date
KR20230173664A true KR20230173664A (ko) 2023-12-27

Family

ID=81326940

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237035182A KR20230173664A (ko) 2021-04-20 2022-03-15 머신 러닝 모델 업데이트들을 위한 보고

Country Status (4)

Country Link
EP (1) EP4327251A1 (ko)
KR (1) KR20230173664A (ko)
BR (1) BR112023019673A2 (ko)
WO (1) WO2022225627A1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2572537A (en) * 2018-03-27 2019-10-09 Nokia Technologies Oy Generating or obtaining an updated neural network
CN111611610B (zh) * 2020-04-12 2023-05-30 西安电子科技大学 联邦学习信息处理方法、系统、存储介质、程序、终端

Also Published As

Publication number Publication date
WO2022225627A1 (en) 2022-10-27
EP4327251A1 (en) 2024-02-28
BR112023019673A2 (pt) 2023-10-31

Similar Documents

Publication Publication Date Title
US11653228B2 (en) Channel state information (CSI) learning
US20220116764A1 (en) User equipment (ue) capability report for machine learning applications
US20210326701A1 (en) Architecture for machine learning (ml) assisted communications networks
WO2021208061A1 (en) Configurable neural network for channel state feedback (csf) learning
WO2022000365A1 (en) Machine learning based downlink channel estimation and prediction
US20220124634A1 (en) Machine learning-based power control
EP4302438A1 (en) Neural network-based spatial inter-cell interference learning
KR20230066330A (ko) 인공 뉴럴 네트워크들의 협력 트레이닝을 위한 기지의 데이터의 송신
US11456834B2 (en) Adaptive demodulation reference signal (DMRS)
JP2023531397A (ja) ワイヤレスチャネル推定および追跡のためのニューラルネットワーク拡張
CN115136534A (zh) 用于训练人工神经网络的已知数据的指示触发传输
US20220335294A1 (en) Reporting for machine learning model updates
KR20230173664A (ko) 머신 러닝 모델 업데이트들을 위한 보고
US20230297825A1 (en) Weighted average federated learning based on neural network training loss
US11950215B2 (en) Artificial intelligence-based user equipment (UE) capability band combination prioritization
US20230325652A1 (en) Gradient grouping for compression in federated learning for machine learning models
WO2023019380A1 (en) Physical downlink control channel (pdcch) to indicate machine learning (ml) model group switching
WO2023070486A1 (en) Channel state feedback for reduced resource consumption reference signals
CN117157647A (zh) 机器学习模型更新的报告
EP4378129A1 (en) Signaling for additional training of neural networks for multiple channel conditions