KR20230113191A

KR20230113191A - 이동 통신 시스템의 훈련 단말 선택 장치 및 방법

Info

Publication number: KR20230113191A
Application number: KR1020230008985A
Authority: KR
Inventors: 성지훈; 이수환; 신명기
Original assignee: 한국전자통신연구원
Priority date: 2022-01-21
Filing date: 2023-01-20
Publication date: 2023-07-28
Also published as: US20230262487A1

Abstract

코어 네트워크의 NWDAF에게 AI/ML 동작에 참여할 UE를 선택하기 위한 분석 정보를 요청하는 단계, 그리고 분석 정보를 바탕으로 UE를 선택하는 단계를 통해 UE를 선택하는 방법 및 장치가 제공된다.

Description

이동 통신 시스템의 훈련 단말 선택 장치 및 방법{APPARATUS AND Method for selecting training terminal in mobile communication systems}

본 기재는 이동 통신 시스템에서 수행되는 연합 학습을 위한 훈련 단말을 선택하는 장치 및 방법에 관한 것이다.

이동 통신 시스템에서 인공지능 기반 서비스는 기존에 없던 새로운 형태의 서비스이다. 이동통신 시스템이 인공지능 기반 서비스를 고품질로 제공하기 위해서 그에 따른 진화가 불가피하다.

연합 학습은 복수의 단말들이 모델 학습을 분산적으로 수행한 뒤 각 단말에서 학습된 모델을 서버가 취합하는 방식으로 동작하는 기계학습 기법이다. 연합 학습에 기반하는 인공지능 서비스가 원활하게 제공되기 위해서, 학습에 참여한 단말들이 학습한 모델을 정상적으로 서버에 업로드할 필요가 있다. 학습에 참여한 단말들이 학습을 정상적으로 완료하지 않았거나 정상적으로 학습된 모델이 서버에 업로드되지 않는 등의 문제상황이 발생하면, 연합 학습 모델의 성능이 저하될 수 있다.

한 실시예는, UE를 선택하는 방법을 제공한다.

다른 실시예는, 코어 네트워크의 NWDAF를 제공한다.

또 다른 실시예는 UE의 선택을 위한 보조 정보를 제공하는 방법을 제공한다.

한 실시예에 따르면, 사용자 장비(user equipment, UE)를 선택하는 방법이 제공된다. 상기 방법은, 코어 네트워크의 네트워크 데이터 분석 기능(network data analytics function, NWDAF)에게 인공지능(artificial intelligence, AI)/기계 학습(machine learning, ML) 동작에 참여할 UE를 선택하기 위한 분석 정보를 요청하는 단계, 그리고 분석 정보를 바탕으로 UE를 선택하는 단계를 포함한다.

한 실시예에서, 상기 분석 정보를 요청하는 단계는, QoS 지속 가능성(QoS Sustainability) 분석 정보를 NWDAF에게 요청하는 단계를 포함할 수 있다.

한 실시예에서, 상기 QoS 지속 가능성(QoS Sustainability) 분석 정보를 NWDAF에게 요청하는 단계는, 분석 정보 보고의 타깃을 단일 UE 레벨의 그래뉼래러티로 NWDAF에게 전달하는 단계를 포함할 수 있다.

한 실시예에서, 상기 분석 정보는, 서비스 경험(service experience), UE 이동성(UE mobility), UE 통신 패턴(UE communication pattern), 사용자 데이터 혼잡도(user data congestion), 및 QoS 지속 가능성, 및/또는 비정상 행동(abnormal behavior) 중 적어도 하나를 포함할 수 있다.

한 실시예에서, 상기 분석 정보를 요청하는 단계는, 코어 네트워크의 AI/ML 보조 NF를 거쳐 NWDAF에게 분석 정보를 요청하는 단계를 포함할 수 있다.

한 실시예에서, 상기 코어 네트워크의 AI/ML 보조 NF를 거쳐 NWDAF에게 분석 정보를 요청하는 단계는, AI/ML 동작의 AI/ML 관련 작업의 적어도 일부를 결정할 수 있는 제1 AI/ML 보조 NF 및 AI/ML 관련 작업의 후보 AI/ML 훈련 멤버를 제안할 수 있는 제2 AI/ML 보조 NF가 코어 네트워크 내에 있을 때, 제1 AI/ML 보조 NF 또는 AI/ML 보조 NF 중 하나를 거쳐 NWDAF에게 분석 정보를 요청하는 단계를 포함할 수 있다.

한 실시예에서, 상기 분석 정보를 요청하는 단계는, 서비스 경험 분석 정보(service experience analytics)를 NWDAF에게 요청하는 단계를 포함할 수 있다.

한 실시예에서, 상기 방법은, 선택된 UE에게 AI/ML 동작의 글로벌 모델을 전달하는 단계, 그리고 글로벌 모델을 수신한 UE로부터 글로벌 모델에 대한 로컬 훈련의 업데이트 결과를 수신하는 단계를 더 포함할 수 있다.

한 실시예에서, 상기 방법은, AI/ML 동작을 위해 필요한 정보를 사용자 평면을 통해 적어도 하나의 UE로부터 수집하는 단계를 더 포함할 수 있다.

한 실시예에서, 상기 AI/ML 동작을 위해 필요한 정보는, 적어도 하나의 UE의 배터리 충전/소비 패턴, 이동성 패턴, 및/또는 응용 사용 패턴 중 적어도 하나를 포함할 수 있다.

다른 실시예에 따르면, 코어 네트워크의 네트워크 데이터 분석 기능(network data analytics function, NWDAF)이 제공된다. 상기 NWDAF는 프로세서, 메모리, 및 통신 장치를 포함하고, 프로세서는 프로그램을 실행하여, 응용 기능(application function, AF)으로부터 사용자 장비(user equipment, UE) 레벨의 그래뉼래러티의 분석 정보의 요청을 수신하는 단계, 적어도 하나의 UE, 코어 네트워크 내의 네트워크 기능(network function, NF), 및 OAM(operations, administration, and maintenance)으로부터 필요한 데이터를 수집하는 단계, 그리고 필요한 데이터를 바탕으로 도출된 분석 정보를 AF에게 제공하는 단계를 수행한다.

다른 실시예에서, 필요한 데이터를 수집할 때, 상기 프로세서는, OAM으로부터 UE 당 RAN 스루풋(RAN Throughput per UE) 및 UE 당 QoS 플로 유지성(QoS flow Retainability per UE)을 수집하는 단계를 수행할 수 있다.

다른 실시예에서, 필요한 데이터를 수집할 때, 상기 프로세서는, 하향링크(downlink DL) 및 상향링크(uplink, UL)에 대한 스루풋, 무선 액세스 베어러(radio access bearer, RAB)/데이터 무선 베어러(data radio bearer, DRB) 당 DL 및 UL에 대한 패킷 지연, RAB/DRB 당 DL 및 UL에 대한 패킷 손실률 중 적어도 하나를 UE 레벨의 그래뉼래러티로 OAM으로부터 수집하는 단계를 수행할 수 있다.

다른 실시예에서, 필요한 데이터를 수집할 때, 상기 프로세서는, 모델 배포(model distribution)의 성공률 또는 로컬 업데이트 결과의 업로드 성공률에 관한 체감 품질(Quality of Experience, QoE) 메트릭을 적어도 하나의 UE로부터 수집하는 단계를 수행할 수 있다.

다른 실시예에서, 필요한 데이터를 수집할 때, 상기 프로세서는, 모델 배포(model distribution)의 성공률 또는 로컬 업데이트 결과의 업로드 성공률에 관한 맞춤화된 평균 의견 점수(mean opinion score, MOS)를 AF로부터 수집하는 단계를 수행할 수 있다.

다른 실시예에서, AF로부터 UE 레벨의 그래뉼래러티의 분석 정보의 요청을 수신하는 단계를 수행할 때, 상기 프로세서는, 코어 네트워크를 통해 AF의 분석 정보의 요청을 수신하는 단계를 수행할 수 있다.

다른 실시예에서, 필요한 데이터를 바탕으로 도출된 분석 정보를 AF에게 제공하는 단계를 수행할 때, 상기 프로세서는, 분석 정보를 AF에게 제공하는 단계를 수행할 수 있다.

또 다른 실시예에 따르면, 사용자 장비(user equipment, UE)의 선택을 위한 보조 정보를 제공하는 방법이 제공된다. 상기 방법은, 응용 기능(application function, AF)으로부터 사용자 장비(user equipment, UE) 레벨의 그래뉼래러티의 분석 정보가 요청되면, 코어 네트워크의 네트워크 데이터 분석 기능(network data analytics function, NWDAF)에게 분석 정보의 요청을 전달하는 단계, 그리고 적어도 하나의 UE 및 코어 네트워크의 네트워크 기능(network function, NF)로부터 수집된 보조 정보 및 NWDAF로부터 수신되는 분석 정보를 AF에게 전달하는 단계를 포함한다.

또 다른 실시예에서, 상기 코어 네트워크의 네트워크 데이터 분석 기능(network data analytics function, NWDAF)에게 분석 정보의 요청을 전달하는 단계는, 통합 데이터 관리 기능(unified data management, UDM)에 저장된 구독 정보를 바탕으로 인공지능(artificial intelligence, AI)/기계 학습(machine learning, ML) 동작에 대한 참여에 동의한 UE를 확인하는 단계를 포함할 수 있다.

또 다른 실시예에서, 상기 코어 네트워크의 네트워크 데이터 분석 기능(network data analytics function, NWDAF)에게 분석 정보의 요청을 전달하는 단계는, 참여에 동의한 UE를 분석 정보의 타깃으로서 NWDAF에게 전달하는 단계를 포함할 수 있다.

분산된 UE에 의해 훈련된 모델의 업데이트가 심각한 실패없이(without significant failures) 집성될 때, 훈련된 모델의 신뢰성을 높임으로써 AI/ML 서비스가 효율적으로 제공될 수 있다.

도 1은 한 실시예에 따른 AI/ML 동작을 위한 시스템을 나타낸 블록도이다.
도 2는 한 실시예에 따른 5GS를 통한 AI/ML 서비스의 절차를 나타낸 흐름도이다.
도 3은 한 실시예에 따른 5GS를 통한 AI/ML 서비스의 제공 방법을 나타낸 흐름도이다.
도 4는 한 실시예에 따른 네트워크 기능을 나타낸 블록도이다.

아래에서는 첨부한 도면을 참고로 하여 본 기재의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 기재는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 기재를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 단말(terminal)은, 사용자 장비(user equipment, UE), 이동국(mobile station, MS), 이동 단말(mobile terminal, MT), 진보된 이동국(advanced mobile station, AMS), 고신뢰성 이동국(high reliability mobile station, HR-MS), 가입자국(subscriber station, SS), 휴대 가입자국(portable subscriber station, PSS), 접근 단말(access terminal, AT), 기계형 통신 장비(machine type communication device, MTC device) 등을 지칭할 수도 있고, UE, MS, MT, AMS, HR-MS, SS, PSS, AT 등의 전부 또는 일부의 기능을 포함할 수도 있다.

또한, 기지국(base station, BS)은 노드B(node B), 고도화 노드B(evolved node B, eNB), gNB, 진보된 기지국(advanced base station, ABS), 고신뢰성 기지국(high reliability base station, HR-BS), 접근점(access point, AP), 무선 접근국(radio access station, RAS), 송수신기지국(base transceiver station, BTS), MMR(mobile multihop relay)-BS, 기지국 역할을 수행하는 중계기(relay station, RS), 기지국 역할을 수행하는 중계 노드(relay node, RN), 기지국 역할을 수행하는 진보된 중계기(advanced relay station, ARS), 기지국 역할을 수행하는 고신뢰성 중계기(high reliability relay station, HR-RS), 소형 기지국[펨토 기지국(femto BS), 홈 노드B(home node B, HNB), 홈 eNodeB(HeNB), 피코 기지국(pico BS), 매크로 기지국(macro BS), 마이크로 기지국(micro BS) 등] 등을 지칭할 수도 있고, NB, eNB, gNB, ABS, AP, RAS, BTS, MMR-BS, RS, RN, ARS, HR-RS, 소형 기지국 등의 전부 또는 일부의 기능을 포함할 수도 있다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.

본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.

본 명세서에서 "및/또는"은 언급된 구성 요소들의 각각 및 하나 이상의 모든 조합을 포함한다.

본 명세서에서, 제1, 제2 등과 같이 서수를 포함하는 용어들은 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

본 명세서에서 도면을 참고하여 설명한 흐름도에서, 동작 순서는 변경될 수 있고, 여러 동작들이 병합되거나, 어느 동작이 분할될 수 있고, 특정 동작은 수행되지 않을 수 있다.

도 1은 한 실시예에 따른 AI/ML 동작을 위한 시스템을 나타낸 블록도이다.

본 기재에서, 5G 시스템(5GS)에서 연합 학습(federated learning, FL)을 통해 AI(artificial intelligence)/ML(machine learning) 서비스를 지원하는 방법이 제공될 수 있다.

연합 학습에서, 훈련을 완료하지 않을 것으로 예상되는 단말이 훈련 장치로 선택되면, 집성된 모델(aggregated model)의 성능은 좋지 않을 가능성이 높다. 따라서, 훈련을 완료할 가능성이 낮은 UE는 훈련 단말에서 제외되는 것이 신뢰할 수 있는 모델 훈련을 위해 필요할 수 있다.

본 기재는, 5GS에서 FL을 통한 신뢰할 수 있는 모델 훈련을 위한 훈련 단말을 선택하는 방법을 제공한다. 본 기재에서, 네트워크 데이터 분석 기능(network data analytics function, NWDAF)이 신뢰할 수 있는 FL을 위한 훈련 단말의 선택을 위해 네트워크 데이터를 분석하는 방법과, 신뢰할 수 있는 FL을 위해 네트워크 기능(network function, NF) 소비자(예를 들어, 응용 기능(application function, AF)), NWDAF, 및 OAM과 같이 관련된 NF 또는 엔티티(entity) 사이에서 메시지를 교환하는 방법이 제공될 수 있다.

한 실시예에 따른 훈련 단말 선택 방법은, 사용자가 일상 생활에서 5GS를 통해 자신의 기기에서 AI/ML 서비스를 사용하고, 훈련 단계에서 자신의 기기가 학습 기기로서 참여할 수 있도록 하는 시나리오에 적용될 수 있다.

한 실시예에서, 훈련 단말 선택 방법은, 지역적으로 분산된 복수의 기기가 로컬 훈련을 수행하고 훈련된 모델의 업데이트를 서버로 업로드하는 연합 학습에 적용될 수 있다. 또는 훈련 단말 선택 방법은 AI/ML 엔터티 간의 AI/ML 작업 분할(AI/ML operation splitting)에 적용될 수 있다. 또는, 한 실시예에 따른 훈련 단말 선택 방법은, AI/ML 서비스 외의 단말 선택이 필요한 다른 응용에 적용될 수 있다. 5GS는 AI/ML 서비스를 위한 지능형 운영을 제공할 수 있다.

도 1을 참조하면, UE(100), 5GS(200), 및 응용 서비스 공급자(application service provider, ASP)(300)가 연합 학습을 수행할 수 있다.

ASP(300) 내의 FL 서버(310)는 로컬 업데이트를 위해 분산된 기기에 글로벌 모델을 프로비저닝하고, 각 기기에서 로컬 업데이트된 모델을 집성함으로써 전체 모델 훈련 작업을 관리하고 제어할 수 있다. UE(100) 내의 FL 클라이언트(110)는 FL 서버로부터 글로벌 모델을 수신하고, 로컬 업데이트를 진행하며, 업데이트된 모델을 FL 서버(310)에게 전달할 수 있다.

ASP(300) 내의 응용 서버는 응용 서비스를 위해 데이터 트래픽을 송수신할 수 있다. UE(100)의 응용 클라이언트는 응용 서비스를 위해 응용 서버와 데이터 트래픽을 송수신할 수 있다.

UE(100)의 응용 클라이언트 및 FL 클라이언트(110), 그리고 ASP(300)의 응용 서버 및 FL 서버(310)는 5GS(200)에서 사용자 평면(user plane, UP)을 통해 통신할 수 있다.

5GS(200)의 사용자 평면에서의 서버-클라이언트 간 통신은 프로토콜 데이터 유닛(Protocol Data Unit, PDU) 세션 설정과 같은 제어 평면(CP)의 제어에 의해 지원될 수 있다. 한 실시예에서, 더 나은 FL 기반의 AI/ML 서비스를 위해, UP를 제어하는 *?*CP의 측면에서 5GS(200)의 기능이 향상될 필요가 있다.

5GS(200)는 네트워크 개방 기능(Network Exposure Function, NEF)를 통해 5GS(200) 내부의 네트워크 데이터를 5GS(200) 외부의 제3자(예를 들어, ASP)에게 제공함으로써 더 나은 서비스 품질을 제공할 수 있다. 도 1의 실시예에서, 네트워크 개방 기능을 통해 FL 서비스가 정교하게 제어될 수 있다.

CP 동작의 실시예에서, NWDAF는 몇 개의 NF로부터 수집된 네트워크 데이터에 기반하여 신뢰할 수 있는 FL 모델 훈련을 위한 훈련 UE를 선택하는 데 도움이 되는 QoS 지속 가능성(QoS sustainability), 서비스 경험 (Service Experience) 등 여러 분석 정보를 UE 수준 그래뉼래러티(granularity)로 제공할 수 있다. 한 실시예에서, UE 수준의 QoS 지속 가능성의 제공은 제3자 AF의 요청에 의해 개시될 수 있고, 아래에서 상세히 설명된다.

도 2는 한 실시예에 따른 5GS를 통한 AI/ML 서비스의 절차를 나타낸 흐름도이다.

도 2를 참조하면, UE(100)는 사용하려는 AI/ML 응용 서비스를 제공할 수 있는 ASP(300)의 응용 서버에 대해 PDU 세션을 설정할 수 있다(S110). 응용 서버는 사용자 평면을 통해 FL 서버(310)까지의 PDU 세션을 설정하는 데 동의한 UE(100)를 트리거할 수 있다. 이후 FL 서버(310)는 훈련 작업을 위한 전용 역할을 수행할 수 있다. 트리거가 수신되면, UE(100)는 FL 서버(310)까지의 새로운 PDU 세션을 설정할 수 있다. FL 서버(310) 또는 ASP(300)는 설정된 PDU 세션을 통해 UE(100)로부터 훈련을 위해 필요한 데이터(예를 들어, 연산 및 네트워크 능력(computation and network capability) 및 데이터 특성(data characteristics))를 수집할 수 있다.

AF(ASP(300)에 의해 소유된 AF)는 관심있는 UE에 관한 분석 정보를 수집하기 위해 NWDAF에게 분석 정보를 요청(Nnwdaf_AnalyticsInfo_Request 서비스 동작)하거나 또는 NWDAF의 분석 정보를 구독(Nnwdaf_AnalyticsSubscription_Subscribe 서비스 동작)할 수 있다(S120). 관심있는 UE에 관한 분석 정보는 서비스 경험(service experience), UE 이동성(UE mobility), UE 통신(UE communication), 사용자 데이터 혼잡도(user data congestion), QoS 지속 가능성, 및/또는 비정상 행동(abnormal behavior) 중 적어도 하나를 포함할 수 있다. AF가 신뢰할 수 없는 기기이거나 또는 신뢰할 수 없는 도메인 내의 엔티티일 때, 5GS(200) 내의 NEF가 사용될 수 있다.

NWDAF는 5GS(200) 내의 NF 및/또는 OAM(operations, administration, and maintenance)으로부터 분석에 필요한 정보를 수집할 수 있다(S130). 여기서 NWDAF에게 정보를 제공하는 NF는, 액세스 및 이동성 관리 기능(access and mobility management function, AMF), 세션 관리 기능(session management function, SMF), 사용자 평면 기능(user plane function, UPF), 및/또는 응용 기능(application function, AF) 중 적어도 하나를 포함할 수 있다.

예를 들면, 안정적인 FL 모델 학습을 위해 수집되는 분석 정보 ID(analytics ID)가 'QoS Sustainability'이면, UE 레벨의 분석 정보의 출력이 요구되고, 따라서 UE 레벨의 데이터가 OAM으로부터 수집될 필요가 있다. UE 레벨의 QoS 지속 가능성에 대해서는 아래에서 상세히 설명된다.

AF와 같은 분석 정보의 소비자(analytics consumer) 기기는 분석할 타깃을 정의하기 위해 몇 개의 파라미터와 함께 NWDAF 분석 정보를 요청할 수 있다. 'QoS Sustainability" 분석 정보의 경우, 소비자 기기는 과거의 통계, 또는 QoS 지속 가능성 상의 미래 예측, 또는 특정 관심 영역(예를 들어, TAI(Tracking Area Identity) 또는 셀)에 대한 타깃 기간 동안의 변화와 관련된 분석 정보를 요청할 수 있다. 한 실시예에서, 분석 타깃은 신뢰할 수 있는 FL 모델 훈련을 위해 UE 레벨의 그래뉼래러티로 제공될 필요가 있다. 훈련 작업(training task)이 각 UE에 의해 수행되고, 따라서 모델의 성능이 각 UE에 의한 훈련 작업이 완료될지 여부와 직접적으로 관련되기 때문이다.

한 실시예에서, 소비자 기기는 FL 동작의 UE를 선택하기 위해 NWDAF에게 QoS 지속 가능성 분석 정보(QoS Sustainability Analytics)를 요청할 수 있다. 소비자 기기가 NWDAF에게 QoS 지속 가능성 분석 정보를 요청할 때, 소비자 기기는 분석 정보 보고의 타깃(Target of Analytics Reporting)을 입력 파라미터로서 제공할 수 있다. 분석 정보의 타깃은 개개의 UE 레벨의 그래뉼래러티를 포함할 수 있고, 이때 소비자 기기는 UE의 위치 정보를 분석 정보 보고의 타깃과 관련된 정보로서 NWDAF에게 제공하지 않을 수 있다. UE 레벨 그래뉼래러티로 분석 정보가 제공되기 위해서, NWADAF에 의해 OAM으로부터 수집되는 데이터는 UE 당 RAN 스루풋(RAN Throughput per UE) 및 UE 당 QoS 플로 유지성(QoS flow Retainability per UE)을 포함할 수 있다. 동일한 영역(동일한 TAI 또는 셀 ID) 내의 일부 UE로부터의 지원가능한 QoS 레벨은 서로 다를 수 있고, 따라서, 신뢰할 수 없는 예측 정보가 제공되지 않도록, 분석 정보의 타깃이 UE 레벨 그래뉼래러티로서 제공되어 FL 동작을 지원할 필요가 있다.

한 실시예에서, 소비자 기기에게 QoS 지속 가능성 분석 정보를 제공하기 위해 NWDAF가 OAM으로부터 수집하는 데이터가 아래 표 1에 나타나 있다.

정보	소스	설명
RAN UE Throughput	OAM	Average bitrate per UE(예를 들어, 무선 인터페이스에 의해 제한된 전송의 경우, 무선 인터페이스 상의 경과된 단위 시간 당 RCL 레벨의 페이로드 데이터 볼륨)
QoS flow Retainability	OAM	QoS 플로가 UE마다 사용된 시간 동안 비정상적으로 해제된 QoS 플로의 개수

보고 임계치(reporting thresholds)는 GBR 자원 유형의 5QI에 대한 QoS flow Retainability에 관한 메트릭일 수 있다. 또한 보고 임계치는 비-GBR 자원 유형의 5QI에 대한 RAN UE Throughtput에 관한 메트릭일 수 있다.

한 실시예에서, NWDAF는 FL 동작의 UE를 선택하기 위한 분석 정보(QoS 지속 가능성)를 소비자 기기에게 제공하기 위해, 하향링크(downlink DL) 및 상향링크(uplink, UL)에 대한 스루풋, 무선 액세스 베어러(radio access bearer, RAB)/데이터 무선 베어러(data radio bearer, DRB) 당 DL 및 UL에 대한 패킷 지연, RAB/DRB 당 DL 및 UL에 대한 패킷 손실률 등의 입력 데이터 중 적어도 하나를 UE 레벨의 그래뉼래러티로 OAM으로부터 수집할 수 있다. 즉, 개별 UE에 대한, DL 및 UL 스루풋, RAB/DRB 당 DL 및 UL 패킷 지연, 및 RAB/DRB 당 DL 및 UL 패킷 손실률의 데이터 등의 UE 레벨의 측정 데이터는 드라이브 테스트(minimization of drive test, MDT)를 거쳐 OAM으로부터 NWDAF에 의해 수집될 수 있다.

한 실시예에서, 소비자 기기에게 출력되는 분석 정보 중 QoS 지속 가능성의 통계치(QoS Sustainability statistics)가 아래 표 2에 나타나 있다.

정보	설명
List of QoS sustainability Analytics (1..max)
>Applicable Area or UE	- 분석 정보 보고의 타깃이 "임의의 UE"일 때의 적용 영역 (applicable area) : 분석 정보가 적용되는 위치 정보 이내의 TAI 또는 셀 ID의 목록- 분석 정보 보고의 타깃이 "UE"일 때의 적용 UE : UE, 예를 들어, 가입 영구 식별자(Subscription Permanent Identifier SUPI)
>Applicable Time Period	분석 정보가 적용되는 분석 정보의 타깃 구간 이내의 시간 구간
>Crossed Reporting Threshold(s)	QoS KPI를 충족하거나 또는 통계 값 또는 QoS KPI의 예상 값에 의해 초과된 보고 임계치(들)

한 실시예에서, 소비자 기기에게 출력되는 분석 정보 중 QoS 지속 가능성의 예측치(QoS Sustainability predictions)가 아래 표 3에 나타나 있다.

정보	설명
List of QoS sustainability Analytics (1..max)
>Applicable Area or UE	- 분석 정보 보고의 타깃이 "임의의 UE"일 때의 적용 영역 : 분석 정보가 적용되는 위치 정보 이내의 TAI 또는 셀 ID의 목록- 분석 정보 보고의 타깃이 "UE"일 때의 적용 UE : UE, 예를 들어, SUPI
>Applicable Time Period	분석 정보가 적용되는 분석 정보의 타깃 구간 이내의 시간 구간
>Crossed Reporting Threshold(s)	QoS KPI를 충족하거나 또는 통계 값 또는 QoS KPI의 예상 값에 의해 초과된 보고 임계치(들)
>Confidence	예측의 신뢰도

한 실시예에서, 소비자 기기는 FL 동작의 UE를 선택하기 위해 NWDAF에게 서비스 경험 분석 정보(Service Experience Analytics)를 요청할 수 있다. 소비자 기기가 NWDAF에게 서비스 경험 분석 정보를 요청하면, NWDAF는, FL을 새로운 AI/ML 서비스 유형으로서 지원할 수 있도록, 모델 배포(model distribution)의 성공률 또는 로컬 업데이트 결과의 업로드 성공률에 관한 맞춤화된 평균 의견 점수(mean opinion score, MOS) 또는 체감 품질(Quality of Experience, QoE) 메트릭을 UE 및 AF로부터 수집할 수 있다.

여기서 모델은 미리 결정된 인터벌 동안 AF에서 UE로 배포될 수 있고, 모델 배포의 성공률은 AF에 의해 맞춤화된 MOS로 측정되거나 또는 UE에 의해 QoE 메트릭으로 측정된 후 NWDAF에게 제공될 수 있다. AF는 모델 배포의 성공률을 위한 맞춤화된 MOS를 측정하기 위해, 모델 배포에 대응하는, UE로터 수신된 ACK를 사용할 수 있다.

배포된 모델에 대한 로컬 업데이트 결과는 미리 결정된 인터벌 동안 UE에서 AF로 업로드될 수 있고, 로컬 업데이트 결과의 업로드 성공률은 AF에서 맞춤화된 MOS로 측정되거나 또는 UE에서 QoE 메트릭으로 측정된 후 NWDAF에게 제공될 수 있다. UE는 로컬 업데이트 결과의 업로드 성공률을 위한 QoE 메트릭을 측정하기 위해, 로컬 업데이트 결과의 업로드에 대응하는, AF로부터 수신된 ACK를 사용할 수 있다.

NWDAF는 분석 정보를 위한 트리거 조건을 확인하고 요청된 분석 정보를 도출할 수 있다(S140). NWDAF는 알림 조건(예를 들어, 보고 임계치에 의해 정의될 수 있음)도 탐지할 수 있다. 예를 들어, 신뢰할 수 있는 FL 모델의 훈련을 위한 분석 정보 ID가 'QoS Sustainability'이면, UE 레벨의 분석 정보는 아래에서 설명된 대로 도출될 수 있다.

NWDAF는 AF에게 요청된 분석 정보에 관한 응답 또는 알림을 제공할 수 있다(S150). 예를 들어, 신뢰할 수 있는 FL 모델의 훈련을 위한 분석 정보 ID가 'QoS Sustainability'이면, UE 레벨의 분석 정보 출력이 AF에게 제공될 수 있다.

NWDAF에 의해 제공된 분석 정보에 관한 응답 또는 알림을 바탕으로, ASP(300)의 FL 서버(310) 또는 AF는 신뢰할 수 있는 FL 동작을 위해 UE를 선택 또는 재선택할 수 있다(S160). 이후, FL 서버 또는 AF는 UP를 통해 선택된 UE에게 글로벌 모델을 배포 또는 재배포할 수 있고, UE로부터 로컬 훈련의 업데이트 결과를 집성함으로써 글로벌 모델을 업데이트 할 수 있다.

AF는 일부 조건에 따라 신뢰할 수 없는 것으로 분류된 UE와의 PDU 세션의 해제를 트리거할 수 있다. 여기서 일부 조건은, 예를 들어, 단일 QoS 지속 가능성 분석 정보의 출력 또는 이력에 의해 정의될 수 있다. 또한, AF는 새로운 훈련 UE를 찾기 위해, 훈련에 참여하지 않은 UE와 FL 서버 사이에 새로운 PDU 세션의 설정을 트리거할 수 있다. 예를 들어, 소수의 UE만이 훈련에 참여하였기 때문에 더 많은 훈련 UE가 필요할 때, AF는 새로운 PDU 세션의 설정을 트리거할 수 있다.

이후 AF에서 새로운 분석을 요청할 때마다 S120 내지 S160이 반복될 수 있다.

도 3은 한 실시예에 따른 5GS를 통한 AI/ML 서비스의 제공 방법을 나타낸 흐름도이다.

도 3을 참조하면, UE(100)는 ASP(300)의 응용 서버에 대해 PDU 세션을 설정할 수 있다(S210). 응용 서버는 사용자 평면을 통해 AI/ML 서버(예를 들어, FL 서버)까지의 새로운 PDU 세션을 설정하는 데 동의한 UE(100)를 트리거할 수 있다. 트리거가 수신되면, UE(100)는 AI/ML 서버까지의 새로운 PDU 세션을 설정할 수 있다. 이후 AI/ML 서버는 새로운 PDU 세션을 통해 AI/ML 모델의 훈련 작업을 위한 전용 역할을 수행할 수 있다.

AI/ML 서버는 AI/ML 모델의 훈련을 위해(또는 AI/ML 동작 또는 AI/ML 서비스를 위해) 필요한 정보를 사용자 평면을 통해 UE로부터 수집할 수 있다. AI/ML 모델의 훈련을 위해 필요한 정보는, UE의 배터리 충전/소비 패턴, UE 이동성 패턴, 및/또는 응용 사용 패턴 중 적어도 하나를 포함할 수 있다. UE는 AI/ML 모델의 훈련을 위해 필요한 정보의 수집 및 개인 정보(personal information)의 사용에 관한 동의를 AI/ML 서버에게 제공할 수 있다. AI/ML 서버는 후보 AI/ML 훈련 멤버 선택과 같은 AI/ML 동작을 시작하기 전에 AI/ML 모델의 훈련을 위해 필요한 정보를 UE로부터 수집할 수 있다.

AF(즉, ASP(300) 내의 제어 평면(control plane, CP))는 코어 네트워크(예를 들어, 5G core(5GC))의 AI/ML 보조 NF(AI/ML assistance NF) 또는 NEF에게 분석 정보를 AI/ML 보조 정보(AI/ML assistance information)로서 요청하거나 또는 구독할 수 있다(S220).

AI/ML 보조 정보는 서비스 경험(service experience), UE 이동성(UE mobility), UE 통신(UE communication), 사용자 데이터 혼잡도(user data congestion), QoS 지속 가능성, 및/또는 비정상 행동(abnormal behavior) 중 적어도 하나를 포함할 수 있다. AI/ML 보조 정보는, QoS 요구사항(requirement), UE 목록, 관심 영역(area of interest), 예상 AI/ML 동작 기간 등의 타깃 AI/ML 동작과 관련된 요구사항 및/또는 필터링 정보 중 적어도 하나를 AI/ML 보조 정보의 요청 또는 구독을 위한 입력 파라미터로서 포함할 수 있다. NEF는 AF가 신뢰할 수 없는 기기이거나 또는 신뢰할 수 없는 도메인 내에 있을 때 사용될 수 있고, AI/ML 보조 NF는 AF를 신뢰할 수 있거나 또는 신뢰할 수 없는 경우에 모두 사용될 수 있다.

한 실시예에서, AI/ML 보조 NF는 복수의 AI/ML 관련 작업을 결정하거나(유형 1) 또는 AI/ML 관련 작업의 후보 AI/ML 훈련 멤버를 AF에게 제안할 수 있다(유형 2).

AI/ML 보조 NF가 복수의 AI/ML 관련 작업을 결정할 때, AI/ML 보조 NF에 의해 결정될 수 있는 AI/ML 관련 작업은 AI/ML 멤버의 선택 및 변경과, AI/ML 동작 기간의 추천 및 변경을 포함할 수 있다. AI/ML 보조 NF가 복수의 AI/ML 관련 작업을 결정함으로써, AI/ML 동작에 의해 유발되는 오버헤드가 감소될 수 있다.

또는 AI/ML 보조 NF는 AI/ML 관련 작업의 후보 AI/ML 훈련 멤버를 AF에게 제안하고, 이후 AF가 제안된 후보 AI/ML 훈련 멤버에 기반하여 AI/ML 훈련 멤버를 결정할 수 있다. 이때 AI/ML 동작에 대해 AF에 가중되는 오버헤드가 커질 수 있지만, AF는 AI/ML 동작에서 더 많은 부분을 결정할 수 있다.

도 3을 참조하면, AI/ML 보조 NF 또는 NEF는 UDM의 구독 정보(subscription information)을 바탕으로 각 UE가 AI/ML 동작에 참여하는 것을 동의하였는지 여부를 확인할 수 있다(S230). 즉, AI/ML 보조 NF 또는 NEF는 UDM에 저장된 구독 정보를 바탕으로 AI/ML 동작에 대한 참여에 동의한 UE를 확인할 수 있다. 한 실시예에서, 신뢰할 수 있는 도메인 내의 AF는 UDM 내의 구독 정보를 바탕으로 UE 동의(UE consent)를 직접 확인할 수 있다.

한 실시예에서, AI/ML 보조 NF 또는 NEF는 UDM 내의 구독 정보를 확인하기 위해 Nudm_SDM_Get 서비스 동작을 실행할 수 있다. 이때, NF는 Nudm_SDM_Subscribe 서비스 동작을 사용하여 구독 정보의 변경에 관한 알림을 구독할 수 있다.

AI/ML 보조 NF 또는 NEF는 UE 관련 정보를 수집하기 위해 NWDAF에게 분석 정보를 요청하거나 또는 NWDAF의 분석 정보를 구독할 수 있다(S240). AI/ML 보조 NF 또는 NEF는 참여 동의가 확인된 UE 등을 대상으로 UE 레벨의 분석 정보를 요청하거나 구독할 수 있다. UE 관련 정보는 이동성, 통신 패턴, 서비스 경험(service experience), 및 QoS 지속 가능성 중 적어도 하나를 포함할 수 있다. NEF는 AF가 신뢰할 수 없는 기기이거나 또는 신뢰할 수 없는 도메인 내에 있을 때 사용될 수 있다. 한 실시예에서, 신뢰할 수 있는 도메인 내의 AF는 UE 관련 정보를 수집하기 위해, NWDAF에게 직접 분석 정보를 요청하거나 또는 NWDAF의 분석 정보를 구독할 수 있다.

AI/ML 보조 NF는 UE 관련 정보를 수집하기 위해 각 NF(예를 들어, AMF, SMF, 통합 데이터 관리 기능(unified data management, UDM) 등)로부터의 이벤트를 구독할 수 있다. 한 실시예에서, 신뢰할 수 있는 도메인 내의 AF는 UE 관련 정보를 수집하기 위해 NF로부터의 이벤트를 직접 구독할 수 있다.

NWDAF는 AMF, SMF, UPF, 및/또는 OAM으로부터 분석에 필요한 데이터를 수집할 수 있다(S250).

NWDAF는 분석 정보를 위한 트리거 조건을 확인하고 요청된 분석 정보를 도출할 수 있다(S260). NWDAF는 알림 조건(예를 들어, 보고 임계치에 의해 정의될 수 있음)도 탐지할 수 있다.

NWDAF는 AI/ML 보조 NF 또는 NEF에게 요청된 분석 정보에 관한 응답 또는 알림을 제공할 수 있다(S270). AI/ML 보조 NF 또는 NEF는 수집된 정보가 AF에게로 응답되거나 또는 알려지기 전에 수집된 정보를 처리하거나 또는 조작할 수 있다.

AI/ML 보조 NF 또는 NEF는 응답 또는 알림을 보조 정보로서 AF에게 제공할 수 있다(S280). 한 실시예에서, 신뢰할 수 있는 도메인 내의 AF는 요청된 분석 정보에 관한 응답 또는 알림을 NWDAF로부터 직접 수신할 수 있다.

NWDAF에 의해 제공된 분석 정보에 관한 응답 또는 알림을 바탕으로, AF는 AI/ML 동작을 수행할 UE를 선택 또는 재선택할 수 있다(S290). 이후, AF는 UP를 통해 선택된 UE에게 글로벌 모델을 배포 또는 재배포할 수 있고, UE로부터 로컬 훈련의 업데이트 결과를 집성함으로써 글로벌 모델을 업데이트할 수 있다.

AF는 일부 조건에 따라 신뢰할 수 없는 것으로 분류된 UE와의 PDU 세션의 해제를 트리거할 수 있다. 여기서 신뢰할 수 없음에 대한 분류를 위한 일부 조건은, 예를 들어, 단일 QoS 지속 가능성 분석 정보의 출력 또는 QoS 지속 가능성 분석 정보의 출력 이력에 의해 정의될 수 있다. 또한, AF는 새로운 훈련 UE를 찾기 위해, 훈련에 참여하지 않은 UE와 FL 서버 사이에 새로운 PDU 세션의 설정을 트리거할 수 있다. 예를 들어, 소수의 UE만이 훈련에 참여하였기 때문에 더 많은 훈련 UE가 필요할 때, AF는 새로운 PDU 세션의 설정을 트리거할 수 있다.

이후 AF에서 새로운 분석을 요청할 때마다 S230 내지 S290이 반복될 수 있다.

한 실시예에서, AI/ML 동작의 적극적인 참여를 촉진하기 위해, 인센티브 또는 보상이 훈련 작업에 관련된 UE에게 제공될 수 있다. 아래의 인자가 UP를 통해 또는 CP를 통해 인센티브를 측정하기 위해 고려될 수 있다.

- AF에 의해 트리거된 이후 UE가 훈련 결과를 업데이트 하는 데 소요된 시간

- UE가 할당된 훈련 작업을 완료하고 훈련 결과를 AF에게 업로드한 빈도

- 할당된 훈련 작업의 복잡도(연산 복잡성(computational complexity)의 관점에서 측정됨)

또한, 적절한 정책 및 과금 제어(policy and charging control, PCC) 규칙이 더 신뢰할 수 있거나 또는 더 나은 AI/ML 서비스 성능을 위해, AI/ML 동작에 참여한 UE에 대해 프로비저닝될 수 있다. PCF가 측정된 정보에 기반하여 PCC 규칙을 수정하는 것과 같은 동작에 관련될 수 있고, PCF는 PCC 규칙의 수정 이후에 QoS 모니터링을 트리거할 수 있다.

한 실시예에서, 이동 통신 시스템의 코어 네트워크는 새로운 훈련 UE(신규 구성원(new member))의 선택 지원 기능성(selection assistance functionality)을 제공할 수 있다. 코어 네트워크는 AF로부터 요청이 수신되면, AF에게 후보 UE 목록 및 부가 정보(additional information)를 송신하기 위한 선택 지원 기능성을 제공할 수 있다.

훈련 UE의 선택 지원 기능성은 신뢰할 수 없는 AF 케이스 및 신뢰할 수 있는 AF 케이스 모두에서 NEF에 의해 호스팅될 수 있다. 코어 네트워크 내부에서 훈련 UE의 선택 지원 기능성이 제공되지 않는 경우, AF는 자체적으로 기존의 서비스 동작을 통해 훈련 UE를 선택할 수 있다.

신뢰할 수 없는 AF 및 신뢰할 수 있는 AF의 경우, AF는 서비스 동작에 대한 요청의 일부로서 관심 UE 목록을 코어 네트워크에게 전송할 수 있고, 코어 네트워크는 후보 UE의 목록을 서비스 동작의 요청에 대한 응답으로서 AF에게 제공할 수 있다. AF는 부가 정보를 사용하여 후보 UE의 목록에서 훈련 UE를 선택할 수 있다. 부가 정보는 훈련 기기로서의 UE 신뢰성(UE reliability)에 관한 인자, UE 위치, AF가 요구하는 QoS를 충족시키기에 적합한 시간대 정보를 포함할 수 있고, 부가 정보는 NWDAF에 의해 제공되는, 비정상 행위(abnormal behavior)에 대한 통계치 또는 예측치, 또는 고정 지시(stationary indication)에 기반하여 결정될 수 있다.

한 실시예에서, 신뢰할 수 없는 AF의 경우, NEF는 AF로부터 관심 UE 목록을 포함하는 요청을 수신하고 또한 후보 UE 목록 및 부가 정보를 포함하는 응답을 AF에게 전달할 수 있도록 개선될 수 있다.

또한, 구성원(즉, 훈련 UE)의 선택 지원을 위한 분석정보가 NWDAF에 의해 제공되는 경우, 구성원의 선택 지원을 위한 분석 정보(예를 들어, UE 지연 시간 성능 분석 정보)의 출력은 백분위 랭크(percentile ranking)의 형식으로 표현될 수 있다. 백분위 랭크는 각 후보 UE를 식별할 수 있는 하나의 방법일 수 있다. 예를 들어, UE가 NWDAF에 의해 제공되는 통계치 또는 예측치에서 높음, 중간, 또는 낮음으로 표현되면, AF는 높음으로 표시된 UE를 연합 학습 동작을 위한 최종 구성원으로서 선택할 수 있다. 구성원의 선택 지원 기능성이 코어네트워크에서 지원되지 않은 경우, AF는 후보 UE를 찾기 위해 코어 네트워크로부터 분석 정보 및 이벤트를 수집하는 데 필요한 서비스 동작을 직접 요청하고 요청에 대한 응답을 수신할 수 있다.

아래에서는 NWDAF에 의해 제공될 수 있는 UE 관련 분석 정보를 설명한다.

NWDAF는 UE 이동성(UE mobility) 분석 정보, UE 통신(UE communication) 분석 정보, 네트워크 데이터 분석 정보와 관련된 예상 UE 행위 파라미터(expected UE behavioral parameters), 네트워크 데이터 분석 정보와 관련된 비정상 행위(abnormal behavior), 및 UE 지연 시간 성능(UE latency performance) 분석 정보 중 적어도 하나를 UE 관련 분석 정보로서 NWDAF 서비스 소비자(예를 들어, AF)에게 제공할 수 있다.

NWDAF 서비스 소비자는 상기 분석 정보를 개별적으로 또는 결합된 방식으로 요청할 수 있다. 예를 들어, NWDAF 서비스 소비자는 UE 이동성 및 UE 통신에 대한 분석 정보를 요청함으로써, UE의 그룹 또는 특정 UE에 대한 예상 UE 행위 파라미터를 NWDAF로부터 수신할 수 있다.

한 실시예에서, NWDAF는 분석 정보를 위한 데이터를 수집하기 전에, UDM에서 UE에 대한 사용자 동의(user consent)를 조회할 수 있다. 데이터 수집에 대한 사용자 동의가 UE에 의해 승인되지 않았다면, NWDAF는 UE 관련 분석 정보에 대한 분석 정보 구독(analytics subscriptions)을 거절하거나 또는 취소할 수 있다. UE 관련 분석 정보의 타깃 UE는 해당 UE의 SUPI 또는 GPSI에 의해 설정될 수 있다. 분석 정보의 타깃이 내부 또는 외부 그룹 ID 또는 SUPI의 목록 또는 "모든 UE"이면, NWDAF는 분석 정보 또는 모델 훈련을 위한 목적의 사용자 동의가 승인되지 않은 SUPI를 생략할 수 있다.

한 실시예에서, 셀룰러 시스템의 코어 네트워크(예를 들어, 5GC)에서 응용 AI/ML 동작을 지원하기 위해, NWDAF는 UE 지연 시간 성능에 관한 데이터 분석을 수행하고 분석 결과를 AF에 제공할 수 있다. 서비스 소비자는 NF(예를 들어, NEF, AF)일 수 있다. 이러한 분석 정보의 소비자는 요청 또는 구독을 위해 다음 사항을 지시할 수 있다.

- 분석 정보 ID(analytics ID) = "UE 지연 시간 성능".

- 분석 정보 리포팅의 타깃: 단일 UE(SUPI), UE 리스트 또는 UE 그룹(내부 그룹 ID).

- 분석 정보 필터 정보(analytics filter information): 단일-네트워크 슬라이스 선택 보조 정보(single-network slice selection assistance information, S-NSSAI), 데이터 네트워크 이름(data network name, DNN), 응용 ID, 관심 영역(area of interest), 요청된 분석 정보 서브셋의 선택적 목록 중 적어도 하나를 포함할 수 있다.

- Analytics 타깃 기간: 통계치 또는 예측치가 요청된 시간 구간을 지시할 수 있다.

- 분석 정보의 정확도의 선호 레벨

- UE 지연 시간 성능의 목록에 대한 결과의 선택적 선호 순서: 순서 기준(ordering criterion): "지연 시간 성능", 순서: 오름차순 또는 내림차순으로 표시될 수 있다.

- 선택적으로, 리포팅 임계치(reporting thresholds): 구독에 대해 적용될 수 있고, NWDAF에 의한 알림을 수신하기 위해 각각의 분석 정보 서브셋에 대해 도달될 레벨의 조건을 지시할 수 있다.

- 선택적으로, 객체의 최대 개수

- 구독에서, 알림 상관 ID(notification correlation ID) 및 알림 타깃 주소가 포함될 수 있다.

"UE 지연 시간 성능"의 분석 정보를 생성하기 위해, NWDAF는 AF로부터 성능 데이터, 분석 정보 리포팅의 타깃에 대해 코어 네트워크의 NF로부터 네트워크 데이터, OAM으로부터 성능 측정 데이터를 수집할 수 있다. 또한, NWDAF는 아래 표 4에 기재된 UE 레벨 네트워크 데이터를 OAM으로부터 수집할 수 있다. 아래 표 4는 OAM으로부터 수집될 수 있는 UE 레벨 네트워크 데이터를 나타낸다.

정보	소스	설명
Timestamp	OAM	A time stamp associated with the collected information.
Reference Signal Received Power	OAM(see NOTE　1)	The per UE measurement of the received power level in a network cell, including SS-RSRP, CSI-RSRP as specified in clause　5.5 of TS　38.331　[14] and E-UTRA RSRP as specified in clause　5.5.5 of TS　36.331　[15]
Reference Signal Received Quality	OAM(see NOTE　1)	The per UE measurement of the received quality in a network cell, including SS-RSRQ, CSI-RSRQ as specified in clause　5.5 of TS　38.331　[14] and E-UTRA RSRQ as specified in clause　5.5.5 of TS　36.331　[15]
Signal-to-noise and interference ratio	OAM(see NOTE　1)	The per UE measurement of the received signal to noise and interference ratio in a network cell, including SS-SINR, CSI-SINR, E-UTRA RS-SINR, as specified in clause　5.1 of TS　38.215　[12]
RAN Throughput for DL and UL	OAM(see NOTE　1)	The per UE measurement of the throughput for DL and UL as specified in clauses 5.2.1.1 and 5.4.1.1 of TS 37.320 [20]
RAN Packet delay for DL and UL	OAM(see NOTE　1)	The per UE measurement of the packet delay for DL and UL, including per QCI per UE packet delay as specified in clauses 5.2.1.1 of TS 37.320 [20] and per DRB per UE packet delay as specified in clauses 5.4.1.1 of TS 37.320 [20]
RAN Packet loss rate for DL and UL	OAM(see NOTE　1)	The per UE measurement of the packet loss rate for DL and UL, including the per QCI per UE packet loss rate as specified in clauses 5.2.1.1 of TS 37.320 [20] and the per DRB per UE packet loss rate as specified in clauses 5.4.1.1 of TS 37.320 [20]
NOTE　1: Per UE measurement for a specific UE from OAM (via MDT), is as captured in clause　6.2.3.1.

NWDAF는 OAM에 의해 제공되는 서비스를 사용하여 표 4의 OAM으로부터의 네트워크 데이터를 구독할 수 있다.

UE 지연 시간 성능 분석 정보를 지원하는 NWDAF는, 소비자 NF에게 분석 정보의 결과를 제공할 수 있다. NWDAF에 의해 제공될 수 있는 분석 정보의 결과는 UE 지연 시간 성능 통계치 및/또는 UE 지연 시간 예측치를 포함할 수 있다. 표 5는 UE 지연 시간 성능 통계치를 나타내고 표 6은 UE 지연 시간 성능 예측치를 나타낸다.

정보	설명
Time slot entry (1..max)	List of time slots during the Analytics target period.
> Time slot start	Time slot start within the Analytics target period.
> Duration	Duration of the time slot (average and variance).
UE latency performances (1??max)	List of latency performance per UE Max. is the number of UEs, if applicable.
> Application ID	Identifies the application in use during the time slot
> DNAI	Identifier of a user plane access to one or more DN(s) where applications are deployed as defined in TS　23.501　[2].
> UE location	Indicating the UE location information when the UE service is delivered.
> DNN	DNN for the PDU Session which contains the QoS flow.
> S-NSSAI	Identifies the Network Slice used to access the Application.
> Validity period	The validity period for the UE latency performance statistics as defined in clause　6.1.3.
> Spatial validity	Area where the UE latency performance statistics applies
> Latency Performance	Latency Performance indicators Statistics of UE latency performance over the Analytics target period (e.g. average, variance). This information refers to a time delay for completing the transmission of a specific data volume from UE to AF, or from AF to UE. If an expected number of repeating data transmissions or an expected time interval between data transmissions is given in the request, the UE transmission latency performance can be provided as an average value of every data transmission latency performance within the Analytics target period, which is also provided in the request.
>> UL packet delay (NOTE 2)	The UL packet delay for the UE communicating with the application (e.g. average, variance).
>> DL packet delay (NOTE 2)	The DL packet delay for the UE communicating with the application (e.g. average, variance).
>> Round trip packet delay (NOTE 2)	The round trip packet delay for the UE communicating with the application (e.g. average, variance).
Aggregate latency performances (NOTE 2)	Aggregated latency performance statistics for multiple UEs
> Latency classes (1??max) (NOTE 3)	List with group of UEs classified by ranges of latency performance
>> Ratio/percentage of UEs per latency class	Percentage or ratio of UEs
>> Aggregate UL/DL/round trip packet delay per latency class	Aggregated statistical values of the corresponding UE latency statistics in the latency class (e.g. average, variance).
> Validity period	The validity period for the UE latency performance statistics as defined in clause　6.1.3.
> Geographical distribution of the UE(s)	If requested, a list of UEs per location information
> Maximum Packet Delay (NOTE 2)	Maximum packet delay for observed for UEs communicating with the application.
> Spatial Validity Condition	Area where the UE latency performance analytics applies.
NOTE　1: The item "Serving anchor UPF info" shall not be included if the consumer NF is an AF. NOTE　2: Analytics subset that can be used in "list of analytics subsets that are requested", "Preferred level of accuracy per analytics subset" and "Reporting Thresholds". NOTE　3: The number of latency classes may be pre-configured by the operator or provided by the service consumer via reporting thresholds.

정보	설명
Time slot entry (1..max)	List of time slots during the Analytics target period.
> Time slot start	Time slot start within the Analytics target period.
> Duration	Duration of the time slot (average and variance).
UE latency performances (1??max)	List of transmission latency performance per UE.Max. is the number of UEs, if applicable.
> Application ID	Identifies the application in use during the time slot
> Application Server Instance Address	Identifies the Application Server Instance (IP address/FQDN of the Application Server).
> Serving anchor UPF info (NOTE　1)	The UPF ID/address/FQDN information for the involved anchor UPF.
> DNAI	Identifier of a user plane access to one or more DN(s) where applications are deployed as defined in TS　23.501　[2].
> UE location	Indicating the UE location information when the UE service is delivered.
> DNN	DNN for the PDU Session which contains the QoS flow.
> S-NSSAI	Identifies the Network Slice used to access the Application.
> Validity period	The validity period for the UE latency performance statistics as defined in clause　6.1.3.
> Spatial validity	Area where the UE latency performance statistics applies
> Latency performance	Latency Performance indicatorsPredictions of UE transmission latency performance over the Analytics target period (e.g., average, variance). This information refers to a time delay for completing the transmission of a specific data volume from UE to AF, or from AF to UE. If an expected number of iterations or an expected time interval between iterations is given in the request, the UE transmission latency performance can be provided as an average value of every data transmission latency performance within the Analytics target period, which is also provided in the request.
>> UL packet delay (NOTE 2)	The UL packet delay for the UE communicating with the application (e.g., average, variance).
>> DL packet delay (NOTE 2)	The DL packet delay for the UE communicating with the application (e.g., average, variance).
>> Round trip packet delay (NOTE 2)	The round trip packet delay for the UE communicating with the application (e.g. average, variance).
Aggregate latency performances (NOTE 2)	Aggregated transmission latency performance statistics for multiple UEs
> Latency classes (1??max) (NOTE 3)	List with group of UEs classified by ranges of latency performance
>> Ratio/percentage of UEs per latency class	Percentage or ratio of UEs
>> Aggregate UL/DL/round trip packet delay per latency class	Aggregated statistical values of the corresponding UE latency statistics in the latency class (e.g. average, variance).
> Validity period	The validity period for the UE latency performance statistics as defined in clause　6.1.3.
> Geographical distribution of the UE(s)	If requested, a list of UEs per location information
> Maximum Packet Delay (NOTE 2)	Maximum packet delay for observed for UEs communicating with the application.
> Spatial Validity Condition	Area where the UE latency performance analytics applies.
Confidence	Confidence of this prediction.
NOTE　1: The item "Serving anchor UPF info" shall not be included if the consumer NF is an AF. NOTE　2: Analytics subset that can be used in "list of analytics subsets that are requested", "Preferred level of accuracy per analytics subset" and "Reporting Thresholds". NOTE　3: The number of latency classes may be pre-configured by the operator or provided by the service consumer via reporting thresholds.

아래 표 7에서는 NWDAF에 의해 제공되는 NF 서비스를 나타낸다.

서비스 명칭	서비스 동작	동작 시맨틱	예시 소비자(들)
Nnwdaf_AnalyticsSubscription	Subscribe	Subscribe / Notify	PCF, NSSF, AMF, SMF, NEF, AF, OAM, CEF, NWDAF, DCCF
	Unsubscribe		PCF, NSSF, AMF, SMF, NEF, AF, OAM, CEF, NWDAF, DCCF
	Notify		PCF, NSSF, AMF, SMF, NEF, AF, OAM, CEF, NWDAF, DCCF, MFAF
	Transfer	Request / Response	NWDAF
Nnwdaf_AnalyticsInfo	Request	Request / Response	PCF, NSSF, AMF, SMF, NEF, AF, OAM, CEF, NWDAF, DCCF
	ContextTransfer	Request / Response	NWDAF
Nnwdaf_DataManagement	Subscribe	Subscribe / Notify	NWDAF, DCCF
	Notify		NWDAF, DCCF, MFAF, ADRF
	Fetch	Request / Response	NWDAF, DCCF, MFAF, ADRF
Nnwdaf_MLModelProvision	Subscribe	Subscribe / Notify	NWDAF
	Unsubscribe		NWDAF
	Notify		NWDAF
Nnwdaf_MLModelInfo	Request	Request / Response	NWDAF
NOTE　1: How OAM consumes Nnwdaf services and which Analytics information is relevant is defined in TS　28.550　[7] Annex　H and out of the scope of this TS. NOTE　2: How CEF consumes Nnwdaf services and which Analytics information is relevant is defined in TS　28.201　[21] and out of the scope of this TS. NOTE　3: The Nnwdaf_MLModelProvision service and the Nnwdaf_MLModelInfo service are provided by an NWDAF containing MTLF and consumed by an NWDAF containing AnLF.

그리고 아래 표 8에서는 NWDAF에 의해 제공되는 분석 정보를 나타낸다.

분석 정보	요청 설명	응답 설명
Slice Load level information	Analytics ID: load level information	Load level provided as number of UE registrations and number of PDU sessions for a Network Slice and Network Slice instances as well as resource utilization for Network Slice instances.
Observed Service experience information	Analytics ID: Service Experience	Observed Service experience statistics or predictions may be provided for a Network Slice or an Application. They may be derived from an individual UE, a group of UEs or any UE. For slice service experience, they may be derived from an Application, a set of Applications or all Applications on the Network Slice.
NF Load information	Analytics ID: NF load information	Load statistics or predictions information for specific NF(s).
Network Performance information	Analytics ID: Network Performance	Statistics or predictions on the load in an Area of Interest; in addition, statistics or predictions on the number of UEs that are located in that Area of Interest.
UE mobility information	Analytics ID: UE Mobility	Statistics or predictions on UE mobility. When visited AOI(s) is included in the Analytics Filter information, only statistics on UE mobility can be provided.
UE Communication information	Analytics ID: UE Communication	Statistics or predictions on UE communication.
Expected UE behavioural parameters	Analytics ID: UE Mobility and/or UE Communication	Analytics on UE Mobility and/or UE Communication.
UE Abnormal behaviour information	Analytics ID: Abnormal behaviour	List of observed or expected exceptions, with Exception ID, Exception Level and other information, depending on the observed or expected exceptions.
User Data Congestion information	Analytics ID: User Data Congestion	Statistics or predictions on the user data congestion for transfer over the user plane, for transfer over the control plane, or for both.
UE Latency Performance	Analytics ID: UE Latency Performance	Statistics or predictions on UE latency performance
QoS Sustainability	Analytics ID: QoS Sustainability	For statistics, the information on the location and the time for the QoS change and the threshold(s) that were crossed; or, for predictions, the information on the location and the time when a potential QoS change may occur and what threshold(s) may be crossed.
Session Management Congestion Control Experience	Analytics ID: Session Management Congestion Control Experience	Statistics on session management congestion control experience for specific DNN and/or S-NSSAI.
Redundant Transmission Experience	Analytics ID: Redundant Transmission Experience	Statistics or predictions aimed at supporting redundant transmission decisions for URLLC services.
WLAN performance	Analytics ID: WLAN performance	Statistics or predictions on WLAN performance of UE.
Dispersion	Analytics ID: UE Dispersion	Statistics or predictions that identify the location (i.e. areas of interest) or network slice(s) where a UE, or a group of UEs disperse their data volume, or disperse mobility or session management transactions or both.
DN Performance	Analytics ID: DN Performance	Statistics or predictions on user plane performance for a specific Edge Computing application.

도 4는 한 실시예에 따른 네트워크 기능을 나타낸 블록도이다.

한 실시예에 따른 네트워크 기능(network function, NF)은, 컴퓨터 시스템, 예를 들어 컴퓨터 판독 가능 매체로 구현될 수 있다. 도 4를 참조하면, 컴퓨터 시스템(400)은, 버스(470)를 통해 통신하는 프로세서(410), 메모리(430), 입력 인터페이스 장치(450), 출력 인터페이스 장치(460), 및 저장 장치(440) 중 적어도 하나를 포함할 수 있다. 컴퓨터 시스템(400)은 또한 네트워크에 결합된 통신 장치(420)를 포함할 수 있다. 프로세서(410)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(430) 또는 저장 장치(440)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 메모리(430) 및 저장 장치(440)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory) 및 RAM(random access memory)를 포함할 수 있다. 본 기재의 실시예에서 메모리는 프로세서의 내부 또는 외부에 위치할 수 있고, 메모리는 이미 알려진 다양한 수단을 통해 프로세서와 연결될 수 있다. 메모리는 다양한 형태의 휘발성 또는 비휘발성 저장 매체이며, 예를 들어, 메모리는 읽기 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있다.

따라서, 본 발명의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 한 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.

통신 장치(420)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다. 구체적으로, 본 발명의 실시예에 따른 방법(예, 네트워크 관리 방법, 데이터 전송 방법, 전송 스케줄 생성 방법 등)은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은, 본 발명의 실시예를 위해 특별히 설계되어 구성된 것이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치를 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 기록 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등일 수 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 통해 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

사용자 장비(user equipment, UE)를 선택하는 방법으로서,
코어 네트워크의 네트워크 데이터 분석 기능(network data analytics function, NWDAF)에게 인공지능(artificial intelligence, AI)/기계 학습(machine learning, ML) 동작에 참여할 UE를 선택하기 위한 분석 정보를 요청하는 단계, 그리고
상기 분석 정보를 바탕으로 상기 UE를 선택하는 단계
를 포함하는 방법.
제1항에서,
상기 분석 정보를 요청하는 단계는,
QoS 지속 가능성(QoS Sustainability) 분석 정보를 상기 NWDAF에게 요청하는 단계
를 포함하는, 방법.
제2항에서,
상기 QoS 지속 가능성(QoS Sustainability) 분석 정보를 상기 NWDAF에게 요청하는 단계는,
분석 정보 보고의 타깃을 단일 UE 레벨의 그래뉼래러티로 상기 NWDAF에게 전달하는 단계
를 포함하는, 방법.
제1항에서,
상기 분석 정보는,
서비스 경험(service experience), UE 이동성(UE mobility), UE 통신 패턴(UE communication pattern), 사용자 데이터 혼잡도(user data congestion), 및 QoS 지속 가능성, 및/또는 비정상 행동(abnormal behavior) 중 적어도 하나를 포함하는, 방법.
제1항에서,
상기 분석 정보를 요청하는 단계는,
상기 코어 네트워크의 AI/ML 보조 NF를 거쳐 상기 NWDAF에게 상기 분석 정보를 요청하는 단계
를 포함하는, 방법.
제5항에서,
상기 코어 네트워크의 AI/ML 보조 NF를 거쳐 상기 NWDAF에게 상기 분석 정보를 요청하는 단계는,
상기 AI/ML 동작의 AI/ML 관련 작업의 적어도 일부를 결정할 수 있는 제1 AI/ML 보조 NF 및 상기 AI/ML 관련 작업의 후보 AI/ML 훈련 멤버를 제안할 수 있는 제2 AI/ML 보조 NF가 상기 코어 네트워크 내에 있을 때, 상기 제1 AI/ML 보조 NF 또는 상기 AI/ML 보조 NF 중 하나를 거쳐 상기 NWDAF에게 상기 분석 정보를 요청하는 단계
를 포함하는, 방법.
제1항에서,
상기 선택된 UE에게 상기 AI/ML 동작의 글로벌 모델을 전달하는 단계, 그리고
상기 글로벌 모델을 수신한 UE로부터 상기 글로벌 모델에 대한 로컬 훈련의 업데이트 결과를 수신하는 단계
를 더 포함하는, 방법.
제1항에서,
상기 AI/ML 동작을 위해 필요한 정보를 사용자 평면을 통해 적어도 하나의 UE로부터 수집하는 단계
를 더 포함하는, 방법.
제8항에서,
상기 AI/ML 동작을 위해 필요한 정보는, 상기 적어도 하나의 UE의 배터리 충전/소비 패턴, 이동성 패턴, 및/또는 응용 사용 패턴 중 적어도 하나를 포함하는, 방법.
코어 네트워크의 네트워크 데이터 분석 기능(network data analytics function, NWDAF)으로서,
프로세서, 메모리, 및 통신 장치를 포함하고, 상기 프로세서는 상기 프로그램을 실행하여,
응용 기능(application function, AF)으로부터 사용자 장비(user equipment, UE) 레벨의 그래뉼래러티의 분석 정보의 요청을 수신하는 단계,
적어도 하나의 UE, 상기 코어 네트워크 내의 네트워크 기능(network function, NF), 및 OAM(operations, administration, and maintenance)으로부터 필요한 데이터를 수집하는 단계, 그리고
상기 필요한 데이터를 바탕으로 도출된 상기 분석 정보를 상기 AF에게 제공하는 단계
를 수행하는, NWDAF.
제10항에서,
상기 필요한 데이터를 수집할 때, 상기 프로세서는,
상기 OAM으로부터 UE 당 RAN 스루풋(RAN Throughput per UE) 및 UE 당 QoS 플로 유지성(QoS flow Retainability per UE)을 수집하는 단계
를 수행하는, NWDAF.
제10항에서,
상기 필요한 데이터를 수집할 때, 상기 프로세서는,
하향링크(downlink DL) 및 상향링크(uplink, UL)에 대한 스루풋, 무선 액세스 베어러(radio access bearer, RAB)/데이터 무선 베어러(data radio bearer, DRB) 당 DL 및 UL에 대한 패킷 지연, RAB/DRB 당 DL 및 UL에 대한 패킷 손실률 중 적어도 하나를 상기 UE 레벨의 그래뉼래러티로 상기 OAM으로부터 수집하는 단계
를 수행하는, NWDAF.
제10항에서,
상기 필요한 데이터를 수집할 때, 상기 프로세서는,
모델 배포(model distribution)의 성공률 또는 로컬 업데이트 결과의 업로드 성공률에 관한 체감 품질(Quality of Experience, QoE) 메트릭을 상기 적어도 하나의 UE로부터 수집하는 단계
를 수행하는, NWDAF.
제10항에서,
상기 필요한 데이터를 수집할 때, 상기 프로세서는,
모델 배포(model distribution)의 성공률 또는 로컬 업데이트 결과의 업로드 성공률에 관한 맞춤화된 평균 의견 점수(mean opinion score, MOS)를 상기 AF로부터 수집하는 단계
를 수행하는, NWDAF.
제10항에서,
상기 AF로부터 UE 레벨의 그래뉼래러티의 분석 정보의 요청을 수신하는 단계를 수행할 때, 상기 프로세서는,
상기 코어 네트워크를 통해 상기 AF의 상기 분석 정보의 요청을 수신하는 단계
를 수행하는, NWDAF.
제15항에서,
상기 필요한 데이터를 바탕으로 도출된 상기 분석 정보를 상기 AF에게 제공하는 단계를 수행할 때, 상기 프로세서는,
상기 분석 정보를 상기 AF에게 제공하는 단계
를 수행하는, NWDAF.
사용자 장비(user equipment, UE)의 선택을 위한 보조 정보를 제공하는 방법으로서,
응용 기능(application function, AF)으로부터 사용자 장비(user equipment, UE) 레벨의 그래뉼래러티의 분석 정보가 요청되면, 코어 네트워크의 네트워크 데이터 분석 기능(network data analytics function, NWDAF)에게 상기 분석 정보의 요청을 전달하는 단계, 그리고
적어도 하나의 UE 및 상기 코어 네트워크의 네트워크 기능(network function, NF)로부터 수집된 상기 보조 정보 및 상기 NWDAF로부터 수신되는 분석 정보를 상기 AF에게 전달하는 단계
를 포함하는 방법.
제17항에서,
상기 코어 네트워크의 네트워크 데이터 분석 기능(network data analytics function, NWDAF)에게 상기 분석 정보의 요청을 전달하는 단계는,
통합 데이터 관리 기능(unified data management, UDM)에 저장된 구독 정보를 바탕으로 인공지능(artificial intelligence, AI)/기계 학습(machine learning, ML) 동작에 대한 참여에 동의한 UE를 확인하는 단계
를 포함하는, 방법.
제18항에서,
상기 코어 네트워크의 네트워크 데이터 분석 기능(network data analytics function, NWDAF)에게 상기 분석 정보의 요청을 전달하는 단계는,
상기 참여에 동의한 UE를 상기 분석 정보의 타깃으로서 상기 NWDAF에게 전달하는 단계
를 포함하는, 방법.