KR20220003513A - 머신 러닝을 이용한 근본 원인 분석 및 자동화 - Google Patents
머신 러닝을 이용한 근본 원인 분석 및 자동화 Download PDFInfo
- Publication number
- KR20220003513A KR20220003513A KR1020217033631A KR20217033631A KR20220003513A KR 20220003513 A KR20220003513 A KR 20220003513A KR 1020217033631 A KR1020217033631 A KR 1020217033631A KR 20217033631 A KR20217033631 A KR 20217033631A KR 20220003513 A KR20220003513 A KR 20220003513A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- rules
- kpi
- alert
- rule
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/0636—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis based on a decision tree analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/064—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5003—Managing SLA; Interaction between SLA and QoS
- H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
네트워크 이상을 발견하고 진단하는 방법이 제공된다. 이 방법은 KPI(key performance indicator) 데이터 및 경보 데이터를 수신하는 단계를 포함한다. 이 방법은 KPI 데이터와 경보 데이터를 이산화하여 얻은 샘플들에 기초하여 특징들을 추출하는 단계를 포함한다. 이 방법은 특징들에 기초하여 규칙들의 세트를 생성하는 단계를 포함한다. 이 방법은 샘플을 정상 샘플 또는 이상 샘플로 식별하는 단계를 포함한다. 샘플을 이상 샘플로 식별한 것에 응답하여, 이 방법은 샘플에 대응하는 제 1 규칙을 식별하는 단계를 포함하며, 여기서 이 제 1 규칙은 샘플에 포함된 이상의 징후들 및 근본 원인들을 나타낸다. 이 방법은 이상에 대한 근본 원인 설명을 도출하기 위해 근본 원인들을 적용하고, 제 1 규칙에 기초하여 이상을 해결하기 위해 시정 조치를 수행하는 단계를 포함한다.
Description
본 개시는 일반적으로 셀룰러 네트워크에서 이상들(anomalies)의 근본 원인 분석을 기반으로 하는 머신 러닝에 관한 것이다. 보다 구체적으로, 본 개시는 네트워크 이상들을 발견, 진단 및 복구하는 것에 관한 것이다.
최근 셀룰러 네트워크와 같은 무선 통신 서비스 가입자 수는 50억 명을 넘어 섰고 계속해서 빠르게 증가하고 있다. 무선 데이터 트래픽에 대한 수요는 스마트 폰과 태블릿, "노트 패드" 컴퓨터, 넷북, eBook 리더 및 머신 유형 장치와 같은 기타 모바일 데이터 장치의 소비자와 기업 사이에서 인기가 높아지면서 빠르게 증가하고 있다.
모바일 데이터 트래픽에 대한 폭발적인 수요는 제한된 대역폭과 인프라를 고려할 때 모바일 네트워크 사업자에게 상당한 운영 문제를 부과한다. 더 높은 무선 주파수 간섭과 같은 네트워크 상태 변화는 미디어 컨텐츠를 스트리밍하는 동안 지연 증가와 같은 사용자 경험에 부정적인 영향을 미친다. 따라서, 사용자 경험을 높이기 위해, 서비스 제공 업체는 이상을 신속하게 발견하고, 이상의 기저가 되는 근본 원인을 찾아 처리 방안 조치를 적용해야 한다. 셀룰러 네트워크는 일반적으로 네트워크 이상을 감지하고 수정하는데 상당한 시간과 인력이 필요하다. 이것은 필연적으로 네트워크 중단을 장기화하고 최종 사용자의 경험 품질을 떨어뜨리게 된다.
본 개시는 머신 러닝을 사용한 근본 원인 분석 및 자동화를 제공한다.
일 실시예에서, 네트워크 이상을 발견하고 진단하기 위한 장치가 제공된다. 이 장치는 통신 인터페이스 및 프로세서를 포함한다. 통신 인터페이스는 KPI(key performance indicator) 데이터 및 경보 데이터(alarm data)를 수신하도록 구성된다. 프로세서는 KPI 데이터와 경보 데이터를 이산화하여 얻은 샘플들에 기초하여 특징들을 추출하도록 구성된다. 프로세서는 특징들에 기초하여 규칙들의 세트를 생성하도록 구성되며, 규칙들을 만족하는 샘플들의 일부가 이상들에 대응한다. 프로세서는 KPI 데이터 및 경보 데이터에 기초하여 샘플들 중의 일 샘플을 정상 샘플 또는 이상 샘플로 식별하도록 구성된다. 샘플을 이상 샘플로 식별하는 것에 응답하여, 프로세서는 샘플에 대응하는 제 1 규칙을 식별하도록 구성되며, 여기서 제 1 규칙은 샘플에 포함된 이상의 징후 및 근본 원인을 나타낸다. 프로세서는 이상의 징후들 및 근본 원인들에 링크된 KPI들에 기초하여 이상에 대한 근본 원인 설명을 도출하기 위해 근본 원인들을 적용하도록 구성된다. 프로세서는 제 1 규칙에 기초하여 이상을 해결하기 위한 시정 조치를 수행하도록 구성된다.
다른 실시예에서, 방법이 제공된다. 이 방법은 KPI 데이터 및 경보 데이터를 수신하는 단계를 포함한다. 이 방법은 KPI 데이터와 경보 데이터를 이산화하여 얻은 샘플들에 기초하여 특징들을 추출하는 단계를 포함한다. 이 방법은 특징들에 기초하여 규칙들의 세트를 생성하는 단계를 포함하며, 여기서 규칙들을 만족하는 샘플들의 일부가 이상들에 대응한다. 이 방법은 샘플을 정상 샘플 또는 이상 샘플로 식별하는 단계를 포함한다. 샘플을 이상 샘플로 식별한 것에 응답하여, 이 방법은 샘플에 대응하는 제 1 규칙을 식별하는 단계를 포함한다. 제 1 규칙은 샘플에 포함된 이상의 징후들 및 근본 원인들을 나타낸다. 이 방법은 이상의 징후들 및 근본 원인들에 링크된 KPI들에 기초하여 이상에 대한 근본 원인 설명을 도출하기 위해 근본 원인들을 적용하는 단계를 포함한다. 이 방법은 제 1 규칙에 기초하여 이상을 해결하기 위해 시정 조치를 수행하는 단계를 포함한다.
다른 기술적 특징들은 다음의 도면, 설명 및 청구 범위로부터 당업자에게 쉽게 명백해질 수 있다.
본 개시 및 그 이점에 대한 보다 완전한 이해를 위해, 이제 첨부 도면과 함께 취해지는 다음의 설명에 대한 참조가 이루어지며, 도면에서 유사한 참조 부호는 유사한 부분을 나타낸다.
도 1은 본 개시의 다양한 실시예들에 따른 예시적인 컴퓨팅 시스템을 도시한 것이다.
도 2a-2b 및 도 3a-3b는 본 개시의 다양한 실시예들에 따른 컴퓨팅 시스템의 예시적인 장치들을 도시한 것이다.
도 4a는 본 개시의 다양한 실시예들에 따른 머신 러닝을 사용하기 위한 근본 원인 분석 프레임워크를 도시한 것이다.
도 4b는 본 개시의 다양한 실시예들에 따른 트래픽 예측 기반 이상 검출을 위한 블록도를 도시한 것이다.
도 4c는 본 개시의 다양한 실시예들에 따른 이상 예측에 기초한 트래픽 예상을 위한 블록도를 도시한 것이다.
도 4d는 본 개시의 다양한 실시예들에 따른, 분위수 회귀 포레스트의 예시적인 프레임워크를 도시한 것이다.
도 5a는 본 개시의 다양한 실시예들에 따른 이산화 파라미터 임계값을 선택하기 위한 블록도를 도시한 것이다.
도 5b는 본 개시의 다양한 실시예들에 따른 예시적인 KPI 트리 계층 구조를 도시한 것이다.
도 5c는 본 개시의 다양한 실시예들에 따른 KPI 트리 계층 구조를 구성하기 위한 흐름도를 도시한 것이다.
도 5d는 본 개시의 다양한 실시예들에 따른 KPI 트리 계층 구조의 예시적인 출력을 도시한 것이다.
도 5e는 본 개시의 다양한 실시예들에 따른 주요 품질 인디케이터 이상 및 경보 데이터를 상관시키기 위한 다이어그램을 도시한 것이다.
도 5f는 본 개시의 다양한 실시예들에 따른 경보 및 PM 데이터의 시간 콜레이션에 대한 다이어그램을 도시한 것이다.
도 5g는 본 개시의 다양한 실시예들에 따른 이력 데이터를 사용하여 경보 및 PM 데이터를 콜레이션 및 공동 처리하기 위한 흐름도를 도시한 것이다.
도 5h는 본 개시의 다양한 실시예들에 따라 실시간으로 경보 및 PM 데이터를 콜레이션 및 공동 처리하기 위한 흐름도를 도시한 것이다.
도 6은 본 개시의 다양한 실시예들에 따른 근본 원인 설명을 생성하는 프로세스를 도시한 것이다.
도 7은 본 개시의 다양한 실시예들에 따른 특정 KQI 이상에 대한 근본 원인 분석을 관련시키기 위한 예시적인 결정 트리를 도시한 것이다.
도 8은 본 개시의 다양한 실시예들에 따른 네트워크 이상을 발견하고 진단하기 위한 예시적인 방법을 도시한 것이다.
도 1은 본 개시의 다양한 실시예들에 따른 예시적인 컴퓨팅 시스템을 도시한 것이다.
도 2a-2b 및 도 3a-3b는 본 개시의 다양한 실시예들에 따른 컴퓨팅 시스템의 예시적인 장치들을 도시한 것이다.
도 4a는 본 개시의 다양한 실시예들에 따른 머신 러닝을 사용하기 위한 근본 원인 분석 프레임워크를 도시한 것이다.
도 4b는 본 개시의 다양한 실시예들에 따른 트래픽 예측 기반 이상 검출을 위한 블록도를 도시한 것이다.
도 4c는 본 개시의 다양한 실시예들에 따른 이상 예측에 기초한 트래픽 예상을 위한 블록도를 도시한 것이다.
도 4d는 본 개시의 다양한 실시예들에 따른, 분위수 회귀 포레스트의 예시적인 프레임워크를 도시한 것이다.
도 5a는 본 개시의 다양한 실시예들에 따른 이산화 파라미터 임계값을 선택하기 위한 블록도를 도시한 것이다.
도 5b는 본 개시의 다양한 실시예들에 따른 예시적인 KPI 트리 계층 구조를 도시한 것이다.
도 5c는 본 개시의 다양한 실시예들에 따른 KPI 트리 계층 구조를 구성하기 위한 흐름도를 도시한 것이다.
도 5d는 본 개시의 다양한 실시예들에 따른 KPI 트리 계층 구조의 예시적인 출력을 도시한 것이다.
도 5e는 본 개시의 다양한 실시예들에 따른 주요 품질 인디케이터 이상 및 경보 데이터를 상관시키기 위한 다이어그램을 도시한 것이다.
도 5f는 본 개시의 다양한 실시예들에 따른 경보 및 PM 데이터의 시간 콜레이션에 대한 다이어그램을 도시한 것이다.
도 5g는 본 개시의 다양한 실시예들에 따른 이력 데이터를 사용하여 경보 및 PM 데이터를 콜레이션 및 공동 처리하기 위한 흐름도를 도시한 것이다.
도 5h는 본 개시의 다양한 실시예들에 따라 실시간으로 경보 및 PM 데이터를 콜레이션 및 공동 처리하기 위한 흐름도를 도시한 것이다.
도 6은 본 개시의 다양한 실시예들에 따른 근본 원인 설명을 생성하는 프로세스를 도시한 것이다.
도 7은 본 개시의 다양한 실시예들에 따른 특정 KQI 이상에 대한 근본 원인 분석을 관련시키기 위한 예시적인 결정 트리를 도시한 것이다.
도 8은 본 개시의 다양한 실시예들에 따른 네트워크 이상을 발견하고 진단하기 위한 예시적인 방법을 도시한 것이다.
아래의 상세한 설명에 들어가기 전에, 본 특허 명세서 전체에 걸쳐 사용되는 특정 단어 및 어구들의 정의를 기재하는 것이 도움이 될 수 있다. 용어 "커플(couple)" 및 그 파생어는 두 개 이상의 요소 사이의 어떤 직접 또는 간접 통신을 나타내거나, 이들 요소가 서로 물리적으로 접촉하고 있는지의 여부를 나타낸다. 용어 "송신(transmit)", "수신(receive)" 및 "통신(communicate)" 그리고 그 파생어는 직접 통신 및 간접 통신 모두를 포함한다. 용어 "포함한다(include)" 및 "구성한다(comprise)" 그리고 그 파생어는 제한이 아닌 포함을 의미한다. 용어 "또는(or)"은 포괄적 용어로써, '및/또는'을 의미한다. 어구 "~와 연관되다(associated with)" 및 그 파생어는 ~을 포함한다(include), ~에 포함된다(be included within), ~와 결합하다(interconnect with), ~을 함유하다(contain), ~에 함유되어 있다(be contained within), ~에 연결한다(connect to or with), ~와 결합하다(couple to or with), ~ 전달한다(be communicable with), 와 협력하다(cooperate with), ~를 끼우다(interleave), ~을 나란히 놓다(juxtapose), ~에 인접하다(be proximate to), 구속하다/구속되다(be bound to or with), 소유하다(have), 속성을 가지다(have a property of), ~와 관계를 가지다(have a relationship to or with) 등을 의미한다. 용어 "컨트롤러(controller)"는 적어도 하나의 동작을 제어하는 어떤 장치, 시스템 또는 그 일부를 의미한다. 이러한 컨트롤러는 하드웨어 또는 하드웨어와 소프트웨어의 조합 및/또는 펌웨어로 구현될 수 있다. 특정 컨트롤러와 관련된 기능은 로컬 또는 원격으로 중앙 집중식으로 처리(centralized)되거나 또는 분산식으로 처리(distributed)될 수 있다. 어구 "적어도 하나"는, 그것이 항목들의 나열과 함께 사용될 경우, 나열된 항목들 중 하나 이상의 상이한 조합이 사용될 수 있음을 의미한다. 예를 들어, "A, B, 및 C 중 적어도 하나"는 다음의 조합, 즉 A, B, C, A와 B, A와 C, B와 C, 그리고 A와 B와 C 중 어느 하나를 포함한다.
또한, 후술하는 각종 기능들은 컴퓨터 판독 가능한 프로그램 코드로 형성되고 컴퓨터 판독 가능한 매체에서 구현되는 하나 이상의 컴퓨터 프로그램 각각에 의해 구현 또는 지원될 수 있다. 용어 "애플리케이션" 및 "프로그램"은 하나 이상의 컴퓨터 프로그램, 소프트웨어 컴포넌트, 명령 세트, 프로시저, 함수, 객체, 클래스, 인스턴스, 관련 데이터, 혹은 적합한 컴퓨터 판독 가능한 프로그램 코드에서의 구현용으로 구성된 그것의 일부를 지칭한다. 어구 "컴퓨터 판독 가능한 프로그램 코드"는 소스 코드, 오브젝트 코드, 및 실행 가능한 코드를 포함하는 컴퓨터 코드의 종류를 포함한다. 어구 "컴퓨터 판독 가능한 매체"는 ROM(read only memory), RAM(random access memory), 하드 디스크 드라이브, 컴팩트 디스크(CD), 디지털 비디오 디스크(DVD), 혹은 임의의 다른 타입의 메모리와 같은, 컴퓨터에 의해 액세스될 수 있는 임의의 타입의 매체를 포함한다. "비-일시적인" 컴퓨터 판독 가능한 매체는 유선, 무선, 광학, 일시적인 전기적 또는 다른 신호들을 전달시키는 통신 링크를 제외한다. 비-일시적 컴퓨터 판독 가능한 매체는 데이터가 영구적으로 저장되는 매체 그리고 재기록이 가능한 광디스크 또는 소거 가능한 메모리 장치와 같은, 데이터가 저장되어 나중에 덮어 씌어지는 매체를 포함한다.
다른 특정 단어 및 어구에 대한 정의가 이 특허 명세서 전반에 걸쳐 제공된다. 당업자는 대부분의 경우가 아니더라도 다수의 경우에 있어서, 이러한 정의는 종래에 뿐만 아니라 그러한 정의된 단어 및 어구의 향후 사용에 적용될 수 있음을 이해해야 한다.
이하에 설명되는 도 1 내지 도 8, 및 이 특허 명세서에 있어서의 본 개시의 원리들을 설명하기 위해 사용되는 각종 실시예들은 단지 설명을 위한 것이며, 어떠한 방식으로도 본 개시의 범위를 제한하는 방식으로 해석되어서는 안된다. 본 개시의 원리들은 임의의 적절하게 구성된 무선 통신 시스템에서 구현될 수 있다는 것을 당업자는 이해할 수 있을 것이다.
4G 통신 시스템 구축 이후 데이터 트래픽이 증가했다. 무선 데이터 트래픽에 대한 수요를 충족시키기 위해, 5G 통신 시스템 또는 pre-5G 통신 시스템을 개발하기 위한 노력이 이루어지고 있다. 이러한 이유로, 5G 통신 시스템 또는 pre-5G 통신 시스템은 '비욘드(Beyond) 4G 네트워크' 또는 '포스트(Post) LTE 시스템'이라 불리어지고 있다.
5G 통신 시스템은 더 높은 데이터 전송률을 달성하기 위해 더 높은 주파수(mmWave) 대역(예를 들면, 60GHz 대역)에서 구현되는 것으로 간주된다. 무선파의 전파 손실을 줄이고 송신 거리를 늘리기 위해, 5G 통신 시스템에서는 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO), 전차원 다중입출력(Full Dimensional MIMO, FD-MIMO), 어레이 안테나(array antenna), 아날로그 빔포밍(analog beam forming), 및 대규모 안테나(large scale antenna) 기술들이 논의되고 있다.
또한, 시스템 네트워크 개선을 위해, 5G 통신 시스템에서는 개선된 소형 셀(advanced small cell), 클라우드 무선 액세스 네트워크(cloud radio access network, cloud RAN), 초고밀도 네트워크(ultra-dense network), D2D(device-to-device) 통신, 무선 백홀(wireless backhaul), 이동 네트워크, 협력 통신, CoMP(Coordinated Multi-Points), 및 수신단 간섭 제거 등의 기술 개발이 이루어지고 있다. 5G 시스템에서는, 진보된 코딩 변조(advanced coding modulation, ACM) 기술인 FQAM(hybrid frequency shift keying and quadrature amplitude modulation) 및 SWSC(sliding window superposition coding)와, 진보된 액세스 기술인 FBMC(filter bank multi carrier), NOMA(non-orthogonal multiple access), 및 SCMA(sparse code multiple access)가 개발되고 있다.
도 1은 본 개시에 따른 예시적 무선 네트워크(100)를 도시한 것이다. 도 1에 나타낸 무선 네트워크(100)의 실시예는 단지 설명을 위한 것이다. 무선 네트워크(100)에 대한 다른 실시예들이 본 개시의 범위를 일탈하지 않는 범위 내에서 사용될 수 있다.
무선 네트워크(100)는 eNB(eNodeB)(101), eNB(102) 및 eNB(103)를 포함한다. eNB(101)는 eNB(102) 및 eNB(103)와 통신한다. eNB(101)는 또한 인터넷, 독점 IP 네트워크 또는 다른 데이터 네트워크와 같은 적어도 하나의 인터넷 프로토콜(IP) 네트워크(130)와 통신한다. 특정 실시예들에서, 무선 네트워크(100)는 eNB를 유지하는 서버를 포함한다.
네트워크 타입에 따라 "기지국" 또는 "BS"라는 용어는 네트워크에 무선 액세스를 제공하도록 구성된 컴포넌트(또는 컴포넌트 집합), 예를 들면, 송신 포인트(TP), 송-수신 포인트(TRP), 향상된 기지국(eNodeB 또는 eNB 또는 gNB), 매크로셀, 펨토셀, WiFi 액세스 포인트(AP) 또는 기타 무선 가능 장치를 지칭할 수 있다. 기지국은 하나 이상의 무선 통신 프로토콜, 예컨대 5G 3GPP 새로운 무선 인터페이스/액세스(NR), LTE(long term evolution), LTE-A(LTE-advanced), HSPA(high speed packet access), Wi-Fi 802.11a/b/g/n/ac 등에 따라 무선 액세스를 제공할 수 있다. 편의상, 용어 "BS" 및 "TRP"는 본 특허 명세서에서 원격 단말에 대한 무선 액세스를 제공하는 네트워크 인프라스트럭처를 나타내기 위해 상호 교환적으로 사용된다. 또한, 네트워크 타입에 따라, "사용자 장비" 또는 "UE"라는 용어는 "이동국", "가입자국", "원격 단말", "원격 단말", "무선 단말", "수신 포인트" 또는 "사용자 장치"와 같은 임의의 컴포넌트를 지칭할 수 있다. 편의상, 용어들 "사용자 장비" 및 "UE"는, UE가 이동 장치(예컨대, 휴대 전화기 또는 스마트 폰)이든 일반적으로 고려되는 고정 장치(예컨대, 데스크탑 컴퓨터 또는 벤딩 머신)이든 간에, BS에 무선으로 액세스하는 원격 무선 장비를 지칭하는 것으로 본 특허 명세서에서는 사용된다.
eNB(102)는 eNB(102)의 커버리지 영역(120) 내에 있는 제 1 복수의 사용자 장비(UE)들에게, 네트워크(130)에의 무선 광대역 액세스를 제공한다. 제 1 복수의 UE들은 중소기업(SB)에 위치할 수 있는 UE(111); 대기업(E)에 위치할 수 있는 UE(112); 와이파이 핫 스팟(HS)에 위치할 수 있는 UE(113); 제 1 주거지역(R)에 위치할 수 있는 UE(114); 제 2 주거지역(R)에 위치할 수 있는 UE(115); 및 휴대 전화, 무선 랩탑, 무선 PDA, 서버 등과 같은 모바일 장치(M)일 수 있는 UE(116)를 포함한다. eNB(103)는 eNB(103)의 커버리지 영역(125) 내에 있는 제 2 복수의 UE들에게, 네트워크(130)에의 무선 광대역 액세스를 제공한다. 제 2 복수의 UE들은 UE(115) 및 UE(116)를 포함한다. 몇몇 실시예들에서, eNB들(101-103) 중 하나 이상의 eNB들은 5G, LTE(long-term evolution), LTE-A, WiMAX 또는 다른 무선 통신 기술들을 사용하여 서로 간에 및 UE들(111-116)과 통신할 수 있다.
점선은, 단지 예시 및 설명의 목적으로 대략의 원형으로 나타낸 커버리지 영역들(120 및 125)의 대략적인 범위들을 나타낸다. eNB들과 연관된 커버리지 영역들, 예를 들어 커버리지 영역들(120 및 125)은 eNB들의 구성, 및 자연 및 인공 장애물들과 관련된 무선 환경의 변화에 따라, 불규칙한 형태들을 포함하는 다른 형태들을 가질 수 있음을 명확하게 이해해야 한다.
아래에서 자세히 설명하는 바와 같이, 셀룰러 네트워크는 다양한 네트워크 이상을 감지하고 수정하는데 상당한 시간과 인력을 사용한다. 따라서, 사람의 개입으로 인해 네트워크가 장기간 중단되고 최종 사용자의 경험 품질이 저하될 수 있다. 본 개시의 실시예들은 네트워크 이상의 발견 및 진단을 효율적이고 정확하게 자동화하기 위한 분석을 제공한다. 예를 들어, 본 개시의 실시예들은 머신 러닝을 사용하여 네트워크 이상을 발견하고 이상의 근본 원인을 밝히는 프로세스에 대해 설명한다.
도 1이 무선 네트워크(100)의 일 예를 도시한 것이지만, 다양한 변화들이 도 1에 대하여 이루어질 수 있다. 예를 들어, 무선 네트워크(100)는 임의의 적절한 배열로 임의의 개수의 eNB들 및 임의의 개수의 UE들을 포함할 수 있다. 또한, eNB(101)는 임의의 개수의 UE들과 직접 통신하여, 이 UE들에게 네트워크(130)로의 무선 광대역 액세스를 제공할 수 있다. 이와 유사하게, 각 eNB(102-103)는 네트워크(130)와 직접 통신하여, UE들에게 네트워크(130)로의 직접 무선 광대역 액세스를 제공할 수 있다. 또한, eNB들(101, 102, 및/또는 103)은 외부 전화 네트워크들 또는 다른 타입의 데이터 네트워크들과 같은 다른 또는 추가의 외부 네트워크들에의 액세스를 제공할 수 있다. 또한, eNB(101-103)는 네트워크 상태를 나타내는 경보들 및 핵심 성능 인디케이터들과 같은 데이터를 서버에 전송할 수 있다. 서버는 네트워크의 문제를 검출 및 진단할 수 있을뿐만 아니라 검출 및 진단된 문제를 기반으로 수행할 시정 조치에 대한 지침을 제공할 수도 있다.
도 2a 및 도 2b는 본 개시에 따른 무선 송신 및 수신 경로들을 도시한 것이다. 다음의 설명에서, 송신 경로(200)는 eNB(예를 들어, eNB(102))에서 구현되는 것으로 기술될 수 있으며, 수신 경로(250)는 UE(예를 들어, UE(116))에서 구현되는 것으로 기술될 수 있다. 그러나, 수신 경로(250)가 eNB에서 구현될 수도 있으며, 송신 경로(200)가 UE에서 구현될 수도 있음을 이해할 것이다.
송신 경로(200)는 채널 코딩 및 변조 블록(205), 직렬-병렬(S-to-P) 블록(210), 사이즈 N 역 고속 푸리에 변환(Inverse Fast Fourier Transform, IFFT) 블록(215), 병렬-직렬(P-to-S) 블록(220), 가산 사이클릭 프리픽스 블록(225), 및 업-컨버터(up-converter, UC)(230)를 포함한다. 수신 경로(250)는 다운-컨버터(down-converter, DC)(255), 제거 사이클릭 프리픽스 블록(260), 직렬-병렬(S-to-P) 블록(265), 사이즈 N 고속 푸리에 변환(Fast Fourier Transform, FFT) 블록(270), 병렬-직렬(P-to-S) 블록(275), 및 채널 디코딩 및 복조 블록(280)을 포함한다.
송신 경로(200)에서, 채널 코딩 및 변조 블록(205)은 정보 비트들의 세트를 수신하여, 코딩(예를 들면, 저밀도 패리티 검사(LDPC) 코딩)을 적용하고, 그 입력 비트들을 변조(예를 들어, QPSK(Quadrature Phase Shift Keying) 또는 QAM(Quadrature Amplitude Modulation))함으로써, 주파수-영역 변조 심볼들의 시퀀스를 생성한다. 직렬-병렬 블록(210)은 직렬 변조된 심볼들을 병렬 데이터로 변환(예를 들면, 역다중화)하여 N 병렬 심볼 스트림들을 생성하며, 여기서 N은 eNB(102) 및 UE(116)에서 사용되는 IFFT/FFT 크기이다. 사이즈 N IFFT 블록(215)은 N 병렬 심볼 스트림들 상에서 IFFT 동작을 수행하여, 시간 도메인 출력 신호들을 생성한다. 병렬-직렬 블록(220)은 사이즈 N IFFT 블록(215)으로부터의 병렬 시간 도메인 출력 심볼들을 변환(예를 들면, 다중화)하여, 직렬 시간 도메인 신호를 생성한다. 가산 사이클릭 프리픽스 블록(225)은 시간 도메인 신호에 사이클릭 프리픽스를 삽입한다. 업-컨버터(230)는 무선 채널을 통한 송신을 위해 가산 사이클릭 프리픽스 블록(225)의 출력을 RF 주파수로 변조(예를 들면, 상향 변환)한다. 또한, 이 신호는 RF 주파수로 변환하기 이전에, 기저대역에서 필터링될 수도 있다.
eNB(102)로부터 송신된 RF 신호는 무선 채널을 통과한 이후에 UE(116)에 도달하며, eNB(102)에의 동작들에 대한 역 동작들이 UE(116)에서 수행된다. 다운-컨버터(255)는 수신된 신호를 기저대역 주파수로 하향 변환하며, 제거 사이클릭 프리픽스 블록(260)은 그 사이클릭 프리픽스를 제거하여, 직렬 시간 도메인 기저대역 신호를 생성한다. 직렬-병렬 블록(265)은 시간 도메인 기저대역 신호를 병렬 시간 도메인 신호들로 변환한다. 사이즈 N FFT 블록(270)은 FFT 알고리즘을 수행하여 N 병렬 주파수 도메인 신호들을 생성한다. 병렬-직렬 블록(275)은 병렬 주파수 도메인 신호들을 변조된 데이터 심볼들의 시퀀스로 변환한다. 채널 디코딩 및 복조 블록(280)은 그 변조된 심볼들에 대한 복조를 행한 후에 디코딩함으로써, 원래의 입력 데이터 스트림을 복구한다.
eNB들(101-103) 각각은 UE들(111-116)로의 다운링크 송신과 유사한 송신 경로(200)를 구현할 수 있으며, UE들(111-116)로부터의 업링크 수신과 유사한 수신 경로(250)를 구현할 수도 있다. 이와 유사하게, UE들(111-116) 각각은 eNB들(101-103)로의 업링크 송신을 위한 송신 경로(200)를 구현할 수 있으며, eNB들(101-103)로부터의 다운링크 수신을 위한 수신 경로(250)를 구현할 수도 있다.
도 2a 및 도 2b에서의 구성 요소들 각각은, 하드웨어만을 이용하거나 또는 하드웨어와 소프트웨어/펌웨어의 조합을 이용하여 구현될 수 있다. 특정한 예로서, 도 2a 및 도 2b에서의 구성 요소들 중 적어도 몇몇은 소프트웨어로 구현될 수 있는 한편, 다른 구성 요소들은 구성 가능한 하드웨어 또는 소프트웨어와 구성 가능한 하드웨어의 혼합에 의해 구현될 수 있다. 예를 들어, FFT 블록(270) 및 IFFT 블록(215)은 구성 가능한 소프트웨어 알고리즘들로서 구현될 수 있으며, 여기서 사이즈 N의 값은 그 구현에 따라 변경될 수 있다.
더욱이, FFT 및 IFFT를 사용하는 것으로 설명되었지만, 이것은 단지 예시일 뿐이며 본 개시의 범위를 제한하는 것으로 해석되어서는 안된다. DFT(Discrete Fourier Transform) 및 IDFT(Inverse Discrete Fourier Transform) 함수와 같은 다른 타입의 변환을 사용할 수 있다. DFT 및 IDFT 함수들의 경우, 변수 N의 값은 임의의 정수(예를 들어, 1, 2, 3, 4 등)가 될 수 있으며, FFT 및 IFFT 함수들의 경우, 변수 N의 값은 2의 제곱(예를 들면, 1, 2, 4, 8, 16 등)인 임의의 정수가 될 수 있음을 이해할 것이다.
도 2a 및 도 2b가 무선 송신 및 수신 경로의 예들을 도시하였지만, 다양한 변형들이 도 2a 및 도 2b에 대하여 이루어질 수 있다. 예를 들어, 도 2a 및 도 2b에서의 각종 구성 요소들이 결합될 수 있으며, 더 세분화되거나, 또는 생략될 수도 있고, 특정 필요에 따라서는 추가의 구성 요소들이 추가될 수도 있다. 또한, 도 2a 및 도 2b는 무선 네트워크에서 사용될 수 있는 송신 및 수신 경로들의 타입의 예들을 설명하기 위한 것이다. 임의의 다른 적절한 아키텍처들이 무선 네트워크에서 무선 통신들을 지원하는데 사용될 수 있다.
도 3a는 본 개시에 따른 예시적 UE(116)를 도시한 것이다. 도 3a에 도시된 UE(116)의 실시예는 단지 예시를 위한 것이며, 도 1의 UE들(111-115)은 동일하거나 유사한 구성을 가질 수 있다. 그러나, UE들은 다양한 구성들로 나타나며, 도 3a는 UE의 임의의 특정 구현으로 본 개시의 범위를 제한하지 않는다.
특정 실시예들에서, UE(116)는 네트워크 이상을 검출하고, 이상을 진단하고, 검출된 이상을 시정하기 위한 명령을 제공하기 위해 eNB들(101-103)로부터 경보 데이터 및 핵심 성능 인디케이터 데이터를 수신한다. 특정 실시예들에서, 네트워크 이상을 검출하고, 이상을 진단하고, 검출된 이상을 시정하기 위한 명령을 제공하는 것은 완전히 또는 부분적으로 자동으로 수행될 수 있다.
UE(116)는 안테나(305), 무선 주파수(RF) 트랜시버(310), 송신(TX) 처리 회로(315), 마이크로폰(320) 및 수신(RX) 처리 회로(325)를 포함한다. UE(116)는 또한 스피커(330), 메인 프로세서(340), 입/출력(I/O) 인터페이스(345), 입력부(350), 디스플레이(355) 및 메모리(360)를 포함한다. 메모리(360)는 기본 운영 체제(OS) 프로그램(361) 및 하나 이상의 애플리케이션(362)을 포함한다.
RF 트랜시버(310)는 무선 네트워크(100)의 eNB에 의해 송신되는 내향(incoming) RF 신호를 안테나(305)로부터 수신한다. RF 트랜시버(310)는 내향 RF 신호를 하향 변환하여 IF(Intermediate Frequency) 또는 기저대역 신호를 생성한다. IF 또는 기저대역 신호는, 그 기저대역 또는 IF 신호를 필터링, 디코딩 및/또는 디지털화함으로써 처리된 기저대역 신호를 생성하는 RX 처리 회로(325)로 송신된다. RX 처리 회로(325)는 그 처리된 기저대역 신호를 스피커(330)(예를 들면, 음성 데이터) 또는 추가 처리(예를 들면, 웹 브라우징 데이터)를 위해 메인 프로세서(340)로 송신한다.
TX 처리 회로(315)는 마이크로폰(320)으로부터 아날로그 또는 디지털 음성 데이터를 수신하거나 또는 메인 프로세서(340)로부터 다른 외향(outgoing) 기저대역 데이터(예를 들어, 웹 데이터, 이-메일, 또는 쌍방향 비디오 게임 데이터)를 수신한다. TX 처리 회로(315)는 그 외향 기저대역 데이터를 인코딩, 다중화, 및/또는 디지털화하여, 처리된 기저대역 또는 IF 신호를 생성한다. RF 트랜시버(310)는 TX 처리 회로(315)로부터 외향 처리된 기저대역 또는 IF 신호를 수신하고, 그 기저대역 또는 IF 신호를, 안테나(305)를 통해 송신되는 RF 신호로 상향 변환한다.
메인 프로세서(340)는 하나 이상의 프로세서들 또는 다른 처리 디바이스들을 포함할 수 있으며, 메모리(360)에 저장된 기본 OS 프로그램(361)을 실행함으로써 UE(116)의 전반적인 동작을 제어할 수 있다. 예를 들어, 메인 프로세서(340)는 잘 알려진 원리들에 따라 RF 트랜시버(310), RX 처리 회로(325), 및 TX 처리 회로(315)에 의해 순방향 채널 신호들의 수신 및 역방향 채널 신호들을 송신을 제어할 수 있다. 몇몇 실시예들에서, 메인 프로세서(340)는 적어도 하나의 마이크로프로세서 또는 마이크로컨트롤러를 포함한다.
메인 프로세서(340)는 또한 본 개시의 실시예들에서 설명된 바와 같이 머신 러닝을 사용하여 근본 원인 분석 및 자동화를 위한 동작들과 같이, 메모리(360)에 상주하는 다른 프로세스들 및 프로그램들을 실행할 수 있다. 메인 프로세서(340)는 실행 프로세스에 의한 요구에 따라 메모리(360) 내로 또는 외부로 데이터를 이동할 수 있다. 몇몇 실시예들에서, 메인 프로세서(340)는 OS 프로그램(361)에 기초하여 또는 eNB들 또는 오퍼레이터로부터 수신된 신호들에 따라 애플리케이션들(362)을 실행하도록 구성된다. 또한, 메인 프로세서(340)는, 랩탑 컴퓨터들 및 휴대용 컴퓨터들과 같은 다른 디바이스들에 연결되는 능력을 UE(116)에게 제공하는 I/O 인터페이스(345)에 커플링되어 있다. I/O 인터페이스(345)는 이 주변기기들과 메인 프로세서(340) 간의 통신 경로이다.
메인 프로세서(340)는 또한 입력부(350) 및 디스플레이(355)에 커플링된다. UE(116)의 운영자는 입력부(350)와 같은 키패드를 사용하여 UE(116)에 데이터를 입력할 수 있다. 디스플레이(355)는 웹 사이트로부터의 텍스트 및/또는 적어도 제한된 그래픽을 렌더링할 수 있는 액정 디스플레이 또는 다른 디스플레이일 수 있다.
메모리(360)는 메인 프로세서(340)에 커플링된다. 메모리(360)의 일부는 랜덤 액세스 메모리(RAM)를 포함할 수 있고, 메모리(360)의 다른 부분은 플래시 메모리 또는 다른 읽기 전용 메모리(ROM)를 포함할 수 있다. 도 3a가 UE(116)의 일 예를 도시한 것이지만, 도 3a에 대해 다양한 변경이 이루어질 수 있다. 예를 들어, 도 3a의 각종 구성 요소들은 조합되거나, 더 세분화되거나, 생략될 수 있으며, 특정 필요들에 따라 추가 구성 요소들이 부가될 수도 있다. 일 특정 예로서, 메인 프로세서(340)는 복수의 프로세서들, 예를 들어 하나 이상의 중앙 처리 유닛(CPU)들 및 하나 이상의 그래픽 처리 유닛(GPU)들로 분할될 수 있다. 도 3a가 휴대 전화기나 스마트폰과 같이 구성된 UE(116)를 도시하고 있지만, UE들은 다른 타입의 이동 또는 고정 디바이스들로서 동작하도록 구성될 수도 있다.
도 3b는 본 개시에 따른 예시적 eNB(102)를 도시한 것이다. 도 3b에 도시된 eNB(102)의 실시예는 단지 설명을 위한 것이며, 도 1의 다른 eNB들은 동일하거나 유사한 구성을 가질 수 있다. 그러나, eNB들은 각종의 다양한 구성들로 이루어지며, 도 3b는 eNB에 대한 임의의 특정 구현으로 본 개시의 범위를 제한하지 않는다. eNB(101) 및 eNB(103)는 eNB(102)와 동일하거나 유사한 구조를 포함할 수 있다.
도 3b에 나타낸 바와 같이, eNB(102)는 복수의 안테나(370a-370n), 복수의 RF 트랜시버(372a-372n), 송신(TX) 처리 회로(374), 및 수신(RX) 처리 회로(376)를 포함한다. 특정 실시예들에서, 복수의 안테나들(370a-370n) 중 하나 이상은 2D 안테나 어레이를 포함한다. eNB(102)는 또한 컨트롤러/프로세서(378), 메모리(380) 및 백홀 또는 네트워크 인터페이스(382)를 포함한다.
RF 트랜시버(372a-372n)는, 안테나(370a-370n)로부터, UE들 또는 다른 eNB들에 의해 송신되는 신호들과 같은 내향 RF 신호들을 수신한다. RF 트랜시버(372a-372n)는 내향 RF 신호들을 하향 변환하여, IF 또는 기저대역 신호들을 생성한다. IF 또는 기저대역 신호들은, 기저대역 또는 IF 신호들을 필터링하고, 디코딩하고, 및/또는 디지털화하는 것에 의하여 처리된 기저대역 신호들을 생성하는 RX 처리 회로(376)로 송신된다. RX 처리 회로(376)는 이 처리된 기저대역 신호들을, 추가의 처리를 위하여 컨트롤러/프로세서(378)로 송신한다.
TX 처리 회로(374)는, 컨트롤러/프로세서(378)로부터 아날로그 또는 디지털 데이터(예를 들어, 음성 데이터, 웹 데이터, 이-메일, 또는 쌍방향 비디오 게임 데이터)를 수신한다. TX 처리 회로(374)는, 외향 기저대역 데이터를 인코딩, 다중화, 및/또는 디지털화하여, 처리된 기저대역 또는 IF 신호들을 생성한다. RF 트랜시버(372a-372n)는 TX 처리 회로(374)로부터, 외향 처리된 기저대역 또는 IF 신호들을 수신하고, 그 기저대역 또는 IF 신호들을, 안테나(370a-370n)을 통해 송신되는 RF 신호들로 상향 변환한다.
컨트롤러/프로세서(378)는 eNB(102)의 전반적인 동작을 제어하는 하나 이상의 프로세서들 또는 다른 처리 디바이스들을 포함할 수 있다. 예를 들어, 컨트롤러/프로세서(378)는, 잘 알려진 원리들에 따라 RF 트랜시버(372a-372n), RX 처리 회로(376), 및 TX 처리 회로(374)에 의해 순방향 채널 신호들의 수신 및 역방향 채널 신호들의 송신을 제어할 수 있다. 컨트롤러/프로세서(378)는 보다 진보된 무선 통신 기능들과 같은 추가 기능들도 지원할 수 있다. 예를 들어, 컨트롤러/프로세서(378)는 BIS(Blind Interference Sensing) 알고리즘에 의해 수행되는 것과 같은 BIS 프로세스를 수행할 수 있고, 간섭 신호에 의해 감산된 수신 신호를 디코딩할 수 있다. 컨트롤러/프로세서(378)에 의해 eNB(102)에서 매우 다양한 다른 기능들 중 임의의 것이 지원될 수 있다. 일부 실시예들에서, 컨트롤러/프로세서(378)는 적어도 하나의 마이크로 프로세서 또는 마이크로 컨트롤러를 포함한다.
컨트롤러/프로세서(378)는 기본 OS와 같이 메모리(380)에 상주하는 프로그램 및 다른 프로세스를 실행할 수 있다. 컨트롤러/프로세서(378)는 또한 본 개시의 실시예들에서 설명된 바와 같이 머신 러닝을 사용하여 근본 원인 분석 및 자동화를 지원할 수 있다. 일부 실시예들에서, 컨트롤러/프로세서(378)는 웹 RTC와 같은, 엔티티들 간의 통신을 지원한다. 컨트롤러/프로세서(378)는 실행 프로세스에 의한 요구에 따라 메모리(380) 내로 또는 외부로 이동할 수 있다. 메모리(380)는 UE 속도를 추정하기 위한 다양한 인공 지능(AI) 알고리즘과 다양한 AI 알고리즘을 트레이닝하기 위한 트레이닝 데이터 세트를 저장한다.
또한, 컨트롤러/프로세서(378)는 백홀 또는 네트워크 인터페이스(382)에 커플링된다. 백홀 또는 네트워크 인터페이스(382)는, eNB(102)가 백홀 연결을 통해 또는 네트워크를 통해 다른 디바이스들 또는 시스템들과 통신하는 것을 가능하게 한다. 백홀 또는 네트워크 인터페이스(382)는 임의의 적절한 유선 또는 무선 연결(들)을 통한 통신들을 지원할 수 있다. 예를 들어, eNB(102)가 셀룰러 통신 시스템(예를 들어, 5G, LTE 또는 LTE-A를 지원하는 것)의 일부로서 구현되는 경우, 백홀 또는 네트워크 인터페이스(382)는, eNB(102)가 유선 또는 무선 백홀 연결을 통해 다른 eNB들과 통신하는 것을 가능하게 할 수 있다. eNB(102)가 액세스 포인트로서 구현되는 경우, 백홀 또는 네트워크 인터페이스(382)는, eNB(102)가 유선 또는 무선 로컬 영역 네트워크를 통해 또는 유선 또는 무선 연결을 통해 더 큰 네트워크(예를 들어, 인터넷)로 전송하는 것을 가능하게 한다. 백홀 또는 네트워크 인터페이스(382)는 유선 또는 무선 연결, 예를 들어 이더넷 또는 RF 트랜시버를 통한 통신들을 지원하는 임의의 적절한 구조를 포함한다.
특정 실시예들에서, eNB(102)는 백홀 또는 네트워크 인터페이스(382)를 통해 네트워크 이상을 검출하고, 이상을 진단하고, 검출된 이상을 시정하기 위한 명령을 제공하기 위해 경보 데이터 및 핵심 성능 인디케이터 데이터를 서버로 송신한다. 특정 실시예들에서, 네트워크 이상을 검출하고, 이상을 진단하고, 검출된 이상을 시정하기 위한 명령을 제공하는 것은 완전히 또는 부분적으로 자동으로 수행될 수 있다.
도 3b가 eNB(102)의 일 예를 도시하고 있지만, 다양한 변화들이 도 3b에 대하여 이루어질 수 있다. 예를 들어, eNB(102)는 도 3b에 나타낸 각 구성 요소에 대한 임의의 개수를 포함할 수 있다. 일 특정 예로서, 액세스 포인트는 다수의 인터페이스(382)를 포함할 수 있고, 컨트롤러/프로세서(378)는 상이한 네트워크 주소들 사이에서 데이터를 라우팅하는 라우팅 기능들을 지원할 수 있다. 다른 특정 예로서, 단일 인스턴스의 TX 처리 회로(374) 및 단일 인스턴스의 RX 처리 회로(376)를 포함하는 것으로 도시되어 있지만, eNB(102)는 각각에 대한 복수의 인스턴스들을 포함할 수 있다(예를 들어, RF 트랜시버 당 하나).
본 개시의 특정 실시예들에서, BS는 KPI(key performance indicator)로 지정된 다양한 데이터 소스를 OSS(Operations Support System)에 제공한다. OSS는 도 3b의 백홀 또는 네트워크 인터페이스(382)와 연관된 서버의 일부일 수 있다. KPI는 15 분마다 또는 다른 현재 시간 간격과 같이 주기적으로 전송될 수 있다. KPI에는 PM(Performance Management) 카운터가 포함될 수 있다. PM 데이터는 시스템의 상태와 동작을 반영한다. 편의상, "KPI 데이터"와 "PM 데이터"라는 용어는 eNB에서 주기적으로 전송되는 정보를 나타내기 위해 이 특허 문서에서 상호 교환적으로 사용된다. 이러한 데이터의 서브세트를 KQI(Key Quality Indicator)라고 한다. KQI는 서비스 접근성, 서비스 유지성, 서비스 가용성, 서비스 품질 및 서비스 이동성의 레벨을 반영하는 어그리게이션된 메트릭을 제공한다. PM 데이터 외에도, BS는 CPU 과부하, 메모리 과부하, DSP 재시작, MME-고장 등과 같은 BS에서 하나 이상의 예기치 않은 이벤트에 대한 응답으로 트리거되는 FM(Fault Management) 데이터 또는 경보를 보고한다. 편의상, "FM 데이터"와 "경보 데이터"라는 용어는 이 특허 문서에서 경보를 나타내기 위해 전송되는 정보를 지칭하도록 상호 교환적으로 사용된다.
임계값 또는 공칭 값을 벗어나는 하나 이상의 KQI를 검출한 것에 응답하여 트러블슈팅(troubleshooting)이 트리거된다. 트러블슈팅 프로세스는 KQI 저하에 대한 근본 원인 설명을 추론하기 위한 수동 또는 자동 추론 단계를 포함한다. 근본 원인은 KQI 이상에 대한 세분화된 인과 정보를 제공하는 KPI 이상을 검출 및 진단함으로써 얻어진다. 통화 가입자 추적, 트러블 티켓 및 고객 불만 정보와 같은 다른 소스가 이 프로세스 중에 포함될 수도 있다.
예를 들어, 서비스 품질 KQI가 IP 처리량 저하의 이상을 나타내는 경우, 가능한 근본 원인은 낮은 트래픽 수요 또는 높은 무선 주파수 간섭일 수 있다. 이상의 근본 원인 분석(root cause analysis, RCA)이 완료되면, 복구 단계는 단순히 BS를 재설정하거나 BS에서 운영 및 유지 보수(OAM) 파라미터(예를 들면, 전송 전력, 전기적 기울기)를 변경하는 것까지 다양할 수 있다.
수동 트러블슈팅은 문제 검출, 진단 및 문제 복구를 포함하는 각 RCA 단계에 참여하는 도메인 전문가를 필요로 한다. 각 BS는 다양한 현재 시간 간격에서 정기적으로 발생하는 단일 보고 간격(15 분마다 또는 미리 설정된 다른 간격으로 발생할 수 있음) 동안 수천 개의 KPI를 보고하므로, 많은 양의 데이터를 처리하는 것이 전문가에게는 간단한 일이 아니다. 문제를 재현하고(드라이브 테스트를 통해) 다른 솔루션을 테스트하고, 최종 솔루션이 근본적인 문제를 해결하는지 확인하는데 추가 비용이 발생하게 된다.
도 4a는 본 개시의 다양한 실시예들에 따른 머신 러닝을 사용하기 위한 RCA 프레임워크(400)를 도시한 것이다. RCA 프레임워크(400)는 이상 검출 및 근본 원인 분석을 위해 머신 러닝을 적용하는 프로세스를 설명한다. RCA 프레임워크(400)는 도 1 및 도 3b의 eNB들 중 하나 이상과 연관된 서버와 같은 전자 장치 또는 도 1 및 도 3a의 UE들 중 하나와 같은 UE에 의해 수행될 수 있다. 예를 들어, RCA 프레임워크(400)는 도 3a의 UE(116)에 포함될 수 있다. 다른 예에서, RCA 프레임워크(400)는 도 3b의 백홀 또는 네트워크 인터페이스(382)를 통해 데이터(예를 들면 KPI 및 경보 데이터)를 수신하는 서버(도 3a의 UE(116)와 유사한 구성 요소)에 포함될 수 있다. RCA 프레임워크(400)는 데이터를 수신하고, 데이터에서 이상을 검출하고, 검출된 이상의 기저가 되는 근본 원인을 찾아낸 다음 시정 조치(corrective actions)를 실행한다. 도 4에 도시된 실시예는 단지 설명을 위한 것이다. 다른 실시예들이 본 개시의 범위를 벗어나지 않고 사용된다.
RCA 프레임워크(400)는 규칙을 도출하고 도출된 규칙을 활용하는 규칙 기반 프레임워크이다. 규칙은 아래의 수학식 (1)의 형태이다. 수학식 (1)의 왼쪽에 있는 항들은 선행조건(antecedents)이고, 오른쪽에 있는 항들은 후속결과이다. 예를 들어, KPI는 선행조건이고, KQI는 후속결과이다. 즉, 수학식 (1)은 KPI와 KQI 간의 원인 및 결과 관계를 설명한다.
수학식 (1)
RCA 프레임워크(400)는 소스(402)와 같은 다양한 소스로부터 데이터를 수신한다. 소스(402)는 도 1의 eNB(101, 102 또는 103)와 같은 eNB 또는 UE들(111-116)과 같은 UE일 수 있다. 소스(402)는 또한 코어 네트워크 및 무선 액세스 네트워크(RAN)를 포함할 수 있다. 수신되는 데이터는 KPI 데이터 및 경보를 포함할 수 있다. KPI 데이터는 미리 정의된 간격(예를 들면, 15 분마다)으로 주기적으로 수신되는 반면 경보는 하드웨어 또는 소프트웨어 장애에 대한 응답으로 eNB에서 생성되는 이벤트이다.
OSS(404)는 다양한 소스(402)로부터 데이터를 수신한다. OSS(404)는 경보 데이터(예를 들면 FM 데이터), PM을 포함하는 KPI 등을 저장하기 위한 하나 이상의 정보 저장소를 포함할 수 있다. KPI 및 경보는 전체 네트워크 상태를 나타낸다. KPI는 카운터(예를 들면, RRC 연결 시도 횟수) 또는 마지막 보고 구간 내에서 eNB 당 평균 IP 처리량과 같은 측정(게이지) 형태일 수 있다. 예를 들어, 실시간 KPI들이 다양한 eNB들에서 들어 올 수 있으며 주기적 보고 간격(RI)으로 도달할 수 있다. 경보는 하드웨어 또는 소프트웨어 프로세스에 의해 발생하는 문제 또는 상태를 나타내는 이벤트이다. 이 정보는 E-UTRA 네트워크 내에서 이상 또는 결함의 존재를 확인하고, 근본 원인을 결정하며, 시정 조치를 실행하는데 사용된다.
특정 실시예들에서, OSS(404)는 KPI 및 경보 데이터를 전처리한다. 다른 실시예들에서, KPI 및 경보 데이터의 전처리는 OSS(404) 외부에서 수행된다. 전처리는 eNB들로부터의 서로 다른 정보 소스들을 조정하는 것을 포함한다. 많은 양의 데이터가 수신되기 때문에 전처리가 수행되며 이 데이터는 다양하거나 서로 다른 포맷들일 수 있다. 따라서, 전처리는 RCA에서 사용할 수 있도록 데이터를 수정한다.
KPI, PM 데이터 및 경보 데이터를 전처리하면 이 데이터가 배치 처리 계층(batch processing layer)(406) 및 속도 처리 계층(speed processing layer)(408)에 의해 추가로 처리될 수 있다. 전처리에는 추가 다운스트림 처리 중에 실수로 포함되지 않도록 특수 항목(예를 들면, NaN)으로 누락된 값들을 채우는 작업이 포함된다. 전처리에는 KPI 데이터 이산화(PM 데이터 포함), 합성 PM 메트릭 도출 및 KPI 계층 생성이 포함될 수 있다. 전처리된 데이터의 출력은 이상을 검출하고 검출된 이상의 해당 근본 원인을 추론하는데 사용될 수 있는 데이터를 생성한다. 전처리에 대해서는 아래 도 5a-5h에서 설명한다.
배치 처리 계층(406) 및 속도 처리 계층(408)은 데이터를 수신한다. 배치 처리 계층(406)은 이력 데이터로부터 검출된 이상을 기반으로 RCA에 대한 규칙을 생성한다. 규칙은 데이터에서 이상을 식별하고 이상 원인을 제안한다. 규칙은 검출된 이상을 해결할 하나 이상의 처리 방안 조치를 제안할 수도 있다. 속도 처리 계층(408)은 RCA에 대해 생성된 규칙을 사용하여, 실시간 데이터로부터 이상을 검출하고 검출된 이상을 해결한다.
이상은 운영자 네트워크에 대한 하나 이상의 서비스 품질 메트릭이 정상 범위를 벗어났음을 나타내는 징후이며, 근본적인 원인을 해결하기 위해서는 트러블슈팅(troubleshooting)이 필요하다. 이상 검출은 정상적인 작동 범위와 관련하여, 이러한 KQI 값들 중 하나 이상에서의 이상 또는 이탈을 검출하는 것을 포함한다. 아래의 수학식 (2)는 이상을 식별하기 위한 조건을 나타낸다. 수학식 (2)에서와 같이, KQI가 임계값보다 작을 경우에 이상이 식별된다. 이상이 검출된 후, RCA 프레임워크(400)는 검출된 이상의 기저가 되는 근본 원인을 찾아낸 다음, 도출된 규칙을 기반으로 시정 조치를 실행한다. 즉, 이상은 징후이며, RCA를 수행하여 징후의 원인을 파악함으로써 검출된 이상에 대한 처리 방안을 결정하여, 운영자 네트워크가 정상으로 돌아올 수 있도록한다.
수학식 (2)
배치 처리 계층(406)은 OSS(404)로부터 데이터를 수신하고, 이력 데이터(410)에 데이터를 유지한다. 이력 데이터(410)는 이전에 처리된 KPI들 및 경보들을 포함한다. 이전에 처리된 KPI들 및 경보들은 데이터 내의 이상을 식별하고 (원인 및 결과 관계에 기반하여) 이상을 쉽게 검출하며 또한 실시간으로 문제의 근본 원인에 대한 이해를 제공하기 위한 규칙(또는 조건)을 생성하기 위해 머신 러닝에 의해 사용되는 이력 데이터(410) 내에 유지된다. 규칙은 또한 식별된 이상을 해결하는데 필요한 단계들을 제공할 수도 있다. 대조적으로, 속도 처리 계층(408)은 배치 처리 계층(406)에서 생성된 규칙을 적용함으로써, 이상을 검출하기 위해 새로 수신된 데이터(예를 들면 실시간 데이터)를 검사한다.
이상 검출기들(412a 및 412b)은 운영자 네트워크가 정상 범위 밖에 있음을 나타내는 KPI들 및 경보 데이터로부터 하나 이상의 이상을 식별한다. 이상 검출기들(412a 및 412b)은 접근성, 유지성, 가용성, 무결성(예를 들면, 품질) 및 이동성과 관련된 하나 이상의 KQI 카테고리에서 이상을 검출한다. 이상 검출기(412a)는 이력 데이터(410)로부터 이상을 검출하는 반면, 이상 검출기(412b)는 실시간 데이터로부터 이상을 검출한다. 예를 들어, 이상 검출기(412a)는 이전 데이터(이력 데이터(410)를 통해)를 조사하여, 정상 범위를 벗어난 운영자 네트워크 동작들에 대응하는 샘플 패턴들을 식별한다. 이상 검출기(412b)는 실시간 데이터를 조사하여 정상 범위를 벗어난 운영자 네트워크 동작들에 대응하는 패턴들을 식별한다.
특정 실시예들에서, 이상에 대응하는 여러 카테고리의 KQI가 있다. 접근성의 KQI 카테고리는 요청시 최종 사용자에게 E-UTRAN 무선 액세스 베어러(E-RAB)가 제공될 확률을 제공한다. 예를 들어, 서비스 접근성은 셀과의 연결 확립 용이성을 나타낸다.
유지성의 KQI 카테고리는 E-RAB가 사용되는 동안 최종 사용자가 E-RAB를 비정상적으로 잃게 되는 빈도를 측정한다. 예를 들어, 유지성은 연결을 유지하는 능력을 나타낸다.
가용성의 KQI 카테고리는 셀을 사용할 수 있는 시간의 백분율 측정을 제공한다. 예를 들어, 가용성은 시스템이 셀의 존재를 검출할 수 없는지 여부를 나타낸다.
무결성의 KQI 카테고리는 다운로드 및 업로드 방향에 대한 IP 처리량 측정을 제공한다. 예를 들어, 무결성은 사용자 경험의 품질을 나타내며, 이것은 다운로드 속도를 기반으로 할 수 있다.
이동성의 KQI 카테고리는 E-UTRAN 이동성 기능이 얼마나 잘 작동하는지를 측정한다. 예를 들어, 이동성은 사용자가 통화 끊김을 자주 경험하는지 여부를 나타낸다.
트래픽의 KQI 카테고리는 해당 RI 동안 셀에서의 리소스 사용 비율을 측정한다. 리소스 사용양이 많을수록 해당 셀이 과도하게 사용되어 해당 셀 내의 서비스 품질이 저하될 수 있음을 의미한다.
특정 실시예들에서, 이상 검출기들(412a 및 412b)에 대한 입력은 타임 스탬프된다. 이 입력들은 스트리밍 방식 (streaming fashion)(예를 들면, RI마다에 대한 eNB 당 하나의 샘플)으로 제공되거나 또는 배치 방식 (batch fashion)(예를 들면, 1 년 중 하나 이상의 일/월에 걸친 이력 데이터에 대응)으로 제공될 수 있다. 각각의 KQI y 
Y = {접근성, 유지성, 가용성, 무결성, 이동성}에 대해, 이상 검출기들(412a 및 412b)은 해당 데이터에 대한 KQI 값이 이상 샘플인 경우 그 값이 0이 아닌 함수 
를 출력한다. 각각의 
에 대해, y에 대한 KPI 계층에서 j 레벨의 KP들을 
로 나타낸다. 아래의 표 1은 특정 KQI 카테고리들에 대한 이상 검출에 사용될 수 있는 트리 계층 내의 다양한 KPI들을 설명한다.
| KQI Category | KPI Categories | Definition |
| Accessibility | ErabAccessibilityInit | Success rate of Initial E-RAB establishment success rate |
| ErabAccessibilityAdd | Success rate of E-RAB establishment | |
| Availability | EutranCellAvailability | Percentage of time that the cell is considered available |
| Mobility | EutraMobilityHoIntra | Calculated HOIntra success rate of E-UTRAN mobility |
| EutraMobilityHoInter | Calculated probability that an end-user successfully completes a handover to a separate eNB of the same frequency | |
| EutranMobilityHoX2Out | Calculated HOX2Out success rate of E-UTRAN mobility | |
| EutranMobilityHoS1Out | Calculated HOS1Out success rate of E-UTRAN mobility | |
| EutranMobilityHoX2In | Calculated HOX2In success rate of E-UTRAN mobility | |
| EutranmobilityHoS1In | Calculated HOS1In success rate of E-UTRAN mobility | |
| EutranMobilityHoInterRatUtranIn | Calculated HOInterRatUtranIn rate of E-UTRAN mobility | |
| Total PRB Usage(Traffic) | TotPrbDLAvg | Average rate of PRBs used to transmit PDSCH/PBCH/PMCH during the collection interval. It includes retransmission PRBs, all padding, and partial padding. |
| TotPrbULAvg | Average rate of PRBs used to transmit PUSCH during the collection interval. The denominator, which indicates the total number of available uplink PRBs, excludes the number of PUCCH and PRACH PRBs. The average rate includes retransmission PRBs, all padding, and partial padding. | |
| Integrity | EutranIpThroughput | Average IP throughput for that cell in the DL |
| ULIpThruAvg | Average IP throughput for that cell in the UL |
본 개시의 실시예들은 이상 검출기들(412a 및 412b)에 대한 3 개의 상이한 이상 검출 방법을 제공한다. 검출 방법은 (i) 극단 아웃라이어(extreme outliers), (ii) 표준 편차 및 (iii) 중위 절대 편차(median absolute deviation, MAD)를 포함한다.
극단 아웃라이어 방법과 관련하여, 이상 검출기들(412a 및 412b)은 KPI 계층(예를 들면, 도 5b의 KPI 트리 계층(520)) 내에 있는 적어도 하나의 KPI가 특정 KQI에 대한 임계값 미만인 경우 이상을 식별한다. 이 임계값은 고정 값으로 설정되거나 또는 시간별 KPI 통계를 기반으로 계산될 수 있다.
표준 편차 방법과 관련하여, 이상 검출기들(412a 및 412b)은 KPI 계층(예를 들면, 도 5b의 KPI 트리 계층(520)) 내에 있는 하나 이상의 KPI가 특정 KQI에 대한 KPI의 평균보다 k 표준 편차 미만인 경우에 이상을 식별한다.
수학식 (3)
MAD와 관련하여, 이상 검출기들(412a 및 412b)은 각 샘플 포인트와 샘플 중앙값 사이의 차이들로 구성된 세트의 중앙값을 기반으로 이상을 식별한다. 예를 들어, RI가 속한 시간 간격 동안 
이 
에 대한 중앙값을 지정하는 
보다 KPI 값이 작거나 같은 경우에 이상이 검출된다. 이 용어 
는 시간당 KPI 중앙값에서 KPI의 중위 절대 편차의 함수이다. 이상 검출 임계값이라고 알려진 
파라미터는, KPI j에 대해 검출되는 이상들의 수를 제어하는데 사용된다. 이상 검출을 위한 MAD 방법이 아래의 수학식 (4)에 설명되어 있다.
수학식 (4)
예를 들어, KPI 시리즈 Y 및 이상 검출 임계값 t인 입력에 대한 
를 식별하기 위한, 제 1 단계는 t 
를 추출하는 것이다. 20 번째 백분위 수 위에 있는 Y 값들은 이상 샘플이 될 수 없음에 유의한다. 제 2 단계는 MAD를 해결하는 것이며, 여기서 
이다. C를 식별하기 위해, 식별된 X의 표준 분포는 
을 만족하는(여기서, z는 
를 만족함), 계산식 
를 기반으로 한다. 단계 3: X에 있는 각 x에 대해, MAD 방법은 Define M-score = 
를 정의한다. M-Score가 임계값과 비교됨으로써, M-Score가 임계값 t보다 작은 경우에 이상이 식별된다.
머신 러닝 트레이닝 모델(414)은 이력 데이터(410)로부터, 이상 검출기(412a)를 통해, 검출된 이상들을 식별하기 위한 규칙을 생성한다. 머신 러닝 트레이닝 모델(414)은 또한 이력 데이터(410)로부터 이상들을 식별하기 위한 파라미터들을 생성한다. 규칙 및 파라미터는 검출된 이상에 대한 RCA를 수행하는데 사용될 수 있을뿐만 아니라 검출된 이상을 해결하기 위한 하나 이상의 처리 방안 조치들을 제공할 수도 있다. 아래의 수학식 (5)는 RCA에서 사용되는 예시적인 규칙을 설명한다. 머신 러닝 트레이닝 모델(414)에 의해 규칙 및 파라미터를 생성하는 것에 대하여 아래에서 더 자세히 논의한다.
수학식 (5)
RCA 프레임워크(400)는 또한 각각의 도출된 규칙의 품질을 평가할 수도 있다. S가 이력 데이터 세트(410)를 나타내는 경우, 
는 특정 KQI에 대한 샘플 이상들을 포함하는 세트를 나타낸다. 마찬가지로, 
는 그 항목들이 규칙 j에 대한 관계를 만족하는 세트를 나타낸다. 수학식 (6), (7) 및 (8)은 도출된 각 규칙의 품질에 대한 다양한 메트릭들을 설명한다. 예를 들어, 수학식 (6)의 지원은 규칙의 선행조건을 따르는 KPI 샘플들의 상대적 비율이다. 예를 들어, 수학식 (7)의 신뢰도 점수가 높을수록, 도출된 규칙이 정상 샘플들에 비하여 KQI 이상이 있는 샘플의 증가를 견디는 것임을 나타낸다. 수학식 (7)의 신뢰도 점수는 정밀도 또는 사후 확률이라고도 하며, 규칙 j를 따르는 이상 샘플들의 비율을 나타낸다. 이것은 조건부 확률 
과 동일하다. 높은 신뢰도 규칙은 정상 샘플들로부터 이상 샘플들을 더욱더 잘 구별한다. 마찬가지로, 수학식 (8)의 적중률이 높을수록, 도출된 규칙이 대부분의 KQI 이상 샘플들에 적용될 수 있음을 나타낸다. 재현율 또는 가능성이라고도 하는 수학식 (8)의 적중률은 규칙 j와 연관된 KQI 이상들의 비율에 대응한다. 이것은 조건부 확률 
과 동일하다.
수학식 (6)
수학식 (7)
수학식 (8)
머신 러닝 트레이닝 모델(414)을 통해 생성되면, 최소 지원 및 신뢰성(임의의 현재 임계값일 수 있음(예컨대, 80 %))과 같은 설계 목표를 만족시키는 규칙들 및 파라미터들이 정보 저장소(418)에서 유지된다. 정보 저장소(418)는 도 3a의 메모리(360) 또는 도 3b의 메모리(380)와 유사한 것일 수 있다. 정보 저장소(418)는 이상 및 이상의 근본 원인을 식별하는데 사용되는 하나 이상의 규칙을 저장할 수 있다. 정보 저장소(418)에 저장된 규칙은 이상 샘플들에 대한 KPI들이 이러한 규칙들을 따르는지 여부를 확인하는 것과 같이, 매칭 규칙(들)을 확인하기 위한 핑거프린트들로서 사용될 수 있다. 규칙 매칭이 발견되면, 규칙의 물리적 의미를 해석하기 위한 해석이 사용자 인터페이스에 제공됨으로써 작업자가 해당 이상 발생의 기저가 되는 근본 원인을 추론할 수 있게 된다.
특정 실시예들에서, 정보 저장소(418)는 또한 해당 분야 전문 지식을 사용하여 도출되는 지식 기반을 포함한다. 특정 실시예들에서, 정보 저장소(418) 내의 데이터는 RCA 및 시정 조치를 실행하기 위해 수정 가능한 포맷으로 데이터를 준비하기 위해 PM에 적용된다.
높은 신뢰도로 성능 저하를 나타내는 규칙이 생성되면, RCA 프레임워크(400)는 생성된 규칙들 중 어느 것이 근본 원인들에 대응하는지 및 생성된 규칙들 중 어느 것이 연관된 징후들에 대응하는지를 식별한다. 다음 세 가지 예들에서는 KPI 저하의 근본 원인에 해당하는 규칙을 식별하는 방법에 대해 설명한다.
특정 실시예들에서, 연쇄 규칙(chained rule) 
은 높은 신뢰도를 갖는 
로서 주어진, 특정 KPI들에 대한 규칙 세트이다. 연쇄 규칙들은 도 5c와 관련하여 아래에서 더 자세히 설명된다. 그 후, 방향 그래프를 사용하여 
에서 기본 규칙들 간의 관계가 확립된다. 먼저 
에서 규칙들의 세트가 기본 규칙 및 비-기본 규칙으로 분리되고 모든 기본 규칙들이 그래프에서 노드들로서 간주된다. 다음으로, 모든 비-기본 규칙들이 충족되고 규칙 
의 신뢰도, 즉 
가 임계값을 초과하는 경우 기본 규칙 쌍 
사이에 방향성 에지를 추가하는 것이 고려된다. 따라서, 방향성 에지는 노드들 간의 인과 관계를 나타내며, 즉 
는 
의 징후이거나 또는 
의 결과 
가 발생하게 된다. 들어오는 에지가 없는 노드들은 이들이 다른 기본 규칙에 의해 발생한 것이 아니라는 것을 나타내며 따라서 연쇄 규칙의 근본 원인으로 정의되고, 나머지는 징후들로서 식별된다.
다른 실시예에서, KPI 계층 트리가 구성될 경우(아래의 도 5c에 설명된 바와 같이), 프로세서는 연쇄 규칙의 리프 노드가 근본 원인이고 다른 규칙들은 수반되는 징후들인 것으로 식별할 수 있다.
또 다른 실시예에서는, 생성되는 모든 규칙들이 방향성 그래프에서 노드들로 간주된다. 그 다음 위(제 1 예)에서와 유사한 접근 방식을 사용하여 노드들 간에 에지가 추가된다. 두 노드들 사이에 양방향 에지가 있는 경우에는, 프로세서에 의해 이것이 하나의 노드로 축소된다. 들어오는 에지가 없는 노드들은 KQI의 근본 원인들로서 정의된다. 이러한 노드들에서 KQI 노드까지 가능한 모든 경로는, 이제 새로운 연쇄/복합 규칙 세트이며, 이 경로를 따른 노드들은 징후들이 된다.
속도 처리 계층(408)과 관련하여, 이상 검출기(412b)가 실시간으로 이상을 식별한 후, RCA(420)는 정보 저장소(418)로부터의 정보를 사용하여 검출된 이상의 원인을 식별한다. 예를 들어, RCA(420)는 머신 러닝 규칙들(신뢰도 및 적중률 임계값을 초과하는 머신 러닝 트레이닝 모델(414)로부터)을 사용하여, 검출된 이상의 기저가 되는 근본 원인을 식별한다.
특정 실시예들에서, RCA(420)가 검출된 이상들에 대한 근본 원인을 결정한 후, 근본 원인에 대한 설명과 처리 방안 조치(422)가 사용자 인터페이스에 표시될 수 있다. 처리 방안 조치(422)가 표시될 때, 네트워크를 정상 기능 상태로 복원하기 위해 수행할 권장 조치(들)를 포함할 수 있다. 다른 실시예들에서, 처리 방안 조치(422)는 네트워크를 정상 기능 상태로 자동으로 복원하기 위해 필요한 조치들을 수행한다. 처리 방안 조치(422)는 관심 대상인 KQI의 저하를 담당하는 결정 근본 원인의 함수로서 시정 조치를 적용할 수 있다.
근본 원인 및 설명이 결정된 후, RCA 프레임워크(400)의 다음 단계는 이상으로 이어지는 근본적인 원인들을 시정하여 네트워크를 정상 기능 상태로 복원하기 위한 일련의 시정 조치(처리 방안 조치(422))를 실행하는 것이다.
특정 실시예들에서, 시정 조치들을 결정하기 위해, RCA 프레임워크(400)는 머신 러닝 추론 엔진(도시되지 않음)을 사용한다. 머신 러닝 추론 엔진은 기능 입력 세트를 기반으로 올바른 복원 조치 세트를 식별한다. 예를 들어, 머신 러닝 추론 엔진은 이력 데이터(410)로부터 제공되는 레이블이 지정된 데이터를 사용하여 트레이닝될 수 있다. 예를 들어, 머신 러닝 추론 엔진은 이력 데이터(410)에 유지되는 작업 로그, CM 데이터 등을 사용하여 트레이닝된다. 트레이닝 레이블은 트레이닝 세트 x 내에 있는 각 특징 벡터에 대한 최적의 시정 조치 c를 제공한다.
작업 로그와 CM 데이터가 주어진 트레이닝을 생성하기 위해, 여러 날짜에 걸쳐 저장된 eNB 구성으로 이루어진 CM 데이터를 한 날짜에서 다음 날짜까지 사이에 비교하고 구성 파라미터들에 적용된 변경 사항들만 유지한다. 이것은 이상이 해결된 해당 날짜들에 대해 시간적으로 콜레이션된다. 이와 같이, eNB 구성 파라미터 변경들의 특성과 크기는 물론 이러한 변경들이 적용된 기저가 되는 근본 원인/징후가 무엇인지 식별시키는 레이블이 지정된 데이터가 생성된다.
머신 러닝 추론 엔진에 대한 입력들은 특징 벡터 
이다. 이 벡터의 각 항목은 연속 값 또는 이산 값인 전처리된 PM 데이터이다. 항목의 예에는 KPI(예를 들면, 아래에서 설명되는 DLSchedulerMcsRatio, ULSchedulerMcsRatio, RssiPath0Avg, RssiPath1Avg, DLResidualBlerRetrans0)가 포함될 수 있다. 머신 러닝 추론 엔진의 출력은 시정 조치 
이다. 가능한 조치에는 안테나 다운틸트 증가(오버슈팅 감소를 위해), 안테나 다운틸트 감소(RF 커버리지 증가를 위해), 하나 이상의 RRC 파라미터 조정(예를 들면, UE 전력 제어 파라미터, 리소스 요소 당 RS-투-데이터 에너지) 또는 하나 이상의 스케줄링 파라미터 조정(GBR 무선 베어러에 제공되는 우선 순위를 높이기 위해)이 포함된다.
위에서 논의된 바와 같이, PM 데이터 및 경보 데이터를 전처리하는 것은 데이터가 도 4a의 배치 처리 계층(406) 및 도 4a의 속도 처리 계층(408)에 의해 추가로 처리될 수 있게 한다. PM 데이터 전처리는 (i) PM 데이터 이산화, (ii) 합성 PM 메트릭 도출, (iii) KPI 계층 생성을 기반으로 한다. 처리된 PM 데이터의 출력은 이상들 및 이들의 대응하는 추론 근본 원인들을 검출하는데 사용될 수 있다. 경보 데이터 처리에는 PM 데이터 및 경보 데이터와 관련된 것이 포함된다. 도 5a-5h는 PM 데이터 및 경보 데이터의 전처리를 설명한다. 도 5a-5h의 실시예들은 단지 설명을 위한 것이다. 본 개시의 범위를 벗어나지 않고 다른 실시예들이 사용될 수 있다.
KPI 이산화는 후속 RCA에 대한 규칙 마이닝 및 처리의 효율성을 높인다. 특정 실시예들에서, 후속 RCA에 대한 규칙 마이닝 및 처리를 위해, 연속 값 PM 데이터가 사용될 수 있지만, 연속 값 PM 데이터를 사용하는 것보다 이산화 PM 데이터가 더욱 효율적이다.
이산화는 KPI 데이터를 고정 임계값 또는 통계 임계값과 비교하는 것에 기초하여 수행될 수 있다. 통계 임계값을 사용한 이산화는 먼저 특정 시간 구간(예를 들면, 매일, 매시간 등)에 걸쳐 PM 데이터의 통계적 분포를 얻는 것을 포함한다. 이 분포는 10 번째 분위수, 70 번째 분위수 또는 100 % 분위수와 같이 미리 지정된 분위수 값에서 얻을 수 있다. 다음으로, PM 데이터는 어떤 분위수 구간 PM 데이터가 속하는지 결정하기 위해 비닝(binning)된다. 예를 들어, 빈(Bin) 0은 10 번째 분위수 아래에 있는 PM 데이터에 해당하고, 빈 1은 10 번째 분위수와 90 번째 분위수 사이에 있는 PM 데이터에 해당할 수 있으며, 빈 2는 90 번째 분위수보다 큰 PM 데이터와 같은 아웃라이어들에 해당할 수 있다. 합성 PM들의 경우, PM이 유효하지 않은 경우(예를 들면, 측정을 사용할 수 없는 경우 NaN으로 설정), 특수 양자화 빈이 따로 설정된다.
특정 실시예들에서는, RCA에 대한 PM 데이터를 이산화(예를 들면, 위의 수학식 (2)의 형태로 규칙을 추출)하기 위해 사용되는 임계값들이 KQI 이상들을 분류하기 위해 사용되는 임계값들의 함수로서 선택될 수 있다. 예를 들면, 더 많은 수의 샘플들이 관심 대상인 KQI에서 이상을 경험한 것으로 선언되도록 이상 검출 임계값들이 선택되는 경우이다. 그러면, RCA 목적을 위한 PM 임계값들이 이에 상응하게 변경될 수 있으며 이에 따라 RCA 프레임워크(400)가 더 많은 수의 KQI 이상 샘플들에 대한 근본 원인들을 찾아내는 것을 시도하게 된다.
저하된 KQI 이상들을 검출하기 위한 임계값들의 함수로서 RCA 목적들을 위한 PM 임계값들을 적응적으로 조정하면, 높은 규칙 신뢰도(이상 샘플들로서 또한 선언되는 규칙이 적용되는 샘플들의 비율에 해당하는, 수학식 (7)을 기반으로 함)와 높은 적중률(규칙이 유지되는 이상 샘플들의 비율에 해당하는, 수학식 (8)을 기반으로 함) 사이에 합리적인 트레이드-오프를 제공하게 된다.
특정 KQI 샘플을 이상으로 표시하기 위한 임계값을 더 엄격하게 선택하면, 더 적은 수의 KQI 이벤트 발생이 이상으로 분류된다. 예를 들어, 1 Mbps 미만의 처리량 샘플들을 이상으로 분류하는 이상 검출 알고리즘은 5 Mbps 미만의 샘플들을 분류하는 것과 비교하여, 더 적은 처리량 이상 샘플들을 분류하게 된다.
특정 실시예들에서, RCA 프레임워크(400)는 또한 이력 데이터(410)를 사용하여 IP 처리량에 기초하여 KPI 예측을 수행한다. 도 4b는 본 개시의 다양한 실시예들에 따른 트래픽 예측 기반 이상 검출을 위한 블록도(430)를 도시한 것이다. 도 4c는 본 개시의 다양한 실시예들에 따른 이상 예측에 기초한 트래픽 예측을 위한 블록도(450)를 도시한 것이다.
특정 실시예들에서, RCA 프레임워크(400)는 트레이닝된 예측 모델에 기초하여 미래 시간에서의 데이터에 대한 예측을 자동으로 수행할 수 있다. 예측 데이터와 실제 수신 데이터 간의 차이가 특정 임계값보다 크면 이상 경보가 발생한다. 예를 들어, 트래픽 예측 기반 이상 검출 및 이상 예측을 위한 머신 러닝 프레임워크는, 각각 RCA 프레임워크(400)의 효율성을 증가시키게 된다.
머신 러닝 기반 KPI 예측은 기능 엔지니어링을 사용하는 이력 데이터를 기반으로 한다. 단일 특징 접근 방식은 IP 처리량을 기반으로 할 수 있는 반면, 다특징 접근 방식은 하루 중 시간, 특정 지역 내 활성 사용자 수 등과 같은 다양한 파라미터들을 기반으로 할 수 있다. RCA 프레임워크(400)는 일간, 월간, 계절별, 연간(및 기타 다양한 시간 구간)을 기반으로, LSTM(long short-term memory) 뉴럴 네트워크 또는 QRF(quantile regression forest)를 사용하여 네트워크에서 IP 처리량 이상을 검출하고 예측할 수 있다. 예를 들어, 모든 타임 스탬프에서, RCA 프레임워크(400)는 미래에 나타날 데이터의 양을 예측할 수 있다. 실제 데이터를 수신하면, RCA 프레임워크(400)는 예측된 데이터의 수량을 실제 수량 데이터와 비교한다. 예측 데이터와 실제 데이터의 차이가 임계값을 초과하면, 이상 검출기(412b)는 이상을 식별한다.
시계열 트래픽 예측을 위한 예시적인 데이터 세트가 아래의 표 (2)에 나와 있다. 표 2의 데이터 세트는 전체 네트워크 내에서 서로 다른 KPI들을 포함하는 시스템 레코드 데이터를 설명한다. KPI들은 마지막 보고 구간 내에서 eNB 당 평균 IP 처리량과 같은 카운터(예를 들면, RRC 연결 시도 횟수) 또는 측정(게이지) 형태로 이루어진다. 표 2는 이상 검출 및 이상 예측에 사용되는 특징들에 대한 설명이다.
| TotPrbDLAvg | Average rate of PRBs used to transmit PDSCH/PBCH/PMCH during the collection interval. It includes retransmission PRBs, all padding, and partial padding. |
| TotPrbULAvg | Average rate of PRBs used to transmit PUSCH during the collection interval. The denominator, which indicates the total number of available uplink PRBs, excludes the number of PUCCH and PRACH PRBs. The average rate includes retransmission PRBs, all padding, and partial padding. |
| EutranIpThroughput | Average IP throughput for that cell in the DL |
| ULIpThruAvg | Average IP throughput for that cell in the UL |
| UEActiveDLAvg | Average UE number in DL |
| UEActiveULAvg | Average UE number in UL |
| Time Stamp | The recorded time stamp when data sent |
도 4b의 블록도(430)는 머신 러닝이 지원되는 이상 검출 프레임워크에 기반한 트래픽 예측을 도시한 것이다. 시스템은 먼저 그것의 서브세트가 딥 러닝/머신 러닝 기술을 기반으로 트래픽 예측 모델을 트레이닝하는데 사용되는, 이력 데이터를 수집한다. 트래픽 예측을 위한 이력 데이터는 도 4a의 동일한 이력 데이터(410)일 수 있다. 이 예측 모델을 기반으로, 시스템은 미래 타임 스탬프에서, 업링크 또는 다운링크를 통한 데이터 트래픽의 양 또는 IP 처리량을 예측한다. 용어 "데이터"는 업링크 또는 다운링크 트래픽 볼륨, IP 처리량 등을 지칭할 수 있다는 점에 유의한다. 예측 정확도를 평가하기 위해, 검증 데이터(436)가 예측 데이터(438a)를 획득하고, 또한 이것을 미래 타임 스탬프에서 나오는 실제 데이터와 비교한다. 데이터 세트는 시계열이므로, 예측된 데이터 벡터와 그라운드 트루 데이터 벡터 사이의 차이를 비교하는 것에 의하여 오차 벡터가 생성될 수 있다. 오차 벡터가 획득되면, RCA 프레임워크(400)는 경험적 평균, 분산, 표준 편차 등과 같은 오차의 통계적 파라미터들을 계산하고, 이것을 데이터베이스에 기록할 수 있다.
스트리밍 데이터 시나리오에서는, 모든 타임 스탬프에서, 이 모델이 미래 타임 스탬프에 나타날 데이터를 예측한다. 해당 타임 스탬프에서 트루 데이터를 수신하면, 예측된 데이터와 그라운드 트루스(실제 데이터)를 비교한다. 이들 간의 차이가 절대 또는 상대 임계값을 초과하는 경우, 시스템은 이것을 이상으로 선언한다. 이상 검출 임계값의 선택은 사용되는 이상 검출 방법에 따라 다르다.
입력 데이터는 과거 타임 스탬프들의 데이터 세트이며, 이것은 단일 또는 다수 특징들일 수 있다. 실제 데이터는 미래 타임 스탬프에 나오는 데이터이다. 트레이닝 데이터(432)는 예측 모델을 트레이닝하는데 사용되는 시스템에 의해 수집된 이력 데이터를 포함한다. 예측 모델 구축(434)은 트레이닝 데이터 세트(432)를 기반으로 트레이닝된다. 예를 들어, 예측 모델 구축(434)은 딥 러닝(예를 들면, LSTM) 및 머신 러닝 방법(Quantile Regression Forests)을 기반으로 한다. 검증 데이터 세트(436)는 예측된 데이터 벡터와 실제 데이터 벡터 사이의 차이를 계산함으로써 오차 벡터를 생성한다. 계산 파라미터들(438b)은 검증 데이터 세트(436)로부터 오차 벡터를 취하고, 평균, 분산, 표준 편차 또는 오차 벡터의 통계적 분포를 포함하는 다른 파라미터를 식별한다. 테스트 데이터 세트(440)는 실시간 테스트에 사용되는 데이터 세트이다. 검증 데이터 세트(436)는 예측 모델을 검증하고 파라미터를 생성하는데 사용되는 이력 데이터를 포함한다. 이상 검출(444)은 실제 데이터가 이상인지 여부를 검출한다. 이 기능은 시스템이 선택할 이상 검출 방법에 따라, 다르게 작동한다. 표준 편차 방법의 경우 이상 검출(444)은 예측된 데이터와 실제 데이터 사이의 오차가 주어진 임계값보다 큰지 여부를 확인하여 이상을 검출하며, 이것은 검증에서 얻은 파라미터들에 의해 결정된다. Tukey 방법의 경우, 이상 검출(444)은 검증 데이터 세트에서 얻은 파라미터를 사용하지 않고, 예측된 데이터 구간과 실제 데이터만을 기반으로 하여 이상을 검출한다.
도 4c의 블록도(450)는 머신 러닝이 지원되는 이상 예측 프레임워크에 기반한 트래픽 예측을 도시한 것이다. 도 4b의 트래픽 예측 기반 이상 검출과 유사하게, 도 4c의 블록도(450)는 먼저 이력 데이터에 기초하여 예측 모델을 획득한다. 그 다음 블록도는 동일한 시간 슬롯(예를 들면, 동일한 시간 또는 동일한 시간-분)의 타임 스탬프를 기반으로 이력 데이터를 그룹화한다. 예를 들어, 타임 스탬프가 오후 2시에서 오후 3시 사이의 시간 구간에 있는 모든 과거 데이터는 동일한 그룹에 속한다. 그룹화된 데이터 세트가 구축되면, 시스템은 각 그룹별로 평균, 표준 편차와 같은 파라미터를 계산한다. 이상 예측 단계에서는, 각 타임 스탬프에서, 시스템이 먼저 미래 타임 스탬프에서 나오게 될 데이터를 예측한다. 그 다음, 해당 특정 타임 스탬프의 이력 데이터로부터 통계 정보를 통해 결정된 예상 값 또는 구간과 예측 데이터를 비교하여, 시스템은 예측된 트래픽이 이상을 구성하는지 여부를 예측한다.
그룹화 데이터 세트 구축은 타임 스탬프를 기반으로 이력 데이터(예를 들면, 도 4a의 이력 데이터(410))를 그룹화한다. 타임 스탬프가 시간과 분에서 동일한 데이터에 대해, 시스템은 이것을 동일한 그룹에 넣는다. 계산 파라미터들(454)은 각 데이터 세트 그룹의 평균, 분산, 표준 편차 및 기타 통계 파라미터들을 식별한다. 이상 예측(456)은 미래 타임 스탬프에서 나오게 될 데이터를 기반으로 이상을 예측한다. RCA 프레임워크(400)가 선택하는 이상 예측 방법에 따라, 이 기능은 다르게 작동한다. 표준 편차 방법의 경우에는, 각 타임 스탬프에서, 이상 예측(456)은 예측된 데이터와 다음 타임 스탬프 그룹의 이력 데이터 평균 사이의 오차가 주어진 임계값(이것은 파라미터들에 의해 결정됨)보다 큰지 여부를 확인하여 이상을 예측한다. Tukey 방법의 경우에는, 각 타임 스탬프에서, 이상 예측(456)은 다음 타임 스탬프 그룹의 이력 데이터 평균이 예측 구간에 의해 결정된 범위에 속하는지 여부를 확인하여 이상을 예측한다.
특정 실시예들에서, 이력 데이터(410)를 사용하는 IP 처리량에 기초한 KPI 예측은 이동 윈도우 평균을 사용하여 전처리된 데이터를 포함한다. 원시 트래픽 데이터는 다양한 버스트를 포함하는 특정 간격(예를 들면, 15 분 간격)으로 정기적으로 도착하므로, 전처리 단계에서 필터를 적용하여 분산을 줄이게 된다. 특정 실시예들에서, 프로세서는 원시 데이터에 대한 이동 평균을 계산한다. 이동 평균은 수학식 
를 기반으로 한다. 
는 타임 스탬프 i에서 이동 윈도우 평균을 취한 후의 데이터이고, 
는 타임 스탬프 i에서의 원시 데이터이며, 
는 이동 윈도우의 크기이다. 이동 윈도우 적용에 의해 입력 크기에 대한 출력 크기가 변경되지 않는다는 것에 유의한다. KPI가 15 분에 한 번씩 보고되는 경우, 
는 윈도우에서 4 개의 샘플 포인트를 포함하는 1 시간으로 설정된다. 즉, RCA 프레임워크(400)는 원시 데이터를 로드한 다음 이동 윈도우 평균을 취하여 네트워크 트래픽 곡선을 부드럽게 한다.
특정 실시예들에서, 이력 데이터(410)를 사용하는 IP 처리량에 기초한 KPI 예측은 데이터 비닝(data binning)을 사용하여 전처리된 데이터를 포함한다. 데이터 비닝은 주로 딥 러닝 및 여러 특징 입력과 함께 사용된다. LSTM 예측에 사용되는, 다운링크/업링크 처리량을 제외한, 특징들은 UEActiveDLAvg/UEActiveULAvg, TotPrbDLAvg/TotPrbULAvg 및 타임 스탬프이다. 그 후에 이 데이터는 다수의 빈으로 양자화된다.
예를 들어, DL(UEActiveDLAvg) 및 UL(UEActiveULAvg)의 활성 사용자 수에 대해, 다운링크/업링크의 평균 UE 수는 4 개의 그룹으로 비닝된다. 예를 들어, (i) 빈 0은 0과 5 사이의 평균 UE 수에 해당하고, (ii) 빈 1은 5와 10 사이의 평균 UE 수에 해당하고, (iii) 빈 2는 10과 20 사이의 평균 UE 수에 해당하며, 또한 (iv) 빈 3은 20을 초과하는 평균 UE 수에 해당한다.
다른 예에서, TotPrbDLAvg/TotPrbULAvg의 경우, 다운링크/업링크에서 양자화된 PRB 사용이 4 개의 빈으로 비닝된다. 예를 들어 (i) 빈 0은 0 과 30 사이의 PRB 평균 레이트에 해당하고, (ii) 빈 1은 30과 65 사이의 PRB 평균 레이트에 해당하고, (iii) 빈 2는 65와 95 사이의 PRB 평균 레이트에 해당하며, 또한 (iv) 빈 3은 95와 100 사이의 PRB 평균 레이트에 해당한다.
또 다른 예에서, 타임 스탬프는 시간별로 비닝될 수 있다. 즉, 빈 0은 오전 0시에서 오전 6시 사이의 시간에 해당할 수 있고, 빈 1은 오전 6시에서 오전 12시 사이의 시간에 해당할 수 있고, 빈 2는 오후 12시에서 오후 6 사이의 시간에 해당할 수 있으며, 또한 빈 3은 오후 6시에서 오후 12시 사이의 시간에 해당할 수 있다.
특정 실시예들에서, 시계열 트래픽 예측은 LSTM 및 머신 러닝 모두에 기반할 수 있으며, 여기서 입력은 (i) 단일 특징 입력,(ii) 다중 특징 입력 및 (iii) 클러스터된 단일 특징 입력일 수 있다. 즉, LSTM은 미래 타임 스탬프에서의 처리량 데이터를 예측한다. 예를 들어, 주어진 입력 x에 대해, 두 개의 LSTM 계층과 그 뒤에 완전히 연결된(고밀도) 계층이 있을 수 있으며, 이에 따라 단일 출력 o를 생성할 수 있다. 고밀도 계층은 예측된 트래픽에 대응하는 단일 출력을 갖는다. 시계열 트래픽 예측의 성능은 입력 특징들의 선택에 의존하기 때문에, 서로 다른 입력들(예를 들면, 단일 특징 입력, 다중 특징 입력, 클러스터된 단일 특징 입력)이 결과를 바꿀할 수 있다.
단일 입력 특징의 경우, 예측 모델 트레이닝을 위해 단일 특징의 데이터만이 LSTM에 입력된다. 단일 입력 특징은 
으로 표현될 수 있으며, 여기서 
는 타임 스탬프 i에서 예측된 데이터이고, 
는 타임 스탬프 i-j의 실제 데이터이고, 
는 크기가 L인 시퀀스이며, L은 LSTM이 예측 수행을 위해 사용하는 과거 타임 스탬프 수를 나타낸다. 특정 실시예들에서, 입력은 과거 기간의 처리량 샘플들이다.
다중 특징 입력의 경우, LSTM은 다중 특징들로부터의 데이터를 입력으로 입력으로서 취한다. 다중 특징 입력들은 
로 표현될 수 있으며, 여기서 
는 타임 스탬프 i에서 예측된 데이터이고, 
는 타임 스탬프 i-j에서 k 번째 특징의 실제 데이터이고, K는 입력으로서의 총 특징 수이고, 
는 크기가 L인 k 번째 특징의 데이터 시퀀스이며, L은 예측에 사용된 과거 타임 스탬프의 수를 나타낸다. 위 섹션과 동일하게, 여기서 LSTM은 고밀도 계층 크기가 1인 전체 딥 러닝 네트워크를 나타낸다.
단일 입력 특징 및 다중 특징 입력은 단일 셀로부터의 것임에 유의한다. 클러스터된 단일 입력 특징은 이러한 모든 셀로부터의 이력 데이터를 기반으로 동시에 여러 셀들에 대한 트래픽 예측을 수행한다. 즉, 클러스터된 단일 입력 특징은 시간 도메인에서뿐만 아니라 공간 도메인에 걸쳐(여러 eNB들 및 셀들에 걸쳐) 데이터를 사용할 수 있다. 셀들에 대한 컴퓨팅 비용과 예측 커버리지의 균형을 맞추기 위해, 클러스터된 단일 입력 특징은 전체 네트워크를 여러 클러스터로 분할하고, 각 클러스터별로 예측 모델을 트레이닝시킨다. 따라서, 클러스터된 단일 입력 특징은 
로 표현될 수 있으며, 여기서 
는 주어진 클러스터의 i 번째 타임 스탬프에서 모든 N 개의 셀에 대한 예측 결과이고, 
는 타임 스탬프 j에서의 d 번째 셀 t의 실제 데이터이고, 
는 d 번째 셀에서의 과거 데이터 시퀀스이고, L은 과거 타임 스탬프의 수를 나타내며, N은 클러스터에 있는 셀의 수이다. 특정 실시예들에서, 클러스터는 특정 지리적 영역 내의 단일 셀 또는 셀 그룹일 수 있다. 다른 실시예들에서, 셀 클러스터는 셀 커버리지의 기능(다운링크 전송 전력, 셀이 매크로 셀인지 또는 피코 셀인지 여부와 같은 능력 사용), 운용 캐리어 주파수, 무선 액세스 기술(예를 들면, 4G LTE인지, 5G New Radio인지 여부) 등으로 그룹화될 수 있다. 위의 접근 방식은 또한 각 셀에서 사용할 수 있는 여러 특징 입력과 같은 추가 실시예들로 구성될 수 있다.
특정 실시예들에서, 시계열 트래픽 예측은 트래픽 예측에 기초한 QRF(quantile regression forest)에 기초할 수 있다. QRF(Quantile Regression Forests)는 고차원 회귀 및 분류를 위한 Random Forest 알고리즘의 수정된 버전이다. 도 4d는 본 개시의 다양한 실시예들에 따른, 분위수 회귀 포레스트(quantile regression forest)의 예시적인 프레임워크(460)를 도시한 것이다. 입력(462)은 입력 특징들이다. 예를 들어, 주어진 입력 X=x에 대해, y보다 작은 Y에 대한 조건부 분포(conditional distribution)는 
이며, 여기서 Y는 예측 변수 X에 해당하는 담당 변수이다. 분위수 회귀 포레스트는 조건부 분포를 
로 근사화한다. 분포 함수 
의 추정은 x가 속하는 리프(예를 들면, 리프(464a, 464b 및 464c))에 대한 가중 평균을 취하여 얻는다. α-분위수는 
로 계산되므로, 주어진 입력 x 및 확률 α에 대해 예측 구간 
를 
로서 식별할 수 있다. 과거의 처리량 샘플들만이 입력으로서 단일 셀에서 사용되며, 그 출력은 다음 타임 스탬프에서 처리량에 대한 예측 구간이 됨에 유의한다. 이것은 
로 표현될 수 있으며, 여기서 
는 타임 스탬프 i에서의 예측 구간을 나타내고, 
는 타임 스탬프 i-j에서의 실제 데이터이고, 
는 크기가 L인 데이터 시퀀스이며, L은 예측을 행하기 위해 사용된 과거 타임 스탬프 수를 나타낸다. QRF는 Quantile Regression Forests를 나타낸다.
위의 도 4b에서 설명한 바와 같이, 이상 검출을 위한 트래픽 예측은 표준 편차 기반 이상 검출 또는 tukey 기반 이상 검출을 기초로 하는 것일 수 있다. 표준 편차 기반 이상 검출과 관련하여, 트래픽 예측 모델이 구축된 후, 제 1 단계는 모델의 예측 능력을 측정하고 예측 오차를 계산하기 위해 검증 데이터 세트(436)를 사용하는 것을 포함한다. 예측 오차는 
로 표현되며, 여기서 
는 검증 데이터 세트의 오차 벡터이고, 
는 타임 스탬프 i의 실제 데이터이고, 
는 타임 스탬프 i에서 예측된 데이터이며, T는 예측 벡터의 크기이다. 오차 벡터 
를 기반으로, 제 2 단계는 표준 편차를 식별하는 것을 포함한다. 블록 4389b는 표준 편차와 같은 파라미터들을 식별한다. 표준 편차는 
로 표현되며, 여기서 
는 오차 벡터의 표준 편차이고, STD는 표준 편차를 계산하는 함수를 나타낸다. 
는 데이터가 표준 편차를 계산하는데 사용되는 시간 윈도우이다. 예를 들어, 
이고 
인 경우, 이들의 시간 범위에 대응하는 3 개의 표준 편차 값이 존재한다. 블록도(430)는 미래에 이상 검출을 적용하기 위해 이들 파라미터를 저장할 수 있다. 실행시에, 모든 타임 스탬프 i-1에서, 트래픽 예측 방법은 과거 데이터 샘플을 기반으로, 다음 타임 스탬프 i에서 나올 데이터를 자동으로 예측한다. 예를 들어, 예측된 데이터와 실제 데이터를 비교하여, 
가 만족될 경우 이상이 존재한다.
tukey 기반 이상 검출의 경우, 이상 검출을 적용하기 전에 예측 구간이 필요하다. 제 1 단계에서는, 테스트 데이터 세트에서 예측 간격이 획득한다. 그 다음 이 간격은 4 개의 분기로 분할된다. 이러한 분기들을 기준으로 이상이 검출된다. 예를 들어, 트래픽 예측 방법이 QRF(Quantile Regression Forests)를 실행하여 타임 스탬프 i에 나타날 데이터를 예측하면, 예측 구간 
를 얻게 된다. 주어진 예측 구간 
의 경우, 이것이 4 개의 분기로 분할되며, 여기서 이들의 경계는 Q1, Q2 및 Q3으로 정의된다. 예를 들어, 
인 경우, 
, 
, 
가 된다. 타임 스탬프 I에서 나오는 실제 데이터 
의 경우 
또는 
가 만족되면 서버 이상이 될 가능성이 있다. 타임 스탬프 I에서 나오는 실제 데이터 
의 경우 
또는 
가 만족되면 가능한 이상일 가능성이 있다.
위의 도 4c에서 설명한 바와 같이, 이상 예측에 대한 트래픽 예상은 표준 편차 기반 이상 예측 또는 tukey 기반 이상 예측을 기초로 할 수 있다. 표준 편차 기반 이상 예측과 관련하여, 먼저 이력 데이터를 타임 스탬프별로 그룹화한 다음, 각 그룹에 대한 파라미터들을 식별하고, 마지막으로 이상 예측(456)이 테스트 데이터 세트(440)로부터 이상을 예측할 수 있다. 예를 들어, 이력 데이터를 수집 한 후, 블록도(450)의 제 1 단계는 데이터의 타임 스탬프를 기반으로 데이터를 그룹화한다. 즉, 시간과 분이 동일한 데이터에 대해, 시스템은 이들을 그룹으로 분류한다. 이 그룹은 
로 표현될 수 있으며, 여기서 
는 시간-분 값 k가 같고 크기가 T인 타임 스탬프들의 세트이며, 
는 이들 모두를 포함하는 k 번째 데이터 그룹이다. 데이터 세트를 타임 스탬프 그룹으로 분할한 후, 제 2 단계에서, 계산 파라미터들(438a)은 각 그룹의 평균 및 표준 편차를 식별한다. 평균은 
로 표현되며, 표준 편차는 각 그룹에 대해 
로 표현된다. 
는 데이터가 STD를 계산하는데 사용되는 시간 윈도우와 동일하다는 점에 유의한다. 시스템은 각 타임 스탬프 그룹에 대한 평균과 STD를 저장한다. 다음 타임 스탬프 i에 나타날 데이터를 예측한 후, 블록도(450)의 제 3 단계는 예측된 데이터 
에 기초하여, 동일한 타임 스탬프에서 이상 예측을 수행한다. 예를 들어, 
일 경우에는 타임 스탬프 I에서 이상이 높다.
tukey 기반 이상 예측과 관련하여, 먼저 이력 데이터가 타임 스탬프별로 그룹화되고, 각 그룹과 연관된 파라미터들이 식별된다. 다음으로, 테스트 데이터 세트의 예측 구간이 획득되고 4 개의 분기로 분할된다. 마지막으로, 이상 예측(456)이 이상을 예측한다. 예를 들어, 블록도(450)는 타임 스탬프에 의해 데이터를 그룹화하고, 이들 각각에 대한 평균을 계산한다. 다음으로, 타임 스탬프 i에서, 예측 구간 
가 획득되고, 이 예측 구간이 4 개의 분기로 분할된다. 이상 예측(456)은 
또는 
일 경우 이상의 높은 가능성을 예측한다.
특정 실시예들에서, 이상 검출 또는 이상 예측에 기초한 트래픽 예상이 수행된 후, RCA 프레임워크(400)는 결과를 시스템 관리자에게 보고 하기 전에 그 결과를 필터링한다. 필터링은 긍정 오류(false positive)의 가능성을 감소시킨다. 예를 들어, 후처리 필터는 샘플 값이 (i) 그 임계값 아래로 떨어져서 이상 검출 방법이 해당 샘플을 이상 샘플인 것으로 선언할 시에, 시스템에서 이상 경보를 제공하거나 (ii) 해당 임계값을 초과해서, 필터가 해당 샘플을 이상이 아닌 것으로 선언(머신 러닝 모델이 해당 샘플을 이상으로 선언하는지 여부에 관계없이)하도록 하는 처리량 임계값일 수 있다. 다른 날짜, 다른 시간, 다른 계절 처리량 평균 등에 대해 다른 임계값이 적용될 수 있다.
도 5a에 도시된 블록도(500)는 KPI 데이터를 이산화하는 것을 설명한다. 블록도(500)는 도 4a의 RCA 프레임워크(400)와 연관된 서버에 의해 수행될 수 있다. 블록도(500)는 KPI 데이터를 이산화하기 위한 양자화 임계값들에 이상 검출 임계값을 관련시키는 매핑을 포함하는 기능 또는 데이터베이스에 대해 설명한다. 또한, 블록도(500)는 KPI 데이터를 이산화하기 위한 지리적 영역, 시간, 운영자 및 양자화 임계값들을 관련시키는 매핑을 포함하는 기능 또는 데이터베이스에 대해 설명한다. 예를 들어, 임계값이 1 Mbps인 경우, 임계값들의 이산화는 시간별 KPI 값의 90 백분위 수를 기반으로 할 수 있다. 또 다른 예에서, 임계값이 0.1 Mbps인 경우, 임계값들의 이산화는 시간별 KPI 값의 99 백분위 수를 기반으로 할 수 있다. 또 다른 예에서, 임계값이 0.01 Mbps인 경우, 임계값들의 이산화는 시간별 KPI 값의 99.9 백분위 수를 기반으로 할 수 있다. 시간, 지리적 위치 등을 기반으로 하는 유사한 규칙이 개발될 수 있음에 유의한다.
예를 들어, 이상 검출을 위한 임계 파라미터(블록(502))가 선택된다. 선택된 임계 파라미터(블록(502))는 이상 검출 블록(504)에 의해 수신된다. 이상 검출 블록(504)은 도 4a의 이상 검출기들(412a 및 412b)과 유사하다. 이상 검출 블록(504)은 선택된 임계 파라미터에 기초하여 이상을 검출한다. 블록(508)에서 KQI들이 KPI 데이터(506)로부터 획득된다. 이상 검출 블록(504)은 KQI 이상 샘플들(510)의 리스트를 생성하기 위해 획득된 KQI들(블록(508)의) 및 임계값들을 수신한다. 블록(512)은 KPI 데이터(506) 및 기능(514)에 기초하여 KPI들을 이산화하며, 여기서 기능(514)은 선택된 임계 파라미터에 기초한다(블록(502)). 이산화된 PM 데이터(516)는 RCA(518)를 위해 사용된다. RCA(518)는 도 4a의 RCA(420)와 유사하다.
다른 실시예들에서, PM 데이터를 이산화하기 위한 백분위 수 또는 절대 임계값이 반복적인 방식으로 RCA에 대해 선택된다. 예를 들어, 하나 이상의 PM 데이터에 대한 임계값들이 시작 값으로 설정됨으로써 수학식 (7)을 기반으로 해당 신뢰도 점수를 평가하고, 수학식 (8)을 기반으로 적중률을 평가할 수 있다. 신뢰도 점수, 적중률 또는 신뢰도 점수 및 적중률 모두가 설계 제약 조건을 만족하지 않는 경우, 임계값들은 설계 제약 조건이 만족될 때까지 반복적으로 조정된다. 또 다른 실시예들에서, RCA에 대한 PM 임계값들을 결정하는 반복 프로세스가 KQI 이상을 검출하기 위한 임계값이 수정될 때마다 반복적으로 실행된다.
주어진 네트워크에 대해, 서로 다른 기본 패턴들 및 통계들을 갖는 여러 유형의 지리적 영역이 존재한다. 예를 들어, 주거 지역은 아침과 저녁에 트래픽 수요가 높아지고 사람들이 일하는 낮에는 수요가 낮아진다. 반대로, 산업 또는 상업 지역은 월요일부터 금요일까지 오전 9시에서 오후 6시 사이 등의 대략 사업장 근무 시간에 트래픽 수요가 증가하고 그 시간 외에는 수요가 거의 없을 것이다. 따라서, 이상 검출 또는 파라미터 이산화에 대한 임계값을 설정할 때, 지리적 위치(산업/상업 지역에 비해 주거 지역) 및 시간 제약과 관련된 패턴들을 고려할 수 있다. 예를 들어, 상업 지역과 주거 지역을 결합하여 시간별 통계 및 분위수를 계산하는 경우, 서로 다른 사용 패턴들이 결합 분포를 이동시켜 아웃라이어들을 검출하기 어렵게 만들 수 있다.
지리적 위치 및 시간 제약에 대응하도록 임계값을 설정하기 위해, 운영자(사용자)는 각 eNB가 있는 영역에 수동으로 레이블을 지정할 수 있다. 그러나, 각 eNB 작업에 수동으로 레이블을 지정하는 것은 시간이 많이 걸리고 새로운 사이트가 네트워크에 추가될 때마다 사람의 입력을 필요로 하게 된다. 대안적으로, 각 eNB에서 라벨링이 자동으로 수행될 수 있다. 예를 들어, 도 4a의 근본 원인 분석 프레임워크(400)는 일, 주 및 심지어 월 레벨의 통계에 기초하여 패턴을 식별할 수 있다. 식별된 패턴들을 기반으로 유사한 시간 통계를 따르는 사이트들이 함께 그룹화될 수 있다. 패턴 식별은 클러스터링 또는 분류 기술에 의해서 수행될 수 있다. 사이트가 그것의 통계 패턴들에 따라 분류되면, 이상 검출 및 파라미터 이산화에 사용할 장기(long term) 통계를 계산하기 위해 동일한 클래스의 사이트들로 그룹화될 수 있다.
그룹의 통계가 얼마나 빨리 변경되는지에 따라, 이상 검출 및 KPI 이산화의 통계 계산을 위한 윈도우 크기를 적절하게 조정할 수 있다. 예를 들어, 주거 지역에서 일반적으로 6 시간 동안 동일한 트래픽 수요가 표시되는 경우, KPI 이산화 알고리즘은 더 큰 시간 윈도우를 사용하여 분위수 레벨들을 계산할 수 있다. 트래픽 수요가 일정할 때 큰 시간 윈도우를 사용하면 이상 검출에 필요할 수 있는 분위수 레벨의 정밀도에 도달할 수 있다. 예를 들어, 0.999 분위수를 가지려면, 1000 개의 샘플이 필요하다. 이산화 알고리즘에 다른 레벨의 정밀도가 필요한 경우, 샘플 수에 또 다른 정도의 크기가 필요하다. 로컬 사이트 그룹이 작으면, 필요한 정밀도를 달성하기 위해 단 1 시간 내의 샘플로 충분하지 않을 수 있다. 사이트 영역 분류를 기반으로 윈도우 길이를 조정함으로써, 알고리즘은 필요한 정밀도 레벨에 도달하기에 충분한 샘플을 확보할 수가 있다.
지리적 위치, 시간 및 KPI 이산화 임계값들 간의 매핑이 데이터베이스에 저장될 수 있다. 이 매핑은 근본 원인 분석 프레임워크(400)의 근본 원인 분석 중에 사용될 수 있다.
아래의 표 3은 KQI 이상과 관련된 업링크 무결성을 위해 RCA 동안 사용될 수 있는 KPI의 예를 보여준다.
| KPI | Relevant PM | Range of Discretized Variable | Quantization Thresholds |
| Resource | CpuLoadAvg,MemLoadAvg, DiskLoadAvg | {0,1} 0:Normal, 1: Abnormal |
CPU:0 if <23%, 1 otherwise Mem and Disk: 0 if < 90%, 1 otherwise |
| Cell Availability | EutranCellAvailability | {0,1} 0: Normal, 1: Abnormal |
0 if EutranCellAvailability > 10% 1 if EutranCellAvailability <= 10% |
| Cell Accessibility | ErabAccessilityInit | {0,1} 0: Normal, 1: Abnormal |
0 if ErabAccessibilityInit > 0 1 if ErabAccessibiltyInit == 0 |
| BLER Initial TX on Downlink and Uplink | DLResidualBlerRetrans0 and ULResidualBlerRetrans0 | {0,1} 0: Normal, 1: Abnormal |
DL Retrans0 : 0:if <= 60 %, 1: otherwise UL Retrans0: 0: if <= 50%, 1 otherwise |
| Weighted DL CQI | WeightedDLReceivedCQI | {0,1} 0: Normal, 1: Abnormal |
0: if > 4, 1: otherwise |
| Uplink PRB Utilization | TotPrbULAvg | {0,1}0: Normal, 1: Abnormal | 0: if > 0.01 %, 1: otherwise |
| Uplink SINR Ratio | ULSinrRatio =  |
{0,1,2,3,4} | Denote X% as the hourly quantile for X. 0, X < X80% 1, X10% <=X < X80% 2, X80% <= X < X99.9% 3, X > X99.9% 4, if no measurement is available |
| Uplink Scheduler MCS Ratio | ULSchedulerMcsRatio =  |
{0,1,2,3,4} | |
| Uplink Power Headroom Ratio | ULPhrIndexRatio = |
{0,1,2,3,4} | |
| Uplink RSSI | RssiPath0Avg, RssiPath1Avg | {0,1,2,3} | |
| Average Interference Power | InterferencePowerAvg | {0,1,2,3} | |
| Interf over Thermal(UL) | ULIoTAvg =  |
{0,1,2,3} | |
| Uplink IP Volume | ULIpThruVol | {0,1,2,3} | |
| Uplink Average UE Number | UEActiveULAvg | {0,1,2,3} |
아래 표 4는 KQI 이상과 관련된 다운링크 무결성을 위해 RCA 동안 사용될 수 있는 KPI의 예를 보여준다.
| KPI | Relevant PM | Range of discretized variable | Thresholds |
| Resource | CpuLoadAvg,MemLoadAvg, DiskLoadAvg | {0,1} 0:Normal, 1: Abnormal |
CPU:0 if <23%, 1 otherwise Mem and Disk: 0 if < 90%, 1 otherwise |
| Cell Availability | Availability | {0,1} 0:Normal, 1: Abnormal |
0 if EutranCellAvailability > 10 % 1 if EutranCellAvailability <= 10% |
| Cell Accessibility | Accessibility | {0,1} 0:Normal, 1: Abnormal |
0 if ErabAccessibilityInit > 0 1 if ErabAccessibilityInit ==0 |
| BLER First Retx | DLResidualBlerRetrans1 | {0,1} 0:Normal, 1: Abnormal |
0: if < 60 %, 1: otherwise |
| BLER HARQ Failure(DL) | DLResidualBlerRetransAvg | {0,1}0:Normal, 1: Abnormal | 0: if < 100 %, 1: otherwise |
| Null IP Traffic Volume | AirMacDLByte | {0,1}0:Normal, 1: Abnormal | 0 if > 10 Kbytes, 1: otherwise |
| Weighted DL CQI | WeightedDLReceivedCQI | {0,1}0:Normal, 1: Abnormal | 0: if > 4, 1: otherwise |
| Downlink PRB Utilization | TotPrbDLAvg | {0,1,2,3} | Denote X% as the hourly quantile for X. 0, X < X80% 1, X10% <=X < X80% 2, X80% <= X < X99.9% 3, X > X99.9% 4, if no measurement is available |
| Downlink Avg. UE number | UEActiveDLAvg | {0,1,2,3} | |
| Downlink Scheduler MCS Ratio | DLSchedulerMcsRatio =  |
{0,1,2,3,4} |
PM 데이터 전처리에는 합성 PM 데이터 도출도 포함된다. 합성 PM 데이터는 서로 다른 KPI들을 결합하여 도출된다. 서로 다른 KPI들을 결합하여 원시 PM 데이터 내에서 아직 사용할 수 없는 특정 지식을 제공한다. 다음 예들에서는 IP 처리량 관련 이상들의 근본 원인을 확인하는데 유용한 다양한 합성 PM들에 대해 설명한다.
제 1 예시적인 합성 PM은 높은 리소스 사용률이라고 한다. 높은 리소스 사용률에서 eNB에 있는 처리 유닛들의 각 쉘프 및 슬롯에 대한 CPU 로드, 메모리 로드 및 디스크 사용률이 네트워크의 전반적인 상태에 대한 지식을 제공할 수 있다. 예를 들어, 높은 CPU 부하로 인해 eNB가 사용자에게 다운링크 및 업링크 트래픽을 제공하는 기능이 제한됨으로써 최종 사용자의 IP 처리량 감소 및 IP 지연 시간 증가에 기인하여 인지된 서비스 품질이 저하될 수 있다.
제 2 예시적인 합성 PM은 업링크 파워 헤드룸 비율이라고 한다. 업링크 파워 헤드룸 비율은 최신 RI 동안, eNB가 전체 보고 범위(0 내지 63)에서 수신된 총 PHR 수에 대한 인덱스가 18 이하인 파워 헤드룸 보고(PHR)를 받았을 때의, 파워 헤드룸 보고 수의 비율을 지정한다. PHR은 사용 가능한 파워 헤드룸(PH, dB로 측정)을 측정하는 양자화된 메트릭이며, 이것은 UE의 최대 전송 전력 
와 순간 전송 전력(추정된 다운링크 경로 손실 
, 공칭 PUSCH 전송 전력 
, 부분적 경로 손실 파라미터 
및 할당된 리소스 블록 수 
에 의해 결정됨) 간의 차이로 정의된다. 수학식 (9)는 파워 헤드룸을 설명한다.
수학식 (9)
위의 수학식 (9)에서, PHR 인덱스 j는 UE의 파워 헤드룸이 구간 
에 있음을 나타낸다. 예를 들어, 인덱스 0은 파워 헤드룸이 -23 dB 내지 -22dB 사이임을 나타내고, 인덱스 63은 PH가 40 dB를 초과함을 나타낸다.
수학식 (10)은 업링크 파워 헤드룸 비율을 나타낸다. 수학식 (10)에서 나타난 바와 같이, 1에 가까운 비율 값들은 상당한 수의 UE들이 전력 제한됨(즉, PUSCH 전송을 위해 최대 전송 전력을 사용함)을 나타내며, 이것은 관심 대상 셀에 대한 업링크 커버리지 문제를 시사한다.
수학식 (10)
제 3 예시적인 합성 PM은 가중 파워 헤드룸이라고 한다. 가중 파워 헤드룸은 여러 사용자들의 보고들이 그들의 발생 횟수에 비례하여 가중 처리될 수 있도록 한다. 아래의 수학식 (11)은 가중 파워 헤드룸의 구동을 설명한다.
수학식 (11)
제 4 예시적인 합성 PM은 업링크 스케줄러 MCS 비율이라고 한다. 업링크 스케줄러 MCS 비율은 0 내지 28(포함) 사이의 업링크 MCS 값들을 특징으로 하는 리소스 블록의 누적 카운트들에 대한 0 내지 5(포함) 사이의 업링크 MCS 값들을 특징으로 하는 최신 RI 동안 리소스 블록의 누적 카운트들의 비율이다. 해당 KPI의 이름은 아래 수학식 (12)에 표시된 바와 같이 ULSchedulerMcsRatio이다. 1에 가까운 비율 값들은 상당한 수의 사용자들이 5 이하의(낮은 코딩 속도의 QPSK 변조된 심볼들에 해당) 업링크 MCS 값들로 서빙되어 스케줄링 기회 당 전송되는 페이로드 비트가 더 적음을 나타낸다. 이것은 낮은 업링크 처리량을 나타낸다. 수학식 (12)는 분모가 0보다 큰 경우에만 계산되며 그렇지 않으면 비율은 -1, NaN 등과 같은 특수 값을 사용하여 라벨링된다.
수학식 (12)
제 5 예시적인 합성 PM은 업링크 낮은 SINR 비율이라고 한다. 낮은 SINR 비율은 [-10 dB, 30 dB] 범위(외부-루프 보상 전)의 업링크 SINR 값들의 누적 카운트에 대한 최신 RI 동안, [-10 dB, 2 dB] 범위(외부-루프 보상 전)의 업링크 SINR 값들의 누적 카운트들의 비율이다. 해당 KPI의 이름은 ULLowSinrRatio이며 아래의 수학식 (13)에 설명되어 있다. ULLowSinrRatio 값들이 1에 가까운 셀들은 0dB 이하의 업링크 SINR 값들을 경험하는 사용자 비율이 높다. 수학식 (13)은 분모가 0보다 클 때 계산되며, 그렇지 않으면 비율은 -1, NaN 등과 같은 특수 값을 사용하여 라벨링된다.
수학식 (13)
제 6 예시적인 합성 PM은 가중 업링크 SINR이라고 한다. 가중 업링크 SINR은 업링크 SINR 측정을 사용하여 계산된 최신 RI 동안의(사전 또는 사후 외부 루프 보상) 가중 업링크 SINR이다. 아래의 수학식 (14)는 가중 업링크 SINR을 설명한다.
수학식 (14)
제 7 예시적인 합성 PM은 업링크 수신 MCS 비율이라고 한다. 업링크 수신 MCS 비율은 0 내지 28(포함) 사이의 업링크 MCS 값들을 특징으로 하는 PUSCH가 수신되었을 때 누적 카운트들에 대한 0 내지 5(포함) 사이의 MCS 값들로 PUSCH가 수신되었을 때의, 최신 RI 동안, 누적 카운트들의 비율이다. 해당 KPI의 이름은 ULReceivedMcsRatio이며, 아래 수학식 (15)에 설명되어 있다. 1에 가까운 비율 값들은 상당한 수의 사용자에게 5 개 이하의 업링크 MCS 값들이 서빙되어 스케줄링 기회 당 전송되는 비트 수가 더 적어짐을 나타낸다. 이것은 낮은 업링크 처리량을 나타낸다. 식 (15)는 분모가 0보다 클 때 계산되며, 그렇지 않으면 비율은 -1, NaN 등과 같은 특수 값을 사용하여 라벨링된다.
수학식 (15)
제 8 예시적인 합성 PM은 다운링크 스케줄러 MCS 비율이라고 한다. 다운링크 스케줄러 MCS 비율은 0 내지 28(포함) 사이의 다운링크 MCS 값들을 특징으로 하는 리소스 블록의 누적 카운트에 대한 0 내지 5(포함) 사이의 다운링크 MCS 값들을 특징으로 하는, 가장 최근 RI 내의, 리소스 블록들의 누적 카운트의 비율이다. 해당 KPI의 이름은 DLSchedulerMcsRatio이며, 아래의 수학식 (16)에 설명되어 있다. 1에 가까운 비율 값들은 상당한 수의 사용자에게 5 개 이하의 다운링크 MCS 값이 서빙되어 스케줄링 기회 당 전송되는 비트 수가 더 적게 됨을 나타낸다. 이것은 다운링크 처리량이 낮음을 나타낸다. 수학식 (16)은 분모가 0보다 클 때 계산되며, 그렇지 않으면 비율은 -1, NaN 등과 같은 특수 값을 사용하여 라벨링된다.
수학식 (16)
제 9 예시적인 합성 PM은 가중 다운링크 MCS라고 한다. 가중 다운링크 MCSi들은 MCS 값들의 가중 평균이며, 이것은 가장 최근의 RI까지 이어지는 시간 구간 동안 각 MCS 레벨이 사용된 횟수를 고려하여 얻어진다. 해당 KPI의 이름은 WeightedDLScheduledMcs이며, 아래의 수학식 (17)에 설명되어 있다. 수학식 (17)은 분모가 0보다 클 때 계산되며, 그렇지 않으면 비율은 -1, NaN 등과 같은 특수 값을 사용하여 라벨링된다.
수학식 (17)
제 10 예시적인 합성 PM은 가중 송신 다운링크 MCS라고 한다. 가중 송신 다운링크 MCS가 아래의 수학식 (18)에 설명되어 있으며 이것은 PDSCH 전송에 사용되는 변조 및 코딩 방식의 가중 평균을 포함한다. 가중 다운링크 MCS 값이 작으면 무선 상태가 좋지 않아 다운링크 IP 처리량이 저하됨을 나타낸다. 이 계산은 각 MCS 레벨에 대한 발생 횟수의 히스토그램 카운트를 기반으로 하거나, 또는 각 MCS 레벨에 할당된 리소스 수(시간 도메인, 주파수 도메인)를 기반으로 할 수 있다. 다른 실시예들은 코드 워드 및 공간 계층 도메인에 걸쳐 평균화되는 이러한 양을 계산할 수 있다. 수학식 (18)은 분모가 0보다 클 때 계산되며, 그렇지 않으면 비율은 -1, NaN 등과 같은 특수 값을 사용하여 라벨링됨에 유의한다.
수학식 (18)
제 11 예시적인 합성 PM은 가중 다운링크 CQI라고 한다. 가중 다운링크 CQI는 수학식 (19)에 설명되어 있으며, 이것은 가중치가 0 내지 15 사이의 각 CQI 레벨에 대한 히스토그램 카운트에 비례하는 가중 평균 채널 품질에 의해서 계산된다. 가중 CQI 값이 작으면 무선 상태가 좋지 않아 다운링크 IP 처리량이 저하됨을 나타낸다. 다른 실시예들에서, 가중치는 각 CQI 레벨의 전송에 전용되는 무선 리소스(시간 도메인, 주파수 도메인 및 공간 도메인)의 수에 비례한다.
수학식 (19)
제 12 예시적인 합성 PM은 다운링크 제어 채널 사용률이라고 한다. 다운링크 제어 채널 사용률은 수학식 (20)에 설명되어 있으며, 이것은 다운링크 제어 채널 정보를 최종 사용자에게 전송하는데 사용되는 제어 채널 요소(CCE) 크기의 가중 평균에 의해 계산된다. CCE 크기는 1, 2, 4 및 8로 다양하며 일반적으로 무선 품질이 나쁜 사용자들에게는 더 큰 CCE 크기가 사용된다. 따라서, 4 이상의 가중 평균 값들은 다운링크 무선 품질이 좋지 않음을 나타낸다. 다른 실시예들은 다운링크 할당, 업링크 그랜트 등을 스케줄링하기 위한 CCE 할당 실패 백분율의 통계를 포함할 수 있음에 유의한다.
수학식 (20)
제 13 예시적인 합성 PM은 제어 포맷 사용률이라고 한다. 제어 포맷 사용률은 제어 채널 오버헤드(1, 2 또는 3 OFDM 심볼)를 결정하는데 사용되며, 오버헤드가 클수록 데이터 채널에 대한 리소스 가용성이 감소함을 의미한다. 특정 실시예들에서, CFI 비율은 아래의 수학식 (21)에 설명된 바와 같이 총 카운트 수에 대한 3의 CFI 값들의 히스토그램 카운트들의 비율을 통해 계산될 수 있다.
수학식 (21)
PM 데이터 전처리에는 CA KPI 계층 생성도 포함될 수 있다. 각 RI 동안, 각각의 eNB는 많은 양의 KPI를 보고한다. 수신된 KPI들은 이전 RI와 현재 RI 간의 네트워크 상황 및 상태에 대한 자세한 정보를 제공한다. 수신된 KPI들은 서로 다른 프로토콜 계층에 있을 수 있다.
KPI 트리 계층은 KPI들 간의 계층적 관계를 나타낸다. 도 5b는 상이한 KPI들(예를 들면, KPI1, KPI2, KPI3, KPI4 및 KPI5) 간의 예시적인 계층적 관계를 설명하는 예시적인 KPI 트리 계층(520)을 도시한 것이다. 도 5b의 다양한 KPI들은 특정 서비스 카테고리에 속한다. 루트 노드(521)는 관심 대상 KQI이다. 서비스 카테고리 KQI는 루트 노드 또는 레벨 0 KPI를 정의한다. 레벨 i의 각 KPI는 eNB의 상태에 관한 세부 정보를 제공한다. 특정 실시예들에서, 트리는 이진 트리일 수도 있고 아닐 수도 있다. 계층 구조는 도메인 전문가를 통해 또는 머신 러닝과 EDA 툴(예를 들면, RAPIDMINER)의 혼합을 통해 얻을 수 있다.
각 부모 노드를 KPI 트리 계층 구조(520)의 자식 노드에 링크시키는 경로는 상호 배타적이다. 예를 들어, 노드(522)는 노드(524)의 부모 노드이고, 노드(524)는 노드(522)의 자식 노드이다. 트리의 각 자식 노드는 최소 신뢰도 임계값을 초과하는 신뢰도로 특정 부등 제약 조건을 만족하는 KPI 또는 다중 KPI에 해당한다. 특정 실시예들에서, 최소 신뢰도 임계값은 85%이다. 트리에서 더 높은 곳에 있는 KPI들(예를 들면, 노드(524)와 비교하여 노드(522))은 이상 징후와 연관된다. 트리 하단의 KPI들은 이상에 대한 근본 원인 설명을 제공한다.
특정 실시예들에서, KPI 트리 계층 구조는 KPI 트리 계층 구조(520)에 예시 된 2 개의 레벨보다 많은 레벨을 포함할 수 있다. 예를 들어, 더 깊은 트리는 KQI 이상과 연관된 더 많은 징후 및 근본 원인을 나열하는 등 더 자세한 설명을 제공할 수 있다.
예를 들어, 트리의 제 1 레벨은 노드(522) 및 노드(523)의 규칙들에 대응한다: 노드(522)의 규칙은 관계 
를 기반으로 하고, 노드(524)의 규칙은 관계 
를 기반으로 한다. KPI 트리 계층 구조(520)의 제 2 레벨은 근본 원인 설명을 제공한다. 예를 들어, 노드(524)는 
일 경우에 대한 근본 원인 설명을 제공한다. 노드(526)는 
일 경우에 대한 근본 원인 설명을 제공한다. 노드(527)는 
일 경우에 대한 근본 원인 설명을 제공한다.
도 5c는 본 개시의 다양한 실시예들에 따른 KPI 트리 계층 구조를 구성하기 위한 흐름도(530)를 도시한 것이다. 특정 실시예들에서, 도 4a의 RCA 프레임워크(400)는 KPI 트리 계층 구조(520)와 같은, KPI 트리 계층 구조를 생성한다.
일단 생성되면 KPI 계층 구조 트리는 기저가 되는 근본 원인 및 이상을 수반하는 관련 징후를 설명한다. 일반적으로, 제 1 단계는 최소 신뢰도에 따라 
형태로 싱글톤 선행조건으로 구성된 규칙들을 도출하는 것으로 이루어진다. 첫째, 기본 규칙이 높은 신뢰도를 제공할 수 있지만, 수반되는 KPI가 이상의 근본 원인(들)일 수도 있고 아닐 수도 있다. 예를 들어, 낮은 다운링크 트래픽 볼륨을 IP 처리량 이상에 관련시키는 규칙이 높은 신뢰도를 제공할 수 있지만, 기저가 되는 근본 원인(트래픽 볼륨이 낮아짐)은 해당 셀에 대한 사용자의 열악한 무선 상태 때문이거나 또는 셀 접근성 부족 때문이거나 또는 해당 셀의 트래픽 수요가 충분하지 않기 때문이다. 기저가 되는 근본 원인을 확인하려면 근본 원인으로 이어지는 이벤트들에 대한 지식이 필요하다. 이를 수행하는 한 가지 방법은 하나 이상의 기본 규칙에 속하는 선행조건들을 연쇄시켜서(예를 들면, 논리 용어 AND 사용) 더 복잡한 규칙들을 형성하는 것이다. 규칙들을 함께 연쇄시키면 연쇄 규칙의 전반적인 신뢰도가 향상된다. 연쇄 규칙은 또한 IP 처리량 이상으로 이어지는 원인 및 결과 관계에 대한 지식을 생성하는데 도움이 된다. 둘째, 특정 시나리오에서는 다양한 싱글톤 규칙들이 제대로 수행되지 않을 수 있다. 예를 들어, 높은 신뢰도를 제공하는 기본 규칙 
이 제 2 이벤트 
를 조건으로 하는 낮은 신뢰도를 제공할 수 있다. 예를 들어, 아래의 수학식 (22)이 제 1 신뢰도에 대응하고, 아래의 수학식 (23)이 제 2 신뢰도에 대응하는 경우, 아래의 수학식 (24)에 기반하는 확률 규칙에 따라, 전체 신뢰도가 평균적으로는 높을 수 있지만, 개별 항, 예를 들면, 
의 신뢰도는 상대적으로 낮을 수 있다.
수학식 (22)
수학식 (23)
수학식 (24)
흐름도(530)에 설명된 바와 같이 KPI 트리를 생성하기 위해, 
가 KQI 이상과 연관된 보고 KPI들의 집합으로서 정의된다. 즉, 각각의 
에 대해(여기서 s
) 
이다. 목표는 일련의 규칙 
을 도출하는 것이다. 각 규칙 
에 대해, 
가 규칙의 선행조건을 만족하는 모든 보고된 KPI 데이터 세트를 나타내는 것으로 한다. KPI들은 이산화되거나 연속적으로 평가될 수 있다. 특정 실시예들에서는 KPI가 1 내지 M 범위의 정수 값인 것으로 가정한다. (i) 
내의 규칙 세트는 상호 배타적임에 유의한다. 즉, 각 PM 샘플 
는 
내의 0 개 규칙 또는 
내의 1 개 규칙을 만족하고, (ii) 각 
은 미리 정의된 임계값(예를 들면, 85%)을 초과하는 신뢰도를 가지고 있으며, (iii) 전체 적중률(hit ratio, HR) 최대화는 
을 기반으로 한다.
각 KPI가 임계값을 초과하는 신뢰도를 갖는 기본 규칙(즉, 
)의 일부가 되도록 KPI 세트 
가 식별된다. 기본 규칙을 도출하는 일 방법에서, 연관 규칙 마이닝과 같은 머신 러닝 알고리즘이 적용된다(예를 들면, 도 4a의 머신 러닝 트레이닝 모델(414)). 특정 실시예들에서는, 전문가가 KPI 값들 또는 값 범위들을 KQI 이상들과 관련시키기 위한 예시적인 KPI 세트를 결정할 수 있다. 다른 실시예들에서는, 규칙 마이닝과 전문가 영역 지식의 조합이 또한 적용될 수도 있다.
일 실시예에서, 연쇄 규칙은 KPI들 즉 
의 모든 조합을 연결하고 연쇄 규칙의 신뢰도를 평가함으로써 형성될 수 있다. 규칙이 원하는 신뢰도 임계값을 만족하지 못하는 경우 이것은 폐기된다. 특정 실시예들에서는, 규칙이 원하는 신뢰도 임계값을 만족하지 못하는 경우, q 개의 KPI들(q는 알고리즘 또는 설계 파라미터임)을 해당 규칙에 연쇄시키는 것이 신뢰도 임계값을 만족하지 못하는 경우, 해당 규칙 및 해당 규칙에서 도출된 모든 브랜치들이 폐기된다. 이 절차에 따라, 
내의 제 1 레벨의 규칙들은 싱글톤 규칙들, 즉 단일 선행조건 KPI가 있는 규칙들로 구성된다. 최대 
개의 가능한 규칙들이 존재한다. 제 2 레벨의 규칙들은 KPI 쌍들이 있는 규칙들로 구성된다. KPI 쌍들로 구성되는 최대 
개의 가능한 규칙들이 존재한다. 제 3 레벨의 규칙들은 
개의 조합 등으로 구성될 수 있다. 따라서 
내의 최대 규칙 수는 
이다. 다른 실시예들에서는, 규칙이 원하는 신뢰도 임계값을 만족하지 못하는 경우, 후속 브랜치(추가 KPI들을 해당 규칙에 연쇄시켜 획득)가 필수 목표 신뢰도를 달성할 때까지 유지된다. 이러한 실시예들은 규칙 자체가 원하는 신뢰도 임계값을 만족하지 못하는 경우, 규칙에 연쇄시킬 서로 다른 KPI들의 수를 제어하는 구성 가능한 파라미터를 포함할 수 있다.
대안적인 실시예는 점진적으로 더 작은 데이터 세트에서 규칙 마이닝 알고리즘을 실행하는 것을 포함한다. 첫째, 규칙 마이닝이 앞서의 방법들에서와 같이, 기본 규칙을 생성하기 위해 대규모 데이터 세트(1 일 이상)에서 사용된다. 기본 규칙들이 발견되고 위에서 설명한 랭킹 방법들 중 하나에서 순위가 지정되면, 기본 규칙이 트루인 샘플들만 포함하도록 데이터 세트가 축소된다. 그 다음 이 작은 데이터 세트에서 규칙 마이닝을 다시 수행하여 제 2 순서 규칙을 찾아낸다. 이 프로세스는 이들의 랭킹 순서로 각 기본 규칙에서 실행된다. 제 2 순서 규칙이 발견되면, 이들에 순위가 지정될 수 있고 프로세스를 다시 실행할 수 있다. 이 프로세스는 최소 신뢰도 요구 사항과 일치하는 더 높은 순서의 규칙이 발견되지 않을 때까지 계속된다.
또 다른 대안적인 실시예에서, 복합 규칙들이 반복적으로 생성된다. 흐름도(530)는 이 실시예를 설명한다. 예를 들어, 제 1 단계는 KPI 세트 K를 중요도 점수 순서로 정렬하는 것으로 구성되며, 가장 높은 것으로부터 가장 낮은 것까지 순위가 매겨진다. 중요도 점수는 적중률이 최대인 KPI에 대한 가장 높은 중요도부터 시작하여 최소 적중률을 가진 KPI에 가장 낮은 중요도를 할당할 수 있다. 본 발명의 일 실시예에서, 도메인 전문가는 인지된 질적 중요성에 따라 KPI들의 순위를 매길 수 있다. 예를 들어, 가장 높은 중요도 KPI가 가용성 KPI(또는 가장 최근보고 간격까지 이어지는 시간 간격 동안 셀을 사용할 수 있었던 시간의 백분율)로 설정될 수 있고, 다음으로 높은 KPI가 접근성 KPI로 설정될 수 있는 등으로 이루어진다.
예를 들어, 프로세서는 M 개의 기본 규칙들 
각각의 신뢰도를 평가하며, 여기서 KPI1은 K 내에서 중요도가 가장 높은 KPI이다. M 개의 기본 규칙과 
내의 이들의 신뢰도 값들을 저장한다. 2와 L 내에 있는 l과 
내에 있는 각 r에 대해 다음 조건들이 모두 만족되는 경우, 규칙 및 
로부터의 해당 규칙에서 도출되는 모든 연쇄 규칙들이 폐기된다. 제 1 조건은 규칙의 신뢰도가 최소 임계값 미만일 경우에 만족된다. 제 2 조건은 이전 q 개의 KPI(중요도 순)를 해당 규칙에 연쇄시켜(모든 조합) 얻은 연쇄 규칙의 신뢰도가 최소 임계값 미만일 경우에 만족된다. 여기서, q는 1과 L-1(포함) 사이에 있는 구성 가능한 파라미터이다. 2와 L 내에 있는 l 및 1과 M(포함) 사이에 있는 각 m에 대해, 프로세서는 규칙 
을 r에 연쇄시켜서 연쇄 규칙의 신뢰도를 평가한다. 연쇄 규칙이 원하는 신뢰도 임계값을 만족하는 경우, 그 연쇄 규칙과 이것의 신뢰도 값을 
에 추가한다. 이것은 프루닝(pruning)임에 유의한다
KPI 트리 계층 구조를 생성하기 위해, 규칙 세트가 식별된다(단계 532). 특정 실시예들에서는, 규칙들이 도 4a의 머신 러닝 트레이닝 모델(414)로부터 식별될 수 있다. 다른 실시예들에서는, 규칙들이 전문가에 의해 생성된다. 특정 실시예들에서는, 전문가와 결합된 도 4a의 머신 러닝 트레이닝 모델(414) 모두가 규칙들을 식별한다. 규칙들은 KPI 값들 또는 값 범위들을 KQI 이상들과 관련시킨다.
단계 534에서, KPI 세트 
가 식별(수집)되어 각 KPI가 임계값을 초과하는 신뢰를 갖는 기본 규칙(즉, 
)의 일부가 된다.
단계 536에서 KPI 세트에 중요도 점수가 할당된다. 중요도 점수는 랭킹을 기반으로 하며 여기서는 적중률이 최대인 KPI에 가장 높은 중요도가 할당되고 적중률이 가장 낮은 KPI에 가장 낮은 중요도가 할당된다. 예를 들어, 가장 높은 중요도 KPI가 가용성 KPI(또는 가장 최근 보고 구간까지 이어지는 시간 구간 동안 셀을 사용할 수 있었던 시간의 백분율)로 설정될 수 있고, 다음으로 높은 KPI가 접근성 KPI로 설정될 수 있는 등으로 이루어진다. 다른 실시예들에서는, 도메인 전문가가 인지된 질적 중요성에 따라 KPI들의 순위를 매길 수 있다. 단계 538에서는 KPI들이 목록 기반으로 구성된다. KPI들의 순서는 중요도 점수의 내림차순이다. 특정 실시예들에서는, KPI들의 목록이 규칙 데이터베이스에 저장된다.
단계 540에서, 각 규칙에 대해, KPI는 변경된 규칙을 형성하기 위해 가장 중요한 KPI부터 시작하여 반복적으로 링크(또는 연쇄)된다. 특정 실시예들에서는, KPI가 반복적으로 연쇄된 후에 임계값 미만의 신뢰도 점수를 갖는 규칙이 제거된다. 후속적으로 해당 규칙에 추가 KPI들을 연쇄시키기 때문에 KPI들이 반복적으로 변경된 후에 규칙들이 제거되며, 연쇄 규칙의 신뢰도가 잠재적으로 원하는 임계값을 초과할 수 있다.
단계 542에서, (i) 규칙의 신뢰도 점수가 임계값 미만이고 (ii) 이전의 KPI들을 해당 규칙에 연쇄시킴으로써 얻어진 연쇄 규칙의 중요도 점수가 임계값 미만인 경우 규칙 및 규칙으로부터 도출된 모든 연쇄 규칙들이 트리에서 제거된다. 예를 들어, 각 리프 노드 j에서 시작하여, 프로세서는 j에서 종료되는 복합 규칙의 지원, 신뢰도 및 적중률이 j의 부모 노드에서 종료되는 복합 규칙으로 얻은 것과 동일한지 여부를 확인한다. 위의 것이 TRUE인 모든 리프 노드가 폐기된다. 단계 544에서, 연쇄 규칙이 메모리에 저장된다. 특정 실시예들에서, 각 연쇄 규칙에 대한 근본 원인 설명이 생성된다.
도 5c가 KPI 트리 계층 구조를 구성하기 위한 흐름도(530)의 일 예를 나타내지만, 도 5c에 대해 다양한 변경이 이루어질 수 있다. 예를 들어, 일련의 단계로 나타나 있지만, 도 5c의 다양한 단계들이 중첩되거나 병렬적으로 발생하거나, 여러 번 발생할 수 있다. 다른 예에서, 유사한 프로세스들을 사용하여 경보 기반 규칙들에 대한 계층 구조 트리를 생성할 수 있다.
도 5d는 본 개시의 다양한 실시예들에 따른 KPI 트리 계층 구조의 예시적인 출력(550)을 도시한 것이다. 주어진 트리(552)에 대한 예, 규칙(554)과 같은 규칙이 그와 연관될 수 있다.
전처리에는 공동 처리 경보 및 PM 데이터가 포함될 수도 있다. 경보는 eNB의 오작동에 따라 트리거되는 이벤트이며, PM 데이터는 셀 단위이며 특정 간격으로 수신된다. 경보는 잠재적으로 저하된 네트워크 KQI들을 초래할 수 있는 하드웨어 및 소프트웨어 문제의 트러블슈팅 및 진단에 필수적이다. 이와 같이, 경보와 PM 데이터를 공동 처리하여 경보 eNB 발생을 기반으로 PM 이상 발생을 예측할 수 있는 설명 및 능력을 제공한다.
특정 실시예들에서, PM 이상 발생과 경보 발생 사이의 관계에 관한 정보를 추출하기 위해, 시간 도메인 상관기가 타임 스탬프된 PM 이상 데이터와 경보 데이터를 처리함으로써 이들이 함께 또는 서로 가까이에서 발생하는 시간 인스턴스들을 결정한다.
특정 실시예들에서는, 상관 관계가 각각의 이상 카테고리와 관련하여 서로 다른 타입의 경보 발생 수의 분포를 나타내는, 사용자 인터페이스에 표시된다. 예를 들어, 사용자 인터페이스는 특정 기간(예를 들면, 지난 1 시간, 하루 등) 동안 경보 및 이상 발생의 시간적 분포를 제공하는 분석으로 구성된다. 최종 사용자는 이 정보를 사용하여 서비스 레벨에 영향을 미치는 가장 중요한 경보를 결정하고, 또한 경보 발생의 근본 원인을 파악할 수 있다.
특정 실시예들에서, 다중 경보 간의 인과 관계. 예를 들어, 경보 A가 시간 t=T에서 활성화된 경우, 인과 관계는 경보 B도 또한 t=T에서 활성화될 가능성을 나타낼 수 있다. 다른 예에서, 경보 A가 시간 t=T에서 활성화된 경우, 인과 관계는 경보 A가 시작되기 전의 미리 지정된 시간에 경보 B가 활성화될 가능성을 나타낼 수 있다. 마찬가지로, 경보 A가 시간 t=T에 활성화된 경우, 인과 관계는 경보 B가 미래(경보 A가 시작된 후)의 미리 지정된 시간에 활성화될 가능성을 나타낼 수 있다.
경보들 간의 상관 관계는 낮은 심각도 경보의 발생이 미래의 특정 시간 구간 내에서 높은 심각도 경보의 발생을 예측하는데 사용될 수 있는지 여부와 같은 정보를 도출하기 위해 도 4a의 RCA 프레임워크(400)에 의해 사용될 수 있다.
특정 실시예들에서, 타임 스탬프가 특정 시간 구간 밖에 있는 이상들은 경보 발생 및 이상 발생을 상관시키면서 필터링될 수 있다. 따라서, 도 5e에 도시된 바와 같이, 나머지 이상들에는 해당 시간 구간(예를 들면, 단일 RI) 내에 하나 이상의 경보가 있게 된다. 그 후, KQI 이상의 하나의 RI 내에서의 경보 발생 횟수가 카운트된다. 예를 들어, 도 5e는 본 개시의 다양한 실시예들에 따른 KQI 이상 및 경보 데이터를 상관시키기 위한 다이어그램(560)을 도시한 것이다. 다이어그램(560)에서 볼 수 있듯이, 처음 4 개의 경보는 하나의 RI 내에 2 개의 이상을 갖는 반면, 나머지 8 개의 경보는 1 개의 RI 내에 1 개의 이상만을 갖는다. 경보와 KQI 이상 사이의 시간 도메인 상관이 식별되면, 경보 발생은 KQI 이상 발생에 대한 근본 원인 설명을 제공한다. 특정 실시예들에서, 사용자 인터페이스는 24 시간 기간과 같은 시간 프레임에 걸쳐 경보 및 KQI 이상의 상관된 출력을 표시할 수 있다.
즉, 프로세서는 경보 발생을 하나의 보고 구간과 같은, 경보의 특정 시간 구간 내에 발생하는 KQI 이상들과 콜레이션한다. 타임 스탬프들이 경보 구간(예를 들면, 하나의 보고 구간)을 벗어난 KQI 이상은 경보와 콜레이션되지 않는다.
특정 실시예들에서, 도 4a의 RCA 프레임워크(400)는 머신 러닝을 사용하여 경보 및 하나 이상의 KPI를 선행조건으로서 포함하고 KQI 이상을 결과로서 포함하는 규칙들을 식별할 수 있다. 예를 들어, 경보와 상관된 PM 데이터는 나중에 KQI 이상을 초래할 수 있다. PM 데이터를 경보 데이터와 상관시킴으로써, 도 4a의 RCA 프레임워크(400)가 경보 발생을 기반으로 KQI 이상을 선제적으로 검출할 수 있게 된다.
콜레이션(collation) 후, 머신 러닝 알고리즘(예를 들면, 연관 규칙 마이닝, 랜덤 포레스트)을 사용하여 규칙들을 식별한다. 규칙들은 
의 형태를 가질 수 있다. 즉, 경보가 발생할 때마다, 임계값보다 큰 신뢰도로, KQI 이상 발생이 있음을 나타낸다.
경보 데이터에는 (i) 경보가 트리거된 타임 스탬프 및 (ii) 경보가 해제된 타임 스탬프가 포함된다. 경보는 초기 문제가 자체 수정(잠재적으로 시스템 재부팅으로 인해)된 것을 감지하는 소프트웨어 루틴에 의해 해제되거나 또는 근본적인 문제를 해결하기 위해 작업하는 기술자에 의해 해제된다. 경보가 해제되는 방식에 관계없이, 경보가 해제되는 시간은 문제의 근본 원인을 파악하는데 유용한 정보이다. 예를 들어, 주된 문제들은 오랫동안 계속되는 경보들 또는 해제된 직후 다시 발생하는 경보들을 갖는 경향이 있다. 따라서, 본 개시의 실시예들은 시작 시간에서 해제 시간까지의 1 RI 내에 있는 PM 보고들을 경보와 상관된 것으로 고려한다. 특정 실시예들에서는, PM 메트릭과 관심 대상 경보 사이에서 상관 측정이 수행될 수 있다. 상관 계수가 높은(정규화된 상관 계수 크기가 1에 가깝게 놓여 있음) PM 메트릭은 경보와 상관된 것으로 식별된다.
도 5f는 본 개시의 다양한 실시예들에 따른 경보 및 PM 데이터의 시간 콜레이션에 대한 다이어그램(565)을 도시한 것이다. 다이어그램(565)은 오른쪽으로 갈수록 시간이 증가하는 타임 라인(566a)을 설명한다. 각각의 마커(566b)는 수신된 PM 샘플을 나타낸다. PM 샘플들은 매 15 분과 같은 소정의 미리 정의된 시간 간격(567)으로 정기적으로 수신될 수 있다. 예를 들어, 각 마커(566b)의 배치는 타임 라인(566a)을 따라 15 분씩 분리되어 있다. 마커(568a)는 경보의 시작을 식별시키며, 마커(566b)는 경보가 해제된 시간을 나타낸다. 프로세서는 범위(569)에서 PM 데이터를 상관시킨다. 범위(569)는 경보가 시작되기 전의 미리 정의된 시간에서 시작하고(마커(568a)로 표시됨) 경보의 끝에서 종료된다(마커(568b)로 표시됨). 특정 실시예들에서, 미리 정의된 시간은 경보 시작 전의 1 RI일 수 있다. 따라서, 프로세서는 경보 전에 및 경보 동안에 PM 데이터를 상관시킬 수 있다.
PM 데이터와 각 경보 타입의 콜레이션이 완료되면, 경보 발생이 양호한 예측 변수인지 아니면 KQI 이상 징후가 양호한 예측 변수인지 아는 것이 유용하다. 그렇게 하는 한 가지 방법은 규칙 
을 정의하는 것이다. 즉, 경보가 활성화될 때마다, 이 규칙은 KQI 이상이 있음을 나타낸다. 이 규칙의 신뢰도(수학식 (7)에서 설명됨)는 KQI 이상인 경보 샘플의 비율을 나타낸다. 이 비율이 1에 가까우면, 규칙이 신뢰할 수 있는 것이며 따라서 콜레이션된 경보에 KQI 이상이 수반된다. 특정 실시예들에서, 머신 러닝 알고리즘(예를 들면 연관 규칙 마이닝, 결정 트리 등)이 콜레이션된(타임 스탬프된) 경보 세트 및 대응하는 KQI 이상(값 0 또는 1을 취함)에 적용된다. 머신 러닝 알고리즘은 그들의 발생이 높은 신뢰도로 KQI 이상으로 이어지는 경보 세트를 식별하고, 이것을 데이터베이스 또는 메모리에 저장한다.
도 5g는 본 개시의 다양한 실시예들에 따른 이력 데이터를 사용하여 경보 및 PM 데이터를 처리하기 위한 흐름도(570)를 도시한 것이다. 흐름도(570)는 PM 데이터와 경보 사이의 도출된 관계에 기초하여 규칙들을 생성하기 위해 경보 및 PM 데이터의 이력 데이터 처리를 사용하는 것에 대해 설명한다. 흐름도(570)는 도 4a의 RCA 프레임워크(400)에 의해 수행될 수 있다.
단계 572에서 RCA 프레임워크(400)는 도 4a의 이력 데이터(410)로부터 PM 데이터 및 경보 데이터를 로드한다. 단계 574에서 RCA 프레임워크(400)는 경보 데이터 및 PM 데이터를 콜레이션(구성)한다. 예를 들어, RCA 프레임워크(400)는 단일 경보의 시작 시간과 종료 시간(경보 해제 시간)을 식별한다. 그 후에 RCA 프레임워크(400)는 경보 동안 발생하는 PM 데이터의 서브세트를 식별한다. 경보 시간이 고정된 시간이기 때문에, RCA 프레임워크(400)는 경보 동안 발생하는 PM 데이터의 서브세트를 식별한다. 특정 실시예들에서, RCA 프레임워크(400)는 경보 동안에 발생하는 PM 데이터뿐만 아니라 경보 이전의 미리 정의된 시간 구간에서 발생하는 PM 데이터를 식별한다. RCA 프레임워크(400)는 식별된 경보 데이터에 대한 PM 데이터의 서브세트를 식별할 수 있다.
단계 576에서, RCA 프레임워크(400)는 PM 데이터의 서브세트들 및 대응하는 경보 데이터에 기초하여 규칙들을 생성한다. 규칙들에는 경보들 또는 KPI들이 선행조건들로서 포함되고 KQI 이상들이 결과들로서 포함된다. 규칙들은 도 4a의 머신 러닝 트레이닝 모델(414)에 의해 생성될 수 있다. 단계 578에서, 생성된 규칙들은 도 3a의 메모리(360) 또는 도 3b의 메모리(380)와 같은 메모리에 저장된다. 특정 실시예들에서는, 임계값보다 높은 신뢰도 값을 갖는 규칙들만이 메모리에 저장된다.
도 5g가 이력 데이터를 사용하여 경보 및 PM 데이터를 처리하기 위한 흐름도(570)의 일 예를 도시하고 있지만, 도 5g에 다양한 변경이 이루어질 수 있다. 예를 들어, 일련의 단계들로 나타나 있지만, 도 5g의 다양한 단계들은 중첩되거나, 병렬적으로 발생하거나, 여러 번 발생할 수 있다.
규칙 마이닝 알고리즘은 종종 낮은 발생 항목 세트에 대한 규칙들을 만드는데 어려움을 겪게 된다. 이상은 정상 동작들보다 덜 일반적이고 경보는 이상보다도 덜 일반적이므로, 규칙 마이닝을 사용하여 경보와 이상 사이의 관계를 찾아낼 경우 문제가 발생한다. 규칙 마이닝의 성공을 높이기 위해, 본 개시의 실시예들은 보고되는 모든 샘플이 아닌 이상과 경보를 콜레이션한다. 이렇게 하면 드물게 발생하는 경보 이벤트들 간의 상관 관계가 부풀려져, 규칙 마이닝 알고리즘이 이상을 더 쉽게 감지할 수 있다. 또한, 여러 날짜 및 위치의 이력 배치 데이터에 대해 검색된 모든 규칙을 테스트하여 규칙을 검증할 수 있다.
특정 실시예들에서, 경보와 PM 데이터의 상관은 도 5h에서 설명된 바와 같이 이력 데이터와 비교하여 실시간으로 발생할 수 있다. 도 5h는 본 개시의 다양한 실시예들에 따라 실시간으로 경보 및 PM 데이터를 콜레이션하고 공동 처리하기 위한 흐름도(580)를 도시한 것이다.
실시간으로 경보와 PM 데이터를 상관시키기 위해, eNB에 대한 경보가 먼저 수신된다(단계 582). 단계 584에서, 프로세서는 가장 최근의 PM 데이터를 경보와 콜레이션되는 시간으로 표시한다. 그 다음 프로세서는 eNB가 현재 활성 경보들을 갖고 있고 경보들이 활성 상태인 메모리를 유지한다. 경보 해제 신호가 수신될 때까지, 프로세서는 eNB(들)로부터 수신되는 모든 PM 데이터를 경보 신호와 콜레이션된 것으로 표시한다. 예를 들어, 메모리는 이력(배치) 데이터로부터 도출된 상관 측정을 기반으로, 각 경보에 대해 경보 신호와 상관된 PM 메트릭 목록을 저장할 수 있다.
경보 신호를 수신하면, 프로세서는 경보와 상관된 것으로 식별된 저장된 PM 메트릭을 메모리에서 로드하고, 해당 PM 메트릭에 대한 데이터를 경보 신호와 콜레이션된 것으로 표시한다. 단계 586에서, 프로세서는 경보를 선행조건으로서 포함하고 KQI 이상을 결과로서 포함하는 규칙들을 로드한다. 예를 들어, 로드되는 규칙들에는 경보 시간을 포함하는 하나 이상의 선행조건과 KQI를 포함하는 결과가 포함된다.
단계 588에서, 프로세서는 경보 발생이 KQI 이상 발생을 동반함을 컨펌한다. 경보 발생이 KQI 이상 발생을 동반함을 컨펌한 후, 단계 590에서, 프로세서는 경보 발생을 선언하게 된다. 그러면 PM 메트릭이 결과로서 KQI 이상을 포함하는 적어도 하나의 규칙을 만족할 경우 해당 상관 PM 메트릭들이 KQI 이상에 대한 근본 원인으로 간주된다. 특정 실시예들에서, 프로세서는 KQI 이상의 근본 원인이 되는 규칙의 선행조건 내에 경보 및 KPI를 표시한다.
예를 들어, 프로세서는 경보를 선행조건으로서 포함하고 KQI 이상을 결과로서 포함하는 규칙들을 로드한다. 경보 발생이 KQI 이상을 동반하는 경우, 프로세서는 경보 발생 및 해당 PM 메트릭이 KQI 이상 발생의 근본 원인임을 선언할 수 있다.
도 5h가 실시간으로 경보 및 PM 데이터를 콜레이션하고 공동 처리하기 위한 흐름도(580)의 일 예를 도시하고 있지만, 도 5h에 대해 다양한 변경이 이루어질 수 있다. 예를 들어, 일련의 단계들이 나타나 있지만, 도 5h의 다양한 단계들은 중첩되거나, 병렬적으로 발생하거나 여러 번 발생할 수 있다.
도 6은 본 개시의 다양한 실시예들에 따른 근본 원인 설명을 생성하기 위한 프로세스(600)를 도시한 것이다. 프로세스(600)는 도 4a의 RCA 프레임워크(400)에 의해 수행될 수 있다. 도 6의 실시예는 단지 설명을 위한 것이다. 본 개시의 범위를 벗어나지 않고 다른 실시예들이 사용될 수 있다.
프로세스(600)는 도 4a의 배치 처리 계층(406)과 유사한 배치 프로세서(602)를 포함한다. 배치 프로세서(602)는 지식 베이스(604), 머신 러닝 엔진(606) 및 필터(610)를 포함한다. 배치 프로세서(602)는 규칙들을 생성하기 위해 이력 PM 데이터 및 경보 데이터를 수신한다. 생성되는 규칙들은 근본 원인을 진단하기 위한 것이다. 프로세스(600)는 또한 생성된 규칙을 저장하는 메모리(612)를 포함한다. 특정 실시예들에서, 메모리는 신뢰도 임계값을 초과하는 생성 규칙들을 저장한다. 프로세스(600)는 또한 실시간 이상 데이터(616)를 처리하는 규칙 탐색 엔진(614)을 포함한다. 실시간 이상 데이터(616)에 의해 만족되는 규칙을 찾아내면, 근본 원인 설명(620)이 출력된다. 규칙이 발견되지 않은 경우, 후처리 엔진(624)은 메모리(612)에 저장된 새로운 규칙을 생성하려고 시도한다.
지식 베이스(604)는 업링크 및 다운링크 처리량 이상을 진단하기 위해 사용되는 다양한 카테고리를 유지한다. 제 1 카테고리는 성능이 저하된 업링크(커버리지 홀)이다. 성능이 저하된 업링크(커버리지 홀)의 징후 또는 효과에는 최대 전력으로 전송하는 큰 사용자 비율, 높은 사용률의 업링크 MCS <= 5(낮은 코딩 속도의 QPSK) 및 업링크 트래픽의 스케줄링 부족이 포함된다. 성능이 저하된 업링크 카테고리에 속하는 처리량 이상은 커버리지 홀의 결과로서 업링크의 낮은 무선 품질 때문이다.
제 2 카테고리는 성능이 저하된 업링크(RF 간섭)를 기반으로 한다. 성능이 저하된 업링크의 징후 또는 결과에는 (RF 간섭) 높은 업링크 RSSI 및 간섭 전력, 높은 사용률의 업링크 MCS <= 5(낮은 코딩 속도의 QPSK) 및 업링크 트래픽 스케줄링 부족이 포함된다. 이 카테고리에 속하는 처리량 이상은 높은 레벨의 업링크 무선 주파수 간섭(RFI) 때문이다. 이러한 이상들을 검출하는 일 방법인, 합성 KPI ULLowSinrRatio는 이상 샘플에 대해 1에 가까운 값을 취하며, 그 이유는 업링크에서 RFI가 높으면 2dB 이하에서 업링크 SINR 값이 증가하기 때문이다. 이러한 이상을 검출하는 다른 방법에서는, 비율 메트릭 ULSchedulerMcsRatio가 이상 PM 샘플에 대해 1에 가까운 값을 사용한다. 이것은 업링크에서 높은 RFI가 0 내지 5 사이의 범위에서 큰 비율의 MCS 값을 초래한다는 사실 때문이다(낮은 코딩 속도의 QPSK 변조에 해당).
제 3 카테고리는 성능이 저하된 다운링크(RF 간섭)를 기반으로 한다. 성능이 저하된 다운링크(RF 간섭)의 징후 또는 결과에는 보고된 다운링크 채널 품질이 4 미만이고, 높은 사용률의 업링크 MCS가 5 이하(낮은 코딩 속도의 QPSK)이고, 업링크 트래픽의 스케줄링 부족한 것이 포함된다. 이 카테고리에 속하는 처리량 이상은 높은 레벨의 다운링크 무선 주파수 간섭(RFI) 때문이다. 성능이 저하된 다운링크는 PDCCH(Physical Downlink Control Channel)를 통해 전달되는 업링크 스케줄링 그랜트를 누락하는 것으로 이어질 수 있다. 누락된 스케줄링 그랜트로 인해, UE는 서비스 셀에 의해 지시된 대로 업링크 데이터를 송신하지 않게 된다. 성능이 저하된 다운링크는 또한 누락된 RLC-AM 애크놀리지(업링크에서의 RLC 패킷에 대한 응답으로 생성됨) 및 잠재적 TCP 애크놀리지로 이어질 수 있다. KPI WeightedDLReceivedCQI에서 얻은 가중 다운링크 채널 품질인 이러한 이상들을 검출하는 방법을 사용하여 다운링크 무선 채널 품질을 평가할 수 있다. 이상 샘플들은 WeightedDLReceivedCQI가 4 이하의 값을 갖고, 정상 샘플들은 0 내지 15 사이의 KPI 값들을 갖는 경향이 있다. 이러한 이상을 검출하는 다른 방법인 비율 메트릭 DLSchedulerMcsRatio는 이상 PM 샘플들에 대해 1에 가까운 값들을 취한다. 그 이유는 다운링크에서 RFI가 높으면 일반적으로 0 내지 5 사이의 범위에서 높은 비율의 MCS 값들이 발생하기 때문이다(낮은 코딩 속도의 QPSK 변조에 해당).
제 4 카테고리는 성능이 저하된 H-ARQ 블록 오류율을 기반으로 한다. 이 카테고리의 징후 또는 결과에는 50 % 이상의 업링크 H-ARQ 블록 오류율 및 50 % 이상의 다운링크 H-ARQ 블록 오류율이 포함된다. 이 카테고리에 속하는 처리량 이상은 업링크 및/또는 다운링크의 높은 블록 오류율 때문이다.
제 5 카테고리는 낮은 업링크 트래픽 수요 또는 셀 사용 불가능을 기반으로 한다. 이 카테고리에서 징후 또는 결과에는 0에 가까운 업링크 PRB 사용률, 가능한 가용성 KQI 이상, 낮은 트래픽 볼륨 및 소수의 업링크 활성 사용자가 포함된다. 이 RCA 카테고리에 속하는 이상은 업링크 트래픽에 대한 수요가 낮음을 나타낸다. 이들은 낮은 PRB 사용률, 적은 수의 업링크 활성 사용자 및 가능하게는 가용성 이상을 동반한다.
제 6 카테고리는 낮은 다운링크 트래픽 수요 또는 셀 사용 불가능을 기반으로 한다. 이 카테고리에서 징후 또는 결과에는 0에 가까운 다운링크 PRB 사용률, 가능한 가용성 KQI 이상, 낮은 트래픽 볼륨 및 소수의 다운링크 활성 사용자가 포함된다. 이 RCA 카테고리에 속하는 이상은 업링크 트래픽에 대한 수요가 낮음을 나타낸다. 이들은 낮은 PRB 사용률, 적은 수의 다운링크 활성 사용자 및 가능하게는 가용성 이상을 동반한다.
배치 프로세서(602)는 이력 데이터(410a)를 통해 이력(타임 스탬프된) 데이터를 로드한다. 이력 데이터(410a)는 도 4a의 이력 데이터(410)와 동일할 수 있다. 이력 데이터(410a)는 각 RI에 대한 KPI 및 보고된 경보 발생을 포함한다. 배치 프로세서(602)의 출력은 연속 값 또는 이산 값일 수 있다. PM 데이터는 이상 검출기(412a)로부터의 출력에 기초하여, KQI 서비스 카테고리별로 라벨링되어, 해당 카테고리에 대해 이상이 관측되었는지 여부를 표시한다(즉, 이상의 KQI 카테고리 m에 대해 
이 검출되고, 그렇지 않으면 0).
머신 러닝 엔진(606)(예를 들어, 연관 규칙 마이닝, 결정 트리 등)은 하나 이상의 KPI 또는 경보를 KQI 이상과 관련시키는 규칙들을 생성한다. 규칙은 결과(KQI 이상 발생)를 원인과 링크시키는 관계를 나타낸다. 머신 러닝 엔진(606)은 해당 KQI(후속결과)에 KPI(또는 선행조건)를 관련시키는 규칙 세트를 생성하기 위해 전처리된 PM 데이터에 대하여 머신 러닝 알고리즘을 적용할 수 있다. 두 KPI A와 B를 KQI C에 관련시키는 규칙의 일 예는 {A=a, B=b} ⇒ C=c일 수 있다. RCA의 경우, 선행조건은 근본 원인인 하나 이상의 KPI에 해당하고; 후속결과는 KQI가 이상일 때마다의 TRUE와 같은 부울 변수이다. 특정 실시예들에서는, 규칙들이 규칙 마이닝에 의해 생성된다.
필터(610)는 다양한 임계값을 만족하는 머신 러닝 엔진(606)을 통해 생성되는 규칙들을 식별하기 위해, 전술한 수학식 (6),(7) 및(8)을 사용한다. 예를 들어, 수학식 (7)은 이상 샘플들의 비율이 규칙을 준수한다는 신뢰도를 나타낸다. 수학식 (8)의 적중률은 규칙과 관련된 KQI 이상의 비율을 나타낸다. 규칙이 생성되면, 배치 프로세서(602)로부터 출력되어 최소 지원 및 신뢰도 임계값과 같은 설계 목표를 충족한 후 메모리(612)에 저장된다. 예를 들어, 생성된 규칙은 신뢰도 임계값과 비교될 수 있으며, 이 비교를 기반으로 하여, 규칙이 메모리(612)에 저장된다.
규칙 탐색 엔진(614)은 실시간 이상 데이터(616)를 수신한다. 실시간 이상 데이터(616)는 입력 스트리밍 KPI(RI마다에 대한 eNB 당 하나의 샘플) 데이터 및 PM 이상 샘플들의 타임 스탬프들과 콜레이션된 경보 데이터를 포함할 수 있다.
이 데이터는 KQI 이상 및 이상 카테고리가 있는지 여부에 따라, 각 RI에 대해 라벨링된다. 각 이상 샘플에 대해, 규칙 탐색 엔진(614)은 메모리(612)로부터 규칙들을 검사하고, 하나 이상의 규칙에 대응하는 이상 샘플들을 식별한다.
규칙을 찾아내면, 결정(618)에서, 대응하는 근본 원인 설명(620)이 그래픽 사용자 인터페이스에 제공된다. 근본 원인 설명을 제공하는 것(620)은 예를 들어 eNodeB에서 원격 전기 기울기를 조정하는 것과 같은 일련의 처리 방안 조치를 트리거할 수 있다.
규칙 탐색 엔진(614)이 발견하지 못한 경우, 결정(618)에서, 프로세스(600)는 새로운 규칙을 식별하기 위해 PM 및 경보 데이터를 후처리할 수 있다. 새로운 규칙(626)을 식별한 경우, 새로운 규칙이 메모리(612)에 저장된다.
도 6이 근본 원인 설명을 생성하기 위한 프로세스(600)의 일 예를 도시하고 있지만, 도 5에 대해 다양한 변경이 이루어질 수 있다. 예를 들어, 일련의 단계들로 나타나 있지만, 도 6의 다양한 단계들은 중첩되거나, 병렬적으로 발생하거나 여러 번 발생할 수 있다.
도 7은 본 개시의 다양한 실시예들에 따른 특정 KQI 이상에 대한 근본 원인 분석을 관련시키기 위한 예시적인 결정 트리(700)를 도시한 것이다. 도 7의 실시예는 단지 설명을 위한 것이다. 본 개시의 범위를 벗어나지 않고 다른 실시예들이 사용될 수 있다.
결정 트리(700)는 각각의 내부 노드가 조건에 대한 속성을 "테스트"하는 툴과 같은 흐름도이다. 각 브랜치는 테스트 결과를 나타내고, 루트에서 리프까지의 경로는 규칙을 나타낸다. 결정 트리(700)는 특정 KQI 이상에 대한 RCA와 관련된 규칙들을 식별시킨다. 결정 트리(예를 들면, 결정 트리(700))를 생성하기 위해, 프로세서는 최대 트리 깊이(Maximum Tree Depth), 분할을 위한 최소 샘플(Minimum Samples for Split) 및 리프에 대한 최소 샘플(Minimum Samples for Leaf)과 같은 다양한 파라미터들을 식별한다. 프로세서는 먼저 N 개의 트리를 생성한다. 다음으로 프로세서는 규칙 세트 R = {}를 초기화한다. : 각 트리 
에 대해, 프로세서는 세트 P를 정의한다: KQI 이상의 리프들로의 경로 세트. 각 경로 
에 대해, 프로세서는 p를 
를 만족하는 규칙 r로 변환한다. 각 
에 대해, 프로세서는 신뢰도, 지원 및 적중률을 계산하고, 최소 임계값(신뢰도, 지원 및 적중률 기준)이 충족되지 않으면 r을 폐기한다.
도 8은 네트워크 이상을 발견하고 진단하기 위한 예시적인 방법(800)을 도시한 것이다. 방법(800)은 도 1의 임의의 eNB, 도 3b의 eNB(102), 도 1의 임의의 UE, 도 3a의 UE(116), 또는 도 4a의 RCA 프레임워크(400)에 의해 수행될 수 있다. 설명의 편의를 위해, 방법(800)은 도 4a의 RCA 프레임워크(400)를 포함하는 전자 장치(예를 들어, 도 3a의 UE(116) 또는 서버)에 의해 수행되는 것으로 설명된다. 도 8의 실시예는 단지 설명을 위한 것이다. 본 개시의 범위를 벗어나지 않고 다른 실시예들이 사용될 수 있다.
단계 802에서 전자 장치는 KPI 데이터와 경보 데이터를 이산화하여 얻은 샘플들을 기반으로 특징들을 추출한다. 단계 804에서 전자 장치는 특징들에 기초하여 규칙 세트를 생성한다. 규칙들은 온 더 플라이로 또는 이력 데이터를 기반으로 생성될 수 있다. 규칙들은 이상에 대한 설명을 나타낸다. 즉, 무선 셀룰러 네트워크의 이상에 대한 근본 원인 설명을 도출하기 위해 규칙들이 적용될 수 있다. 규칙은 LHS(left hand side) 및 RHS(right hand side)를 포함할 수 있다. 일련의 KPI 및 임계값이 LHS 및 RHS 모두에 적용될 수 있다. RHS의 KPI들이 RHS의 임계값을 충족하는 경우 이상 샘플에 해당하는 반면, LHS의 KPI 값들은, LHS의 KPI들이 LHS의 임계값을 충족하며 RHS의 KPI들이 이상 샘플에 대응하는 경우에 징후 또는 근본 원인 설명을 제공한다.
단계 806에서 전자 장치는 샘플들 중 제 1 샘플을 정상 샘플 또는 이상 샘플로 식별한다. 샘플은 실시간 KPI 및 경보 데이터일 수 있다. 제 1 샘플이 이상 샘플로 식별되면, 단계 808에서, 전자 장치는 제 1 샘플의 이상에 대응하는 규칙 세트의 제 1 규칙을 식별한다. 제 1 규칙은 이상의 징후와 근본 원인을 나타낸다. 단계 810에서 전자 장치는 근본 원인을 적용하여 이상에 대한 근본 원인 설명을 도출한다. 근본 원인 설명은 샘플에 포함된 이상의 징후 및 근본 원인에 링크된 KPI들을 기반으로 할 수 있다. 단계 812에서 전자 장치는 제 1 규칙에 기초하여 이상을 해결하기 위한 시정 조치를 수행한다.
도 8이 네트워크 이상을 발견하고 진단하기 위한 방법(800)의 일 예를 도시하고 있지만, 도 8에 다양한 변경이 이루어질 수 있다. 예를 들어, 일련의 단계들로 나타나 있지만, 도 8의 다양한 단계들은 중첩되거나, 병렬적으로 발생하거나 여러 번 발생할 수 있다.
도면들이 사용자 장비의 상이한 예들을 도시하고 있지만, 도면들에 다양한 변경이 이루어질 수 있다. 예를 들어, 사용자 장비는 임의의 적절한 배열로 임의의 수의 각 구성 요소를 포함할 수 있다. 일반적으로, 도면들이 본 개시의 범위를 임의의 특정 구성(들)으로 제한하지 않는다. 또한, 도면들은 본 특허 문서에 개시된 다양한 사용자 장비 기능들이 사용될 수 있는 운영 환경을 예시하지만, 이러한 기능들이 임의의 다른 적절한 시스템에서 사용될 수도 있다.
본 개시가 예시적인 실시예로 설명되었지만, 다양한 변경 및 수정이 당업자에게 제안될 수 있다. 본 개시는 첨부된 청구항들의 범위 내에 있는 그러한 변경 및 수정을 포함하는 것으로 의도된다.
Claims (15)
- 네트워크 이상들(network anomalies)을 발견하고 진단하기 위한 장치로서,
KPI(key performance indicator) 데이터 및 경보 데이터(alarm data)를 수신하도록 구성되는 통신 인터페이스; 및
상기 통신 인터페이스에 작동 가능하게 연결되는 프로세서를 포함하며,
상기 프로세서는,
상기 KPI 데이터와 상기 경보 데이터를 이산화(discretizing)하여 얻은 샘플들에 기초하여 특징들을 추출하고;
상기 특징들에 기초하여 규칙들의 세트를 생성하고 - 상기 규칙들을 만족하는 상기 샘플들의 일부가 이상들에 대응함 -;
샘플을 정상 샘플 또는 이상 샘플로 식별하고;
상기 샘플을 상기 이상 샘플로 식별한 것에 응답하여, 상기 샘플에 의해 만족되는 하나 이상의 규칙들을 식별하고;
상기 이상 샘플로 식별된 상기 샘플에 의해 만족되는 상기 하나 이상의 규칙들에 대한 징후들 및 근본 원인들에 링크된 KPI들을 도출하고;
이상의 상기 징후들 및 근본 원인들에 링크된 KPI들에 기초하여 상기 이상 샘플로서 식별된 상기 샘플에 포함된 상기 이상에 대한 근본 원인 설명을 도출하며; 그리고
상기 하나 이상의 규칙들에 기초하여 상기 이상을 해결하기 위한 시정 조치(corrective action)를 수행하도록 구성되는, 장치. - 제 1 항에 있어서,
상기 프로세서는,
상기 통신 인터페이스를 통해, eNB로부터 경보 표시를 수신하고;
상기 표시를 수신한 것에 응답하여, 상기 경보의 시작과 상기 경보가 해제될 때까지 사이에 수신된 상기 eNB로부터의 상기 KPI 데이터의 세트를 식별하고;
KQI(key quality indicator) 이상이 상기 경보와 연관되어 있는지 여부를 결정하며; 그리고
상기 KQI가 상기 경보와 연관된 경우, 상기 KQI 이상에 대한 근본 원인으로서 상기 KPI 데이터의 세트 및 상기 경보를 식별하도록 더 구성되는, 장치. - 제 1 항에 있어서,
상기 규칙들의 세트를 생성하기 위해, 상기 프로세서는,
경보가 시작되기 전 미리 정의된 시간과 상기 경보가 해제되기까지 사이에 발생하는 상기 KPI 데이터의 세트를 식별하며; 그리고
상기 경보와 연관된 상기 경보 데이터 및 상기 KPI 데이터의 세트에 기초하여 상기 이상을 식별하는 새로운 규칙을 생성하도록 구성되는, 장치. - 제 1 항에 있어서,
상기 장치는 이력 KPI 데이터 및 이력 경보 데이터를 저장하도록 구성되는 메모리를 더 포함하며; 그리고
상기 규칙들의 세트를 생성하기 위해, 상기 프로세서는,
상기 이력 KPI 데이터의 세트와 상기 이력 경보 데이터의 세트로부터 새로운 규칙을 생성하고,
상기 새로운 규칙에 대한 신뢰도 및 적중률을 도출하고 - 상기 신뢰도는 이상 샘플들로서 식별되는 상기 새로운 규칙을 만족하는 샘플들의 비율을 기초로 하고, 상기 적중률은 상기 새로운 규칙을 만족하는 상기 이상 샘플들의 비율을 기초로 함 -,
상기 새로운 규칙의 상기 신뢰도 및 상기 적중률을 각각 신뢰도 임계값 및 적중률 임계값과 비교하며, 그리고
상기 새로운 규칙과 연관된 상기 신뢰도가 상기 신뢰도 임계값을 초과하고, 상기 새로운 규칙과 연관된 상기 적중률이 상기 적중률 임계값을 초과할 경우 상기 새로운 규칙을 저장하도록 더 구성되는, 장치. - 제 1 항에 있어서,
상기 KPI 데이터를 이산화하기 위해, 상기 프로세서는,
상기 KPI 데이터에 기초하여 특징들의 세트를 선택하고,
상기 KPI 데이터에 기초하여 상기 특징들의 세트로부터 도출되는 합성 KPI 특징들에 기초하여 추가 특징들을 도출하고, 그리고
상기 KPI 데이터를 포함하는 상기 특징들의 세트 및 상기 합성 KPI 특징들을 이산화하도록 구성되며; 그리고
상기 프로세서는,
상기 이산화된 KPI 데이터를 상기 경보 데이터와 결합하고, 그리고
상기 규칙들의 세트의 일부에 기초하여 KPI 계층 트리를 생성하도록 더 구성되며, 상기 KPI 계층 트리에서의 상기 규칙들의 세트의 상기 일부는 첫 번째 이상에 대한 근본 원인 설명을 제공하는, 장치. - 제 1 항에 있어서,
디스플레이를 더 포함하며,
상기 프로세서는 상기 디스플레이 상에,
상기 이상에 대응하는 상기 하나 이상의 규칙들,
상기 이상의 상기 징후들 및 근본 원인들에 링크된 상기 KPI 데이터의 하나 이상,
상기 이상에 대한 상기 근본 원인 설명, 및
상기 이상을 해결하기 위한 상기 시정 조치
중 적어도 하나를 표시하도록 더 구성되는, 장치. - 제 1 항에 있어서,
상기 하나 이상의 규칙들을 식별하기 위해, 상기 프로세서는,
상기 이상과 연관된, 신뢰도 점수가 임계값을 초과하는, 상기 규칙들의 세트의 일부를 식별하고;
상기 규칙들의 세트의 상기 일부를 기본 규칙 그룹과 비-기본 규칙 그룹으로 분리하고;
규칙 쌍들의 신뢰도 점수가 임계값을 초과할 경우, 상기 비-기본 규칙 그룹 내의 상기 규칙 쌍들 사이의 방향성 에지(directed edge)를 포함하고 - 상기 방향성 에지는 상기 기본 규칙 그룹 내의 상기 규칙 쌍들 사이의 관계를 나타냄 -; 그리고
들어오는 에지(incoming edge)들을 포함하지 않는 상기 기본 규칙 그룹 내에 있는 상기 하나 이상의 규칙들의 제 1 규칙에 링크된 상기 KPI 데이터의 제 1 세트를 근본 원인으로 식별하며 상기 하나 이상의 규칙들의 임의의 나머지 규칙들에 링크된 상기 KPI 데이터의 제 2 세트를 상기 징후들로 식별하도록 구성되는, 장치. - 제 1 항에 있어서,
상기 프로세서는,
타임 스탬프들에 기초하여 이력 데이터 입력 다수 그룹들을 구성하고;
다수 그룹들과 연관된 파라미터들을 식별하며; 그리고
상기 파라미터들에 기초하여 미래의 이상을 예측하도록 더 구성되는, 장치. - 네트워크 이상들을 발견하고 진단하기 위한 방법으로서,
KPI(key performance indicator) 데이터 및 경보 데이터를 수신하는 단계;
상기 KPI 데이터와 상기 경보 데이터를 이산화하여 얻은 샘플들에 기초하여 특징들을 추출하는 단계;
상기 특징들에 기초하여 규칙들의 세트를 생성하는 단계 - 상기 규칙들을 만족하는 상기 샘플들의 일부가 이상들에 대응함 -;
샘플을 정상 샘플 또는 이상 샘플로 식별하는 단계;
상기 샘플을 상기 이상 샘플로 식별한 것에 응답하여, 상기 샘플에 의해 만족되는 하나 이상의 규칙들을 식별하는 단계;
상기 이상 샘플로 식별된 상기 샘플에 의해 만족되는 상기 하나 이상의 규칙들에 대한 징후들 및 근본 원인들에 링크된 KPI들을 도출하는 단계;
이상의 상기 징후들 및 근본 원인들에 링크된 KPI들에 기초하여 상기 이상 샘플로서 식별된 상기 샘플에 포함된 상기 이상에 대한 근본 원인 설명을 도출하는 단계; 및
상기 하나 이상의 규칙들에 기초하여 상기 이상을 해결하기 위한 시정 조치를 수행하는 단계
를 포함하는, 방법. - 제 9 항에 있어서,
eNB로부터 경보 표시를 수신하는 단계;
상기 표시를 수신한 것에 응답하여, 상기 경보의 시작과 상기 경보가 해제될 때까지 사이에 수신된 상기 eNB로부터의 상기 KPI 데이터의 세트를 식별하는 단계;
KQI(key quality indicator) 이상이 상기 경보와 연관되어 있는지 여부를 결정하는 단계; 및
상기 KQI가 상기 경보와 연관된 경우, 상기 KQI 이상에 대한 근본 원인으로서 상기 KPI 데이터의 세트 및 상기 경보를 식별하는 단계
를 더 포함하는, 방법. - 제 9 항에 있어서,
경보가 시작되고 상기 경보가 해제되기 전의 미리 정의된 시간 사이에 발생하는 상기 KPI 데이터의 세트를 식별하는 단계; 및
상기 경보와 연관된 상기 경보 데이터 및 상기 KPI 데이터의 세트에 기초하여 상기 이상을 식별하는 새로운 규칙을 생성하는 단계
를 더 포함하는, 방법. - 제 9 항에 있어서,
이력 KPI 데이터 및 이력 경보 데이터를 저장하는 단계;
상기 이력 KPI 데이터의 세트와 상기 이력 경보 데이터의 세트로부터 새로운 규칙을 생성하는 단계;
상기 새로운 규칙에 대한 신뢰도 및 적중률을 도출하는 단계 - 상기 신뢰도는 이상 샘플들로서 식별되는 상기 새로운 규칙을 만족하는 샘플들의 비율을 기초로 하고, 상기 적중률은 상기 새로운 규칙을 만족하는 상기 이상 샘플들의 비율을 기초로 함 -,
상기 새로운 규칙의 상기 신뢰도 및 상기 적중률을 각각 신뢰도 임계값 및 적중률 임계값과 비교하는 단계; 및
상기 새로운 규칙과 연관된 상기 신뢰도가 상기 신뢰도 임계값을 초과하고, 상기 새로운 규칙과 연관된 상기 적중률이 상기 적중률 임계값을 초과할 경우 상기 새로운 규칙을 저장하는 단계
를 더 포함하는, 방법. - 제 9 항에 있어서,
상기 KPI 데이터를 이산화하는 단계는,
상기 KPI 데이터에 기초하여 특징들의 세트를 선택하는 단계,
상기 KPI 데이터에 기초하여 상기 특징들의 세트로부터 도출되는 합성 KPI 특징들에 기초하여 추가 특징들을 도출하는 단계, 및
상기 KPI 데이터를 포함하는 상기 특징들의 세트 및 상기 합성 KPI 특징들을 이산화하는 단계를 포함하며; 그리고
상기 방법은,
상기 이산화된 KPI 데이터를 상기 경보 데이터와 결합하는 단계; 및
상기 규칙들의 세트의 일부에 기초하여 KPI 계층 트리를 생성하는 단계를 더 포함하며, 상기 KPI 계층 트리에서의 상기 규칙들의 세트의 상기 일부는 첫 번째 이상에 대한 근본 원인 설명을 제공하는, 방법. - 제 9 항에 있어서,
상기 이상에 대응하는 상기 하나 이상의 규칙들,
상기 이상의 상기 징후들 및 근본 원인들에 링크된 상기 KPI 데이터의 하나 이상,
상기 이상에 대한 상기 근본 원인 설명, 및
상기 이상을 해결하기 위한 상기 시정 조치
중 적어도 하나를 디스플레이 상에 표시하는 단계를 더 포함하는, 방법. - 제 9 항에 있어서,
상기 이상과 연관된, 신뢰도 점수가 임계값을 초과하는, 상기 규칙들의 세트의 일부를 식별하는 단계;
상기 규칙들의 세트의 상기 일부를 기본 규칙 그룹과 비-기본 규칙 그룹으로 분리하는 단계;
규칙 쌍들의 신뢰도 점수가 임계값을 초과할 경우, 상기 비-기본 규칙 그룹 내의 상기 규칙 쌍들 사이의 방향성 에지를 포함시키는 단계 - 상기 방향성 에지는 상기 기본 규칙 그룹 내의 상기 규칙 쌍들 사이의 관계를 나타냄 -; 및
들어오는 에지들을 포함하지 않는 상기 기본 규칙 그룹 내에 있는 상기 하나 이상의 규칙들의 제 1 규칙에 링크된 상기 KPI 데이터의 제 1 세트를 근본 원인으로 식별하며 상기 하나 이상의 규칙들의 임의의 나머지 규칙들에 링크된 상기 KPI 데이터의 제 2 세트를 상기 징후들로 식별하는 단계
를 더 포함하는, 방법.
Applications Claiming Priority (25)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962854536P | 2019-05-30 | 2019-05-30 | |
| US62/854,536 | 2019-05-30 | ||
| US201962884357P | 2019-08-08 | 2019-08-08 | |
| US62/884,357 | 2019-08-08 | ||
| US201962887084P | 2019-08-15 | 2019-08-15 | |
| US62/887,084 | 2019-08-15 | ||
| US201962890670P | 2019-08-23 | 2019-08-23 | |
| US62/890,670 | 2019-08-23 | ||
| US201962892650P | 2019-08-28 | 2019-08-28 | |
| US62/892,650 | 2019-08-28 | ||
| US201962894110P | 2019-08-30 | 2019-08-30 | |
| US201962894342P | 2019-08-30 | 2019-08-30 | |
| US62/894,110 | 2019-08-30 | ||
| US62/894,342 | 2019-08-30 | ||
| US201962898490P | 2019-09-10 | 2019-09-10 | |
| US62/898,490 | 2019-09-10 | ||
| US201962900862P | 2019-09-16 | 2019-09-16 | |
| US62/900,862 | 2019-09-16 | ||
| US201962915820P | 2019-10-16 | 2019-10-16 | |
| US62/915,820 | 2019-10-16 | ||
| US202062981074P | 2020-02-25 | 2020-02-25 | |
| US62/981,074 | 2020-02-25 | ||
| US15/929,951 US11496353B2 (en) | 2019-05-30 | 2020-05-29 | Root cause analysis and automation using machine learning |
| US15/929,951 | 2020-05-29 | ||
| PCT/KR2020/007087 WO2020242275A1 (en) | 2019-05-30 | 2020-06-01 | Root cause analysis and automation using machine learning |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220003513A true KR20220003513A (ko) | 2022-01-10 |
Family
ID=73551616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217033631A KR20220003513A (ko) | 2019-05-30 | 2020-06-01 | 머신 러닝을 이용한 근본 원인 분석 및 자동화 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11496353B2 (ko) |
| EP (1) | EP3921980A4 (ko) |
| KR (1) | KR20220003513A (ko) |
| CN (1) | CN114128226A (ko) |
| WO (1) | WO2020242275A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230174529A (ko) * | 2022-06-21 | 2023-12-28 | 국방과학연구소 | 통신 네트워크의 장애 예측 방법 및 장치 |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11223668B2 (en) * | 2017-01-12 | 2022-01-11 | Telefonaktiebolaget Lm Ericsson (Publ) | Anomaly detection of media event sequences |
| US11159555B2 (en) | 2018-12-03 | 2021-10-26 | Accenture Global Solutions Limited | Generating attack graphs in agile security platforms |
| US11283825B2 (en) | 2018-12-03 | 2022-03-22 | Accenture Global Solutions Limited | Leveraging attack graphs of agile security platform |
| US11184385B2 (en) | 2018-12-03 | 2021-11-23 | Accenture Global Solutions Limited | Generating attack graphs in agile security platforms |
| US11281806B2 (en) | 2018-12-03 | 2022-03-22 | Accenture Global Solutions Limited | Generating attack graphs in agile security platforms |
| US11113653B2 (en) * | 2018-12-26 | 2021-09-07 | Accenture Global Solutions Limited | Artificial intelligence and machine learning based incident management |
| US11695795B2 (en) * | 2019-07-12 | 2023-07-04 | Accenture Global Solutions Limited | Evaluating effectiveness of security controls in enterprise networks using graph values |
| US11477072B2 (en) * | 2019-09-17 | 2022-10-18 | OpenVault, LLC | System and method for prescriptive diagnostics and optimization of client networks |
| US11368906B2 (en) * | 2019-12-16 | 2022-06-21 | Cisco Technology, Inc. | Multi-wireless access systems and methods for efficient link selection and aggregation |
| US10902551B1 (en) * | 2019-12-17 | 2021-01-26 | X Development Llc | True positive transplant |
| EP3872665A1 (en) | 2020-02-28 | 2021-09-01 | Accenture Global Solutions Limited | Cyber digital twin simulator for security controls requirements |
| US11657323B2 (en) * | 2020-03-10 | 2023-05-23 | International Business Machines Corporation | Machine learning model accuracy fairness |
| US11533332B2 (en) | 2020-06-25 | 2022-12-20 | Accenture Global Solutions Limited | Executing enterprise process abstraction using process aware analytical attack graphs |
| US11483213B2 (en) | 2020-07-09 | 2022-10-25 | Accenture Global Solutions Limited | Enterprise process discovery through network traffic patterns |
| US11411976B2 (en) | 2020-07-09 | 2022-08-09 | Accenture Global Solutions Limited | Resource-efficient generation of analytical attack graphs |
| US11757735B2 (en) * | 2020-09-28 | 2023-09-12 | Jpmorgan Chase Bank, N.A. | Method and system for facilitating an audit of event-based business processes |
| US11831675B2 (en) | 2020-10-26 | 2023-11-28 | Accenture Global Solutions Limited | Process risk calculation based on hardness of attack paths |
| US11973790B2 (en) | 2020-11-10 | 2024-04-30 | Accenture Global Solutions Limited | Cyber digital twin simulator for automotive security assessment based on attack graphs |
| FI129315B (en) * | 2020-12-17 | 2021-11-30 | Elisa Oyj | Analysis of the operation of the cells of a telecommunication network |
| US20220210682A1 (en) * | 2020-12-30 | 2022-06-30 | Samsung Electronics Co., Ltd. | SYSTEM AND METHOD FOR ARTIFICIAL INTELLIGENCE (AI) DRIVEN VOICE OVER LONG-TERM EVOLUTION (VoLTE) ANALYTICS |
| US11494255B2 (en) | 2021-03-12 | 2022-11-08 | Juniper Networks, Inc. | Adaptive log data level in a computing system |
| US11388039B1 (en) * | 2021-04-09 | 2022-07-12 | International Business Machines Corporation | Identifying problem graphs in an information technology infrastructure network |
| US20220335257A1 (en) * | 2021-04-15 | 2022-10-20 | Salesforce.Com, Inc. | Neural network based anomaly detection for time-series data |
| US20230020899A1 (en) * | 2021-06-30 | 2023-01-19 | Juniper Networks, Inc. | Virtual network assistant with location input |
| US11880250B2 (en) | 2021-07-21 | 2024-01-23 | Accenture Global Solutions Limited | Optimizing energy consumption of production lines using intelligent digital twins |
| US11895150B2 (en) | 2021-07-28 | 2024-02-06 | Accenture Global Solutions Limited | Discovering cyber-attack process model based on analytical attack graphs |
| US11544136B1 (en) * | 2021-08-05 | 2023-01-03 | Sap Se | Hyper-parameter space optimization for machine learning data processing pipeline |
| US11770290B2 (en) | 2021-08-13 | 2023-09-26 | Juniper Networks, Inc. | Network management actions based on access point classification |
| US20230069074A1 (en) * | 2021-08-20 | 2023-03-02 | Nec Laboratories America, Inc. | Interdependent causal networks for root cause localization |
| US11874732B2 (en) * | 2021-09-24 | 2024-01-16 | Bmc Software, Inc. | Recommendations for remedial actions |
| US11831488B2 (en) * | 2021-09-28 | 2023-11-28 | Centurylink Intellectual Property Llc | Systems and methods for self-correcting network equipment |
| US20230179493A1 (en) * | 2021-12-03 | 2023-06-08 | Guavus, Inc. | Method for generating a Quality of Experience (QoE) index by way of Ensemble of Expectation Scores |
| US20230205618A1 (en) * | 2021-12-29 | 2023-06-29 | Microsoft Technology Licensing, Llc | Performing root cause analysis on data center incidents |
| WO2023131962A1 (en) * | 2022-01-04 | 2023-07-13 | Telefonaktiebolaget Lm Ericsson (Publ) | First node, second node and methods performed thereby for handling anomalous values |
| WO2023156827A1 (en) * | 2022-02-18 | 2023-08-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Anomaly detection |
| WO2023165685A1 (en) * | 2022-03-01 | 2023-09-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Anomaly detection and anomaly classification with root cause |
| EP4261752A1 (en) * | 2022-04-16 | 2023-10-18 | Juniper Networks, Inc. | Machine learning for rule recommendation |
| US20230370324A1 (en) * | 2022-05-11 | 2023-11-16 | Computer Sciences Corporation | Automating incident response for outage |
| US20230388208A1 (en) * | 2022-05-27 | 2023-11-30 | Microsoft Technology Licensing, Llc | Collecting and visualizing health profile data of radio access network components |
| WO2024027892A1 (en) * | 2022-08-01 | 2024-02-08 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and apparatuses for detecting and localizing faults using machine learning models |
| US11870663B1 (en) * | 2022-08-03 | 2024-01-09 | Tableau Software, LLC | Automated regression investigator |
| CN115396287B (zh) * | 2022-08-29 | 2023-05-12 | 武汉烽火技术服务有限公司 | 一种故障分析方法和装置 |
| CN117858169A (zh) * | 2022-09-29 | 2024-04-09 | 中兴通讯股份有限公司 | 小区流量控制方法、基站及存储介质 |
| WO2024079509A1 (en) * | 2022-10-13 | 2024-04-18 | Telefonaktiebolaget Lm Ericsson (Publ) | Kpi-driven hardware and antenna calibration alarm threshold optimization using machine learning |
| CN115933787B (zh) * | 2023-03-14 | 2023-05-16 | 西安英图克环境科技有限公司 | 基于室内环境监测的室内多末端智能控制系统 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014040633A1 (en) | 2012-09-14 | 2014-03-20 | Huawei Technologies Co., Ltd. | Identifying fault category patterns in a communication network |
| WO2015148328A1 (en) | 2014-03-23 | 2015-10-01 | Diagknowlogy, Inc. | System and method for accelerating problem diagnosis in software/hardware deployments |
| US10326640B2 (en) | 2015-02-12 | 2019-06-18 | Netscout Systems Texas, Llc | Knowledge base radio and core network prescriptive root cause analysis |
| US9961571B2 (en) | 2015-09-24 | 2018-05-01 | Futurewei Technologies, Inc. | System and method for a multi view learning approach to anomaly detection and root cause analysis |
| US10397810B2 (en) | 2016-01-08 | 2019-08-27 | Futurewei Technologies, Inc. | Fingerprinting root cause analysis in cellular systems |
| US20170310542A1 (en) | 2016-04-22 | 2017-10-26 | Netsights360 | Integrated digital network management platform |
| US11102219B2 (en) * | 2017-08-24 | 2021-08-24 | At&T Intellectual Property I, L.P. | Systems and methods for dynamic analysis and resolution of network anomalies |
| US10809704B2 (en) * | 2017-11-01 | 2020-10-20 | Honeywell International Inc. | Process performance issues and alarm notification using data analytics |
| CN109756358B (zh) | 2017-11-08 | 2020-11-06 | 华为技术有限公司 | 采样频率推荐方法、装置、设备与存储介质 |
| US10785090B2 (en) | 2018-05-18 | 2020-09-22 | Cisco Technology, Inc. | Using machine learning based on cross-signal correlation for root cause analysis in a network assurance service |
| EP3844921A1 (en) | 2018-08-28 | 2021-07-07 | Telefonaktiebolaget LM Ericsson (publ) | Rule generation for network data |
| US10924330B2 (en) * | 2018-09-07 | 2021-02-16 | Vmware, Inc. | Intelligent anomaly detection and root cause analysis in mobile networks |
| US10897389B2 (en) * | 2018-09-14 | 2021-01-19 | Cisco Technology, Inc. | Threshold selection for KPI candidacy in root cause analysis of network issues |
-
2020
- 2020-05-29 US US15/929,951 patent/US11496353B2/en active Active
- 2020-06-01 WO PCT/KR2020/007087 patent/WO2020242275A1/en unknown
- 2020-06-01 KR KR1020217033631A patent/KR20220003513A/ko active Search and Examination
- 2020-06-01 CN CN202080040125.0A patent/CN114128226A/zh active Pending
- 2020-06-01 EP EP20814909.6A patent/EP3921980A4/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230174529A (ko) * | 2022-06-21 | 2023-12-28 | 국방과학연구소 | 통신 네트워크의 장애 예측 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3921980A4 (en) | 2022-04-06 |
| CN114128226A (zh) | 2022-03-01 |
| EP3921980A1 (en) | 2021-12-15 |
| US20200382361A1 (en) | 2020-12-03 |
| US11496353B2 (en) | 2022-11-08 |
| WO2020242275A1 (en) | 2020-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220003513A (ko) | 머신 러닝을 이용한 근본 원인 분석 및 자동화 | |
| US11018958B2 (en) | Communication network quality of experience extrapolation and diagnosis | |
| US11811588B2 (en) | Configuration management and analytics in cellular networks | |
| US20210185117A1 (en) | Resource management in a big data environment | |
| US10785101B2 (en) | Automatically optimize parameters via machine learning | |
| US10200884B2 (en) | Analytics-assisted, multi-agents, self-learning, self-managing, flexible and adaptive framework for intelligent SON | |
| US10374882B2 (en) | Systems and methods for identifying causes of quality degradation in wireless networks | |
| WO2017215647A1 (en) | Root cause analysis in a communication network via probabilistic network structure | |
| US20200127901A1 (en) | Service aware uplink quality degradation detection | |
| US20190372827A1 (en) | Anomaly severity scoring in a network assurance service | |
| US20180278486A1 (en) | Mixing rule-based and machine learning-based indicators in network assurance systems | |
| US11122467B2 (en) | Service aware load imbalance detection and root cause identification | |
| EP3721588B1 (en) | Methods and systems for generation and adaptation of network baselines | |
| US20160088502A1 (en) | Method and network device for cell anomaly detection | |
| US11678227B2 (en) | Service aware coverage degradation detection and root cause identification | |
| US10680919B2 (en) | Eliminating bad rankers and dynamically recruiting rankers in a network assurance system | |
| US11799733B2 (en) | Energy usage in a communications network | |
| US20230139289A1 (en) | Recommendation engine with machine learning for guided service management, such as for use with events related to telecommunications subscribers | |
| US11350290B2 (en) | Downlink interference detection and identification of aggressor cells | |
| US20220210682A1 (en) | SYSTEM AND METHOD FOR ARTIFICIAL INTELLIGENCE (AI) DRIVEN VOICE OVER LONG-TERM EVOLUTION (VoLTE) ANALYTICS | |
| Khatib et al. | Modelling LTE solved troubleshooting cases | |
| Muñoz et al. | A method for identifying faulty cells using a classification tree-based UE diagnosis in LTE | |
| Gijón et al. | Data-Driven Estimation of Throughput Performance in Sliced Radio Access Networks via Supervised Learning | |
| US20220358149A1 (en) | Life cycle management | |
| US20230047057A1 (en) | Automatically using configuration management analytics in cellular networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |