KR101676743B1 - 통신 네트워크들에서 서비스 액세스 경험 품질 이슈들의 예측 및 근본 원인 추천들 - Google Patents

통신 네트워크들에서 서비스 액세스 경험 품질 이슈들의 예측 및 근본 원인 추천들 Download PDF

Info

Publication number
KR101676743B1
KR101676743B1 KR1020147028531A KR20147028531A KR101676743B1 KR 101676743 B1 KR101676743 B1 KR 101676743B1 KR 1020147028531 A KR1020147028531 A KR 1020147028531A KR 20147028531 A KR20147028531 A KR 20147028531A KR 101676743 B1 KR101676743 B1 KR 101676743B1
Authority
KR
South Korea
Prior art keywords
module
offline
online
qoe
fcaps
Prior art date
Application number
KR1020147028531A
Other languages
English (en)
Other versions
KR20140145151A (ko
Inventor
시리쉬 나가라주
카쉬얍 캄다르
마크 샴베르거
프라답 벤카트라마난 콘다
Original Assignee
노키아 솔루션스 앤드 네트웍스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 솔루션스 앤드 네트웍스 오와이 filed Critical 노키아 솔루션스 앤드 네트웍스 오와이
Publication of KR20140145151A publication Critical patent/KR20140145151A/ko
Application granted granted Critical
Publication of KR101676743B1 publication Critical patent/KR101676743B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0213—Standardised network management protocols, e.g. simple network management protocol [SNMP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/052—Network management architectures or arrangements using standardised network management architectures, e.g. telecommunication management network [TMN] or unified network management architecture [UNMA]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5061—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the interaction between service providers and their network customers, e.g. customer relationship management
    • H04L41/5067—Customer-centric QoS measurements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/34—Signalling channels for network management communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Environmental & Geological Engineering (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명의 실시예들은, 네트워크들, 예컨대 3G/4G 네트워크들에서 서비스 액세스 QoE 이슈들에 대한 근본-원인 분석을 위한 추천들을 예측 및 제공하기 위해 진보된 통계 데이터 분석론을 활용한다. 예측기 변수들로서 FCAPS 데이터를 이용하여, 실시예들은, 서비스 액세스 QoE 관련 표시자들을 추정하기 위해, 문제점을 예측 회귀 또는 분류 문제점으로서 셋업하도록 구성된다. 몇몇 실시예들은, 예컨대 트리 및 앙상블 방법들에 기초하여, RAN 로그들로부터의 네트워크 등록취소 정보를 이용하여, 다양한 비-선형 통계 모델링 알고리즘들의 트레이닝 및 튜닝을 수행한다.

Description

통신 네트워크들에서 서비스 액세스 경험 품질 이슈들의 예측 및 근본 원인 추천들{PREDICTION AND ROOT CAUSE RECOMMENDATIONS OF SERVICE ACCESS QUALITY OF EXPERIENCE ISSUES IN COMMUNICATION NETWORKS}
본 출원은 2012년 3월 12일자로 출원된 U.S. 가출원 번호 제 61/609,529호를 우선권으로 한다. 이러한 앞서 제출된 출원의 콘텐츠들이 이로써 인용에 의해 그 전체가 통합된다.
본 발명의 실시예들은 일반적으로 통신 네트워크들에 관한 것이고, 더욱 구체적으로는, 네트워크 관리 및 운영들, 뿐만 아니라 데이터 분석론(data analytics) 및 기계 학습(machine learning)에 관한 것이다.
통신 네트워크들은, 네트워크의 모니터링 및 관리를 가능케 하기 위해 네트워크 성능 데이터를 제공한다. 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS:fault, configuration, administration, performance, and security)은 네트워크 관리를 위한 ISO(international organization for standardization)의 원격통신 관리 네트워크 모델 및 프레임워크이다. 결함, 구성, 어드미니스트레이션, 성능, 및 보안은 관리 카테고리들이고, ISO 모델은 네트워크 관리 작업들을 상기 관리 카테고리들로 정의한다.
결함 관리는, 통신 네트워크에서 발생하는 결함들을 인지, 격리, 교정 및 로깅하는데 사용된다. 결함 관리는, 네트워크가 항상 이용가능하도록, 오류들을 예측하기 위해 추세 분석을 사용할 수 있다.
구성 관리는, 네트워크 디바이스들로부터 구성들을 수집 및 저장하는 것, 디바이스들의 구성을 단순화시키기 위한 방법들을 식별하는 것, 구성 변경들을 추적하는 것, 그리고 확장 및 스케일링을 계획하는 것을 포함할 수 있다.
회계 관리는, 각자의 사용량 통계(usage statistics)에 기초하여 사용자들 또는 고객들에게 청구서를 보낸다. 회계 관리는 또한, 사용량 몫들이 강제됨을 보장할 수 있다.
성능 관리는, 네트워크의 효율성을 모니터링 및 결정하고, 그리고 미래 요건들에 대해 네트워크를 준비시킬 수 있다. 네트워크 성능은, 예컨대, 스루풋, 퍼센티지 효율, 오류율들 및 응답 시간들을 포함한다.
보안 관리는 일반적으로, 네트워크의 엘리먼트들로의 액세스를 제어하기 위한 프로시저들에 관한 것이다. 이러한 프로시저들은 예컨대 인증 및 암호화를 포함할 수 있다.
비정상적인 이유들로, 고객들 또는 사용자들에 의해 사용되는 서비스들/디바이스들의 등록취소는, 서비스 액세스 이슈들을 유발하고, 그리고 사용자에 대한 경험 품질(QoE:quality of experience)에 크게 영향을 끼칠 수 있다. 그 결과, 네트워크 서비스 제공자들은, 비정상적인 네트워크 등록취소에 대한 교정 동작들의 모니터링, 분석, 및 수행을 위해 FCAPS 데이터를 활용한다. 그러한 이벤트들은, 예컨대, 네트워크 엔트리/세션 설정 동안, 세션이 진행중일 때, 또는 진행중인 세션 동안의 핸드오버 때, 발생할 수 있다. 네트워크 등록취소는 모바일 디바이스들 또는 스테이션들, RAN(radio access network)에 있는 네트워크 엘리먼트들, 코어 네트워크, 및/또는 서빙 엔티티에 의해 개시될 수 있다.
일 실시예는, 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를 수신하는 단계, 및 세션 로그들을 수신하는 단계를 포함하는 방법에 관한 것이다. 상기 방법은 또한, 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를, 오프라인 및 온라인 예측을 생성하고 서비스 액세스 경험 품질(QoE) 이슈들의 오프라인 근본 원인 추천들을 제공하기 위해 구성된 입력 세트 및 출력 세트로 카테고리화, 파티셔닝, 및 준비하는 단계를 포함한다. 그런 다음, 방법은, 출력 세트에 기초하여, 서비스 액세스 경험 품질(QoE) 이슈들의 영역들에서 학습하기 위해 구성된 모델의 오프라인 트레이닝, 평가, 및 검증 단계, 및 서비스 액세스 경험 품질(QoE) 이슈들에 대한 오프라인 근본 원인 추천들을 제공하기 위한 예측 기능을 실행시키기 위해, 트레이닝, 평가, 및 검증된 모델을 활용하는 단계를 포함할 수 있다.
다른 실시예는 장치에 관한 것이다. 장치는 적어도 하나의 프로세서, 그리고 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함한다. 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서를 이용하여, 장치로 하여금 적어도, 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를 수신하게, 그리고 세션 로그들을 수신하게 한다. 장치는 추가로, 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를, 오프라인 및 온라인 예측을 생성하고 서비스 액세스 경험 품질(QoE) 이슈들의 오프라인 근본 원인 추천들을 제공하기 위해 구성된 입력 세트 및 출력 세트로 카테고리화, 파티셔닝, 및 준비하게 된다. 장치는 또한, 출력 세트에 기초하여, 서비스 액세스 경험 품질(QoE) 이슈들의 영역들에서 학습하기 위해 구성된 모델을 오프라인 트레이닝, 평가, 및 검증하게, 그리고 서비스 액세스 경험 품질(QoE) 이슈들에 대한 오프라인 근본 원인 추천들을 제공하기 위한 예측 기능을 실행시키기 위해, 트레이닝, 평가, 및 검증된 모델을 활용하게 된다.
다른 실시예는 장치를 포함한다. 장치는, 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를 수신하고 세션 로그들을 수신하기 위한 수단을 포함한다. 장치는 또한, 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를, 오프라인 및 온라인 예측을 생성하고 서비스 액세스 경험 품질(QoE) 이슈들의 오프라인 근본 원인 추천들을 제공하기 위해 구성된 입력 세트 및 출력 세트로 카테고리화, 파티셔닝, 및 준비하기 위한 수단을 포함한다. 장치는, 출력 세트에 기초하여, 서비스 액세스 경험 품질(QoE) 이슈들의 영역들에서 학습하기 위해 구성된 모델의 오프라인 트레이닝, 평가, 및 검증을 위한 수단, 및 서비스 액세스 경험 품질(QoE) 이슈들에 대한 오프라인 근본 원인 추천들을 제공하기 위한 예측 기능을 실행시키기 위해, 트레이닝, 평가, 및 검증된 모델을 활용하기 위한 수단을 더 포함할 수 있다.
다른 실시예는 컴퓨터 판독가능 매체 상에 구현된 컴퓨터 프로그램에 관한 것이다. 컴퓨터 프로그램은, 프로세서가 프로세스를 수행하게 제어하도록 구성된다. 프로세스는, 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를 수신하는 것, 및 세션 로그들을 수신하는 것을 포함한다. 프로세스는 또한, 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를, 오프라인 및 온라인 예측을 생성하고 서비스 액세스 경험 품질(QoE) 이슈들의 오프라인 근본 원인 추천들을 제공하기 위해 구성된 입력 세트 및 출력 세트로 카테고리화, 파티셔닝, 및 준비하는 것을 포함한다. 그런 다음, 프로세스는, 출력 세트에 기초하여, 서비스 액세스 경험 품질(QoE) 이슈들의 영역들에서 학습하기 위해 구성된 모델의 오프라인 트레이닝, 평가, 및 검증, 그리고 서비스 액세스 경험 품질(QoE) 이슈들에 대한 오프라인 근본 원인 추천들을 제공하기 위한 예측 기능을 실행시키기 위해, 트레이닝, 평가, 및 검증된 모델을 활용하는 것을 포함할 수 있다.
본 발명의 적절한 이해를 위해, 동반된 도면들이 참조되어야 한다.
도 1은 본 발명의 일 실시예에 따른 시스템을 예시한다.
도 2는 일 실시예에 따른 방법의 흐름도를 예시한다.
도 3은 일 실시예에 따른 장치를 예시한다.
본원의 도면들에서 일반적으로 설명 및 예시되는 바와 같은 본 발명의 컴포넌트들이 폭넓게 다양한 상이한 구성들에서 배열 및 설계될 수 있음이 쉽게 이해될 것이다. 따라서, 첨부된 도면들에서 표현되는 바와 같이, 통신 네트워크들에서 서비스 액세스 경험 품질 이슈들에 대한 근본-원인 분석을 위해 추천들을 예측 및 제공하는 시스템, 방법, 장치, 및 컴퓨터 프로그램 물건의 실시예들의 다음의 상세한 설명은 본 발명의 범위를 제한시키려고 의도되는 것이 아니라, 단지 본 발명의 선택된 실시예들을 예시한다.
원해진다면, 아래에 논의되는 상이한 기능들은 서로 동시에 그리고/또는 상이한 순서로 수행될 수 있다. 또한, 원해진다면, 설명된 기능들 중 하나 또는 그 초과는 선택적일 수 있거나, 또는 결합될 수 있다. 이와 같이, 다음의 설명은 본 발명의 원리들, 지침들 및 실시예들을 단지 예시하는 것으로서 간주되어야 하고, 그 제한으로 간주되어서는 안된다.
서비스 제공자들은 RAN에서 수집된 로그들로부터 네트워크 등록취소 정보를 추출할 수 있고, 근본 원인 네트워크 등록취소 이슈들을 식별하기 위해 분석을 수행할 수 있다. 그러나, 서비스 제공자들 및 벤더들은 적어도, 이러한 접근에 대해 다음의 문제점들에 직면한다.
네트워크로부터 수집된 데이터, 예컨대 네트워크 등록취소 정보 전부가 포스트-프로세싱되고 수동으로 분석된다. 데이터의 크기는 그러한 분석을 매우 어렵고 시간 소모적으로 만든다. 예컨대, 네트워크에 따라 많은 타입들의 등록취소가 존재한다. WiMAX(worldwide interoperability for microwave access) 네트워크는 등록취소의 원인/타입으로서 레포팅될 수 있는 309개의 상이한 등록취소(DEREG) 코드들을 갖는다. LTE(long term evolution) 네트워크들에서, 단지 RRC(radio resource control)는 릴리스/거부들에 대해 25개 또는 그 초과의 원인들을 갖는다(예컨대, 거부(1), 릴리스(6), 페일(failure)(8), 프로토콜 오류 원인(6), RAT-간 변경 페일(4), .., 등등).
부가하여, 시장의 크기는 등록취소 이슈들을 다루는 것을 어렵게 만들 수 있다. 예컨대, 시카고 시는, 3주의 지속기간 동안 2.5GB PM 통계 데이터 및 1.5GB의 등록취소 로그들을 생성하는 3500개의 WiMAX 액세스 포인트(AP)들을 갖는다.
그 결과, 각각의 벤더/서비스 공급자/고객은 등록취소들을 모니터링하기 위해 엄청난(extraordinary) 단계들을 취해야 한다. 통상적으로, 데이터를 관리하고 레포트들을 제시하기 위해 데이터베이스들이 개발된다.
CPE(customer premises equipment) 등록취소 핵심 성능 표시자(KPI:key performance indicator)들은 근본 원인 분석에서 불충분하다. 애매한 원인 코드들은 엄청난 분석을 요구하고 벤더 전문지식에 빈번한 입력을 요구하여, 이로써 벤더 이익들이 잡아먹힌다. 이와 같이, 소프트웨어 분석 및 테스팅(SWAT:software analysis and testing) 팀들이 모든 핵심 고객들에 대해 요구된다.
또한, 전통적인 통계 방법들은 시간 및 비용, 뿐만 아니라 단순히, 심지어 근본 원인에 대해 급락에 대한 영역들을 식별할 수 없는 무능으로 인해 비효과적으로 렌더링된다.
위를 고려할 때, 본 발명의 특정 실시예들은, 모델링 엔진으로서 상이한 기계 학습 알고리즘들을 사용하는 통신 네트워크들에 대해 지능적 네트워크 관리 기능을 제공하기 위한 완전한 솔루션을 제시한다. 몇몇 실시예들은, 입력들로서 네트워크 통계를 이용하여 사용자 경험 정전(user experienced outage)들 및 등록취소들을 모델링하고, 그리고 온라인 추천 및 시각화 도구, 뿐만 아니라 오프라인 레포트 생성 엔진 둘 다를 제공한다.
일 실시예는, 네트워크들, 예컨대 3G/4G 네트워크들에서 서비스 액세스 QoE 이슈들에 대한 근본-원인 분석을 위한 추천들을 예측 및 제공하기 위해 진보된 통계 데이터 분석론을 활용한다. 예측기 변수들로서 FCAPS 데이터를 이용하여, 실시예들은, 서비스 액세스 QoE 관련 표시자들을 추정하기 위해, 문제점을 예측 회귀 또는 분류 문제점으로서 셋업하도록 구성된다. 몇몇 실시예들은, 예컨대 트리 및 앙상블 방법들에 기초하여, RAN 로그들로부터의 네트워크 등록취소 정보를 이용하여, 다양한 비-선형 통계 모델링 알고리즘들의 트레이닝 및 튜닝을 수행한다.
도 1에 예시된 바와 같이, 실시예들은 두 개의 모듈들, 즉 오프라인 모듈(100)과 온라인 예측 모듈(110)을 포함할 수 있다. 몇몇 실시예들에서, 오프라인 모듈(100) 및 온라인 예측 모듈(110)은, 하드웨어로 구현된 프로세서에 의해 실행되도록 구성된 소프트웨어 코드 또는 실행가능한 명령들을 포함할 수 있다. 이와 같이, 오프라인 모듈(100) 및 온라인 예측 모듈(110)은 하드웨어 및 소프트웨어의 결합일 수 있다. 다른 실시예들에서, 오프라인 모듈(100) 및 온라인 예측 모듈(110)은 완전히 하드웨어, 예컨대 ASIC(application specific integrated circuit), PGA(programmable gate array), FPGA(field programmable gate array) 등등으로 구현될 수 있다.
오프라인 모듈(100)은, 서버들에 의해 수집된 역사 데이터에 기초한 통계 모델 트레이닝 및 튜닝을 포함한다. 일 실시예에서, 오프라인 모듈(100)은, 서비스 액세스 QoE 이슈들의 다양한 카테고리들에 대해 근본 원인 추천를 출력하도록 구성된다. 온라인 예측 모듈(110)은, 오프라인 모듈(100)에 의해 제공된, 튜닝된 모델을 사용하여, 실시간 데이터를 이용하여 추정된 서비스 액세스 QoE 표시자들을 출력한다.
도 2는 일 실시예에 따라, 오프라인 모듈(100) 및 온라인 예측 모듈(110)의 기능을 예시한다. 이러한 실시예에 따라, 온라인 예측 모듈(110)은 FCAPS 데이터를 포함하는 네트워크 데이터를 수집하고, 예측기 변수들을 준비하고, 선택된 간격으로 샘플들을 생성하기 위해 애그리게이션을 수행하고, 그리고 입력 데이터를 준비하고 오프라인 모듈(100)에 제공한다. 세션 로그들로부터, 오프라인 모듈(100)은 등록취소 엔트리들을 추출한다. 그런 다음, 오프라인 모듈(100)은 셋팅된 간격들로 샘플들을 생성하기 위해 애그리게이션을 수행할 수 있고, 높은 레벨의 QoE 서비스 액세스 카테고리화를 수행할 수 있고, 출력 데이터를 준비할 수 있고, 그리고 각각의 카테고리에 대해 트레이닝 및 검증 평가 세트를 준비할 수 있다. 그런 다음, 오프라인 모듈(100)은 트레이닝 기능을 실행할 수 있고, 검증 기능을 실행할 수 있고, 평가 기능을 실행할 수 있고, 그리고 모델을 업데이트할 수 있다.
실시예에서, 업데이트된 모델이 온라인 예측 모듈(110)에 제공되고, 온라인 예측 모듈(110)은 오프라인 모듈(100)에 의해 제공된, 업데이트된 모델을 사용하여, 실시간 예측 결과들, 즉 실시간 데이터를 이용하여 추정된 서비스 액세스 QoE 표시자들을 출력한다.
더욱 구체적으로, 도 2는 오프라인 모듈(100)과 함께 온라인 모듈(110)에 의해 수행될 수 있는 방법의 흐름 차트의 예를 예시한다. 이러한 예에서, 방법은 200에서 시작하고, 210에서, 네트워크 FCAPS 데이터(205)가 수집된다. 215에서, 방법은, 예측기 변수들을 준비하는 단계를 포함할 수 있고, 220에서, 선택된 간격(들)으로 샘플들을 생성하기 위해 애그리게이션을 수행하는 단계를 포함할 수 있다. 225에서, 입력 데이터 세트가 준비된다. 그런 다음, 방법은, 235에서, 세션 로그들(233)로부터 등록취소 엔트리들을 추출하는 단계로 진행할 수 있다. 240에서, 방법은, 셋팅된 간격(들)으로 샘플들을 생성하기 위해 애그리게이션을 수행하는 단계를 포함할 수 있고, 245에서, 높은 레벨의 QoE 서비스 액세스 카테고리화를 수행하는 단계를 포함할 수 있다. 방법은, 250에서, 출력 데이터 세트를 준비하는 단계를 포함할 수 있다. 실시예에서, 입력 데이터 세트 및 출력 데이터 세트는 데이터베이스(300)에 저장된다. 방법은, 255에서, 단계 245에서 카테고리화된 바와 같은 각각의 카테고리에 대해, 트레이닝, 검증, 및 평가 세트를 준비하는 단계를 더 포함할 수 있다. 260, 265, 및 270에서, 트레이닝 기능, 검증 기능, 및 평가 기능이, 모델(400)을 업데이트하기 위해 실행 및 활용될 수 있다. 그런 다음, 업데이트된 모델(400)은, 230에서 예측 기능을 실행시키는데 사용될 수 있다. 일 실시예에서, 예측 기능의 결과들은 또한 데이터베이스(300)에 저장될 수 있다.
따라서, 본 발명의 실시예들은, 통신 네트워크에서 서비스 액세스 QoE 관련 이슈들에 대해 예측 및 근본 원인 추천를 생성하거나, 창조하거나, 그리고/또는 제공하는 방법, 장치, 및/또는 컴퓨터 프로그램 물건을 제공한다. 일 실시예는, 예측기 변수들로서 FCAPS 데이터를 이용하여, 어드밴스 통계 데이터 분석론을 적용하고, 그리고 서비스 액세스 QoE 관련 표시자들을 추정하기 위해, 문제점을 예측 회귀 또는 분류 문제점으로서 셋업한다. 특정 실시예들은, 서비스 액세스 QoE 이슈들의 근본 원인 분석을 위한 추천들의 생성을 위해 모델 오프라인을 트레이닝, 평가 및 검증하는 목적을 위해, 입력 세트를 창조하기 위해 역사적 FCAPS 데이터를 활용하고, 뿐만 아니라 출력 세트를 창조하기 위해 RAN 로그들로부터의 정보를 활용한다. 그런 다음, 실시예들은, 서비스 액세스 QoE 이슈들을 예측하기 위하여, 실시간 FCAPS 데이터를 이용하여, 오프라인으로 창조된 모델을 적용할 수 있다. 그런 다음, 이러한 정보는, 근본 원인 분석을 위해 시각화, 오프라인 분석, 모니터링 및 딥 다이브(deep dive)들에 제공될 수 있다.
일 실시예는 통신 네트워크에서 서비스 액세스 QoE 이슈들의 예측 및 근본 원인 추천들을 위한 방법에 관한 것이다. 방법은, 오프라인(역사적) 및 온라인 모드에서 네트워크 관리 엔티티들로부터의 FCAPS 데이터를 수신 및 활용하는 단계, 및 네트워크 엘리먼트들로부터 세션 로그들을 수신하는 단계를 포함한다. 방법은, 오프라인 및 온라인 예측을 생성하기 위해 데이터가 활용될 수 있도록 그리고 근본 원인 추천들을 제공하기 위해 사용될 수 있도록, 상기 데이터를 입력 세트 및 출력 세트로 카테고리화, 파티셔닝, 및 준비하는 단계를 더 포함한다. 방법은 또한, 감독 방법뿐만 아니라 무감독 방법의 결합을 이용한 기계 학습 알고리즘들을 이용하여 형성된 모델의 오프라인 트레이닝, 평가, 및 검증 단계를 포함할 수 있고, 여기서 모델은 서비스 액세스 QoE 이슈들의 영역에서 학습하기 위해 형성된다. 방법은, 서비스 액세스 QoE 이슈들에 대한 오프라인 근본 원인 추천들 및 시각화를 위해 트레이닝된 모델을 활용하는 단계, 및 서비스 액세스 QoE 이슈들에 대한 온라인 예측 및 시각화를 향하여, 오프라인으로 트레이닝된 모델 및 그 결과들을 활용하는 단계를 더 포함한다.
몇몇 실시예들에서, 본원에 설명되는 방법들 중 임의의 방법의 기능은, 메모리 또는 다른 컴퓨터 판독가능 또는 유형 미디어에 저장되는 소프트웨어에 의해 구현될 수 있고, 그리고 프로세서에 의해 실행될 수 있다. 다른 실시예들에서, 기능은 하드웨어에 의해, 예컨대 ASIC(application specific integrated circuit), PGA(programmable gate array), FPGA(field programmable gate array) 또는 하드웨어 및 소프트웨어의 임의의 다른 결합의 사용을 통해 수행될 수 있다.
위에서 언급된 컴퓨터 판독가능 미디어는 적어도 부분적으로, 송신 라인, 콤팩트 디스크, 디지털-비디오 디스크, 자기 디스크, 홀로그래픽 디스크 또는 테이프, 플래시 메모리, 자기저항 메모리, 집적 회로들, 또는 임의의 다른 디지털 프로세싱 장치 메모리 디바이스에 의해 구현될 수 있다.
도 3은 일 실시예에 따라 장치(10)를 예시한다. 실시예에서, 장치(10)는, 네트워크에서 서비스 액세스 QoE 이슈들에 대한 근본 원인 분석을 위한 추천들을 예측 및 제공하도록 구성된 네트워크 엘리먼트 또는 엔티티일 수 있다. 예컨대, 실시예에 따라, 장치(10)는 네트워크 엘리먼트, 예컨대 네트워크 관리 도메인에 있는 애플리케이션 서버일 수 있다. 몇몇 실시예들에서, 장치(10)에 의해 제공되는 기능은, 네트워크 관리 시스템 또는 엘리먼트 관리 시스템의 고객 경험 관리(CEM:customer experience management) 및/또는 동작 지원 시스템(OSS:operational support system) 층, 또는 네트워크의 다른 엘리먼트들, 예컨대 OSS, Core 및 RAN에 링크된 애플리케이션 서버에 있을 것이다.
장치(10)는, 정보를 프로세싱하고 명령들 또는 동작들을 실행시키기 위한 프로세서(22)를 포함한다. 프로세서(22)는 임의의 타입의 일반 또는 특별 목적 프로세서일 수 있다. 도 3에서 단일 프로세서(22)가 도시되지만, 다른 실시예들에 따라 다수의 프로세서들이 활용될 수 있다. 실제, 프로세서(22)는 예들로서 일반-목적 컴퓨터들, 특별 목적 컴퓨터들, 마이크로프로세서들, 디지털 신호 프로세서들("DSPs"), 필드-프로그램가능 게이트 어레이들("FPGAs"), 주문형 집적 회로들("ASICs"), 그리고 멀티-코어 프로세서 아키텍처에 기초한 프로세서들 중 하나 또는 그 초과를 포함할 수 있다.
장치(10)는, 프로세서(22)에 의해 실행될 수 있는 명령들 및 정보를 저장하기 위한, 프로세서(22)에 커플링된 메모리(14)를 더 포함한다. 메모리(14)는 하나 또는 그 초과의 메모리들일 수 있고, 로컬 애플리케이션 환경에 적절한 임의의 타입을 가질 수 있으며, 반도체-기반 메모리 디바이스, 자기 메모리 디바이스 및 시스템, 광학 메모리 디바이스 및 시스템, 고정 메모리, 및 제거가능 메모리와 같은 임의의 적절한 휘발성 또는 비휘발성 데이터 스토리지 기술을 이용하여 구현될 수 있다. 예컨대, 메모리(14)는 랜덤 액세스 메모리("RAM"), 읽기 전용 메모리("ROM"), 정지 스토리지, 예컨대 자기 또는 광학 디스크, 또는 임의의 다른 타입의 비-일시적 기계 또는 컴퓨터 판독가능 미디어 중 임의의 결합으로 구성될 수 있다. 메모리(14)에 저장된 명령들은, 프로세서(22)에 의해 실행될 때, 장치(10)가 본원에 설명된 바와 같은 작업들을 수행하는 것을 가능케 하는 프로그램 명령들 또는 컴퓨터 프로그램 코드를 포함할 수 있다.
장치(10)는 또한, 신호들 및/또는 데이터를 장치(10)에 전송하고 장치(10)로부터 수신하기 위한 하나 또는 그 초과의 안테나들(미도시)을 포함할 수 있다. 장치(10)는, 정보를 안테나(들)에 의한 송신을 위해 캐리어 파형으로 변조하고 안테나(들)를 통해 수신된 정보를 장치(10)의 다른 엘리먼트들에 의한 추가적인 프로세싱을 위해 복조하는 트랜시버(28)를 더 포함할 수 있다. 다른 실시예들에서, 트랜시버(28)는 신호들 또는 데이터를 직접 전송 및 수신할 수 있다.
프로세서(22)는, 제한 없이, 안테나 이득/위상 파라미터들의 프리코딩, 통신 메시지를 형성하는 개별 비트들의 인코딩 및 디코딩, 정보의 포맷팅을 포함하는 장치(10)의 동작, 그리고 통신 자원들의 관리에 관련된 프로세스들을 포함하는 장치(10)의 전체 제어와 연관된 기능들을 수행할 수 있다.
실시예에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능을 제공하는 소프트웨어 모듈들을 저장한다. 모듈들은 위에서 논의된 오프라인 모듈(100) 및 온라인 예측 모듈을 포함할 수 있다. 모듈들은 또한, 장치(10)에 운영체제 기능을 제공하는 운영체제(15)를 포함할 수 있다. 메모리는 또한, 장치(10)에 부가적인 기능을 제공하기 위해, 하나 또는 그 초과의 기능 모듈들(18), 예컨대 애플리케이션 또는 프로그램을 저장할 수 있다. 장치(10)의 컴포넌트들은 하드웨어로, 또는 하드웨어 및 소프트웨어의 임의의 적절한 결합으로서 구현될 수 있다.
일 실시예에 따라, 장치(10)는 오프라인(역사적) 및 온라인 모드에서 네트워크 관리 엔티티들로부터의 FCAPS 데이터를 수신 및 활용하도록, 그리고 네트워크 엘리먼트들로부터 세션 로그들을 수신하도록 구성될 수 있다. 장치(10)는, 오프라인 및 온라인 예측을 생성하고 근본 원인 추천들을 제공하는 것을 향하여 데이터가 활용될 수 있도록, 상기 데이터를 입력 세트 및 출력 세트로 카테고리화, 파티셔닝, 및 준비하도록 추가로 구성될 수 있다. 장치(10)는 또한, 감독 방법뿐만 아니라 무감독 방법의 결합을 이용한 기계 학습 알고리즘들을 이용하여 형성된 모델을 오프라인 트레이닝, 평가 및 검증하도록 구성될 수 있고, 여기서 모델은 서비스 액세스 QoE 이슈들의 영역에서 학습하기 위해 형성된다. 그런 다음, 장치(10)는, 서비스 액세스 QoE 이슈들에 대한 오프라인 근본 원인 추천들 및 시각화를 위해 트레이닝된 모델을 활용할 수 있다. 추가로, 장치(10)는, 서비스 액세스 QoE 이슈들에 대한 온라인 예측 및 시각화를 향하여, 오프라인으로 트레이닝된 모델을 활용할 수 있고, 그 결과들을 적용할 수 있다.
위를 고려할 때, 본 발명의 실시예들은, 관리된 서비스 제공자들(GNOC들/SOC들), 최적화 서비스 제공자들, 및 오퍼레이터들이, 최종 사용자 서비스들에 영향을 끼치는 리딩 표시자들을 이해하고 뿐만 아니라 네트워크 관리 문제점들의 근본 원인 분석을 수행할 때 커다란 효율성을 가져오도록 전문가 시스템을 형성하는 것을 도울 수 있다. 본 발명의 실시예들은, 오퍼레이터들에 제공되는 도구들에서 채택될 수 있다. 부가하여, 실시예들은, 레포트를 생성하기 위해 일회성(onetime) 분석의 성능을 허용할 수 있다. 중요하게, 실시예들은 GNOC들/SOC들로부터 멀티-벤더 네트워크의 더 신속한 근본 원인 분석 및 더 나은 모니터링을 야기할 수 있다. 그 결과, 근본 원인 분석에 대한 시간을 단축시킴으로써, 필드 이슈들을 해결할 때 들어가는 이익 고갈이 감소될 것이다. 더 짧은 분석 기간은 또한, 고객 이슈들에 대해 더 신속한 응답 시간을 야기할 것이다.
본 명세서에서 설명된 기능 피처들 중 몇몇이, 더욱 구체적으로 그들의 구현 독립성을 강조하기 위하여, 모듈들, 기능들 또는 애플리케이션들로서 제시되었음이 주의되어야 한다. 예컨대, 모듈, 기능 또는 애플리케이션은, 커스톰(custom) VLSI 회로들 또는 게이트 어레이들, 오프-더-쉘프(off-the-shelf) 반도체들, 예컨대 로직 칩들, 트랜지스터들, 또는 다른 이산 컴포넌트들을 포함하는 하드웨어 회로로서 구현될 수 있다. 모듈, 기능 또는 애플리케이션은 또한 프로그램가능 하드웨어 디바이스들, 예컨대 필드 프로그램가능 게이트 어레이들, 프로그램가능 어레이 로직, 프로그램가능 로직 디바이스들 등등으로 구현될 수 있다.
모듈들, 기능들 또는 애플리케이션들은 또한, 부분적으로 또는 완전히, 다양한 타입들의 프로세서들에 의한 실행을 위해 소프트웨어로 구현될 수 있다. 실행가능한 코드의 식별된 모듈은, 예컨대 객체, 프로시저, 또는 함수로서 조직화될 수 있는 예컨대 컴퓨터 명령들의 하나 또는 그 초과의 물리적 또는 논리적 블록들을 포함할 수 있다. 그럼에도 불구하고, 식별된 모듈의 실행가능들은 물리적으로 함께 위치될 필요가 없고, 논리적으로 서로 연결될 때 모듈을 포함하고 그 진술된 목적을 달성하는 상이한 위치들에 저장된 이질적인 명령들을 포함할 수 있다.
확실히, 실행가능한 코드의 모듈은 단일 명령 또는 많은 명령들일 수 있고, 그리고 심지어 여러 상이한 코드 세그먼트들에 걸쳐서, 상이한 프로그램들 사이에, 그리고 여러 메모리 디바이스들에 걸쳐 분산될 수 있다. 유사하게, 동작 데이터는 본원에서 모듈들 내에서 식별 및 예시될 수 있고, 그리고 임의의 적절한 형태로 구현될 수 있고 임의의 적절한 타입의 데이터 구조 내에서 조직화될 수 있다. 동작 데이터는 단일 데이터 세트로서 수집될 수 있거나, 또는 상이한 위치들에 걸쳐서 ―상이한 스토리지 디바이스들에 걸쳐서를 포함함― 분산될 수 있고, 그리고 적어도 부분적으로, 단지 시스템 또는 네트워크 상의 전자 신호들로서 존재할 수 있다.
본 발명의 설명된 피처들, 장점들, 및 특징들은 하나 또는 그 초과의 실시예들에서 임의의 적절한 방식으로 결합될 수 있다. 관련 기술분야의 당업자는, 본 발명이 특정한 실시예의 특정 피처들 또는 장점들 중 하나 또는 그 초과 없이 구현될 수 있음을 인지할 것이다. 다른 예들에서, 본 발명의 실시예들 전부에 존재하지 않을 수 있는 부가적인 피처들 및 장점들이 특정 실시예들에서 인지될 수 있다.
기술분야의 당업자는 위에서 논의된 바와 같은 본 발명이 상이한 순서의 단계들을 이용하여 그리고/또는 기재된 것들과 상이한 구성들의 하드웨어 엘리먼트들을 이용하여 구현될 수 있음을 쉽게 이해할 것이다. 그러므로, 본 발명이 이러한 바람직한 실시예들에 기초하여 설명되었지만, 본 발명의 사상 및 범위 내에서 유지되면서, 특정 수정들, 변형들, 및 대안적 구성들이 명백할 것임이 기술분야의 당업자들에게 명백할 것이다. 그러므로, 본 발명의 경계(metes) 및 경계선(bound)들을 결정하기 위하여, 첨부된 청구항들이 참조되어야 한다.

Claims (18)

  1. 방법으로서,
    온라인 모듈이, 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS:fault, configuration, administration, performance, and security) 데이터를 수신하는 단계;
    상기 온라인 모듈이, 상기 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를 입력 세트로 카테고리화, 파티셔닝, 및 준비하는 단계;
    상기 온라인 모듈이, 실시간으로 오프라인 학습하도록 구성된 모델을 사용하여 상기 입력 세트로부터 서비스 액세스 경험 품질(QoE:quality of experience) 이슈들의 온라인 예측을 생성하는 단계;
    상기 온라인 모듈이, 상기 입력 세트를 오프라인 모듈에 제공하는 단계;
    상기 오프라인 모듈이, 상기 입력 세트 및 세션 로그들을 수신하고 상기 세션 로그들에 기초하여 출력 세트를 준비하는 단계;
    상기 오프라인 모듈이, 상기 출력 세트에 기초하여, 상기 서비스 액세스 경험 품질(QoE) 이슈들의 영역들에서 상기 모델을 학습하게 함으로써 상기 모델을 오프라인 트레이닝하는 단계;
    상기 오프라인 모듈이, 트레이닝된 모델을 상기 온라인 모듈에 주기적으로 제공하는 단계; 및
    상기 오프라인 모듈이, 상기 서비스 액세스 경험 품질(QoE) 이슈들에 대한 오프라인 근본 원인 추천들을 제공하기 위한 예측 기능을 실행하기 위해, 상기 트레이닝된 모델을 활용하는 단계
    를 포함하는,
    방법.
  2. 제 1 항에 있어서,
    상기 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터의 수신 단계는, 온라인 및 오프라인 모드에서 적어도 하나의 네트워크 관리 엔티티로부터 상기 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를 수신하는 단계를 포함하는,
    방법.
  3. 제 1 항에 있어서,
    상기 세션 로그들의 수신 단계는, 적어도 하나의 네트워크 엘리먼트로부터 상기 세션 로그들을 수신하는 단계를 포함하는,
    방법.
  4. 제 1 항에 있어서,
    상기 세션 로그들로부터 등록취소 엔트리들을 추출하는 단계
    를 더 포함하는,
    방법.
  5. 제 1 항에 있어서,
    상기 입력 세트는 온라인 모듈에 의해 준비되고, 상기 출력 세트는 오프라인 모듈에 의해 준비되는,
    방법.
  6. 장치로서,
    적어도 하나의 프로세서; 및
    컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리
    를 포함하고,
    상기 장치는 온라인 모듈 및 오프라인 모듈을 더 포함하며,
    상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서를 이용하여,
    온라인 모듈이, 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를 수신하고;
    상기 온라인 모듈이, 상기 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를 입력 세트로 카테고리화, 파티셔닝, 및 준비하며;
    상기 온라인 모듈이, 실시간으로 오프라인 학습하도록 구성된 모델을 사용하여 상기 입력 세트로부터 서비스 액세스 경험 품질(QoE:quality of experience) 이슈들의 온라인 예측을 생성하고;
    상기 온라인 모듈이, 상기 입력 세트를 오프라인 모듈에 제공하며;
    상기 오프라인 모듈이, 상기 입력 세트 및 세션 로그들을 수신하고 상기 세션 로그들에 기초하여 출력 세트를 준비하고;
    상기 오프라인 모듈이, 상기 출력 세트에 기초하여, 상기 서비스 액세스 경험 품질(QoE) 이슈들의 영역들에서 상기 모델을 학습하게 함으로써 상기 모델을 오프라인 트레이닝하고;
    상기 오프라인 모듈이, 트레이닝된 모델을 상기 온라인 모듈에 주기적으로 제공하며; 그리고
    상기 오프라인 모듈이, 상기 서비스 액세스 경험 품질(QoE) 이슈들에 대한 오프라인 근본 원인 추천들을 제공하기 위한 예측 기능을 실행하기 위해, 상기 트레이닝된 모델을 활용하게
    하도록 구성된,
    장치.
  7. 제 6 항에 있어서,
    상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서를 이용하여, 상기 장치로 하여금, 온라인 및 오프라인 모드에서 적어도 하나의 네트워크 관리 엔티티로부터 상기 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를 수신하게 하도록 추가로 구성된,
    장치.
  8. 제 6 항에 있어서,
    상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서를 이용하여, 상기 장치로 하여금, 적어도 하나의 네트워크 엘리먼트로부터 상기 세션 로그들을 수신하게 하도록 추가로 구성된,
    장치.
  9. 제 6 항에 있어서,
    상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서를 이용하여, 상기 장치로 하여금, 상기 세션 로그들로부터 등록취소 엔트리들을 추출하게 하도록 추가로 구성된,
    장치.
  10. 제 6 항에 있어서,
    상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서를 이용하여, 상기 장치로 하여금, 상기 입력 세트 및 상기 출력 세트를 데이터베이스에 저장하게 하도록 추가로 구성된,
    장치.
  11. 컴퓨터 프로그램을 포함하는 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 프로그램은,
    온라인 모듈이, 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를 수신하는 것;
    상기 온라인 모듈이, 상기 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를 입력 세트로 카테고리화, 파티셔닝, 및 준비하는 것;
    상기 온라인 모듈이, 실시간으로 오프라인 학습하도록 구성된 모델을 사용하여 상기 입력 세트로부터 서비스 액세스 경험 품질(QoE:quality of experience) 이슈들의 온라인 예측을 생성하는 것;
    상기 온라인 모듈이, 상기 입력 세트를 오프라인 모듈에 제공하는 것;
    상기 오프라인 모듈이, 상기 입력 세트 및 세션 로그들을 수신하고 상기 세션 로그들에 기초하여 출력 세트를 준비하는 것;
    상기 오프라인 모듈이, 상기 출력 세트에 기초하여, 상기 서비스 액세스 경험 품질(QoE) 이슈들의 영역들에서 상기 모델을 학습하게 함으로써 상기 모델을 오프라인 트레이닝하는 것;
    상기 오프라인 모듈이, 트레이닝된 모델을 상기 온라인 모듈에 주기적으로 제공하는 것; 및
    상기 오프라인 모듈이, 상기 서비스 액세스 경험 품질(QoE) 이슈들에 대한 오프라인 근본 원인 추천들을 제공하기 위한 예측 기능을 실행하기 위해, 상기 트레이닝된 모델을 활용하는 것
    을 포함하는 프로세스를 수행하도록 프로세서를 제어하도록 구성된,
    컴퓨터 판독가능 저장 매체.
  12. 제 11 항에 있어서,
    상기 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터의 수신 은, 온라인 및 오프라인 모드에서 적어도 하나의 네트워크 관리 엔티티로부터 상기 결함, 구성, 어드미니스트레이션, 성능, 및 보안(FCAPS) 데이터를 수신하는 것을 포함하는,
    컴퓨터 판독가능 저장 매체.
  13. 제 11 항에 있어서,
    상기 세션 로그들의 수신은, 적어도 하나의 네트워크 엘리먼트로부터 상기 세션 로그들을 수신하는 것을 포함하는,
    컴퓨터 판독가능 저장 매체.
  14. 제 11 항에 있어서,
    상기 세션 로그들로부터 등록취소 엔트리들을 추출하는 것
    을 더 포함하는,
    컴퓨터 판독가능 저장 매체.
  15. 제 11 항에 있어서,
    상기 입력 세트 및 상기 출력 세트를 데이터베이스에 저장하는 것
    을 더 포함하는,
    컴퓨터 판독가능 저장 매체.
  16. 삭제
  17. 삭제
  18. 삭제
KR1020147028531A 2012-03-12 2013-03-12 통신 네트워크들에서 서비스 액세스 경험 품질 이슈들의 예측 및 근본 원인 추천들 KR101676743B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261609529P 2012-03-12 2012-03-12
US61/609,529 2012-03-12
PCT/EP2013/055053 WO2013135734A1 (en) 2012-03-12 2013-03-12 Prediction and root cause recommendations of service access quality of experience issues in communication networks

Publications (2)

Publication Number Publication Date
KR20140145151A KR20140145151A (ko) 2014-12-22
KR101676743B1 true KR101676743B1 (ko) 2016-11-16

Family

ID=47891689

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147028531A KR101676743B1 (ko) 2012-03-12 2013-03-12 통신 네트워크들에서 서비스 액세스 경험 품질 이슈들의 예측 및 근본 원인 추천들

Country Status (6)

Country Link
US (1) US9152925B2 (ko)
EP (1) EP2826206A1 (ko)
JP (1) JP6141889B2 (ko)
KR (1) KR101676743B1 (ko)
CN (1) CN104160659B (ko)
WO (1) WO2013135734A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130030760A1 (en) * 2011-07-27 2013-01-31 Tom Thuy Ho Architecture for analysis and prediction of integrated tool-related and material-related data and methods therefor
US20130173332A1 (en) * 2011-12-29 2013-07-04 Tom Thuy Ho Architecture for root cause analysis, prediction, and modeling and methods therefor
AU2014259538B2 (en) 2013-11-08 2015-12-10 Accenture Global Services Limited Network node failure predictive system
US20160021173A1 (en) * 2014-07-16 2016-01-21 TUPL, Inc. Resource management in a big data environment
CN106134215A (zh) * 2015-01-05 2016-11-16 华为技术有限公司 用户体验质量QoE预测装置、网络设备和方法
GB201502371D0 (en) 2015-02-13 2015-04-01 Bae Systems Plc Provision, configuration and use of a telecommunications network
AU2016203497B2 (en) 2015-06-22 2017-05-11 Accenture Global Services Limited Wi-fi access point performance management
EP3131234B1 (en) 2015-08-14 2018-05-02 Accenture Global Services Limited Core network analytics system
US10135701B2 (en) 2016-02-19 2018-11-20 At&T Intellectual Property I, L.P. Context-aware virtualized control decision support system for providing quality of experience assurance for internet protocol streaming video services
US10708795B2 (en) * 2016-06-07 2020-07-07 TUPL, Inc. Artificial intelligence-based network advisor
EP3316584A1 (en) * 2016-10-25 2018-05-02 Thomson Licensing Method for anticipating and diagnosing reception problems in a stand-alone set top box based on a built-in self-learning failure prediction model and corresponding apparatus
EP3331198A1 (en) * 2016-12-02 2018-06-06 Alcatel Lucent Method and device for monitoring a dsl network
US10171510B2 (en) * 2016-12-14 2019-01-01 CyberSaint, Inc. System and method for monitoring and grading a cybersecurity framework
CN106851714B (zh) * 2017-01-05 2020-05-12 中国铁道科学研究院集团有限公司通信信号研究所 一种基于自学习模式的车地无线通信质量评估方法
EP3454506B1 (en) * 2017-09-07 2020-03-04 Nokia Solutions and Networks Oy Method and device for monitoring a telecommunication network
US11449379B2 (en) * 2018-05-09 2022-09-20 Kyndryl, Inc. Root cause and predictive analyses for technical issues of a computing environment
CN109412849B (zh) * 2018-10-23 2022-01-04 日海通信服务有限公司 一种智能通信网络维护方法及系统
EP3928551A1 (en) 2019-02-19 2021-12-29 Nokia Solutions and Networks Oy Configuration of a neural network for a radio access network (ran) node of a wireless network
US12058163B2 (en) 2021-08-10 2024-08-06 CyberSaint, Inc. Systems, media, and methods for utilizing a crosswalk algorithm to identify controls across frameworks, and for utilizing identified controls to generate cybersecurity risk assessments
US20230129123A1 (en) * 2021-10-26 2023-04-27 Dell Products L.P. Monitoring and Management System for Automatically Generating an Issue Prediction for a Trouble Ticket

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008536360A (ja) * 2005-03-10 2008-09-04 クゥアルコム・インコーポレイテッド ワイヤレス通信ネットワーク上のワイヤレスデバイスの接続品質を判定するための装置および方法
WO2011111599A1 (ja) * 2010-03-11 2011-09-15 日本電気株式会社 障害分析ルール抽出装置、障害分析ルール抽出方法、及び記憶媒体
WO2011141586A1 (es) 2010-05-14 2011-11-17 Telefonica, S.A. Método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7769847B2 (en) * 2000-07-13 2010-08-03 Computer Associates Think, Inc. Method and apparatus for a comprehensive network management system
JP4149178B2 (ja) * 2001-03-09 2008-09-10 松下電器産業株式会社 リモートメンテナンスシステム
US20050108387A1 (en) * 2003-10-31 2005-05-19 Bingjun Li System and apparatus for a network management system using presence and instant message techniques
EP1907996B1 (en) * 2005-07-28 2014-06-04 Siemens Aktiengesellschaft Load prediction based on-line and off-line training of neural networks
CN101282237B (zh) * 2008-05-27 2011-05-25 中山大学 一种基于snmp协议的综合网管系统
US20100131650A1 (en) * 2008-11-26 2010-05-27 Chou Lan Pok Methods and Apparatus to Support Network Policy Managers
JP4748226B2 (ja) * 2009-02-04 2011-08-17 沖電気工業株式会社 品質劣化検知装置、有線無線判定装置
JP5214656B2 (ja) * 2010-03-29 2013-06-19 株式会社東芝 評価装置および評価プログラム
CN102118803A (zh) * 2011-04-14 2011-07-06 北京邮电大学 一种基于QoE预测的移动通信系统视频跨层调度方法
CN102185709B (zh) * 2011-04-22 2014-11-19 赛特斯信息科技股份有限公司 一体化网络服务质量保障管理系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008536360A (ja) * 2005-03-10 2008-09-04 クゥアルコム・インコーポレイテッド ワイヤレス通信ネットワーク上のワイヤレスデバイスの接続品質を判定するための装置および方法
WO2011111599A1 (ja) * 2010-03-11 2011-09-15 日本電気株式会社 障害分析ルール抽出装置、障害分析ルール抽出方法、及び記憶媒体
WO2011141586A1 (es) 2010-05-14 2011-11-17 Telefonica, S.A. Método para calcular la percepción de experiencia de usuario de la calidad de los servicios monitorizados integrados en operadores de telecomunicaciones

Also Published As

Publication number Publication date
WO2013135734A1 (en) 2013-09-19
US9152925B2 (en) 2015-10-06
KR20140145151A (ko) 2014-12-22
JP6141889B2 (ja) 2017-06-07
US20130238534A1 (en) 2013-09-12
JP2015516620A (ja) 2015-06-11
EP2826206A1 (en) 2015-01-21
CN104160659B (zh) 2018-06-26
CN104160659A (zh) 2014-11-19

Similar Documents

Publication Publication Date Title
KR101676743B1 (ko) 통신 네트워크들에서 서비스 액세스 경험 품질 이슈들의 예측 및 근본 원인 추천들
US11611891B2 (en) Data analytics management (DAM), configuration specification and procedures, provisioning, and service based architecture (SBA)
US11102219B2 (en) Systems and methods for dynamic analysis and resolution of network anomalies
US10708795B2 (en) Artificial intelligence-based network advisor
US11630718B2 (en) Using user equipment data clusters and spatial temporal graphs of abnormalities for root cause analysis
US11044155B2 (en) Utilizing unstructured data in self-organized networks
US20230040284A1 (en) Trust related management of artificial intelligence or machine learning pipelines
Aumayr et al. Service-based Analytics for 5G open experimentation platforms
JP2023550706A (ja) 無線ネットワークパフォーマンス最適化システムおよび方法
EP4125012A1 (en) Trust related management of artificial intelligence or machine learning pipelines in relation to the trustworthiness factor explainability
Gokcesu et al. Qoe evaluation in adaptive streaming: Enhanced mdt with deep learning
Zheng et al. Practice on fifth-generation core (5GC) network fault self-recovery based on a Digital Twin
Khatib Data Analytics and Knowledge Discovery for Root Cause Analysis in LTE Self-Organizing Networks.
WO2023015448A1 (en) Apparatus, method, and computer program
Dobie et al. Network System of Systems Manager
WO2023082112A1 (en) Apparatus, methods, and computer programs
EP3787330B1 (en) Network architecture to improve service quality management
Frias et al. Measuring Mobile Broadband Challenges and Implications for Policymaking
Li et al. Analytics and Machine Learning Powered Wireless Network Optimization and Planning
WO2024027916A1 (en) Devices, methods and computer-readable media for activation of artificial intelligence and/or machine learning capabilities
Truong et al. TENSAI-Practical and Responsible Observability for Data Quality-aware Large-scale Analytics
WO2024068018A1 (en) Apparatus and method for introducing a data preparation configuration policy
CN118200882A (zh) Ai服务请求处理方法、装置、设备及可读存储介质
Cases Large-Scale Measurement of Broadband Performance A. Bovo Internet-Draft independent Intended status: Informational R. Marks Expires: January 20, 2016 EthAirNet Associates July 19, 2015

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant