KR101994940B1 - 네트워크 성능 근본 원인 분석을 위한 방법 및 시스템 - Google Patents

네트워크 성능 근본 원인 분석을 위한 방법 및 시스템 Download PDF

Info

Publication number
KR101994940B1
KR101994940B1 KR1020177014476A KR20177014476A KR101994940B1 KR 101994940 B1 KR101994940 B1 KR 101994940B1 KR 1020177014476 A KR1020177014476 A KR 1020177014476A KR 20177014476 A KR20177014476 A KR 20177014476A KR 101994940 B1 KR101994940 B1 KR 101994940B1
Authority
KR
South Korea
Prior art keywords
metric
module
processor
sub
kpi
Prior art date
Application number
KR1020177014476A
Other languages
English (en)
Other versions
KR20170077204A (ko
Inventor
크리쉬난 아이어
아제이 조쉬
윤페이 바이
파이 손 엔구옌
Original Assignee
노키아 솔루션스 앤드 네트웍스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 솔루션스 앤드 네트웍스 오와이 filed Critical 노키아 솔루션스 앤드 네트웍스 오와이
Publication of KR20170077204A publication Critical patent/KR20170077204A/ko
Application granted granted Critical
Publication of KR101994940B1 publication Critical patent/KR101994940B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/065Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving logical or physical relationship, e.g. grouping and hierarchies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04Network management architectures or arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

원격통신 네트워크 내의 시스템은, 적어도 하나의 메트릭을 포함하는 데이터베이스, 적어도 하나의 메트릭을 분석하도록 구성된 적어도 하나의 모듈, 적어도 하나의 모듈을 디스플레이하도록 구성된 그래픽 사용자 인터페이스, 및 네트워크의 근본 원인을 결정하도록 구성된 프로세서를 포함한다.

Description

네트워크 성능 근본 원인 분석을 위한 방법 및 시스템{METHOD AND SYSTEM FOR NETWORK PERFORMANCE ROOT CAUSE ANALYSIS}
[0001] 이 개시내용은 일반적으로 원격통신 네트워크들의 분야에 관한 것으로, 특히 네트워크 성능을 모니터링하고 분석하기 위한 방법 및 시스템에 관한 것이다.
[0002] 성능 메트릭들은 일반적으로 원격통신 네트워크 성능의 상태(health)를 측정하고 모니터하기 위해 정의된다. 일반적으로, 회사 내의 엔지니어링/운영 부서들은 그들의 에너지에 초점을 맞추고, 메트릭들이 분석되는 것을 유지하거나 개선하기 위해 정의된 성능 메트릭들을 분석하고 적절한 조치들을 트리거링하도록 노력한다. 이 프로세스는 일반적으로, KPI(key performance indicator)를 정의하는 것에서 비롯되며, 엔지니어들/운영자들은 결국 네트워크 성능을 최적화하는 조치들을 가능하게 하기 위해 RCA(Root Cause Analysis)를 사용한다.
[0003] 현재, 성능 데이터 및 KPI에 기초한 이러한 RCA는 숙련된 엔지니어들에 의해 수행되는 수동 프로세스들이고, KPI는, 컴포넌트들로 분해되고 네트워크 문제의 근본 원인을 식별하기 위해 상관 분석이 이에 적용된다. 예를 들어, 다양한 네트워크 엘리먼트들(즉, eNB, MME, RNC)로부터의 데이터가 데이터 웨어하우스들에서 수집되고 상이한 계층적 레벨들(즉, 셀, 마켓, 영역, 국가) 및 상이한 시간 기간들(즉, 시간, 날짜)에 따라 집성된다. 그런 다음, 엔지니어들은 프런트 엔드 또는 GUI(graphical user interface)를 사용하여 커스텀 또는 사전-정의된 질의들을 생성함으로써 분석적인 필요성들에 기초하여 데이터 웨어하우스에 수동으로 질의한다. 엔지니어들은 통상적으로 KPI 리포트들을 생성하고 데이터를 분석하기 위해 리포팅 툴들을 활용하며, 이 데이터 분석은, 분석의 최종 목표, 근본 원인에 도달할 때까지 추가 분석으로 이어질 수 있다. 이러한 분석은, 엔지니어가 분석을 수행하는 데 며칠이 걸릴 수 있기 때문에, 매우 시간이 많이 걸리고 비효율적이다.
[0004] 통신 업계의 엄청난 성장과 빅 데이터(Big Data)의 등장으로, 기존 수동 네트워크 분석 프로세스들의 효율성을 증가시키기 위해 분석 엔진들이 개발되었다. 이러한 엔진들은, 예를 들어, 네트워크 상태를 평가하고, 문제 해결(trouble shooting)을 수행하고, 네트워크 요구들을 예측하고 고객 요구들을 관리하기 위해 대량의 데이터를 프로세싱할 수 있다. 그러나, 이러한 분석 엔진들에는 제한이 있다. 이들 엔진들은 여전히 수동 단계들을 필요로 하는데, 이는, 위에서 나타내어진 바와 같이, 시간과 비용 둘 모두에서 비효율적이다. 이외에도, 이러한 엔진들을 활용하는 방법들은, 분석을 수행하는 엔지니어들/운영자들의 기술 수준이 크게 다를 수 있기 때문에 일관적이지 않고 체계적이지 않다. 이러한 엔진들은 또한 때때로 수동 프로세스의 반복을 필요로 하는데, 과거 경험들/러닝이 추후의 사용을 위해 포착되지 않았기 때문에, 수동 프로세스의 반복이 분석의 시간 효율성을 재차 감소시킨다.
[0005] 원격통신 네트워크 내의 시스템은, 적어도 하나의 메트릭을 포함하는 데이터베이스, 적어도 하나의 메트릭을 분석하도록 구성된 적어도 하나의 모듈, 적어도 하나의 모듈을 디스플레이하도록 구성된 그래픽 사용자 인터페이스, 및 네트워크의 근본 원인을 결정하도록 구성된 프로세서를 포함한다.
[0006] 원격통신 네트워크의 방법은, 데이터베이스에서 적어도 하나의 메트릭을 정의하는 단계, 데이터베이스로부터 적어도 하나의 메트릭을 선택하는 단계, 선택된 메트릭에 적어도 하나의 모듈을 적용하는 단계, 및 프로세서로부터, 네트워크의 근본 원인을 생성하는 단계를 포함한다.
[0007] 프로세서를 갖는 원격통신 네트워크의 방법은 메트릭 리파지토리로부터 메트릭을 선택하는 단계, 선택된 메트릭의 컴포넌트들을 식별하는 단계, 선택된 메트릭의 컴포넌트들에 적어도 하나의 모듈을 적용하는 단계, 적어도 하나의 모듈로부터의 데이터를 프로세서의 메모리에 저장하는 단계, 프로세서에서, 저장된 데이터에 기초하여 근본 원인을 생성하는 단계를 포함한다.
[0008] 본 개시내용의 적절한 이해를 돕기 위해서, 첨부 도면들을 참조해야 한다:
[0009] 도 1은 본 개시내용에 따른 시스템이다.
[0010] 도 2는 본 개시내용의 실시예에 따른 KPI 구조를 예시하는 다이어그램이다.
[0011] 도 3은 본 개시내용에 따른 KPI 계층을 예시하는 다이어그램이다.
[0012] 도 4는 본 개시내용의 실시예에 따른 모듈을 예시하는 다이어그램이다.
[0013] 도 5는 본 개시내용의 실시예에 따른 다른 모듈을 예시하는 다이어그램이다.
[0014] 도 6은 도 5의 모듈을 정의하고 본 개시내용의 일 실시예에 따른 방법을 예시하는 흐름도이다.
[0015] 도 7은 본 개시내용에 따른 방법을 예시하는 흐름도이다.
[0016] 도 8은 본 개시내용에 따른 다른 방법을 예시하는 흐름도이다.
[0017] 도 9는 본 개시내용에 따른 예시적인 그래픽 사용자 인터페이스이다.
[0018] 도 10은 본 개시내용에 따른 모듈의 예시적인 그래픽 사용자 인터페이스이다.
[0019] 도 11은 본 개시내용에 따른 모듈의 다른 예시적인 그래픽 사용자 인터페이스이다.
[0020] 도 12는 본 개시내용에 따른 모듈의 또 다른 예시적인 그래픽 사용자 인터페이스이다.
[0021] 본 개시내용은 원격통신 네트워크에서 성능 메트릭들을 분석하기 위한 시스템 및 방법을 제공한다. 기존 성능 분석 시스템들이 통상 본질적으로 수동이고, 숙련된 엔지니어들/운영자들이 네트워크 문제의 근본 원인을 결정하기 위해 며칠이 걸릴 수 있기 때문에, 비용 또는 시간 면에서 효율적이지 않다. 오늘날의 원격통신 네트워크들에서, 이러한 네트워크들로부터 수집될 수 있는 데이터의 양이 엄청나게 많고, 이러한 데이터의 수동 분석은 제한적이고 시간 소모적이다.
[0022] 이러한 문제들을 해결하기 위해서, 본 개시내용은, 네트워크의 근본 원인을 결정하기 위해 자동화된 프로세스를 제공하는 성능 분석 시스템 및 방법을 포함한다. 본 시스템 및 방법은, KPI(key performance indicator)들 및 그들의 컴포넌트들의 자동화된 분석을 수행하고, 사용자-친화적인 직관적 그래픽 사용자 인터페이스 상에 프로세스를 디스플레이함으로써 RCA(root cause analysis) 프로세스를 통해 사용자들을 안내하는 분석 워크플로우를 활용한다. 본 개시내용은 원격통신 네트워크에서의 분석에 관한 것이지만, 시스템 및 방법은 예를 들어, 금융, 헬스케어, 및 소매와 같은 다른 산업 도메인들을 분석하는데 활용될 수 있다는 것을 이해해야 한다.
[0023] 이제 도 1 내지 도 3을 참조하면, 원격통신 네트워크의 시스템(100)이 제공되고 적어도 하나의 메트릭(104)을 포함하는 데이터베이스(102)를 포함한다. 데이터베이스(102)는, 사용자들이 분석을 위해 적어도 하나의 메트릭을 효율적으로 선택할 수 있게 하는 탐색 기능을 포함할 수 있다. 시스템(100)은 또한, 적어도 하나의 메트릭을 분석하도록 구성된 적어도 하나의 모듈(106)을 포함한다. 또한, GUI(graphical user interface)(108)(예를 들어,도 2 및 도 5 참조)가 제공되고 적어도 하나의 메트릭(104) 및 모듈(106)을 디스플레이하도록 구성된다. 프로세서(110)는 또한 시스템(100)에 포함되고 네트워크의 근본 원인을 결정하도록 구성된다. 도 1에서 알 수 있는 바와 같이, 적어도 하나의 메트릭(104)은, 적어도 하나의 서브-키 성능 인디케이터(114) 및 적어도 하나의 컴포넌트(116)를 포함할 수 있는 적어도 하나의 키 성능 인디케이터, 즉 KPI(112)를 포함한다.
[0024] 그래픽 용이성 및 간결성을 위해서, 적어도 하나의 키 성능 인디케이터(112)가 계층적 순서 또는 트리 구조에 배열되고 그래픽 사용자 인터페이스(108) 상에 디스플레이된다. 예를 들어, 사용자가 데이터베이스(102)에서 KPI(112)를 탐색하고 선택된 KPI를 GUI 상에 "드롭"시키면, KPI의 트리 구조가 디스플레이되고, 선택된 KPI의 논리적 구성요소들이 드러난다. 예를 들어, 그리고 도 2에 도시된 바와 같이, 예시적인 KPI(112) 트리 구조가 제공된다. 트리 구조는 적어도 하나의 서브-KPI(114) 및 적어도 하나의 컴포넌트(116)를 포함할 수 있다. 이러한 트리 구조는 명확하게 KPI(112)의 구성요소들을 사용자/운영자에게 제시하고 이들이 KPI의 논리적 구성요소들을 러닝하는 것을 돕는다. 트리 구조 내 KPI(112)의 구성요소들 각각을 그래픽으로 디스플레이함으로써, 사용자는, 예를 들어, 구성요소들이, 사용자에게 복잡한 공식 대신 시각적으로 제시됨에 따라, 네트워크 분석을 위해 어느 KPI가 선택되어야 하는지 용이하게 결정할 수 있다.
[0025] 도 3을 참조하면, KPI(112)는 "x"개의 집성 계층 레벨들을 가질 수 있으며, 레벨 "1"이 가장 높고, 레벨 "x"가 가장 낮다. 구체적으로, 레벨 1은 "국가(national)" 레벨일 수 있고, 레벨 2는 "지역(regional)" 레벨이고, 레벨 3은 "주(state)"레벨이고, 레벨 x는 "도시(city)"레벨이다. 레벨 1은 레벨 2, 레벨 3 및 레벨 "x"까지 모든 레벨들을 포함할 것이다. 유사하게, 계층의 레벨 2는 레벨 "3" 및 레벨 "x"까지의 모든 레벨들을 포함할 것이다. 레벨 3은 레벨 "x"까지의 모든 하위 레벨들을 포함할 것이며, 레벨 "x"에 도달될 때까지 같은 방식이다. 아래에 설명된 방법들 중, 프로세서는, 네트워크의 근본 원인을 결정하기 위해, 선택된 모듈들을 사용하여 각각의 계층 레벨에서 KPI들(112)(및 그들의 구성요소들)을 분석한다. 사용자/운영자는, 근본 원인 분석이 어느 계층 레벨에서 완료되어야 하는지를 정의할 수 있고, 그런 다음, 예를 들어, 그 계층 레벨에서 제공된 KPI들(112)을 탐색/분석할 수 있다.
[0026] 다시 도 1을 참조하면, 적어도 하나의 모듈(106)은 "분석기 툴 키트"의 일부일 수 있고, 여기서, 적어도 하나의 모듈은 탑 오펜더(top offender) 모듈(118) 및 커스텀 상관 모듈(120) 중 적어도 하나를 포함할 수 있다. 또한, 탑 오펜더 모듈(118)은, 예를 들어, 탑 오펜더 서브-키 성능 인디케이터 모듈(122), 탑 오펜더 컴포넌트 모듈(124), 및 탑 오펜더 레벨 모듈(126) 중 적어도 하나를 포함할 수 있다. 운영자/사용자 요구에 기초하여, 추가 모듈들이 또한 가능할 수 있다. 아래에서 추가로 상세히 설명되는 바와 같이, 탑 오펜더 모듈(118)은 탑 오펜더 서브-키 성능 인디케이터들, 컴포넌트들 및 레벨들을 식별하도록 구성된다. 커스텀 상관 모듈(120)은, 적어도 하나의 메트릭을 그래픽 사용자 인터페이스에 추가하기 위해 데이터베이스의 탐색을 가능하게 하도록 구성되고, 프로세서(110)가 탑 오펜더 모듈(118)을 분석한 후에 분석될 수 있다. 프로세서(110)는 네트워크에서의 근본 원인을 결정하기 위해 탑 오펜더 모듈(118) 및 커스텀 상관 모듈(120)을 분석하도록 구성되며, 이는 아래에서 추가로 상세히 설명될 것이다.
[0027] 이제 도 4 내지 도 6을 참조하면, 상기 식별된 모듈들이 추가로 상세히 설명될 것이다. 도 4는 예시적인 탑 오펜더 모듈(118)을 도시한다. 아래에서 추가로 상세히 설명되는 바와 같이, 프로세서(110)는, 최하위 계층 레벨, 예를 들어, 도 3과 관련하여 상술된 바와 같이 레벨 "x"에서 근본 원인 KPI 컴포넌트를 결정하기 위해 선택된 KPI들(112), 그들의 서브-KPI들(114) 및 그들의 컴포넌트들(116)을 분석함으로써 탑 오펜더 모듈(118)을 분석하도록 구성된다. 도 4에 도시된 바와 같이, 다양한 입력들이 탑 오펜더 모듈(118)에 입력되고 분석된다; 분석이 완료된 후, 탑 오펜더 모듈은, 예를 들어, 계층의 탑 오펜딩 서브-KPI 또는 컴포넌트, 및 각각의 탑 오펜더의 선택된 KPI(112)와의 상관 값을 출력한다. 탑 오펜더 모듈(118)은, KPI 구성요소들을 분석하고 그러한 구성요소들 중 어느 것이 네트워크에 가장 큰 영향을 미치게 하는지를 결정하도록 구성된다.
[0028] 도 5 및 도 6은 커스텀 상관 모듈(120) 및 모듈(120)을 생성하기 위한 방법을 도시한다. 커스텀 상관 모듈(120)은, 근본 원인 및/또는 가장 영향력 있는 KPI가 탑 오펜더 모듈(118)의 분석으로부터 결정된 후에 활용될 수 있다. 커스텀 상관 모듈(120)은, 사용자가, 탑 오펜더 모듈(118)을 분석한 후 프로세서에 의해 결정된 것과 동일한 근본 원인을 갖는 다른 KPI들(112)로부터 서브-KPI들(114) 및 컴포넌트들(116)을 연관시킬 수 있게 한다. 커스텀 상관 모듈(120)은, 사용자가 KPI들(112)을 사용하여 그래픽 사용자 인터페이스 상에 그들 자신의 프레임워크들/대시보드들을 구축할 수 있게 하는 커스터마이징가능한 모듈이다. 시스템(100)이 선택된 KPI(112) 및 그 구성요소들뿐만 아니라 이전에 선택된/분석된 KPI들(112) 및 이들의 구성요소들을 분석하고 있기 때문에, 동일한 근본 원인을 갖는 다양한 KPI(112)를 분석함으로써, 시스템(100)은 네트워크 문제들의 보다 정확한 근본 원인을 유도할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 사용자(또는 프로세서)는, 도 5에 도시된 바와 같이, GUI 상의 KPI 대시보드 상에 분석 트리 또는 계층 구조를 생성하기 위해서, (예를 들어, 직접 입력 또는 탐색 및 이후 선택에 기초하여) 추가적으로 선택된 KPI/서브-KPI/컴포넌트들과 함께, 탑 오펜더 모듈(118)로부터 출력된 KPI를 입력할 수 있다. 분석이 완료되는 경우, 네트워크의 근본 원인이 프로세서(110)에 의해 출력될 수 있다.
[0029] 보다 구체적으로, 커스텀 상관 모듈을 활용할 경우, 예를 들어, 단계(602)에서, 모듈이 KPI 대시보드/GUI 상으로 배치되고, 단계(604)에서, 팝-업 UI가 프롬프트되며, 이는, 단계(606)에서, 이용가능한 KPI/카운터들의 선택을 가능하게 한다. 단계(608)에서, 이러한 선택들이 제출되고, 단계(610)에서, 선택된 메트릭들이 커스텀 상관 모듈(120)의 GUI에 추가된다(모듈의 샘플 GUI에 대해서는 도 5를 참조한다). 커스텀 상관 모듈(120)로 인해, 시스템이, 근본 원인의 결정 시 이전에 분석된 KPI들을 포함하지 않는 이전 시스템들보다 더 정확한 근본 원인 분석을 제공할 수 있게 된다는 것이 예상된다. 커스텀 상관 모듈(120)이, 사용자들/운영자들이 개별 요구들에 기초하여 근본 원인 분석을 맞춰 조정할 수 있게 하고 사용 및 이해하기 단순한 GUI를 제공하기 때문에, 커스텀 상관 모듈(120)이 또한 유리하다.
[0030] 프로세서(110)는, 예를 들어, 프로세서(110) 내에 제공된 셀프-러닝 머신(128)(도 1 참조)을 사용하여 또는 프로세서와 통신하는 개별 컴포넌트로서, 선택된 KPI들(112) 및 모듈들(106)을 분석하도록 구성된다. 즉, 프로세서(110)는, 셀프-러닝 머신(128)을 통해, 비감독 러닝 접근법 또는 감독 러닝 접근법을 사용하여 KPI들(112) 및 모듈들(106)을 분석하도록 구성될 수 있다. 비감독 러닝 접근법에서, 머신(128)은 KPI들(112), 서브-KPI(114) 그리고 컴포넌트들(116) 간의 관계/연관들을 자율적으로 러닝하도록 (사용자/운영자에 의해 자동으로 또는 수동으로) 구성될 수 있다. 감독 러닝 접근법을 활용함으로써, 머신(128)은 커스텀 상관 모듈(120)의 분석을 출력 데이터로서 활용하도록 훈련될 수 있다. 여러 번의 훈련 반복들 이후, 프로세서(110)는, 머신(128)을 통해, 네트워크로부터 수집된 이전의 KPI 및 성능 데이터에 기초하여 근본 원인을 일반화할 수 있다.
[0031] 이제 도 7을 참조하면, 시스템(100)은 네트워크 성능을 분석하기 위한 방법(700)을 제공한다. 방법(700)은, 단계(702)에서, 데이터베이스에, 적어도 하나의 메트릭을 정의하는 것을 포함한다. 방법은, 단계(703)에서, 분석의 계층적 레벨(즉, 도 3과 관련하여 상술된 바와 같이, 레벨 1, 레벨 2, 레벨 3 등)을 정의하는 것을 포함한다. 단계(704)에서, 적어도 하나의 메트릭이, 예를 들어, 탐색의 결과로서 또는 사용자/운영자에 의한 직접 입력에 의해 데이터베이스로부터 선택된다. 단계(708)에서, 적어도 하나의 모듈이 선택된 메트릭에 적용된다. 단계(714)에서, 프로세서는 네트워크의 근본 원인을 생성한다. 적어도 하나의 모듈을 적용하기 전에, 방법(700)은, 단계(706)에서, 선택된 메트릭을 적어도 하나의 서브-메트릭 및 적어도 하나의 컴포넌트로 분해하는 단계를 포함할 수 있다. 상기 설명된 바와 같이, 메트릭/KPI(112)는, 그것이 GUI(108)로 드래그될 경우 시각적으로 분해됨으로써, 사용자/운영자로 하여금 그의 구성요소들을 용이하게 보고 원하는 메트릭/KPI가 선택되었는지를 확인할 수 있게 한다.
[0032] 도 1 내지 도 6과 관련하여 상술된 바와 같이, 적어도 하나의 모듈(106)은 적어도 하나의 탑 오펜더 모듈(118) 및 커스텀 상관 모듈(120)을 포함한다. 단계(708)에서, 적어도 하나의 모듈이 선택된 KPI/메트릭)에 적용된다. 구체적으로, KPI(112)가 서브-KPI(114)를 포함하면, 방법(700)은, 단계(708a)에서, 탑 오펜더 서브-KPI 모듈(122)을 적용할 것이다. KPI(112)가 어떠한 서브-KPI(114)도 포함하지 않는 경우, 선택된 KPI(112)가 컴포넌트들(116)을 포함하는지가 결정된다. 포함한다면, 방법(700)은, 탑 오펜더 컴포넌트 모듈(124)이 선택된 KPI(112)의 컴포넌트들(116)을 분석하는 단계(708b)로 이동한다. 선택된 KPI(112)의 각각의 서브-KPI(114) 및/또는 컴포넌트(116)가 프로세서(110)에 의해 분석될 때까지 단계들(708, 708a, 708b)의 이 동일한 프로세스가 계속된다. 단계(708c)에서, 탑 오펜더 레벨 모듈(126)은 선택된 KPI(112)의 계층 레벨을 분석한다.
[0033] 프로세서(110)가, 단계들(708a-708c)에서, 다양한 탑 오펜더 모듈들을 분석한 경우, 프로세서는, 단계(710)에서, 네트워크의 근본 원인을 추가로 결정하기 위해서 커스텀 상관 모듈(120)을 활용한다. 상술된 바와 같이, 커스컴 상관 모듈(120)을 이용하여, 사용자/운영자는 분석을 위해 추가 메트릭들/KPI를 GUI/대시 보드에 추가할 수 있을 뿐만 아니라, 예를 들어, RCA를 더욱 향상시키기 위해, 이전에 수집된 KPI 데이터를 GUI에 추가할 수 있다. 단계(714)에서, 탑 오펜더 모듈들(118) 및 커스텀 상관 모듈(120)의 분석에 기초하여, 프로세서(110)는 네트워크의 근본 원인을 생성한다. 방법(700)은 선택적으로, 단계(712)에서, 탑 오펜더 모듈들(118) 및 커스텀 상관 모듈(120)에 의해 결정된 근본 원인을 셀프-러닝 머신(128)에 전송하는 것을 포함할 수 있다. 상술한 바와 같이, 머신(128)은, 네트워크의 근본 원인을 결정하기 위해 비감독 러닝 접근법 또는 감독 러닝 접근법을 활용하고, 근원 원인을 프로세서에 제공할 수 있으며, 프로세서는, 단계(714)에서, 예를 들어, GUI 상에서 사용자/운영자에 대한 근본 원인을 생성할 것이다. 상기 언급된 바와 같이, 셀프-러닝 머신(128)은 프로세서(110)의 선택적 부분일 수 있고, 각각의 근본 원인 분석으로부터 러닝하고 추후의 근본 원인 분석들을 돕도록 구성된다. 셀프 러닝 머신(128)은 동일한 KPI/계층 레벨/모듈들의 반복적 분석들을 감소시키도록 구성됨으로써, RCA의 효율을 증가시킨다.
[0034] 도 8 내지 도 12는 본 시스템(100)을 활용하는 보다 특정한 사용-케이스 방법(800)을 제공한다. 방법(800)은, 단계(802)에서, 방법에 대한 계층 레벨을 정의하는 것을 포함한다. 구체적으로, 단계(802)에서, 사용자/운영자는 방법/분석을 진행할 계층 레벨(즉, 국가, 지역, 시장)을 결정한다. 단계(804)에서, 방법은 메트릭 리파지토리로부터 메트릭을 선택하는 것을 포함한다. 단계(806)에서, 선택된 메트릭의 컴포넌트들이 식별된다(도 9 참조). 단계(808)에서, 적어도 하나의 모듈이 선택된 메트릭의 컴포넌트들에 적용된다. 단계(812)에서, 적어도 하나의 모듈로부터의 데이터가 프로세서의 메모리에 저장된다. 단계(814)에서, 프로세서는, 저장된 데이터에 기초하여 네트워크의 근본 원인을 생성한다.
[0035] 구체적으로, 그리고 방법(700)과 유사하게, KPI(112)가 서브-KPI(114)를 포함하는 경우, 방법(800)은, 단계(808a)에서, 탑 오펜더 서브-KPI 모듈(122)을 적용할 것이다. KPI(112)가 어떠한 서브-KPI(114)도 포함하지 않는 경우, 선택된 KPI(112)가 컴포넌트들(116)을 포함하는지가 결정된다. 포함한다면, 방법(800)은, 탑 오펜더 컴포넌트 모듈(124)이, 선택된 KPI(112)의 컴포넌트들(116)을 분석하는 단계(808b)로 이동한다. 선택된 KPI(112)의 각각의 서브-KPI(114) 및/또는 컴포넌트(116)가 프로세서(110)에 의해 분석될 때까지 단계들(808, 808a, 808b)의 이 동일한 프로세스가 계속된다. 단계(808c)에서, 탑 오펜더 레벨 모듈(126)(분석의 계층적 레벨에 따라, 탑 오펜더 사이트 모듈 또는 탑 오펜더 마켓 모듈로도 알려짐)이 선택된 KPI(112)의 계층 레벨을 분석한다.
[0036] 프로세서(110)가, 단계들(808a-808c)에서, 다양한 탑 오펜더 모듈들을 분석한 경우, 프로세서는, 단계(810)에서, 네트워크의 근본 원인을 추가로 결정하기 위해서 커스텀 상관 모듈(120)을 활용한다. 커스텀 상관 모듈(120)은 메트릭 리파지토리로부터의 추가 메트릭들을 정의하고 (도 9에 도시된 바와 같이) KPI(112)의 임의의 서브-KPI(114) 및 컴포넌트들(116)을 포함하는 계층 트리 구조에 추가 메트릭들을 배열하도록 구성된다. 예를 들어, 도 10에 도시된 같이, 사용자 선호(도 10의 "선택된 메트릭들" 테이블 참조)에 기초하여, 근본 원인 분석을 더욱 리파인하기 위해 추가 KPI들(112)을 KPI 트리에 추가하는데 커스텀 상관 모듈이 사용될 수 있다. 이러한 KPI들(112)을 대시보드/GUI(108)에 추가하기 위해, 사용자는 원하는 KPI를 탐색하고 선택할 수 있다. 도 11은, 이러한 선택된 KPI들이 트리 구조에 추가된 후에 디스플레이되는 그래픽 사용자 인터페이스(108)를 도시한다. 이후, 방법(800)은, 도 12에 도시되는 바와 같이, 네트워크의 근본 원인을 결정하기 위해, 트리 구조에 추가되었던 컴포넌트들(116)을 분석하기 위해 탑 오펜더 카운터 모듈을 적용할 수 있고, 이 예에서, 근본 원인이 패킷 세션 AFR KPI에서 발견될 수 있다는 것이, 보다 구체적으로는, 이러한 고장들이 AC(admission control) 이유들에 의해 발생되었다는 것이 나타나며, 큐 풀/프로즌 BTS(Queue Full/Frozen Base Transceiver Station)가 AC 문제들의 주요 원인이다.
[0037] 방법(800)은, 프로세서가 이 방법을 활용하는 이전에 완료된 네트워크 분석들로부터 선택된 메트릭, 적어도 하나의 모듈, 및 사전 선택된 메트릭들 및 모듈들을 분석하는 것을 선택적으로 포함할 수 있다. 예를 들어, 상술된 셀프-러닝 머신(128)을 통해, 프로세서(110)는, 이전 분석들로부터 KPI들(112), 서브-KPI(114) 그리고 컴포넌트들(116) 간의 관계들/연관들을 예시하는 고유 모델들을 구축하고, 현재 선택된 KPI의 정보에 대하여 네트워크의 근본 원인을 결정하기 위해 그 정보를 사용하도록 구성될 수 있다. 근본 원인이 식별되면, 본 시스템(100) 및 방법들(700, 800)은, 프로세서(110)에 의해 생성된 근본 원인에 기초하여 원격통신 네트워크에 대한 최적화를 유도하도록 구성된다.
[0038] 방법은, 본 개시내용의 도 2 및 도 10 내지 도 12에 도시된 바와 같이, 프로세서의 그래픽 사용자 인터페이스 상에, 선택된 메트릭의 컴포넌트들을 디스플레이하는 단계를 더 포함할 수 있다. 방법(800)은, 프로세서의 그래픽 사용자 인터페이스 상에, 프로세서에 의해 생성된 근본 원인을 디스플레이하는 단계를 포함할 수 있다는 것을 추가로 고려한다(도 12).
[0039] 본 개시내용은 네트워크의 근본 원인 문제를 결정하기 위한 자동화된 머신-러닝 접근법을 제공한다. 본 방법은, 예를 들어, 네트워크 성능 트랜드 분석, 네트워크 성능 이득 정량화, 성능 문제 해결, 네트워크 용량 분석, 및 네트워크 벤치마킹에 활용될 수 있지만, 이 리스트는 총망라하는 것이 아니며 본 방법 및 시스템은 원격통신 네트워크들의 다양한 다른 영역들뿐만 아니라 네트워크/성능 품질에 의존하는 다른 분야들에서도 활용될 수 있다는 것을 이해한다. 현재 설명된 방법들은 KPI들을 그들의 서브-KPI들 및 컴포넌트들로 분해하고, 이러한 KPI들을, 탐색가능하고 그래픽 사용자 인터페이스 상에서 용이하게 조작될 수 있는 트리 구조들로 배열하기 위한 효율적이고 사용자-친화적인 방식을 제공한다. 본 개시내용은 또한 계층 레벨 상에서 서브-KPI들 및 컴포넌트들을 분석하기 위한 탑 오펜더 모듈을 제공하여, 네트워크의 근본 원인을 결정하기 위해 보다 심층적이고 보다 구체적인 프레임워크를 가능하게 한다. 본 개시내용은 네트워크의 근본 원인을 결정하기 위해 추가 서브-KPI들 및 컴포넌트들을 분석하는 커스텀 상관 모듈들을 추가로 제공한다. 셀프-러닝 기능들이 있는 프로세서가 본 개시내용에도 제공되므로, 프로세서는, 현재 및 과거 KPI 분석들을 기반으로 네트워크의 근본 원인들을 다양한 반복들을 통해 러닝할 수 있게 한다. 본 시스템 및 방법은 기존 네트워크 컴포넌트들 또는 인프라스트럭처에 대한 실질적인 변경없이 원격통신 네트워크로 통합될 수 있다는 것이 추가로 고려된다.
[0040] 본 개시내용의 실시예들은 소프트웨어(하나 또는 그 초과의 프로세서들에 의해 실행됨), 하드웨어(예를 들어, 주문형 집적 회로), 또는 소프트웨어 및 하드웨어의 조합으로 구현될 수 있다. 일 예시적인 실시예에서, 소프트웨어(예를 들어, 애플리케이션 로직, 명령 세트)는 다양한 종래의 비일시적인 컴퓨터-판독가능 매체 중 임의의 하나 상에서 유지된다. 이 문서의 맥락에서, "비일시적 컴퓨터-판독가능 매체"는, 명령 실행 시스템, 장치 또는 디바이스, 이를 테면, 컴퓨터에 의해 또는 이와 연결하여 사용하기 위해 명령들을 포함, 저장, 통신, 전파 또는 전송할 수 있는 임의의 매체 또는 수단일 수 있다. "비일시적 컴퓨터-판독가능 매체"는, 명령 실행 시스템, 장치 또는 디바이스, 이를 테면, 컴퓨터에 의해 또는 이와 연결하여 사용하기 위해 명령들을 포함하거나 저장할 수 있는 임의의 매체 또는 수단일 수 있는 컴퓨터-판독가능 저장 매체(예를 들어, 메모리 또는 다른 디바이스)를 포함할 수 있다. 이와 같이, 본 개시내용은 컴퓨터와 함께 사용하기 위해 컴퓨터 프로그램 코드가 내부에 수록된 컴퓨터-판독가능 저장 매체를 포함하는 컴퓨터 프로그램 제품을 포함하며, 컴퓨터 프로그램 코드는 전술된 바와 같은 방법들 및 그의 변형들 중 임의의 것을 수행하기 위한 코드를 포함한다. 더욱이, 본 개시내용은 또한 하나 또는 그 초과의 프로세서들, 및 컴퓨터 프로그램 코드를 포함하는 하나 또는 그 초과의 메모리들을 포함하는 장치를 포함하며, 하나 또는 그 초과의 메모리들 및 컴퓨터 프로그램 코드는, 하나 또는 그 초과의 프로세서들을 이용하여, 장치로 하여금, 전술된 바와 같은 방법들 및 이들의 변형들 중 임의의 것을 수행하게 하도록 구성된다.
[0041] 원하는 경우, 본원에 논의된 상이한 기능들은 서로 상이한 순서로 그리고/또는 동시에 수행될 수 있다. 더욱이, 원하는 경우, 상술된 기능들 중 하나 또는 그 초과의 것은 선택적일 수 있거나 또는 결합될 수 있다.
[0042] 본 개시내용의 다양한 양상들이 독립항들에 기재되어 있지만, 개시내용의 다른 양상들은, 청구항들에 명시적으로 기재된 조합들뿐만 아니라, 설명된 실시예들 및/또는 종속 청구항들로부터의 특징들과 독립 청구항들의 특징들의 다른 조합들을 포함한다.
[0043] 또한 본원에서, 개시내용의 예시적인 실시예들이 상기에 설명되었지만, 이들 설명들은 제한적인 의미로 보여져서는 안된다는 것을 주목한다. 오히려, 첨부된 청구항들에 정의된 바와 같은 본 발명의 범위를 벗어나지 않고 행해질 수 있는 몇 가지 변형들 및 수정들이 있다.
[0044] 당업자는, 상기 논의된 바와 같은 본 발명이 다른 순서의 단계들로, 그리고/또는 개시되는 것들과 상이한 구성들로 하드웨어 엘리먼트들과 함께 실시될 수 있음을 쉽게 이해할 것이다. 따라서, 본 개시내용이 이러한 바람직한 실시예들에 기초하여 설명되었지만, 본 발명의 사상 및 범위 내에 있으면서, 특정 변경들, 변형들, 및 대안적인 구성들이 명백할 것이라는 것이 당업자에게 명백할 것이다. 따라서, 본 개시내용의 범위 및 경계를 결정하기 위해서, 첨부된 청구항들을 참조해야 한다.
[0045] 명세서 및/또는 도면들에서 발견될 수 있는 다음의 약어들이 다음과 같이 정의된다:
AC Admission Control(수락 제어)
AFR Access Failure Metric(액세스 고장 메트릭)
GUI Graphical User Interface(그래픽 사용자 인터페이스)
KPI Key Performance Indicator(키 성능 인디케이터)
RCA Root Cause Analysis(근본 원인 분석)

Claims (28)

  1. 전기통신 네트워크의 시스템으로서,
    적어도 하나의 메트릭을 포함하는 데이터베이스 ― 상기 적어도 하나의 메트릭은 적어도 하나의 키 성능 인디케이터(KPI; key performance indicator)를 포함하고, 상기 적어도 하나의 KPI는 적어도 하나의 집성 계층 레벨(hierarchical level of aggregation)을 갖고 계층 순서로 배열됨 ―;
    상기 적어도 하나의 메트릭을 식별하도록 구성된 적어도 하나의 모듈;
    상기 적어도 하나의 모듈을 디스플레이하도록 구성된 그래픽 사용자 인터페이스; 및
    각각의 계층 레벨에서 상기 적어도 하나의 메트릭을 분석하고 그리고 상기 네트워크의 가장 낮은 계층 레벨에서의 근본 원인(root cause) 메트릭을 결정하도록 구성된 프로세서를 포함하는, 전기통신 네트워크의 시스템.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 키 성능 인디케이터는 상기 적어도 하나의 KPI 하위의 계층 레벨에서의 적어도 하나의 서브-키(sub-key) 성능 인디케이터, 및 상기 적어도 하나의 서브-키 성능 인디케이터 하위의 계층 레벨에서의 적어도 하나의 컴포넌트를 포함하는, 전기통신 네트워크의 시스템.
  3. 제 1 항에 있어서,
    상기 프로세서는 상기 적어도 하나의 KPI를 분석하고 그리고 상기 적어도 하나의 KPI 간의 관계들을 러닝하도록 구성된 셀프-러닝 머신(self-learning machine)을 포함하는, 전기통신 네트워크의 시스템.
  4. 제 1 항에 있어서,
    상기 적어도 하나의 모듈은 탑 오펜더(top offender) 서브-키 성능 인디케이터 모듈, 탑 오펜더 모듈 및 커스텀(custom) 상관 모듈 중 적어도 하나를 포함하는, 전기통신 네트워크의 시스템.
  5. 제 4 항에 있어서,
    상기 탑 오펜더 모듈은 탑 오펜더 서브-키 성능 인디케이터들, 컴포넌트들 및 레벨들을 식별하도록 구성되는, 전기통신 네트워크의 시스템.
  6. 제 5 항에 있어서,
    상기 탑 오펜더 모듈은 상기 적어도 하나의 메트릭을 분석하고 그리고 상기 적어도 하나의 메트릭 중 어느 것이 상기 네트워크에 가장 큰 영향을 야기하고 있는지를 결정하도록 구성되는, 전기통신 네트워크의 시스템.
  7. 제 6 항에 있어서,
    상기 프로세서는 추가로, 상기 근본 원인을 결정하기 위해 상기 커스텀 상관 모듈을 분석하도록 구성되고, 상기 분석은 상기 탑 오펜더 모듈에 의해 식별되는 상기 적어도 하나의 메트릭의 결정에 기초하는, 전기통신 네트워크의 시스템.
  8. 전기통신 네트워크의 방법으로서,
    데이터베이스에서, 적어도 하나의 메트릭을 정의하는 단계 ― 상기 적어도 하나의 메트릭은 적어도 하나의 키 성능 인디케이터(KPI)를 포함하고, 상기 적어도 하나의 KPI는 적어도 하나의 집성 계층 레벨을 갖고 계층 순서로 배열됨 ―;
    상기 데이터베이스로부터 적어도 하나의 메트릭을 선택하는 단계;
    적어도 하나의 모듈을 상기 선택된 메트릭에 적용하는 단계;
    프로세서로부터, 각각의 계층 레벨에서 상기 적어도 하나의 메트릭을 분석하는 단계; 및
    프로세서로부터, 각각의 계층 레벨에서의 상기 적어도 하나의 메트릭의 분석에 기초하여, 상기 네트워크의 가장 낮은 계층 레벨에서의 근본 원인 메트릭을 생성하는 단계를 포함하는, 전기통신 네트워크의 방법.
  9. 제 8 항에 있어서,
    상기 적어도 하나의 키 성능 인디케이터의 계층은 상기 적어도 하나의 키 성능 인디케이터 하위의 계층 레벨에서의 적어도 하나의 서브-키 성능 인디케이터, 및 상기 적어도 하나의 서브-키 성능 인디케이터 하위의 계층 레벨에서의 적어도 하나의 컴포넌트를 포함하는, 전기통신 네트워크의 방법.
  10. 제 8 항에 있어서,
    상기 적어도 하나의 모듈은 탑 오펜더 서브-키 성능 모듈, 탑 오펜더 모듈 및 커스텀 상관 모듈 중 적어도 하나를 포함하고, 상기 탑 오펜더 모듈은 상기 적어도 하나의 메트릭을 분석하고 그리고 상기 적어도 하나의 메트릭 중 어느 것이 상기 네트워크에 가장 큰 영향을 야기하고 있는지를 결정하도록 구성되는,
    전기통신 네트워크의 방법.
  11. 제 10 항에 있어서,
    상기 프로세서에서, 상기 커스텀 상관 모듈을 분석하는 단계를 더 포함하고,
    상기 분석은 상기 탑 오펜더 모듈에 의해 식별되는 상기 적어도 하나의 메트릭의 결정에 기초하는, 전기통신 네트워크의 방법.
  12. 제 8 항에 있어서,
    프로세서로부터, 상기 네트워크의 근본 원인 메트릭을 생성하는 것은, 상기 적어도 하나의 모듈의 이전 분석들에 기초하여 근본 원인을 생성하도록 구성된 셀프-러닝 머신을 활용하는 것을 포함하는, 전기통신 네트워크의 방법.
  13. 프로세서를 갖는 전기통신 네트워크의 방법으로서,
    적어도 하나의 메트릭의 계층 레벨을 정의하는 단계 ― 상기 적어도 하나의 메트릭은 적어도 하나의 키 성능 인디케이터를 포함하고, 상기 적어도 하나의 키 성능 인디케이터는 적어도 하나의 집성 계층 레벨을 갖고 상기 적어도 하나의 메트릭의 계층 레벨로 배열됨 ―;
    선택된 계층 레벨에서 상기 적어도 하나의 메트릭의 메트릭 리파지토리(repository)로부터 메트릭을 선택하는 단계;
    상기 선택된 메트릭의 컴포넌트들을 식별하는 단계;
    적어도 하나의 모듈을 상기 선택된 메트릭의 상기 컴포넌트들에 적용하는 단계;
    상기 적어도 하나의 모듈로부터의 데이터를 상기 프로세서의 메모리에 저장하는 단계;
    상기 프로세서로부터, 상기 선택된 메트릭을 분석하는 단계; 및
    상기 프로세서에서, 상기 선택된 메트릭의 분석에 기초하여 근본 원인 메트릭을 생성하는 단계를 포함하는, 프로세서를 갖는 전기통신 네트워크의 방법.
  14. 제 13 항에 있어서,
    상기 적어도 하나의 모듈에서, 상기 메트릭 리파지토리로부터의 추가 메트릭들을 정의하는 단계; 및 상기 추가 메트릭들을 계층 구조에 배열하는 단계를 포함하고,
    상기 추가 메트릭들은 상기 적어도 하나의 키 성능 인디케이터 하위의 계층 레벨에서의 적어도 하나의 서브-키 성능 인디케이터, 및 상기 적어도 하나의 서브-키 성능 인디케이터 하위의 계층 레벨에서의 적어도 하나의 컴포넌트를 포함하는, 프로세서를 갖는 전기통신 네트워크의 방법.
  15. 제 14 항에 있어서,
    상기 적어도 하나의 모듈은 커스텀 상관 모듈을 포함하고, 상기 커스텀 상관 모듈은 상기 메트릭 리파지토리로부터의 상기 추가 메트릭들을 정의하고 상기 추가 메트릭들을 상기 계층 구조에 배열하는, 프로세서를 갖는 전기통신 네트워크의 방법.
  16. 제 13 항에 있어서,
    상기 프로세서에서, 상기 선택된 메트릭, 상기 선택된 메트릭의 적어도 하나의 서브-메트릭, 및 상기 선택된 메트릭의 적어도 하나의 컴포넌트를 포함하는 계층 구조를 생성하는 단계를 더 포함하는, 프로세서를 갖는 전기통신 네트워크의 방법.
  17. 제 13 항에 있어서,
    상기 프로세서에서, 상기 선택된 메트릭을 적어도 하나의 추가 메트릭과 연결하기 위해 커스텀 상관 모듈을 활용함으로써 적어도 하나의 계층 구조를 생성하는 단계를 더 포함하는, 프로세서를 갖는 전기통신 네트워크의 방법.
  18. 제 13 항에 있어서,
    상기 프로세서의 셀프-러닝 머신에서, 추후 근본 원인 분석을 보조하기 위해, 이전에 선택된 메트릭들의 근본 원인 분석들을 저장하는 단계를 더 포함하는, 프로세서를 갖는 전기통신 네트워크의 방법.
  19. 제 13 항에 있어서,
    상기 저장된 데이터에 기초하여 근본 원인을 생성하는 단계는, 상기 프로세서가, 상기 방법을 활용하는 이전에 완료된 네트워크 분석들로부터, 상기 선택된 메트릭, 상기 적어도 하나의 모듈, 및 사전 선택된 메트릭들 및 모듈들을 분석하는 단계를 포함하는, 프로세서를 갖는 전기통신 네트워크의 방법.
  20. 제 13 항에 있어서,
    상기 프로세서에 의해 생성된 상기 근본 원인에 기초하여 상기 전기통신 네트워크에 대한 최적화를 구동하는 단계를 포함하는, 프로세서를 갖는 전기통신 네트워크의 방법.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
KR1020177014476A 2014-10-30 2014-10-30 네트워크 성능 근본 원인 분석을 위한 방법 및 시스템 KR101994940B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/063083 WO2016068926A1 (en) 2014-10-30 2014-10-30 Method and system for network performance root cause analysis

Publications (2)

Publication Number Publication Date
KR20170077204A KR20170077204A (ko) 2017-07-05
KR101994940B1 true KR101994940B1 (ko) 2019-07-01

Family

ID=51946018

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177014476A KR101994940B1 (ko) 2014-10-30 2014-10-30 네트워크 성능 근본 원인 분석을 위한 방법 및 시스템

Country Status (5)

Country Link
US (1) US10382253B2 (ko)
EP (1) EP3213460A1 (ko)
KR (1) KR101994940B1 (ko)
CN (1) CN107113187B (ko)
WO (1) WO2016068926A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10462688B2 (en) * 2015-06-29 2019-10-29 Cisco Technology, Inc. Association rule analysis and data visualization for mobile networks
US10397043B2 (en) * 2015-07-15 2019-08-27 TUPL, Inc. Wireless carrier network performance analysis and troubleshooting
US10708795B2 (en) * 2016-06-07 2020-07-07 TUPL, Inc. Artificial intelligence-based network advisor
WO2018011742A1 (en) * 2016-07-13 2018-01-18 Incelligent P.C. Early warning and recommendation system for the proactive management of wireless broadband networks
US10637745B2 (en) * 2016-07-29 2020-04-28 Cisco Technology, Inc. Algorithms for root cause analysis
US11018958B2 (en) * 2017-03-14 2021-05-25 Tupl Inc Communication network quality of experience extrapolation and diagnosis
WO2018170028A1 (en) * 2017-03-14 2018-09-20 Tupl, Inc Automated decision making using staged machine learning
US11132620B2 (en) 2017-04-20 2021-09-28 Cisco Technology, Inc. Root cause discovery engine
US11176464B1 (en) * 2017-04-25 2021-11-16 EMC IP Holding Company LLC Machine learning-based recommendation system for root cause analysis of service issues
US10797963B2 (en) * 2018-09-07 2020-10-06 Vmware, Inc. Composition of custom key performance indicators for real-time analysis of network telemetry events
US11388040B2 (en) 2018-10-31 2022-07-12 EXFO Solutions SAS Automatic root cause diagnosis in networks
US11645293B2 (en) 2018-12-11 2023-05-09 EXFO Solutions SAS Anomaly detection in big data time series analysis
KR102634000B1 (ko) * 2019-01-15 2024-02-06 삼성전자 주식회사 무선 통신 시스템에서 셀의 성능 저하를 분석하는 방법 및 장치
US11138163B2 (en) 2019-07-11 2021-10-05 EXFO Solutions SAS Automatic root cause diagnosis in networks based on hypothesis testing
US11447164B2 (en) 2019-10-11 2022-09-20 Progress Rail Services Corporation Artificial intelligence watchdog for distributed system synchronization
US20210174246A1 (en) * 2019-12-09 2021-06-10 Ciena Corporation Adaptive learning system utilizing reinforcement learning to tune hyperparameters in machine learning techniques
EP3866395B1 (en) 2020-02-12 2024-05-22 EXFO Solutions SAS Method and system for determining root-cause diagnosis of events occurring during the operation of a communication network
JP7279119B2 (ja) * 2020-07-30 2023-05-22 ジオ プラットフォームズ リミティド 重要業績評価指標の階層的計算のためのシステム及び方法
WO2022087032A1 (en) * 2020-10-19 2022-04-28 Woundmatrix, Inc. Wound measurement
US12052134B2 (en) 2021-02-02 2024-07-30 Exfo Inc. Identification of clusters of elements causing network performance degradation or outage

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120054554A1 (en) * 2010-08-27 2012-03-01 Assaf Dagan Problem isolation in a virtual environment
US20130346161A1 (en) * 2012-06-25 2013-12-26 Sap Ag Benchmarking with peer groups in a cloud environment

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701459B2 (en) * 2000-12-27 2004-03-02 Egurkha Pte Ltd Root-cause approach to problem diagnosis in data networks
US7269824B2 (en) * 2003-02-13 2007-09-11 Path Reliability, Inc. Software behavior pattern recognition and analysis
US20090175324A1 (en) * 2008-01-04 2009-07-09 Qualcomm Incorporated Dynamic interference control in a wireless communication network
US8320233B2 (en) * 2009-06-12 2012-11-27 Maxim Integrated Products, Inc. Transmitter and method for applying multi-tone OFDM based communications within a lower frequency range
US9317269B2 (en) * 2012-09-28 2016-04-19 Wal-Mart Stores, Inc. Systems and methods for installing, managing, and provisioning applications
US9037896B2 (en) * 2012-11-05 2015-05-19 Cisco Technology, Inc. Root cause analysis in a sensor-actuator fabric of a connected environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120054554A1 (en) * 2010-08-27 2012-03-01 Assaf Dagan Problem isolation in a virtual environment
US20130346161A1 (en) * 2012-06-25 2013-12-26 Sap Ag Benchmarking with peer groups in a cloud environment

Also Published As

Publication number Publication date
US20170331673A1 (en) 2017-11-16
WO2016068926A1 (en) 2016-05-06
KR20170077204A (ko) 2017-07-05
CN107113187A (zh) 2017-08-29
CN107113187B (zh) 2020-09-25
EP3213460A1 (en) 2017-09-06
US10382253B2 (en) 2019-08-13

Similar Documents

Publication Publication Date Title
KR101994940B1 (ko) 네트워크 성능 근본 원인 분석을 위한 방법 및 시스템
US9996592B2 (en) Query relationship management
US7730023B2 (en) Apparatus and method for strategy map validation and visualization
Şimşit et al. An outline of innovation management process: building a framework for managers to implement innovation
CA2845059C (en) Test script generation system
US20080243912A1 (en) Method of providing business intelligence
US20190265679A1 (en) Work Improvement Support Device and Work Improvement Support Method
US20180300333A1 (en) Feature subset selection and ranking
US20180268258A1 (en) Automated decision making using staged machine learning
US10489266B2 (en) Generating a visualization of a metric at one or multiple levels of execution of a database workload
Kibira et al. Integrating data analytics and simulation methods to support manufacturing decision making
CN104966136A (zh) 一种流程执行动态预测方法
US20070233532A1 (en) Business process analysis apparatus
JPWO2018079225A1 (ja) 自動予測システム、自動予測方法および自動予測プログラム
WO2022240638A1 (en) Automatic generative learned process coaching
CN115237086A (zh) 工业厂房中的决策支持
Nguyen et al. Holistic explainability requirements for end-to-end machine learning in IoT cloud systems
KR20130012845A (ko) 의사결정문제 해결 대응 시스템
Vukšić et al. Business process management systems selection guidelines: Theory and practice
KR101649913B1 (ko) 연구 개발 프로젝트 관리 장치 및 방법
KR101609292B1 (ko) 연구 개발 프로젝트 관리 장치 및 방법
US10452391B2 (en) Method and device for managing quality of a software application
US11941556B2 (en) Recommending investigation instructions for log based alerts in a computerized system
US20230040163A1 (en) Systems and methods for processing intelligence of users captured through quantitative data collection
CN109726818B (zh) 一种模型编辑方法、装置、设备和介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant