KR102325258B1 - 원격통신 네트워크의 네트워크 성능에 관한 자율적 또는 ai-보조적 유효성 검증 또는 결정 수행을 행하고 그리고/또는 원격통신 네트워크 내에서 자율적 또는 ai-보조적 장애해결 또는 성능 증진을 행하기 위한 방법, 원격통신 네트워크, 시스템, 머신 지능 엔티티, 시각화 인터페이스, 컴퓨터 프로그램 그리고 컴퓨터-판독가능 매체 - Google Patents

원격통신 네트워크의 네트워크 성능에 관한 자율적 또는 ai-보조적 유효성 검증 또는 결정 수행을 행하고 그리고/또는 원격통신 네트워크 내에서 자율적 또는 ai-보조적 장애해결 또는 성능 증진을 행하기 위한 방법, 원격통신 네트워크, 시스템, 머신 지능 엔티티, 시각화 인터페이스, 컴퓨터 프로그램 그리고 컴퓨터-판독가능 매체 Download PDF

Info

Publication number
KR102325258B1
KR102325258B1 KR1020190108676A KR20190108676A KR102325258B1 KR 102325258 B1 KR102325258 B1 KR 102325258B1 KR 1020190108676 A KR1020190108676 A KR 1020190108676A KR 20190108676 A KR20190108676 A KR 20190108676A KR 102325258 B1 KR102325258 B1 KR 102325258B1
Authority
KR
South Korea
Prior art keywords
network
data
telecommunications network
machine
telecommunications
Prior art date
Application number
KR1020190108676A
Other languages
English (en)
Other versions
KR20200028305A (ko
Inventor
즈라트코 두키크
둔야 부레크
Original Assignee
도이체 텔레콤 악티엔 게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도이체 텔레콤 악티엔 게젤샤프트 filed Critical 도이체 텔레콤 악티엔 게젤샤프트
Publication of KR20200028305A publication Critical patent/KR20200028305A/ko
Application granted granted Critical
Publication of KR102325258B1 publication Critical patent/KR102325258B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/323—Visualisation of programs or trace data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/046—Network management architectures or arrangements comprising network management agents or mobile agents therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0866—Checking the configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 방법에 관한 것이고,
이러한 방법은 원격통신 네트워크의 네트워크 성능에 관한 자율적 또는 AI-보조적 유효성 검증 또는 결정 수행을 행하고 그리고/또는 원격통신 네트워크 내에서 자율적 또는 AI-보조적 장애해결 또는 성능 증진을 행하기 위한 방법이며,
여기서 원격통신 네트워크는 적어도 부분적으로 서로 상호작용하는 복수의 네트워크 노드들을 포함하고,
원격통신 네트워크에 관한 네트워크 데이터 및/또는 이것의 도출된 데이터가 데이터 저장 보관소 내에 수집 및 저장되고, 그리고 네트워크 데이터 및/또는 이것의 도출된 데이터는 분석될 수 있으며,
네트워크 데이터 및/또는 이것의 도출된 데이터는 시각화 인터페이스를 사용하여 시각화될 수 있고,
자율적 또는 AI-보조적 유효성 검증 또는 결정 수행 그리고/또는 자율적 또는 AI-보조적 장애해결 또는 성능 증진은 머신 지능 엔티티를 사용하여 적용되고,
머신 지능 엔티티는 AI-보조적 출력을 제공하기 위해 머신 러닝 모델들뿐만 아니라 네트워크 데이터 및/또는 이것의 도출된 데이터 중 적어도 일부를 사용하고,
방법은 다음의 단계들을 포함하고,
-- 제 1 단계에서, 네트워크 데이터 및/또는 이것의 도출된 데이터는 데이터 저장 보관소 내에 수집 및 저장되고, 여기서 네트워크 데이터 및/또는 이것의 도출된 데이터는 실-시간 스트림 프로세싱 및/또는 이력적 재생이 가능하도록 편성되며,
-- 제 2 단계에서, 머신 지능 엔티티는 네트워크 데이터 및/또는 이것의 도출된 데이터 중 적어도 일부를 제공받고, 여기서 적어도
-- 머신 러닝 접근법과, 그리고
-- 상태 머신-기반 접근법이,
원격통신 네트워크 내에서 문제점들이 검출되는 경우, 비정상 인식 및/또는 호출 흐름 평가 및/또는 근본 원인 분석을 실현하는데 사용되며,
제 1 단계와 제 2 단계를 연속적으로 혹은 반복적으로 수행함으로써, AI-보조적 출력이 머신 지능 엔티티에 의해 발생되고,
머신 지능 엔티티의 AI-보조적 출력은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 원격통신 네트워크의 장애해결 또는 성능 증진을 행하는데 사용될 수 있는 정보 요소들을 포함하거나, 또는
머신 지능 엔티티의 AI-보조적 출력은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 원격통신 네트워크 내에서 장애해결 또는 성능 증진을 행할 수 있게 한다.

Description

원격통신 네트워크의 네트워크 성능에 관한 자율적 또는 AI-보조적 유효성 검증 또는 결정 수행을 행하고 그리고/또는 원격통신 네트워크 내에서 자율적 또는 AI-보조적 장애해결 또는 성능 증진을 행하기 위한 방법, 원격통신 네트워크, 시스템, 머신 지능 엔티티, 시각화 인터페이스, 컴퓨터 프로그램 그리고 컴퓨터-판독가능 매체{METHOD FOR AN AUTONOMIC OR AI-ASSISTED VALIDATION OR DECISION MAKING REGARDING NETWORK PERFORMANCE OF A TELECOMMUNICATIONS NETWORK AND/OR FOR AN AUTONOMIC OR AI-ASSISTED TROUBLESHOOTING OR PERFORMANCE ENHANCEMENT WITHIN A TELECOMMUNICATIONS NETWORK, TELECOMMUNICATIONS NETWORK, SYSTEM, MACHINE INTELLIGENCE ENTITY, VISUALIZATION INTERFACE, COMPUTER PROGRAM AND COMPUTER-READABLE MEDIUM}
본 발명은 원격통신 네트워크(telecommunications network)의 네트워크 성능에 관한 자율적(autonomic) 또는 AI-보조(AI-assisted) 유효성 검증 또는 결정 수행을 행하고 그리고/또는 원격통신 네트워크 내에서 자율적 또는 AI-보조적 장애해결 또는 성능 증진을 행하기 위한 방법에 관한 것이고, 여기서 원격통신 네트워크는 적어도 부분적으로 서로 상호작용하는 복수의 네트워크 노드들(network nodes)을 포함하고; 원격통신 네트워크에 관한 네트워크 데이터 및/또는 이것의 도출된 데이터가 데이터 저장 보관소(data storage repository) 내에 수집 및 저장되고, 그리고 네트워크 데이터 및/또는 이것의 도출된 데이터는 분석될 수 있으며; 네트워크 데이터 및/또는 이것의 도출된 데이터는 시각화 인터페이스(visualization interface)를 사용하여 시각화될 수 있다.
더욱이, 본 발명은 원격통신 네트워크의 네트워크 성능에 관한 자율적 또는 AI-보조적 유효성 검증 또는 결정 수행을 행하고 그리고/또는 원격통신 네트워크 내에서 자율적 또는 AI-보조적 장애해결 또는 성능 증진을 행하기 위한 대응하는 원격통신 네트워크에 관한 것이고, 여기서 원격통신 네트워크는 적어도 부분적으로 서로 상호작용하는 복수의 네트워크 노드들을 포함하고; 원격통신 네트워크는 데이터 저장 보관소 및 머신 지능 엔티티를 포함하거나 데이터 저장 보관소 및 머신 지능 엔티티와 관련되고; 원격통신 네트워크에 관한 네트워크 데이터 및/또는 이것의 도출된 데이터가 데이터 저장 보관소 내에 수집 및 저장되고, 그리고 네트워크 데이터 및/또는 이것의 도출된 데이터는 분석될 수 있으며; 네트워크 데이터 및/또는 이것의 도출된 데이터는 시각화 인터페이스를 사용하여 시각화될 수 있다.
추가적으로, 본 발명은 원격통신 네트워크의 네트워크 성능에 관한 자율적 또는 AI-보조적 유효성 검증 또는 결정 수행을 행하고 그리고/또는 원격통신 네트워크 내에서 자율적 또는 AI-보조적 장애해결 또는 성능 증진을 행하기 위한 대응하는 시스템에 관한 것이고, 여기서 시스템은 원격통신 네트워크를 포함하고, 그리고 원격통신 네트워크는 적어도 부분적으로 서로 상호작용하는 복수의 네트워크 노드들을 포함하고; 시스템은 데이터 저장 보관소 및 머신 지능 엔티티를 포함하고; 원격통신 네트워크에 관한 네트워크 데이터 및/또는 이것의 도출된 데이터가 데이터 저장 보관소 내에 수집 및 저장되고, 그리고 네트워크 데이터 및/또는 이것의 도출된 데이터는 분석될 수 있으며; 네트워크 데이터 및/또는 이것의 도출된 데이터는 시각화 인터페이스를 사용하여 시각화될 수 있다.
더욱이, 본 발명은 대응하는 원격통신 네트워크 또는 대응하는 시스템에서의 머신 지능 엔티티 및/또는 시각화 인터페이스에 관한 것이고, 그리고 본 발명의 방법을 수행하기 위한 대응하는 컴퓨터 프로그램 및 컴퓨터-판독가능 매체에 관한 것이다.
종래의 알려진 원격통신 네트워크들(이것은 모바일 통신 네트워크들 또는 고정 회선 원격통신 네트워크들일 수 있거나 또는 모바일 통신 네트워크들 및 고정 회선 원격통신 네트워크들의 부분들 혹은 컴포넌트들을 포함하는 혼합형 네트워크들일 수 있음)은 전형적으로 다수의 네트워크 노드들로 이루어져 있고, 네트워크 노드들 각각은 전형적으로 원격통신 네트워크의 사용자들에게 또는 이것의 노드들, 컴포넌트들, 혹은 부분들에게 통신 서비스들을 제공하기 위해 하나 이상의 기능들 혹은 기능적 동작들을 실행한다. 이러한 통신 서비스들은 전형적으로 전화(telephone) 기능들 혹은 기능적 동작들, 비디오 호출(video call) 기능들 혹은 기능적 동작들, 또는 메시징(messaging) 기능 혹은 기능적 동작들을 포함하고, 그리고 특히 IP 멀티미디어 서브시스템(IP multimedia subsystem, IMS) 네트워크 내에서 이러한 원격통신 네트워크들의 관련된 네트워크 노드들은 전형적으로 S-CSCF(Serving Call State Control Function; 서빙 콜 상태 제어 기능), iBCF(interconnection Border Control Function; 상호연결 경계 제어 기능), 등과 같은 네트워크 노드들을 포함한다.
이러한 원격통신 네트워크 내의 소프트웨어 및 하드웨어에서의 지속적인 개량들은 빈번한 유효성 검증(validation)에 대한 필요성을 도입한다. 유효성 검증은 단일 네트워크 노드를 목표로 할 수 있거나, 복수의 네트워크 노드들을 목표로 할 수 있거나, 또는 (IMS 네트워크 혹은 시스템과 같은) 원격통신 네트워크 전체를 목표로 할 수 있다.
원격통신 네트워크 전체의 유효성 검증(즉, 전체 시스템 또는 플랫폼의 유효성 검증)(이것은 또한 엔드-투-엔드 테스트(end-to-end testing)로 지칭됨)은 단지 단일 기능 검증(single function verification)과만 관련될 수 있거나, 또는 부하(load) 하에서 원격통신 네트워크의 다양한 특성들 혹은 특징들을 테스트하는 것과 관련될 수 있다. 이러한 단일 기능 검증은 일반적으로 단일 혹은 몇 개의 유효성 검증 호출들 또는 유효성 검증(혹은 테스트) 동작들로 수행되고, 반면 부하 테스트들은 수천 개 혹은 이보다 훨씬 더 많은 이러한 유효성 검증 동작들(또는 테스트 동작들), 특히 유효성 검증 호출들로 수행되는데, 이것은 원격통신 네트워크 또는 네트워크 부하의 실제 사용을 시뮬레이트(simulate)하려는 시도로 행해진다.
특히, 이러한 유효성 검증 동작들(또는 테스트 동작들)이 실패한 경우, 이러한 실패에 대한 이유(reason)들을 식별하는 것이 중요하다. 마찬가지로, 유효성 검증 동작들을 성공적으로 수행한 경우에도, 동작의 모든 요소들의 정확성(correctness), 실패의 단일 지점들, 또는 병목현상(bottleneck)들을 식별하는 것이 전형적으로 중요하다. 하지만, 이러한 근본 원인 분석(root cause analysis)은 전형적으로 많은 노력들을 요구하고 불량하게 시간을 소비하는데, 특히 이러한 근본 원인 분석이 유효성 검증 동작들(혹은 테스트 동작들)의 상대적으로 많은 수의 개별 상황들에 대해 수행돼야 하는 경우에 그러하다.
본 발명의 목적은, 원격통신 네트워크 내에서 자율적(autonomic) 또는 AI-보조적(Artificial Intelligence-assisted; 인공지능-보조적) 유효성 검증, 결정 수행, 장애해결 및/또는 성능 증진을 행하기 위한 상대적으로 간단하고 효율적인 방법을 제공하여 상대적으로 많은 수의 개별 유효성 검증 동작들(혹은 테스트 동작들)을 포함하는 경우에도 유효성 검증 동작들(혹은 테스트 동작들)을 수행하는 것이 상대적으로 체계적 방식 또는 일관된 방식에 따라 상대적으로 빠르게 그리고 쉽게 수행될 수 있도록 하는 것이다.
본 발명의 목적은, 원격통신 네트워크의 네트워크 성능에 관한 자율적 또는 AI-보조적 유효성 검증 또는 결정 수행을 행하고 그리고/또는 원격통신 네트워크 내에서 자율적 또는 AI-보조적 장애해결 또는 성능 증진을 행하기 위한 방법에 의해 달성되며,
여기서 원격통신 네트워크는 적어도 부분적으로 서로 상호작용하는 복수의 네트워크 노드들을 포함하고,
원격통신 네트워크에 관한 네트워크 데이터 및/또는 이것의 도출된 데이터가 데이터 저장 보관소 내에 수집 및 저장되고, 그리고 네트워크 데이터 및/또는 이것의 도출된 데이터는 분석될 수 있으며,
네트워크 데이터 및/또는 이것의 도출된 데이터는 시각화 인터페이스를 사용하여 시각화될 수 있고,
자율적 또는 AI-보조적 유효성 검증 또는 결정 수행 그리고/또는 자율적 또는 AI-보조적 장애해결 또는 성능 증진은 머신 지능 엔티티(machine intelligence entity)를 사용하여 적용되고,
머신 지능 엔티티는 AI-보조적 출력을 제공하기 위해 머신 러닝 모델들(machine learning models)뿐만 아니라 네트워크 데이터 및/또는 이것의 도출된 데이터 중 적어도 일부를 사용하고,
방법은 다음의 단계들을 포함하고,
-- 제 1 단계에서, 네트워크 데이터 및/또는 이것의 도출된 데이터는 데이터 저장 보관소 내에 수집 및 저장되고, 여기서 네트워크 데이터 및/또는 이것의 도출된 데이터는 실-시간 스트림 프로세싱(real-time stream processing) 및/또는 이력적 재생(historical replay)이 가능하도록 편성(organize)되며,
-- 제 2 단계에서, 머신 지능 엔티티는 네트워크 데이터 및/또는 이것의 도출된 데이터 중 적어도 일부를 제공받고, 여기서 적어도
-- 머신 러닝 접근법(machine learning approach)과, 그리고
-- 상태 머신-기반 접근법(state machine-based approach)이,
원격통신 네트워크 내에서 문제점(issue)들이 검출되는 경우, 비정상 인식(anomaly recognitions) 및/또는 호출 흐름 평가(call flow evaluations) 및/또는 근본 원인 분석(root cause analysis)을 실현하는데 사용되며,
제 1 단계와 제 2 단계를 연속적으로 혹은 반복적으로 수행함으로써, AI-보조적 출력이 머신 지능 엔티티에 의해 발생되고,
머신 지능 엔티티의 AI-보조적 출력은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 원격통신 네트워크의 장애해결 또는 성능 증진을 행하는데 사용될 수 있는 정보 요소들을 포함하거나, 또는
머신 지능 엔티티의 AI-보조적 출력은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 원격통신 네트워크 내에서 장애해결 또는 성능 증진을 행할 수 있게 한다.
본 발명에 따르면, 원격통신 네트워크들 내에서 유효성 검증 및/또는 장애해결을 행하기 위한 자율적 및/또는 AI-보조적 방법이 제안된다. 그럼으로써, 특히, 인공 지능에 의해 상대적으로 고도의 자율적 결정 수행(autonomic decision making)을 이용함으로써 원격통신 네트워크들의 유효성 검증 프로세스에서 개선들을 제공하는 것이 유리하게 가능하다. 본 발명의 맥락에서, 원격통신 네트워크의 네트워크 성능에 관한 자율적 또는 AI-보조적(혹은, 오히려, 자율적 및/또는 AI-보조적) 유효성 검증 또는 결정 수행을 제공하기 위해 본 발명의 방법을 적용하는 것이 제안된다. 대안적으로 혹은 누적적으로, 원격통신 네트워크 내에서 자율적 또는 AI-보조적(혹은, 오히려, 자율적 및/또는 AI-보조적) 장애해결 또는 성능 증진을 제공하기 위해 본 발명의 방법을 적용하는 것이 제안된다. 이러한 점에서, 자율적 및/또는 AI-보조적 접근법은, 가능한 실현예들의 스펙트럼의 한 측면에서는, 상대적으로 많은 부분들에서 인간 관여 및 결정 수행에 의존하고 본질적으로는 단지 AI-보조만을 받는(즉, 완전히 자율적이지 않은) 접근법을 의미하도록 의도된 것이고, 그리고 가능한 실현예들의 스펙트럼의 다른 측면에서는, 인간 관여 및 결정 수행에 전혀 의존하지 않거나 상대적으로 작은 부분들에서만 인간 관여 및 결정 수행에 의존하고 (비록, 아마도, 완전히 자율적인 방식은 아닐지라도) 본질적으로는 자율적으로 동작하는 접근법을 의미하도록 의도된 것이다. 따라서, 머신 지능(machine intelligence)의 적용은 시간 경과에 따라 구현될 것이고, 경험을 학습하고 얻기 위해서 인간 전문가(human expert)들의 지원을 받아야만 한다. 따라서, 본 발명에 따르면, 특히 인간 전문가들의 효율적인 관여를 가능하게 하여 밀접한 협력이 가능하도록 하는 해법이 제공된다. 이것은 인간과 머신 에이전트(machine agent)들 양쪽 모두가 밀접하게 협력하고 있는 상호작용을 가능하게 하는데, 그 목표는 낮은-수준의 동작들로부터 인간들을 해방시키고 진정한 인간 지능을 대체할 수 없는 높은 수준의 목표들에 인간들이 집중할 수 있도록 하기 위한 머신 지식 및 기술들을 구축하는 것이다. 따라서, 본 발명에 따르면, 원격통신 네트워크 내에서 더욱더 자율적인 유효성 검증, 결정 수행, 장애해결 및/또는 성능 증진을 가능하게 하는 프로세스가 제안된다.
본 발명의 원격통신 네트워크는 적어도 부분적으로 서로 상호작용하는 복수의 네트워크 노드들을 포함한다. 더욱이, 본 발명에 따르면, 원격통신 네트워크에 관한 네트워크 데이터(및/또는 이것의 도출된 데이터)는 데이터 저장 보관소 내에 수집 및 저장되고, 그리고 네트워크 데이터(및/또는 이것의 도출된 데이터)는 분석될 수 있으며, 그리고 네트워크 데이터(및/또는 이것의 도출된 데이터)는 바람직하게는 시각화 인터페이스를 사용하여 시각화된다.
본 발명에 따르면, 머신 지능 엔티티는 자율적 또는 AI-보조적 유효성 검증 또는 결정 수행 그리고/또는 자율적 또는 AI-보조적 장애해결 또는 성능 증진을 제공하는데 사용되고, 그리고 머신 지능 엔티티는 AI-보조적 출력을 제공하기 위해 머신 러닝 모델들뿐만 아니라 네트워크 데이터(및/또는 이것의 도출된 데이터) 중 적어도 일부를 사용한다.
본 발명의 방법의 제 1 단계에서, 네트워크 데이터(및/또는 이것의 도출된 데이터)는 데이터 저장 보관소 내에 수집 및 저장되고, 여기서 네트워크 데이터 및/또는 이것의 도출된 데이터는 실-시간 스트림 프로세싱 및/또는 이력적 재생이 가능하도록 편성되며; 제 2 단계에서, 머신 지능 엔티티는 네트워크 데이터 및/또는 이것의 도출된 데이터 중 적어도 일부를 제공받고, 여기서 적어도 머신 러닝 접근법과 상태 머신-기반 접근법이, 원격통신 네트워크 내에서 문제점들이 검출되는 경우, 비정상 인식 및/또는 호출 흐름 평가 및/또는 근본 원인 분석을 실현하는데 사용된다.
제 1 단계와 제 2 단계를 연속적으로 혹은 반복적으로 수행함으로써, AI-보조적 출력이 머신 지능 엔티티에 의해 발생되고, 그리고
-- 머신 지능 엔티티의 AI-보조적 출력은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 원격통신 네트워크의 장애해결 또는 성능 증진을 행하는데 사용될 수 있는 정보 요소들을 포함하거나(즉, AI-보조적 출력은 운영자(operator)를 위한 정보 및/또는 힌트(hint)들을 제공하는데, AI에 의해 발생된 정보 및/또는 힌트들이 자체적으로, 즉 자율적으로, 유효성 검증 및/또는 결정 수행 및/또는 장애해결 및/또는 네트워크 성능 증진을 행하는 것이 아니라 이것이 (인간) 운영자에 의해 행해진다는 그러한 의미에서 운영자를 위한 정보 및/또는 힌트들을 제공함), 또는
-- 머신 지능 엔티티의 AI-보조적 출력은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 원격통신 네트워크 내에서 장애해결 또는 성능 증진을 행할 수 있게 한다(AI-보조적 출력은 본질적으로 인간 운영자 없이 유효성 검증 및/또는 결정 수행 및/또는 장애해결 및/또는 네트워크 성능 증진을 가능하게 하거나 행함).
본 발명의 바람직한 실시예에 따르면, 방법은 원격통신 네트워크 또는 이것의 네트워크 노드들의 현재 상태 또는 특정 시점에서의 상태의 그래픽 표현(graphical representation)에 의해 네트워크 데이터 및/또는 이것의 도출된 데이터 중 적어도 일부를 시각화하는 추가 단계를 포함하고, 그래픽 표현은 특히 원격통신 네트워크의 현재 상태 또는 특정 시점에서의 상태까지 이어지는 시계열적 시각화(time-series visualization)를 포함하고, 그래픽 표현은 특히 적어도 3-차원적 표현에 대응하고, 그래픽 표현은 특히 원격통신 네트워크 또는 이것의 네트워크 노드들의 현재 상태 또는 특정 시점에서의 상태에서 실-시간으로 인간 전문가를 시각적으로 몰입(immersing)시킨다.
원격통신 네트워크 또는 이것의 네트워크 노드들의 현재 상태 또는 특정 시점에서의 상태의 그래픽 표현을 제공함으로써, 네트워크 데이터 및/또는 이것의 도출된 데이터 중 적어도 일부의 시각화가 가능하게 되어 인간 전문가들은 (원격통신 네트워크의 상황이 고도로 몰입되는 방식으로 표현된) 상호작용적 맞춤-제작된 가상 세계(첨단-기술 대시보드(high-tech dashboard))에 몰입됨으로써 (바람직하게는 그래픽 표현 및/또는 시각화 인터페이스와의 상대적으로 적은 수의 상호작용들에 의해 한눈에 즉시) "원격통신 네트워크에서 무슨 일이 일어나고 있는지"에 관한 깊은 통찰력(insight)을 제공받게 된다. 이것은 인간과 머신 에이전트들 양쪽 모두가 밀접하게 협력하고 있는 상호작용을 가능하게 하는데, 그 목표는 낮은-수준의 동작들로부터 인간들을 해방시키고 진정한 인간 지능을 대체할 수 없는 높은 수준의 목표들에 인간들이 집중할 수 있게 하는 것이 점진적으로 가능하도록 하는 머신 지식 및 기술들을 구축하는 것이다.
본 발명에 따른 다른 바람직한 실시예들에 따르면, 네트워크 데이터 및/또는 이것의 도출된 데이터는, 빠른 검색(quick retrieval) 및 일괄 프로세싱(batch processing)을 위해 복수-계층 저장과 결합된 효율적인 데이터 파이프라인(data pipeline)을 사용하여, 특히 검색 패턴(retrieval pattern)에 근거하여 반복적으로 최적화되는 데이터 파이프라인을 사용하여, 실-시간 스트림 프로세싱이 수행될 수 있도록 편성되며,
여기서, 네트워크 데이터 및/또는 이것의 도출된 데이터는 특히 다음과 같은 것들:
-- 원격통신 네트워크의 네트워크 노드들 간에 교환되는 메시지들의 적어도 일부,
-- 원격통신 네트워크 내에서 메시지들의 다양한 서로 다른 타입들에 따라 이러한 교환되는 메시지들로부터 도출됨과 아울러 콘텐츠의 적어도 일부에 근거하는 이들의 서브세트(subset)들로부터 도출된 데이터로서 특히,
-- 시구간(time interval) 당 이러한 메시지들의 수에 관한 표시들,
-- 흐름에서의 진행중인 메시지들 및/또는 동일한 요청/응답 프로세스에 속하는 메시지들 간의 델타 시간 측정치(delta time measurement),
-- 오디오 품질 표시자들, 특히, 지터(jitter), 지연(delay) 및 미디어의 품질,
-- 호출 흐름 평가 데이터로서, 특히 원격통신 네트워크 내에서 호출의 프로세싱에 관한 상태-머신 모델을 사용하여 획득된 호출 흐름 평가 데이터를 제공하는 데이터,
-- 원격통신 네트워크의 네트워크 노드들 중 적어도 일부의 시스템 로그 데이터(system log data),
-- 원격통신 네트워크의 네트워크 노드들 중 적어도 일부의 애플리케이션 로그 데이터(application log data),
-- 원격통신 네트워크의 네트워크 노드들 중 적어도 일부의 핵심 성능 표시자들(key performance indicators),
-- 사용자들이 마주치는 에러들을 설명하는 메시지 콘텐츠
중에서 하나 이상을 포함한다.
그럼으로써, (네트워크 데이터의 일부로서, 그리고/또는 이것의 도출된 데이터의 일부로서, 또는 시스템 로그 데이터, 애플리케이션 로그 데이터, 핵심 성능 표시자들, 사용자들이 마주치는 에러들의 설명들의 일부로서) 상세한 정보 혹은 파라미터들을 제공하고, 발생시키고, 그리고 인식하여 관련 패턴들이 머신 지능 엔티티에 의해 검출될 수 있게 되는 것이 본 발명에 따라 유리하게 가능하다.
본 발명에 따른 또 다른 바람직한 실시예들에 따르면, 네트워크 노드들은 특히 원격통신 네트워크의 사용자들에게 통신 서비스들을 제공하기 위해 원격통신 네트워크 내에서 서로 상호작용하고 있고, 원격통신 네트워크는 특히 액세스 네트워크(access network) 및 코어 네트워크(core network)를 포함하고, 그리고/또는 네트워크 노드들은 특히 원격통신 네트워크의 상이한 계층들 상에서 동작한다.
그럼으로써, 원격통신 네트워크의 사용자들 및/또는 고객들의 통신 요구들을 서빙(serving)할 수 있는 동작가능한 원격통신 네트워크를 제공하는 것이 유리하게 가능하다.
본 발명에 따른 또 다른 바람직한 실시예들에 따르면, 제 2 단계에서, 머신 지능 엔티티는, 머신 러닝 접근법 및 상태 머신-기반 접근법을 사용하는 것 외에,
-- 특히 유효성 검증 및/또는 장애해결을 수행하는 관점에서 인간 상호작용을 통한 지도형 러닝(supervised learning), 그리고/또는
-- 비정상들을 검출하고 그리고/또는 특징(feature)들을 클러스터링(clustering)하기 위한 비지도형 러닝(unsupervised learning), 그리고/또는
-- 특히, 적용가능한 도메인 지식(domain knowledge)을 포함하는 동적으로 업데이트된 온톨로지(ontologies) 또는 의미론적 지식(semantic knowledge)에 근거하여 결정을 수행하기 위한 전문가 시스템 지식(expert system knowledge) 또는 전문가 시스템 정보(expert system information)를 사용한다.
그럼으로써, 본 발명의 방법에 따른, 또는 본 발명에 따른 시스템 또는 원격통신 네트워크에 의해, 더 높은 정도의 자율적 행동(autonomous behavior)을 실현하는 것이 유리하게 가능하다.
본 발명에 따른 또 다른 바람직한 실시예들에 따르면, 머신 지능 엔티티에 의해, 자율 에이전트(autonomic agent)가 실현되고, 자율 에이전트에 의해 자율적 유효성 검증(autonomic validation)이 수행되고, 특히 고장이 일어난 경우 근본 원인 분석이 수행되고, 그리고/또는 원격통신 네트워크 내의 프로세스 또는 동작의 성공 또는 실패에 대한 결론을 내리는 것이 포함된다.
그럼으로써, 원격통신 네트워크 내에서의 하드웨어 및/또는 소프트웨어에 관한 변경들의 유효성 검증 프로세스가, 원격통신 네트워크 내의 이러한 변경들 혹은 변화들의 유효성을 검증하기 위한 유효성 검증 프로세스 혹은 절차들을 크게 증진시킴으로써(그리고 요구된 시간 측면에서 가속화시킴으로써), 덜 번거롭고 더 효율적으로 수행되게 하는 것이 유리하게 가능하다.
추가적으로, 본 발명은 원격통신 네트워크의 네트워크 성능에 관한 자율적 또는 AI-보조적 유효성 검증 또는 결정 수행을 행하고 그리고/또는 원격통신 네트워크 내에서 자율적 또는 AI-보조적 장애해결 또는 성능 증진을 행하기 위한 원격통신 네트워크에 관한 것이고, 본 발명의 목적은 이러한 원격통신 네트워크에 의해 달성되며,
여기서 원격통신 네트워크는 적어도 부분적으로 서로 상호작용하는 복수의 네트워크 노드들을 포함하고,
원격통신 네트워크는 데이터 저장 보관소 및 머신 지능 엔티티를 포함하거나 데이터 저장 보관소 및 머신 지능 엔티티와 관련되고,
원격통신 네트워크에 관한 네트워크 데이터 및/또는 이것의 도출된 데이터가 데이터 저장 보관소 내에 수집 및 저장되고,
네트워크 데이터 및/또는 이것의 도출된 데이터는 분석될 수 있으며,
네트워크 데이터 및/또는 이것의 도출된 데이터는 시각화 인터페이스를 사용하여 시각화될 수 있고,
자율적 또는 AI-보조적 유효성 검증 또는 결정 수행 그리고/또는 자율적 또는 AI-보조적 장애해결 또는 성능 증진은 머신 지능 엔티티를 사용하여 적용되고,
머신 지능 엔티티는 AI-보조적 출력을 제공하기 위해 머신 러닝 모델들뿐만 아니라 네트워크 데이터 및/또는 이것의 도출된 데이터 중 적어도 일부를 사용하고,
원격통신 네트워크는,
-- 네트워크 데이터 및/또는 이것의 도출된 데이터가 데이터 저장 보관소 내에 수집 및 저장되도록 구성되고, 여기서 네트워크 데이터 및/또는 이것의 도출된 데이터는 실-시간 스트림 프로세싱 및/또는 이력적 재생이 가능하도록 편성되며,
원격통신 네트워크는,
-- 머신 지능 엔티티가 네트워크 데이터 및/또는 이것의 도출된 데이터 중 적어도 일부를 제공받도록 구성되고, 여기서 적어도
-- 머신 러닝 접근법과, 그리고
-- 상태 머신-기반 접근법이,
원격통신 네트워크 내에서 문제점들이 검출되는 경우, 비정상 인식 및/또는 호출 흐름 평가 및/또는 근본 원인 분석을 실현하는데 사용되며,
원격통신 네트워크는 또한,
네트워크 데이터 및/또는 이것의 도출된 데이터를 데이터 저장 보관소 내에 수집 및 저장하는 것과, 그리고 네트워크 데이터 및/또는 이것의 도출된 데이터 중 적어도 일부를 머신 지능 엔티티에 제공하는 것을 연속적으로 혹은 반복적으로 수행함으로써, AI-보조적 출력이 머신 지능 엔티티에 의해 발생되도록 구성되고,
머신 지능 엔티티의 AI-보조적 출력은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 원격통신 네트워크의 장애해결 또는 성능 증진을 행하는데 사용될 수 있는 정보 요소들을 포함하거나, 또는
머신 지능 엔티티의 AI-보조적 출력은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 원격통신 네트워크 내에서 장애해결 또는 성능 증진을 행할 수 있게 한다.
그럼으로써, 본 발명의 원격통신 네트워크에 의해, 특히, 인공 지능에 의해 상대적으로 고도의 자율적 결정 수행을 이용함으로써 원격통신 네트워크들의 유효성 검증 프로세스에서 개선들을 제공하는 것이 유리하게 가능하다.
추가적으로, 본 발명의 목적은, 원격통신 네트워크의 네트워크 성능에 관한 자율적 또는 AI-보조적 유효성 검증 또는 결정 수행을 행하고 그리고/또는 원격통신 네트워크 내에서 자율적 또는 AI-보조적 장애해결 또는 성능 증진을 행하기 위한 시스템에 의해 달성되고, 그리고 본 발명은 이러한 시스템에 관한 것이며,
여기서 시스템은 원격통신 네트워크를 포함하고,
원격통신 네트워크는 적어도 부분적으로 서로 상호작용하는 복수의 네트워크 노드들을 포함하고,
시스템은 데이터 저장 보관소 및 머신 지능 엔티티를 포함하고,
원격통신 네트워크에 관한 네트워크 데이터 및/또는 이것의 도출된 데이터가 데이터 저장 보관소 내에 수집 및 저장되고,
네트워크 데이터 및/또는 이것의 도출된 데이터는 분석될 수 있으며,
네트워크 데이터 및/또는 이것의 도출된 데이터는 시각화 인터페이스를 사용하여 시각화될 수 있고,
자율적 또는 AI-보조적 유효성 검증 또는 결정 수행 그리고/또는 자율적 또는 AI-보조적 장애해결 또는 성능 증진은 머신 지능 엔티티를 사용하여 적용되고,
머신 지능 엔티티는 AI-보조적 출력을 제공하기 위해 머신 러닝 모델들뿐만 아니라 네트워크 데이터 및/또는 이것의 도출된 데이터 중 적어도 일부를 사용하고,
시스템은,
-- 네트워크 데이터 및/또는 이것의 도출된 데이터가 데이터 저장 보관소 내에 수집 및 저장되도록 구성되고, 여기서 네트워크 데이터 및/또는 이것의 도출된 데이터는 실-시간 스트림 프로세싱 및/또는 이력적 재생이 가능하도록 편성되며,
시스템은,
-- 머신 지능 엔티티가 네트워크 데이터 및/또는 이것의 도출된 데이터 중 적어도 일부를 제공받도록 구성되고, 여기서 적어도
-- 머신 러닝 접근법과, 그리고
-- 상태 머신-기반 접근법이,
원격통신 네트워크 내에서 문제점들이 검출되는 경우, 비정상 인식 및/또는 호출 흐름 평가 및/또는 근본 원인 분석을 실현하는데 사용되며,
시스템은 또한,
네트워크 데이터 및/또는 이것의 도출된 데이터를 데이터 저장 보관소 내에 수집 및 저장하는 것과, 그리고 네트워크 데이터 및/또는 이것의 도출된 데이터 중 적어도 일부를 머신 지능 엔티티에 제공하는 것을 연속적으로 혹은 반복적으로 수행함으로써, AI-보조적 출력이 머신 지능 엔티티에 의해 발생되도록 구성되고,
머신 지능 엔티티의 AI-보조적 출력은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 원격통신 네트워크의 장애해결 또는 성능 증진을 행하는데 사용될 수 있는 정보 요소들을 포함하거나, 또는
머신 지능 엔티티의 AI-보조적 출력은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 원격통신 네트워크 내에서 장애해결 또는 성능 증진을 행할 수 있게 한다.
그럼으로써, 본 발명의 시스템에 의해, 특히, 인공 지능에 의해 상대적으로 고도의 자율적 결정 수행을 이용함으로써 원격통신 네트워크들의 유효성 검증 프로세스에서 개선들을 제공하는 것이 유리하게 가능하다.
추가적으로, 본 발명은 본 발명의 원격통신 네트워크 또는 본 발명의 시스템에 관한 것이고, 여기서 원격통신 네트워크 또는 시스템은 시각화 인터페이스를 포함하고, 시각화 인터페이스는, 원격통신 네트워크 또는 이것의 네트워크 노드들의 현재 상태 또는 특정 시점에서의 상태의 그래픽 표현에 의해 네트워크 데이터 및/또는 이것의 도출된 데이터가 시각화되도록 구성되고, 그래픽 표현은 특히 원격통신 네트워크의 현재 상태 또는 특정 시점에서의 상태까지 이어지는 시계열적 시각화를 포함하고, 그래픽 표현은 특히 적어도 3-차원적 표현에 대응하고, 그래픽 표현은 특히 원격통신 네트워크 또는 이것의 네트워크 노드들의 현재 상태 또는 특정 시점에서의 상태에서 실-시간으로 인간 전문가를 시각적으로 몰입시킨다.
원격통신 네트워크 또는 시스템 내에서 시각화 인터페이스를 사용함으로써, 네트워크 데이터(및/또는 이것의 도출된 데이터) 중 적어도 일부의 시각화가 가능하게 되어 인간 전문가들이 원격통신 네트워크의 네트워크 프로세스들에 관한 깊은 통찰력을 제공받게 되는 것이 유리하게 가능하다.
추가적으로, 본 발명의 목적은 본 발명의 원격통신 네트워크 또는 본 발명의 시스템에서 사용되는 머신 지능 엔티티 또는 시각화 인터페이스에 의해 달성되고, 본 발명은 이러한 머신 지능 엔티티 또는 시각화 인터페이스에 관한 것이다.
추가적으로, 본 발명은 컴퓨터 프로그램에 관한 것이고, 여기서 컴퓨터 프로그램은 컴퓨터 판독가능 프로그램 코드를 포함하고, 컴퓨터 판독가능 프로그램 코드는, 컴퓨터 상에서 실행될 때, 또는 원격통신 네트워크의 하나의 네트워크 노드 또는 복수의 네트워크 노드들 상에서 실행될 때, 또는 머신 지능 엔티티 상에서 실행될 때, 또는 원격통신 네트워크의 하나 또는 복수의 네트워크 노드들 상에서 부분적으로 실행되고 머신 지능 엔티티 상에서 부분적으로 실행될 때, 컴퓨터 또는 네트워크 노드 또는 네트워크 노드들 또는 머신 지능 엔티티로 하여금 이전에 설명된 바와 같은 방법을 수행하도록 한다.
더욱이, 본 발명은 컴퓨터-판독가능 매체에 관한 것이고, 컴퓨터-판독가능 매체는 명령들을 포함하고, 명령들은, 컴퓨터 상에서 실행될 때, 또는 원격통신 네트워크의 하나의 네트워크 노드 또는 복수의 네트워크 노드들 상에서 실행될 때, 또는 머신 지능 엔티티 상에서 실행될 때, 또는 원격통신 네트워크의 하나 또는 복수의 네트워크 노드들 상에서 부분적으로 실행되고 머신 지능 엔티티 상에서 부분적으로 실행될 때, 컴퓨터 또는 네트워크 노드 또는 네트워크 노드들 또는 머신 지능 엔티티로 하여금 이전에 설명된 바와 같은 방법을 수행하도록 한다.
본 발명의 이러한 특성들, 특징들 및 장점들, 그리고 다른 특성들, 특징들 및 장점들은 첨부되는 도면들과 연계되어 제시되는 다음의 상세한 설명으로부터 명백하게 될 것이고, 도면들은 예시적으로 본 발명의 원리를 나타낸다. 이러한 설명은 본 발명의 범위를 한정함이 없이 단지 예시적 목적으로 제공된다. 아래에서 인용되는 참조 도면들은 첨부되는 도면들을 지칭한다.
도 1은 본 발명에 따른 발명적 방법 및 시스템의 실시예를 도시적으로 예시하고, 여기서 시스템은 데이터 저장 보관소, 머신 지능 엔티티, 및 시각화 인터페이스를 포함한다.
도 2는 본 발명에 따른 원격통신 네트워크의 실시예를 도시적으로 예시하고, 여기서 원격통신 네트워크는 복수의 네트워크 노드들을 포함한다.
본 발명이 특정 도면들을 참조하여 특정 실시예들에 관해 설명될 것이지만, 본 발명이 이러한 것으로 한정되는 것은 아니면 단지 청구항들에 의해서만 그 범위가 정해진다. 설명되는 도면들은 단지 개략적인 것이고 비-한정적인 것이다. 도면들에서, 요소들 중 일부 요소의 크기는 과장될 수 있고, 예시적 목적을 위해 축척에 맞게 도시된 것이 아니다.
단수형 명사를 지칭하기 위해 단수적 표현이 사용된 경우, 이러한 단수적 표현은 달리 특정적으로 기재되지 않는 한 해당 표현의 복수의 의미를 포함한다.
더욱이, 상세한 설명 및 청구항들에서의 용어 제1, 제2, 제3 등은 유사한 요소들을 간의 구분을 위해 사용된 것이며, 반드시 순차적 순서 혹은 시간적 순서를 설명하기 위한 것은 아니다. 이렇게 사용된 용어들은 적절한 상황들 하에서 상호교환가능하다는 점, 그리고 본 명세서에서 설명되는 본 발명의 실시예들은 본 명세서에서 설명되거나 예시되는 것과는 다른 시퀀스들로 동작할 수 있다는 것을 이해해야 한다.
도 1에서, 본 발명에 따른 본 발명의 방법 및 시스템의 실시예가 개략적으로 제시되며, 여기서 시스템은 데이터 저장 보관소(150), 머신 지능 엔티티(170), 및 시각화 인터페이스(160)를 포함한다. 도 1에서 제시되는 실시예는 단지 예시적으로 존재하도록 의도된 것임을 이해해야 한다.
도 2에서, 본 발명에 따른 원격통신 네트워크(100)의 실시예가 개략적으로 제시된다. 특히, 원격통신 네트워크(100)는 복수의 네트워크 노드들(101, 102, 103)을 포함하고, 이러한 네트워크 노드들(101, 102, 103)은 특히 원격통신 네트워크(100)의 사용자들에게 통신 서비스들을 제공하기 위해 원격통신 네트워크(100) 내에서 서로 상호작용하고 있다. 전형적으로, 원격통신 네트워크(100)는 (액세스 네트워크 노드들(102)을 갖는) 액세스 네트워크(120) 및 (코어 네트워크 노드들(103)을 갖는) 코어 네트워크(130)를 포함한다. 다른 네트워크 노드들, 예컨대, 최종 사용자 네트워크 노드들(101) 또는 사용자 장비 노드들(101)이 또한 원격통신 네트워크(100) 내에 존재할 수 있다. 더욱이, 네트워크 노드들(101, 102, 103)은 전형적으로 원격통신 네트워크(100)의 상이한 계층들 상에서 동작한다.
다시 도 1을 참조하는 경우, 본 발명에 따르면, 원격통신 네트워크(100)에 관한 네트워크 데이터(140)(및/또는 이러한 (원시(raw)) 네트워크 데이터(140)의 도출된 데이터)는 데이터 저장 보관소(150) 내에 수집 및 저장된다. 시각화 인터페이스(160)가 존재하여 네트워크 데이터(140)(및/또는 이러한 (원시) 네트워크 데이터(140)의 도출된 데이터)가 이러한 시각화 인터페이스(160)를 사용하여 시각화될 수 있게 되는 것이 본 발명에 따라 더욱 바람직하다.
본 발명에 따르면, 자율적 혹은 AI-보조적 유효성 검증 또는 결정 수행 그리고/또는 자율적 혹은 AI-보조적 장애해결 또는 성능 증진은 머신 지능 엔티티(170)를 사용하여 적용되고, 그리고 머신 지능 엔티티(170)는 AI-보조적 출력(190)을 제공하기 위해 머신 러닝 모델들(180)뿐만 아니라 네트워크 데이터(140)(및/또는 이것의 도출된 데이터) 중 적어도 일부를 사용한다.
원격통신 네트워크(100) 내에서는, 복수의 네트워크 노드들(101, 102, 103)에 의해 데이터의 지속적인 스트림이 발생되는데, 예를 들어, 이러한 네트워크 노드들(101, 102, 103) 간에 교환되는 메시지들이 발생된다. 본 발명의 맥락에서, 이러한 데이터는 혹은 데이터의 이러한 스트림은 용어 "네트워크 데이터(140)"에 의해 지칭된다. 오히려 이러한 원시 네트워크 데이터에 추가하여, 후속 네트워크 데이터 및/또는 네트워크 데이터(140)로부터 도출된 데이터가 발생된다. 데이터의 이러한 스트림, 즉 네트워크 데이터(140) 및/또는 이러한 (원시) 네트워크 데이터(140)의 도출된 데이터가 도 1의 가운데 부분에서 파이프 혹은 튜브 요소에 의해 도식적으로 표현된 데이터 입력 인터페이스 또는 데이터 파이프라인 안으로 (본 발명의 방법의 제 1 단계의 일부로서) 지속적으로 공급된다. 본 발명에 따르면, 이러한 네트워크 데이터(140)(또는 네트워크 데이터(140)의 스트림)는 이러한 데이터의 실-시간 프로세싱 및/또는 이력적 재생이 가능하도록 편성된다. 이러한 맥락에서, 네트워크 데이터(140)의 실-시간 스트림 프로세싱이 의미하는 바는, (원시 입력 데이터(예를 들어, 상이한 네트워크 노드들(101, 102, 103) 간에 교환되는 통신 메시지들에 관한 원시 데이터)로부터 시작하여) 예를 들어, 시구간 당(예컨대, 1초 당) (이러한 통신 메시지들 중) 특정 타입 혹은 서브-타입의 메시지들의 수와 같은 도출된 데이터를 직접적으로(또는 실-시간 프로세싱에 의해) 발생시키는 것이 가능함을 의미한다. 실-시간 프로세싱이 의미하는 바는, (도출된 데이터를 발생시키기 위해) 이러한 원시 데이터를 보관소 혹은 데이터베이스에 저장하고 이러한 저장된 데이터에 관해 데이터베이스 질의(database queries)를 수행할 필요가 없음을 의미한다. 추가적으로(그리고 또한, 본 발명의 방법에 따른 제 1 단계의 일부로서), 네트워크 데이터(140)(및/또는 이것의 도출된 데이터)는 또한 데이터 저장 보관소(150) 내에 수집 및 저장된다. 네트워크 데이터(140)(및/또는 이것의 도출된 데이터)를 데이터 파이프라인(또는 데이터 입력 인터페이스)에 공급하는 것에 추가하여, 본 발명의 방법에 따른 제 2 단계에서, 머신 지능 엔티티(170)는 네트워크 데이터(140)(및/또는 이것의 도출된 데이터) 중 적어도 일부를 제공받고, 그리고 적어도 머신 러닝 접근법과 상태 머신-기반 접근법이, 원격통신 네트워크 내에서 문제점들이 검출되는 경우, 비정상 인식 및/또는 호출 흐름 평가 및/또는 근본 원인 분석을 실현하는데 사용된다.
바람직하게는, 머신 러닝 접근법은 원격통신 네트워크(100) 내에서 특정 개수의 테스트 호출들 또는 테스트 동작들을 실행함으로써(이것은 성공일 수 있거나 실패일 수 있음) 실현된다. 본 발명의 원격통신 네트워크 또는 시스템의 자율적 행동의 정도를 증가시키는 특정 스테이지에서, 원격통신 네트워크(100) 내에서의 특정 테스트 호출 또는 테스트 동작이 성공했는지 여부 또는 실패했는지 여부에 관한 정보가 (테스트 호출들 또는 테스트 동작들에 대응하는 네트워크 데이터(140)(및/또는 도출된 데이터)에 추가하여) 머신 지능 엔티티(170)에 공급된다. 이러한 테스트 호출들 또는 테스트 동작들을 포함하는 충분한 수의 훈련 사례들 이후에, 머신 지능 엔티티(170)는 (적어도 상대적으로 높은 확률로) 원격통신 네트워크(100) 내에서의 추가적인(또는 새로운) 테스트 호출들 또는 테스트 동작들이 성공했는지 그렇지 않은지 검출할 수 있다. 따라서, 머신 러닝 접근법을 사용함으로써, 특히 비정상 인식이 머신 지능 엔티티(170) 내에서 수행될 수 있다. 더욱 바람직하게는, 상태 머신-기반 접근법은 예를 들어, 원격통신 네트워크(100) 내에서 호출들을 설정하거나 특정 통신 서비스들을 제공하는 것과 같은 특정 네트워크 동작들 또는 기능들에 관한 상태 머신 모델 정보를 정의하는 것을 포함하는데, 즉, 이러한 네트워크 동작들 또는 기능들에 관하여, 원격통신 네트워크(100)(또는 이것의 네트워크 노드들(101, 102, 103) 중 적어도 하나 이상)는 특정 개수의 상이한 상태들 및 이러한 상태들 간의 전이(transition)들을 갖는 상태 머신으로서 고려된다. 머신 지능 엔티티(170) 내에서 상태 머신-기반 접근법을 사용하는 경우, (네트워크 노드들(101, 102, 103) 간에 교환되는) 상이한 통신 메시지들은 고려되는 상태 머신의 상이한 상태들에 맵핑(또는 할당)될 수 있고 또는 이러한 상태들 간의 전이들에 맵핑(또는 할당)될 수 있으며, 그리고 통신 메시지들의 특정 패턴은 특정 통신 서비스 또는 네트워크 동작 또는 네트워크 기능의 성공적인 실행을 표시하고, 반면 통신 메시지들의 다른 특정 패턴은 성공적이지 못한 실행을 표시한다. 따라서, 상태 머신-기반 접근법을 사용함으로써, 특히 호출 흐름 평가들이 머신 지능 엔티티(170) 내에서 수행될 수 있다.
본 발명에 따르면, 제 1 단계 및 제 2 단계를 연속적으로 혹은 반복적으로 수행함으로써, AI-보조적 출력(190)이 머신 지능 엔티티에 의해 발생되어, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 원격통신 네트워크의 장애해결 또는 성능 증진을 행하기 위해 이러한 AI-보조적 출력(190)을 사용하는 것이 가능하게 된다.
원격통신 네트워크(100)의 네트워크 테스트를 수행하는 것은 전형적으로 테스트 호출들 또는 테스트 동작들을 수행하는 것을 포함하고, 또한 이들의 유효성을 검증하는 것을 포함한다. 직관적으로, 호출에 대한 당사자들이 서로를 들을 수 있는 경우 호출 성공이 선언되게 되고, 호출 실패도 또한 직관적으로 자명할 수 있다(만약 호출이 확립될 수 없다면, 호출 실패가 선언됨). 유효성 검증의 프로세스에서, 성공적인 호출은 호출 흐름에 대비되어 검증될 필요가 있고, 반면, 실패의 경우 원인을 찾을 필요가 있다. 문제점의 원인을 식별하는 프로세스는 장애해결로 지칭되고, 장애해결은 데이터 융합에 많이 의존하는데, 왜냐하면 단일 데이터 소스(single data source)는 충분한 정보를 제공하지 않을 수 있기 때문이다. 인간 전문가 접근법은, 실패가 어디에 위치하고 있는지를 이해하기 위해 그리고 그 원인이 무엇인지를 이해하기 위해, 네트워크 트레이스(network trace), 애플리케이션 및 시스템 로그들, 하드웨어 정보(CPU 사용, MEM 사용, ...) 노드 성능 카운터들, 측정된 KPI들, 호출 발생기들 및 시뮬레이터들로부터의 다양한 정보, SNMP 정보, 호출 기록들, 등과 같은 모든 가용한 관련 정보를 사용하게 되는데, 따라서 문제 조사가 강한 복수-도메인 지식 및 뛰어난 분석적 기술들을 요구한다는 것은 명백하다. 본 발명에 따르면, 이러한 것의 적어도 일부가 머신 지능 엔티티(170)를 사용함으로써 수행되고, 그럼으로써 원격통신 네트워크(100) 내에서 컴퓨터 보조적 유효성 검증 및 장애해결을 위한 정식으로 정의된 방법들이 사용되게 된다.
본 발명에 따르면, 데이터 수집, 프로세싱, 및 저장은 예를 들어, 하나의 장소에서 네트워크 데이터(140)(및/또는 이것의 도출된 데이터)를 수집하기 위해 제공된다. 네트워크 데이터(140)는 다양한 소스들로부터 오는데, 예컨대, 네트워크 트레이스들, 노드 애플리케이션 및 시스템 로그들, 시스템 통계치들, 핵심 성능 표시자들 및 성능 측정치들, SNMP 트랩(trap)들, 네트워크 트래픽 시뮬레이터/발생기 데이터(network traffic simulator/generator data), 그리고 호출 데이터 기록들(Call Data Records)(CDR/eCDR)과 같은 소스들로부터 오고, 그리고 데이터는, 빠른 검색 및 일괄 프로세싱을 위해 복수-계층 저장과 결합된 효율적인 데이터 파이프라인을 이용하여(이러한 데이터 파이프라인은 검색 패턴들에 근거하여 시간 경과에 따라 적응적으로 최적화됨), 실-시간 스트림 프로세싱이 가능하도록 편성된다.
더욱이, 본 발명은 특히, 실-시간으로 데이터가 시각적으로 그리고 동적으로 표현되는 맞춤-제작된 3d 가상 세계에 인간 전문가가 몰입될 수 있도록 몰입형 시각적 표현을 제공한다. 이러한 접근법은 원격통신 네트워크(100) 내부의 활동들에 관한 최적의 지각(perception) 및 이해(understanding)를 가능하게 하고, 따라서 인간 운영자들에 의해 행해지는 모든 종류의 관측/장애해결 활동들을 위한 시간 및 노력들을 최소화시킨다.
추가적으로, 본 발명에 따르면, 머신 지능 엔티티(170)는 특히, 인공 지능 분야로부터의 상이한 접근법들을 이용하여, 인간-컴퓨터 상호작용에 의해, 머신 러닝을 제공하는데, 특히 이러한 접근법으로는 다음과 같은 것이 있다.
-- 예측들을 위한, 비정상 인식들을 위한, 그리고 문제 식별 및 현지화(localization)에 기여하는 클러스터링을 위한 비지도형 러닝 접근법,
-- 흐름-관련 검증들을 위한 유한 오토머터(finite automata) 기반(또는 상태 머신-기반) 모델,
-- 유효성 검증 및 장애해결 프로세스들 동안 인간 전문가와의 상호작용을 통한 지도형 러닝(여기서 인공 에이전트(artificial agent)들은 인간으로부터 체계적으로(systematically) 학습함),
-- 적용가능한 도메인 지식을 포함하는 동적으로 업데이트된 온톨로지(의미론적 지식)에 근거하여 결정을 수행하기 위한 전문가 시스템.
이러한 접근법들은 본질적으로 인간 전문가와의 상호작용을 통해 업데이트가능/향상가능하다. 하지만, 머신 러닝은 일반적으로 점진적 프로세스이고, 따라서, 머신 결정들의 품질 및 제안된 해법들은 시간 경과에 따라 향상되는데, 하지만 이들은 해당 지식이 도출되는 인간 프로세스들에 크게 의존한다.
더욱이, 본 발명은 특히, 자율적 유효성 검증을 제공하고, 이에 따라, (선험적으로 생성된 또는 이러한 머신 지능 방법의 지원을 받아 발생된) 테스트 사례들의 세트를 수행할 때, 네트워크 데이터(140)는 관측가능한 데이터로서 사용되게 되고, 그리고 (지능의 모델들 및 예상된(학습된) 데이터 흐름들에 근거하여) 자율 에이전트는 (테스트 사례들의) 유효성 검증의 성공 혹은 실패에 대해 결론을 내리게 된다. 양쪽의 경우들에서, 추가적인 세부 검증이 수행된다. 성공적인 사례에 대해, 유효성이 검증된 요소의 모든 컴포넌트들의 유효성을 검증할 필요가 있다. 실패인 사례에 대해, 머신에 의해 구동되는 근본 원인 분석은 결과적으로 문제가 식별되게 하며, 이는 제안된 해법에 의해 확장된다.

Claims (14)

  1. 방법으로서,
    상기 방법은 원격통신 네트워크(telecommunications network)(100)의 네트워크 성능에 관한 유효성 검증 또는 결정 수행을 행하고 그리고/또는 원격통신 네트워크(100) 내에서 장애해결 또는 성능 증진을 행하기 위한 방법이며,
    상기 원격통신 네트워크(100)는 적어도 부분적으로 서로 상호작용하는 복수의 네트워크 노드들(network nodes)(101, 102, 103)을 포함하고,
    상기 원격통신 네트워크(100)에 관한 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터가 데이터 저장 보관소(data storage repository)(150) 내에 수집 및 저장되고, 그리고 분석될 수 있으며,
    상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터는 시각화 인터페이스(visualization interface)(160)를 사용하여 시각화될 수 있고,
    상기 유효성 검증 또는 결정 수행 그리고/또는 상기 장애해결 또는 성능 증진은 머신-기반 엔티티(machine-based entity)(170)를 사용하여 적용되고,
    상기 방법은 다음의 단계들을 포함하고,
    -- 제 1 단계에서, 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터는 상기 데이터 저장 보관소(150) 내에 수집 및 저장되고, 여기서 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터는 실-시간 스트림 프로세싱(real-time stream processing) 및/또는 이력적 재생(historical replay)이 가능하도록 편성(organize)되며,
    -- 제 2 단계에서, 상기 머신-기반 엔티티(170)는 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터 중 적어도 일부를 제공받고, 여기서 적어도
    -- 머신 러닝 접근법(machine learning approach)과, 그리고
    -- 상태 머신-기반 접근법(state machine-based approach)이,
    상기 원격통신 네트워크(100) 내에서 문제점(issue)들이 검출되는 경우, 비정상 인식(anomaly recognitions) 및/또는 호출 흐름 평가(call flow evaluations) 및/또는 근본 원인 분석(root cause analysis)을 실현하는데 사용되며,
    상기 머신 러닝 접근법은,
    (i) 머신 러닝 혹은 훈련을 위해,
    성공일 수 있거나 실패일 수 있는 상기 원격통신 네트워크(100) 내에서 실행되는 특정 개수의 테스트 호출들 또는 테스트 동작들에 대응하는 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터, 그리고
    상기 원격통신 네트워크(100) 내의 특정 테스트 호출 또는 테스트 동작이 성공했는지 여부 또는 실패했는지 여부에 관한 정보를 사용하여,
    (ii) 상기 원격통신 네트워크(100) 내의 추가적인 혹은 새로운 테스트 호출들 또는 테스트 동작들이 성공했는지 그렇지 않은지의 정보를 제공하고,
    상기 상태 머신-기반 접근법은,
    (i) 특정 네트워크 동작들 또는 기능들에 관하여,
    상기 원격통신 네트워크(100) 또는 상기 복수의 네트워크 노드들(101, 102, 103) 중 적어도 하나의 네트워크 노드를 특정 개수의 상이한 상태들 및 상기 상이한 상태들 간의 전이(transition)들을 갖는 상태 머신으로서 고려하여,
    (ii) 상기 네트워크 노드들(101, 102, 103) 간에 교환되는 상이한 통신 메시지들을 상기 고려되는 상태 머신의 상기 상이한 상태들에 맵핑 또는 할당하거나 상기 상이한 상태들 간의 전이들에 맵핑 또는 할당하며,
    여기서 통신 메시지들의 특정 패턴은 특정 통신 서비스 또는 네트워크 동작 또는 네트워크 기능의 성공적인 실행을 표시하고, 반면 통신 메시지들의 다른 특정 패턴은 성공적이지 못한 실행을 표시하고,
    상기 제 1 단계와 제 2 단계를 연속적으로 혹은 반복적으로 수행함으로써, 출력(190)이 상기 머신-기반 엔티티(170)에 의해 발생되고,
    상기 머신-기반 엔티티(170)의 상기 출력(190)은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 상기 원격통신 네트워크(100)의 장애해결 또는 성능 증진을 행하는데 사용될 수 있는 정보 요소들을 포함하거나, 또는
    상기 머신-기반 엔티티(170)의 상기 출력(190)은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 상기 원격통신 네트워크(100) 내에서 장애해결 또는 성능 증진을 행할 수 있게 하고,
    상기 방법은, 상기 원격통신 네트워크(100) 또는 상기 원격통신 네트워크(100)의 네트워크 노드들(101, 102, 103)의 현재 상태 또는 특정 시점에서의 상태의 그래픽 표현(graphical representation)에 의해 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터 중 적어도 일부를 시각화하는 추가 단계를 포함하고,
    상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터는, 빠른 검색(quick retrieval) 및 일괄 프로세싱(batch processing)을 위해 복수-계층 저장과 결합된 효율적인 데이터 파이프라인(data pipeline)을 사용하여, 실-시간 스트림 프로세싱이 수행될 수 있도록 편성되고,
    상기 그래픽 표현은 상기 원격통신 네트워크(100)의 현재 상태 또는 특정 시점에서의 상태까지 이어지는 시계열적 시각화(time-series visualization)를 포함하고,
    상기 네트워크 데이터(140)는 실-시간 스트림 프로세싱이 가능하도록 편성되어, 상기 네트워크 데이터(140)로부터 도출된 데이터를 발생시키기 위해, 원시 데이터를 보관소 또는 데이터베이스에 저장하고 상기 저장된 원시 데이터에 관해 데이터베이스 질의(database queries)를 수행할 필요가 없게 되는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 그래픽 표현은 적어도 3-차원적 표현에 대응하고,
    상기 그래픽 표현은 상기 원격통신 네트워크(100) 또는 상기 원격통신 네트워크(100)의 네트워크 노드들(101, 102, 103)의 현재 상태 또는 특정 시점에서의 상태에서 실-시간으로 인간 전문가(human expert)를 시각적으로 몰입(immersing)시키는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터는 다음과 같은 것들:
    -- 상기 원격통신 네트워크(100)의 상기 네트워크 노드들(101, 102, 103) 간에 교환되는 메시지들의 적어도 일부,
    -- 상기 원격통신 네트워크(100) 내에서 메시지들의 다양한 서로 다른 타입들에 따라 이러한 교환되는 메시지들로부터 도출됨과 아울러 콘텐츠의 적어도 일부에 근거하는 이들의 서브세트(subset)들로부터 도출된 데이터로서,
    -- 시구간(time interval) 당 이러한 메시지들의 수에 관한 표시들,
    -- 상기 흐름에서의 진행중인 메시지들 및/또는 동일한 요청/응답 프로세스에 속하는 메시지들 간의 델타 시간 측정치(delta time measurement),
    -- 오디오 품질 표시자들, 지터(jitter), 지연(delay) 및 미디어의 품질,
    -- 호출 흐름 평가 데이터로서, 상기 원격통신 네트워크(100) 내에서 호출의 프로세싱에 관한 상기 상태 머신-기반 접근법을 사용하여 획득된 호출 흐름 평가 데이터를 제공하는 데이터,
    -- 상기 원격통신 네트워크(100)의 상기 네트워크 노드들(101, 102, 103) 중 적어도 일부의 시스템 로그 데이터(system log data),
    -- 상기 원격통신 네트워크(100)의 상기 네트워크 노드들(101, 102, 103) 중 적어도 일부의 애플리케이션 로그 데이터(application log data),
    -- 상기 원격통신 네트워크(100)의 상기 네트워크 노드들(101, 102, 103) 중 적어도 일부의 핵심 성능 표시자들(key performance indicators),
    -- 사용자들이 마주치는 에러들을 설명하는 메시지 콘텐츠
    중에서 하나 이상을 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 네트워크 노드들(101, 102, 103)은 상기 원격통신 네트워크(100)의 사용자들에게 통신 서비스들을 제공하기 위해 상기 원격통신 네트워크(100) 내에서 서로 상호작용하고 있고,
    상기 원격통신 네트워크(100)는 액세스 네트워크(access network)(120) 및 코어 네트워크(core network)(130)를 포함하고, 그리고/또는 네트워크 노드들(101, 102, 103)은 상기 원격통신 네트워크(100)의 상이한 계층들 상에서 동작하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 제 2 단계에서, 상기 머신-기반 엔티티(170)는, 머신 러닝 접근법 및 상태 머신-기반 접근법을 사용하는 것 외에,
    -- 유효성 검증 및/또는 장애해결을 수행하는 관점에서 인간 상호작용을 통한 인간 관여 러닝(human involvement learning), 그리고/또는
    -- 비정상들을 검출하고 그리고/또는 특징(feature)들을 클러스터링(clustering)하기 위한 인간 비관여 러닝(human noninvolvement learning), 그리고/또는
    -- 적용가능한 도메인 지식(domain knowledge)을 포함하는 동적으로 업데이트된 온톨로지(ontologies) 또는 의미론적 지식(semantic knowledge)에 근거하여 결정을 수행하기 위한 전문가 시스템 지식(expert system knowledge) 또는 전문가 시스템 정보(expert system information)를 사용하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 머신-기반 엔티티(170)에 의해, 머신 에이전트(machine agent)가 실현되고, 상기 머신 에이전트에 의해 유효성 검증(validation)이 수행되고, 고장이 일어난 경우 근본 원인 분석이 수행되고, 그리고/또는 상기 원격통신 네트워크(100) 내의 프로세스 또는 동작의 성공 또는 실패에 대한 결론을 내리는 것이 포함되는 것을 특징으로 하는 방법.
  7. 원격통신 네트워크(100)로서,
    상기 원격통신 네트워크(100)는 상기 원격통신 네트워크(100)의 네트워크 성능에 관한 유효성 검증 또는 결정 수행을 행하고 그리고/또는 상기 원격통신 네트워크(100) 내에서 장애해결 또는 성능 증진을 행하기 위한 원격통신 네트워크이며,
    상기 원격통신 네트워크(100)는 적어도 부분적으로 서로 상호작용하는 복수의 네트워크 노드들(101, 102, 103)을 포함하고,
    상기 원격통신 네트워크(100)는 데이터 저장 보관소(150) 및 머신-기반 엔티티(170)를 포함하거나 상기 데이터 저장 보관소(150) 및 상기 머신-기반 엔티티(170)와 관련되고,
    상기 원격통신 네트워크(100)에 관한 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터가 상기 데이터 저장 보관소(150) 내에 수집 및 저장되고, 그리고 분석될 수 있으며,
    상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터는 시각화 인터페이스(160)를 사용하여 시각화될 수 있고,
    상기 유효성 검증 또는 결정 수행 그리고/또는 상기 장애해결 또는 성능 증진은 상기 머신-기반 엔티티(170)를 사용하여 적용되고,
    상기 원격통신 네트워크(100)는,
    -- 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터가 상기 데이터 저장 보관소(150) 내에 수집 및 저장되도록 구성되고, 여기서 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터는 실-시간 스트림 프로세싱 및/또는 이력적 재생이 가능하도록 편성되며,
    상기 원격통신 네트워크(100)는,
    -- 상기 머신-기반 엔티티(170)가 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터 중 적어도 일부를 제공받도록 구성되고, 여기서 적어도
    -- 머신 러닝 접근법과, 그리고
    -- 상태 머신-기반 접근법이,
    상기 원격통신 네트워크(100) 내에서 문제점들이 검출되는 경우, 비정상 인식 및/또는 호출 흐름 평가 및/또는 근본 원인 분석을 실현하는데 사용되며,
    상기 머신 러닝 접근법은,
    (i) 머신 러닝 혹은 훈련을 위해,
    성공일 수 있거나 실패일 수 있는 상기 원격통신 네트워크(100) 내에서 실행되는 특정 개수의 테스트 호출들 또는 테스트 동작들에 대응하는 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터, 그리고
    상기 원격통신 네트워크(100) 내의 특정 테스트 호출 또는 테스트 동작이 성공했는지 여부 또는 실패했는지 여부에 관한 정보를 사용하여,
    (ii) 상기 원격통신 네트워크(100) 내의 추가적인 혹은 새로운 테스트 호출들 또는 테스트 동작들이 성공했는지 그렇지 않은지의 정보를 제공하고,
    상기 상태 머신-기반 접근법은,
    (i) 특정 네트워크 동작들 또는 기능들에 관하여,
    상기 원격통신 네트워크(100) 또는 상기 복수의 네트워크 노드들(101, 102, 103) 중 적어도 하나의 네트워크 노드를 특정 개수의 상이한 상태들 및 상기 상이한 상태들 간의 전이(transition)들을 갖는 상태 머신으로서 고려하여,
    (ii) 상기 네트워크 노드들(101, 102, 103) 간에 교환되는 상이한 통신 메시지들을 상기 고려되는 상태 머신의 상기 상이한 상태들에 맵핑 또는 할당하거나 상기 상이한 상태들 간의 전이들에 맵핑 또는 할당하며,
    여기서 통신 메시지들의 특정 패턴은 특정 통신 서비스 또는 네트워크 동작 또는 네트워크 기능의 성공적인 실행을 표시하고, 반면 통신 메시지들의 다른 특정 패턴은 성공적이지 못한 실행을 표시하고,
    상기 원격통신 네트워크(100)는 또한,
    상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터를 상기 데이터 저장 보관소(150) 내에 수집 및 저장하는 것과, 그리고 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터 중 적어도 일부를 상기 머신-기반 엔티티(170)에 제공하는 것을 연속적으로 혹은 반복적으로 수행함으로써, 출력(190)이 상기 머신-기반 엔티티(170)에 의해 발생되도록 구성되고,
    상기 머신-기반 엔티티(170)의 상기 출력(190)은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 상기 원격통신 네트워크(100)의 장애해결 또는 성능 증진을 행하는데 사용될 수 있는 정보 요소들을 포함하거나, 또는
    상기 머신-기반 엔티티(170)의 상기 출력(190)은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 상기 원격통신 네트워크(100) 내에서 장애해결 또는 성능 증진을 행할 수 있게 하고,
    상기 원격통신 네트워크(100)는 상기 시각화 인터페이스(160)를 포함하고,
    상기 시각화 인터페이스(160)는,
    상기 원격통신 네트워크(100) 또는 상기 원격통신 네트워크(100)의 네트워크 노드들(101, 102, 103)의 현재 상태 또는 특정 시점에서의 상태의 그래픽 표현에 의해 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터가 시각화되도록 구성되고,
    상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터는, 빠른 검색 및 일괄 프로세싱을 위해 복수-계층 저장과 결합된 효율적인 데이터 파이프라인을 사용하여, 실-시간 스트림 프로세싱이 수행될 수 있도록 편성되고,
    상기 그래픽 표현은 상기 원격통신 네트워크(100)의 현재 상태 또는 특정 시점에서의 상태까지 이어지는 시계열적 시각화를 포함하고,
    상기 네트워크 데이터(140)는 실-시간 스트림 프로세싱이 가능하도록 편성되어, 상기 네트워크 데이터(140)로부터 도출된 데이터를 발생시키기 위해, 원시 데이터를 보관소 또는 데이터베이스에 저장하고 상기 저장된 원시 데이터에 관해 데이터베이스 질의를 수행할 필요가 없게 되는 것을 특징으로 하는 원격통신 네트워크(100).
  8. 시스템으로서,
    상기 시스템은 원격통신 네트워크(100)의 네트워크 성능에 관한 유효성 검증 또는 결정 수행을 행하고 그리고/또는 원격통신 네트워크(100) 내에서 장애해결 또는 성능 증진을 행하기 위한 시스템이며,
    상기 시스템은 상기 원격통신 네트워크(100)를 포함하고,
    상기 원격통신 네트워크(100)는 적어도 부분적으로 서로 상호작용하는 복수의 네트워크 노드들(101, 102, 103)을 포함하고,
    상기 시스템은 데이터 저장 보관소(150) 및 머신-기반 엔티티(170)를 포함하고,
    상기 원격통신 네트워크(100)에 관한 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터가 상기 데이터 저장 보관소(150) 내에 수집 및 저장되고, 그리고 분석될 수 있으며,
    상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터는 시각화 인터페이스(160)를 사용하여 시각화될 수 있고,
    상기 유효성 검증 또는 결정 수행 그리고/또는 상기 장애해결 또는 성능 증진은 상기 머신-기반 엔티티(170)를 사용하여 적용되고,
    상기 시스템은,
    -- 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터가 상기 데이터 저장 보관소(150) 내에 수집 및 저장되도록 구성되고, 여기서 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터는 실-시간 스트림 프로세싱 및/또는 이력적 재생이 가능하도록 편성되며,
    상기 시스템은,
    -- 상기 머신-기반 엔티티(170)가 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터 중 적어도 일부를 제공받도록 구성되고, 여기서 적어도
    -- 머신 러닝 접근법과, 그리고
    -- 상태 머신-기반 접근법이,
    상기 원격통신 네트워크(100) 내에서 문제점들이 검출되는 경우, 비정상 인식 및/또는 호출 흐름 평가 및/또는 근본 원인 분석을 실현하는데 사용되며,
    상기 머신 러닝 접근법은,
    (i) 머신 러닝 혹은 훈련을 위해,
    성공일 수 있거나 실패일 수 있는 상기 원격통신 네트워크(100) 내에서 실행되는 특정 개수의 테스트 호출들 또는 테스트 동작들에 대응하는 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터, 그리고
    상기 원격통신 네트워크(100) 내의 특정 테스트 호출 또는 테스트 동작이 성공했는지 여부 또는 실패했는지 여부에 관한 정보를 사용하여,
    (ii) 상기 원격통신 네트워크(100) 내의 추가적인 혹은 새로운 테스트 호출들 또는 테스트 동작들이 성공했는지 그렇지 않은지의 정보를 제공하고,
    상기 상태 머신-기반 접근법은,
    (i) 특정 네트워크 동작들 또는 기능들에 관하여,
    상기 원격통신 네트워크(100) 또는 상기 복수의 네트워크 노드들(101, 102, 103) 중 적어도 하나의 네트워크 노드를 특정 개수의 상이한 상태들 및 상기 상이한 상태들 간의 전이(transition)들을 갖는 상태 머신으로서 고려하여,
    (ii) 상기 네트워크 노드들(101, 102, 103) 간에 교환되는 상이한 통신 메시지들을 상기 고려되는 상태 머신의 상기 상이한 상태들에 맵핑 또는 할당하거나 상기 상이한 상태들 간의 전이들에 맵핑 또는 할당하며,
    여기서 통신 메시지들의 특정 패턴은 특정 통신 서비스 또는 네트워크 동작 또는 네트워크 기능의 성공적인 실행을 표시하고, 반면 통신 메시지들의 다른 특정 패턴은 성공적이지 못한 실행을 표시하고,
    상기 시스템은 또한,
    상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터를 상기 데이터 저장 보관소(150) 내에 수집 및 저장하는 것과, 그리고 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터 중 적어도 일부를 상기 머신-기반 엔티티(170)에 제공하는 것을 연속적으로 혹은 반복적으로 수행함으로써, 출력(190)이 상기 머신-기반 엔티티(170)에 의해 발생되도록 구성되고,
    상기 머신-기반 엔티티(170)의 상기 출력(190)은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 상기 원격통신 네트워크(100)의 장애해결 또는 성능 증진을 행하는데 사용될 수 있는 정보 요소들을 포함하거나, 또는
    상기 머신-기반 엔티티(170)의 상기 출력(190)은, 네트워크 성능에 관한 유효성 검증 또는 결정 수행 그리고/또는 상기 원격통신 네트워크(100) 내에서 장애해결 또는 성능 증진을 행할 수 있게 하고,
    상기 시스템은 상기 시각화 인터페이스(160)를 포함하고,
    상기 시각화 인터페이스(160)는,
    상기 원격통신 네트워크(100) 또는 상기 원격통신 네트워크(100)의 네트워크 노드들(101, 102, 103)의 현재 상태 또는 특정 시점에서의 상태의 그래픽 표현에 의해 상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터가 시각화되도록 구성되고,
    상기 네트워크 데이터(140) 및/또는 상기 네트워크 데이터(140)로부터 도출된 데이터는, 빠른 검색 및 일괄 프로세싱을 위해 복수-계층 저장과 결합된 효율적인 데이터 파이프라인을 사용하여, 실-시간 스트림 프로세싱이 수행될 수 있도록 편성되고,
    상기 그래픽 표현은 상기 원격통신 네트워크(100)의 현재 상태 또는 특정 시점에서의 상태까지 이어지는 시계열적 시각화를 포함하고,
    상기 네트워크 데이터(140)는 실-시간 스트림 프로세싱이 가능하도록 편성되어, 상기 네트워크 데이터(140)로부터 도출된 데이터를 발생시키기 위해, 원시 데이터를 보관소 또는 데이터베이스에 저장하고 상기 저장된 원시 데이터에 관해 데이터베이스 질의를 수행할 필요가 없게 되는 것을 특징으로 하는 시스템.
  9. 제7항에 있어서,
    상기 그래픽 표현은 적어도 3-차원적 표현에 대응하고,
    상기 그래픽 표현은 상기 원격통신 네트워크(100) 또는 상기 원격통신 네트워크(100)의 네트워크 노드들(101, 102, 103)의 현재 상태 또는 특정 시점에서의 상태에서 실-시간으로 인간 전문가를 시각적으로 몰입시키는 것을 특징으로 하는 원격통신 네트워크(100).
  10. 삭제
  11. 삭제
  12. 삭제
  13. 컴퓨터-판독가능 매체로서,
    상기 컴퓨터-판독가능 매체는 명령들을 포함하고,
    상기 명령들은, 컴퓨터 상에서 실행될 때, 또는 원격통신 네트워크(100)의 하나의 네트워크 노드(101, 102, 103) 또는 복수의 네트워크 노드들(101, 102, 103) 상에서 실행될 때, 또는 머신-기반 엔티티(170) 상에서 실행될 때, 또는 원격통신 네트워크(100)의 하나 또는 복수의 네트워크 노드들(101, 102, 103) 상에서 부분적으로 실행되고 머신-기반 엔티티(170) 상에서 부분적으로 실행될 때, 상기 컴퓨터 또는 상기 네트워크 노드(101, 102, 103) 또는 네트워크 노드들(101, 102, 103) 또는 상기 머신-기반 엔티티(170)로 하여금 청구항 제1항 내지 제6항 중 하나의 항에 따른 방법을 수행하도록 하는 것을 특징으로 하는 컴퓨터-판독가능 매체.
  14. 제8항에 있어서,
    상기 그래픽 표현은 적어도 3-차원적 표현에 대응하고,
    상기 그래픽 표현은 상기 원격통신 네트워크(100) 또는 상기 원격통신 네트워크(100)의 네트워크 노드들(101, 102, 103)의 현재 상태 또는 특정 시점에서의 상태에서 실-시간으로 인간 전문가를 시각적으로 몰입시키는 것을 특징으로 하는 시스템.
KR1020190108676A 2018-09-05 2019-09-03 원격통신 네트워크의 네트워크 성능에 관한 자율적 또는 ai-보조적 유효성 검증 또는 결정 수행을 행하고 그리고/또는 원격통신 네트워크 내에서 자율적 또는 ai-보조적 장애해결 또는 성능 증진을 행하기 위한 방법, 원격통신 네트워크, 시스템, 머신 지능 엔티티, 시각화 인터페이스, 컴퓨터 프로그램 그리고 컴퓨터-판독가능 매체 KR102325258B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18192770.8 2018-09-05
EP18192770.8A EP3621242A1 (en) 2018-09-05 2018-09-05 Method for an autonomic or ai-assisted validation or decision making regarding network performance of a telecommunications network and/or for an autonomic or ai-assisted troubleshooting or performance enhancement within a telecommunications network, telecommunications network, system, machine intelligence entity, visualization interface, computer program and computer-readable medium

Publications (2)

Publication Number Publication Date
KR20200028305A KR20200028305A (ko) 2020-03-16
KR102325258B1 true KR102325258B1 (ko) 2021-11-12

Family

ID=63528527

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190108676A KR102325258B1 (ko) 2018-09-05 2019-09-03 원격통신 네트워크의 네트워크 성능에 관한 자율적 또는 ai-보조적 유효성 검증 또는 결정 수행을 행하고 그리고/또는 원격통신 네트워크 내에서 자율적 또는 ai-보조적 장애해결 또는 성능 증진을 행하기 위한 방법, 원격통신 네트워크, 시스템, 머신 지능 엔티티, 시각화 인터페이스, 컴퓨터 프로그램 그리고 컴퓨터-판독가능 매체

Country Status (3)

Country Link
US (1) US20200076707A1 (ko)
EP (1) EP3621242A1 (ko)
KR (1) KR102325258B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230359539A1 (en) * 2020-07-17 2023-11-09 Telefonaktiebolaget Lm Ericsson (Publ) Improved software monitoring of real-time services
US11936542B2 (en) 2021-04-02 2024-03-19 Samsung Electronics Co., Ltd. Method of solving problem of network and apparatus for performing the same
KR20220137263A (ko) * 2021-04-02 2022-10-12 삼성전자주식회사 네트워크의 문제 해결 방법 및 그 방법을 수행하는 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040098617A1 (en) * 2002-11-18 2004-05-20 Research Foundation Of The State University Of New York Specification-based anomaly detection
US20100033485A1 (en) * 2008-08-06 2010-02-11 International Business Machines Corporation Method for visualizing monitoring data
US20170353991A1 (en) * 2016-06-07 2017-12-07 TUPL, Inc. Artificial intelligence-based network advisor
US20180232656A1 (en) * 2017-02-10 2018-08-16 Bank Of America Corporation Data Processing System with Machine Learning Engine to Provide System Disruption Detection and Predictive Impact and Mitigation Functions

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170310542A1 (en) * 2016-04-22 2017-10-26 Netsights360 Integrated digital network management platform
WO2018133924A1 (en) * 2017-01-17 2018-07-26 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for analysing performance of a telecommunications network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040098617A1 (en) * 2002-11-18 2004-05-20 Research Foundation Of The State University Of New York Specification-based anomaly detection
US20100033485A1 (en) * 2008-08-06 2010-02-11 International Business Machines Corporation Method for visualizing monitoring data
US20170353991A1 (en) * 2016-06-07 2017-12-07 TUPL, Inc. Artificial intelligence-based network advisor
US20180232656A1 (en) * 2017-02-10 2018-08-16 Bank Of America Corporation Data Processing System with Machine Learning Engine to Provide System Disruption Detection and Predictive Impact and Mitigation Functions

Also Published As

Publication number Publication date
EP3621242A1 (en) 2020-03-11
US20200076707A1 (en) 2020-03-05
KR20200028305A (ko) 2020-03-16

Similar Documents

Publication Publication Date Title
US10175978B2 (en) Monitoring code sensitivity to cause software build breaks during software project development
KR102325258B1 (ko) 원격통신 네트워크의 네트워크 성능에 관한 자율적 또는 ai-보조적 유효성 검증 또는 결정 수행을 행하고 그리고/또는 원격통신 네트워크 내에서 자율적 또는 ai-보조적 장애해결 또는 성능 증진을 행하기 위한 방법, 원격통신 네트워크, 시스템, 머신 지능 엔티티, 시각화 인터페이스, 컴퓨터 프로그램 그리고 컴퓨터-판독가능 매체
WO2021088724A1 (zh) 一种测试方法及装置
KR102118670B1 (ko) Ict 인프라 관리 시스템 및 이를 이용한 ict 인프라 관리 방법
CN106844217A (zh) 对应用的控件进行埋点的方法及装置、可读存储介质
Tak et al. Logan: Problem diagnosis in the cloud using log-based reference models
US7881440B2 (en) Method for automatic graphical profiling of a system
US20130173479A1 (en) System and method of diagnosis of incidents and technical support regarding communication services
CN111108481B (zh) 故障分析方法及相关设备
CN110147327B (zh) 一种基于多粒度的web自动化测试管理方法
US11513872B2 (en) System and AI pattern model for actionable alerts for events within a ChatOps platform
US20230359934A1 (en) Intelligent Service Test Engine
CN109743286A (zh) 一种基于图卷积神经网络的ip类型标记方法及设备
Chen et al. Empowering practical root cause analysis by large language models for cloud incidents
Honsel et al. Mining software dependency networks for agent-based simulation of software evolution
Chen et al. Automatic Root Cause Analysis via Large Language Models for Cloud Incidents
Kothapalli et al. Continual monitoring of code quality
CN111158979A (zh) 服务的拨测方法、系统、装置及存储介质
CN111338609B (zh) 信息获取方法、装置、存储介质及终端
CN114092246A (zh) 金融交易链路的问题定位方法及装置
CN110738384B (zh) 事件序列的校验方法及系统
CN113626288A (zh) 故障处理方法、系统、装置、存储介质和电子设备
CN113065001A (zh) 一种故障止损方法及装置
Battista et al. E2E-Loader: A Framework to Support Performance Testing of Web Applications
Harper et al. The application of neural networks to predicting the root cause of service failures

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)