KR20190001501A - Artificial intelligence operations system of telecommunication network, and operating method thereof - Google Patents

Artificial intelligence operations system of telecommunication network, and operating method thereof Download PDF

Info

Publication number
KR20190001501A
KR20190001501A KR1020180027629A KR20180027629A KR20190001501A KR 20190001501 A KR20190001501 A KR 20190001501A KR 1020180027629 A KR1020180027629 A KR 1020180027629A KR 20180027629 A KR20180027629 A KR 20180027629A KR 20190001501 A KR20190001501 A KR 20190001501A
Authority
KR
South Korea
Prior art keywords
learning
model
unit
data
communication network
Prior art date
Application number
KR1020180027629A
Other languages
Korean (ko)
Other versions
KR102087959B1 (en
Inventor
이동준
백성복
성종규
오준석
이종필
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Publication of KR20190001501A publication Critical patent/KR20190001501A/en
Application granted granted Critical
Publication of KR102087959B1 publication Critical patent/KR102087959B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/024—Standardisation; Integration using relational databases for representation of network management data, e.g. managing via structured query language [SQL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning

Abstract

The present invention relates to an artificial intelligence operations system of communication network, and the system comprises: a learning unit for learning at least one operational business model based on learning data; and a network data management unit for collecting communication network data including state information and management information of communication network equipment and generating learning data to be input to the input or output layer of the operational business model from the communication network data, wherein the operational business model includes at least one among a plurality of unit learning models and at least one combination model, and the combination model is a learning model composed of unit learning models selected from a plurality of unit learning models.

Description

통신망의 인공지능 운용 시스템 및 이의 동작 방법{ARTIFICIAL INTELLIGENCE OPERATIONS SYSTEM OF TELECOMMUNICATION NETWORK, AND OPERATING METHOD THEREOF}[0001] ARTIFICIAL INTELLIGENCE OPERATIONS SYSTEM OF TELECOMMUNICATION NETWORK, AND OPERATING METHOD THEREOF [0002]

본 발명은 통신망의 인공지능 운용 시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to an artificial intelligence operation system of a communication network.

최근 인공지능에 대한 관심과 연구가 활발히 진행되고 있다. 특히 컴퓨팅 파워의 놀라운 발전과 딥러닝 기술의 출현으로 인공지능 기술의 정확도가 획기적으로 개선됨에 따라 다양한 분야에서 인공지능 기술을 활용하고자 하는 연구가 활발하게 진행되고 있다. Recently, interest and research on artificial intelligence are actively under way. Especially, with the remarkable development of computing power and the emergence of deep learning technology, the accuracy of artificial intelligence technology is drastically improved, so that researches utilizing artificial intelligence technology in various fields are being actively carried out.

일반적으로 통신망 운용 업무는 운용 전문가의 노하우를 전산 절차로 정의하거나 룰기반의 전문가 시스템으로 구현되어 자동화되고 있다. 특히 기계학습 기반 인공지능 구현 기술이 발전함에 따라 통신망 운용 분야에도 이를 적용하려는 시도들이 있다. 하지만, 통신망 운용 업무는 복잡하고 다양하여 업무별로 독립적인 기계학습하는 것이 쉽지 않고, 연관된 통신 장비들과 연관된 업무들의 상관 관계를 반영하는 것도 쉽지 않으며, 실시간으로 생성되는 다양한 종류의 데이터를 분류하고 분석해야 하는 부담도 있다. In general, the network operation service is defined as a computerized procedure of the know-how of the operating experts or is implemented as a rule-based expert system. Especially, as the artificial intelligence implementation technology based on machine learning is developed, there are attempts to apply this to the field of network operation. However, it is difficult for the network operation task to be complicated and diverse, so that it is not easy to perform machine learning independently for each task, and it is not easy to reflect the correlation between the tasks related to the communication devices and to classify and analyze various types of data generated in real- There is also a burden to do.

따라서, 통신망 운용 업무에 적합한 학습 데이터 수집 및 학습 모델 생성 방법이 요구된다.Therefore, learning data collection and learning model generation methods suitable for the network operation task are required.

본 발명이 해결하고자 하는 과제는 수집한 통신망 데이터를 기초로 통신망 운용 업무 학습을 위한 학습 데이터를 생성하고, 복수의 단위 학습 모델들 중에서 선택된 단위 학습 모델들을 결합한 운용 업무 모델을 학습 데이터로 학습할 수 있는 통신망의 인공지능 운용 시스템 및 이의 동작 방법을 제공하는 것이다. A problem to be solved by the present invention is to create learning data for communication network operating task learning based on collected communication network data and to learn an operation business model combining unit learning models selected from a plurality of unit learning models as learning data And a method of operating the intelligent operation system.

본 발명이 해결하고자 하는 과제는 학습된 운용 업무 모델을 기초로 실시간 수집된 통신망 데이터로부터 통신망 상태 정보 및/또는 해결 정보를 포함하는 운용 정보를 출력하는 통신망의 인공지능 운용 시스템 및 이의 동작 방법을 제공하는 것이다. An object of the present invention is to provide an artificial intelligence operating system and a method of operating the artificial intelligence operating system of a communication network for outputting operational information including communication network status information and / or resolution information from communication network data collected in real time based on a learned operational service model .

한 실시예에 따른 통신망 인공지능 운용 시스템으로서, 학습 데이터를 기초로 적어도 하나의 운용 업무 모델을 학습시키는 학습부, 그리고 통신망 장비들의 상태 정보와 관리 정보를 포함하는 통신망 데이터를 수집하고, 상기 통신망 데이터로부터 상기 운용 업무 모델의 입력 계층이나 출력 계층에 입력되는 상기 학습 데이터를 생성하는 통신망 데이터 관리부를 포함한다. 상기 운용 업무 모델은 복수의 단위 학습 모델들 그리고 적어도 하나의 결합 모델 중 적어도 하나를 포함하고, 상기 결합 모델은 상기 복수의 단위 학습 모델들 중에서 선택된 단위 학습 모델들로 구성된 학습 모델이다.A communication network artificial intelligence management system according to one embodiment, comprising: a learning unit for learning at least one operation business model based on learning data; and communication network data collecting means for collecting communication network data including status information and management information of communication network equipment, And a communication network data management unit for generating the learning data input to the input or output layer of the operational service model. Wherein the operational service model includes at least one of a plurality of unit learning models and at least one combination model, and the combining model is a learning model composed of unit learning models selected from the plurality of unit learning models.

상기 통신망 데이터 관리부는 상기 통신망 데이터의 연관 관계 정보를 기초로 상기 학습 데이터를 생성할 수 있다.The communication network data management unit may generate the learning data based on association information of the communication network data.

상기 복수의 단위 학습 모델들을 구성하는 각 단위 학습 모델은 분류 학습 모델, 회귀 학습 모델, 비정상 탐지 학습 모델, 그리고 군집화 학습 모델 중 어느 하나의 학습 모델일 수 있다.Each unit learning model constituting the plurality of unit learning models may be any one of a classification learning model, a regression learning model, an abnormal detection learning model, and a clustering learning model.

상기 학습부는 상기 운용 업무 모델의 학습 알고리즘이나 변수 항목의 설정을 위한 사용자 인터페이스 화면을 제공하고, 상기 사용자 인터페이스 화면에서 입력된 정보에 따라 상기 운용 업무 모델의 설정을 조정한 후, 상기 학습 데이터를 이용하여 상기 운용 업무 모델을 학습시킬 수 있다.Wherein the learning unit provides a user interface screen for setting a learning algorithm or a variable item of the operational service model, adjusts the setting of the operational service model according to the information input on the user interface screen, So that the operational service model can be learned.

상기 변수 항목은 입력 계층 항목, 은닉 계층의 수, 출력 계층 항목, 학습 반복 회수, 초기값, 이웃의 수, 주성분의 수, 군집의 수, 군집의 중심 초기값, 그리고 학습 중지 조건 중 적어도 하나를 포함할 수 있다. 상기 변수 항목은 상기 운용 업무 모델의 학습 알고리즘에 따라 가변될 수 있다.The variable item includes at least one of an input hierarchy item, a number of hidden layers, an output hierarchy item, a number of learning iterations, an initial value, a number of neighbors, a number of principal components, a number of clusters, . The variable item may be varied according to the learning algorithm of the operational service model.

상기 통신망 인공지능 운용 시스템은 상기 학습부에서 학습된 운용 업무 모델을 선택하고, 상기 학습된 운용 업무 모델로 실시간 통신망 데이터로부터 생성된 쿼리 데이터를 입력하여 상기 학습된 운용 업무 모델이 제공하는 운용 정보를 출력하는 통신망 운용부를 더 포함할 수 있다.The communication network artificial intelligence management system selects an operation business model learned in the learning unit, inputs query data generated from real-time communication network data into the learned operational business model, and transmits operation information provided by the learned operational business model And may further include a communication network operating unit for outputting.

상기 통신망 운용부는 상기 학습부에서 학습된 적어도 하나의 운용 업무 모델을 표시하는 사용자 인터페이스 화면을 제공하고, 상기 사용자 인터페이스 화면에서 특정 운용 업무 모델이 선택되면, 상기 특정 운용 업무 모델로 상기 쿼리 데이터를 입력할 수 있다.Wherein the communication network operating unit provides a user interface screen displaying at least one operational business model learned in the learning unit and, when a specific operational business model is selected on the user interface screen, inputting the query data into the specific operational business model can do.

다른 실시예에 따른 통신망 인공지능 운용 시스템의 동작 방법으로서, 사용자 인터페이스 화면에서 학습 대상에 관련된 운용 업무 모델 제어 정보를 입력받는 단계, 상기 운용 업무 모델 제어 정보에 해당하는 학습 데이터를 획득하는 단계, 상기 운용 업무 모델 제어 정보에 해당하는 운용 업무 모델을 생성하는 단계, 그리고 상기 운용 업무 모델을 상기 학습 데이터로 학습시키는 단계를 포함한다. 상기 운용 업무 모델 제어 정보는 상기 운용 업무 모델을 구성하는 학습 모델의 학습 알고리즘, 그리고 해당 학습 모델의 변수 항목을 포함한다.There is provided a method of operating a communication network artificial intelligence operating system according to another embodiment, comprising the steps of: receiving operation service model control information related to an object to be learned on a user interface screen; acquiring learning data corresponding to the operation service model control information; Generating an operation service model corresponding to the operation service model control information, and learning the operation service model with the learning data. The operation service model control information includes a learning algorithm of a learning model constituting the operational service model, and a variable item of the learning model.

상기 운용 업무 모델은 복수의 단위 학습 모델들 중 어느 하나의 단위 학습 모델이거나, 상기 복수의 단위 학습 모델들 중에서 선택된 단위 학습 모델들이 결합된 결합 모델일 수 있다.The operational service model may be a unit learning model of a plurality of unit learning models or a combined model in which unit learning models selected from the plurality of unit learning models are combined.

상기 복수의 단위 학습 모델들을 구성하는 각 단위 학습 모델은 분류 학습 모델, 회귀 학습 모델, 비정상 탐지 학습 모델, 그리고 군집화 학습 모델 중 어느 하나의 학습 모델일 수 있다.Each unit learning model constituting the plurality of unit learning models may be any one of a classification learning model, a regression learning model, an abnormal detection learning model, and a clustering learning model.

상기 운용 업무 모델을 생성하는 단계는 상기 운용 업무 모델 제어 정보에 상기 복수의 단위 학습 모델들 중에서 선택된 단위 학습 모델들의 정보가 포함된 경우, 선택된 단위 학습 모델들을 순차적으로 연결하여 상기 결합 모델을 생성할 수 있다.Wherein the operation task model generating step includes the steps of: when the operation task model control information includes information of the unit learning models selected from the plurality of unit learning models, sequentially connecting the selected unit learning models to generate the combined model .

상기 변수 항목은 입력 계층 항목, 은닉 계층의 수, 출력 계층 항목, 학습 반복 회수, 초기값, 이웃의 수, 주성분의 수, 군집의 수, 군집의 중심 초기값, 그리고 학습 중지 조건 중 적어도 하나를 포함할 수 있다. 상기 변수 항목은 상기 운용 업무 모델의 학습 알고리즘에 따라 가변될 수 있다.The variable item includes at least one of an input hierarchy item, a number of hidden layers, an output hierarchy item, a number of learning iterations, an initial value, a number of neighbors, a number of principal components, a number of clusters, . The variable item may be varied according to the learning algorithm of the operational service model.

또 다른 실시예에 따른 통신망 인공지능 운용 시스템의 동작 방법으로서, 실시간 통신망 데이터로부터 생성된 쿼리 데이터를 입력받는 단계, 학습된 운용 업무 모델에 상기 쿼리 데이터를 입력하는 단계, 그리고 상기 운용 업무 모델에서 출력된 통신망 장비의 운용 정보를 사용자 인터페이스 화면에 표시하는 단계를 포함한다. 상기 운용 업무 모델은 복수의 단위 학습 모델들 그리고 적어도 하나의 결합 모델 중 적어도 하나를 포함한다. 상기 결합 모델은 상기 복수의 단위 학습 모델들 중에서 선택된 단위 학습 모델들로 구성된 학습 모델이다. 상기 복수의 단위 학습 모델들을 구성하는 각 단위 학습 모델은 분류 학습 모델, 회귀 학습 모델, 비정상 탐지 학습 모델, 그리고 군집화 학습 모델 중 어느 하나의 학습 모델이다.A method for operating a communication network artificial intelligence operating system according to another embodiment includes receiving query data generated from real-time communication network data, inputting the query data into a learned operational business model, And displaying operation information of the communication network equipment on the user interface screen. The operational service model includes at least one of a plurality of unit learning models and at least one combination model. And the combining model is a learning model composed of unit learning models selected from the plurality of unit learning models. Wherein each unit learning model constituting the plurality of unit learning models is one of a classification learning model, a regression learning model, an abnormal detection learning model, and a clustering learning model.

상기 운용 정보는 고장 유무, 고장 원인 분류, 트래픽 예측, 증설 규모 예측, 장애 예측, 비정상 호 탐지, 부하 분산 중 적어도 하나를 포함하고, 각 운용 업무 모델에서 출력되는 운용 정보는 해당 운용 업무 모델을 구성하는 단위 학습 모델 및 학습 데이터에 의해 결정될 수 있다.The operation information includes at least one of a failure, a failure cause classification, a traffic prediction, an extension scale prediction, a failure prediction, an abnormal call detection, and a load distribution, and the operation information output from each operation service model constitutes a corresponding operation business model The unit learning model and the learning data.

상기 학습 데이터는 통신망 장비들의 상태 정보와 관리 정보를 포함하는 통신망 데이터로부터 생성될 수 있다.The learning data may be generated from network data including status information and management information of network equipment.

본 발명에 따르면, 분류 학습 모델, 회귀 학습 모델, 비정상 탐지 학습 모델, 군집화 학습 모델 등의 단위 학습 모델을 제공하고, 운용 업무의 복잡도에 따라 단일한 단위 학습 모델 또는 복수의 단위 학습 모델들을 결합한 결합 모델을 운용 업무 모델로 사용할 수 있다. 특히, 본 발명에 따르면, 추가적인 운용 업무 발생 시 구비된 단위 학습 모델들을 결합하여 저비용으로 신속하게 다양한 운용 업무 모델을 만들 수 있다. 본 발명에 따르면, 복잡하고 다양한 통신망 운용 업무를 자동화할 수 있다. According to the present invention, a unit learning model such as a classification learning model, a regression learning model, an abnormality detection learning model, and a clustering learning model is provided, and a combination of a single unit learning model or a plurality of unit learning models The model can be used as an operational business model. In particular, according to the present invention, it is possible to combine the unit learning models provided when additional operation tasks are generated, thereby quickly creating various operation service models at low cost. According to the present invention, it is possible to automate complex and diverse network operating tasks.

도 1은 실시예에 따른 통신망 인공지능 운용 시스템의 구성도이다.
도 2는 한 실시예에 따른 통신망 데이터 관리부의 구성도이다.
도 3은 한 실시예에 따른 운용 업무 모델 학습부의 동작 방법의 흐름도이다.
도 4는 다른 실시예에 따른 운용 업무 모델 학습부의 동작 방법의 흐름도이다.
도 5는 한 실시예에 따른 운용부의 동작 방법의 흐름도이다.1 is a configuration diagram of a communication network artificial intelligence operation system according to an embodiment.
2 is a configuration diagram of a network data management unit according to an embodiment.
3 is a flowchart of an operation method of an operation task model learning unit according to an embodiment.
4 is a flowchart of an operation method of an operation task model learning unit according to another embodiment.
5 is a flowchart of a method of operating an operating unit according to an embodiment.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, "" module," and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.

도 1은 실시예에 따른 통신망 인공지능 운용 시스템의 구성도이다.1 is a configuration diagram of a communication network artificial intelligence operation system according to an embodiment.

도 1을 참고하면, 통신망 인공지능 운용 시스템(100)은 운용 업무 모델들을 학습 데이터로 학습시킨다. 운용 업무 모델은 복수의 단위 학습 모델들(예를 들면, 분류 학습 모델, 회귀 학습 모델, 비정상 탐지 학습 모델, 군집화 학습 모델) 각각으로 구성되거나, 복수의 단위 학습 모델들 중에서 선택된 단위 학습 모델들을 결합한 결합 모델로 구성될 수 있다. 각 운용 업무 모델은 입력값으로부터 지정된 운용 정보를 출력하도록 학습되고, 컴퓨터 판독 가능한 저장매체에 저장되어 프로세서에 의해 동작하는 소프트웨어 프로그램으로 구현된다. 각 운용 업무 모델에서 출력되는 운용 정보는 운용자 또는 다른 네트워크 장치에게 제공되는 정보로서, 고장 유무(고장 판단), 고장 원인 분류, 트래픽 예측, 장비 증설 규모 예측, 장애 예측, 비정상 호(Fraud call) 탐지, 부하 분산 중 적어도 하나를 포함할 수 있는데, 출력되는 운용 정보는 다양하게 설정될 수 있다. 학습된 운용 업무 모델은 입력된 실시간 통신망 데이터에 관련된 운용 정보를 출력한다.Referring to FIG. 1, a communication network artificial intelligence operation system 100 learns operational business models as learning data. The operational service model may be composed of a plurality of unit learning models (for example, a classification learning model, a regression learning model, an abnormality detection learning model, and a clustering learning model), or may be constructed by combining unit learning models selected from a plurality of unit learning models Coupled model. Each operational service model is learned to output the specified operational information from the input values, and is implemented in a software program stored in a computer-readable storage medium and operated by the processor. The operation information output from each operation service model is information provided to the operator or other network device, and includes information on whether there is a failure (determination of failure), classification of the failure cause, traffic prediction, prediction of the scale of equipment expansion, prediction of failure, , And load distribution. The output operation information may be variously set. The learned operation service model outputs operation information related to the inputted real time communication network data.

통신망 인공지능 운용 시스템(100)은 통신망 데이터 관리부(110), 그리고 운용 업무 모델 학습부(130)를 포함한다. 통신망 인공지능 운용 시스템(100)은 학습된 운용 업무 모델을 이용하여 실시간으로 수집한 통신망 데이터로부터 해당 운용 업무 모델에서 학습된 운용 정보를 획득하는 통신망 운용부(150)를 포함한다. 통신망 데이터 관리부(110), 운용 업무 모델 학습부(130), 통신망 운용부(150) 각각은 운용자가 해당 장치를 제어하고, 운용자에게 출력 정보를 표시하는 인터페이스 화면을 제공할 수 있다. 또는 통신망 인공지능 운용 시스템(100)은 통신망 데이터 관리부(110), 운용 업무 모델 학습부(130), 통신망 운용부(150)와 연동하는 운용자 서버(미도시)를 통해, 해당 장치의 사용자 인터페이스 화면을 운용자에게 제공할 수 있다.The network artificial intelligence operation system 100 includes a communication network data management unit 110 and an operation business model learning unit 130. The network artificial intelligence operating system 100 includes a communication network operating unit 150 that acquires operating information learned in a corresponding operation service model from network data collected in real time using the learned operation service model. Each of the communication network data management unit 110, the operation service model learning unit 130, and the communication network operation unit 150 can provide an interface screen in which the operator controls the corresponding device and displays the output information to the operator. Or the network artificial intelligence operation system 100 is connected to the user interface screen of the corresponding device through an operator server (not shown) linked to the communication network data management unit 110, the operation business model learning unit 130, and the communication network operation unit 150 To the operator.

통신망 데이터 관리부(110)는 통신망 장비들 및 망관리시스템(Network Management System, NMS)으로부터 통신망 장비들의 상태 정보와 관리 정보를 포함하는 통신망 데이터를 수집한다. 통신망 장비의 상태 정보는 예를 들면, 경보, 성능/품질, 트래픽, 각종 로그(syslog), 호(call) 정보, 비정상 호 시도 이력, 트래픽 과부하 정보 등의 히스토리를 포함할 수 있다. 통신망 장비의 관리 정보는 예를 들면, 고장 원인 및 조치내역, 고장 신고 정보, 공사 정보, 그리고 운용자 처리 정보 등의 히스토리를 포함할 수 있다. The communication network data management unit 110 collects communication network data including status information and management information of communication network equipment from communication network equipment and a network management system (NMS). The status information of the network equipment may include, for example, a history of alarms, performance / quality, traffic, various logs, call information, abnormal call history, traffic overload information, The management information of the communication network equipment may include, for example, a history of the cause and action details of the failure, failure report information, construction information, and operator processing information.

통신망 데이터 관리부(110)는 데이터 제공 시스템의 데이터 제공 방법에 따라 해당 연동 방식(데이터베이스 연동, 실시간 메시징, 파일 전송 등)에 맞는 모듈을 구비하고 있다. 예를 들어, 통신망 데이터 관리부(110)는 데이터 제공 시스템이 관계형 데이터베이스(Relational Database, RDB)로 데이터를 보유하고 DB를 가져가도록 허용하는 경우, RDB 연동 모듈을 통해 통신망 데이터를 수집한다.The network data management unit 110 has modules corresponding to the interworking method (database interworking, real time messaging, file transfer, etc.) according to the data providing method of the data providing system. For example, the network data management unit 110 collects network data through the RDB interworking module when the data providing system allows data to be stored in a relational database (RDB) and take a DB.

통신망 데이터 관리부(110)는 수집한 통신망 데이터를 분산 파일 형태로 저장 및 관리한다.The network data management unit 110 stores and manages the collected network data in the form of a distributed file.

통신망 데이터 관리부(110)에서 수집된 통신망 데이터는 운용 업무 모델 학습부(130)에서 요구되는 학습 데이터로 가공될 수 있다. 또한 통신망 데이터 관리부(110)에서 수집된 실시간 통신망 데이터는 통신망 운용부(150)로 운용 정보 출력을 요청(질의)하기 위한 쿼리 데이터로 가공될 수 있다. 쿼리 데이터는 운용 업무 모델의 입력값으로 사용되어 운용 정보 출력에 사용된다.The communication network data collected by the communication network data management unit 110 can be processed into learning data required by the operation business model learning unit 130. Also, the real-time communication network data collected by the communication network data management unit 110 may be processed into query data for requesting (querying) the operation information output to the communication network operating unit 150. [ The query data is used as an input value of the operation business model and used for outputting operation information.

통신망 데이터 관리부(110)는 통신망 데이터로부터 운용 업무 모델의 입력 계층 및 출력 계층에 입력되는 학습 데이터를 생성한다. 이때, 통신망 데이터 관리부(110)는 수집된 통신망 데이터의 연관 관계 정보를 기초로 통신망 데이터 사이의 연관 관계를 분석하여 학습 데이터를 생성한다. 통신망 데이터 관리부(110)는 연관/상관관계 분석 툴(R, Spark)을 이용하여 연관/상관관계가 있는 데이터를 찾아 연관/상관관계가 있는 데이터들로 학습 데이터를 생성한다. 통신망 데이터 사이의 연관 관계는 발생 시간대, 발생 국소(발생 위치), 발생 장치, 물리 시설 연결 링크, 논리 회선 등을 기초로 추출될 수 있다.The network data management unit 110 generates learning data to be input to the input and output layers of the operational service model from the network data. At this time, the network data management unit 110 analyzes the association between communication network data based on the association information of the collected communication network data, and generates learning data. The network data management unit 110 uses the association / correlation analysis tool (R, Spark) to search for associated / correlated data and generate learning data with correlated / correlated data. The association between network data can be extracted based on the time of occurrence, the location of occurrence (location of occurrence), the generator, the physical connection link, the logical circuit, and the like.

운용 업무 모델 학습부(130)는 학습 데이터를 기초로 운용 업무 모델을 학습시킨다. 운용 업무 모델 학습부(130)는 통신망 데이터 관리부(110)로부터 입력받은 학습 데이터를 각 운용 업무 모델의 학습에 적합하도록 길이 조정, 문자 추가/삭제, 데이터 맵핑 등의 전처리한 후, 전처리한 학습 데이터로 운용 업무 모델을 학습시킨다. The operation service model learning unit 130 learns the operation service model based on the learning data. The operation service model learning unit 130 prepares the learning data input from the communication network data management unit 110 such as length adjustment, character addition / deletion, and data mapping so as to be suitable for learning of each operation service model, To learn the operation business model.

운용 업무 모델 학습부(130)는 복수의 운용 업무 모델을 포함할 수 있다. 각 운용 업무 모델은 각 단위 학습 모델로 구성되거나, 복수의 단위 학습 모델들 중에서 선택된 단위 학습 모델들을 결합한 결합 모델로 구성될 수 있다. 여기서, 단위 학습 모델은 분류 학습 모델, 회귀 학습 모델, 비정상 탐지 학습 모델, 군집화 학습 모델일 수 있다. 결합 모델은 복잡한 운용 업무 해결을 위해 선택된 복수의 단위 학습 모델들이 순차적으로 결합된 모델로서, 선행 단위 학습 모델의 출력값이 후행 단위 학습 모델의 입력 계층으로 입력되도록 결합된 학습 모델일 수 있다. 각 운용 업무 모델에서 출력되는 운용 정보는 고장 유무(고장 판단), 고장 원인 분류, 트래픽 예측, 증설 규모 예측, 장애 예측, 비정상 호(Fraud call) 탐지, 부하 분산 중 적어도 하나를 포함할 수 있고, 운용 정보는 다양하게 설정될 수 있다. The operation service model learning unit 130 may include a plurality of operation service models. Each operation service model may be constituted by each unit learning model or a combination model combining unit learning models selected from a plurality of unit learning models. Here, the unit learning model may be a classification learning model, a regression learning model, an abnormal detection learning model, and a clustering learning model. The combined model may be a learning model in which a plurality of unit learning models selected for solving a complex operation task are sequentially combined and the output value of the preceding unit learning model is input to the input layer of the following unit learning model. The operation information output from each operation service model may include at least one of the presence or absence of failure (failure determination), classification of failure cause, traffic prediction, expansion scale prediction, failure prediction, Fraud call detection, The operation information can be set variously.

분류 학습 모델은 멀티레이어 퍼셉트론, 컨볼루션 신경망(Convolutional Neural Network, CNN), 서포트 벡터 머신(Support Vector Machine, SVM) 알고리즘 등을 포함할 수 있다. 분류 학습 모델은 이진 분류 및 다중 분류를 수행할 수 있도록 입력 계층 항목, 은닉 계층의 수, 출력 계층 항목, 학습 반복 회수 및 초기값 설정 등의 변수 항목을 운용 업무에 따라 조정할 수 있도록 구성된다. 분류 학습 모델은 예를 들면, 고장 판단 및/또는 고장원인 분류를 포함하는 운용 정보를 출력하는 고장판단기 및/또는 고장원인 분류기로 동작하도록 학습될 수 있다.The classification learning model may include a multilayer perceptron, a convolutional neural network (CNN), a support vector machine (SVM) algorithm, and the like. The classification learning model is configured to adjust the variable items such as the input hierarchy item, the number of hidden hierarchies, the output hierarchy item, the number of learning iterations, and the initial value so as to perform the binary classification and the multiple classification. The classification learning model can be learned to operate as a failure determination unit and / or a failure cause classification unit that outputs operation information including, for example, a failure determination and / or a failure cause classification.

회귀 학습 모델은 순환 신경망(Recurrent Neural Network, RNN), 로지스틱 회귀(Logistic Regression) 알고리즘 등을 포함할 수 있다. 회귀 학습 모델은 추세 예측이나 미래의 값을 예측할 수 있도록 입력 계층 항목, 은닉 계층의 수, 미래 구간 수, 출력 계층 항목 수, 학습 반복 회수 및 초기값 설정 등의 변수 항목을 운용 업무에 따라 조정할 수 있도록 구성된다. 회귀 학습 모델은 예를 들면, 트래픽 예측 및/또는 장비 증설 규모 예측을 포함하는 운용 정보를 출력하는 트래픽 예측기 및/또는 시설 증설규모 예측기로 동작하도록 학습될 수 있다.The regression learning model may include a Recurrent Neural Network (RNN), a Logistic Regression algorithm, and the like. The regression model can adjust the variable items such as the input hierarchy item, the number of hidden hierarchies, the number of future intervals, the number of output hierarchy items, the number of learning iterations, and the initial value so as to predict trend prediction or future values. . The regression learning model can be learned to operate as a traffic estimator and / or an installed capacity estimator that outputs operational information including, for example, traffic prediction and / or equipment expansion scale prediction.

비정상 탐지 학습 모델은 K-최근접 이웃(K-nearest neighbors) 알고리즘, 주성분분석(Principal Component Analysis) 알고리즘 등을 포함할 수 있다. 비정상 탐지 학습 모델은 비정상적인 데이터를 식별하여 제시할 수 있도록 입력 계층 항목, 이웃의 수, 주성분의 수, 출력값의 범위, 학습 반복 회수 및 초기값 설정 등의 변수 항목을 운용 업무에 따라 조정할 수 있도록 구성된다. 비정상 탐지 학습 모델은 예를 들면, 장애 예측 및/또는 비정상 호 탐지를 포함하는 운용 정보를 출력하는 장애 예측기 및/또는 비정상 호 탐지기로 동작하도록 학습될 수 있다.The anomaly detection learning model may include a K-nearest neighbors algorithm, a Principal Component Analysis algorithm, and the like. The abnormal detection learning model is configured to adjust the variable items such as the input hierarchy item, the number of neighbors, the number of principal components, the range of output values, the number of learning iterations, and the initial value so that abnormal data can be identified do. The anomaly detection learning model may be learned to operate as a failure predictor and / or an abnormal call detector outputting operational information including, for example, failure prediction and / or abnormal call detection.

군집화 학습 모델은 K-평균(K-means) 알고리즘, 가우시안 혼합 모델(Gaussian Mixture Model, GMM) 알고리즘 등을 포함할 수 있다. 군집화 학습 모델은 다수의 그룹을 구분해 낼 수 있도록 군집의 수, 군집의 중심 초기값, 학습 중지 조건 등의 변수 항목을 운용 업무에 따라 조정할 수 있도록 구성된다. 군집화 학습 모델은 예를 들면, 부하 분산을 포함하는 운용 정보를 출력하는 부하 분산기로 동작하도록 학습될 수 있다.The clustering learning model may include a K-means algorithm, a Gaussian Mixture Model (GMM) algorithm, and the like. The clustering learning model is structured so that the variable items such as the number of clusters, the initial value of the center of the cluster, and the stopping condition of learning can be adjusted according to the operation tasks so that a plurality of groups can be distinguished. The clustering learning model can be learned to operate as a load balancer that outputs operation information including load balancing, for example.

운용 업무 모델 학습부(130)는 각 운용 업무 모델의 성능을 검증한 후, 검증된 운용 업무 모델을 통신망 운용부(150)에서 사용할 수 있도록 할 수 있다. 검증용 고장판단기와 고장원인 분류기를 통해 분류 학습 모델 및 이의 학습 데이터를 검증할 수 있다. 검증용 트래픽 예측기와 시설 증설규모 예측기를 통해 회귀 학습 모델 및 이의 학습 데이터를 검증할 수 있다. 검증용 장애 예측기와 비정상 호 탐지기를 통해 비정상 탐지 학습 모델 및 이의 학습 데이터를 검증할 수 있다. 검증용 부하 분산기를 통해 군집화 학습 모델 및 이의 학습 데이터를 검증할 수 있다. 운용 업무 모델 학습부(130)는 각 운용 업무 모델이 통신망 운용 업무에 적합한지와 성능을 검증하기 위한 시범 서비스로, 분류 분야 응용 서비스(고장판단기, 고장원인 분류기), 회귀 분야 응용 서비스(트래픽 예측기, 시설증설 규모 예측기), 비정상 탐지 분야 응용 서비스(비정상 호 탐지기), 군집화 분야 응용 서비스(부하 분산기)를 포함하는 응용 서비스 계층을 구비하고 있다.The operation service model learning unit 130 may verify the performance of each operation service model and then use the verified operation service model in the network operation unit 150. [ The classification learning model and its learning data can be verified through the verification failure tester and the failure cause classifier. The regression learning model and its learning data can be verified through the verification traffic estimator and the facility expansion scale predictor. The anomaly detection learning model and its learning data can be verified through the failure predictor for verification and the abnormal call detector. The clustering learning model and its learning data can be verified through the load balancer for verification. The operation service model learning unit 130 is a pilot service for verifying whether each operation service model is suitable for the network operation service and its performance and is classified into a classification application service (failure determiner, failure cause classifier), a regression field application service And an application service layer including an application service (abnormal call detector) and an application service (load balancer) for clustering.

한편, 운용 업무 모델 학습부(130)는 운용자가 복수의 단위 학습 모델들 중 적어도 하나의 단위 학습 모델을 선택하여 결합 모델을 생성할 수 있는 인터페이스 화면을 제공할 수 있다. 운용 업무 모델 학습부(130)는 각 운용 업무 모델이 복수의 학습 알고리즘들을 제공하는 경우, 학습 알고리즘을 선택할 수 있는 인터페이스 화면을 제공할 수 있다. 또한, 운용 업무 모델 학습부(130)는 각 운용 업무 모델의 입력 계층 항목 및 출력 계층 항목을 조정할 수 있는 인터페이스 화면을 제공할 수 있다. Meanwhile, the operation service model learning unit 130 can provide an interface screen by which the operator can select at least one unit learning model among a plurality of unit learning models to generate a combined model. The operation task model learning unit 130 can provide an interface screen for selecting a learning algorithm when each operation task model provides a plurality of learning algorithms. In addition, the operation service model learning unit 130 may provide an interface screen for adjusting the input hierarchy item and the output hierarchy item of each operation business model.

운용 업무 모델 학습부(130)는 운용 업무 모델을 학습 데이터로 반복적으로 학습시킨 학습 결과를 운용자에게 제공할 수 있다. 학습 결과는 학습 횟수, 학습율, 학습 데이터, 출력값 등을 포함할 수 있다.The operation service model learning unit 130 can provide the operator with the learning results obtained by repeatedly learning the operation service model with the learning data. The learning result may include the number of learning times, learning rate, learning data, output value, and the like.

통신망 운용부(150)는 통신망 데이터 관리부(110)로부터 실시간 통신망 데이터로부터 생성된 쿼리 데이터를 입력받는다. 또는 통신망 운용부(150)는 지정된 운용 업무 모델의 입력 계층 항목에 맞게 실시간 통신망 데이터를 가공한 후, 가공한 실시간 통신망 데이터를 운용 업무 모델에 입력하여 출력되는 실시간 운용 정보를 획득할 수 있다. 설명에서는, 통신망 데이터 관리부(110)가 실시간 통신망 데이터로부터, 입력할 운용 업무 모델의 입력 계층 항목에 맞는 쿼리 데이터를 생성하고, 이를 통신망 운용부(150)에 제공하는 것으로 가정한다.The communication network operating unit 150 receives query data generated from the real-time communication network data from the communication network data management unit 110. Alternatively, the network operating unit 150 may process the real-time communication network data according to the input hierarchy item of the designated operational business model, and input the processed real-time network data into the operational business model to obtain real-time operational information. In the description, it is assumed that the network data management unit 110 generates query data corresponding to the input hierarchy item of the operational service model to be input from the real-time communication network data and provides it to the communication network operating unit 150.

통신망 운용부(150)는 운용자가 운용 업무 모델을 선택하고, 실시간 통신망 데이터를 입력하거나 지정할 수 있는 인터페이스 화면을 제공할 수 있다. 통신망 운용부(150)는 운용 업무 모델에서 출력되는 실시간 운용 정보를 운용자가 이해하기 쉬운 그래프, 챠트, 수치, 테이블 등의 시각적 형태로 표시할 수 있다.The network operating unit 150 may provide an interface screen by which an operator can select an operational business model and input or specify real-time communication network data. The network operating unit 150 can display the real-time operating information output from the operation business model in a visual form such as a graph, a chart, a numerical value, and a table that the operator can easily understand.

도 2는 한 실시예에 따른 통신망 데이터 관리부의 구성도이다.2 is a configuration diagram of a network data management unit according to an embodiment.

도 2를 참고하면, 통신망 데이터 관리부(110)는 통신망 데이터 수집부(111), 통신망 데이터 저장부(113), 통신망 데이터 분석부(115), 학습 데이터 생성부(117)를 포함한다. 통신망 데이터 관리부(110)는 쿼리 데이터 생성부(119)를 더 포함할 수 있다. 쿼리 데이터는 실시간 통신망 데이터를 운용 업무 모델의 입력 계층 항목에 맞게 생성한 입력 데이터로서, 통신망 운용부(150)에게 실시간 통신망 데이터에 관련된 운용 정보를 질의하기 위해 통신망 운용부(150)로 입력된다.2, the communication network data management unit 110 includes a communication network data collection unit 111, a communication network data storage unit 113, a communication network data analysis unit 115, and a learning data generation unit 117. The network data management unit 110 may further include a query data generation unit 119. The query data is input data generated by adapting the real-time communication network data according to the input hierarchy item of the operational service model, and is input to the communication network operating unit 150 to inquire the operating information related to the real-time communication network data to the communication network operating unit 150.

통신망 데이터 수집부(111)는 통신망 장비들 및 망관리시스템으로부터 통신망 장비들의 상태 정보와 관리 정보를 포함하는 통신망 데이터를 수집한다. 통신망 데이터 수집부(111)는 히스토리 데이터를 수집하는 로그데이터 수집기를 통해, 경보, 성능/품질, 트래픽, 각종 로그(syslog), 호(call) 정보, 비정상 호 시도 이력, 트래픽 과부하 정보 등의 통신망 장비의 상태 정보, 그리고 고장 원인 및 조치내역, 고장 신고 정보, 공사 정보, 그리고 운용자 처리 정보 등의 통신망 장비의 관리 정보를 수집할 수 있다. 통신망 데이터 수집부(111)는 RDB 데이터 수집기를 통해, 관계형 데이터베이스와 연동하여 연관 관계 정보를 수집한다.The communication network data collection unit 111 collects communication network data including status information and management information of communication network equipment from the communication network equipment and the network management system. The communication network data collecting unit 111 collects the history data by using a log data collector for collecting history data such as alarms, performance / quality, traffic, various kinds of logs, call information, abnormal call history, The management information of the communication network equipment such as the status information of the equipment, the cause and action of the failure, the failure report information, the construction information, and the operator processing information. The network data collecting unit 111 collects association information by interworking with the relational database through the RDB data collector.

통신망 데이터 수집부(111)는 실시간 데이터 수집기를 통해, 운용 정보 획득을 위한 실시간 통신망 데이터를 수집한다. 통신망 데이터 수집부(111)는 수집된 데이터의 안정적 전달을 위해 분산 메시징 처리할 수 있다.The communication network data collecting unit 111 collects real-time communication network data for obtaining operating information through a real-time data collector. The network data collecting unit 111 can perform distributed messaging processing for stable delivery of the collected data.

통신망 데이터 저장부(113)는 수집된 데이터를 다수의 범용 컴퓨터에 분산 파일 형태로 저장 및 관리한다. The network data storage unit 113 stores and manages the collected data in a distributed file format on a plurality of general-purpose computers.

통신망 데이터 분석부(115)는 통신망 데이터 저장부(113)에 저장된 통신망 데이터의 연관 관계를 일괄 분석하여 연관 관계가 있는 통신망 데이터를 그룹핑한다. 예를 들어 통신장비 장애 경보의 경우, 발생장비, 발생시간, 공사/작업 여부, 성능저하 이력 등을 분석하여 고객사유 발생 경보, 공사/작업 사유 발생 경보, 성능저하로 인해 발생한 경보 등으로 그룹핑하고, 그 결과 학습 데이터로 사용할지 여부를 결정할 수 있다. 통신망 데이터 분석부(115)는 인메모리 분산처리기와 인메모리 쿼리기를 이용하여 일괄 분석할 수 있다. 또한, 통신망 데이터 분석부(115)는 스트리밍 데이터 분석기를 통해 통신망 데이터 발생 시점의 실시간 데이터 분석을 한다. 즉, 통신망 데이터 분석부(115)는 실시간으로 수집되는 스트리밍 데이터의 지연을 최소화하여 분석하여 제공하는 스트리밍 데이터 분석기를 구비하고, 이를 통해 네트워크 장애가 발생된 직후 실시간으로 경보, 성능 데이터를 수집하여 제공할 수 있다.The network data analysis unit 115 collectively analyzes the association of the network data stored in the network data storage unit 113 and groups the network data having the association. For example, in the case of a communication equipment failure alarm, it analyzes the occurrence equipment, the time of occurrence, the construction / operation status, and the history of the performance degradation to group them into alarms caused by customer accidents, alarms caused by construction / , And as a result, can be used as learning data. The network data analyzing unit 115 can perform batch analysis using an in-memory distributed processor and an in-memory query unit. Also, the network data analysis unit 115 analyzes real-time data at the time of generation of the network data through the streaming data analyzer. That is, the network data analysis unit 115 includes a streaming data analyzer that analyzes and provides delayed streaming data collected in real time, and collects and provides alarms and performance data in real time immediately after a network failure occurs .

학습 데이터 생성부(117)는 수집된 통신망 데이터의 발생 시간대, 발생 국소(발생 위치), 발생 장치, 물리 시설 연결 링크, 논리 회선 등의 연관 관계 정보를 기초로 통신망 데이터 사이의 연관 관계를 분석하여 학습 데이터를 생성한다. 대상 운용 업무에 따라 학습 데이터는 달라질 수 있다. 통신망 데이터들 간의 연관성을 따져서 관련이 있는 항목들을 모으는 작업을 진행할 수 있는 데이터 및 툴에 의해 연관성 있는 학습 데이터가 생성된다. 예를 들어 고장여부를 파악하기 위해 경보데이터(경보발생시간, 경보발생 장치, 경보발생 위치, 경보항목, 경보 등급 등), 공사정보(공사시간, 공사 대상장치, 대상장치와 연결된 링크, 회선명 등), 회선정보(회선명, 회선을 구성하는 장치, 회선이 연결된 장치의 포트/인터페이스 번호 등) 간의 관계를 따져서 공사를 하지 않는 장비이며, 동일 회선에 연결된 각각의 장비에서 관련된 경보가 발생하는 경우를 뽑아 연관 데이터로 추출한 후, 각 장치와 관련된 정보들을 결합하여 학습 데이터를 생성.할 수 있다. 학습 데이터 생성부(117)는 운용 업무 모델 학습부(130)로 학습 데이터를 제공한다. 이때, 학습 데이터 생성부(117)는 각 운용 업무 모델의 학습에서 요구되는 통신망 데이터를 이용하여 각 운용 업무 모델의 학습 데이터를 생성한다. 각 운용 업무 모델의 입력 계층 항목 및 출력 계층 항목이 학습 데이터로 구성된다.The learning data generation unit 117 analyzes the association between the communication network data based on the association information of the collected communication network data such as the generation time zone, the generated location (generation location), the generator, the physical connection link, and the logical connection And generates learning data. Learning data may vary depending on the target operating tasks. Associated learning data is generated by means of data and tools that can carry out work to gather relevant items based on the association between network data. For example, in order to determine whether a malfunction has occurred, alarm data (alarm occurrence time, alarm generating device, alarm occurrence position, alarm item, alarm level, etc.), construction information (construction time, construction target device, Etc.), line information (line name, device constituting line, port / interface number of device connected line, etc.), and related alarm is generated in each equipment connected to the same line And then extracts the related data, and then combines the information related to each device to generate learning data. The learning data generation unit 117 provides the learning data to the operation task model learning unit 130. [ At this time, the learning data generation unit 117 generates learning data of each operating service model using the communication network data required in the learning of each operating service model. The input hierarchy items and the output hierarchy items of each operational business model are composed of learning data.

쿼리 데이터 생성부(119)는 실시간으로 수집된 통신망 데이터를 입력받고, 지정된 운용 업무 모델의 입력 계층 항목에 맞게 실시간 통신망 데이터를 가공하여 쿼리 데이터를 생성한다. 쿼리 데이터 생성부(119)는 통신망 운용부(150)로 쿼리 데이터를 제공하여 운용 정보 출력을 요청한다.The query data generation unit 119 receives the communication network data collected in real time and generates query data by processing the real-time communication network data according to the input hierarchy item of the designated operation business model. The query data generation unit 119 provides query data to the network operating unit 150 to request the operation information output.

도 3은 한 실시예에 따른 운용 업무 모델 학습부의 동작 방법의 흐름도이다.3 is a flowchart of an operation method of an operation task model learning unit according to an embodiment.

도 3을 참고하면, 운용 업무 모델 학습부(130)는 운용자로부터 학습 대상에 관련된 운용 업무 모델 제어 정보를 입력받는다(S110). 운용 업무 모델 제어 정보는 학습 대상인 운용 업무 모델을 구성하는 적어도 하나의 단위 학습 모델(예를 들면, 분류 학습 모델, 회귀 학습 모델, 비정상 탐지 학습 모델, 군집화 학습 모델), 선택된 단위 학습 모델의 학습 알고리즘, 선택된 단위 학습 모델의 변수 항목(예를 들면, 입력 계층 항목, 은닉 계층의 수, 출력 계층 항목, 학습 반복 회수 및 초기값 설정 등) 등을 포함할 수 있다. 운용 업무 모델은 하나의 단위 학습 모델이거나 복수의 단위 학습 모델들이 결합된 결합 모델일 수 있다.Referring to FIG. 3, the operation service model learning unit 130 receives operation service model control information related to the learning object from the operator (S110). The operation service model control information includes at least one unit learning model (for example, a classification learning model, a regression learning model, an abnormality detection learning model, a clustering learning model), a learning algorithm of a selected unit learning model , A variable item of the selected unit learning model (for example, an input hierarchy item, a number of hidden layers, an output hierarchy item, a number of learning iterations, and an initial value setting). The operational service model may be a unit learning model or a combined model in which a plurality of unit learning models are combined.

운용 업무 모델 학습부(130)는 운용 업무 모델 제어 정보에 해당하는 학습 데이터를 획득한다(S120). 운용 업무 모델 학습부(130)는 통신망 데이터 관리부(110)로 운용 업무 모델 제어 정보에 해당하는 학습 데이터를 요청할 수 있다. 또는 운용 업무 모델 학습부(130)는 통신망 데이터 관리부(110)로부터 각 단위 학습 모델의 학습을 위한 단위 학습 모델별 초기 학습 데이터를 수신하고, 운용 업무 모델 제어 정보를 기초로 단위 학습 모델별 초기 학습 데이터를 생성하여 운용 업무 모델용 최종 학습 데이터를 만들 수 있다. 운용 업무 모델 학습부(130)는 입력받은 학습 데이터를 운용 업무 모델의 학습을 위해 길이 조정, 문자 추가/삭제, 데이터 맵핑 등의 전처리할 수 있다. The operation service model learning unit 130 acquires the learning data corresponding to the operation service model control information (S120). The operation service model learning unit 130 can request the communication network data management unit 110 for the learning data corresponding to the operation service model control information. Or the operation task model learning unit 130 receives the initial learning data for each unit learning model for learning each unit learning model from the communication network data management unit 110. Based on the operation task model control information, Data can be generated to create final learning data for operational business models. The operation task model learning unit 130 can preprocess input learning data such as length adjustment, character addition / deletion, and data mapping for learning of the operation task model.

운용 업무 모델 학습부(130)는 운용 업무 모델 제어 정보를 기초로 운용 업무 모델을 생성하고, 운용 업무 모델을 학습 데이터로 학습시킨다(S130).The operation service model learning unit 130 generates an operation service model based on the operation service model control information, and learns the operation service model as learning data (S130).

도 4는 다른 실시예에 따른 운용 업무 모델 학습부의 동작 방법의 흐름도이다.4 is a flowchart of an operation method of an operation task model learning unit according to another embodiment.

도 4를 참고하면, 운용 업무 모델 학습부(130)는 각 단위 학습 모델(예를 들면, 분류 학습 모델, 회귀 학습 모델, 비정상 탐지 학습 모델, 군집화 학습 모델)의 학습 알고리즘 및/또는 변수 항목을 입력받는다(S210).4, the operation-task-model learning unit 130 learns a learning algorithm and / or a variable item of each unit learning model (for example, a classification learning model, a regression learning model, an abnormality detection learning model, a clustering learning model) (S210).

운용 업무 모델 학습부(130)는 입력받은 학습 알고리즘 및/또는 변수 항목으로 각 단위 학습 모델의 설정을 조정한다(S220).The operation task model learning unit 130 adjusts the setting of each unit learning model with the input learning algorithm and / or variable item (S220).

운용 업무 모델 학습부(130)는 각 단위 학습 모델을 해당 단위 학습 모델의 학습 데이터로 학습시킨다(S230).The operation task model learning unit 130 learns each unit learning model with learning data of the corresponding unit learning model (S230).

이후, 운용 업무 모델 학습부(130)는 복수의 단위 학습 모델들을 결합한 운용 업무 모델 생성을 요청받는다(S240). 운용자는 운용 업무의 필요에 따라 다수의 단위 학습 모델들 결합하여 좀 더 복잡한 운용 업무의 해결을 위한 학습 모델을 구성할 수 있다. 이를 위해, 각 단위 학습 모델의 출력이 다른 단위 학습 모델의 입력으로 결합 가능한 프레임워크로 구성된다. 또는 복수의 단위 학습 모델들의 출력이 다른 단위 학습 모델의 입력으로 제공될 수 있도록 유연하게 결합 가능한 프레임워크로 구성될 수 있다.Thereafter, the operation service model learning unit 130 is requested to create an operation service model combining a plurality of unit learning models (S240). Operators can combine multiple unit learning models according to the needs of the operational task, and construct a learning model for solving more complex operation tasks. To this end, the output of each unit learning model is composed of a framework that can be combined with inputs of different unit learning models. Or a framework capable of flexibly combining so that the outputs of a plurality of unit learning models can be provided as inputs to other unit learning models.

운용 업무 모델 학습부(130)는 선택된 단위 학습 모델들의 입력과 출력을 순차적으로 결합하여 운용 업무 모델을 생성한다(S250).The operation service model learning unit 130 sequentially combines the input and output of the selected unit learning models to generate an operation service model (S250).

운용 업무 모델 학습부(130)는 운용 업무 모델을 학습 데이터로 최종 학습시킨다(S260).The operation task model learning unit 130 finally learns the operation task model as learning data (S260).

도 5는 한 실시예에 따른 운용부의 동작 방법의 흐름도이다.5 is a flowchart of a method of operating an operating unit according to an embodiment.

도 5를 참고하면, 통신망 운용부(150)는 실시간 통신망 데이터로부터 생성된 쿼리 데이터를 입력받는다(S310). 통신망 운용부(150)는 통신망 데이터 관리부(110)에 운용 업무 모델 또는 이의 입력 계층 항목을 전송하여 쿼리 데이터를 요청하거나, 통신망 데이터 관리부(110)로부터 수신한 실시간 통신망 데이터를 운용 업무 모델의 입력 계층 항목에 맞게 쿼리 데이터를 생성할 수 있다.Referring to FIG. 5, the network operating unit 150 receives query data generated from real-time network data (S310). The network operating unit 150 requests the inquiry data by transmitting an operational service model or an input layer item thereof to the communication network data managing unit 110 or transmits the real- It is possible to generate query data according to the item.

통신망 운용부(150)는 학습된 운용 업무 모델에 쿼리 데이터를 입력한다(S320). 이때, 학습된 운용 업무 모델이 복수인 경우, 통신망 운용부(150)는 운용 업무 모델들 각각으로 쿼리 데이터를 입력할 수 있다. The network operating unit 150 inputs the query data into the learned operation business model (S320). At this time, when there are a plurality of learned operation service models, the network operating unit 150 can input query data into each of the operation service models.

통신망 운용부(150)는 운용 업무 모델에서 출력된 운용 정보를 사용자 인터페이스 화면에 표시한다(S330). 예를 들어, 통신망 운용부(150)는 고장 판단 및 고장원인 분류를 출력하도록 학습된 분류 학습 모델로부터 실시간 통신망 데이터에 관련된 장비의 고장 판단 및 고장원인 분류 결과를 획득할 수 있다. 통신망 운용부(150)는 트래픽 예측 및 장비 증설 규모 예측을 출력하도록 학습된 회귀 학습 모델로부터 실시간 통신망 데이터에 관련된 장비의 트래픽 예측 및 장비 증설 규모 예측 결과를 획득할 수 있다. 통신망 운용부(150)는 장애 예측 및 비정상 호 탐지를 출력하도록 학습된 비정상 탐지 학습 모델로부터 실시간 통신망 데이터에 관련된 장비의 장애 예측 및 비정상 호 탐지 결과를 획득할 수 있다. 통신망 운용부(150)는 부하 분산을 출력하도록 학습된 군집화 학습 모델로부터 실시간 통신망 데이터에 관련된 장비의 부하 분산 결과를 획득할 수 있다. The communication network operating unit 150 displays the operation information output from the operation business model on the user interface screen (S330). For example, the network operating unit 150 can determine the failure of the equipment related to the real-time communication network data and the classification result of the failure cause from the learned classification learning model to output the failure determination and the failure cause classification. The network operating unit 150 can obtain traffic prediction and equipment expansion scale prediction results of equipment related to real-time communication network data from the learned regression learning model to output traffic prediction and equipment expansion scale prediction. The network operating unit 150 can obtain the failure prediction and the abnormal call detection result of the equipment related to the real time communication network data from the abnormal detection learning model that is learned to output the failure prediction and abnormal call detection. The network operating unit 150 may obtain the load distribution result of the equipment related to the real time communication network data from the learned clustering learning model to output the load variance.

이와 같이, 본 발명에 따르면, 분류 학습 모델, 회귀 학습 모델, 비정상 탐지 학습 모델, 군집화 학습 모델 등의 단위 학습 모델을 제공하고, 운용 업무의 복잡도에 따라 단일한 단위 학습 모델 또는 복수의 단위 학습 모델들을 결합한 결합 모델을 운용 업무 모델로 사용할 수 있다. 특히, 본 발명에 따르면, 추가적인 운용 업무 발생 시 구비된 단위 학습 모델들을 결합하여 저비용으로 신속하게 다양한 운용 업무 모델을 만들 수 있다. 본 발명에 따르면, 복잡하고 다양한 통신망 운용 업무를 자동화할 수 있다. As described above, according to the present invention, it is possible to provide a unit learning model such as a classification learning model, a regression learning model, an abnormality detection learning model, and a clustering learning model, and to provide a unit learning model or a plurality of unit learning models Can be used as a model for operational operations. In particular, according to the present invention, it is possible to combine the unit learning models provided when additional operation tasks are generated, thereby quickly creating various operation service models at low cost. According to the present invention, it is possible to automate complex and diverse network operating tasks.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.The embodiments of the present invention described above are not implemented only by the apparatus and method, but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (15)

통신망 인공지능 운용 시스템으로서,
학습 데이터를 기초로 적어도 하나의 운용 업무 모델을 학습시키는 학습부, 그리고
통신망 장비들의 상태 정보와 관리 정보를 포함하는 통신망 데이터를 수집하고, 상기 통신망 데이터로부터 상기 운용 업무 모델의 입력 계층이나 출력 계층에 입력되는 상기 학습 데이터를 생성하는 통신망 데이터 관리부를 포함하고,
상기 운용 업무 모델은 복수의 단위 학습 모델들 그리고 적어도 하나의 결합 모델 중 적어도 하나를 포함하고, 상기 결합 모델은 상기 복수의 단위 학습 모델들 중에서 선택된 단위 학습 모델들로 구성된 학습 모델인, 통신망 인공지능 운용 시스템.As a network artificial intelligence operation system,
A learning unit for learning at least one operational business model based on the learning data, and
And a communication network data management unit for collecting communication network data including status information of the communication network equipment and management information and generating the learning data inputted from the communication network data into the input layer or the output layer of the operational service model,
Wherein the operation service model includes at least one of a plurality of unit learning models and at least one combination model, and the combining model is a learning model composed of unit learning models selected from the plurality of unit learning models, Operating system. 제1항에서,
상기 통신망 데이터 관리부는
상기 통신망 데이터의 연관 관계 정보를 기초로 상기 학습 데이터를 생성하는, 통신망 인공지능 운용 시스템.The method of claim 1,
The network data management unit
And generates the learning data based on association information of the communication network data. 제1항에서,
상기 복수의 단위 학습 모델들을 구성하는 각 단위 학습 모델은 분류 학습 모델, 회귀 학습 모델, 비정상 탐지 학습 모델, 그리고 군집화 학습 모델 중 어느 하나의 학습 모델인, 통신망 인공지능 운용 시스템.The method of claim 1,
Wherein each unit learning model constituting the plurality of unit learning models is a learning model of any one of a classification learning model, a regression learning model, an abnormal detection learning model, and a clustering learning model. 제1항에서,
상기 학습부는
상기 운용 업무 모델의 학습 알고리즘이나 변수 항목의 설정을 위한 사용자 인터페이스 화면을 제공하고, 상기 사용자 인터페이스 화면에서 입력된 정보에 따라 상기 운용 업무 모델의 설정을 조정한 후, 상기 학습 데이터를 이용하여 상기 운용 업무 모델을 학습시키는, 통신망 인공지능 운용 시스템.The method of claim 1,
The learning unit
A user interface screen for setting a learning algorithm or a variable item of the operational service model is provided and the setting of the operational service model is adjusted according to the information inputted on the user interface screen, A communication network artificial intelligence operation system that learns business model. 제4항에서,
상기 변수 항목은 입력 계층 항목, 은닉 계층의 수, 출력 계층 항목, 학습 반복 회수, 초기값, 이웃의 수, 주성분의 수, 군집의 수, 군집의 중심 초기값, 그리고 학습 중지 조건 중 적어도 하나를 포함하고,
상기 변수 항목은 상기 운용 업무 모델의 학습 알고리즘에 따라 가변되는, 통신망 인공지능 운용 시스템.5. The method of claim 4,
The variable item includes at least one of an input hierarchy item, a number of hidden layers, an output hierarchy item, a number of learning iterations, an initial value, a number of neighbors, a number of principal components, a number of clusters, Including,
Wherein the variable item is variable according to a learning algorithm of the operational service model. 제1항에서,
상기 학습부에서 학습된 운용 업무 모델을 선택하고, 상기 학습된 운용 업무 모델로 실시간 통신망 데이터로부터 생성된 쿼리 데이터를 입력하여 상기 학습된 운용 업무 모델이 제공하는 운용 정보를 출력하는 통신망 운용부
를 더 포함하는 통신망 인공지능 운용 시스템.The method of claim 1,
A communication network operating unit for inputting query data generated from real-time communication network data into the learned operational business model and outputting operational information provided by the learned operational business model,
A network intelligence operating system. 제6항에서,
상기 통신망 운용부는
상기 학습부에서 학습된 적어도 하나의 운용 업무 모델을 표시하는 사용자 인터페이스 화면을 제공하고, 상기 사용자 인터페이스 화면에서 특정 운용 업무 모델이 선택되면, 상기 특정 운용 업무 모델로 상기 쿼리 데이터를 입력하는, 통신망 인공지능 운용 시스템.The method of claim 6,
The network operating unit
Wherein the management server is provided with a user interface screen for displaying at least one operational service model learned by the learning unit and inputs the query data to the specific operational service model when a specific operational service model is selected on the user interface screen, Intelligent operation system. 통신망 인공지능 운용 시스템의 동작 방법으로서,
사용자 인터페이스 화면에서 학습 대상에 관련된 운용 업무 모델 제어 정보를 입력받는 단계,
상기 운용 업무 모델 제어 정보에 해당하는 학습 데이터를 획득하는 단계,
상기 운용 업무 모델 제어 정보에 해당하는 운용 업무 모델을 생성하는 단계, 그리고
상기 운용 업무 모델을 상기 학습 데이터로 학습시키는 단계를 포함하고,
상기 운용 업무 모델 제어 정보는
상기 운용 업무 모델을 구성하는 학습 모델의 학습 알고리즘, 그리고 해당 학습 모델의 변수 항목을 포함하는, 동작 방법.A method of operating a communication network artificial intelligence operating system,
Receiving operational operation model control information related to a learning object from a user interface screen,
Acquiring learning data corresponding to the operation service model control information,
Generating an operational service model corresponding to the operational service model control information, and
Learning the operational service model with the learning data,
The operation service model control information includes
A learning algorithm of a learning model constituting the operational service model, and a variable item of the learning model. 제8항에서,
상기 운용 업무 모델은
복수의 단위 학습 모델들 중 어느 하나의 단위 학습 모델이거나, 상기 복수의 단위 학습 모델들 중에서 선택된 단위 학습 모델들이 결합된 결합 모델인, 동작 방법.9. The method of claim 8,
The operational service model
Wherein the learning model is a unit learning model of a plurality of unit learning models or a combination model in which unit learning models selected from the plurality of unit learning models are combined. 제9항에서,
상기 복수의 단위 학습 모델들을 구성하는 각 단위 학습 모델은 분류 학습 모델, 회귀 학습 모델, 비정상 탐지 학습 모델, 그리고 군집화 학습 모델 중 어느 하나의 학습 모델인, 동작 방법.The method of claim 9,
Wherein each unit learning model constituting the plurality of unit learning models is one of a classification learning model, a regression learning model, an abnormal detection learning model, and a clustering learning model. 제9항에서,
상기 운용 업무 모델을 생성하는 단계는
상기 운용 업무 모델 제어 정보에 상기 복수의 단위 학습 모델들 중에서 선택된 단위 학습 모델들의 정보가 포함된 경우, 선택된 단위 학습 모델들을 순차적으로 연결하여 상기 결합 모델을 생성하는, 동작 방법.The method of claim 9,
The step of creating the operational service model
Wherein when the operation task model control information includes information of unit learning models selected from the plurality of unit learning models, the selected unit learning models are sequentially connected to generate the combined model. 제8항에서,
상기 변수 항목은 입력 계층 항목, 은닉 계층의 수, 출력 계층 항목, 학습 반복 회수, 초기값, 이웃의 수, 주성분의 수, 군집의 수, 군집의 중심 초기값, 그리고 학습 중지 조건 중 적어도 하나를 포함하고,
상기 변수 항목은 상기 운용 업무 모델의 학습 알고리즘에 따라 가변되는, 동작 방법.9. The method of claim 8,
The variable item includes at least one of an input hierarchy item, a number of hidden layers, an output hierarchy item, a number of learning iterations, an initial value, a number of neighbors, a number of principal components, a number of clusters, Including,
Wherein the variable item is varied according to a learning algorithm of the operational service model. 통신망 인공지능 운용 시스템의 동작 방법으로서,
실시간 통신망 데이터로부터 생성된 쿼리 데이터를 입력받는 단계,
학습된 운용 업무 모델에 상기 쿼리 데이터를 입력하는 단계, 그리고
상기 운용 업무 모델에서 출력된 통신망 장비의 운용 정보를 사용자 인터페이스 화면에 표시하는 단계를 포함하고,
상기 운용 업무 모델은 복수의 단위 학습 모델들 그리고 적어도 하나의 결합 모델 중 적어도 하나를 포함하고,
상기 결합 모델은 상기 복수의 단위 학습 모델들 중에서 선택된 단위 학습 모델들로 구성된 학습 모델이며,
상기 복수의 단위 학습 모델들을 구성하는 각 단위 학습 모델은 분류 학습 모델, 회귀 학습 모델, 비정상 탐지 학습 모델, 그리고 군집화 학습 모델 중 어느 하나의 학습 모델인, 동작 방법.A method of operating a communication network artificial intelligence operating system,
Receiving query data generated from real-time communication network data,
Inputting the query data into a learned operational service model, and
And displaying operation information of the communication network equipment output from the operation service model on a user interface screen,
Wherein the operational service model includes at least one of a plurality of unit learning models and at least one coupling model,
Wherein the combined model is a learning model composed of unit learning models selected from the plurality of unit learning models,
Wherein each unit learning model constituting the plurality of unit learning models is one of a classification learning model, a regression learning model, an abnormal detection learning model, and a clustering learning model. 제13항에서,
상기 운용 정보는 고장 유무, 고장 원인 분류, 트래픽 예측, 증설 규모 예측, 장애 예측, 비정상 호 탐지, 부하 분산 중 적어도 하나를 포함하고,
각 운용 업무 모델에서 출력되는 운용 정보는 해당 운용 업무 모델을 구성하는 단위 학습 모델 및 학습 데이터에 의해 결정되는, 동작 방법.The method of claim 13,
Wherein the operation information includes at least one of a failure, a failure cause classification, a traffic prediction, an extension scale prediction, a failure prediction, an abnormal call detection,
Wherein operational information output from each operational business model is determined by a unitary learning model and learning data constituting the operational operational model. 제14항에서,
상기 학습 데이터는 통신망 장비들의 상태 정보와 관리 정보를 포함하는 통신망 데이터로부터 생성되는, 동작 방법.The method of claim 14,
Wherein the learning data is generated from network data including status information and management information of network equipment.
KR1020180027629A 2017-06-26 2018-03-08 Artificial intelligence operations system of telecommunication network, and operating method thereof KR102087959B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170080509 2017-06-26
KR20170080509 2017-06-26

Publications (2)

Publication Number Publication Date
KR20190001501A true KR20190001501A (en) 2019-01-04
KR102087959B1 KR102087959B1 (en) 2020-03-11

Family

ID=65018016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180027629A KR102087959B1 (en) 2017-06-26 2018-03-08 Artificial intelligence operations system of telecommunication network, and operating method thereof

Country Status (1)

Country Link
KR (1) KR102087959B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210026554A (en) * 2019-08-30 2021-03-10 주식회사 케이티 Apparatus, method and computer program for determining error of network equipment based on self-learning
KR102266114B1 (en) * 2021-01-06 2021-06-17 주식회사 휴라 Method and apparatus for determining frequency usage ratio by using artificial intelligence in radio monitoring system
KR20220031167A (en) * 2020-09-04 2022-03-11 (주) 에이티비스 Stream automatic transfer monitoring and control device when transmitting digital broadcasting signals
KR20220067758A (en) * 2020-11-18 2022-05-25 (주) 글루시스 Method and system for predicting failure of system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022065541A1 (en) * 2020-09-23 2022-03-31 주식회사 지니테크 Machine-learning-based blocked call detection system and control method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150193693A1 (en) * 2014-01-06 2015-07-09 Cisco Technology, Inc. Learning model selection in a distributed network

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150193693A1 (en) * 2014-01-06 2015-07-09 Cisco Technology, Inc. Learning model selection in a distributed network

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김근영 외. 기계학습을 활용한 5G통신 동향, 한국전자통신연구원. 2016년* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210026554A (en) * 2019-08-30 2021-03-10 주식회사 케이티 Apparatus, method and computer program for determining error of network equipment based on self-learning
KR20220031167A (en) * 2020-09-04 2022-03-11 (주) 에이티비스 Stream automatic transfer monitoring and control device when transmitting digital broadcasting signals
KR20220067758A (en) * 2020-11-18 2022-05-25 (주) 글루시스 Method and system for predicting failure of system
KR102266114B1 (en) * 2021-01-06 2021-06-17 주식회사 휴라 Method and apparatus for determining frequency usage ratio by using artificial intelligence in radio monitoring system

Also Published As

Publication number Publication date
KR102087959B1 (en) 2020-03-11

Similar Documents

Publication Publication Date Title
KR102087959B1 (en) Artificial intelligence operations system of telecommunication network, and operating method thereof
CN111931860B (en) Abnormal data detection method, device, equipment and storage medium
KR102118670B1 (en) System and method for management of ict infra
CN110493025B (en) Fault root cause diagnosis method and device based on multilayer digraphs
US11348023B2 (en) Identifying locations and causes of network faults
US11138058B2 (en) Hierarchical fault determination in an application performance management system
US11409962B2 (en) System and method for automated insight curation and alerting
CN111162949A (en) Interface monitoring method based on Java byte code embedding technology
CN108170566A (en) Product failure information processing method, system, equipment and collaboration platform
CN113313280B (en) Cloud platform inspection method, electronic equipment and nonvolatile storage medium
CN112559237B (en) Operation and maintenance system troubleshooting method and device, server and storage medium
CN115421950A (en) Automatic system operation and maintenance management method and system based on machine learning
US11153183B2 (en) Compacted messaging for application performance management system
US20180276566A1 (en) Automated meta parameter search for invariant based anomaly detectors in log analytics
KR101770066B1 (en) Method and system for real time tracking and analysing business transaction using application call log in distributed system
US10848371B2 (en) User interface for an application performance management system
WO2023093431A1 (en) Model training method and apparatus, and device, storage medium and program product
CN114676021A (en) Job log monitoring method and device, computer equipment and storage medium
Mijumbi et al. MAYOR: machine learning and analytics for automated operations and recovery
US10909242B2 (en) System and method for detecting security risks in a computer system
US10817396B2 (en) Recognition of operational elements by fingerprint in an application performance management system
CN115544202A (en) Alarm processing method, device and storage medium
WO2020261621A1 (en) Monitoring system, monitoring method, and program
CN113254781A (en) Model determination method and device in recommendation system, electronic equipment and storage medium
CN105897503A (en) Hadoop cluster bottleneck detection algorithm based on resource information gain

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant