KR102403618B1

KR102403618B1 - Gan 및 drl을 이용한 의도 기반 네트워크 관리 시스템 및 그 방법

Info

Publication number: KR102403618B1
Application number: KR1020200164780A
Authority: KR
Inventors: 송왕철; 무하마드 아팍; 탈하 에흐마드 칸
Original assignee: 제주대학교산학협력단
Priority date: 2020-11-30
Filing date: 2020-11-30
Publication date: 2022-05-27

Abstract

본 발명은 의도 기반 네트워크 관리 시스템 및 방법에 관한 것으로, 본 발명에 따르면 GAN(Generative Adversarial Network)에 의해 네트워크 정책을 생성하고 DRL(Deep Reinforcement Learning)을 이용하여 생성된 정책을 최적화 함으로써 수작업으로 진행되던 네트워크 정책 결정이나 관리를 인공지능에 의해 사용자의 의도에 가까우면서도 최적화하여 수행할 수 있는 효과가 있다.

Description

GAN 및 DRL을 이용한 의도 기반 네트워크 관리 시스템 및 그 방법{INTENT-BASED NETWORK MANAGEMENT SYSTEM USING GENERATIVE ADVERSARIAL NETWORKS AND DEEP REINFORCEMENT LEARNING, METHOD THEREOF}

본 발명은 네트워크 관리에 관한 것으로, 특히 인공지능을 이용한 네트워크 관리에 관한 것이다.

최근 네트워크 환경은 가상화 기술의 출현으로 완전히 바뀌고 있는데, 대부분의 컴퓨팅 및 네트워크 서비스가 클라우드로 이전되는 추세이다. 또한 다양하고 역동적인 요건을 지닌 여러 서비스들로 인해 자원을 오케스트레이션(Orchestration) 하기가 복잡하게 되었다.

보통 네트워크 서비스는 다중의 VNF(Virtual Network Functions)가 함께 연결(Chaining)되어 VNFFG(VNF Forwarding Graph)로 정의될 수 있으며, 오케스트레이터(Orchestrator)를 통해 오케스트레이션 될 수 있다.

또한 각 서비스는 자신의 요건을 가지고 있는데, VNFFG에서 VNF 자원 모델링과 VNF 배치(Placement) 모델링을 통해 충족되는 자신만의 요건을 가지고 있으며 VNFFG의 이러한 임베딩(Embedding)은 NP-Complete한 문제이다. 따라서 종단간(End-to-End) 서비스에 있어서 VNFFG 임베딩 문제를 해결할 방법이 필요하다.

본 발명의 발명자들은 이러한 종래 기술의 VNFFG 임베딩 문제를 해결하기 위해 연구 노력해 왔다. 본 발명은 GAN (Generative Adversarial Network)과 DRL (Deep Reinforcement Learning)을 결합하여 VNFFG 형태로 최적의 정책들을 생성할 수 있는 네트워크 시스템을 완성하기 위해 많은 노력 끝에 본 발명을 완성하기에 이르렀다.

본 발명은 AI 주도형 자동화된 오케스트레이션을 통해 종단간에 있어 VNFFG 임베딩 문제를 해결할 수 있는 네트워크 시스템을 제공하는 것을 목적으로 한다.

한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론 할 수 있는 범위 내에서 추가적으로 고려될 것이다.

본 발명에 따른 의도 기반 네트워크 관리 시스템은,

사용자의 의도를 수신하기 위한 입력 모듈; 상기 입력 모듈로부터 사용자의 의도를 수신하여 정책을 생성하는 GAN(Generative Adversarial Network) 모듈; 상기 생성된 정책의 수행 결과를 수신하여 최적화하는 DRL(Deep Reinforcement Learning) 모듈; 및 네트워크에서 상기 정책의 수행 결과를 모니터링하고 분석하여 상기 DRL 모듈에 전달하는 모니터&분석 모듈;을 포함한다.

상기 GAN 모듈은, 상기 사용자의 의도에 따른 VNFFG 구성 시나리오를 생성하는 생성 모듈; 및 상기 생성된 VNFFG 구성 시나리오가 실행 가능한지 확인하는 구분 모듈;을 포함하는 것을 특징으로 한다.

상기 DRL 모듈은, 상기 정책의 수행 결과에 따른 보상을 판단하는 보상 모듈; 및 상기 보상에 따라 상기 DRL 모듈을 최적화하는 최적화 모듈;을 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따른 의도 기반 네트워크 관리 방법은,

사용자 의도를 입력받는 단계; 사용자 의도를 해석하여 동일한 기능을 달성할 수 있는 VNFFG 구성을 생성하여 배포하는 단계; 상기 배포된 VNFFG 구성에 의한 네트워크 수행 효과를 수신하는 단계; 및 상기 네트워크 수행 효과에 의해 상기 VNFFG 구성을 최적화 하는 단계;를 포함한다.

상기 사용자 의도를 해석하여 VNFFG 구성을 생성하는 것은 GAN(Generative Adversarial Network)에 의해 수행되는 것을 특징으로 한다.

상기 VNFFG 구성을 최적화 하는 단계는 DRL(Deep Reinforcement Learning)을 이용하여 수행되는 것을 특징으로 한다.

본 발명에 따르면 AI 주도형 의도 해석을 제공함으로써 네트워크 관리와 오케스트레이션에 있어서 최대화된 자동화를 이룰 수 있는 효과가 있다.

한편, 여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.

도 1은 본 발명의 바람직한 어느 실시예에 따른 전체 의도 기반 네트워크 관리 시스템의 개략적인 구조도이다.
도 2는 본 발명의 바람직한 어느 실시예에 따른 GAN 모듈의 보다 자세한 구조도이다.
도 3은 본 발명의 바람직한 어느 실시예에 따른 DRL 모듈의 보다 자세한 구조도이다.
도 4는 본 발명의 바람직한 다른 실시예에 따른 의도 기반 네트워크 관리 방법의 개략적인 흐름도이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다

이하, 도면을 참조하여 본 발명의 다양한 실시예가 안내하는 본 발명의 구성과 그 구성으로부터 비롯되는 효과에 대해 살펴본다. 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

'제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 상기 구성요소는 위 용어에 의해 한정되어서는 안 된다. 위 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 표현하지 않는 한, 복수의 표현을 포함한다. 본 발명의 실시예에서 사용되는 용어는 다르게 정의되지 않는 한, 해당 기술분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다.

이하, 도면을 참조하여 본 발명의 다양한 실시예가 안내하는 본 발명의 구성과 그 구성으로부터 비롯되는 효과에 대해 살펴본다.

도 1은 본 발명의 바람직한 어느 실시예에 따른 전체 네트워크 시스템의 개략적인 구조도이다.

GAN 및 DRL을 이용한 의도 기반 네트워크 관리 시스템(10)는 입력 모듈(100), GAN 모듈(200), DRL 모듈(300) 및 모니터&분석부(400)를 포함할 수 있다.

본 발명에 따른 의도 기반 네트워크 관리 시스템(10)은 다중 도메인 네트워크를 조율하기 위해 AI(Artificial Intelligence) 기반 네트워크와 IBN(Intent-Based Network) 시스템을 사용한다. 또한 머신 러닝(Machine Learning)을 사용한 사용자 의도 해석에 기반을 둔다.

의도 기반 네트워크 관리 시스템(10)은 GAN 모듈(200)에 의해 자율적으로 생성된 여러 조건부 정책 중에서 최상의 정책을 결정하기 위해 DRL 모듈(300)과 함께 GAN 모듈(200)을 활용한다.

입력 모듈(100)는 사용자의 의도를 입력받기 위해 사용된다. 사용자는 GUI(Graphical User Interface) 등을 사용하여 필요한 의도를 제공할 수 있다.

GAN 모듈(200) 사용자 요구 사항에 따라 의도 해석 엔진(Intent Translation Engine)으로 정보 추출 기능을 사용하여 E2E(End-to-End) 디자인 저장소(20)로부터 VNFFG 정보를 가져오게 된다.

도 2는 본 발명의 바람직한 어느 실시예에 따른 GAN 모듈의 보다 자세한 구조도이다.

GAN 모듈(200)은 정보 추출 모듈(210), 생성 모듈(220) 및 구분 모듈(230)을 포함한다.

정보 추출 모듈(210)는 토폴로지, 리소스, CPU 및 필요한 메모리 정보를 E2E 디자인 저장소(20)로부터 가져와 필요한 VNFFG 정보를 생성 모듈(220)에 전달한다.

GAN은 생성자(Generator)와 구분자(Discriminator)로 구성된다. 생성자는 실제 데이터를 학습하여 실제에 가까운 가짜 데이터를 생성해내고, 구분자는 생성자가 생성한 데이터가 진짜인지 가짜인지 구분할 수 있도록 학습된다.

생성 모듈(Generative Module, 220)은 필요한 VNFFG를 그래프 형태로 수신한 다음 최적화를 통해 동일한 기능을 달성하기 위한 더 나은 VNFFG 구성 시나리오를 생성한다. 생성된 VNFFG는 DRL 모듈(300)과 시스템 외부의 설정 생성 장치(30)로 전달된다. 설정 생성 장치(30)는 플랫폼/도메인 의존적인 설정들을 생성하여 네트워크를 오케스트레이션 하게 된다.

구분 모듈(Discriminative Module, 230)은 생성 모듈(220)에서 생성된 정책들이 실행 가능한지 확인하게 된다. 따라서 구분 모듈(230)은 주어진 환경에서 결정 정책을 제공한다.

GAN 모듈(200)에 의해 생성된 정책에 의해, NSSFM (Network Subnet Service Management Function)을 사용하여 각 도메인에서 VNFFG를 오케스트레이션한다.

모니터&분석부(400)는 생성된 정책의 효과를 모니터링하고 시스템을 분석하여 DRL 모듈(300)에 제공한다. 설정 생성 장치(30)로부터 네트워크의 각 오케스트레이션 결과를 수신함으로써 생성된 정책의 효과를 모니터링하고 네트워크 시스템을 분석할 수 있다.

도 3은 본 발명의 바람직한 어느 실시예에 따른 DRL 모듈의 보다 자세한 구조도이다.

DRL 모듈(300)은 보상 모듈(310)과 최적화 모듈(320)로 구성되어 있다.

DRL은 기계학습의 하나로 주어진 환경에서 현재 상태를 인식하여 선택 가능한 행동들 중 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습하는 방법이다.

보상 모듈(310)은 모니터&분석부(400)에서 제공받은 정책의 효과를 분석하여 보상(Rewards)을 판단하게 된다.

최적화 모듈(320)은 보상 모듈(310)에서 판단한 보상이 최대가 될 수 있도록 DRL 모듈(300)의 최적화를 진행하고 그 결과를 GAN 모듈(200)로 전달하게 된다.

이러한 방식은 주어진 플랫폼의 차이에 의해 발생하는 복잡성을 피할 수 있게 해준다.

VNFFG 계산은 NP-Complete 문제이며 제안된 전략을 사용하면 머신 러닝을 통해 정책을 생성할 수 있다. 머신 러닝을 이용하면 수작업으로 정책 생성 및 의사 결정 시 발생할 수 있는 문제들을 해결할 수 있을 것이다.

따라서 GAN 모듈(200)과 DRL 모듈(300)은 서로 다른 플랫폼과 도메인의 종속성을 고려하지 않고 다양한 환경을 위한 VNFFG를 생성하는 가장 좋은 방법이 될 수 있다.

도 4는 본 발명의 바람직한 다른 실시예에 따른 의도 기반 네트워크 관리 방법의 흐름도이다.

본 발명에 따른 의도 기반 네트워크 관리 방법은 하나 이상의 프로세서 및 메모리를 포함하는 제어부에 의해 수행될 수 있다. 메모리에는 프로세서를 구동하기 위한 프로그램 코드 및 필요한 데이터들이 저장될 수 있다.

우선 사용자의 의도(Intent)를 입력받는다(S110). 사용자는 GUI 등을 사용하여 원하는 의도를 입력할 수 있다.

사용자 의도는 의도 해석 엔진에 의해 해석되고, 사용자 의도 실행을 위해 필요한 토폴로지, 리소스, CPU 및 필요한 메모리 정보 등이 E2E 디자인 저장소로부터 수신될 수 있다.

다음 GAN은 필요한 VNFFG를 그래프 형태로 수신한 다음 동일한 기능을 달성할 수 있는 더 나은 VNFFG 구성을 생성하여 네트워크 시스템에 배포하게 된다(S120).

배포된 정책들은 네트워크의 플랫폼/도메인 의존적인 설정들에 의해 오케스트레이션 되고, 생성된 정책의 효과를 모니터링하고 시스템을 분석하여 그 결과를 수신한다(S130).

수신된 정책 효과를 바탕으로 DRL을 이용하여 보상을 판단하고 그에 의해 최적화를 진행함으로써 정책을 최적화하게 된다(S140).

이상과 같이 본 발명에 따르면 GAN에 의해 생성한 네트워크 정책을 DRL을 이용하여 최적화 함으로써 사용자의 의도에 가까운 최적화된 네트워크 정책을 생성할 수 있는 효과가 있다.

본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

Claims

사용자의 의도를 수신하기 위한 입력 모듈;
상기 입력 모듈로부터 사용자의 의도를 수신하여 네트워크 서비스의 정책을 생성하는 GAN(Generative Adversarial Network) 모듈;
상기 생성된 네트워크 서비스 정책의 수행 결과를 수신하여 최적화하는 DRL(Deep Reinforcement Learning) 모듈; 및
네트워크에서 상기 정책의 수행 결과를 모니터링하고 분석하여 상기 DRL 모듈에 전달하는 모니터&분석 모듈;을 포함하되,
상기 GAN 모듈은,
상기 사용자의 의도에 따른 VNFFG 구성 시나리오를 생성하는 생성 모듈; 및
상기 생성된 VNFFG 구성 시나리오가 실행 가능한지 확인하는 구분 모듈;을 포함하는 것을 특징으로 하는, 의도 기반 네트워크 관리 시스템.
삭제
제1항에 있어서,
상기 DRL 모듈은,
상기 정책의 수행 결과에 따른 보상을 판단하는 보상 모듈; 및
상기 보상에 따라 상기 DRL 모듈을 최적화하는 최적화 모듈;을 포함하는 것을 특징으로 하는, 의도 기반 네트워크 관리 시스템.
삭제
삭제
삭제