KR102420239B1 - 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 장치 및 방법 - Google Patents

Abstract

본 발명은 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 장치 및 방법에 관한 것이다. 본 발명의 일 실시예에 따른 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 장치에 있어서, 통신모듈; 보안 관제 서비스를 제공하기 위한 적어도 하나의 프로세스를 저장하는 메모리; 및 상기 적어도 하나의 프로세스를 기반으로 상기 보안 관제 서비스를 제공하기 위한 동작을 수행하는 제어모듈을 포함하며, 상기 제어모듈은, 기존 모델에 의한 예측 이벤트를 수집하고, 상기 예측 이벤트에 대한 불확실성 지수 및 XAI(eXplainable Artificial Intelligence) 지수를 측정하고, 상기 측정된 불확실성 지수 및 XAI 지수를 기반으로 공격 유형 별 예측 이벤트 지수를 산출하고, 상기 산출된 예측 이벤트 지수를 기 저장된 공격 유형 별 피드백 이벤트 선별 기준과 비교하고, 상기 비교 결과를 기반으로 피드백이 필요한 피드백 대상 이벤트를 선별하며, 상기 공격 유형 별 예측 이벤트 지수는 예측 특징(Feature) 별 예측에 대해 측정된 기여도일 수 있다.

Description

보안관제 시스템에서의 인공지능 기반 모델 성능 개선 장치 및 방법{APPARATUS AND METHOD FOR IMPROVING MODEL PERFORMANCE BASED ON ARTIFICIAL INTELLIGENCE IN SECURITY MANAGEMENT SYSTEM}

본 발명은 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 장치 및 방법에 관한 것으로, 보다 상세하게는 초기 모델에 대한 불확실성 지수 및 XAI 지수를 기반으로 피드백 이벤트를 선별하여 모델 성능을 개선하기 위한 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 장치 및 방법에 관한 것이다.

정보자원 내의 정보의 중요성과 정보의 양이 커짐에 따라, 네트워크 상 보안의 중요성 역시 대두되었다. 정보자원의 보안을 위하여 통합보안관리시스템, 위협관리시스템, 방화벽, IDS, IPS 등의 보안장비 및 보안시스템이 사용되고 있다. 현재 지속적이고 가변성인 사이버 침해 시도 증가에 따라 많은 양의 보안이벤트가 발생하고 있으며 변화하는 공격에 대한 효율적인 대응이 필요한 상황이다.

보안관제에서의 인공지능 기술 도입은 한정된 시간과 가용 자원으로 기하급수적으로 증가하고 있는 방대한 데이터를 정확하고 신속하게 분석하고 우선순위가 높은 고위험 이벤트를 선별함으로써, 방대한 보안 데이터 분석에 소요되는 인간의 한계를 극복함과 동시에 고도화된 보안 위협에 능동적으로 대처하기 위해 발전하고 있다.

인공지능을 기반으로 하는 보안관제 시스템은 오탐 및/또는 미탐을 줄이고 보안관제 인력의 업무 효율성 향상을 목적으로 구축된다. 하지만, 구축 후 운영 단계에서 발생할 수 있는 초기 학습 데이터 오류 문제, 신규 이벤트 발생으로 인한 오탐 증가 등이 요인이 되어 지속적인 모델 개선 프로세스가 필요하다.

이를 위해 운영자는 만족스러운 예측 결과와 불만족스러운 예측 결과에 대해 각각 다른 레이블을 부여하여 재학습함으로써 머신 러닝 모델의 성능 향상시킬 수 있는 피드백(Feedback) 프로세스를 활용하고 있었다.

그러나, 방대한 양의 이벤트 분석으로 인한 업무 과중 중에도 관제인력은 피드백 대상 이벤트와 피드백을 주지 않아도 되는 이벤트를 선별해야 하는 업무가 추가되며 중복적인 피드백 이벤트가 발생하게 된다. 또한 소수 이벤트 확인하여 피드백 데이터를 만드는 것은 만족스러울 만큼 모델이 개선되지 않는다.

따라서, 인공지능을 기반으로 하는 머신러닝 모델을 이용하여 피드백의 대상이 되는 이벤트를 선별하여 제시함으로써 기존 모델의 성능을 개선할 수 있도록 하는 기술이 개발될 필요가 있다.

한국등록특허공보 제10-1672097호 (등록일: 2016년 10월 27일)

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 초기 모델에 대한 불확실성 지수 및 XAI 지수를 기반으로 피드백 대상 이벤트를 선별하여 제시함으로써 모델의 성능을 개선할 수 있도록 하는 것은 물론, 시간적 효율 및 경제적 효율을 향상시킬 수 있도록 하는 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 장치 및 방법을 제공함에 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 실시예에 따른 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 장치는, 통신모듈; 보안 관제 서비스를 제공하기 위한 적어도 하나의 프로세스를 저장하는 메모리; 및 상기 적어도 하나의 프로세스를 기반으로 상기 보안 관제 서비스를 제공하기 위한 동작을 수행하는 제어모듈을 포함하며, 상기 제어모듈은, 기존 모델에 의한 예측 이벤트를 수집하고, 상기 예측 이벤트에 대한 불확실성 지수 및 XAI(eXplainable Artificial Intelligence) 지수를 측정하고, 상기 측정된 불확실성 지수 및 XAI 지수를 기반으로 공격 유형 별 예측 이벤트 지수를 산출하고, 상기 산출된 예측 이벤트 지수를 기 저장된 공격 유형 별 피드백 이벤트 선별 기준과 비교하고, 상기 비교 결과를 기반으로 피드백이 필요한 피드백 대상 이벤트를 선별하며, 상기 공격 유형 별 예측 이벤트 지수는 예측 특징(Feature) 별 예측에 대해 측정된 기여도일 수 있다.

한편, 본 발명의 실시예에 따른 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 방법은, 초기 모델에서 예측 이벤트를 수집하는 단계; 상기 예측 이벤트에 대한 불확실성 지수 및 XAI(eXplainable Artificial Intelligence) 지수를 측정하는 단계; 상기 측정된 불확실성 지수 및 XAI 지수를 기반으로 공격 유형 별 예측 이벤트 지수를 산출하는 단계; 상기 산출된 예측 이벤트 지수를 기 저장된 공격 유형 별 피드백 이벤트 선별 기준과 비교하는 단계; 및 상기 비교 결과를 기반으로 피드백이 필요한 피드백 대상 이벤트를 선별하는 단계를 포함하며, 상기 공격 유형 별 예측 이벤트 지수는 예측 특징(Feature) 별 예측에 대해 측정된 기여도일 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 의하면, 초기 모델에 대한 불확실성 지수 및 XAI 지수를 기반으로 피드백 대상 이벤트를 선별하여 제시함으로써 모델의 성능을 개선할 수 있도록 하는 것은 물론, 시간적 효율 및 경제적 효율을 향상시킬 수 있도록 한다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 종래의 모델 성능 개선 프로세스를 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 장치의 구조를 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 프로세스를 대략적으로 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 방법을 나타내는 순서도이다.
도 5는 본 발명의 실시예에 따른 인공지능 기반 모델 성능 개선 방법에서 불확실성 지수를 측정하는 과정을 구체적으로 나타내는 순서도이다.
도 6은 본 발명의 실시예에 따른 인공지능 기반 모델 성능 개선 방법에서 XAI 지수를 측정하는 일 예를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 인공지능 기반 모델 성능 장치에서 피드백 이벤트 선별 결과에 따른 각 절차를 구체적으로 나타내는 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

명세서에서 사용되는 "부" 또는 "모듈"이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 "모듈"은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 "모듈"은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 "모듈"은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 "모듈"은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 "모듈"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 "모듈"들로 결합되거나 추가적인 구성요소들과 "부" 또는 "모듈"들로 더 분리될 수 있다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

도 1은 기존의 보안관제 시스템에서의 모델 성능 개선 프로세스를 나타내는 도면이다.

도 1을 참조하면, 기존의 모델 성능 개선 프로세스는 로우데이터(Raw data)를 이용하여 비지도 학습을 수행하여 이상치(Outlier)를 탐지하고, 레이블데이터(Label data)를 이용하여 지도 학습을 수행하여 이벤트를 예측(Prediction)한다.

이후, 이상치를 탐지한 결과에 대한 관제인력(분석가)의 평가를 피드백으로서 반영하여 새로운 데이터를 기반으로 모델을 업데이트 함으로써 그 성능을 개선해왔다.

그러나, 그 관제인력이 분석할 수 있는 이벤트의 건수가 제한되어 있고, 중복되는 피드백 이벤트 또는 피드백이 필요없는 이벤트에 대한 구분이 필요하기 때문에 경제적 손실 및 시간적 손실이 큰 실정이다.

도 2는 본 발명의 실시예에 따른 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 장치의 구조를 나타내는 블록도이다.

도 2를 참조하면, 본 발명의 실시예에 따른 인공지능 기반 보안관제 성능 개선 장치(이하, "성능 개선 장치"라 칭함)(100)는 통신모듈(110), 저장모듈(130) 및 제어모듈(150)를 포함하여 구성될 수 있다.

통신모듈(110)은 적어도 하나의 관제인력 단말, 적어도 하나의 관리자 단말 등 다른 장치들과 통신을 수행하기 위한 것으로, 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 한다.

무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 성능 개선 장치(100)는 앞에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.

근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 무선 통신망(Wireless Area Networks)을 통해 성능 개선 장치(100)와 각각의 서로 다른 장치, 장비, 단말 간 무선 통신을 지원할 수 있다. 이때, 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.

저장모듈(130)은 성능 개선 장치(100)의 다양한 기능을 지원하는 데이터 및/또는 각종 정보들을 저장한다. 성능 개선 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 성능 개선 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 한편, 응용 프로그램은, 제어모듈(150)에 저장되고, 성능 개선 장치(100) 상에 설치되어, 제어모듈(150)에 의하여 동작(또는 기능)을 수행하도록 구동될 수 있다.

구체적으로, 저장모듈(130)에는 적어도 하나의 관제인력 및 적어도 하나의 관리자에 대한 정보, 그들이 각각 사용하는 단말에 대한 정보가 등록 및 저장될 뿐만 아니라, 적어도 하나의 머신러닝 모델 및 적어도 하나의 프로세스를 저장한다. 저장모듈(130)에 저장되는 각 정보들은 필요에 따라 각각의 시간정보와 함께 저장될 수 있다.

이를 위해, 저장모듈(130)은 메모리를 포함할 수 있으며, 메모리는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 아울러, 메모리는 일시적, 영구적 또는 반영구적으로 정보를 저장할 수 있으며, 내장형 또는 탈착형으로 제공될 수 있다.

제어모듈(150)은 성능 개선 장치(100) 내 모든 구성들을 제어하여 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나, 저장모듈(130)에 저장된 명령어, 알고리즘, 응용 프로그램을 실행하여 각종 프로세스를 수행한다. 즉, 제어모듈(150)은 적어도 하나의 프로세스를 기반으로 보안 관제 서비스를 제공하기 위한 동작을 수행한다.

구체적으로, 제어모듈(150)은 기존 모델에 의한 예측 이벤트를 수집하고, 예측 이벤트에 대한 불확실성 지수 및 XAI(eXplainable Artificial Intelligence) 지수를 측정한 후, 그 측정된 불확실성 지수 및 XAI 지수를 기반으로 공격 유형 별 예측 이벤트 지수를 산출한다. 이후, 제어모듈(150)은 그 산출된 예측 이벤트 지수를 기 저장된 공격 유형 별 피드백 이벤트 선별 기준과 비교하고, 그 비교 결과를 기반으로 피드백이 필요한 피드백 대상 이벤트를 선별한다. 이때, 공격 유형 별 예측 이벤트 지수는 각 예측 특징(Feature) 별 예측에 대해 측정된 기여도일 수 있다.

예를 들어, 제어모듈(150)은 그 비교 결과, 예측 이벤트가 신규 공격유형 또는 지수에 해당하는 것으로 판단되면, 그 예측 이벤트를 피드백 이벤트로 신규 생성하여 신규 공격유형 및 지수를 저장하여 업데이트 하고, 예측 이벤트가 피드백 대상 이벤트에 해당하는 것으로 판단되면, 해당 피드백 대상 이벤트의 지수를 저장한다.

또한, 제어모듈(150)은 예측 이벤트 각각에 대한 예측 신뢰도 및 상기 초기 모델에 대한 평가 정보를 고려하여 상기 불확실성 지수를 측정하는데, 여기서, 예측 신뢰도는 예측해야 하는 대상의 레이블 별로 산출될 수 있다.

한편, 제어모듈(150)은 앞서 선별된 피드백 대상 이벤트를 시각화 하여 기 설정된 관제인력 단말로 송신하고, 그에 대한 응답으로서 기 설정된 관제인력 단말로부터 피드백 데이터를 수신하면, 그 피드백 데이터를 기 설정된 기간 동안 누적하여 저장한다. 이후, 제어모듈(150)은 기 설정된 기간이 도래하면, 새로운 데이터 및 그 기설정된 기간 동안 누적 저장된 피드백 데이터를 기반으로 기존 모델에 대한 학습을 수행하여 모델의 성능을 개선함으로써, 기존 모델을 성능이 개선된 모델로 교체할 수 있다. 즉, 제어모듈(150)은 기 설정된 기간 동안 누적 저장된 피드백 데이터를 기반으로 기존 모델에 대한 학습을 수행하여 신규 모델을 생성하고, 기존 모델을 그 생성된 신규 모델로 교체할 수 있다.

여기서, 피드백 데이터는 관리자가 앞서 선별된 각각의 피드백 대상 이벤트에 대한 정탐(Normal) 또는 오탐(Abnormal) 여부를 레이블 처리한 결과(이하, '레이블 처리 결과'라 칭함)를 포함한다.

또한, 제어모듈(150)은 선별된 피드백 대상 이벤트를 시각화 할 시, 공격 유형 별로 상기 불확실성 지수가 높은 순으로 시각화 하거나, XAI 지수가 유사한 피드백 대상 이벤트끼리 그룹화하여 시각화 할 수 있으며, 그 시각화 방식이나 형태는 한정하지 않는다. 이때, 제어모듈(150)은 피드백 데이터에 포함된 레이블 처리 결과를 XAI 지수 범위에 있는 다른 이벤트에 전파할 수 있다. 이때, 전파는 레이블 처리된 이벤트를 기준(지수)으로 피드백 대상 이벤트와 비교하여 유사한 기준의 다른 이벤트에 레이블을 자동 생성해주는 것을 나타낸다.

결과적으로, 제어모듈(150)은 기 설정된 주기에 따라 신규 생성된 피드백 이벤트를 이용하여 기존 모델에 대한 점진적 학습을 수행함으로써 기존 모델을 성능이 개선된 모델로 교체할 수 있다.

도 3은 본 발명의 실시예에 따른 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 프로세스를 대략적으로 나타내는 도면이다.

도 3을 참조하면, 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 프로세스는 크게 세 개의 단계로 구별될 수 있다. 이 세 개의 단계는 피드백 이벤트를 선별하는 제1 단계, 피드백을 제안 및 수행하는 제2 단계 및 피드백을 전파 및 적용하는 제3 단계를 포함할 수 있다.

제1 단계에서, 성능 개선 장치(100)는 기존 모델을 이용하여 예측 이벤트를 수집하고, 그 예측 이벤트에 대한 불확실성 지수 및 XAI 지수를 측정함으로써 피드백 대상 이벤트를 선별하여 데이터 베이스에 저장한다.

제2 단계에서, 성능 개선 장치(100)는 그 선별된 피드백 대상 이벤트를 기반으로 각 공격 유형 별 피드백 대상을 선정하고, 그 선정된 피드백 대상을 시각화 하여 기 설정된 관제인력 단말(미도시)로 송신함으로써 관제인력이 그 선정된 피드백 대상을 확인할 수 있도록 한다. 이후, 그에 대한 응답으로 관제인력이 관제인력 단말을 통해 피드백 데이터를 송신하면, 성능 개선 장치(100)로 그 피드백 데이터를 수신된다.

제3 단계에서, 성능 개선 장치(100)는 관제인력 단말로부터 수신된 피드백 데이터에 포함된 레이블 처리 결과를 XAI 지수 범위에 있는 다른 이벤트에 전파하고, 기 설정된 주기에 따라 신규 생성된 피드백 이벤트를 이용하여 기존 모델에 대한 점진적 학습을 수행함으로써 기존 모델 보다 성능이 개선된 모델을 생성 및 적용할 수 있다.

도 4는 본 발명의 실시예에 따른 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 방법을 나타내는 순서도이다.

도 4를 참조하면, 성능 개선 장치(100)는 기존 모델, 즉, 초기 모델에서 예측 이벤트를 수집하고(S201), 그 예측 이벤트에 대한 불확실성 지수 및 XAI(eXplainable Artificial Intelligence) 지수를 측정한다(S203).

그 다음으로, 성능 개선 장치(100)는 S203 단계에 의해 측정된 불확실성 지수 및 XAI 지수를 기반으로 공격 유형 별 예측 이벤트 지수를 산출하고(S205), 그 산출된 예측 이벤트 지수를 기 저장된 공격 유형 별 피드백 이벤트 선별 기준과 비교한다(S207). 이때, 공격 유형 별 예측 이벤트 지수는, 앞서 설명한 바와 같이 예측 특징(Feature) 별 예측에 대해 측정된 기여도일 수 있다.

이후, 성능 개선 장치(100)는 S207 단계에 따른 비교 결과를 기반으로 피드백이 필요한 피드백 대상 이벤트를 선별한다(S209).

도 5는 본 발명의 실시예에 따른 인공지능 기반 모델 성능 개선 방법에서 불확실성 지수를 측정하는 과정을 구체적으로 나타내는 순서도이다.

먼저, 성능 개선 장치(100)는 기존 모델이 개별 이벤트에 대해 예측할 시, 단일 이벤트에 대한 예측의 신뢰도 및 전반적인 모델의 성능 평가를 수행하고(S301), 예측의 신뢰도 및 모델 성능 평가를 고려하여 각각의 단일 이벤트 별 불확실성을 산출한다(S303).

이때, 예측의 신뢰도는 지도 학습의 모델의 경우, 예측을 해야하는 대상의 레이블(정탐 또는 오탐 여부) 별로 신뢰도를 확인할 수 있으며, 특별히 정의하지 않는 한 모든 클래스의 신로도의 합은 항상 1이 된다(일 예로서, 정탐 80%, 오탐 20%).

만약, 이벤트에 대한 신뢰도가 80점이라고 할 때, 하기와 같은 여러 방식으로 불확실성 점수를 산출할 수 있다. 예를 들어, SQL Injection 공격 이벤트 신뢰도가 정탐 99%이고, 오탐 1%인 경우에는 Simple Loss 함수 사용 시 불확실성 지수는 1.01이 되고, 정탐 51%이고, 오탐 49%인 경우에는 Simple Loss 함수 사용 시 불확실성 지수는 96.1이 될 수 있다.

도 6은 본 발명의 실시예에 따른 인공지능 기반 모델 성능 개선 방법에서 XAI 지수를 측정하는 일 예를 나타내는 도면이다.

통상적으로 XAI 지수는 오픈소스를 사용하는데, 오픈소스마다 상이하겠지만 일 예로서 국소적 대리모델(local surrogate model)을 생성하여 예측 이벤트에 대한 XAI 지수를 생성할 수 있다.

이러한 국소적 대리 모델의 생성 방식을 살펴보면, 블랙박스 모델(Black-box model)인 f를 기반으로 하는 예측을 통해 예측 이벤트를 수집하고, 동일한 입력(input) 값이 아닌 간소화(simplified) 된버전의 입력값을 통해 국소적 대리 모델인 g를 생성한다.

도 7은 본 발명의 실시예에 따른 인공지능 기반 모델 성능 장치에서 피드백 이벤트 선별 결과에 따른 각 절차를 구체적으로 나타내는 순서도이다.

측정된 불확실성 지수 및 XAI 지수를 기준으로 공격 유형 별 명확한 예측 이벤트 지수를 저장한다(S501). 예를 들어, SQL Injection 공격 이벤트는 정탐이 확실한 경우, 각 예측 특징(feature)에 대한 기여도가 무엇인지를 알 수 있다. 이에 따라, 조절 가능한 명확한 공격 유형 이벤트의 정탐 기준을 수립하여 선별할 수 있(S503)다. 그에 따른 기준을 피드백 이벤트 선별 기준으로 저장하고,이를 주기적으로 업데이트 할 수 있다.

그 다음으로, 그 기준을 통해 이벤트에 대한 신규 이벤트 여부를 판단하고(S505), 해당 이벤트가 신규 이벤트 유형인 경우, 즉, 새로운 이벤트가 발생한 경우, 동일 기준으로 측정하되, 명확한 이벤트 기준(오차 조절)에 포함되면 피드백 대상이 아닌 것으로 판단하고(S507), 명확하지 않은 이벤트 기준(오차 조절)에 포함되면 피드백 대상으로 지수와 함께 이벤트에 저장한다(S509).

한편, 해당 이벤트가 신규 이벤트 유형이긴 하지만, 다른 공격명의 지수와 유사한 경우, 피드백 제안 시 참조 데이터로 사용하도록 한다(S511).

이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 모델성능 개선 장치 110 : 통신모듈
130 : 저장모듈 150 : 제어모듈

Claims (10)

1. 인공지능 기반 보안관제 성능 개선 장치에 있어서,
   통신모듈;
   보안 관제 서비스를 제공하기 위한 적어도 하나의 프로세스를 저장하는 메모리; 및
   상기 적어도 하나의 프로세스를 기반으로 상기 보안 관제 서비스를 제공하기 위한 동작을 수행하는 제어모듈을 포함하며,
   상기 제어모듈은,
   기존 모델에 의한 예측 이벤트를 수집하고, 상기 예측 이벤트에 대한 불확실성 지수 및 XAI(eXplainable Artificial Intelligence) 지수를 측정하고, 상기 측정된 불확실성 지수 및 XAI 지수를 기반으로 공격 유형 별 예측 이벤트 지수를 산출하고, 상기 산출된 예측 이벤트 지수를 기 저장된 공격 유형 별 피드백 이벤트 선별 기준과 비교하고, 상기 비교 결과를 기반으로 피드백이 필요한 피드백 대상 이벤트를 선별하며,
   상기 공격 유형 별 예측 이벤트 지수는 예측 특징(Feature) 별 예측에 대해 측정된 기여도인 것을 특징으로 하는,
   보안관제 성능 개선 장치.
   
2. 제1항에 있어서,
   상기 제어모듈은,
   상기 선별된 피드백 대상 이벤트를 시각화 하여 기 설정된 관제인력 단말로 송신하며, 상기 기 설정된 관제인력 단말로부터 피드백 데이터를 수신하여 저장하고, 기 설정된 기간 동안 누적 저장된 피드백 데이터를 기반으로 상기 기존 모델에 대한 학습을 수행하여 신규 모델을 생성하고, 상기 기존 모델을 상기 신규 모델로 교체하는 것을 특징으로 하는,
   보안관제 성능 개선 장치.
   
3. 제2항에 있어서,
   상기 제어모듈은,
   상기 선별된 피드백 대상 이벤트를 공격 유형 별로 상기 불확실성 지수가 높은 순으로 시각화 하거나, 상기 XAI 지수가 유사한 피드백 대상 이벤트끼리 그룹화하여 시각화 하는 것을 특징으로 하는,
   보안관제 성능 개선 장치.
   
4. 제2항에 있어서,
   상기 피드백 데이터는, 관리자가 상기 선별된 각각의 피드백 대상 이벤트에 대한 정탐(Normal) 또는 오탐(Abnormal) 여부를 레이블 처리 결과를 포함하는 것으로,
   상기 제어모듈은,
   상기 레이블 처리 결과를 상기 XAI 지수의 범위에 있는 다른 이벤트에 전파하는 것을 특징으로 하는,
   보안관제 성능 개선 장치.
   
5. 제4항에 있어서,
   상기 제어모듈은,
   상기 예측 이벤트 각각에 대한 예측 신뢰도 및 초기 모델에 대한 평가 정보를 고려하여 상기 불확실성 지수를 측정하되,
   상기 예측 신뢰도는, 예측해야 하는 대상의 레이블 별로 산출되는 것을 특징으로 하는,
   보안관제 성능 개선 장치.
   
6. 제1항에 있어서,
   상기 제어모듈은,
   각 모델 예측 특징 별 예측에 대한 기여도를 측정하여 상기 XAI 지수를 측정하는 것을 특징으로 하는,
   보안관제 성능 개선 장치.
   
7. 제2항에 있어서,
   상기 제어모듈은,
   상기 비교 결과, 신규 공격유형 또는 지수에 해당하는 것으로 판단되면, 해당 예측 이벤트를 피드백 이벤트로 신규 생성하여 신규 공격유형 및 지수를 저장하여 업데이트 하고,
   상기 비교 결과, 피드백 대상 이벤트에 해당하는 것으로 판단되면, 해당 피드백 대상 이벤트의 지수를 저장하는 것을 특징으로 하는,
   보안관제 성능 개선 장치.
   
8. 제7항에 있어서,
   상기 제어모듈은,
   기 설정된 주기에 따라 상기 신규 생성된 피드백 이벤트를 이용하여 상기 기존 모델에 대한 점진적 학습을 수행하여 상기 기존 모델을 교체하는 것을 특징으로 하는,
   보안관제 성능 개선 장치.
   
9. 보안관제 시스템에서의 인공지능 기반 모델 성능 개선 방법에 있어서,
   초기 모델에서 예측 이벤트를 수집하는 단계;
   상기 예측 이벤트에 대한 불확실성 지수 및 XAI(eXplainable Artificial Intelligence) 지수를 측정하는 단계;
   상기 측정된 불확실성 지수 및 XAI 지수를 기반으로 공격 유형 별 예측 이벤트 지수를 산출하는 단계;
   상기 산출된 예측 이벤트 지수를 기 저장된 공격 유형 별 피드백 이벤트 선별 기준과 비교하는 단계; 및
   상기 비교 결과를 기반으로 피드백이 필요한 피드백 대상 이벤트를 선별하는 단계를 포함하며,
   상기 공격 유형 별 예측 이벤트 지수는 예측 특징(Feature) 별 예측에 대해 측정된 기여도인 것을 특징으로 하는,
   보안관제 성능 개선 방법.
   
10. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제8항 중 어느 한 항에 따른 인공지능 기반 모델 성능 개선 방법을 실행하기 위해 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.

Images