KR101039717B1 - 사이버위협을 예측하기 위한 사이버위협 예측 엔진 시스템 및 상기 시스템을 이용한 사이버위협 예측 방법 - Google Patents

사이버위협을 예측하기 위한 사이버위협 예측 엔진 시스템 및 상기 시스템을 이용한 사이버위협 예측 방법 Download PDF

Info

Publication number
KR101039717B1
KR101039717B1 KR1020090061602A KR20090061602A KR101039717B1 KR 101039717 B1 KR101039717 B1 KR 101039717B1 KR 1020090061602 A KR1020090061602 A KR 1020090061602A KR 20090061602 A KR20090061602 A KR 20090061602A KR 101039717 B1 KR101039717 B1 KR 101039717B1
Authority
KR
South Korea
Prior art keywords
prediction
executor
information
item
cyber threat
Prior art date
Application number
KR1020090061602A
Other languages
English (en)
Other versions
KR20110004016A (ko
Inventor
백승현
박인성
이은영
윤주범
손기욱
최석진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090061602A priority Critical patent/KR101039717B1/ko
Priority to EP10797251.5A priority patent/EP2453381B1/en
Priority to US13/320,263 priority patent/US8800037B2/en
Priority to PCT/KR2010/004026 priority patent/WO2011004977A2/ko
Priority to JP2012511772A priority patent/JP2012527687A/ja
Publication of KR20110004016A publication Critical patent/KR20110004016A/ko
Application granted granted Critical
Publication of KR101039717B1 publication Critical patent/KR101039717B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577Assessing vulnerabilities and evaluating computer system security
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/107License processing; Key processing
    • G06F21/1078Logging; Metering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/552Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2129Authenticate client device independently of the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2145Inheriting rights or properties, e.g., propagation of permissions or restrictions within a hierarchy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2151Time stamp

Abstract

본 발명은 사이버위협 계층 구조상 하위 사이버위협을 예측하고 이를 이용하여 상위 사이버위협을 예측하기 위한 사이버위협 예측 엔진 시스템 및 방법에 관한 것이다.
본 발명의 일 실시예에 따른 사이버위협 예측 엔진 시스템은, 복수의 사이버위협 예측 항목 및 이에 연관된 예측 스케쥴 및 예측 모형 정보, 예측 항목 계층 구조 정보, 사이버위협 시계열 데이터, 사이버위협 표본 데이터를 포함하는 예측 정보를 저장하는 예측 정보 DB와, 상기 예측 정보 DB에 저장된 상기 예측 정보를 이용하여 계층 구조를 갖는 상기 복수의 사이버위협 예측 항목들에 대한 위협도를 예측하는 예측 엔진 코어 서브시스템과, 사용자 또는 외부 시스템으로부터 상기 예측 엔진 코어 서브시스템에 대한 제어 명령을 수신하여 상기 예측 엔진 코어 서브시스템에 전달하는 예측 엔진 제어 인터페이스를 포함한다.
사이버위협, 계층 구조, 예측 엔진

Description

사이버위협을 예측하기 위한 사이버위협 예측 엔진 시스템 및 상기 시스템을 이용한 사이버위협 예측 방법{Cyber Threat Forecasting Engine System for Predicting Cyber Threats and Method for Predicting Cyber Threats Using the Same System}
본 발명은 사이버위협을 예측하기 위한 사이버위협 예측 엔진 시스템 및 그 방법에 관한 것으로서, 구체적으로는 사이버위협 계층 구조상 하위 사이버위협을 예측하고 하위 사이버위협 예측결과를 이용하여 상위 사이버위협을 예측할 수 있는 사이버위협 예측 엔진 시스템 및 방법에 관한 것이다.
최근 인터넷 등 정보통신 기술의 빠른 성장으로 컴퓨터 해킹, 바이러스, 웜 그리고 트로이 목마 등의 사이버위협이 커지고 있다. 이와 같은 사이버위협에 대해 침입탐지시스템(IDS: Intrusion Detection System), 침입차단시스템(IPS: Intrusion Prevention System), 관제시스템, 통합보안관리시스템(ESM: Enterprise Security Management) 등이 존재하는데, 이러한 시스템들은 현재의 공격을 탐지하거나 현재의 네트워크 상태 정보를 제공할 수 있다.
그러나, 이러한 정보는 사이버위협 공격 사후 정보이기 때문에 사고를 미연 에 방지하거나 관리자나 사용자로 하여금 충분히 대처할 수 있도록 하는데 어려움이 있다. 또한, 상기의 사이버위협에 관한 정보들은 기상특보와 같은 단편적인 상황만을 전달하기 때문에 실제 보안 정책 및 예산을 수립하는 부서에서 알고 싶어 하는 해킹, 웜바이러스 등과 같이 보다 큰 범주 차원에 해당하는 사이버위협의 추세 혹은 전체 사이버위협 추세를 종합적으로 나타낸 예측 수치 정보는 담고 있지 않다.
이에 대하여, 해킹, 악성코드, 불법접근시도 등과 같은 범주 차원의 사이버위협에 대한 예측 정보를 보안 관제 요원 혹은 조직의 보안 정책 및 예산을 수립하는 사람들에게 미리 제공한다면 향후 발생할 가능성이 높은 범주의 사이버공격에 대해 사전 대응 정책을 수립하고 조치하는데 도움이 될 것이다.
이러한 범주 차원의 사이버위협에 대한 예측 정보를 제공하기 위해서는, 침해사고 발생 빈도, 웜·바이러스 발생 빈도 등과 같은 하위계층 사이버위협에 대한 예측뿐만 아니라 이를 통해 해킹, 악성코드 위협도와 같은 상위계층 사이버위협에 대한 예측이 이루어져야 한다. 그러나 현재로서는 네트워크의 침입탐지 및 침입방지, 네트워크 관제, 통합보안관리, 사이버위협 조기경보 등의 기술은 있지만 계층 구조를 갖는 사이버위협에 대해서 예측하여 미리 예보하는 기술은 아직까지 존재하지 않는다.
따라서, 본 발명의 목적은 사이버위협 계층 구조상 하위 계층 사이버위협을 예측하고 그 결과를 이용하여 상위계층 사이버위협을 예측할 수 있는 사이버위협 예측 엔진 시스템 및 방법을 제공하는 것이다.
본 발명의 다른 목적은, 침해사고 발생 빈도, 웜·바이러스 발생 빈도와 같은 하위 계층 사이버위협에 대해서는 시계열 예측 모형을 이용하고 사이버위협에 관한 전문가 의견들과 같이 여러 표본 데이터를 갖는 경우에는 대표치 산출 모형을 이용하여 예측대상시점의 위협도에 대한 예측치를 산출하고, 상위계층 사이버위협에 대해서는 하위 사이버위협의 예측치에 위협별 가중치를 부여해서 합산하여 예측치를 산출함으로써 예측 기술이 없는 기존 관제 서비스 또는 사이버위협의 예측치를 기반으로 하는 새로운 응용 및 서비스(예: 자동으로 예상 피해액 산출하는 서비스)에 활용될 수 있는 사이버위협 예측 엔진 시스템 및 방법을 제공하는 것이다.
상기한 목적을 이루기 위해, 본 발명의 일 특징에 따른 사이버위협 예측 엔진 시스템은, 복수의 사이버위협 예측 항목과, 이에 연관된 예측 스케쥴 및 예측 모형 정보, 예측 항목 계층 구조 정보, 사이버위협 시계열 데이터, 사이버위협 표본 데이터를 포함하는 예측 정보를 저장하는 예측 정보 DB와, 상기 예측 정보 DB에 저장된 상기 예측 정보를 이용하여 계층 구조를 갖는 상기 복수의 사이버위협 예측 항목들에 대한 위협도를 예측하는 예측 엔진 코어 서브시스템과, 사용자 또는 외부 시스템으로부터 상기 예측 엔진 코어 서브시스템에 대한 제어 명령을 수신하여 상기 예측 엔진 코어 서브시스템에 전달하는 예측 엔진 제어 인터페이스를 포함한다.
일실시예에서, 예측 엔진 코어 서브시스템은, 상기 예측 정보 DB로부터 상기 예측 스케쥴을 판독하여 메모리에 저장하고 예측 실행을 대기하는 대기 스케쥴 및 예측을 현재 실행중인 실행 스케쥴을 관리하는 예측 스케쥴 관리 모듈과, 상기 예측 정보 DB로부터 상기 예측 항목 계층 구조를 판독하여 전체 예측 항목 계층 구조를 구성하고 메모리에 저장하는 예측 항목 계층 구조 관리 모듈과, 상기 전체 예측 항목 계층 구조에 따라 상기 복수의 예측 항목들 각각에 대응하는 예측 실행기를 구성 및 관리하는 계층적 예측 실행기 관리 모듈과, 상기 예측 스케쥴 관리 모듈에 의해 관리되는 상기 실행 스케쥴을 판독하여 상기 실행 스케쥴에 연관된 예측 항목및 예측 모형 정보를 상기 예측 실행기 관리 모듈에 전달함으로써 예측 실행을 지시하는 예측 스케쥴 집행 모듈을 포함하고, 상기 예측 실행기 관리 모듈은 상기 예측 스케쥴 집행 모듈로부터 전달받은 예측 항목에 대응하는 예측 실행기를 검색하여 구동시키고, 상기 예측 실행기는 상기 예측 항목에 대응하는 예측 모형 정보에 따라 예측을 실행하는 것을 특징으로 한다.
본 발명의 다른 특징에 따른 사이버위협 예측 방법은, 복수의 사이버위협 예측 항목과, 이에 연관된 예측 스케쥴 및 예측 모형 정보, 예측 항목 계층 구조 정보, 사이버위협 시계열 데이터, 사이버위협 표본 데이터를 포함하는 예측 정보를 저장하는 예측 정보 DB를 구비한 사이버위협 예측 엔진 시스템에서 사이버위협을 예측하는 방법으로서, 상기 방법은, 상기 예측 정보 DB로부터 상기 사이버위협 예측 항목, 상기 예측 스케쥴, 상기 예측 모형 정보 및 상기 예측 항목 계층 구조 정보를 판독하여 메모리에 저장하고 상기 예측 항목 계층 구조에 기반하여 예측 실행기들을 구성함으로써 시스템 초기화를 수행하는 단계와, 상기 메모리에 저장된 예 측 스케줄을 주기적으로 확인하여 예측 실행 시점에 도달했는지 여부를 판단하는 단계와, 상기 예측 스케줄이 실행 시점에 도달한 경우, 상기 예측 스케쥴에 연관된 예측 항목에 대응하는 예측 실행기를 검색하여 상기 검색된 예측 실행기에 상기 예측 항목에 연관된 예측 모형 정보를 제공하고 상기 예측 실행기를 구동시키는 단계와, 상기 예측 실행기가 상기 예측 정보 DB로부터 예측 수행에 필요한 상기 예측 정보중 적어도 하나를 판독하고 상기 제공된 예측 모형 정보에 기반하여 예측을 실행하는 단계와, 상기 예측 실행기에 의해 산출된 예측치를 포함하는 예측 결과를 상기 예측 정보 DB에 저장하는 단계를 포함한다.
본 발명에 따른 사이버위협 예측 엔진 시스템 및 방법은 다양한 사이버위협간의 계층 구조에 기반하여 사이버위협 종합 위협도와 같은 최상위 계층 사이버위협에 대한 위협도를 예측하고 그 결과를 사후 대응 수준에 머물러 있는 ESM과 같은 기존 관제 시스템에 제공함으로써 미래에 발생할 사이버위협으로부터 사전 예방을 가능하도록 할 수 있다. 사용자는 기존 관제 시스템을 본 발명의 예측 엔진 시스템과 연동하여 사이버위협에 대한 종합적인 경보 상황에 대한 예측 정보를 바탕으로 경보 발령을 하거나, 해킹 위협도와 웜ㅇ바이러스 위협도 같이 사이버위협 범주별 위협도에 대한 예측 결과를 바탕으로 보안패치 강화, 침입탐지규칙 갱신, 그리고 취약점 점검 강화 등 보호해야 할 전산 자원에 대해 사전 대비를 할 수 있다.
이하, 본 발명에 따른 사이버위협 예측 엔진 시스템 및 이를 이용한 사이버위협 예측 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 일 실시예에 따른 사이버위협 예측 엔진 시스템의 전체 구성 및 세부 기능을 도시한 블록도이다.
도 1을 참조하면, 사이버위협 예측 엔진 시스템(1000)은, 사용자 또는 외부 시스템과의 인터페이스를 제공하는 예측 엔진 제어 인터페이스(1100); 예측 정보 DB(1400)에 저장된 예측 정보에 따라 계층적 사이버 위협을 예측하는 예측 엔진 코어 서브시스템(1200); 예측 정보 DB(1400)로부터 예측 정보를 조회하여 예측 엔진 코어 서브시스템(1200)에 전달하고 예측 엔진 코어 서브시스템(1200)의 예측 결과를 예측 정보 DB(1400)에 기록하는 예측 엔진 DB 관리 서브시스템(1300); 및 예측 정보가 저장된 예측 정보 DB(1400)를 포함한다.
예측 엔진 제어 인터페이스(1100)는 본 발명에 따른 사이버위협 예측 엔진 시스템(1000)을 활용하는 외부 응용 시스템 또는 사용자로부터 제어 명령을 수신하여 예측 엔진 코어 서브시스템(1200)에 전달한다. 제어 명령은 예측 엔진 코어 서브시스템(1200)의 시작, 중지, 잠지정지, 재개뿐만 아니라, 예측 정보 DB(1400)와 메모리간의 예측 스케쥴, 예측 항목 및 예측 항목 계층 구조를 포함하는 예측 정보 동기화 명령을 포함할 수 있다.
예측정보 DB(1400)는 예측 엔진 코어 서브시스템(1200)의 예측을 수행하는데 필요한 예측 정보를 저장하는 데이터베이스로서, 사이버위협 예측 항목 이름 및 해 당 예측 항목의 예측 스케쥴 및 예측 모형 정보를 포함하는 예측 항목 정보, 예측 항목 계층 구조 정보, 사이버위협 시계열 데이터, 사이버위협 표본 데이터, 예측 결과 중 적어도 하나 이상의 정보를 포함할 수 있다. 예측정보 DB(1400)의 구조에 대해서는 이하에서 도 2(a) 내지 2(f)를 참조하여 후술하겠다.
예측 엔진 DB 관리 서브시스템(1300)은 예측 엔진 코어 서브시스템(1200)으로부터 예측 정보 요청에 응답하여 예측 정보 DB(1400)로부터 예측 정보를 검색하여 예측 엔진 코어 서브시스템(1200)에 전달하고 예측 엔진 코어 서브시스템(1200)의 예측 결과를 예측 정보 DB(1400)에 저장한다.
예측 엔진 코어 서브시스템(1200)은, 예측 스케쥴 관리 모듈(1210), 예측 스케쥴 확인 모듈(1220), 예측 스케쥴 집행 모듈(1230), 예측 항목 계층 구조 관리 모듈(1240), 계층적 예측 실행기 관리 모듈(1250), 예측모형 할당모듈(1260) 및 환경설정 및 로그 관리 모듈(1270)을 포함한다.
예측 스케쥴 관리 모듈(1210)은 예측 정보 DB(1400)로부터 예측 스케쥴을 판독하여 메모리에 저장하고 예측 실행을 대기중인 예측 대기 스케쥴과 예측을 현재 실행중인 실행 스케쥴을 관리한다. 예측 스케줄 관리 모듈(1210)은 예측 정보 DB(1400)와 메모리간 예측 스케쥴 정보의 동기화를 수행하고, 이중 연결 리스트(Double linked list) 자료구조를 이용하여 대기 스케줄 리스트를 관리하며, 큐(Queue) 자료구조를 이용하여 실행 스케줄 큐를 관리한다. 일 실시예에서, 예측 스케줄 관리 모듈(1210)은 예측 스케줄 확인 모듈(1220) 및 예측 스케줄 집행 모듈(1230)과 별도의 쓰레드로 실행된다. 예측 스케줄 관리 모듈(1210), 예측 스케 줄 확인 모듈(1220) 및 예측 스케줄 집행 모듈(1230)간에 예측 스케쥴 정보를 공유하되 동시성을 제공하기 위해 상호배재(Mutex: Mutual exclusive)를 이용한다.
예측 스케쥴 확인 모듈(1220)은 대기 스케쥴 리스트를 주기적으로 검사하여 예측 실행 시점이 도래하면 대기중인 예측 스케쥴을 실행 스케쥴로 변경하는데, 이러한 변경은 대기 스케쥴 리스트에서 해당 스케쥴을 제거하고 제거한 스케쥴을 실행 스케쥴 큐에 삽입함으로써 이루어진다.
예측 스케쥴 집행 모듈(1230)은 상기 예측 스케쥴 관리 모듈(1210)에 의해 관리되는 실행 스케쥴 큐의 스케쥴 정보를 판독하여 상기 스케쥴 정보에 설정된 예측 항목 및 예측 모형 정보를 상기 예측 실행기 관리 모듈(1250)에 전달한다.
예측 항목 계층 구조 관리 모듈(1240)은 예측 정보 DB(1400)로부터 예측 항목 정보 및 예측 항목 계층 구조 정보를 판독하여 메모리에 유지 및 관리한다. 구체적으로, 예측 항목 계층 구조 관리 모듈(1240)은 예측 정보 DB(1400)와 메모리간에 예측 항목 동기화를 수행하여 예측 항목 및 예측 항목 계층 구조 정보를 판독하고 판독된 정보에 기반하여 전체 예측 항목 계층 구조를 구성하고 이를 메모리에 저장한다. 일 실시예에서, 전체 예측 항목 계층 구조는 트리 구조로 구성될 수 있다.
계층적 예측 실행기 관리 모듈(1250)은 예측 항목 계층 구조 관리 모듈(1240)에 의해 관리되는 전체 예측 항목 계층 구조에 따라 예측 항목 각각에 1:1로 대응하는 예측 실행기(1255)를 구성 및 관리한다. 일 실시예에서, 계층적 예측 실행기 관리 모듈(1250)은 예측 항목 계층 구조 관리 모듈(1240)에 의해 관리되 는 전체 예측 항목 계층 구조의 각 예측 항목에 1:1로 대응하는 예측 실행기를 구성하는 예측 실행기 구성 모듈(1251), 예측 스케쥴 집행 모듈(1230)로부터 전달받은 예측 항목에 대응하는 예측 실행기를 검색하는 예측 실행기 검색 모듈(1252), 검색된 예측 실행기를 별개의 쓰레드로 생성하여 구동시키고 예측 실행기에 예측 항목에 연관된 예측 모형 정보를 제공하는 예측 실행기 구동 모듈(1253), 예측 엔진 제어 인터페이스(1100)를 통해 전달된 중지, 잠시정지 및 재개를 포함하는 제어 명령에 따라 현재 별도의 쓰레드로 실행 중인 예측 실행기들을 제어하는 예측 실행기 제어 모듈(1254) 및 예측 실행기(1255)를 포함한다.
예측 실행기(1255)는 대응하는 사이버위협 예측 항목에 대한 예측 모형 정보를 이용하여 예측 모형 할당 모듈(1260)로부터 예측 모형 객체를 할당받아 위협도 예측을 수행하고, 예측 결과를 예측정보 DB(1400)에 저장하도록 예측 엔진 DB 관리 서브시스템(1300)에 명령한다.
예측 모형 할당 모듈(1260)은 예측 실행기(1255)로부터 예측 모형 정보를 수신하고 예측 모형 정보에 연관된 예측 모형 객체를 예측 실행기에 할당해준다. 일실시예에서, 예측 모형 할당 모듈(1260)은 계층 구조상 최하위 사이버위협 항목의 예측을 위해, ARIMA 모형, Holt-Winter's 모형 등의 시계열 예측 모형 객체 또는 대표치(예, 중앙값, 최빈값, 평균값등) 산출 모형 객체를 할당하고, 상위 사이버위협 항목의 예측을 위해서는 하위 항목들의 예측 결과를 정규화한 후에 가중치를 부여하여 합산하는 가중치 합산 모형 객체를 할당한다.
환경설정 및 로그 관리 모듈(1270)은 사이버위협 예측 엔진 시스템(1000)이 시작하거나 실행할 때 필요한 환경설정 정보 및 실행 로그 정보를 관리한다. 예를 들어, 환경설정 정보는, 예측 실행기의 다중 쓰레드(multi-thread)/단일 쓰레드(single-thread) 실행 여부, 다중 쓰레드 허용 개수, 실행 로그의 상세 수준, 예측 스케줄 확인 주기, 데이터베이스 접속정보 등을 포함할 수 있으며, 환경설정파일에 저장된다. 예측 실행기가 다중 쓰레드 실행으로 설정된 경우에는 여러 예측 실행기가 다중 쓰레드로 동시에 수행될 수 있으나, 단일 쓰레드로 설정된 경우에는 예측 스케쥴 집행 모듈을 수행하는 쓰레드와 동일한 단일 쓰레드로 수행된다.
실행 로그 정보는 예측 엔진 수행 중에 발생하는 오류나 디버그 정보, 예측 엔진 자가 점검 정보 등을 포함하며, 실행 로그 파일에 기록된다.
본 발명의 일 실시예에 따른 사이버위협 예측 엔진 시스템(1000)은, 예측 항목 계층 구조 관리 모듈(1240)을 이용하여 예측정보 DB(1400)와 예측 항목 동기화를 수행하고, 계층적 예측 실행기 관리 모듈(1250)을 이용하여 예측 실행기를 재구성하고, 예측 스케줄 관리 모듈(1210)을 이용하여 예측 스케줄을 동기화함으로써, 전체 시스템을 수정하거나 재실행하지 않고도 예측 항목의 추가· 제거 및 계층 구조의 변경, 예측 스케줄의 추가·삭제·변경, 예측 대상별 예측 모형 설정·변경을 동적으로 수행할 수 있는 소프트웨어 프레임워크 구조를 갖는다.
도 2(a) 내지 2(f)는 본 발명의 일실시예에 따른 예측정보 DB의 구조를 개념적으로 도시한 도면이다. 구체적으로, 도 2(a)는 예측정보 DB의 전체 구조를 도시하고, 도 2(b) 내지 2(f)는 예측 정보 DB에 저장되는 각 항목들의 세부 구조를 도시한다.
도 2(a)에 도시된 바와 같이, 예측정보 DB는, 사이버위협 예측 항목 정보, 사이버위협 예측 항목 계층 구조 정보, 사이버위협 표본 자료, 사이버위협 시계열 자료, 사이버위협 예측 결과 항목들을 포함한다. 각 항목들에 대해 후술한다.
도 2(b)는 사이버위협 예측 항목 정보의 세부 구조를 도시한다. 도시된 바와 같이, 사이버위협 예측 항목 정보는, 예측 항목 식별자, 항목 이름, 예측 스케쥴 및 예측 모형 정보를 포함한다. 예측 항목으로는, 예를 들어, 사이버위협 종합 위협도, 해킹 위협도, 악성코드 위협도, 취약점 위협도, 사이버시위 위협도, 전문가의견 기반 예측, 침입탐지이벤트 발생 빈도, 해킹사고 발생 빈도, 신규악성코드 발표 빈도, 악성코드 탐지 빈도, 네트워크 취약점 탐지 빈도 등이 있다. 각 예측 항목에 관련된 예측 스케쥴 및 예측 모형 정보가 저장된다. 예측 모형으로는, 기계열 예측 모형, 대표치 선출 모형 및 가중치 합산 모형을 예로 들 수 있으며, 가중치 합산 모형의 경우에는 소정의 가중치가 포함된다.
도 2(c)는 사이버위협 예측 항목 구조 정보의 세부 구조를 도시한다. 사이버위협 예측 항목 구조 정보는 사이버위협의 계층적 예측 실행을 위해 예측 항목에 대응하는 예측 실행기들의 실행 순서를 결정하는데 필요한 정보이다. 도시된 바와 같이, 사이버위협 예측 항목 구조 정보는 각 항목 식별자에 속한 하위 항목 식별자를 기록하고 있다. 예를 들면, 항목 식별자가 1인 "사이버위협 종합 위협도"의 하위 항목으로 "해킹 위협도"(식별자 2),"악성코드 위협도"(식별자 3), "취약점 위협도"(식별자 4), "사이버시위 위협도"등이 기재되어 있다.
도 2(d)는 사이버위협 표본 자료의 세부 구조를 도시한다. 사이버위협 표본 자료는 전문가 의견 기반 사이버위협 예측 혹은 주요 행사 일정 중요도와 같이 표본 데이터를 근거로 예측을 수행하는 데 필요한 데이터이다. 일 예로서, 사이버위협 표본 자료에는,항목 식별자, 날짜, 일련번호 및 표본값이 포함된다.
도 2(e)는 사이버위협 시계열 자료의 세부 구조를 도시한다. 사이버위협 시계열 자료는 침입탐지이벤트 발생 빈도와 같이 과거 발생한 일련의 건수 등으로 포함하는 자료이다. 일 예로서, 사이버위협 시계열 자료에는 항목 식별자, 날짜, 실측치가 포함된다.
도 2(f)는 사이버위협 예측 결과의 세부 구조를 도시한다. 사이버위협 예측 결과는 본 발명에 따른 사이버위협 예측 엔진 시스템에 의해 예측된 결과로서, 항목 식별자별로 예측 날짜, 실측치, 예측치, 오차, 정확도, 상한치, 하한치, 증감율 등이 저장된다.
도 2(a) 내지 2(f)에 도시된 예측 정보 DB는 본원발명의 이해를 돕기 위해 일 예로서 기재한 것이며, 본 발명이 반드시 이러한 구조에 국한되는 것이 아님을 본 기술 분야의 당업자들에게는 자명할 것이다.
도 3은 본 발명의 일실시예에 따른 사이버위협 예측 엔진 시스템에서 수행되는 사이버위협 예측 방법의 동작 과정을 도시한 순서도이다.
도 3에 도시된 바와 같이, 단계(301)에서 사이버위협 예측 엔진 시스템(1000)의 초기화를 수행한다. 환경설정파일로부터 시스템 실행에 필요한 환경설정정보를 판독하고 시스템 수행 중에 발생하는 로그를 기록하기 시작한다. 예측 스케쥴 관리 모듈(1210)은 예측 정보 DB(1400)로부터 예측항목 정보에 포함된 예측 스케쥴 정보를 판독하여 메모리에 저장한다. 예측항목 계층 구조 관리 모듈(1240)은 예측항목 계층 구조 정보를 예측정보 DB(1400)로부터 판독하여 전체 예측 항목 계층 구조를 구성한다. 계층적 예측 실행기 관리 모듈(1250)은 전체 예측항목 계층 구조의 예측항목들 각각에 1:1로 대응되는 예측 실행기를 구성함으로써 시스템 초기화를 완료한다.
단계(302)에서, 예측 스케쥴 확인 모듈(1220)은 대기중인 예측 스케줄을 주기적으로 확인하여 설정된 실행 시간이 도래하면 해당 스케줄을 실행 스케줄로 변경한다. 스케줄 변경은 예측 스케줄 관리 모듈(1210)에서 관리하는 대기 스케줄 리스트에서 해당 스케줄을 제거하고 제거한 스케줄을 실행 스케줄 큐에 삽입함으로써 이루어진다.
단계(303)에서, 예측 스케줄 집행 모듈(1230)은 실행 스케줄 큐에 저장된 예측 스케쥴 정보를 순차적으로 판독하여 스케줄에 대응하는 예측 항목을 계층적 예측 실행기 관리 모듈(1250)에 전달함으로써 예측 스케줄을 집행한다.
도 3에서는 단계(302)와 단계(303)가 순차적으로 도시되어 있으나, 실제 구현에 있어서는 예측 스케쥴 확인 모듈(1220)과 예측 스케쥴 집행 모듈(1230)이 별도의 쓰레드로 생성되어 독립적으로 실행될 수 있음을 본 기술분야의 당업자들은 쉽게 이해할 수 있을 것이다.
단계(304)에서, 계층적 예측 실행기 관리 모듈(1250)은 예측 스케줄 집행 모듈(1230)로부터 전달받은 예측 항목에 대응하는 예측 실행기를 검색하고 검색된 예 측 실행기에 상기 예측 항목에 연관된 예측 모형 정보를 제공하고 예측 실행기를 별도의 쓰레드로 생성하여 구동한다.
단계(305)에서, 예측 실행기는 제공받은 예측 모형 정보에 따라 예측 모형 할당 모듈(1260)로부터 ARIMA 모형, Holt-Winter's 모형 등의 시계열 예측 모형 객체, 대표치 산출 모형 객체 또는 가중치 합산 모형 객체를 할당받는다.
단계(306)에서, 예측 실행기는 예측 엔진 DB 관리 서브시스템(1300)을 통해 예측정보 DB(1400)로부터 예측을 수행하는데 필요한 데이터(예, 사이버위협 시계열 자료, 전문가 의견과 같은 사이버위협 표본 자료 등)를 읽어오고 할당받은 예측 모형 객체를 이용하여 예측을 수행한 후 예측 결과를 예측 정보 DB에 저장한다.
예측 실행기는 시계열 예측 모형 객체(ARIMA 모형, Holt-Winter's 모형 등)를 할당받은 경우 사이버위협 시계열 데이터를 예측 정보 DB(1400)로부터 판독하여 예측을 수행하고, 대표치 산출 모형(평균값 산출 등) 객체를 할당받은 경우 사이버위협 표본 자료들을 예측 정보 DB(1400)로부터 판독하여 예측을 수행한다. 한편, 상위 사이버위협 항목과 같이 하위 항목의 예측 결과에 가중치를 고려하여 합산하는 가중치 합산 모형 객체를 할당받은 경우에는 하위 항목의 예측 결과와 가중치 정보를 예측 정보 DB(1400)로부터 판독하여 예측을 수행한다. 이 때, 상위 사이버위협 항목 예측시 하위 항목의 예측 결과가 존재하지 않는다면 하위 항목에 대응하는 예측 실행기를 먼저 실행시킴으로써 재귀적으로 예측하는 과정을 수행한 후 최종 예측을 수행한다. 구체적인 예측 실행기의 구조 및 동작에 대해서는 도 4 및 5를 참조하여 후술한다.
단계(307)에서, 예측 엔진 제어 인터페이스(1100)를 통해 수신된 제어 명령을 확인한다. 제어 명령이 존재하지 않는 경우에는 단계(302)로 진행하여 예측 스케줄을 확인한다.
반면, 제어 명령이 스케줄 및 항목 동기화인 경우에는 예측 스케줄 확인 모듈(1220)과 예측 스케줄 집행 모듈(1230)의 실행을 잠시 정지하고(309), 현재 실행 중인 예측 실행기가 마무리될 때까지 대기한다(310). 현재 수행 중인 모든 예측 실행기의 실행이 종료된 후 예측 정보 DB에 변동된 예측 항목 정보 및 예측 항목 계층 정보를 읽어와 예측 스케줄 및 예측 항목 계층 구조의 동기화를 수행하고(311), 동기화된 예측 항목 계층 구조에 따라 예측 실행기들을 재구성한다(312). 다음, 잠시 정지되었던 예측 스케줄 확인 모듈(1220)과 예측 스케줄 집행 모듈(1230)의 실행을 재개한 후(313), 단계(302)로 진행하여 대기중인 예측 스케줄 확인을 진행한다.
제어 명령 확인 단계(308)에서 잠시 정지 명령이 존재하는 경우에는 현재 실행 중인 예측 스케줄 확인 모듈(1220)과 예측 스케쥴 집행 모듈(1230)의 실행을 재개 명령이 수신될 때까지 정지시킨다(314).
만약, 제어 명령 확인 단계(308)에서 재개 명령이 존재하는 경우에 현재 상태가 잠시 정지 상태인지를 판단하고(316), 잠시 정지 상태라면 예측 스케줄 확인 모듈(1220)과 집행 모듈(1230)을 재개한 후(317) 예측 스케줄 확인 단계(320)를 진행하고 현재 상태가 잠시 정지 상태가 아닌 경우에는 예측 스케줄 확인 단계(320)를 진행한다.
만약, 제어 명령 확인 단계(308)에서 중지 명령이 존재하는 경우 예측 스케줄 확인 모듈(1220)과 예측 스케줄 집행 모듈(1230)의 실행을 중지하는데 이 때 실행 스케줄이 남아 있는 경우에는 더 이상 스케줄을 집행하지 않고 현재 별도의 쓰레드로 실행 중인 예측 실행기들을 계층적 예측 실행기 관리 모듈(1250)을 통해 먼저 중지시킨다(315).
도 4는 본 발명의 일실시예에 따른 예측 실행기의 세부 구성을 도시한 도면이다. 도시된 바와 같이, 예측 실행기(400)는, 하위사이버위협 예측모듈(410), 예측모형별 예측수행모듈(420) 및 예측결과 산출모듈(430)을 포함한다. 하위 사이버위협 예측 모듈(410)은, 예측 실행기(400)가 계층구조상 k 계층에 존재한다고 가정할 때, 깊이 우선 방식(Depth-First-Search)에 기반하여 k 계층보다 하위 계층에 존재하는 예측 실행기들을 먼저 실행시킨다. 하위 계층 예측 실행기들은 재귀적으로 실행된다.
예측모형별 예측수행모듈(420)은 예측 정보 DB(1400)로부터 관련된 사이버위협 데이터를 판독하고 예측모형 할당 모듈(1260)로부터 할당받은 예측 모형 객체를 이용하여 예측을 수행한다. 일실시예에서, 할당받은 예측 모형 객체는 대표치 산출 모형, 시계열 예측 모형, 가중치 합산 모형중 하나이다. 예측 모형별 예측 수행 모듈(430)은 상기 각각의 예측 모형 객체에 기반하여, 대표치 산출, 시계열 예측 및 가중치 합산을 통한 예측을 수행한다.
예측결과 산출모듈(430)은 예측모형별 예측 수행 모듈(420)의 예측치에 기반 하여, 정확도, 상한치, 하한치, 증감율, 오차중 적어도 하나의 값을 산출하고, 산출된 값들과, 실측치 및 예측치를 포함하는 예측 결과를 DB관리 서브시스템(1300)에 전달하여 예측정보 DB(1400)에 저장하도록 지시한다.
도 5는 본 발명의 일실시예에 따른 임의의 사위버위협에 연관된 예측 실행기의 수행 과정을 도시한 흐름도이다.
우선, 예측 실행기가 사이버위협 계층구조상 k 계층의 예측 항목에 대응한다고 가정할 때, k 계층보다 하위 계층 예측 항목에 대응하는 예측 실행기가 존재하는지 판단하고(단계 501), 하위 계층 예측 실행기가 존재하는 경우에는 이를 먼저 실행시킨다(단계 502). 즉, 계층 구조상 상위에 위치한 예측 실행기(예, 사이버위협 종합 위협도 예측 실행기)를 실행하기 전에 깊이 우선 탐색 방법을 이용하여 하위 예측 실행기들을 탐색하여 재귀적으로 실행시킨다.
단계(503)에서, 예측 실행기는 계층적 예측 실행기 관리 모듈(1250)로부터 제공받은 예측 모형 정보에 근거하여 예측모형 할당 모듈(1260)로부터 예측 모형 객체를 할당받는다.
단계(504)에서, 예측 실행기는 예측 모형 객체를 검사한다. 일실시예에서, 예측 모형 객체는 대표치 산출모형, 시계열 모형, 가중치 합산 모형중 하나이다. 대표치 산출 모형은 예측 시점에 해당하는 표본 집단의 데이터를 읽어와, 중앙값, 4분위 값, 평균값, 최대값, 최소값, 최빈값 등의 통계 대표치를 산출하는 모형이다. 시계열 예측 모형은 과거 발생한 일련의 시계열 데이터(시간의 흐름에 따른 일련의 확률변수)의 패턴이 미래에도 적용된다는 가정에 근거하여 미래의 시계열을 과거 시계열 값의 함수로 표현하는 수식 모형이다. 가중치 합산 모형은 입력 값과 각 입력 값의 중요도를 고려하여 위협도를 산출하는 모형으로 상위 사이버위협 예측 항목에 대한 위협도 예측치는 하위 항목의 위협도 예측치에 가중치를 부여하고 합산함으로써 산출한다.
예측 실행기에 할당된 예측 모형 객체가 대표치 산출 모형인 경우에, 단계(505)에서 예측 정보 DB(1400)로부터 예측 시점에 해당하는 표본집단 데이터를 읽어오고, 단계(506)에서 중앙값, 4분위 값, 평균값, 최대값, 최소값, 최빈값 등의 통계 대표치를 산출한다. 예를 들어, 평균값을 통계 대표치로 사용하는 경우 t 시점에 △t시간 후의 예측 항목 k에 대한 위협도 예측치
Figure 112009041317616-pat00001
를 산출하는 수식은 다음과 같다.
Figure 112009041317616-pat00002
여기서,
Figure 112009041317616-pat00003
는 예측 항목 k가
Figure 112009041317616-pat00004
시점에 가지는 값들의 표본 집합이다. 예를 들어, 사이버위협 예측 항목 중 주요 행사 일정 중요도 및 사이버위협 관련 전문가 의견은 대표치 산출 모형을 사용할 수 있다. 예를 들어, 주요 행사 일정 중요도 경우에, 3월 1일 시점에 산출하는 3월 2일에 해당하는 위협도 예측치는 3월 2일에 등록되어 있는 주요 행사들에 대한 중요도 평균값으로 산출된다. 또한, 사이 버위협 관련 전문가 의견의 경우 3월 1일 시점에 3월 2일에 해당하는 위협도 예측치는 3월 2일에 전문가별로 예측한 위협도 수치들을 평균한 값으로 산출된다.
한편, 예측 실행기에 할당된 예측 모형 객체가 시계열 예측 모형인 경우에, 단계(507)에서 예측 정보 DB(1400)로부터 해당 사이버위협에 관련된 시계열 데이터를 읽어오고, 단계(508)에서 시계열 데이터를 분석하여 주어진 수계열에 적합한 수식 모형을 수립한 후에, 단계(509)에서 수립된 수식 모형을 이용하여 예측 대상 시점의 시계열값을 계산한다. 시계열 데이터를 분석하여 주어진 시계열에 적합한 수식을 수립하기 위해, 사용자가 설정한 시계열 모형에 대해 실제 관측 데이터와 시계열 모형을 이용하여 생성된 데이터와의 차이인 오차가 최소가 되도록 매개변수를 추정하는 방법인 최소제곱추정법(Least Square Error Estimation) 또는 최대우도추정법(Maximum Likelihood Estimation)을 사용할 수 있다.
예를 들어, 예측 실행기의 계층 구조상 최하위 레벨에 위치한 예측 항목 k가 ARMA(1,1) 모형을 따를 경우, t 시점에
Figure 112009041317616-pat00005
시간 후의 예측치
Figure 112009041317616-pat00006
를 산출하는 수식은 다음과 같다.
Figure 112009041317616-pat00007
여기서,
Figure 112009041317616-pat00008
는 평균이 0이고 분산이
Figure 112009041317616-pat00009
인 백색잡음이며
Figure 112009041317616-pat00010
Figure 112009041317616-pat00011
은 각각 예측 시점
Figure 112009041317616-pat00012
에서 -1인 시점
Figure 112009041317616-pat00013
의 시계열 항
Figure 112009041317616-pat00014
및 백색잡음 항
Figure 112009041317616-pat00015
의 매개변수이다(단,
Figure 112009041317616-pat00016
). 앞서 언급한 바와 같이,
Figure 112009041317616-pat00017
Figure 112009041317616-pat00018
은 실제 관측된 시계열 데이터와의 오차를 최소화하도록 하는 최소제곱추정 또는 최대우도추정을 이용하여 추정될 수 있다. 또한, 과거 시계열 항
Figure 112009041317616-pat00019
Figure 112009041317616-pat00020
와 같이 재귀적으로 구할 수 있다. 일실시예에서, 사이버위협 예측 항목 중 침입탐지 이벤트 발생 빈도, 해킹 사고 발생 빈도 등에 대한 예측은 시계열 모형에 기반하여 이루어질 수 있다.
다음, 예측 실행기에 할당된 예측 모형 객체가 가중치 합산 모형인 경우에, 단계(510)에서 예측 정보 DB(1400)로부터 하위 사이버위협 항목의 위협도 예측치를 읽어오고, 단계(511)에서 상기 예측치를 정규화한 후에 가중치를 부여하고 합산함으로써 상위 위협 항목에 대한 위협도 예측치를 산출한다. 가중치 합산 모형에 기반하여 t 시점에
Figure 112009041317616-pat00021
시간 후에 상위 항목 k에 대한 위협도 예측치
Figure 112009041317616-pat00022
를 산출하는 수식은 다음과 같다.
Figure 112009041317616-pat00023
여기서,
Figure 112009041317616-pat00024
는 상위 항목 k에 대한 하위 항목 i의 가중치를 의미한다.
Figure 112009041317616-pat00025
는 t시점에
Figure 112009041317616-pat00026
시간 후에 i 항목의 위협도 예측치를 의미한다. 위협도 예측치의 범위는 위협 요소마다 다르기 때문에 [0, 100]사이의 값으로 범위를 조정하는 정규 화(normalization)가 필요하다.
Figure 112009041317616-pat00027
는 위협 항목 i가 가질 수 있는 범위에서 입력된
Figure 112009041317616-pat00028
값을 [0,100]으로 정규화하는 함수이다. 정규화 방법은 과거 i가 가지는 값들이 정규분포를 따른다고 간주하고 정규화하려는
Figure 112009041317616-pat00029
를 표준정규분포 상에서 어느 지점에 위치하는지를 계산하여 백분율로 환산하는 방법이다. 대안적으로, 현재로부터 특정 과거 시점까지의 일정 기간 동안 최소 위협도 및 최대 위협도를 0 및 100이라 가정할 때 정규화하려는
Figure 112009041317616-pat00030
가 위치하는 지점을 0∼100사이의 값으로 환산할 수도 있다. 일실시예에서, 상위 사이버위협 예측 항목중에서, 사이버위협 종합 위협도, 악성코드 위협도, 취약점 위협도 또는 사이버 시위 위협도 등에 대한 예측은 가중치 합산 모형을 이용하여 수행될 수 있다.
단계(512)에서, 시계열 예측 모형, 대표치 산출 모형, 그리고 가중치 합산 모형에 의해 계산된 예측치에 기반하여, 예측 상한치, 예측 하한치, 예측치 증가율, 예측 오차 및 예측 정확도중 적어도 하나의 값을 산출한다. 예측 정확도는 과거 n일에 대해 실측치 대비 예측치의 오차비율을 역으로 환산한 평균 적중률을 의미한다. t시점에 예측 항목 k에 대한 정확도
Figure 112009041317616-pat00031
를 수식으로 표현하면 다음과 같다.
Figure 112009041317616-pat00032
여기서,
Figure 112009041317616-pat00033
는 예측 항목 k에 대한 i시점의 실측치이고
Figure 112009041317616-pat00034
는 예측 항목 k에 대한 i시점의 예측치이다.
단계(513)에서 산출된 예측치 및 단계(512)에서 산출된 값들을 포함하는 예측 결과를 예측 정보 DB(1400)에 저장함으로써 예측 실행기의 동작을 종료한다.
전술한 본원 발명의 실시예에서 이용되는 예측 모형은 가중치 합산 모형, 시계열 모형, 대표치 산출 모형이지만, 사이버위협의 특성에 적합한 모형을 본 발명에서 상술한 사이버위협 예측 엔진 프레임워크에 추가 확장하여 활용할 수 있다. 또한, 시계열 모형은 ARIMA 모형, Holt-Winter's 모형, GARCH 모형 등에 국한하지 않고 사이버위협 시계열 데이터에 따라 적합한 시계열 모형을 선택하여 사용가능하다. 또한, 시계열 예측 모형의 매개변수 추정 방법, 대표치 산출 모형에서 사용되는 대표치 유형, 가중치 합산 모형에서 쓰이는 정규화 방법 또는 위협별 가중치는 예측 엔진 코어 서브시스템의 동작에 영향을 미치지 않고 예측 정보 DB 관리 서브시스템(1300)을 통해 사용자가 동적으로 설정할 수 있다.
도 6은 본 발명의 일실시예에 따라 계층 구조를 갖는 사이버 위협 예측 과정에서 예측 실행기들의 동작 순서를 간단히 설명한 예이다.
도 6에 도시된 바와 같이, 예측 실행기들의 계층 구조는 트리 형태로 유지된다. 계층 구조상 최상위에 위치한 예측 실행기(사이버위협 종합 위협도 예측 실행기)를 실행하기 전에 트리 탐색 방법 중 깊이 우선 탐색 방법을 이용하여 하위 예 측 실행기들을 모두 실행한다. 하위 예측 실행기들을 실행하면, 하위 예측 항목별로 사용자가 설정한 시계열 예측 모형, 대표치 산출 모형, 또는 가중치 합산 모형을 이용하여 예측 결과가 재귀적으로 산출된다. 마지막으로, 최상위 예측 실행기는 재귀적으로 산출한 하위 예측 결과에 하위 예측 항목별로 부여된 가중치를 부여하고 합산하여 최종 예측 결과를 산출한다.
구체적으로, 예측 실행기의 계층 구조를 트리 구조로 표현할 때, 트리 구조의 말단 노드에 위치한 예측 실행기들은 시계열 모형이나 대표치 산출 모형을 이용하여 예측을 실행한다. 트리 구조에서 내부 노드(Internal node)에 위치한 예측 실행기들은 최하위 예측 실행기들의 예측 결과를 이용하여 가중치 합산 모형에 기반하여 예측을 실행한다. 예를 들어, 도 5에서는 해킹 위협도를 예측하는 예측 실행기는 먼저 침입탐지 이벤트 발생 빈도 및 해킹 사고 발생 빈도에 대한 예측을 실행하는 하위 예측 실행기들을 먼저 실행시킨 후에 실행되도록 설정된다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시 될 수 있다.
도 1은 본 발명에 일 실시예에 따른 사이버위협 예측 엔진 시스템의 전체 구성 및 세부 기능을 도시한 블록도이다.
도 2(a) 내지 2(f)는 본 발명의 일실시예에 따른 예측정보 DB의 구조를 개념적으로 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 사이버위협 예측 엔진 시스템에서 수행되는 사이버위협 예측 방법의 동작 과정을 도시한 순서도이다.
도 4는 본 발명의 일실시예에 따른 예측 실행기의 세부 구성을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 임의의 사위버위협에 연관된 예측 실행기의 수행 과정을 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 따라 계층 구조를 갖는 사이버 위협 예측 과정에서 예측 실행기들의 동작 순서를 간단히 설명한 예이다.

Claims (28)

  1. 복수의 사이버위협 예측 항목과, 이에 연관된 예측 스케쥴 및 예측 모형 정보, 예측 항목 계층 구조 정보, 사이버위협 시계열 데이터, 사이버위협 표본 데이터를 포함하는 예측 정보를 저장하는 예측 정보 DB와,
    상기 예측 정보 DB에 저장된 상기 예측 정보를 이용하여 계층 구조를 갖는 상기 복수의 사이버위협 예측 항목들에 대한 위협도를 예측하는 예측 엔진 코어 서브시스템과,
    사용자 또는 외부 시스템으로부터 상기 예측 엔진 코어 서브시스템에 대한 제어 명령을 수신하여 상기 예측 엔진 코어 서브시스템에 전달하는 예측 엔진 제어 인터페이스를 포함하고,
    상기 예측 엔진 코어 서브시스템은, 상기 예측 정보 DB로부터 상기 예측 스케쥴을 판독하여 메모리에 저장하고 예측 실행을 대기하는 대기 스케쥴 및 예측을 현재 실행중인 실행 스케쥴을 관리하는 예측 스케쥴 관리 모듈과, 상기 예측 정보 DB로부터 상기 예측 항목 계층 구조 정보를 판독하여 전체 예측 항목 계층 구조를 구성하고 메모리에 저장하는 예측 항목 계층 구조 관리 모듈과, 상기 전체 예측 항목 계층 구조에 따라 상기 복수의 예측 항목들 각각에 대응하는 예측 실행기를 구성 및 관리하는 계층적 예측 실행기 관리 모듈과, 상기 예측 스케쥴 관리 모듈에 의해 관리되는 상기 실행 스케쥴을 판독하여 상기 실행 스케쥴에 연관된 예측 항목 및 예측 모형 정보를 상기 예측 실행기 관리 모듈에 전달함으로써 예측 실행을 지시하는 예측 스케쥴 집행 모듈을 포함하고,
    상기 예측 실행기 관리 모듈은 상기 예측 스케쥴 집행 모듈로부터 전달받은 예측 항목에 대응하는 예측 실행기를 검색하여 구동시키고, 상기 예측 실행기는 상기 예측 항목에 연관된 예측 모형 정보에 따라 예측을 실행하는
    사이버위협 예측 엔진 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 대기 스케쥴에 설정된 예측 실행 시점을 주기적으로 검사하여 설정된 시점이 도래하면 상기 대기 스케쥴을 실행 스케쥴로 변경하는 예측 스케쥴 확인 모듈을 더 포함하고, 상기 예측 스케쥴 확인 모듈은 상기 예측 스케쥴 집행 모듈과 별도의 쓰레드로 실행되는 사이버위협 예측 엔진 시스템.
  7. 제1항에 있어서, 상기 예측 스케쥴 관리 모듈은 이중 연결 리스트 구조를 이용하여 상기 대기 스케쥴을 관리하고, 큐 구조를 이용하여 상기 실행 스케쥴을 관리하는 사이버위협 예측 엔진 시스템.
  8. 제1항에 있어서, 상기 계층적 예측 실행기 관리 모듈은,
    상기 전체 예측 항목 계층 구조에 따라 상기 복수의 예측 항목들 각각에 대응하는 예측 실행기를 구성하는 예측 실행기 구성 모듈과,
    상기 예측 스케쥴 집행 모듈로부터 전달받은 예측 항목에 대응하는 예측 실행기를 검색하는 예측 실행기 검색 모듈과,
    상기 검색된 예측 실행기를 실행시키는 예측 실행기 구동 모듈과,
    상기 예측 실행기에 대한 중지, 잠시정지 및 재개중 적어도 하나를 포함하는 제어를 수행하는 예측 실행기 제어 모듈
    을 포함하는 사이버위협 예측 엔진 시스템.
  9. 제1항에 있어서, 상기 예측 항목에 연관된 예측 모형 정보에 따라 상기 예측 실행기에 시계열 예측 모형 객체, 대표치산출 모형 객체 및 가중치 합산 모형 객체중 하나를 할당하는 예측 모형 할당 모듈을 더 포함하는 사이버위협 예측 엔진 시스템.
  10. 제1항에 있어서, 상기 예측 엔진 코어 서브시스템의 환경설정정보 및 실행 로그를 기록하는 환경설정 및 로그 관리 모듈을 더 포함하는 사이버위협 예측 엔진 시스템.
  11. 제10항에 있어서, 상기 환경설정정보는, 상기 예측 실행기의 다중 쓰레드(multi-thread)/단일 쓰레드(single-thread) 실행 여부, 다중 쓰레드 허용 개수, 상기 실행 로그의 상세 수준, 예측 스케줄 확인 주기중 적어도 하나를 포함하는 사이버위협 예측 엔진 시스템.
  12. 제9항에 있어서, 상기 예측 실행기에 대응하는 예측 항목이 상기 전체 예측 항목 계층 구조상 최하위에 위치한 경우에 상기 예측 실행기는 상기 예측 정보 DB로부터 상기 사이버위협 시계열 데이터 또는 상기 사이버위협 표본 데이터를 판독하여 상기 예측 모형 할당 모듈에 의해 할당된 상기 예측 모형 객체에 따라 예측을 실행하는 사이버위협 예측 엔진 시스템.
  13. 제9항에 있어서, 상기 예측 실행기에 대응하는 예측 항목이 상기 전체 예측 항목 계층 구조상 상위에 위치한 경우에 상기 예측 실행기는 하위에 위치한 예측 항목에 대응하는 예측 실행기를 재귀적으로 실행시킨 후에 상기 하위 예측 항목에 대한 예측 결과와 가중치 합산 예측 모형을 이용하여 예측을 실행하는 사이버위협 예측 엔진 시스템.
  14. 복수의 사이버위협 예측 항목과, 이에 연관된 예측 스케쥴 및 예측 모형 정보, 예측 항목 계층 구조 정보, 사이버위협 시계열 데이터, 사이버위협 표본 데이터를 포함하는 예측 정보를 저장하는 예측 정보 DB를 구비한 사이버위협 예측 엔진 시스템에서 사이버위협을 예측하는 방법에 있어서, 상기 방법은,
    상기 예측 정보 DB로부터 상기 사이버위협 예측 항목, 상기 예측 스케쥴, 상기 예측 모형 정보 및 상기 예측 항목 계층 구조 정보를 판독하여 메모리에 저장하고 상기 예측 항목 계층 구조 정보에 기반하여 예측 실행기들을 구성함으로써 시스템 초기화를 수행하는 단계와,
    상기 메모리에 저장된 예측 스케줄을 주기적으로 확인하여 예측 실행 시점에 도달했는지 여부를 판단하는 단계와,
    상기 예측 스케줄이 실행 시점에 도달한 경우, 상기 예측 스케쥴에 연관된 예측 항목에 대응하는 예측 실행기를 검색하여 상기 검색된 예측 실행기에 상기 예측 항목에 연관된 예측 모형 정보를 제공하고 상기 예측 실행기를 구동시키는 단계와,
    상기 예측 실행기가 상기 예측 정보 DB로부터 예측 수행에 필요한 상기 예측 정보중 적어도 하나를 판독하고 상기 제공된 예측 모형 정보에 기반하여 예측을 실행하는 단계- 상기 예측 실행기는 상기 예측 실행기에 대응하는 예측 항목이 예측 항목 계층 구조상 상위에 위치한 경우에 상기 예측 실행기는 하위에 위치한 예측 항목에 대응하는 예측 실행기를 재귀적으로 실행시킨 후에 상기 하위 예측 항목에 대한 예측 결과에 가중치 합산 예측 모형을 이용하여 예측을 실행함-와,
    상기 예측 실행기에 의해 산출된 예측치를 포함하는 예측 결과를 상기 예측 정보 DB에 저장하는 단계
    를 포함하는 사이버위협 예측 방법.
  15. 제14항에 있어서, 상기 예측 모형 정보에 기반하여, 시계열 예측 모형 객체, 대표치 산출 모형 객체 및 가중치 합산 모형 객체중 하나를 상기 예측 실행기에 할당하는 단계를 더 포함하는 사이버위협 예측 방법.
  16. 제15항에 있어서, 상기 예측 실행기에 대응하는 예측 항목이 예측 항목 계층 구조상 최하위에 위치한 경우에 상기 예측 실행기는 상기 예측 정보 DB로부터 상기 사이버위협 시계열 데이터 및 상기 사이버위협 표본 데이터중 적어도 하나를 판독하고 상기 예측 모형 객체에 따라 예측을 실행하는 사이버위협 예측 방법.
  17. 삭제
  18. 제14항에 있어서, 상기 예측 실행기를 재귀적으로 수행함에 있어서 트리 탐색 방법 중 깊이 우선 탐색을 이용하는 사이버위협 예측 방법.
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 제15항에 있어서, 상기 예측을 실행하는 단계는,
    상기 예측 실행기에 할당된 예측 모형 객체가 대표치 산출 모형 객체인 경우에,
    상기 예측 정보 DB로부터 예측 대상 시점에 해당하는 표본집단 데이터를 읽어오는 단계와,
    상기 표본집단 데이터의 대표치를 산출하는 단계를 포함하고,
    상기 대표치는, 중앙값, 4분위 값, 평균값, 최대값, 최소값, 최빈값중 적어도 하나를 포함하는 사이버위협 예측 방법.
  24. 제15항에 있어서, 상기 예측을 실행하는 단계는,
    상기 예측 실행기에 할당된 예측 모형 객체가 가중치 합산 모형 객체인 경우에,
    상기 예측 정보 DB로부터 하위 사이버위협 예측 항목의 위협도 예측치를 읽어오는 단계와,
    상기 하위 사이버위협 예측 항목의 위협도 예측치를 정규화하는 단계와,
    상기 정규화된 하위 사이버위협 예측 항목의 위협도 예측치에 가중치를 부여하고 합산함으로써 상위 위협 항목에 대한 위협도 예측치를 산출하는 단계
    를 포함하는 사이버위협 예측 방법.
  25. 제24항에 있어서, 가중치 합산 모형에 기반하여 t 시점에
    Figure 112009041317616-pat00047
    시간 후에 상위 항목 k에 대한 위협도 예측치
    Figure 112009041317616-pat00048
    는 하기 수식
    Figure 112009041317616-pat00049
    (여기서,
    Figure 112009041317616-pat00050
    는 상위 항목 k에 대한 하위 항목 i의 가중치를 의미하고,
    Figure 112009041317616-pat00051
    는 t시점에
    Figure 112009041317616-pat00052
    시간 후에 i 항목의 위협도 예측치를 의미함. 함수
    Figure 112009041317616-pat00053
    는 위협 항목 i가 가질 수 있는 범위에서 입력된
    Figure 112009041317616-pat00054
    값을 [0,100]으로 정규화하는 함수임.)
    을 이용하여 산출되는 사이버위협 예측 방법.
  26. 제24항에 있어서, 상기 예측치를 정규화하는 단계는, 상기 예측치가 표준정규분포 상 위치하는 지점의 값을 0∼100 범위의 값으로 환산하거나, 현재 시점에서 특정 과거 시점까지의 일정 기간동안 최소 위협도 및 최대 위협도를 0과 100이라 가정하고 상기 예측치를 0∼100 범위의 값으로 환산하는 사이버 위협 예측 방법.
  27. 제14항에 있어서, 상기 예측 결과는, 실측치, 예측치, 상한치, 하한치, 증가율, 오차 및 정확도중 적어도 하나의 값을 더 포함하는 사이버 위협 예측 방법.
  28. 제27항에 있어서, t시점에 예측 항목 k에 대한 정확도
    Figure 112009041317616-pat00055
    를 구하는 수식은,
    Figure 112009041317616-pat00056
    (여기서,
    Figure 112009041317616-pat00057
    는 예측 항목 k에 대한 i시점의 실측치이고
    Figure 112009041317616-pat00058
    는 예측 항목 k에 대한 i시점의 예측치임)인 사이버위협 예측 방법.
KR1020090061602A 2009-07-07 2009-07-07 사이버위협을 예측하기 위한 사이버위협 예측 엔진 시스템 및 상기 시스템을 이용한 사이버위협 예측 방법 KR101039717B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020090061602A KR101039717B1 (ko) 2009-07-07 2009-07-07 사이버위협을 예측하기 위한 사이버위협 예측 엔진 시스템 및 상기 시스템을 이용한 사이버위협 예측 방법
EP10797251.5A EP2453381B1 (en) 2009-07-07 2010-06-22 System for an engine for forecasting cyber threats and method for forecasting cyber threats using the system
US13/320,263 US8800037B2 (en) 2009-07-07 2010-06-22 System for an engine for forecasting cyber threats and method for forecasting cyber threats using the system
PCT/KR2010/004026 WO2011004977A2 (ko) 2009-07-07 2010-06-22 사이버위협을 예측하기 위한 사이버위협 예측 엔진 시스템 및 상기 시스템을 이용한 사이버위협 예측 방법
JP2012511772A JP2012527687A (ja) 2009-07-07 2010-06-22 サイバー脅威を予測するためのサイバー脅威予測エンジンシステム及び前記システムを利用したサイバー脅威予測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090061602A KR101039717B1 (ko) 2009-07-07 2009-07-07 사이버위협을 예측하기 위한 사이버위협 예측 엔진 시스템 및 상기 시스템을 이용한 사이버위협 예측 방법

Publications (2)

Publication Number Publication Date
KR20110004016A KR20110004016A (ko) 2011-01-13
KR101039717B1 true KR101039717B1 (ko) 2011-06-09

Family

ID=43429641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090061602A KR101039717B1 (ko) 2009-07-07 2009-07-07 사이버위협을 예측하기 위한 사이버위협 예측 엔진 시스템 및 상기 시스템을 이용한 사이버위협 예측 방법

Country Status (5)

Country Link
US (1) US8800037B2 (ko)
EP (1) EP2453381B1 (ko)
JP (1) JP2012527687A (ko)
KR (1) KR101039717B1 (ko)
WO (1) WO2011004977A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2702269C1 (ru) * 2019-06-04 2019-10-07 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Система интеллектуального управления киберугрозами
US10523697B2 (en) 2017-01-04 2019-12-31 Electronics And Telecommunications Research Institute Method and apparatus for detecting cyberthreats through correlation analysis

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130185795A1 (en) * 2012-01-12 2013-07-18 Arxceo Corporation Methods and systems for providing network protection by progressive degradation of service
US10043224B2 (en) * 2012-08-10 2018-08-07 Itron, Inc. Unified framework for electrical load forecasting
US8904526B2 (en) * 2012-11-20 2014-12-02 Bank Of America Corporation Enhanced network security
US9355172B2 (en) 2013-01-10 2016-05-31 Accenture Global Services Limited Data trend analysis
WO2015047394A1 (en) * 2013-09-30 2015-04-02 Hewlett-Packard Development Company, L.P. Hierarchical threat intelligence
EP3062258A4 (en) * 2013-10-24 2017-05-31 Mitsubishi Electric Corporation Information processing device, information processing method, and program
US9565204B2 (en) 2014-07-18 2017-02-07 Empow Cyber Security Ltd. Cyber-security system and methods thereof
US9892270B2 (en) 2014-07-18 2018-02-13 Empow Cyber Security Ltd. System and method for programmably creating and customizing security applications via a graphical user interface
US9118714B1 (en) * 2014-07-23 2015-08-25 Lookingglass Cyber Solutions, Inc. Apparatuses, methods and systems for a cyber threat visualization and editing user interface
US9930059B1 (en) * 2016-03-31 2018-03-27 Lookingglass Cyber Solutions, Inc. Methods and apparatus for analyzing asynchronous cyber-threat event data using discrete time intervals
CN106920047B (zh) * 2017-03-10 2020-11-17 广东电网有限责任公司电力调度控制中心 基于层次存储模型的电网统计数据派生计算方法及系统
US9930062B1 (en) 2017-06-26 2018-03-27 Factory Mutual Insurance Company Systems and methods for cyber security risk assessment
US11355240B2 (en) * 2017-09-26 2022-06-07 Edge2020 LLC Determination of health sciences recommendations
KR102038703B1 (ko) * 2017-12-27 2019-11-26 (주)가디엘 동적 전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법 및 그 시스템
US10546135B1 (en) 2019-03-06 2020-01-28 SecurityScorecard, Inc. Inquiry response mapping for determining a cybersecurity risk level of an entity
US11194905B2 (en) 2019-04-09 2021-12-07 International Business Machines Corporation Affectedness scoring engine for cyber threat intelligence services
CN111065100B (zh) * 2019-11-27 2022-08-02 中国联合网络通信集团有限公司 威胁分析方法及装置和威胁分析系统
KR20220003770A (ko) 2020-07-02 2022-01-11 연세대학교 산학협력단 암세포의 부착 의존성 변환을 통한 암 전이 억제 방법
KR102443932B1 (ko) 2020-07-02 2022-09-16 연세대학교 산학협력단 세포의 부착 의존성 조절용 조성물
US11902309B1 (en) * 2021-06-25 2024-02-13 Amazon Technologies, Inc. Anomaly prediction for electronic resources
KR102591935B1 (ko) * 2022-11-08 2023-10-23 김유상 기저 시계열의 조합을 통한 시계열 데이터의 단계적 특성 모사 방법 및 이를 수행하는 컴퓨터 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090001609A (ko) * 2006-11-13 2009-01-09 한국전자통신연구원 사이버위협 예보 시스템 및 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69607324T2 (de) 1995-02-02 2000-08-24 Cabletron Systems Inc Verfahren und anordnung zum lernen von verhaltentrends von netzwerken und vorhersagen des zukünftigen verhaltens von datenübertagungsnetzwerken
US6076174A (en) * 1998-02-19 2000-06-13 United States Of America Scheduling framework for a heterogeneous computer network
US6996843B1 (en) * 1999-08-30 2006-02-07 Symantec Corporation System and method for detecting computer intrusions
US7136860B2 (en) * 2000-02-14 2006-11-14 Overture Services, Inc. System and method to determine the validity of an interaction on a network
US7603709B2 (en) * 2001-05-03 2009-10-13 Computer Associates Think, Inc. Method and apparatus for predicting and preventing attacks in communications networks
US7093132B2 (en) * 2001-09-20 2006-08-15 International Business Machines Corporation Method and apparatus for protecting ongoing system integrity of a software product using digital signatures
ATE374493T1 (de) * 2002-03-29 2007-10-15 Global Dataguard Inc Adaptive verhaltensbezogene eindringdetektion
US20060031938A1 (en) * 2002-10-22 2006-02-09 Unho Choi Integrated emergency response system in information infrastructure and operating method therefor
US7657938B2 (en) * 2003-10-28 2010-02-02 International Business Machines Corporation Method and system for protecting computer networks by altering unwanted network data traffic
JP4371905B2 (ja) 2004-05-27 2009-11-25 富士通株式会社 不正アクセス検知装置、不正アクセス検知方法、不正アクセス検知プログラムおよび分散型サービス不能化攻撃検知装置
US7784099B2 (en) * 2005-02-18 2010-08-24 Pace University System for intrusion detection and vulnerability assessment in a computer network using simulation and machine learning
KR100625096B1 (ko) 2006-03-27 2006-09-15 주식회사 윈스테크넷 트래픽 변화량과 해킹 위협률의 상호 연관성 분석에 기초한예경보 방법 및 그 시스템
US8191149B2 (en) * 2006-11-13 2012-05-29 Electronics And Telecommunications Research Institute System and method for predicting cyber threat
KR100910761B1 (ko) 2006-11-23 2009-08-04 한국전자통신연구원 프로세스 행위 예측 기법을 이용한 비정형 악성코드 탐지방법 및 그 시스템
JP2008287435A (ja) * 2007-05-16 2008-11-27 Toshiba Corp セキュリティレベル監視評価装置及びセキュリティレベル監視評価プログラム
KR100935861B1 (ko) 2007-11-12 2010-01-07 한국전자통신연구원 네트워크 보안 위험도 예측 방법 및 장치
JP5125466B2 (ja) * 2007-12-11 2013-01-23 富士通株式会社 不正使用監視装置、及び、不正使用監視プログラム
US20090235355A1 (en) * 2008-03-17 2009-09-17 Inventec Corporation Network intrusion protection system
WO2010101749A1 (en) * 2009-03-05 2010-09-10 Massachusetts Institute Of Technology Predictive semi-autonomous vehicle navigation system
US8756693B2 (en) * 2011-04-05 2014-06-17 The United States Of America As Represented By The Secretary Of The Air Force Malware target recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090001609A (ko) * 2006-11-13 2009-01-09 한국전자통신연구원 사이버위협 예보 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10523697B2 (en) 2017-01-04 2019-12-31 Electronics And Telecommunications Research Institute Method and apparatus for detecting cyberthreats through correlation analysis
RU2702269C1 (ru) * 2019-06-04 2019-10-07 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Система интеллектуального управления киберугрозами
EA038063B1 (ru) * 2019-06-04 2021-06-30 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Система интеллектуального управления киберугрозами

Also Published As

Publication number Publication date
EP2453381B1 (en) 2017-11-15
JP2012527687A (ja) 2012-11-08
EP2453381A2 (en) 2012-05-16
KR20110004016A (ko) 2011-01-13
US8800037B2 (en) 2014-08-05
WO2011004977A3 (ko) 2011-03-31
US20120096552A1 (en) 2012-04-19
WO2011004977A2 (ko) 2011-01-13
EP2453381A4 (en) 2013-01-23

Similar Documents

Publication Publication Date Title
KR101039717B1 (ko) 사이버위협을 예측하기 위한 사이버위협 예측 엔진 시스템 및 상기 시스템을 이용한 사이버위협 예측 방법
US10254720B2 (en) Data center intelligent control and optimization
CN102110211B (zh) 用于管理安全事件的方法和装置
US7890315B2 (en) Performance engineering and the application life cycle
US20080195369A1 (en) Diagnostic system and method
US20160203404A1 (en) Predicting execution times of concurrent queries
US9396160B1 (en) Automated test generation service
US9436725B1 (en) Live data center test framework
CN109582109A (zh) 数据中心控制方法和系统
US9146829B1 (en) Analysis and verification of distributed applications
US20190079821A1 (en) Technique for Processing Fault Event of IT System
GB2376542A (en) Scheduling execution of activities
Esfahani et al. Inferring software component interaction dependencies for adaptation support
Liu et al. Temporal QoS management in scientific cloud workflow systems
Cámara et al. Uncertainty in self-adaptive systems categories, management, and perspectives
Sackmann A reference model for process-oriented it risk management
Ciavotta et al. Architectural design of cloud applications: A performance-aware cost minimization approach
Williams Risk analysis using an embedded CPA package
Samir et al. A controller for anomaly detection, analysis and management for self-adaptive container clusters
US20210097429A1 (en) Machine learning training resource management
Rammig et al. Online behavior classification for anomaly detection in self‐x real‐time systems
Parra-Ullauri et al. Towards an architecture integrating complex event processing and temporal graphs for service monitoring
Cámara et al. Uncertainty in self-adaptive systems
Carnevali et al. The ORIS tool: app, library, and toolkit for quantitative evaluation of non-Markovian systems
Buga et al. Towards an ASM specification for monitoring and adaptation services of large-scale distributed systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170406

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 8