KR102197590B1 - 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템 및 그 방법 - Google Patents
머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102197590B1 KR102197590B1 KR1020200075022A KR20200075022A KR102197590B1 KR 102197590 B1 KR102197590 B1 KR 102197590B1 KR 1020200075022 A KR1020200075022 A KR 1020200075022A KR 20200075022 A KR20200075022 A KR 20200075022A KR 102197590 B1 KR102197590 B1 KR 102197590B1
- Authority
- KR
- South Korea
- Prior art keywords
- module
- response
- data
- learning
- approval
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 192
- 230000008569 process Effects 0.000 title claims abstract description 127
- 238000010801 machine learning Methods 0.000 title claims abstract description 79
- 230000006872 improvement Effects 0.000 title claims abstract description 8
- 230000004044 response Effects 0.000 claims abstract description 194
- 238000013075 data extraction Methods 0.000 claims description 86
- 230000000875 corresponding effect Effects 0.000 claims description 39
- 230000009471 action Effects 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 24
- 238000002372 labelling Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000002265 prevention Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 241000544061 Cuculus canorus Species 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Marketing (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Security & Cryptography (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는, 이벤트별/공격유형별 자동화된 대응 프로세스인 플레이북(Playbook) 실행시 각 단계별 확인 데이터와 사람의 결정/승인을 머신러닝 기반으로 학습시키고, 향후 동일한 이벤트/공격유형이 발생하면, 예측모델이 과거 데이터를 기반으로 사람의 결정/승인을 예측해 가이드함으로써, SOC 관제 분석가가 빠른 결정을 내릴 수 있도록 지원하고, 충분한 학습에 의해 확실한 결정 예측이라 판단되는 사항에 대해서는 결정/승인도 자동화될 수 있도록 하여 더 많은 이벤트에 대응할 수 있도록 지원하며, 승인 프로세스에서 잘못된 예측이 수행되더라도 분석가가 피드백을 해줌으로써 모델이 개선될 수 있도록 하는, 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템 및 그 방법에 관한 것이다.
Description
본 발명은 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는, 이벤트별/공격유형별 자동화된 대응 프로세스인 플레이북(Playbook) 실행시 각 단계별 확인 데이터와 사람의 결정/승인을 머신러닝 기반으로 학습시키고, 향후 동일한 이벤트/공격유형이 발생하면, 예측모델이 과거 데이터를 기반으로 사람의 결정/승인을 예측해 가이드함으로써, SOC 관제 분석가가 빠른 결정을 내릴 수 있도록 지원하고, 충분한 학습에 의해 확실한 결정 예측이라 판단되는 사항에 대해서는 결정/승인도 자동화될 수 있도록 하여 더 많은 이벤트에 대응할 수 있도록 지원하며, 승인 프로세스에서 잘못된 예측이 수행되더라도 분석가가 피드백을 해줌으로써 모델이 개선될 수 있도록 하는, 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템 및 그 방법에 관한 것이다.
사이버 공격의 규모가 커지고, 그 정교함이 끊임없이 진화함에 따라, 보안 분야 전문가들은 이러한 사이버 공격에 대응하기 위한 다양한 방안을 모색해 나가고 있으나, 시간, 기술, 리소스 측면 등에서 한계에 부딪히고 있다.
도 1은 종래의 보안 관제 시스템(90)을 도시한 도면으로, 이는 한국등록특허공보 제10-1486307호(2015.01.20.)에 개시되어 있다. 도 1을 참고하여 설명하면, 종래의 보안 관제 시스템(90)은, 보안 관제 장치(91)가 보안 관제 센터(Security Operation Center, SOC)(93)와 연동하여 동작하며, 일반적으로 보안 관제 센터(93)에서는 DDoS(Distributed Denial of Service) 대응 장비, 침입 차단 시스템(File Wall, FW), 위협 관리 시스템(Threat Management System, TMS), 침입 방지 시스템(Instruction Protection System, IPS), 웹 어플리케이션 방화벽(Web Application Firewall, WAF) 등 수많은 보안 관제 장치(91)를 사용하는데, 이러한 복수의 보안 관제 장치(91)를 소수의 보안 담당자가 모니터링하고 있는바, 정확한 보안 관제가 이루어지기 어려운 상황이다.
보안의 강도를 높이기 위해 보안 장비의 수를 늘릴수록, 보안 담당자가 모니터링해야 하는 보안 장비의 수가 많아지게 되어, 보안 담당자의 피로감이 극심해 질 수밖에 없으며, 이로 인해 제대로된 보안 관제가 이루어지기 어렵고, 보안 담당자별로 성향, 능력, 경험, 숙련도 등이 상이하기 때문에 담당자별로 편차 없는 보안 관제를 기대하는 것이 사실상 불가능하다.
이런 문제점을 해결하기 위해, 최근 보안 업계에서는 보안 오케스트레이션, 자동화 및 대응(Security Orchestration, Automation and Response)을 의미하는 SOAR에 주목하고 있다.
SOAR(Security Orchestration, Automation and Response)은 다양한 보안 위협에 대한 대응 프로세스를 자동화해 낮은 수준의 보안 이벤트는 사람의 도움없이 처리하고, 보안 사고 발생시 표준화된 업무 프로세스에 따라 직원이 쉽게 대응할 수 있게 도와주는 보안 솔루션을 말한다.
즉, 상기 SOAR은 사람, 기술 및 프로세스를 조율하고 자동화함으로써 조직에서 사고 대응 효율성과 일관성을 개선하여, 사고 대응 자동화, 효율화, 리소스 최소화, 빠른 대응, 인력별 업무 결과의 상향 평준화, 업무성과 및 ROI(Return On Investment) 파악, 협업에 대한 운영의 효율성 증가를 가져오고자 하는 것이다.
일반적으로, 상기 SOAR(Security Orchestration, Automation and Response)은 SOA(Security Orchestration and Automation) 영역과, SIRP(Security Incident Response Platforms) 영역과, TIP(Threat Intelligence Platforms) 영역으로 구분된다.
상기 SOA(Security Orchestration and Automation) 영역은, 보안 대응팀의 단조롭고 반복적인 업무를 파악하고 그 업무에 소요되는 시간을 감소시켜주며, 툴 간의 워크플로우를 자동화시키는 영역을 가리킨다.
상기 SIRP(Security Incident Response Platforms) 영역은, 툴 간 자동화가 아니라, 프로세스를 자동화하여, 보안 사고가 발생하면 사고 유형별로 내부 보안 사고 대응 정책에 의해 미리 정해진 프로세스에 따라 어떤 업무를 할 것인지, 해당 업무가 누구에게 할당되고 언제까지 마무리해야 하는지를 관리하는 영역을 의미한다.
상기 TIP(Threat Intelligence Platforms) 영역은, 조직에서 발생하는 보안 위협의 분석 업무를 지원하기 위해 여러 소스의 위협 데이터를 실시간으로 수집하고 상관 분석해 제공하며, 분석된 위협 정보 데이터를 기업의 기존 보안시스템이나 대응 솔루션과 연계해 위협 요소를 제공함으로써 보안 인력의 사전 대응력을 향상시키는 영역이다.
하지만, 이러한 SOAR에 있어서도, 인간이 시스템의 중심에 위치하여 전략적인 의사결정의 핵심적인 역할을 담당하고 있는바, 이 경우에도 보안 담당자의 개입이 불가피하다는 한계가 있다.
예를 들어 설명하면, 이메일 악성코드 이벤트가 발생했을 때, Outlook 등에서 이메일을 가져오고, 메일내 URL을 바이러스토탈(VirusTotal) 등에 질의하며, 이메일 내 파일을 추출하고, 파일의 해시(Hash)를 질의하며, 파일 동적 분석(Cuckoo)을 수행하고, 악성코드의 배포지이며 파일이 악성코드일 때 이를 보안 담당자에게 통보해 승인을 요청하게 되는데, 이때 보안 담당자가 승인(Human Decision)을 할 경우에야 비로소 이메일 삭제 및 경고 메일이 전송된다.
상기 SOAR에서는 공격 유형별, 상황별 대응 자동화 프로세스를 가리키는 플레이북(Playbook)이 실행되지만, 주요 대응 프로세스인 SOAR 플레이북(Playbook)도 결국 사람의 결정이나 승인 절차(Human Decision)가 반드시 필요하므로, SOAR의 기본 사상이 전 프로세스의 자동화를 추구하는 것에 있다고 한들, 인간의 개입이 필연적으로 발생할 수밖에 없는 것이다.
운영환경에 따라 수많은 이벤트에 대해서 프로세스가 실행되고, 주요 프로세스에 대해서는 사람의 결정/승인(Human Decision) 절차가 필수적인바, 한정된 SOC 관제/분석가 인력이 모든 이벤트를 확인할 수는 없는 노릇이며, 분석가의 능력에 따라 상이한 결정이 내려질 위험이 여전히 남아있다.
이에 관련 업계에서는 공격 유형별로 자동화된 플레이북(Playbook)을 실행시켜 운영 환경과, 증가하는 공격 등에 따른 과도한 승인 절차의 문제를 해결할 수 있는 기술의 도입을 요구하고 있는 실정에 있다.
본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로,
본 발명의 목적은, 이벤트별/공격유형별 자동화된 대응 프로세스인 플레이북(Playbook) 실행시 각 단계별 확인 데이터와 사람의 결정/승인을 머신러닝 기반으로 학습시키고, 향후 동일한 이벤트/공격유형이 발생하면, 예측모델이 과거 데이터를 기반으로 사람의 결정/승인을 예측해 가이드할 수 있도록 하는 것이다.
본 발명의 다른 목적은, 대응 자동화 프로세스를 저장하고 이벤트/공격유형에 따라 대응 자동화 프로세스를 실행해 대응하는 보안자동화대응부를 구성하여, 다양한 보안 위협에 대한 대응 프로세스를 자동화해 낮은 수준의 보안 이벤트는 사람의 도움없이 처리하고, 보안 사고 발생시 표준화된 업무 프로세스에 따라 직원이 쉽게 대응할 수 있도록 하되, 보안 분석가의 결정/승인 업무의 부담을, 상기 보안자동화대응부와 연결되어 실행된 대응 자동화 프로세스에 대한 승인 내역을 학습해 모델을 생성하고 생성된 모델로 승인 절차를 예측하는 머신러닝부에 의해 보완하는 것이다.
본 발명의 또 다른 목적은, 대응 자동화 프로세스에서 수행된 액션데이터를 학습데이터로 하고, 해당 액션데이터에 대한 보안 분석가의 승인데이터를 라벨링데이터로 하여, 지도학습에 의한 승인 예측 모델을 생성함에 따라, 생성된 모델에 의해 보안 분석가의 결정/승인이 자동으로 예측되도록 하는 것이다.
본 발명의 또 다른 목적은, 학습모듈을 통해 생성된 모델에 예측데이터추출모듈로부터 전송받은 데이터가 입력되도록 함으로써, 승인 절차가 예측될 수 있도록 하는 것이다.
본 발명의 또 다른 목적은, 학습된 모델을 통해 판단된 예측 결과를 전달함으로써, 보안 관제 센터(Security Operation Center, SOC) 분석가가 빠른 의사 결정/승인을 내릴 수 있도록 지원하는 것이다.
본 발명의 또 다른 목적은, 보안의 강도를 높이기 위해 보안 장비의 수를 늘리더라도, 머신러닝부에 의한 승인 예측이 지원되어, 보안 분석가가 보다 정확하고 용이하게 의사 결정을 내릴 수 있도록 하는 것이다.
본 발명의 또 다른 목적은, 머신러닝부에 의해 보안 분석가의 결정/승인이 예측되어 지원되는바, 보안 분석가의 피로를 줄이고, 보안 분석가별로 성향, 능력, 경험, 숙련도 등이 상이하더라도, 편차 없는 일정 수준이상의 보안 관제가 이루어질 수 있도록 하는 것이다.
본 발명의 또 다른 목적은, 충분한 학습에 의해 확실한 결정/승인 예측이라 판단되는 사항에 대해서는 보안 분석가의 개입 없이도 시스템 내에서 결정/승인이 자동으로 이루어지도록 하는 것이다.
본 발명의 또 다른 목적은, 일정 수준 이상의 정탐율이 기대될 경우 보안 분석가가 직접 승인을 하지 않더라도, 자동 결정/승인이 이루어지도록 함으로써, 더 많은 이벤트에 신속한 대응이 가능하도록 하는 것이다.
본 발명의 또 다른 목적은, 잘못된 예측이 수행되더라도 이를 보안 분석가가 피드백을 해줄 수 있도록 함으로써 학습된 모델을 지속적으로 개선해 나갈 수 있도록 하는 것이다.
본 발명의 또 다른 목적은, 승인 프로세스에서 이루어진 예측의 정오탐을 결정하고, 오탐이 존재하는 경우, 오탐과 관련된 대응 자동화 프로세스에서 수행된 액션데이터를 학습데이터로 하고, 해당 액션데이터에 대한 정탐데이터를 라벨링데이터로 하여 모델의 업데이트가 이루어질 수 있도록 함으로써, 결정/승인 예측의 정확도를 높이는 것이다.
본 발명은 앞서 본 목적을 달성하기 위해서 다음과 같은 구성을 가진 실시예에 의해서 구현된다.
본 발명의 일 실시예에 따르면, 본 발명은, 대응 자동화 프로세스를 저장하고 이벤트/공격유형에 따라 대응 자동화 프로세스를 실행해 대응하는 보안자동화대응부와, 상기 보안자동화대응부와 연결되어 실행된 대응 자동화 프로세스에 대한 승인 내역을 학습해 모델을 생성하고 생성된 모델로 승인 절차를 예측하는 머신러닝부를 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면, 본 발명은, 상기 보안자동화대응부는, 이벤트를 수집하는 이벤트수집모듈과, 이벤트별/공격유형별 대응 자동화 프로세스를 등록하는 플레이북플로우설정모듈과, 일측은 상기 이벤트수집모듈과 연결되고 타측은 상기 플레이북플로우설정모듈과 연결되어 이벤트별/공격유형별로 대응 자동화 프로세스를 실행하는 사고대응자동화엔진모듈과, 상기 사고대응자동화엔진모듈과 연결되어 실행된 대응 자동화 프로세스를 출력하는 사고대응관리모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 보안자동화대응부는, 학습을 위해 상기 사고대응관리모듈과 연결되어 이벤트/공격유형/플레이북별로 데이터와 승인 내역을 상기 머신러닝부로 전송하는 학습데이터추출모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 머신러닝부는, 상기 학습데이터추출모듈과 연결되어, 대응 자동화 프로세스에서 수행된 액션데이터를 학습데이터로 하고, 상기 액션데이터에 대한 승인데이터를 라벨링데이터로 하여, 학습을 수행해 모델을 생성하는 학습모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 머신러닝부는, 상기 학습모듈과 연결되어 학습에 의해 생성된 모델을 저장하는 모델저장모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 보안자동화대응부는, 예측을 위해 상기 사고대응관리모듈과 연결되어 이벤트/공격유형/플레이북별로 데이터를 상기 머신러닝부로 전송하는 예측데이터추출모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 머신러닝부는, 일측은 상기 예측데이터추출모듈과 연결되고, 타측은 상기 모델저장모듈과 연결되어, 상기 학습모듈을 통해 생성된 모델에 상기 예측데이터추출모듈로부터 전송받은 데이터를 입력해 승인 절차를 예측하는 예측모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 예측모듈은, 상기 사고대응관리모듈과 연결되어 상기 사고대응관리모듈에 승인 절차 예측 결과를 전송하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 보안자동화대응부는, 상기 예측모듈의 승인 절차 예측 결과를 확인해 상기 예측모듈의 정오탐 여부를 결정하는 정오탐결정모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 보안자동화대응부는, 상기 정오탐결정모듈과 연결되어, 오탐이 존재하는지 여부를 판단해 피드백을 진행할 것인지 여부를 결정하는 피드백판단모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 보안자동화대응부는, 상기 피드백판단모듈과 연결되어, 오탐과 관련된 대응 자동화 프로세스에서 수행된 액션데이터를 학습데이터로 하고, 해당 액션데이터에 대한 정탐데이터를 라벨링데이터로 하여, 상기 머신러닝부로 전송하는 피드백데이터추출모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 머신러닝부는, 일측은 상기 피드백데이터추출모듈과 연결되고, 타측은 모델저장모듈과 연결되어, 상기 피드백데이터추출모듈로부터 수신한 액션데이터를 학습데이터로 하고, 해당 액션데이터에 대한 정탐데이터를 라벨링데이터로 하여 상기 모델저장모듈에 저장된 모델을 갱신하는 모델관리모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 보안자동화대응부가 대응 자동화 프로세스를 저장하고 이벤트/공격유형에 따라 대응 자동화 프로세스를 실행해 대응하는 보안자동화대응단계와, 상기 보안자동화대응단계 이후에, 머신러닝부의 학습모듈이 실행된 대응 자동화 프로세스에 대한 승인 내역을 학습해 모델을 생성하는 학습단계와, 상기 학습단계 이후에, 머신러닝부의 예측모듈이 상기 학습모듈이 생성한 모델로 승인 절차를 예측하는 예측단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 학습단계는, 보안자동화대응부의 학습데이터추출모듈이 학습을 위해 보안자동화대응부의 사고대응관리모듈과 연결되어 이벤트/공격유형/플레이북별로 데이터와 승인 내역을 머신러닝부의 학습모듈로 전송하는 학습데이터추출단계와, 상기 학습데이터추출단계 이후에, 상기 학습모듈이 상기 학습데이터추출모듈과 연결되어, 대응 자동화 프로세스에서 수행된 액션데이터를 학습데이터로 하고, 상기 액션데이터에 대한 승인데이터를 라벨링데이터로 하여, 학습을 수행해 모델을 생성하는 모델생성단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 예측단계는, 보안자동화대응부의 예측데이터추출모듈이 예측을 위해 보안자동화대응부의 사고대응관리모듈과 연결되어 이벤트/공격유형/플레이북별로 데이터를 머신러닝부의 예측모듈로 전송하는 예측데이터추출단계와, 상기 예측데이터추출단계 이후에, 상기 예측모듈이 상기 예측데이터추출모듈과 연결되어, 상기 학습모듈이 생성한 모델에 상기 예측데이터추출모듈로부터 전송받은 데이터를 입력해 승인 절차를 예측하는 승인예측단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 승인 절차 개선 방법은, 상기 예측단계 이후에, 승인 절차 예측의 정오탐을 판단해 생성된 모델을 갱신하는 피드백단계를 추가로 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 피드백단계는, 정오탐결정모듈이 상기 예측모듈의 승인 절차 예측 결과를 확인해 상기 예측모듈의 정오탐 여부를 결정하는 정오탐결정단계와, 상기 정오탐결정단계 이후에, 보안자동화대응부의 피드백판단모듈이 상기 정오탐결정모듈과 연결되어, 오탐이 존재하는지 여부를 판단해 피드백을 진행할 것인지 여부를 결정하는 피드백판단단계와, 상기 피드백판단단계 이후에, 오탐이 존재한다고 판단된 경우, 보안자동화대응부의 피드백데이터추출모듈이 보안자동화대응부의 사고대응관리모듈과 연결되어, 오탐과 관련된 대응 자동화 프로세스에서 수행된 액션데이터와, 해당 액션데이터에 대한 정탐데이터를 머신러닝부의 모델관리모듈로 전송하는 피드백데이터추출단계와, 상기 피드백데이터추출단계 이후에, 모델관리모듈이 상기 피드백데이터추출모듈로부터 수신한 액션데이터를 학습데이터로 하고, 해당 액션데이터에 대한 정탐데이터를 라벨링데이터로 하여 학습모듈이 생성한 모델을 갱신하는 모델갱신단계를 포함하는 것을 특징으로 한다.
본 발명은 앞서 본 실시예와 하기에 설명할 구성과 결합, 사용관계에 의해 다음과 같은 효과를 얻을 수 있다.
본 발명은, 이벤트별/공격유형별 자동화된 대응 프로세스인 플레이북(Playbook) 실행시 각 단계별 확인 데이터와 사람의 결정/승인을 머신러닝 기반으로 학습시키고, 향후 동일한 이벤트/공격유형이 발생하면, 예측모델이 과거 데이터를 기반으로 사람의 결정/승인을 예측해 가이드할 수 있도록 하는 효과를 가진다.
본 발명은, 대응 자동화 프로세스를 저장하고 이벤트/공격유형에 따라 대응 자동화 프로세스를 실행해 대응하는 보안자동화대응부를 구성하여, 다양한 보안 위협에 대한 대응 프로세스를 자동화해 낮은 수준의 보안 이벤트는 사람의 도움없이 처리하고, 보안 사고 발생시 표준화된 업무 프로세스에 따라 직원이 쉽게 대응할 수 있도록 하되, 보안 분석가의 결정/승인 업무의 부담을, 상기 보안자동화대응부와 연결되어 실행된 대응 자동화 프로세스에 대한 승인 내역을 학습해 모델을 생성하고 생성된 모델로 승인 절차를 예측하는 머신러닝부에 의해 보완하는 효과를 도출한다.
본 발명은, 대응 자동화 프로세스에서 수행된 액션데이터를 학습데이터로 하고, 해당 액션데이터에 대한 보안 분석가의 승인데이터를 라벨링데이터로 하여, 지도학습에 의한 승인 예측 모델을 생성함에 따라, 생성된 모델에 의해 보안 분석가의 결정/승인이 자동으로 예측되도록 하는 효과가 있다.
본 발명은, 학습모듈을 통해 생성된 모델에 예측데이터추출모듈로부터 전송받은 데이터가 입력되도록 함으로써, 승인 절차가 예측될 수 있도록 하는 효과를 가진다.
본 발명은, 학습된 모델을 통해 판단된 예측 결과를 전달함으로써, 보안 관제 센터(Security Operation Center, SOC) 분석가가 빠른 의사 결정/승인을 내릴 수 있도록 지원하는 효과를 도출한다.
본 발명은, 보안의 강도를 높이기 위해 보안 장비의 수를 늘리더라도, 머신러닝부에 의한 승인 예측이 지원되어, 보안 분석가가 보다 정확하고 용이하게 의사 결정을 내릴 수 있도록 하는 효과가 있다.
본 발명은, 머신러닝부에 의해 보안 분석가의 결정/승인이 예측되어 지원되는바, 보안 분석가의 피로를 줄이고, 보안 분석가별로 성향, 능력, 경험, 숙련도 등이 상이하더라도, 편차 없는 일정 수준이상의 보안 관제가 이루어질 수 있도록 하는 효과를 가진다.
본 발명은, 충분한 학습에 의해 확실한 결정/승인 예측이라 판단되는 사항에 대해서는 보안 분석가의 개입 없이도 시스템 내에서 결정/승인이 자동으로 이루어지도록 하는 효과를 도출한다.
본 발명은, 일정 수준 이상의 정탐율이 기대될 경우 보안 분석가가 직접 승인을 하지 않더라도, 자동 결정/승인이 이루어지도록 함으로써, 더 많은 이벤트에 신속한 대응이 가능하도록 하는 효과가 있다.
본 발명은, 잘못된 예측이 수행되더라도 이를 보안 분석가가 피드백을 해줄 수 있도록 함으로써 학습된 모델을 지속적으로 개선해 나갈 수 있도록 하는 효과를 가진다.
본 발명은, 승인 프로세스에서 이루어진 예측의 정오탐을 결정하고, 오탐이 존재하는 경우, 오탐과 관련된 대응 자동화 프로세스에서 수행된 액션데이터를 학습데이터로 하고, 해당 액션데이터에 대한 정탐데이터를 라벨링데이터로 하여 모델의 업데이트가 이루어질 수 있도록 함으로써, 결정/승인 예측의 정확도를 높이는 효과를 도출한다.
도 1은 종래의 보안 관제 시스템을 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템을 도시한 도면.
도 3은 도 2의 보안자동화대응부와 머신러닝부의 일 실시예를 도시한 도면.
도 4는 도 2의 보안자동화대응부와 머신러닝부의 다른 실시예를 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 방법을 도시한 도면.
도 6은 도 5의 피드백단계를 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템을 도시한 도면.
도 3은 도 2의 보안자동화대응부와 머신러닝부의 일 실시예를 도시한 도면.
도 4는 도 2의 보안자동화대응부와 머신러닝부의 다른 실시예를 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 방법을 도시한 도면.
도 6은 도 5의 피드백단계를 도시한 도면.
이하에서는 본 발명에 따른 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템 및 그 방법의 바람직한 실시 예들을 첨부된 도면을 참고하여 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 공지의 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하도록 한다. 특별한 정의가 없는 한 본 명세서의 모든 용어는 본 발명이 속하는 기술분야의 통상의 지식을 가진 기술자가 이해하는 당해 용어의 일반적 의미와 동일하고 만약 본 명세서에서 사용된 용어의 의미와 충돌하는 경우에는 본 명세서에서 사용된 정의에 따른다.
도 2는 본 발명의 일 실시예에 따른 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템(1)을 도시한 도면으로, 도 2를 참고하면, 상기 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템(1)은, 보안관제부(10), 보안자동화대응부(30), 머신러닝부(50)를 포함한다.
상기 보안관제부(10)는, 빅데이터 기반 보안관제 시스템으로, 경보/이벤트를 생성해 후술할 보안자동화대응부(30)의 이벤트수집모듈(31)에 상기 경보/이벤트를 전달하는 구성을 말한다. 이를 위해 상기 보안관제부(10)는 이벤트수집모듈(31)과 연결될 수 있다.
상기 보안자동화대응부(30)는, 대응 자동화 프로세스를 저장하고 이벤트/공격유형에 따라 대응 자동화 프로세스를 실행해 대응하는 구성을 말한다. 바람직하게는 상기 보안자동화대응부(30)는 SOAR(Security Orchestration, Automation and Response)이며, 상기 보안자동화대응부(30)를 통해, 다양한 보안 위협에 대한 대응 프로세스를 자동화해 낮은 수준의 보안 이벤트는 사람의 도움없이 처리하고, 보안 사고 발생시 표준화된 업무 프로세스에 따라 직원이 쉽게 대응하도록 할 수 있다. 다만, 상기 보안자동화대응부(30)에서는 공격 유형별, 상황별 대응 자동화 프로세스를 가리키는 플레이북(Playbook)이 실행되지만, 주요 대응 프로세스인 SOAR 플레이북(Playbook)도 결국 사람의 결정이나 승인 절차(Human Decision)가 반드시 필요하므로, 이러한 결정/승인에 보안 분석가의 업무 부담이 발생할 수 있어, 본 발명은 상기 보안자동화대응부(30)에 후술할 머신러닝부(50)를 결합하여, 보안 분석가의 결정/승인 업무의 부담을 해소한다.
도 3 및 도 4를 참고하면, 이러한 상기 보안자동화대응부(30)는, 이벤트수집모듈(31), 플레이북플로우설정모듈(32), 사고대응자동화엔진모듈(33), 사고대응관리모듈(34), 학습데이터추출모듈(35), 예측데이터추출모듈(36), 정오탐결정모듈(37), 피드백판단모듈(38), 피드백데이터추출모듈(39)을 포함한다.
상기 이벤트수집모듈(31)은, 이벤트를 수집하는 구성으로, 상기 보안관제부(10)와 연결되어, 보안관제부(10)가 생성한 경보/이벤트를 수신하게 된다. 상기 이벤트수집모듈(31)은 후술할 사고대응자동화엔진모듈(33)과 연결되어 수집된 데이터들이 DDoS(Distributed Denial of Service) 대응 장비, 침입 차단 시스템(File Wall, FW), 위협 관리 시스템(Threat Management System, TMS), 침입 방지 시스템(Instruction Protection System, IPS), 웹 어플리케이션 방화벽(Web Application Firewall, WAF) 등 수많은 보안 관제 장치에 의해 모니터링될 수 있다.
상기 플레이북플로우설정모듈(32)은, 이벤트별/공격유형별 대응 자동화 프로세스인 플레이북(Playbook)을 등록하는 구성을 말한다. 상기 플레이북플로우설정모듈(32)에 의해 후술할 사고대응자동화엔진모듈(33)의 동작이 결정되는바, 보안 분석가는 이벤트별/공격유형별 조건에 맞는 액션(Action)에 대해 자동화 엔진이 자동화 대응 프로세스를 실행할 수 있도록 상기 플레이북플로우설정모듈(32)에 복수의 플레이북(Playbook) 플로우를 설정할 수 있다.
상기 사고대응자동화엔진모듈(33)은, 일측은 상기 이벤트수집모듈(31)과 연결되고 타측은 상기 플레이북플로우설정모듈(32)과 연결되어 이벤트별/공격유형별로 대응 자동화 프로세스를 실행하는 구성을 말한다. 상기 사고대응자동화엔진모듈(33)에 의해 DDoS(Distributed Denial of Service) 대응 장비, 침입 차단 시스템(File Wall, FW), 위협 관리 시스템(Threat Management System, TMS), 침입 방지 시스템(Instruction Protection System, IPS), 웹 어플리케이션 방화벽(Web Application Firewall, WAF) 등이 자동으로 실행될 수 있게 된다.
상기 사고대응관리모듈(34)은, 상기 사고대응자동화엔진모듈(33)과 연결되어 실행된 대응 자동화 프로세스를 출력하는 구성을 말한다. 상기 사고대응관리모듈(34)에 의해 실행된 사고 대응 프로세스는 보안 분석가가 보는 화면에 표출될 수 있다. 종래의 SOAR에 의하면, 보안 분석가는 상기 사고대응관리모듈(34)에 의해 디스플레이되는 화면 내용을 보고, 프로세스에 따라 결정/승인 작업을 직접 수행하였다. 예를 들어, 정탐성으로 판단하여 IP를 방화벽에서 차단하거나 해당 이메일을 삭제하는 등의 액션을 수행했으며, 오탐/무시성으로 판단하여 대응 종결 보고만 하거나, 오탐 종결(프로세스 종료)의 액션을 수행하였다. 하지만, 이러한 수행 과정에서 보안 분석가의 결정/승인 사항이 많아져 문제가 되었는바, 본원발명은 이벤트별/공격유형별 자동화된 대응 프로세스인 플레이북(Playbook) 실행시 각 단계별 확인 데이터와 사람의 결정/승인을 머신러닝 기반으로 학습시키고, 향후 동일한 이벤트/공격유형이 발생하면, 예측모델이 과거 데이터를 기반으로 사람의 결정/승인을 예측해 가이드할 수 있도록 한다.
상기 학습데이터추출모듈(35)은, 학습을 위해 상기 사고대응관리모듈(34)과 연결되어 이벤트/공격유형/플레이북별로 데이터와 승인 내역을 후술할 머신러닝부(50)로 전송하는 구성을 말한다. 지도학습을 위해서는 데이터와 데이터에 대한 명시적인 정답인 레이블(Label)이 있어야 하는바, 상기 학습데이터추출모듈(35)은 상기 이벤트/공격유형/플레이북별 데이터 뿐만 아니라, 이에 관한 보안 분석가의 승인 내역을 레이블(Label)로 하여 머신러닝부(50)의 학습모듈(51)로 전송하게 된다. 본 명세서에서 승인 내역은 보안 분석가의 승인 뿐만 아니라 결정 등도 포함하는 광의의 개념이다.
상기 예측데이터추출모듈(36)은, 예측을 위해 상기 사고대응관리모듈(34)과 연결되어 이벤트/공격유형/플레이북별로 데이터를 후술할 머신러닝부(50)로 전송하는 구성을 말한다. 상기 학습데이터추출모듈(35)에 의해서는 모델 생성을 위해 레이블(Label)인 보안 분석가의 승인 내역까지 전송되었다면, 예측 과정은 생성된 모델에 데이터를 입력하여 승인 절차를 예측하는 것인바, 별도의 레이블(Label) 없이 수집된 이벤트/공격유형/플레이북별 데이터만 전송될 수 있다. 바람직하게는 상기 학습데이터추출모듈(35)과 상기 예측데이터추출모듈(36)은 도 3에 도시된 바와 같이, 독립적으로 분리 구성될 수 있다.
상기 정오탐결정모듈(37)은, 예측모듈(53)의 승인 절차 예측 결과를 확인해 예측모듈(53)의 정오탐 여부를 결정하는 구성을 말한다. 본 발명은, 충분한 학습에 의해 확실한 결정/승인 예측이라 판단되는 사항에 대해서는 보안 분석가의 승인 절차를 예측하는 것을 넘어서, 보안 분석가의 개입 없이도 시스템 내에서 결정/승인이 자동으로 이루어지도록 하는바, 예측모듈(53)에 의한 예측 성능이 중요할 수 있다. 따라서 상기 정오탐결정모듈(37)을 구성해, 예측모듈(53)이 예측한 탐지 내용의 정탐 또는 오탐 여부 등을 결정하여 오탐으로 판단된 사항에 대해서는 재학습이 이루어지도록 한다. 정오탐 결정은 예측모듈(53)의 예측 내용을 확인한 보안 분석가의 입력에 의해 이루어질 수 있다.
상기 피드백판단모듈(38)은, 상기 정오탐결정모듈(37)과 연결되어, 오탐이 존재하는지 여부를 판단해 피드백을 진행할 것인지 여부를 결정하는 구성을 말한다. 상기 정오탐결정모듈(37)에 의해 오탐이 확인된 경우 머신러닝부(50)에 피드백을 줄 필요가 있지만, 정탐만 결정된 경우 머신러닝부(50)에 피드백을 줄 필요가 없으므로, 상기 피드백판단모듈(38)을 구성해 오탐의 존부를 확인하고 피드백 진행 여부를 결정하게 된다.
상기 피드백데이터추출모듈(39)은, 상기 피드백판단모듈(38)과 연결되어, 오탐과 관련된 대응 자동화 프로세스에서 수행된 액션데이터를 학습데이터로 하고, 해당 액션데이터에 대한 정탐데이터를 라벨링데이터로 하여, 이들 데이터를 머신러닝부(50)로 전송하는 구성을 말한다. 데이터 추출을 위해 상기 피드백데이터추출모듈(39)은 상기 사고대응관리모듈(34)과 연결될 수 있으며, 추출된 데이터는 후술할 모델관리모듈(54)에 전송될 수 있다.
상기 머신러닝부(50)는, 상기 보안자동화대응부(30)와 연결되어 실행된 대응 자동화 프로세스에 대한 승인 내역을 학습해 모델을 생성하고 생성된 모델로 승인 절차를 예측하는 구성을 말한다. 상기 머신러닝부(50)를 구성해, 보안 분석가가 결정/승인을 하는데 필요한 승인 절차 예측을 지원할 수 있게 되며, 일정 수준 이상의 정탐율이 기대될 경우에는 보안 분석가가 직접 승인을 하지 않더라도, 자동 결정/승인이 이루어지도록 함으로써, 더 많은 이벤트에 신속한 대응이 가능하도록 할 수 있다. 이러한 상기 머신러닝부(50)는, 학습모듈(51), 모델저장모듈(52), 예측모듈(53), 모델관리모듈(54)을 포함한다.
상기 학습모듈(51)은, 상기 학습데이터추출모듈(35)과 연결되어, 대응 자동화 프로세스에서 수행된 액션데이터를 학습데이터로 하고, 상기 액션데이터에 대한 승인데이터를 라벨링데이터로 하여, 학습을 수행해 모델을 생성하는 구성을 말한다. 즉, 상기 학습모듈(51)은 지도학습에 의해 승인 예측 모델을 생성하게 된다. 상기 학습모듈(51)은 후술할 모델저장모듈(52)과 연결이 되어, 학습을 통해 생성한 모델을 모델저장모듈(52)에 저장한다.
상기 모델저장모듈(52)은, 상기 학습모듈(51)과 연결되어 학습에 의해 생성된 모델을 저장하는 구성을 말한다. 상기 모델저장모듈(52)은 후술할 예측모듈(53)과도 연결이 되며, 예측모듈(53)에 의한 승인 절차 예측시 저장된 모델을 제공하게 되고, 후술할 모델관리모듈(54)과 연결되어 오탐이 확인되었을 때, 모델관리모듈(54)에 의해 저장된 모델이 업데이트될 수 있다.
상기 예측모듈(53)은, 일측은 상기 예측데이터추출모듈(36)과 연결되고, 타측은 상기 모델저장모듈(52)과 연결되어, 상기 학습모듈(51)을 통해 생성된 모델에 상기 예측데이터추출모듈(36)로부터 전송받은 데이터를 입력해 승인 절차를 예측하는 구성을 말한다. 상기 예측모듈(53)은, 상기 사고대응관리모듈(34)과 연결되어 상기 사고대응관리모듈(34)에 승인 절차 예측 결과를 전송한다. 학습된 모델을 통해 판단된 예측 결과를 전달함으로써, 보안 관제 센터(Security Operation Center, SOC) 분석가는 빠른 의사 결정/승인을 내릴 수 있게 되며, 보안의 강도를 높이기 위해 보안 장비의 수를 늘리더라도, 머신러닝부에 의한 승인 예측이 지원되어, 보안 분석가가 보다 정확하고 용이하게 의사 결정을 내릴 수 있고, 머신러닝부에 의해 보안 분석가의 결정/승인이 예측되어 지원되는바, 보안 분석가의 피로를 줄이고, 보안 분석가별로 성향, 능력, 경험, 숙련도 등이 상이하더라도, 편차 없는 일정 수준이상의 보안 관제가 이루어질 수 있게 된다.
상기 모델관리모듈(54)은, 일측은 상기 피드백데이터추출모듈(39)과 연결되고, 타측은 모델저장모듈(52)과 연결되어, 상기 피드백데이터추출모듈(39)로부터 수신한 액션데이터를 학습데이터로 하고, 해당 액션데이터에 대한 정탐데이터를 라벨링데이터로 하여 상기 모델저장모듈(52)에 저장된 모델을 갱신하는 구성을 말한다. 상기 모델관리모듈(54)이 구성됨으로써, 상기 예측모듈(52)에 의한 잘못된 예측이 수행되더라도 이를 보안 분석가가 피드백을 해줄 수 있도록 함으로써 학습된 모델을 지속적으로 개선해 나갈 수 있게 된다.
이하에서는, 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 방법(S1)에 대해 설명하겠다. 중복된 서술을 방지하기 위해, 이미 언급한 내용에 관해서는 그에 관한 설명을 생략하거나 간략히 하겠다.
도 5는 본 발명의 일 실시예에 따른 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 방법(S1)을 도시한 도면으로, 도 5를 참고하면, 상기 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 방법(S1)은 보안자동화대응단계(S10), 학습단계(S30), 예측단계(S50), 피드백단계(S70)를 포함한다.
상기 보안자동화대응단계(S10)는, 보안자동화대응부(30)가 대응 자동화 프로세스를 저장하고 이벤트/공격유형에 따라 대응 자동화 프로세스를 실행해 대응하는 단계를 말한다. 상기 보안자동화대응단계(S10)에서는 대응 자동화 프로세스인 플레이북(Playbook)이 실행되는바, 다양한 보안 위협에 대한 대응 프로세스의 자동화가 가능해진다. 다만, 이 경우에도, 보안 분석가의 결정이나 승인 절차(Human Decision)가 반드시 필요하므로, 이러한 문제를 해결하기 위해 보안 분석가의 승인 내역을 학습하고, 이를 통해 모델을 생성해, 생성된 모델을 통한 예측을 수행하며, 정오탐 확인을 통해 모델을 강화하는 이하의 과정이 진행된다.
상기 학습단계(S30)는, 상기 보안자동화대응단계(S10) 이후에, 머신러닝부(50)의 학습모듈(51)이 실행된 대응 자동화 프로세스에 대한 승인 내역을 학습해 모델을 생성하는 단계를 말한다. 사고 대응 자동화에 따른 데이터는 상기 사고대응관리모듈(34)에 수집되고, 상기 사고대응관리모듈(34)에 수집된 데이터들 가운데, 학습데이터가 추출되어, 추출된 학습데이터를 가지고 보안 분석가의 승인 절차를 예측하기 위한 모델을 생성하게 된다. 이러한 상기 학습단계(S30)는, 학습데이터추출단계(S31), 모델생성단계(S33)를 포함한다.
상기 학습데이터추출단계(S31)는, 보안자동화대응부(30)의 학습데이터추출모듈(35)이 학습을 위해 보안자동화대응부(30)의 사고대응관리모듈(34)과 연결되어 이벤트/공격유형/플레이북별로 데이터와 승인 내역을 머신러닝부(50)의 학습모듈(51)로 전송하는 단계를 말한다. 지도학습을 위해서는 데이터와 데이터에 대한 명시적인 정답인 레이블(Label)이 있어야 하는바, 상기 학습데이터추출단계(S31)는 이벤트/공격유형/플레이북별 데이터 뿐만 아니라, 이에 관한 보안 분석가의 승인 내역을 레이블(Label)로 하여 머신러닝부(50)의 학습모듈(51)로 전송한다.
상기 모델생성단계(S33)는, 상기 학습데이터추출단계(S31) 이후에, 상기 학습모듈(51)이 상기 학습데이터추출모듈(35)과 연결되어, 대응 자동화 프로세스에서 수행된 액션데이터를 학습데이터로 하고, 상기 액션데이터에 대한 승인데이터(보안 분석가의 승인 내역과 관련된 데이터)를 라벨링데이터로 하여, 학습을 수행해 모델을 생성하는 단계를 말한다. 상기 모델생성단계(S33)를 통해 생성된 모델은 상기 모델저장모듈(52)에 저장이 되어 후술할 예측단계(S50)에서 이용될 수 있다.
상기 예측단계(S50)는, 상기 학습단계(S30) 이후에, 머신러닝부(50)의 예측모듈(53)이 상기 학습모듈(51)이 생성한 모델로 승인 절차를 예측하는 단계를 말한다. 상기 예측단계(S50)에서는, 별도의 레이블(Label) 없이 수집된 이벤트/공격유형/플레이북별 데이터가 입력이 되면, 입력값에 대한 출력값을 도출해 예측을 수행하게 된다. 이러한 상기 예측단계(S50)는, 예측데이터추출단계(S51), 승인예측단계(S53)를 포함한다.
상기 예측데이터추출단계(S51)는, 보안자동화대응부(30)의 예측데이터추출모듈(36)이 예측을 위해 보안자동화대응부(30)의 사고대응관리모듈(34)과 연결되어 이벤트/공격유형/플레이북별로 데이터를 머신러닝부(50)의 예측모듈(53)로 전송하는 단계를 말한다. 상기 예측데이터추출모듈(36)은 상기 학습데이터추출모듈(35)과 별개로 상기 사고대응관리모듈(34)에 연결이 되어, 예측 대상 데이터를 추출하게 된다.
상기 승인예측단계(S53)는, 상기 예측데이터추출단계(S51) 이후에, 상기 예측모듈(53)이 상기 예측데이터추출모듈(36)과 연결되어, 상기 학습모듈(51)이 생성한 모델에 상기 예측데이터추출모듈(36)로부터 전송받은 데이터를 입력해 승인 절차를 예측하는 단계를 말한다. 전술한 바와 같이, 승인 절차는, 결정과 승인 등을 모두 포함하는 개념으로, 기존 SOAR 시스템에서 보안 분석가에 의해 이루어졌던 승인 절차들이 상기 승인예측단계(S53)를 통해 승인 예측이 되어 보안 분석가에게 제공되는바, 보안 분석가는 제공된 승인 예측을 참고하여 결정/승인을 진행할 수도 있으며, 높은 확실성이 있는 것에는 보안 분석가를 제외하고 자동으로 결정/승인 절차가 진행될 수도 있다.
상기 피드백단계(S70)는, 상기 예측단계(S50) 이후에, 승인 절차 예측의 정오탐을 판단해 생성된 모델을 갱신하는 단계를 말한다. 상기 피드백단계(S70)에서는 승인 프로세스에서 이루어진 예측의 정오탐을 결정하고, 오탐이 존재하는 경우, 오탐과 관련된 대응 자동화 프로세스에서 수행된 액션데이터를 학습데이터로 하고, 해당 액션데이터에 대한 정탐데이터를 라벨링데이터로 하여 모델의 업데이트가 이루어질 수 있도록 함으로써, 결정/승인 예측의 정확도를 높이게 된다. 도 6은 도 5의 피드백단계(S70)를 도시한 도면으로, 이러한 상기 피드백단계(S70)는, 정오탐결정단계(S71), 피드백판단단계(S73), 피드백데이터추출단계(S75), 모델갱신단계(S77)를 포함한다.
상기 정오탐결정단계(S71)는, 정오탐결정모듈(37)이 상기 예측모듈(53)의 승인 절차 예측 결과를 확인해 상기 예측모듈(53)의 정오탐 여부를 결정하는 단계를 말한다. 정오탐 결정은 상기 사고대응관리모듈(34)을 통해 사고 대응 프로세스를 모니터링한 보안 분석가가, 상기 정오탐결정모듈(37)을 이용해 예측모듈(53)이 예측한 탐지 내용의 정탐 또는 오탐 여부 등을 결정하는 방식에 의해 이루어질 수 있다.
상기 피드백판단단계(S73)는, 상기 정오탐결정단계(S71) 이후에, 보안자동화대응부(30)의 피드백판단모듈(38)이 상기 정오탐결정모듈(37)과 연결되어, 오탐이 존재하는지 여부를 판단해 피드백을 진행할 것인지 여부를 결정하는 단계를 말한다. 도 6을 참고하여 설명하면, 상기 정오탐결정단계(S71)를 통해 예측의 정오탐이 결정이 되면, 상기 피드백판단단계(S73)에서 오탐이 존재하는지 여부를 체크하게 되고, 오탐이 존재할 경우에는, 피드백을 위해 후술할 피드백데이터추출단계(S75)로의 진행이 이루어지고, 오탐이 존재하지 않을 경우에는 별도의 피드백 없이 종료가 이루어질 수 있다.
상기 피드백데이터추출단계(S75)는, 상기 피드백판단단계(S73) 이후에, 오탐이 존재한다고 판단된 경우, 보안자동화대응부(30)의 피드백데이터추출모듈(39)이 보안자동화대응부(30)의 사고대응관리모듈(34)과 연결되어, 오탐과 관련된 대응 자동화 프로세스에서 수행된 액션데이터와, 해당 액션데이터에 대한 정탐데이터를 머신러닝부(50)의 모델관리모듈(54)로 전송하는 단계를 말한다. 상기 모델관리모듈(54)로 전송된 데이터들은 상기 모델저장모듈(52)에 저장된 예측에 사용되는 모델을 업그레이드 하는데 사용된다. 바람직하게는, 오탐과 관련된 대응 자동화 프로세스에서 수행된 액션데이터에 대한 정탐데이터는 보안 분석가의 입력에 의해 상기 사고대응관리모듈(34)에 저장되었다가 상기 피드백데이터추출모듈(39)에 의해 추출되는 것으로 볼 수 있다.
상기 모델갱신단계(S77)는, 상기 피드백데이터추출단계(S75) 이후에, 모델관리모듈(54)이 상기 피드백데이터추출모듈(39)로부터 수신한 액션데이터를 학습데이터로 하고, 해당 액션데이터에 대한 정탐데이터를 라벨링데이터로 하여 학습모듈(51)이 생성한 모델을 갱신하는 단계를 말한다. 상기 예측모듈(52)에 의해 잘못된 예측이 수행되더라도 이를 보안 분석가가 피드백을 해줄 수 있게 됨에 따라 학습된 모델은 지속적으로 개선될 수 있다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한, 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위내에서 변경 또는 수정이 가능하다. 저술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
1: 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템
10: 보안관제부
30: 보안자동화대응부
31: 이벤트수집모듈
32: 플레이북플로우설정모듈
33: 사고대응자동화엔진모듈
34: 사고대응관리모듈
35: 학습데이터추출모듈
36: 예측데이터추출모듈
37: 정오탐결정모듈
38: 피드백판단모듈
39: 피드백데이터추출모듈
50: 머신러닝부
51: 학습모듈
52: 모델저장모듈
53: 예측모듈
54: 모델관리모듈
S1: 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 방법
S10: 보안자동화대응단계
S30: 학습단계
S31: 학습데이터추출단계
S33: 모델생성단계
S50: 예측단계
S51: 예측데이터추출단계
S53: 승인예측단계
S70: 피드백단계
S71: 정오탐결정단계
S73: 피드백판단단계
S75: 피드백데이터추출단계
S77: 모델갱신단계
10: 보안관제부
30: 보안자동화대응부
31: 이벤트수집모듈
32: 플레이북플로우설정모듈
33: 사고대응자동화엔진모듈
34: 사고대응관리모듈
35: 학습데이터추출모듈
36: 예측데이터추출모듈
37: 정오탐결정모듈
38: 피드백판단모듈
39: 피드백데이터추출모듈
50: 머신러닝부
51: 학습모듈
52: 모델저장모듈
53: 예측모듈
54: 모델관리모듈
S1: 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 방법
S10: 보안자동화대응단계
S30: 학습단계
S31: 학습데이터추출단계
S33: 모델생성단계
S50: 예측단계
S51: 예측데이터추출단계
S53: 승인예측단계
S70: 피드백단계
S71: 정오탐결정단계
S73: 피드백판단단계
S75: 피드백데이터추출단계
S77: 모델갱신단계
Claims (17)
- 대응 자동화 프로세스를 저장하고 이벤트/공격유형에 따라 대응 자동화 프로세스를 실행해 대응하는 보안자동화대응부와, 상기 보안자동화대응부와 연결되어 실행된 대응 자동화 프로세스에 대한 승인 내역을 학습해 모델을 생성하고 생성된 모델로 승인 절차를 예측하는 머신러닝부를 포함하며,
상기 보안자동화대응부는, 실행된 대응 자동화 프로세스를 출력하고 예측된 보안 자동화 시스템에서의 결정/승인을 제공하는 사고대응관리모듈과, 학습을 위해 상기 사고대응관리모듈과 연결되어 이벤트/공격유형/플레이북별로 데이터와 승인 내역을 상기 머신러닝부로 전송하는 학습데이터추출모듈과, 예측을 위해 상기 사고대응관리모듈과 연결되어 이벤트/공격유형/플레이북별로 데이터를 상기 머신러닝부로 전송하는 예측데이터추출모듈을 포함하고,
상기 머신러닝부는, 상기 학습데이터추출모듈과 연결되어, 대응 자동화 프로세스에서 수행된 액션데이터를 학습데이터로 하고, 상기 액션데이터에 대한 승인데이터를 라벨링데이터로 하여, 학습을 수행해 모델을 생성하는 학습모듈과, 상기 학습모듈과 연결되어 학습에 의해 생성된 모델을 저장하는 모델저장모듈과, 일측은 상기 예측데이터추출모듈과 연결되고, 타측은 상기 모델저장모듈과 연결되어, 상기 학습모듈을 통해 생성된 모델에 상기 예측데이터추출모듈로부터 전송받은 데이터를 입력해 보안 자동화 시스템에서의 결정/승인을 예측하는 예측모듈을 포함하는 것을 특징으로 하는, 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템. - 제1항에 있어서,
상기 보안자동화대응부는, 이벤트를 수집하는 이벤트수집모듈과, 이벤트별/공격유형별 대응 자동화 프로세스를 등록하는 플레이북플로우설정모듈과, 일측은 상기 이벤트수집모듈과 연결되고 타측은 상기 플레이북플로우설정모듈과 연결되어 이벤트별/공격유형별로 대응 자동화 프로세스를 실행하는 사고대응자동화엔진모듈을 포함하는 것을 특징으로 하는, 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 예측모듈은, 상기 사고대응관리모듈과 연결되어 상기 사고대응관리모듈에 승인 절차 예측 결과를 전송하는 것을 특징으로 하는, 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템. - 제8항에 있어서,
상기 보안자동화대응부는, 상기 예측모듈의 승인 절차 예측 결과를 확인해 상기 예측모듈의 정오탐 여부를 결정하는 정오탐결정모듈을 포함하는 것을 특징으로 하는, 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템. - 제9항에 있어서,
상기 보안자동화대응부는, 상기 정오탐결정모듈과 연결되어, 오탐이 존재하는지 여부를 판단해 피드백을 진행할 것인지 여부를 결정하는 피드백판단모듈을 포함하는 것을 특징으로 하는, 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템. - 제10항에 있어서,
상기 보안자동화대응부는, 상기 피드백판단모듈과 연결되어, 오탐과 관련된 대응 자동화 프로세스에서 수행된 액션데이터를 학습데이터로 하고, 해당 액션데이터에 대한 정탐데이터를 라벨링데이터로 하여, 상기 머신러닝부로 전송하는 피드백데이터추출모듈을 포함하는 것을 특징으로 하는, 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템. - 제11항에 있어서,
상기 머신러닝부는, 일측은 상기 피드백데이터추출모듈과 연결되고, 타측은 모델저장모듈과 연결되어, 상기 피드백데이터추출모듈로부터 수신한 액션데이터를 학습데이터로 하고, 해당 액션데이터에 대한 정탐데이터를 라벨링데이터로 하여 상기 모델저장모듈에 저장된 모델을 갱신하는 모델관리모듈을 포함하는 것을 특징으로 하는, 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템. - 보안자동화대응부가 대응 자동화 프로세스를 저장하고 이벤트/공격유형에 따라 대응 자동화 프로세스를 실행해 대응하는 보안자동화대응단계와, 상기 보안자동화대응단계 이후에, 머신러닝부의 학습모듈이 실행된 대응 자동화 프로세스에 대한 승인 내역을 학습해 모델을 생성하는 학습단계와, 상기 학습단계 이후에, 머신러닝부의 예측모듈이 상기 학습모듈이 생성한 모델로 승인 절차를 예측하는 예측단계를 포함하며,
상기 학습단계는, 보안자동화대응부의 학습데이터추출모듈이 학습을 위해 실행된 대응 자동화 프로세스를 출력하고 예측된 보안 자동화 시스템에서의 결정/승인을 제공하는 보안자동화대응부의 사고대응관리모듈과 연결되어 이벤트/공격유형/플레이북별로 데이터와 승인 내역을 머신러닝부의 학습모듈로 전송하는 학습데이터추출단계와, 상기 학습데이터추출단계 이후에, 상기 학습모듈이 상기 학습데이터추출모듈과 연결되어, 대응 자동화 프로세스에서 수행된 액션데이터를 학습데이터로 하고, 상기 액션데이터에 대한 승인데이터를 라벨링데이터로 하여, 학습을 수행해 모델을 생성하는 모델생성단계를 포함하고,
상기 예측단계는, 보안자동화대응부의 예측데이터추출모듈이 예측을 위해 실행된 대응 자동화 프로세스를 출력하고 예측된 보안 자동화 시스템에서의 결정/승인을 제공하는 보안자동화대응부의 사고대응관리모듈과 연결되어 이벤트/공격유형/플레이북별로 데이터를 머신러닝부의 예측모듈로 전송하는 예측데이터추출단계와, 상기 예측데이터추출단계 이후에, 상기 예측모듈이 상기 예측데이터추출모듈과 연결되어, 상기 학습모듈이 생성한 모델에 상기 예측데이터추출모듈로부터 전송받은 데이터를 입력해 보안 자동화 시스템에서의 결정/승인을 예측하는 승인예측단계를 포함하는 것을 특징으로 하는, 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 방법. - 삭제
- 삭제
- 제13항에 있어서,
상기 승인 절차 개선 방법은, 상기 예측단계 이후에, 승인 절차 예측의 정오탐을 판단해 생성된 모델을 갱신하는 피드백단계를 추가로 포함하는 것을 특징으로 하는, 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 방법. - 제16항에 있어서,
상기 피드백단계는, 정오탐결정모듈이 상기 예측모듈의 승인 절차 예측 결과를 확인해 상기 예측모듈의 정오탐 여부를 결정하는 정오탐결정단계와,
상기 정오탐결정단계 이후에, 보안자동화대응부의 피드백판단모듈이 상기 정오탐결정모듈과 연결되어, 오탐이 존재하는지 여부를 판단해 피드백을 진행할 것인지 여부를 결정하는 피드백판단단계와,
상기 피드백판단단계 이후에, 오탐이 존재한다고 판단된 경우, 보안자동화대응부의 피드백데이터추출모듈이 보안자동화대응부의 사고대응관리모듈과 연결되어, 오탐과 관련된 대응 자동화 프로세스에서 수행된 액션데이터와, 해당 액션데이터에 대한 정탐데이터를 머신러닝부의 모델관리모듈로 전송하는 피드백데이터추출단계와,
상기 피드백데이터추출단계 이후에, 모델관리모듈이 상기 피드백데이터추출모듈로부터 수신한 액션데이터를 학습데이터로 하고, 해당 액션데이터에 대한 정탐데이터를 라벨링데이터로 하여 학습모듈이 생성한 모델을 갱신하는 모델갱신단계를 포함하는 것을 특징으로 하는, 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200075022A KR102197590B1 (ko) | 2020-06-19 | 2020-06-19 | 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템 및 그 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200075022A KR102197590B1 (ko) | 2020-06-19 | 2020-06-19 | 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템 및 그 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102197590B1 true KR102197590B1 (ko) | 2021-01-05 |
Family
ID=74140888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200075022A KR102197590B1 (ko) | 2020-06-19 | 2020-06-19 | 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템 및 그 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102197590B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102419451B1 (ko) * | 2021-11-17 | 2022-07-11 | 한국인터넷진흥원 | 인공지능 기반 위협 분석 자동화 시스템 및 방법 |
KR20230064450A (ko) * | 2021-11-03 | 2023-05-10 | 아주대학교산학협력단 | 복합 환경의 보안 관리 방법 및 시스템 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040026984A (ko) * | 2002-09-27 | 2004-04-01 | 이현우 | 인터넷 공격 자동 사고대응 서비스 시스템 |
KR101486307B1 (ko) | 2013-11-18 | 2015-01-29 | 한국전자통신연구원 | 보안 관제 장치 및 그 방법 |
KR20170024032A (ko) * | 2014-06-30 | 2017-03-06 | 알까뗄 루슨트 | 소프트웨어 정의 네트워크에서의 보안 |
KR102055843B1 (ko) * | 2018-11-28 | 2020-01-22 | 주식회사 이글루시큐리티 | 이벤트 기반 보안정책 실시간 최적화 시스템 및 그 방법 |
KR102090757B1 (ko) * | 2019-01-15 | 2020-03-19 | 주식회사 이글루시큐리티 | 침해사고 대응지시서에 기반한 보안장비 제어정책 자동 적용 시스템 및 그 방법 |
KR102089688B1 (ko) * | 2019-04-12 | 2020-04-24 | 주식회사 이글루시큐리티 | 준지도학습을 통한 인공지능 기반 보안이벤트 분석시스템 및 그 방법 |
-
2020
- 2020-06-19 KR KR1020200075022A patent/KR102197590B1/ko active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040026984A (ko) * | 2002-09-27 | 2004-04-01 | 이현우 | 인터넷 공격 자동 사고대응 서비스 시스템 |
KR101486307B1 (ko) | 2013-11-18 | 2015-01-29 | 한국전자통신연구원 | 보안 관제 장치 및 그 방법 |
KR20170024032A (ko) * | 2014-06-30 | 2017-03-06 | 알까뗄 루슨트 | 소프트웨어 정의 네트워크에서의 보안 |
KR102055843B1 (ko) * | 2018-11-28 | 2020-01-22 | 주식회사 이글루시큐리티 | 이벤트 기반 보안정책 실시간 최적화 시스템 및 그 방법 |
KR102090757B1 (ko) * | 2019-01-15 | 2020-03-19 | 주식회사 이글루시큐리티 | 침해사고 대응지시서에 기반한 보안장비 제어정책 자동 적용 시스템 및 그 방법 |
KR102089688B1 (ko) * | 2019-04-12 | 2020-04-24 | 주식회사 이글루시큐리티 | 준지도학습을 통한 인공지능 기반 보안이벤트 분석시스템 및 그 방법 |
Non-Patent Citations (1)
Title |
---|
배재권, 인공지능과 빅데이터 분석 기반 통합보안관제시스템 구축방안에 관한 연구, 로고스경영연구, 제18권, 제1호, pp. 151-166, 2020.03.* * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230064450A (ko) * | 2021-11-03 | 2023-05-10 | 아주대학교산학협력단 | 복합 환경의 보안 관리 방법 및 시스템 |
KR102594906B1 (ko) * | 2021-11-03 | 2023-10-27 | 아주대학교산학협력단 | 복합 환경의 보안 관리 방법 및 시스템 |
KR102419451B1 (ko) * | 2021-11-17 | 2022-07-11 | 한국인터넷진흥원 | 인공지능 기반 위협 분석 자동화 시스템 및 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102198104B1 (ko) | 머신러닝을 이용한 플레이북 자동 생성 시스템 및 그 방법 | |
US7530105B2 (en) | Tactical and strategic attack detection and prediction | |
KR100755000B1 (ko) | 보안 위험 관리 시스템 및 방법 | |
Ali et al. | HuntGPT: Integrating machine learning-based anomaly detection and explainable AI with large language models (LLMs) | |
WO2021160929A1 (en) | System and method for improving cybersecurity | |
KR102197590B1 (ko) | 머신러닝을 이용한 대응 자동화 프로세스의 승인 절차 개선 시스템 및 그 방법 | |
KR101796205B1 (ko) | 보안 강화를 위해 입력된 명령어 학습 기반 이상 사용자를 탐지하는 서버 접근 통제 시스템 | |
De Souza et al. | Extending STPA with STRIDE to identify cybersecurity loss scenarios | |
US12086694B2 (en) | Software application for continually assessing, processing, and remediating cyber-risk in real time | |
Palakurti | Intelligent Security Solutions for Business Rules Management Systems: An Agent-Based Perspective | |
Kriaa et al. | A new safety and security risk analysis framework for industrial control systems | |
Kumar et al. | Challenges within the industry 4.0 setup | |
Alsobeh et al. | Integrating data-driven security, model checking, and self-adaptation for IoT systems using BIP components: A conceptual proposal model | |
Simpson et al. | SECURE TRUST: a blockchain-enabled trust and reputation system for malicious node detection in IOT networks | |
Kaluvakuri et al. | Securing Telematics Data in Fleet Management: Integrating IAM with ML Models for Data Integrity in Cloud-Based Applications | |
Jaatun et al. | Cyber security incident management in the aviation domain | |
Cano et al. | Modeling current and emerging threats in the airport domain through adversarial risk analysis | |
Kersten et al. | 'Give Me Structure': Synthesis and Evaluation of a (Network) Threat Analysis Process Supporting Tier 1 Investigations in a Security Operation Center | |
Mitcheltree et al. | Cyber security culture as a resilience-promoting factor for human-centered machine learning and zero-defect manufacturing environments | |
Tolubko et al. | Criteria for evaluating the effectiveness of the decision support system | |
KR102111136B1 (ko) | 대응지시서를 생성하고, 적용 결과를 분석하는 방법, 감시장치 및 프로그램 | |
Tarimo | ICT security readiness checklist for developing countries: A social-technical approach | |
Lamp et al. | Exsol: Collaboratively assessing cybersecurity risks for protecting energy delivery systems | |
Yunis et al. | Towards a Conceptual Framework for AI-Driven Anomaly Detection in Smart City IoT Networks for Enhanced Cybersecurity | |
Reddy et al. | Analysis of Various Security Defense Frameworks in Different Application Areas of Cyber-Physical Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |