KR102524758B1 - 설명가능 인공지능(xai)에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 서버 - Google Patents

설명가능 인공지능(xai)에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 서버 Download PDF

Info

Publication number
KR102524758B1
KR102524758B1 KR1020220121962A KR20220121962A KR102524758B1 KR 102524758 B1 KR102524758 B1 KR 102524758B1 KR 1020220121962 A KR1020220121962 A KR 1020220121962A KR 20220121962 A KR20220121962 A KR 20220121962A KR 102524758 B1 KR102524758 B1 KR 102524758B1
Authority
KR
South Korea
Prior art keywords
prediction result
input data
machine learning
learning model
related information
Prior art date
Application number
KR1020220121962A
Other languages
English (en)
Inventor
백만기
서민혜
김진
아윤근
Original Assignee
(주)시큐레이어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)시큐레이어 filed Critical (주)시큐레이어
Priority to KR1020220121962A priority Critical patent/KR102524758B1/ko
Application granted granted Critical
Publication of KR102524758B1 publication Critical patent/KR102524758B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

설명가능 인공지능(XAI)에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법에 있어서, (a) 제1 머신러닝 모델 내지 제n 머신러닝 모델 각각을 검증하기 위한 제1 입력 데이터 내지 제n 입력 데이터 각각이 상기 제1 머신러닝 모델 내지 상기 제n 머신러닝 모델 각각에 입력됨으로써 상기 제1 입력 데이터 내지 상기 제n 입력 데이터 각각에 대응되는 제1 예측 결과 내지 제n 예측 결과가 생성된 상태에서, 서버가, 상기 사용자 단말로 하여금 상기 제1 머신러닝 모델 내지 상기 제n 머신러닝 모델 각각에 대응되는 제1 머신러닝 모델 선택 UI 내지 제n 머신러닝 모델 선택 UI를 상기 사용자 단말의 화면 상의 제1 영역에 디스플레이 하도록 지원하는 단계; 및 (b) 상기 제1 머신러닝 모델 선택 UI 내지 상기 제n 머신러닝 모델 선택 UI 중, 제k 머신러닝 모델에 대응되는 제k 머신러닝 모델 선택 UI가 선택되면, 상기 서버가, 상기 설명가능 인공지능에 기반하여, 상기 제k 머신러닝 모델에 입력된 제k 입력 데이터 중, 제k 예측 결과를 생성하는데 이용된 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각에 대응되는 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보를 상기 데이터 마스킹 정보로서 상기 사용자 단말의 상기 화면 상의 제2 영역에 디스플레이 하도록 지원하는 단계;를 포함하는 방법 및 이를 이용한 서버가 개시된다.

Description

설명가능 인공지능(XAI)에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 서버{METHOD FOR PROVIDING DATA MASKING INFORMATION BASED ON EXPLAINABLE ARTIFICIAL INTELLIGENCE SERVER USING THE SAME}
본 발명은 머신러닝 모델을 검증하기 위한 방법 및 이를 이용한 서버에 관한 것으로, 보다 상세하게는, 설명가능 인공지능에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 서버에 관한 것이다.
종래에는, 머신러닝 모델이 어떤 변수를 기반으로 예측 결과를 도출한 것인지에 대한 일련의 추론 과정 정보가 사용자에게 제공되지 않았다. 수많은 매개변수가 상호작용하는 복잡한 머신러닝 모델에는 설명이 어려운 블랙박스(Blackbox) 영역이 존재했기 때문이다.
최근에는, 머신러닝 모델의 블랙박스 영역을 사용자에게 투명하게 공개하여 머신러닝 모델의 일련의 추론 과정 정보를 사용자에게 제공함으로써 머신러닝 모델에 대한 신뢰성과 투명성을 확보하기 위한 방안으로서, 설명가능 인공지능(eXplainable AI, XAI)이 이용되고 있다.
하지만, 종래에는, 머신러닝 모델의 추론 과정 정보가 사용자 친화적인 방식으로 제공되지 않았으므로, 머신러닝 모델을 사용하고자 하는 수많은 사용자들 중 극히 일부(즉, 머신러닝 모델에 대한 고도의 지식을 갖춘 일부 사용자)를 제외하고는, 여전히 머신러닝 모델을 검증하기 어렵다는 문제점이 존재하였다.
따라서, 상기 문제점들을 해결하기 위한 개선 방안이 요구되는 실정이다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 머신러닝 모델의 예측 결과를 생성하는데 이용된 부분 입력 데이터 각각에 대응되는 예측 결과 관련 정보를 머신러닝 모델의 사용자에게 사용자 친화적으로 제공하는 것을 다른 목적으로 한다.
또한, 본 발명은 머신러닝 모델의 사용자로 하여금 머신러닝 모델에 대한 평가를 신속하고 정확하게 수행할 수 있도록 지원하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 머신러닝 모델이 효과적으로 학습될 수 있도록 지원하고, 머신러닝 모델에 대한 신뢰성과 투명성을 제공하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 설명가능 인공지능(XAI)에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법에 있어서, (a) 제1 머신러닝 모델 내지 제n 머신러닝 모델 각각을 검증하기 위한 제1 입력 데이터 내지 제n 입력 데이터 각각이 상기 제1 머신러닝 모델 내지 상기 제n 머신러닝 모델 각각에 입력됨으로써 상기 제1 입력 데이터 내지 상기 제n 입력 데이터 각각에 대응되는 제1 예측 결과 내지 제n 예측 결과가 생성된 상태에서, 서버가, 상기 사용자 단말로 하여금 상기 제1 머신러닝 모델 내지 상기 제n 머신러닝 모델 각각에 대응되는 제1 머신러닝 모델 선택 UI 내지 제n 머신러닝 모델 선택 UI를 상기 사용자 단말의 화면 상의 제1 영역에 디스플레이 하도록 지원하는 단계; 및 (b) 상기 제1 머신러닝 모델 선택 UI 내지 상기 제n 머신러닝 모델 선택 UI 중, 제k 머신러닝 모델에 대응되는 제k 머신러닝 모델 선택 UI가 선택되면, 상기 서버가, 상기 설명가능 인공지능에 기반하여, 상기 제k 머신러닝 모델에 입력된 제k 입력 데이터 중, 제k 예측 결과를 생성하는데 이용된 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각에 대응되는 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보를 상기 사용자 단말로 하여금 상기 데이터 마스킹 정보로서 상기 사용자 단말의 상기 화면 상의 제2 영역에 디스플레이 하도록 지원하는 단계;를 포함하는 방법이 개시된다.
일례로서, 상기 (b) 단계에서, 상기 제k 머신러닝 모델 선택 UI가 선택되면, 상기 서버가, (i) 제k 예측 결과 관련 정보 통계 UI 및 제k 예측 결과 관련 정보 하이라이팅 UI를 상기 사용자 단말의 상기 화면 상의 제3 영역에 디스플레이 하도록 지원하고, (ii) (ii-1) 상기 제k 예측 결과 관련 정보 통계 UI가 선택되면, 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 대응되는 제k_1 예측 결과 기여도 정보 내지 제k_m 예측 결과 기여도 정보 - 상기 제k_1 예측 결과 기여도 정보 내지 상기 제k_m 예측 결과 기여도 정보 각각은, 상기 제k 예측 결과가 생성되는데 있어서, 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각이 상기 제k 머신러닝 모델에 의해 참조된 정도를 각각 나타냄 - 를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 제2_1 영역에 디스플레이 하도록 지원하는 프로세스 및 (ii-2) 상기 제k 예측 결과 관련 정보 하이라이팅 UI가 선택되면, 상기 제k 입력 데이터를 상기 사용자 단말의 상기 화면 상의 제2_2 영역에 디스플레이 하도록 지원하되, 상기 제k 입력 데이터 중 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 제k_1 시각적 효과 내지 제k_m 시각적 효과를 적용함으로써 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 대응되는 상기 제k_1 시각적 효과 내지 상기 제k_m 시각적 효과를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2_2 영역에 디스플레이 하도록 지원하는 프로세스 중 어느 하나를 수행하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (b) 단계에서, 상기 (ii-1) 프로세스에서, 상기 제k 예측 결과 관련 정보 통계 UI가 선택되면, 상기 서버가, 상기 제k 예측 결과인 제1 클래스 예측 결과를 생성하는데 이용된 제k_1_1 부분 입력 데이터 내지 제k_m1_1 부분 입력 데이터부터 상기 제k 예측 결과인 제j 클래스 예측 결과를 생성하는데 이용된 제k_1_j 부분 입력 데이터 내지 제k_mj_j 부분 입력 데이터 - 상기 제k_1_1 부분 입력 데이터 내지 상기 제k_m1_1 부분 입력 데이터부터 상기 제k_1_j 부분 입력 데이터 내지 상기 제k_mj_j 부분 입력 데이터까지 각각은, 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 중 어느 하나임 - 까지 각각에 대응되는 제k_1_1 예측 결과 관련 정보 내지 제k_m1_1 예측 결과 관련 정보부터 제k_1_j 예측 결과 관련 정보 내지 제k_mj_j 예측 결과 관련 정보까지를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2_1 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (b) 단계에서, 상기 (ii-1) 프로세스에서, 상기 서버가, 상기 제k_1_1 예측 결과 관련 정보 내지 상기 제k_m1_1 예측 결과 관련 정보부터 상기 제k_1_j 예측 결과 관련 정보 내지 상기 제k_mj_j 예측 결과 관련 정보까지를 상기 사용자 단말의 상기 화면 상의 상기 제2_1 영역에 디스플레이 하도록 지원하되, 제i 클래스 예측 결과인 제i 클래스 포지티브 예측 결과 및 제i 클래스 네거티브 예측 결과 중 제i 클래스 특정 예측 결과를 생성하는데 이용된 제k 특정 부분 입력 데이터 그룹 - 상기 제k 특정 부분 입력 데이터 그룹은, 제k_1_i 부분 입력 데이터 내지 제k_mi_i 부분 입력 데이터 중 적어도 일부를 포함함 - 에 대응되는 제k 특정 예측 결과 관련 정보를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보 중 일부로서 상기 사용자 단말의 상기 화면 상의 상기 제2_1 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (b) 단계에서, 상기 (ii-2) 프로세스에서, 상기 제k 예측 결과 관련 정보 하이라이팅 UI가 선택되면, 상기 서버가, 상기 제k 예측 결과 및 이에 대응되는 제k GT(ground truth)를 상기 사용자 단말의 상기 화면 상의 상기 제2_2 영역에 추가로 디스플레이 하도록 지원하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (b) 단계에서, 상기 제k 머신러닝 모델 선택 UI가 선택되면, 상기 서버가, 맵핑 UI를 상기 사용자 단말의 상기 화면 상의 제4 영역에 디스플레이 하도록 지원하고, 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 중 제k_g 부분 입력 데이터에 대응되는 제k_g 색상 정보가 상기 맵핑 UI를 통해 상기 사용자 단말로부터 획득되면, 상기 제k_g 색상 정보가 참조되어 생성되는 상기 제k_g 부분 입력 데이터 및 상기 제k_g 색상의 맵핑 정보를 상기 제k_g 부분 입력 데이터에 대응되는 제k_g 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (b) 단계에서, 제k 머신러닝 모델에 대응되는 제k 머신러닝 모델 선택 UI가 선택되면, 상기 서버가, 상기 제k 입력 데이터인 제k 입력 이미지 중, 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터인 제k_1 입력 이미지 구역 내지 제k_m 입력 이미지 구역 각각에 대응되는 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보를 상기 데이터 마스킹 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 방법이 개시된다.
일례로서, 상기 (b) 단계는, (b1) 상기 제1 머신러닝 모델 선택 UI 내지 상기 제n 머신러닝 모델 선택 UI 중, 상기 제k 머신러닝 모델에 대응되는 상기 제k 머신러닝 모델 선택 UI가 선택되면, 상기 서버가, 상기 사용자 단말로 하여금 상기 제k 머신러닝 모델에 대응되는 제1 검증 결과 내지 제j 검증 결과 각각에 대응되는 제1 검증 결과 조회 UI 내지 제j 검증 결과 조회 UI를 상기 사용자 단말의 상기 화면 상의 제5 영역에 디스플레이 하도록 지원하는 단계; 및 (b2) 상기 제1 검증 결과 조회 UI 내지 상기 제j 검증 결과 조회 UI 중 특정 검증 결과 조회 UI가 선택되면, 상기 서버가, 상기 설명가능 인공지능에 기반하여, 상기 제k 머신러닝 모델에 입력된 상기 제k 입력 데이터 중, 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 대응되는 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보를 상기 데이터 마스킹 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2 영역에 디스플레이 하도록 지원하는 단계;를 포함하되, 상기 제1 검증 결과 내지 상기 제j 검증 결과 중 적어도 일부 각각은, 상기 제k 머신러닝 모델에 대응되는 (i) 혼동 행렬(confusion matrix) 정보, (ii) F1 score 정보 및 (iii) 상기 데이터 마스킹 정보 각각을 포함하는 것을 특징으로 하는 방법이 개시된다.
본 발명의 다른 태양에 따르면, 설명가능 인공지능(XAI)에 기반하여 데이터 마스킹 정보를 제공하기 위한 서버에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서를 포함하되, 상기 프로세서는, (1) 제1 머신러닝 모델 내지 제n 머신러닝 모델 각각을 검증하기 위한 제1 입력 데이터 내지 제n 입력 데이터 각각이 상기 제1 머신러닝 모델 내지 상기 제n 머신러닝 모델 각각에 입력됨으로써 상기 제1 입력 데이터 내지 상기 제n 입력 데이터 각각에 대응되는 제1 예측 결과 내지 제n 예측 결과가 생성된 상태에서, 상기 사용자 단말로 하여금 상기 제1 머신러닝 모델 내지 상기 제n 머신러닝 모델 각각에 대응되는 제1 머신러닝 모델 선택 UI 내지 제n 머신러닝 모델 선택 UI를 상기 사용자 단말의 화면 상의 제1 영역에 디스플레이 하도록 지원하는 프로세스 및 (2) 상기 제1 머신러닝 모델 선택 UI 내지 상기 제n 머신러닝 모델 선택 UI 중, 제k 머신러닝 모델에 대응되는 제k 머신러닝 모델 선택 UI가 선택되면, 상기 설명가능 인공지능에 기반하여, 상기 제k 머신러닝 모델에 입력된 제k 입력 데이터 중, 제k 예측 결과를 생성하는데 이용된 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각에 대응되는 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보를 상기 사용자 단말로 하여금 상기 데이터 마스킹 정보로서 상기 사용자 단말의 상기 화면 상의 제2 영역에 디스플레이 하도록 지원하는 프로세스를 수행하는 서버가 개시된다.
일례로서, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 제k 머신러닝 모델 선택 UI가 선택되면, (i) 제k 예측 결과 관련 정보 통계 UI 및 제k 예측 결과 관련 정보 하이라이팅 UI를 상기 사용자 단말의 상기 화면 상의 제3 영역에 디스플레이 하도록 지원하고, (ii) (ii-1) 상기 제k 예측 결과 관련 정보 통계 UI가 선택되면, 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 대응되는 제k_1 예측 결과 기여도 정보 내지 제k_m 예측 결과 기여도 정보 - 상기 제k_1 예측 결과 기여도 정보 내지 상기 제k_m 예측 결과 기여도 정보 각각은, 상기 제k 예측 결과가 생성되는데 있어서, 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각이 상기 제k 머신러닝 모델에 의해 참조된 정도를 각각 나타냄 - 를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 제2_1 영역에 디스플레이 하도록 지원하는 서브 프로세스 및 (ii-2) 상기 제k 예측 결과 관련 정보 하이라이팅 UI가 선택되면, 상기 제k 입력 데이터를 상기 사용자 단말의 상기 화면 상의 제2_2 영역에 디스플레이 하도록 지원하되, 상기 제k 입력 데이터 중 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 제k_1 시각적 효과 내지 제k_m 시각적 효과를 적용함으로써 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 대응되는 상기 제k_1 시각적 효과 내지 상기 제k_m 시각적 효과를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2_2 영역에 디스플레이 하도록 지원하는 서브 프로세스 중 어느 하나를 수행하는 것을 특징으로 하는 서버가 개시된다.
일례로서, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 (ii-1) 서브 프로세스에서, 상기 제k 예측 결과 관련 정보 통계 UI가 선택되면, 상기 제k 예측 결과인 제1 클래스 예측 결과를 생성하는데 이용된 제k_1_1 부분 입력 데이터 내지 제k_m1_1 부분 입력 데이터부터 상기 제k 예측 결과인 제j 클래스 예측 결과를 생성하는데 이용된 제k_1_j 부분 입력 데이터 내지 제k_mj_j 부분 입력 데이터 - 상기 제k_1_1 부분 입력 데이터 내지 상기 제k_m1_1 부분 입력 데이터부터 상기 제k_1_j 부분 입력 데이터 내지 상기 제k_mj_j 부분 입력 데이터까지 각각은, 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 중 어느 하나임 - 까지 각각에 대응되는 제k_1_1 예측 결과 관련 정보 내지 제k_m1_1 예측 결과 관련 정보부터 제k_1_j 예측 결과 관련 정보 내지 제k_mj_j 예측 결과 관련 정보까지를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2_1 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 서버가 개시된다.
일례로서, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 (ii-1) 서브 프로세스에서, 상기 제k_1_1 예측 결과 관련 정보 내지 상기 제k_m1_1 예측 결과 관련 정보부터 상기 제k_1_j 예측 결과 관련 정보 내지 상기 제k_mj_j 예측 결과 관련 정보까지를 상기 사용자 단말의 상기 화면 상의 상기 제2_1 영역에 디스플레이 하도록 지원하되, 제i 클래스 예측 결과인 제i 클래스 포지티브 예측 결과 및 제i 클래스 네거티브 예측 결과 중 제i 클래스 특정 예측 결과를 생성하는데 이용된 제k 특정 부분 입력 데이터 그룹 - 상기 제k 특정 부분 입력 데이터 그룹은, 제k_1_i 부분 입력 데이터 내지 제k_mi_i 부분 입력 데이터 중 적어도 일부를 포함함 - 에 대응되는 제k 특정 예측 결과 관련 정보를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보 중 일부로서 상기 사용자 단말의 상기 화면 상의 상기 제2_1 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 서버가 개시된다.
일례로서, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 (ii-2) 서브 프로세스에서, 상기 제k 예측 결과 관련 정보 하이라이팅 UI가 선택되면, 상기 제k 예측 결과 및 이에 대응되는 제k GT(ground truth)를 상기 사용자 단말의 상기 화면 상의 상기 제2_2 영역에 추가로 디스플레이 하도록 지원하는 것을 특징으로 하는 서버가 개시된다.
일례로서, 상기 프로세서는, 상기 (2) 프로세스에서, 상기 제k 머신러닝 모델 선택 UI가 선택되면, 맵핑 UI를 상기 사용자 단말의 상기 화면 상의 제4 영역에 디스플레이 하도록 지원하고, 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 중 제k_g 부분 입력 데이터에 대응되는 제k_g 색상 정보가 상기 맵핑 UI를 통해 상기 사용자 단말로부터 획득되면, 상기 제k_g 색상 정보가 참조되어 생성되는 상기 제k_g 부분 입력 데이터 및 상기 제k_g 색상의 맵핑 정보를 상기 제k_g 부분 입력 데이터에 대응되는 제k_g 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 서버가 개시된다.
일례로서, 상기 프로세서는, 상기 (2) 프로세스에서, 제k 머신러닝 모델에 대응되는 제k 머신러닝 모델 선택 UI가 선택되면, 상기 제k 입력 데이터인 제k 입력 이미지 중, 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터인 제k_1 입력 이미지 구역 내지 제k_m 입력 이미지 구역 각각에 대응되는 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보를 상기 데이터 마스킹 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 서버가 개시된다.
일례로서, 상기 (2) 프로세스는, (2_1) 상기 제1 머신러닝 모델 선택 UI 내지 상기 제n 머신러닝 모델 선택 UI 중, 상기 제k 머신러닝 모델에 대응되는 상기 제k 머신러닝 모델 선택 UI가 선택되면, 상기 프로세서가, 상기 사용자 단말로 하여금 상기 제k 머신러닝 모델에 대응되는 제1 검증 결과 내지 제j 검증 결과 각각에 대응되는 제1 검증 결과 조회 UI 내지 제j 검증 결과 조회 UI를 상기 사용자 단말의 상기 화면 상의 제5 영역에 디스플레이 하도록 지원하는 프로세스 및 (2_2) 상기 제1 검증 결과 조회 UI 내지 상기 제j 검증 결과 조회 UI 중 특정 검증 결과 조회 UI가 선택되면, 상기 프로세서가, 상기 설명가능 인공지능에 기반하여, 상기 제k 머신러닝 모델에 입력된 상기 제k 입력 데이터 중, 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 대응되는 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보를 상기 데이터 마스킹 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2 영역에 디스플레이 하도록 지원하는 프로세스를 포함하되, 상기 제1 검증 결과 내지 상기 제j 검증 결과 중 적어도 일부 각각은, 상기 제k 머신러닝 모델에 대응되는 (i) 혼동 행렬(confusion matrix) 정보, (ii) F1 score 정보 및 (iii) 상기 데이터 마스킹 정보 각각을 포함하는 것을 특징으로 하는 서버가 개시된다.
본 발명은 머신러닝 모델의 예측 결과를 생성하는데 이용된 부분 입력 데이터 각각에 대응되는 예측 결과 관련 정보를 머신러닝 모델의 사용자에게 사용자 친화적으로 제공하는 효과가 있다.
또한, 본 발명은 머신러닝 모델의 사용자로 하여금 머신러닝 모델에 대한 평가를 신속하고 정확하게 수행할 수 있도록 지원하는 효과가 있다.
또한, 본 발명은 머신러닝 모델이 효과적으로 학습될 수 있도록 지원하고, 머신러닝 모델에 대한 신뢰성과 투명성을 제공하는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 설명가능 인공지능에 기반하여 데이터 마스킹 정보를 제공하는 서버를 개략적으로 도시한 것이고,
도 2는 설명가능 인공지능에 기반하여 데이터 마스킹 정보를 제공하는 과정을 개략적으로 도시한 흐름도이고,
도 3은 제1 머신러닝 모델 선택 UI 내지 제n 머신러닝 모델 선택 UI가 사용자 단말의 화면 상의 제1 영역에 디스플레이 되는 모습을 개략적으로 도시한 것이고,
도 4a 및 도 4b는 데이터 마스킹 정보인 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보가 사용자 단말의 화면 상의 제2 영역에 디스플레이 되는 모습을 개략적으로 도시한 것이고,
도 5는 데이터 마스킹 정보인 제k_g 부분 입력 데이터 및 제k_g 색상의 맵핑 정보가 사용자 단말의 화면 상의 제2 영역에 디스플레이 되는 모습을 개략적으로 도시한 것이고,
도 6은 제k_1 입력 이미지 구역 내지 제k_m 입력 이미지 구역 각각에 대응되는 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보가 사용자 단말의 화면 상의 제2 영역에 디스플레이 되는 모습을 개략적으로 도시한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 설명가능 인공지능에 기반하여 데이터 마스킹 정보를 제공하는 서버를 개략적으로 도시한 것이다.
도 1을 참조하면, 서버(1000)는 설명가능 인공지능에 기반하여 데이터 마스킹 정보를 제공하기 위한 인스트럭션들을 저장하는 메모리(1001)와 메모리에 저장된 인스트럭션들에 대응하여 설명가능 인공지능에 기반하여 데이터 마스킹 정보를 제공하는 프로세서(1002)를 포함할 수 있다. 이때, 서버(1000)는 PC(Personal Computer), 모바일 컴퓨터 등을 포함할 수 있다.
구체적으로, 서버(1000)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.
위와 같은 구성의 서버(1000)가 설명가능 인공지능에 기반하여 데이터 마스킹 정보를 제공하는 프로세스에 대해 아래에서 도 2 내지 도 6을 참조하여 설명하기로 한다.
먼저, 도 2를 참조하여 전체적인 프로세스에 대해 설명하면, 제1 머신러닝 모델 내지 제n 머신러닝 모델 각각을 검증하기 위한 제1 입력 데이터 내지 제n 입력 데이터 각각이 제1 머신러닝 모델 내지 제n 머신러닝 모델 각각에 입력됨으로써 제1 입력 데이터 내지 제n 입력 데이터 각각에 대응되는 제1 예측 결과 내지 제n 예측 결과가 생성된 상태에서, 서버(1000)는, 사용자 단말로 하여금 제1 머신러닝 모델 내지 제n 머신러닝 모델 각각에 대응되는 제1 머신러닝 모델 선택 UI 내지 제n 머신러닝 모델 선택 UI를 사용자 단말의 화면 상의 제1 영역에 디스플레이 하도록 지원할 수 있다(S210). 참고로, n은 1이상의 정수이다.
그리고, 제1 머신러닝 모델 선택 UI 내지 제n 머신러닝 모델 선택 UI 중, 제k 머신러닝 모델에 대응되는 제k 머신러닝 모델 선택 UI가 선택되면, 서버(1000)는, 설명가능 인공지능에 기반하여, 제k 머신러닝 모델에 입력된 제k 입력 데이터 중, 제k 예측 결과를 생성하는데 이용된 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각에 대응되는 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보를 데이터 마스킹 정보로서 사용자 단말의 화면 상의 제2 영역에 디스플레이 하도록 지원할 수 있다(S220). 참고로, k는 1이상 n이하의 정수이다.
일례로, 제k 예측 결과를 생성하는데 이용된 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터는, 제k 입력 데이터에서 추출된 텍스트 데이터(가령, 특수문자 또는 키워드 등)일 수 있다. 참고로, 제k 입력 데이터에서 추출된 텍스트 데이터는 float형 숫자에 맵핑되어 관리될 수 있다.
다른 예로, 제k 예측 결과를 생성하는데 이용된 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터는, 제k 입력 데이터인 제k 입력 이미지의 일부 구역(가령, 입력 이미지 상의 객체의 특정 부위를 나타내는 구역)의 픽셀에 대한 데이터일 수 있다.
상기에서 서버(1000)가 설명가능 인공지능에 기반하여 데이터 마스킹 정보를 제공하는 프로세스를 개괄적으로 설명하였으며, 아래에서는 이에 대해 좀 더 구체적으로 설명하기로 한다.
일례로, 서버(1000)는, 사용자 단말로 하여금 제1 머신러닝 모델 내지 제n 머신러닝 모델 각각에 대응되는 제1 머신러닝 모델 선택 UI 내지 제n 머신러닝 모델 선택 UI를 사용자 단말의 화면 상의 제1 영역에 디스플레이 하도록 지원할 수 있다.
가령, 도 3를 참조하면, 사용자 단말의 화면 상의 제1 영역(310)에 제1 머신러닝 모델 선택 UI(311) 내지 제5 머신러닝 모델 선택 UI(315)가 디스플레이 되는 것을 확인할 수 있다.
이처럼, 제1 머신러닝 모델 선택 UI(311) 내지 제n 머신러닝 모델 선택 UI(315)가 사용자 단말의 화면 상의 제1 영역(310)에 디스플레이 되는 상태에서, 제1 머신러닝 모델 선택 UI(311) 내지 제n 머신러닝 모델 선택 UI(315) 중, 제k 머신러닝 모델에 대응되는 제k 머신러닝 모델 선택 UI가 선택되면, 서버(1000)는, 사용자 단말로 하여금 제k 머신러닝 모델에 대응되는 제1 검증 결과 내지 제j 검증 결과 각각에 대응되는 제1 검증 결과 조회 UI 내지 제j 검증 결과 조회 UI를 사용자 단말의 화면 상의 제5 영역에 디스플레이 하도록 지원할 수 있다.
이때, 제1 검증 결과 내지 제j 검증 결과 중 적어도 일부 각각은, 제k 머신러닝 모델에 대응되는 (i) 혼동 행렬(confusion matrix) 정보, (ii) F1 score 정보 및 (iii) 데이터 마스킹 정보 각각을 포함할 수 있다.
그리고, 제1 검증 결과 조회 UI 내지 제j 검증 결과 조회 UI 중 특정 검증 결과 조회 UI가 선택되면, 서버(1000)가, 설명가능 인공지능에 기반하여, 제k 머신러닝 모델에 입력된 제k 입력 데이터 중, 제k 예측 결과를 생성하는데 이용된 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각에 대응되는 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보를 데이터 마스킹 정보로서 사용자 단말의 화면 상의 제2 영역에 디스플레이 하도록 지원할 수 있다.
가령, 도 4a를 참조하면, 제k 머신러닝 모델에 대응되는 제1 검증 결과 내지 제4 검증 결과 각각에 대응되는 제1 검증 결과 조회 UI(351) 내지 제4 검증 결과 조회 UI(354)가 제5 영역(350)에 디스플레이 되는 것을 확인할 수 있다. 그리고, (i) 제1 검증 결과 조회 UI(351)가 선택되면, 제k 머신러닝 모델로부터 출력된 제k 예측 결과를 이용하여 생성된 혼동 행렬 정보가 디스플레이 될 수 있고, (ii) 제2 검증 결과 조회 UI(352)가 선택되면, 제k 머신러닝 모델로부터 출력된 제k 예측 결과를 이용하여 생성된 F1 score 정보가 디스플레이 될 수 있으며, (iii) 제3 검증 결과 조회 UI(353)가 선택되면, 제k 머신러닝 모델로부터 출력된 제k 예측 결과를 이용하여 생성된 데이터 마스킹 정보가 디스플레이 될 수 있고, (iv) 제4 검증 결과 조회 UI(354)가 선택되면, 제k 머신러닝 모델로부터 출력된 제k 예측 결과가 디스플레이 될 수 있다.
참고로, 설명의 편의상, 본 명세서에서는 데이터 마스킹 정보를 포함하는 검증 결과에 대응되는 특정 검증 결과 조회 UI(즉, 도 4a에서의 제3 검증 결과 조회 UI)가 선택된 경우에 대해서 설명하기로 한다. 다만, 제k 머신러닝 모델에 대응되는 혼동 행렬(confusion matrix) 정보 및 F1 score 정보 중 어느 하나에 대응되는 검증 결과 조회 UI가 선택된 경우에 대해서 설명을 생략하더라도, 통상의 기술자는 쉽게 이해할 수 있을 것이다.
일례로, 제3 검증 결과 조회 UI(353)가 선택되면, 서버(1000)는, 제k 예측 결과 관련 정보 통계 UI(331) 및 제k 예측 결과 관련 정보 하이라이팅 UI(332)를 사용자 단말의 화면 상의 제3 영역(330)에 디스플레이 하도록 지원한 후, 아래에서 설명할 제1 프로세스 및 제2 프로세스 중 어느 하나를 수행할 수 있다.
먼저, 제1 프로세스에 대해서 설명하면, 제k 예측 결과 관련 정보 통계 UI(331)가 선택됨에 따라, 서버(1000)는, 제k 예측 결과를 생성하는데 이용된 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각에 대응되는 제k_1 예측 결과 기여도 정보 내지 제k_m 예측 결과 기여도 정보를 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보로서 사용자 단말의 화면 상의 제2_1 영역(320_1)에 디스플레이 하도록 지원할 수 있다. 참고로, 제k_1 예측 결과 기여도 정보 내지 제k_m 예측 결과 기여도 정보 각각은, 제k 예측 결과가 생성되는데 있어서, 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각이 제k 머신러닝 모델에 의해 참조된 정도를 각각 나타낼 수 있다. 또한, 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각이 제k 머신러닝 모델에 의해 참조된 정도는, 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각이 제k 예측 결과가 생성되는데 있어서 제k 머신러닝 모델에 얼마나 큰 영향을 미쳤는지를 나타낼 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 가령, 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각이 제k 머신러닝 모델에 의해 참조된 빈도일 수 있다.
일례로, 제k 예측 결과 관련 정보 통계 UI(331)가 선택되면, 서버(1000)는, 제k 예측 결과인 제1 클래스 예측 결과를 생성하는데 이용된 제k_1_1 부분 입력 데이터 내지 제k_m1_1 부분 입력 데이터부터 제k 예측 결과인 제j 클래스 예측 결과를 생성하는데 이용된 제k_1_j 부분 입력 데이터 내지 제k_mj_j 부분 입력 데이터까지 각각에 대응되는 제k_1_1 예측 결과 관련 정보 내지 제k_m1_1 예측 결과 관련 정보부터 제k_1_j 예측 결과 관련 정보 내지 제k_mj_j 예측 결과 관련 정보까지를 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보로서 사용자 단말의 화면 상의 제2_1 영역(320_1)에 디스플레이 하도록 지원할 수 있다.
참고로, 제k_1_1 부분 입력 데이터 내지 제k_m1_1 부분 입력 데이터부터 제k_1_j 부분 입력 데이터 내지 제k_mj_j 부분 입력 데이터까지 각각은, 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 중 어느 하나일 수 있다.
이때, 서버(1000)는, 제k_1_1 예측 결과 관련 정보 내지 제k_m1_1 예측 결과 관련 정보부터 제k_1_j 예측 결과 관련 정보 내지 제k_mj_j 예측 결과 관련 정보까지를 사용자 단말의 화면 상의 제2_1 영역(320_1)에 디스플레이 하도록 지원하되, 제i 클래스 예측 결과인 제i 클래스 포지티브 예측 결과 및 제i 클래스 네거티브 예측 결과 중 제i 클래스 특정 예측 결과를 생성하는데 이용된 제k 특정 부분 입력 데이터 그룹에 대응되는 제k 특정 예측 결과 관련 정보를 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보 중 일부로서 사용자 단말의 화면 상의 제2_1 영역(320_1)에 디스플레이 하도록 지원할 수 있다.
참고로, 제k 특정 부분 입력 데이터 그룹은, 제k_1_i 부분 입력 데이터 내지 제k_mi_i 부분 입력 데이터 중 적어도 일부를 포함할 수 있으며, i는 1이상 j이하의 정수일 수 있다.
가령, 도 4a에서 도시하는 바와 같이, 사용자 단말의 화면 상의 제5 영역(350)에 디스플레이되는 제1 검증 결과 조회 UI(351) 내지 제4 검증 결과 조회 UI(354) 중 제3 검증 결과 조회 UI("XAI"로 표시된 UI)가 특정 검증 결과 조회 UI로 선택된 후, 사용자 단말의 화면 상의 제3 영역(330)에 디스플레이되는 제k 예측 결과 관련 정보 통계 UI(331) 및 제k 예측 결과 관련 정보 하이라이팅 UI(332) 중 제k 예측 결과 관련 정보 통계 UI(331)가 선택됨에 따라, 제k 예측 결과인 제1 클래스 예측 결과(Class Name: 0)를 생성하는데 이용된 제k_1_1 부분 입력 데이터 내지 제k_m1_1 부분 입력 데이터(가령, "/", "<", "51_PADDING", "43_PADDING", "11_PADDING", "36_PADDING" 등)부터 제k 예측 결과인 제2 클래스 예측 결과(Class Name: 1)를 생성하는데 이용된 제k_1_2 부분 입력 데이터 내지 제k_m2_2 부분 입력 데이터(가령, "/", "<", "51_PADDING", "43_PADDING", "11_PADDING", "36_PADDING" 등)까지 각각에 대응되는 제k_1_1 예측 결과 관련 정보 내지 제k_m1_1 예측 결과 관련 정보(가령, 0.1209, 0.0375, 0.0208, 0.0187, 0.0176, 0.0166 등)부터 제k_1_2 예측 결과 관련 정보 내지 제k_m2_2 예측 결과 관련 정보(가령, 0.1209, 0.0375, 0.0208, 0.0187, 0.0176, 0.0166 등)까지가 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보로서 사용자 단말의 화면 상의 제2_1 영역(320_1)에 디스플레이 될 수 있다. 참고로, 설명의 편의상, 도 4a에서는 부분 입력 데이터로서, "/", "<", "51_PADDING", "43_PADDING", "11_PADDING", "36_PADDING"만 도시되어 있으나, 이에 한정되는 것은 아니다.
도 4a를 참조하면, 제k 머신러닝 모델이 제k 입력 데이터에 대응되는 클래스를 제1 클래스가 아닌 것으로 예측(즉, 제1 클래스 네거티브 예측 결과(negative 0)를 생성)한 근거인 제k 특정 부분 입력 데이터 그룹으로서, "/", "<", "51_PADDING", "43_PADDING", "11_PADDING", "36_PADDING"가 이용되었으며, 이에 대응되는 제k 특정 예측 결과 관련 정보(즉, 각각의 기여도)는 0.1209, 0.0375, 0.0208, 0.0187, 0.0176, 0.0166인 것을 확인할 수 있다. 반면에, 제k 머신러닝 모델이 제k 입력 데이터에 대응되는 클래스를 제1 클래스인 것으로 예측(즉, 제1 클래스 포지티브 예측 결과(positive 0)를 생성)한 근거인 제k 특정 부분 입력 데이터 그룹은 없으며, 이에 대응되는 제k 특정 예측 결과 관련 정보도 없는 것을 확인할 수 있다.
참고로, 도 4a에 도시된 Class Name: 0 은, 제k 입력 데이터가 정상 입력 데이터인 경우에 대응되고, Class Name: 1 은, 제k 입력 데이터가 비정상 입력 데이터인 경우에 대응된다고 할 때, 상기 두 경우는, 정반대의 상황을 나타낸다. 따라서, (i) Class Name: 0에서의 negative 0, 즉 제k 입력 데이터가 정상 입력 데이터가 아닐 것이라는 제k 예측 결과를 생성하는데 이용된 제k 특정 부분 입력 데이터 그룹 및 이에 대응되는 제k 특정 예측 결과 관련 정보는, (ii) Class Name: 1에서의 positive 1, 즉 제k 입력 데이터가 비정상 입력 데이터일 것이라는 제k 예측 결과를 생성하는데 이용된 제k 특정 부분 입력 데이터 그룹 및 이에 대응되는 제k 특정 예측 결과 관련 정보와 서로 동일한 점을 확인할 수 있다.
상기 예시와 달리, 제1 클래스 및 제2 클래스가 서로 반대되는 상황을 나타내는 클래스가 아닐 경우에는, 제1 클래스를 예측하는데 이용된 부분 입력 데이터 및 이에 대응되는 예측 결과 관련 정보는, 제2 클래스를 예측하는데 이용된 부분 입력 데이터 및 이에 대응되는 예측 결과 관련 정보와 다를 수 있다.
또한, 상기에서는 설명의 편의상 2개의 클래스를 예로 들어 설명하였지만, 본 발명이 이에 한정되는 것은 아니며, 가령, 3개 이상의 클래스에 대해서도 동일/유사한 설명이 적용될 수 있다.
다음으로, 도 4b를 참조하여 제2 프로세스에 대해서 설명하면, 제k 예측 결과 관련 정보 하이라이팅 UI(332)가 선택됨에 따라, 서버(1000)는, 제k 입력 데이터를 사용자 단말의 화면 상의 제2_2 영역(320_2)에 디스플레이 하도록 지원하되, 제k 입력 데이터 중 제k 예측 결과를 생성하는데 이용된 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터(가령, "/", "<script", "type=", "<", "href=" 등) 각각에 제k_1 시각적 효과 내지 제k_m 시각적 효과를 적용함으로써 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각에 대응되는 제k_1 시각적 효과 내지 제k_m 시각적 효과를 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보로서 사용자 단말의 화면 상의 제2_2 영역(320_2)에 디스플레이 하도록 지원할 수 있다.
이때, 서버(1000)는, 사용자 단말로 하여금 제k 예측 결과(도 4b에 도시된 "inference_result") 및 이에 대응되는 제k GT(ground truth)(도 4b에 도시된 "label")를 사용자 단말의 화면 상의 제2_2 영역(320_2)에 추가로 디스플레이 하도록 지원할 수 있다.
한편, 제k 머신러닝 모델 선택 UI가 선택되면, 서버(1000)는, 도 5에서 도시하는 바와 같이, 맵핑 UI를 사용자 단말의 화면 상의 제4 영역(340)에 디스플레이 하도록 지원하고, 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 중 제k_g 부분 입력 데이터에 대응되는 제k_g 색상 정보가 맵핑 UI를 통해 사용자 단말로부터 획득되면, 제k_g 색상 정보가 참조되어 생성되는, 제k_g 부분 입력 데이터 및 제k_g 색상의 맵핑 정보를 제k_g 부분 입력 데이터에 대응되는 제k_g 예측 결과 관련 정보로서 사용자 단말의 화면 상의 제2 영역(320)에 디스플레이 하도록 지원할 수 있다.
이때, 제4 영역(340)에 디스플레이 되는 "Payload Tag"가 도시하는 바와 같이, 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터는, 이에 대응되는 제k_1 예측 결과 기여도 정보 내지 제k_m 예측 결과 기여도 정보에 따라, 오름차순 또는 내림차순으로 디스플레이 될 수 있다.
또한, 제2 영역(320)에 디스플레이 되는 "Associated Tag"가 도시하는 바와 같이, 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 중 특정 부분 입력 데이터(가령, "</script>&")가 선택되면, 특정 부분 입력 데이터("</script>&")를 제외한 나머지 부분 입력 데이터(가령, "/javacript:", "test=", "alert(", "string", "type=", "'.'", "+onfocus=", "(string.fromcharcode)") 중, 특정 부분 입력 데이터("</script>&")와 관련도가 높은 특정 나머지 부분 입력 데이터(가령, "test=", "alert(", "string", "type=", "'.'")가 특정 부분 입력 데이터("</script>&")에 맵핑되어 디스플레이 될 수 있다. 이때, 특정 부분 입력 데이터("</script>&")와의 관련도가 높으면 상대적으로 큰 사이즈의 원(가령, "type=")으로 디스플레이 될 수 있으며, 관련도가 낮으면 상대적으로 작은 사이즈의 원(가령, "'.'")으로 디스플레이 될 수 있다.
또한, 제2 영역(320)에 디스플레이 되는 "Top Tag in Payload"가 도시하는 바와 같이, 서버(1000)는, 제k 입력 데이터에 포함된 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각의 개수가 디스플레이 되도록 지원할 수 있다.
또한, 제2 영역(320)에 디스플레이 되는 "Threat Payload"가 도시하는 바와 같이, 서버(1000)는, 제k 입력 데이터의 적어도 일부 데이터(가령, 데이터 A)에 대한 탐지 위험도가 디스플레이 되도록 지원할 수 있다.
이때, 데이터 A에 대한 탐지 위험도는 아래의 식에 따라 획득될 수 있다.
식1: 탐지 위험도=취약점 점수*0.8+대응 난이도 점수*0.2
식2: 취약점 점수=출현도 점수*영향도 점수*공격 난이도 점수
식3: 대응 난이도 점수=(교정 난이도+영향도 점수)/2
식4: 출현도 점수=파급 범위*0.8+대상 분포*0.2
식5: 영향도 점수=(기밀성+무결성+가용성)*피해의 심각성
식6: 공격 난이도 점수=(공격 수행 위치+권한 요구도+상호작용 정도)*침해 가능성/3
일례로, (i) 탐지 위험도 점수가 2.1점 이상인 경우, 데이터 A에 대응되는 위험 단계는 critical인 것으로 디스플레이 될 수 있고, (ii) 탐지 위험도 점수가 1.6점 이상이며 2.1점 미만인 경우, 데이터 A에 대응되는 위험 단계는 High인 것으로 디스플레이 될 수 있으며, (iii) 탐지 위험도 점수가 1.1점 이상이며 1.6점 미만인 경우, 데이터 A에 대응되는 위험 단계는 Middle인 것으로 디스플레이 될 수 있고, (iv) 탐지 위험도 점수가 0점 이상이며 1.1점 이하인 경우, 데이터 A에 대응되는 위험 단계는 Low인 것으로 디스플레이 될 수 있다.
한편, 제k 입력 데이터가 제k 입력 이미지인 경우, 서버(1000)는, 제k 입력 데이터인 제k 입력 이미지 중, 제k 예측 결과를 생성하는데 이용된 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터인 제k_1 입력 이미지 구역 내지 제k_m 입력 이미지 구역 각각에 대응되는 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보를 데이터 마스킹 정보로서 사용자 단말의 화면 상의 제2 영역에 디스플레이 하도록 지원할 수 있다.
도 6을 참조하면, 고양이에 대한 제k 입력 이미지가 머신러닝 모델에 입력됨으로써 생성된 제k 예측 결과 및 그에 대응되는 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보가 사용자 단말의 화면 상의 제2 영역(320)에 디스플레이 되는 것을 확인할 수 있다.
구체적으로, (i) 제k 입력 이미지에 포함된 객체가 고양이일 확률이 0.91인 제k 예측 결과가 제k 머신러닝 모델에 의해 생성되었고, (ii) 고양이의 귀, 눈, 수염 및 발을 나타내는 구역 각각이 제k_1 입력 이미지 구역 내지 제k_m 입력 이미지 구역으로서 머신러닝 모델에 의해 이용되었으며, (iii) 분홍색으로 표시된 시각적 효과 각각이 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보로서 디스플레이 되는 것을 확인할 수 있다.
상기에서 설명한 바와 같이, 본 발명에 따른 서버(1000)는, 머신러닝 모델의 예측에 영향을 미친 변수들을 사용자에게 직관적으로 보여줌으로써, 사용자로 하여금 머신러닝 모델의 학습 과정에서 문제가 발생한 학습 단계를 확인할 수 있도록 지원하고, 이를 통해 머신러닝 모델을 효과적으로 재학습 시키도록 지원함으로써 머신러닝 모델의 성능이 대폭 향상되도록 지원할 수 있다.
또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (16)

  1. 설명가능 인공지능(XAI)에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법에 있어서,
    (a) 제1 머신러닝 모델 내지 제n 머신러닝 모델 각각을 검증하기 위한 제1 입력 데이터 내지 제n 입력 데이터 각각이 상기 제1 머신러닝 모델 내지 상기 제n 머신러닝 모델 각각에 입력됨으로써 상기 제1 입력 데이터 내지 상기 제n 입력 데이터 각각에 대응되는 제1 예측 결과 내지 제n 예측 결과가 생성된 상태에서, 서버가, 사용자 단말로 하여금 상기 제1 머신러닝 모델 내지 상기 제n 머신러닝 모델 각각에 대응되는 제1 머신러닝 모델 선택 UI 내지 제n 머신러닝 모델 선택 UI를 상기 사용자 단말의 화면 상의 제1 영역에 디스플레이 하도록 지원하는 단계; 및
    (b) 상기 제1 머신러닝 모델 선택 UI 내지 상기 제n 머신러닝 모델 선택 UI 중, 제k 머신러닝 모델에 대응되는 제k 머신러닝 모델 선택 UI가 선택되면, 상기 서버가, 상기 설명가능 인공지능에 기반하여, 상기 제k 머신러닝 모델에 입력된 제k 입력 데이터 중, 제k 예측 결과를 생성하는데 이용된 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각에 대응되는 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보를 상기 사용자 단말로 하여금 상기 데이터 마스킹 정보로서 상기 사용자 단말의 상기 화면 상의 제2 영역에 디스플레이 하도록 지원하는 단계;
    를 포함하되,
    상기 (b) 단계에서,
    상기 제k 머신러닝 모델 선택 UI가 선택되면, 상기 서버가, (i) 제k 예측 결과 관련 정보 통계 UI 및 제k 예측 결과 관련 정보 하이라이팅 UI를 상기 사용자 단말의 상기 화면 상의 제3 영역에 디스플레이 하도록 지원하고, (ii) (ii-1) 상기 제k 예측 결과 관련 정보 통계 UI가 선택되면, 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 대응되는 제k_1 예측 결과 기여도 정보 내지 제k_m 예측 결과 기여도 정보 - 상기 제k_1 예측 결과 기여도 정보 내지 상기 제k_m 예측 결과 기여도 정보 각각은, 상기 제k 예측 결과가 생성되는데 있어서, 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각이 상기 제k 머신러닝 모델에 의해 참조된 정도를 각각 나타냄 - 를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 제2_1 영역에 디스플레이 하도록 지원하는 프로세스 및 (ii-2) 상기 제k 예측 결과 관련 정보 하이라이팅 UI가 선택되면, 상기 제k 입력 데이터를 상기 사용자 단말의 상기 화면 상의 제2_2 영역에 디스플레이 하도록 지원하되, 상기 제k 입력 데이터 중 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 제k_1 시각적 효과 내지 제k_m 시각적 효과를 적용함으로써 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 대응되는 상기 제k_1 시각적 효과 내지 상기 제k_m 시각적 효과를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2_2 영역에 디스플레이 하도록 지원하는 프로세스 중 어느 하나를 수행하는 것을 특징으로 하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 (ii-1) 프로세스에서,
    상기 제k 예측 결과 관련 정보 통계 UI가 선택되면, 상기 서버가, 상기 제k 예측 결과인 제1 클래스 예측 결과를 생성하는데 이용된 제k_1_1 부분 입력 데이터 내지 제k_m1_1 부분 입력 데이터부터 상기 제k 예측 결과인 제j 클래스 예측 결과를 생성하는데 이용된 제k_1_j 부분 입력 데이터 내지 제k_mj_j 부분 입력 데이터 - 상기 제k_1_1 부분 입력 데이터 내지 상기 제k_m1_1 부분 입력 데이터부터 상기 제k_1_j 부분 입력 데이터 내지 상기 제k_mj_j 부분 입력 데이터까지 각각은, 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 중 어느 하나임 - 까지 각각에 대응되는 제k_1_1 예측 결과 관련 정보 내지 제k_m1_1 예측 결과 관련 정보부터 제k_1_j 예측 결과 관련 정보 내지 제k_mj_j 예측 결과 관련 정보까지를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2_1 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 (b) 단계에서,
    상기 (ii-1) 프로세스에서,
    상기 서버가, 상기 제k_1_1 예측 결과 관련 정보 내지 상기 제k_m1_1 예측 결과 관련 정보부터 상기 제k_1_j 예측 결과 관련 정보 내지 상기 제k_mj_j 예측 결과 관련 정보까지를 상기 사용자 단말의 상기 화면 상의 상기 제2_1 영역에 디스플레이 하도록 지원하되, 제i 클래스 예측 결과인 제i 클래스 포지티브 예측 결과 및 제i 클래스 네거티브 예측 결과 중 제i 클래스 특정 예측 결과를 생성하는데 이용된 제k 특정 부분 입력 데이터 그룹 - 상기 제k 특정 부분 입력 데이터 그룹은, 제k_1_i 부분 입력 데이터 내지 제k_mi_i 부분 입력 데이터 중 적어도 일부를 포함함 - 에 대응되는 제k 특정 예측 결과 관련 정보를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보 중 일부로서 상기 사용자 단말의 상기 화면 상의 상기 제2_1 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 (ii-2) 프로세스에서,
    상기 제k 예측 결과 관련 정보 하이라이팅 UI가 선택되면, 상기 서버가, 상기 제k 예측 결과 및 이에 대응되는 제k GT(ground truth)를 상기 사용자 단말의 상기 화면 상의 상기 제2_2 영역에 추가로 디스플레이 하도록 지원하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 제k 머신러닝 모델 선택 UI가 선택되면, 상기 서버가, 맵핑 UI를 상기 사용자 단말의 상기 화면 상의 제4 영역에 디스플레이 하도록 지원하고, 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 중 제k_g 부분 입력 데이터에 대응되는 제k_g 색상 정보가 상기 맵핑 UI를 통해 상기 사용자 단말로부터 획득되면, 상기 제k_g 색상 정보가 참조되어 생성되는 상기 제k_g 부분 입력 데이터 및 상기 제k_g 색상의 맵핑 정보를 상기 제k_g 부분 입력 데이터에 대응되는 제k_g 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 (b) 단계에서,
    제k 머신러닝 모델에 대응되는 제k 머신러닝 모델 선택 UI가 선택되면, 상기 서버가, 상기 제k 입력 데이터인 제k 입력 이미지 중, 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터인 제k_1 입력 이미지 구역 내지 제k_m 입력 이미지 구역 각각에 대응되는 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보를 상기 데이터 마스킹 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 방법.
  8. 설명가능 인공지능(XAI)에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법에 있어서,
    (a) 제1 머신러닝 모델 내지 제n 머신러닝 모델 각각을 검증하기 위한 제1 입력 데이터 내지 제n 입력 데이터 각각이 상기 제1 머신러닝 모델 내지 상기 제n 머신러닝 모델 각각에 입력됨으로써 상기 제1 입력 데이터 내지 상기 제n 입력 데이터 각각에 대응되는 제1 예측 결과 내지 제n 예측 결과가 생성된 상태에서, 서버가, 사용자 단말로 하여금 상기 제1 머신러닝 모델 내지 상기 제n 머신러닝 모델 각각에 대응되는 제1 머신러닝 모델 선택 UI 내지 제n 머신러닝 모델 선택 UI를 상기 사용자 단말의 화면 상의 제1 영역에 디스플레이 하도록 지원하는 단계; 및
    (b) 상기 제1 머신러닝 모델 선택 UI 내지 상기 제n 머신러닝 모델 선택 UI 중, 제k 머신러닝 모델에 대응되는 제k 머신러닝 모델 선택 UI가 선택되면, 상기 서버가, 상기 설명가능 인공지능에 기반하여, 상기 제k 머신러닝 모델에 입력된 제k 입력 데이터 중, 제k 예측 결과를 생성하는데 이용된 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각에 대응되는 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보를 상기 사용자 단말로 하여금 상기 데이터 마스킹 정보로서 상기 사용자 단말의 상기 화면 상의 제2 영역에 디스플레이 하도록 지원하는 단계;
    를 포함하되,
    상기 (b) 단계는,
    (b1) 상기 제1 머신러닝 모델 선택 UI 내지 상기 제n 머신러닝 모델 선택 UI 중, 상기 제k 머신러닝 모델에 대응되는 상기 제k 머신러닝 모델 선택 UI가 선택되면, 상기 서버가, 상기 사용자 단말로 하여금 상기 제k 머신러닝 모델에 대응되는 제1 검증 결과 내지 제j 검증 결과 각각에 대응되는 제1 검증 결과 조회 UI 내지 제j 검증 결과 조회 UI를 상기 사용자 단말의 상기 화면 상의 제5 영역에 디스플레이 하도록 지원하는 단계; 및
    (b2) 상기 제1 검증 결과 조회 UI 내지 상기 제j 검증 결과 조회 UI 중 특정 검증 결과 조회 UI가 선택되면, 상기 서버가, 상기 설명가능 인공지능에 기반하여, 상기 제k 머신러닝 모델에 입력된 상기 제k 입력 데이터 중, 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 대응되는 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보를 상기 데이터 마스킹 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2 영역에 디스플레이 하도록 지원하는 단계;
    를 포함하되,
    상기 제1 검증 결과 내지 상기 제j 검증 결과 중 적어도 일부 각각은, 상기 제k 머신러닝 모델에 대응되는 (i) 혼동 행렬(confusion matrix) 정보, (ii) F1 score 정보 및 (iii) 상기 데이터 마스킹 정보 각각을 포함하는 것을 특징으로 하는 방법.
  9. 설명가능 인공지능(XAI)에 기반하여 데이터 마스킹 정보를 제공하기 위한 서버에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서를 포함하되,
    상기 프로세서는, (1) 제1 머신러닝 모델 내지 제n 머신러닝 모델 각각을 검증하기 위한 제1 입력 데이터 내지 제n 입력 데이터 각각이 상기 제1 머신러닝 모델 내지 상기 제n 머신러닝 모델 각각에 입력됨으로써 상기 제1 입력 데이터 내지 상기 제n 입력 데이터 각각에 대응되는 제1 예측 결과 내지 제n 예측 결과가 생성된 상태에서, 사용자 단말로 하여금 상기 제1 머신러닝 모델 내지 상기 제n 머신러닝 모델 각각에 대응되는 제1 머신러닝 모델 선택 UI 내지 제n 머신러닝 모델 선택 UI를 상기 사용자 단말의 화면 상의 제1 영역에 디스플레이 하도록 지원하는 프로세스 및 (2) 상기 제1 머신러닝 모델 선택 UI 내지 상기 제n 머신러닝 모델 선택 UI 중, 제k 머신러닝 모델에 대응되는 제k 머신러닝 모델 선택 UI가 선택되면, 상기 설명가능 인공지능에 기반하여, 상기 제k 머신러닝 모델에 입력된 제k 입력 데이터 중, 제k 예측 결과를 생성하는데 이용된 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각에 대응되는 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보를 상기 사용자 단말로 하여금 상기 데이터 마스킹 정보로서 상기 사용자 단말의 상기 화면 상의 제2 영역에 디스플레이 하도록 지원하는 프로세스;를 수행하되,
    상기 (2) 프로세스에서,
    상기 제k 머신러닝 모델 선택 UI가 선택되면, (i) 제k 예측 결과 관련 정보 통계 UI 및 제k 예측 결과 관련 정보 하이라이팅 UI를 상기 사용자 단말의 상기 화면 상의 제3 영역에 디스플레이 하도록 지원하고, (ii) (ii-1) 상기 제k 예측 결과 관련 정보 통계 UI가 선택되면, 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 대응되는 제k_1 예측 결과 기여도 정보 내지 제k_m 예측 결과 기여도 정보 - 상기 제k_1 예측 결과 기여도 정보 내지 상기 제k_m 예측 결과 기여도 정보 각각은, 상기 제k 예측 결과가 생성되는데 있어서, 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각이 상기 제k 머신러닝 모델에 의해 참조된 정도를 각각 나타냄 - 를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 제2_1 영역에 디스플레이 하도록 지원하는 서브 프로세스 및 (ii-2) 상기 제k 예측 결과 관련 정보 하이라이팅 UI가 선택되면, 상기 제k 입력 데이터를 상기 사용자 단말의 상기 화면 상의 제2_2 영역에 디스플레이 하도록 지원하되, 상기 제k 입력 데이터 중 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 제k_1 시각적 효과 내지 제k_m 시각적 효과를 적용함으로써 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 대응되는 상기 제k_1 시각적 효과 내지 상기 제k_m 시각적 효과를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2_2 영역에 디스플레이 하도록 지원하는 서브 프로세스 중 어느 하나를 수행하는 것을 특징으로 하는 서버.
  10. 삭제
  11. 제9항에 있어서,
    상기 프로세서는,
    상기 (2) 프로세스에서,
    상기 (ii-1) 서브 프로세스에서,
    상기 제k 예측 결과 관련 정보 통계 UI가 선택되면, 상기 제k 예측 결과인 제1 클래스 예측 결과를 생성하는데 이용된 제k_1_1 부분 입력 데이터 내지 제k_m1_1 부분 입력 데이터부터 상기 제k 예측 결과인 제j 클래스 예측 결과를 생성하는데 이용된 제k_1_j 부분 입력 데이터 내지 제k_mj_j 부분 입력 데이터 - 상기 제k_1_1 부분 입력 데이터 내지 상기 제k_m1_1 부분 입력 데이터부터 상기 제k_1_j 부분 입력 데이터 내지 상기 제k_mj_j 부분 입력 데이터까지 각각은, 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 중 어느 하나임 - 까지 각각에 대응되는 제k_1_1 예측 결과 관련 정보 내지 제k_m1_1 예측 결과 관련 정보부터 제k_1_j 예측 결과 관련 정보 내지 제k_mj_j 예측 결과 관련 정보까지를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2_1 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 서버.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 (2) 프로세스에서,
    상기 (ii-1) 서브 프로세스에서,
    상기 제k_1_1 예측 결과 관련 정보 내지 상기 제k_m1_1 예측 결과 관련 정보부터 상기 제k_1_j 예측 결과 관련 정보 내지 상기 제k_mj_j 예측 결과 관련 정보까지를 상기 사용자 단말의 상기 화면 상의 상기 제2_1 영역에 디스플레이 하도록 지원하되, 제i 클래스 예측 결과인 제i 클래스 포지티브 예측 결과 및 제i 클래스 네거티브 예측 결과 중 제i 클래스 특정 예측 결과를 생성하는데 이용된 제k 특정 부분 입력 데이터 그룹 - 상기 제k 특정 부분 입력 데이터 그룹은, 제k_1_i 부분 입력 데이터 내지 제k_mi_i 부분 입력 데이터 중 적어도 일부를 포함함 - 에 대응되는 제k 특정 예측 결과 관련 정보를 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보 중 일부로서 상기 사용자 단말의 상기 화면 상의 상기 제2_1 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 서버.
  13. 제9항에 있어서,
    상기 프로세서는,
    상기 (2) 프로세스에서,
    상기 (ii-2) 서브 프로세스에서,
    상기 제k 예측 결과 관련 정보 하이라이팅 UI가 선택되면, 상기 제k 예측 결과 및 이에 대응되는 제k GT(ground truth)를 상기 사용자 단말의 상기 화면 상의 상기 제2_2 영역에 추가로 디스플레이 하도록 지원하는 것을 특징으로 하는 서버.
  14. 제9항에 있어서,
    상기 프로세서는,
    상기 (2) 프로세스에서,
    상기 제k 머신러닝 모델 선택 UI가 선택되면, 맵핑 UI를 상기 사용자 단말의 상기 화면 상의 제4 영역에 디스플레이 하도록 지원하고, 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 중 제k_g 부분 입력 데이터에 대응되는 제k_g 색상 정보가 상기 맵핑 UI를 통해 상기 사용자 단말로부터 획득되면, 상기 제k_g 색상 정보가 참조되어 생성되는 상기 제k_g 부분 입력 데이터 및 상기 제k_g 색상의 맵핑 정보를 상기 제k_g 부분 입력 데이터에 대응되는 제k_g 예측 결과 관련 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 서버.
  15. 제9항에 있어서,
    상기 프로세서는,
    상기 (2) 프로세스에서,
    제k 머신러닝 모델에 대응되는 제k 머신러닝 모델 선택 UI가 선택되면, 상기 제k 입력 데이터인 제k 입력 이미지 중, 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터인 제k_1 입력 이미지 구역 내지 제k_m 입력 이미지 구역 각각에 대응되는 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보를 상기 데이터 마스킹 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2 영역에 디스플레이 하도록 지원하는 것을 특징으로 하는 서버.
  16. 설명가능 인공지능(XAI)에 기반하여 데이터 마스킹 정보를 제공하기 위한 서버에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    상기 인스트럭션들을 실행하기 위해 구성된 적어도 하나의 프로세서를 포함하되,
    상기 프로세서는, (1) 제1 머신러닝 모델 내지 제n 머신러닝 모델 각각을 검증하기 위한 제1 입력 데이터 내지 제n 입력 데이터 각각이 상기 제1 머신러닝 모델 내지 상기 제n 머신러닝 모델 각각에 입력됨으로써 상기 제1 입력 데이터 내지 상기 제n 입력 데이터 각각에 대응되는 제1 예측 결과 내지 제n 예측 결과가 생성된 상태에서, 사용자 단말로 하여금 상기 제1 머신러닝 모델 내지 상기 제n 머신러닝 모델 각각에 대응되는 제1 머신러닝 모델 선택 UI 내지 제n 머신러닝 모델 선택 UI를 상기 사용자 단말의 화면 상의 제1 영역에 디스플레이 하도록 지원하는 프로세스 및 (2) 상기 제1 머신러닝 모델 선택 UI 내지 상기 제n 머신러닝 모델 선택 UI 중, 제k 머신러닝 모델에 대응되는 제k 머신러닝 모델 선택 UI가 선택되면, 상기 설명가능 인공지능에 기반하여, 상기 제k 머신러닝 모델에 입력된 제k 입력 데이터 중, 제k 예측 결과를 생성하는데 이용된 제k_1 부분 입력 데이터 내지 제k_m 부분 입력 데이터 각각에 대응되는 제k_1 예측 결과 관련 정보 내지 제k_m 예측 결과 관련 정보를 상기 사용자 단말로 하여금 상기 데이터 마스킹 정보로서 상기 사용자 단말의 상기 화면 상의 제2 영역에 디스플레이 하도록 지원하는 프로세스;를 수행하되,
    상기 (2) 프로세스는,
    (2_1) 상기 제1 머신러닝 모델 선택 UI 내지 상기 제n 머신러닝 모델 선택 UI 중, 상기 제k 머신러닝 모델에 대응되는 상기 제k 머신러닝 모델 선택 UI가 선택되면, 상기 프로세서가, 상기 사용자 단말로 하여금 상기 제k 머신러닝 모델에 대응되는 제1 검증 결과 내지 제j 검증 결과 각각에 대응되는 제1 검증 결과 조회 UI 내지 제j 검증 결과 조회 UI를 상기 사용자 단말의 상기 화면 상의 제5 영역에 디스플레이 하도록 지원하는 프로세스 및 (2_2) 상기 제1 검증 결과 조회 UI 내지 상기 제j 검증 결과 조회 UI 중 특정 검증 결과 조회 UI가 선택되면, 상기 프로세서가, 상기 설명가능 인공지능에 기반하여, 상기 제k 머신러닝 모델에 입력된 상기 제k 입력 데이터 중, 상기 제k 예측 결과를 생성하는데 이용된 상기 제k_1 부분 입력 데이터 내지 상기 제k_m 부분 입력 데이터 각각에 대응되는 상기 제k_1 예측 결과 관련 정보 내지 상기 제k_m 예측 결과 관련 정보를 상기 데이터 마스킹 정보로서 상기 사용자 단말의 상기 화면 상의 상기 제2 영역에 디스플레이 하도록 지원하는 프로세스를 포함하되,
    상기 제1 검증 결과 내지 상기 제j 검증 결과 중 적어도 일부 각각은, 상기 제k 머신러닝 모델에 대응되는 (i) 혼동 행렬(confusion matrix) 정보, (ii) F1 score 정보 및 (iii) 상기 데이터 마스킹 정보 각각을 포함하는 것을 특징으로 하는 서버.
KR1020220121962A 2022-09-26 2022-09-26 설명가능 인공지능(xai)에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 서버 KR102524758B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220121962A KR102524758B1 (ko) 2022-09-26 2022-09-26 설명가능 인공지능(xai)에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220121962A KR102524758B1 (ko) 2022-09-26 2022-09-26 설명가능 인공지능(xai)에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 서버

Publications (1)

Publication Number Publication Date
KR102524758B1 true KR102524758B1 (ko) 2023-04-25

Family

ID=86101668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220121962A KR102524758B1 (ko) 2022-09-26 2022-09-26 설명가능 인공지능(xai)에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 서버

Country Status (1)

Country Link
KR (1) KR102524758B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630394B1 (ko) * 2023-08-29 2024-01-30 (주)시큐레이어 설명가능 인공지능(xai)에 기반하여 테이블 데이터 분석 정보를 제공하기 위한 방법 및 이를 이용한 러닝 서버
KR102630391B1 (ko) * 2023-08-29 2024-01-30 (주)시큐레이어 설명가능 인공지능(xai)에 기반하여 이미지 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 러닝 서버

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200092447A (ko) * 2019-01-04 2020-08-04 에스케이 주식회사 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법
JP2021071823A (ja) * 2019-10-30 2021-05-06 富士通株式会社 予測モデル説明方法、予測モデル説明プログラム、予測モデル説明装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200092447A (ko) * 2019-01-04 2020-08-04 에스케이 주식회사 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법
JP2021071823A (ja) * 2019-10-30 2021-05-06 富士通株式会社 予測モデル説明方法、予測モデル説明プログラム、予測モデル説明装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Interpreting Tree Ensembles with inTrees", arXiv:1408.5456v1 [cs.LG], 2014.08.23. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630394B1 (ko) * 2023-08-29 2024-01-30 (주)시큐레이어 설명가능 인공지능(xai)에 기반하여 테이블 데이터 분석 정보를 제공하기 위한 방법 및 이를 이용한 러닝 서버
KR102630391B1 (ko) * 2023-08-29 2024-01-30 (주)시큐레이어 설명가능 인공지능(xai)에 기반하여 이미지 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 러닝 서버

Similar Documents

Publication Publication Date Title
KR102524758B1 (ko) 설명가능 인공지능(xai)에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 서버
US11144862B1 (en) Application mapping and alerting based on data dependencies
US20200092319A1 (en) Cognitive Security Exposure Analysis and Resolution Based on Security Trends
US11756404B2 (en) Adaptive severity functions for alerts
US11483319B2 (en) Security model
US11663500B2 (en) Visualizing cybersecurity incidents using knowledge graph data
US9990270B2 (en) Systems and methods to improve decision management project testing
Whittaker Markov chain techniques for software testing and reliability analysis
US11720825B2 (en) Framework for multi-tenant data science experiments at-scale
CN108092985B (zh) 网络安全态势分析方法、装置、设备及计算机存储介质
US20230315856A1 (en) Methods and apparatus for augmenting training data using large language models
CN113360947B (zh) 数据脱敏方法及装置、计算机可读存储介质、电子设备
CN105825137B (zh) 一种确定敏感数据扩散行为的方法及装置
Alperin et al. Improving interpretability for cyber vulnerability assessment using focus and context visualizations
US20080295145A1 (en) Identifying non-orthogonal roles in a role based access control system
WO2023146737A1 (en) Multi-variate anomalous access detection
WO2023158534A1 (en) Systems and methods for evaluating system-of-systems for cyber vulnerabilities
US11948050B2 (en) Caching of machine learning model training parameters
CN114329486A (zh) 一种资产漏洞管理方法、装置、电子设备及存储介质
Lytvynov et al. Corporate networks protection against attacks using content-analysis of global information space
Chen Reducing web page complexity to facilitate effective user navigation
JP2005025523A (ja) 情報セキュリティ管理支援装置
Prezenski et al. Predictive cognitive modelling of applications
KR102630391B1 (ko) 설명가능 인공지능(xai)에 기반하여 이미지 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 러닝 서버
Bass et al. Fault tree graphics

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant