KR20220073464A - 설명 가능한 인공지능 제공 방법 - Google Patents

Abstract

기계 학습된 모델의 대상 데이터 인스턴스에 대한 출력에 영향을 미친 주요 피처(feature)에 대한 정보를 제공하는 방법이 제공된다. 본 게시의 일 실시예에 따른 설명 가능한 인공지능 제공 방법은, 기계 학습 된 모델에 입력되는 전체 데이터셋의 각 데이터 인스턴스들을 대표하는 프로토타입(prototype)들의 제1 세트를 구성하는 단계와, 상기 전체 데이터셋의 각 데이터 인스턴스들 중 상기 프로토타입들로 표현되지 않는 데이터 인스턴스들의 샘플인 크리티시즘(criticism)들의 제2 세트를 구성하는 단계와, 상기 제1 세트에 포함된 모든 프로토타입들 및 상기 제2 세트에 포함된 모든 크리티시즘들을 고려하여, 상기 모델의 제1 데이터 인스턴스에 대한 출력 데이터에 대한 제1 피처(feature) 기반 근거(rationale)를 연산하는 단계를 포함할 수 있다.

Description

설명 가능한 인공지능 제공 방법{METHOD FOR PROVIDING EXPLAINABLE ARTIFICIAL INTELLIGENCE}

본 게시는 설명 가능한 인공지능의 제공 방법 및 그 방법이 적용된 컴퓨팅 장치에 관한 것이다. 보다 자세하게는, 기계 학습된 모델이 대상 데이터 인스턴스에 대하여 출력한 결과 데이터의 생성에 있어서, 어떤 피처(feature)가 영향을 미친 것인지에 대한 근거(rationale)에 대한 정보를 제공하는 방법 및 그 방법이 적용된 장치에 관한 것이다.

인공지능은 급속도로 발전해 거의 모든 분야에서 다양한 용도로 활용되고 있다. 하지만 대부분 학습된 모델이 출력한 결과에 대한 이유 설명이 불가능한 블랙박스(black-box) 상황이다. 따라서, 인공 지능 기술에 기반하여 판단된 결론에 대한 공정성, 신뢰성, 정확성 관련 문제가 제기된다. 인공지능 기술에서 출력된 결과와 관련된 근거 등의 이해를 돕기 위하여, 설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 기술이 제공되고 있다.

설명 가능한 인공지능 기술은 AI 사고를 파악하는 기술 및 AI 사고의 내용을 사람이 이해하기 쉽게 표현하는 기술을 포함한다. AI 사고를 파악하는 기술에는, 개별 조건 예측(ICE : Individual Conditional Expectations)은 AI에 단일 투입 값을 주면서 반응하는 값을 분석하면서 AI가 고려하는 요인의 가중치를 알아낸다. 또 다른 예로 부분 의존 구성(PDP : Partial Dependence Plots)은 AI에 복수 투입 값을 줘 반응 값을 분석한다. 그 외에도 민감도 분석, 첨가 요인 분석(SHAP), 일부 해석 모델(LIME) 등이 포함된다. 또한, AI 사고 내용을 사람이 이해하기 쉽게 표현하는 기술은 AI의 사고를 사람이 이해할 수 있도록 이미지 혹은 자연어로 표현한다.

XAI를 통한 AI 사고의 파악은 크게 전역적(global) 해석과 국소적(local) 해석으로 구분될 수 있다. 전역적 해석은 모든 데이터를 활용해 학습된 모델의 전체 로직을 이해하는 것을 목표로 한다. 그러나 학습 모델의 복잡도가 일정 이상을 초과하는 경우 전역적 해석 모델을 실용적으로 활용하기는 매우 어려워진다는 한계가 있다. 반면 국소적 해석은 특정 인스턴스의 단일 예측에 대해 도출된 결과의 추론을 하는 것을 목표로 한다. 전역적 해석보다 더 정확한 추론이 가능하며, 실제 사용자의 입장에서도 관심이 있는 특정 인스턴스의 예측 결과의 도출 과정을 파악하는 것이 일반적으로 유용하다.

AI 사고를 파악하기 위한 기존의 방법론은 크게 1)입력 값의 변동을 통해 예측 결과의 변화를 확인하거나, 2)역전파를 통해 입력 값에 대한 오차를 계산하거나, 3)대표 인스턴스 데이터를 추출하는 기법으로 구분할 수 있다. 1)은 샘플링 방법에 따라 불안정성이 높을 수 있으며, 2)의 경우 딥러닝 기반 모델에만 적용이 한정되며, 사전에 적절한 베이스라인을 설정해줘야 한다는 문제점이 있다. 또한, 3)은 입력 데이터에 대한 설명은 가능하나 학습된 모델에 대한 해석을 도출하기 어렵다.

또한, 기존의 LIME, Integrated Gradients 등의 알고리즘의 경우,

와 같은 모델에서 값이 큰 변수의 영향력이 0으로 계산되어 해당 변수의 영향력이 전혀 존재하지 않는 것으로 보일 수 있다.

이에 더하여, 몇몇 기존의 AI 사고 파악 방법을 소개한다.

섭동(Perturbation) 기반 모델이 제공된다. 본 기술은 입력 값을 교란해 예측이 어떻게 바뀌는지 확인하여 기본 모델의 행동을 설명하는 기법이며, LIME, Influence Functions 등이 대표적이다. 이러한 기법은 샘플링 프로세스에 따라 전혀 다른 해석이 도출될 가능성이 있어 불안정성(instability)이 높으며, 고차원의 데이터에는 적용이 어렵다는 한계가 있다.

역전파(Backward propagation) 기반 모델이 제공된다. 본 기술은 주로 딥러닝 모델의 사후 설명을 위해 활용되는 기법으로, 역전파를 통해 입력값에 대한 오차 정도를 계산해 각 특징들(features)의 중요도를 나타낸다. 대표적으로 LRP, SmoothGrad, DeepLIFT, Integrated Gradients 등의 기법이 있다. 이러한 기법들은 딥 네트워크에만 적용 가능하며, 대부분의 경우 사용자가 사전에 적절하게 정의해야 하는 베이스라인(baseline)에 매우 의존적이라는 한계가 있다. 또한, 의도적으로 성능을 떨어뜨리려는 적대적 공격(adversarial attack)에 취약할 수 있다.

사례기반(Example-based) 모델이 제공된다. 본 기술은 데이터셋에서 특정 인스턴스들을 선별하여 전체 데이터셋 혹은 기계학습 모델에 대해 설명하는 기법이다. 대표적으로 프로토타입-크리티시즘(Prototype-Criticism) 기법은 데이터셋을 대표하는 프로토타입과, 프로토타입만으로는 표현되지 않는 인스턴스인 크리티시즘을 추출한다. 이 기법은 전체 데이터셋에 대하여 설명할 수는 있지만 학습된 모델에 대한 해석은 불가능하다는 한계가 있다.

미국공개특허 제 2020-0294231 호 (2020.03.16 공개) 미국공개특허 제 2020-0184278 호 (2019.12.30 공개)

본 게시의 몇몇 실시예들을 통하여 달성하고자 하는 기술적 과제는, 기계 학습된 모델의 대상 데이터 인스턴스에 대한 출력에 영향을 미친 주요 피처(feature)에 대한 정보를 제공하는 방법을 제공하는 것이다.

본 게시의 몇몇 실시예들을 통하여 달성하고자 하는 다른 기술적 과제는, 기계 학습된 모델의 대상 데이터 인스턴스에 대한 출력에 영향을 미친 주요 피처(feature)에 대한 정보를 제공함에 있어서, 대상 데이터 인스턴스 주변의 국소적 해석과 전체 데이터 인스턴스들의 분포를 모두 고려하는 방법을 제공하는 것이다.

본 게시의 몇몇 실시예들을 통하여 달성하고자 하는 또 다른 기술적 과제는, 인공 지능 기술에 기반하여 대상 데이터 인스턴스에 대한 사고 결과를 출력하되, 상기 출력된 결과에 영향을 미친 주요 피처 및 영향을 거의 미치지 않은 피처 중 적어도 하나에 대한 정보를 추가로 출력하는 인공지능 제공 방법 및 그 방법이 적용된 장치를 제공하는 것이다.

본 게시의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 게시의 일 실시예에 따른 설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 제공 방법은, 기계 학습 된 모델에 입력되는 전체 데이터셋의 각 데이터 인스턴스들을 대표하는 프로토타입(prototype)들의 제1 세트를 구성하는 단계와, 상기 전체 데이터셋의 각 데이터 인스턴스들 중 상기 프로토타입들로 표현되지 않는 데이터 인스턴스들의 샘플인 크리티시즘(criticism)들의 제2 세트를 구성하는 단계와, 상기 제1 세트에 포함된 모든 프로토타입들 및 상기 제2 세트에 포함된 모든 크리티시즘들을 고려하여, 상기 모델의 제1 데이터 인스턴스에 대한 출력 데이터에 대한 제1 피처(feature) 기반 근거(rationale)를 연산하는 단계를 포함할 수 있다.

일 실시예에서, 상기 제1 세트를 구성하는 단계는, 상기 전체 데이터셋의 데이터 인스턴스 개수의 제1 비율에 해당하는 개수의 프로토타입들로 구성된 제1 세트를 구성하는 단계를 포함하고, 상기 제2 세트를 구성하는 단계는, 상기 제1 세트의 프로토타입 개수의 제2 비율에 해당하는 개수의 크리티시즘들이 제2 세트에 포함되거나, 상기 전체 데이터셋의 커널 매트릭스를 이용하여 산정된 제2 세트의 평가값이 임계치 이하가 될때까지 상기 제2 세트에 크리티시즘을 추가하는 것을 반복하는 단계를 포함할 수 있다.

일 실시예에서, 상기 제1 피처(feature) 기반 근거(rationale)를 연산하는 단계는, 상기 제1 세트의 모든 프로토타입들과 상기 제2 세트의 모든 크리티시즘들이 특징 공간(feature space) 상에서 형성하는 데이터 포인트들과, 상기 제1 데이터 인스턴스의 피처 중 상기 제1 피처의 값을 ε만큼 증가시킨 변형 데이터 인스턴스의 데이터 포인트 사이의 상대적 거리를 연산하는 단계와, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터와, 상기 모델의 상기 변형 데이터 인스턴스에 대한 출력 데이터의 차이를 연산하는 단계와, 상기 상대적 거리 및 상기 차이를 종합하여, 상기 변형 데이터 인스턴스에 대한 평가 값을 연산하는 단계와, 상기 ε를 변경해가면서 상기 상대적 거리를 연산하는 단계와, 상기 차이를 연산하는 단계와, 상기 평가 값을 연산하는 단계를 반복함으로써 복수의 평가 값을 연산하는 단계와, 상기 복수의 평가 값을 종합하여, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터의 상기 제1 피처의 영향력을 연산하는 단계를 포함할 수 있다.

몇몇 실시예들에서, 상기 제1 피처(feature) 기반 근거(rationale)를 연산하는 단계는, 상기 연산된 제1 피처의 영향력을 전체 피처의 영향력을 이용하여 스케일링하여 상기 제1 피처 기반 근거를 연산하는 단계를 더 포함할 수 있다.

몇몇 실시예들에서, 상기 ε를 변경해가면서 상기 상대적 거리를 연산하는 단계와, 상기 차이를 연산하는 단계와, 상기 평가 값을 연산하는 단계를 반복함으로써 복수의 평가 값을 연산하는 단계는, 상기 ε를, (MIN - (제1 데이터 인스턴스의 제1 피처의 값)) / ( MAX - MIN )와 (MAX - (제1 데이터 인스턴스의 제1 피처의 값)) / ( MAX - MIN ) 사이의 범위에서 변경해가면서 상기 상대적 거리를 연산하는 단계와, 상기 차이를 연산하는 단계와, 상기 평가 값을 연산하는 단계를 반복함으로써 복수의 평가 값을 연산하는 단계를 포함할 수 있다. 이 때, 상기 MAX는 상기 전체 데이터셋의 데이터 인스턴스들의 상기 제1 피처의 값들 중 최대 값이고, 상기 MIN은 상기 전체 데이터셋의 데이터 인스턴스들의 상기 제1 피처의 값들 중 최소 값이다.

몇몇 실시예들에서, 상기 변형 데이터 인스턴스에 대한 평가 값을 연산하는 단계는, 상기 ε가 클수록 상기 연산된 평가 값이 감소되도록 상기 연산된 평가 값을 조정함으로써 조정된 평가 값을 연산하는 단계를 포함하고, 상기 복수의 평가 값을 연산하는 단계는, 상기 ε를 변경해가면서 상기 상대적 거리를 연산하는 단계와, 상기 차이를 연산하는 단계와, 상기 조정된 평가 값을 연산하는 단계를 반복함으로써 복수의 조정된 평가 값을 연산하는 단계를 포함하며, 상기 복수의 평가 값을 종합하여, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터의 상기 제1 피처의 영향력을 연산하는 단계는, 상기 복수의 조정된 평가 값을 종합하여, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터의 상기 제1 피처의 영향력을 연산하는 단계를 포함할 수 있다.

몇몇 실시예들에서, 상기 제1 피처(feature) 기반 근거(rationale)를 연산하는 단계는, 상기 제1 세트의 모든 프로토타입들과 상기 제2 세트의 모든 크리티시즘들이 특징 공간(feature space) 상에서 형성하는 데이터 포인트들과, 상기 제1 데이터 인스턴스의 피처 중 상기 제1 피처의 값을 ε만큼 증가시킨 변형 데이터 인스턴스의 데이터 포인트 사이의 상대적 거리를 연산하는 단계와, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터와, 상기 모델의 상기 변형 데이터 인스턴스에 대한 출력 데이터의 차이를 연산하는 단계와, 상기 상대적 거리 및 상기 차이를 이용하여 연산된 상기 변형 데이터 인스턴스에 대한 평가 값의 상기 ε에 대한 적분값을, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터의 상기 제1 피처의 영향력으로서 연산하는 단계를 포함할 수 있다.

몇몇 실시예들에서, 상기 상대적 거리 및 상기 차이를 이용하여 연산된 상기 변형 데이터 인스턴스에 대한 평가 값의 상기 ε에 대한 적분값을, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터의 상기 제1 피처의 영향력으로서 연산하는 단계는, 상기 변형 데이터 인스턴스에 대한 평가 값의 상기 ε에 대한 적분값을, (MIN - (제1 데이터 인스턴스의 제1 피처의 값)) / ( MAX - MIN )와 (MAX - (제1 데이터 인스턴스의 제1 피처의 값)) / ( MAX - MIN ) 사이의 범위에서 연산하는 단계를 포함할 수 있다.

몇몇 실시예들에서, 상기 상대적 거리 및 상기 차이를 이용하여 연산된 상기 변형 데이터 인스턴스에 대한 평가 값의 상기 ε에 대한 적분값을, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터의 상기 제1 피처의 영향력으로서 연산하는 단계는, 상기 ε가 클수록 상기 변형 데이터 인스턴스에 대한 평가 값이 감소되도록 조정된, 조정된 평가 값의 상기 ε에 대한 적분값을 연산하는 단계를 포함할 수 있다.

몇몇 실시예들에서, 상기 설명 가능한 인공지능 제공 방법은, 상기 모델이 상기 제1 데이터 인스턴스에 대하여 출력한 데이터를 이용하여, 상기 제1 데이터 인스턴스에 대한 판단 결과 컨텐츠를 생성하는 단계와, 상기 출력 데이터에 대한 제1 피처(feature) 기반 근거(rationale)를 이용하여, 상기 판단 결과에 대한 근거 컨텐츠를 생성하는 단계와, 상기 판단 결과 컨텐츠 및 상기 근거 컨텐츠를 포함하는 출력 화면의 데이터를 생성하는 단계를 더 포함할 수 있다. 상기 제1 피처는, 상기 전체 데이터셋의 모든 피처 중 상기 제1 데이터 인스턴스에 대한 상기 근거의 값이 큰 순서로 선정된 상위 피처 중 하나일 수 있다.

본 게시의 다른 실시예에 따른 설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 제공 장치는, 하나 이상의 프로세서와, 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램과, 기계 학습된 모델의 데이터를 로드(load)하는 메모리와, 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함할 수 있다. 이 때, 상기 컴퓨터 프로그램은, 상기 모델에 입력되는 전체 데이터셋의 각 데이터 인스턴스들을 대표하는 프로토타입(prototype)들의 제1 세트를 구성하는 인스트럭션(instruction)과, 상기 전체 데이터셋의 각 데이터 인스턴스들 중 상기 프로토타입들로 표현되지 않는 데이터 인스턴스들의 샘플인 크리티시즘(criticism)들의 제2 세트를 구성하는 인스트럭션과, 상기 제1 세트에 포함된 모든 프로토타입들 및 상기 제2 세트에 포함된 모든 크리티시즘들을 고려하여, 상기 모델의 제1 데이터 인스턴스에 대한 출력 데이터에 대한 제1 피처(feature) 기반 근거(rationale)를 연산하는 인스트럭션을 포함할 수 있다.

도 1 및 도 2는 본 게시의 일 실시예에 따른 설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 제공 시스템의 구성도들이다.
도 3은 도 1 및 도 2의 일부 구성 요소를 보다 상세히 설명하기 위한 블록도이다.
도 4는 본 게시의 본 게시의 일 실시예에 따른 설명 가능한 인공지능 제공 시스템의 다른 구성도이다.
도 5 내지 도 6은 본 게시의 몇몇 실시예들에서 사용자 단말의 화면에 표시될 수 있는 출력 화면의 예시적인 도면들이다.
도 7은 본 게시의 다른 실시예에 따른 설명 가능한 인공지능 제공 방법의 순서도이다.
도 8은 본 게시의 몇몇 실시예들에 따른 예시적인 컴퓨팅 장치의 하드웨어 구성을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서의 실시예들을 상세히 설명한다. 본 명세서의 실시예들의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명의 기술적 사상을 완전하도록 하고, 본 명세서의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.

각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 명세서의 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 명세서의 실시예들을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

또한, 본 명세서의 실시예들의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

이하, 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.

먼저, 본 게시의 일 실시예에 따른 설명 가능한 인공지능 제공 시스템 구성 및 동작들을 도 1 내지 도 4를 참조하여 설명한다. 이하, 본 실시예에 따른 설명 가능한 인공지능 제공 시스템은 XAI 시스템으로 약칭하기로 한다. 본 실시예에 따른 XAI 시스템은 XAI 모듈(10)을 포함할 수 있다. XAI 모듈(10)은 컴퓨팅 장치의 하드웨어 구성요소 또는 소프트웨어 구성요소로서 구현될 수 있다. 또한, XAI 모듈(10)은 가상 머신(virtual machine) 또는 컨테이너의 형태로 컴퓨팅 장치 상에서 구현될 수도 있을 것이다.

먼저, 도 1을 참조하여 XAI 모듈(10)의 동작을 설명한다.

기계 학습된 모델 f(2)는, 예를 들어 전체 데이터셋(1)의 데이터 인스턴스들을 이용하여 기계 학습된 인공 신경망 기반의 모델일 수 있다. 물론, 모델 f(2)는 전체 데이터셋(1)과 별개의 학습 데이터셋(미도시)을 이용하여 기계 학습 된 것일 수 있다. 기계 학습된 모델 f(2)는 XAI 모듈(10)이 구현된 컴퓨팅 장치와 동일한 컴퓨팅 장치에 로드(load)될 수 있다.

XAI 모듈(10)은 전체 데이터셋(1)에 포함된 복수의 데이터 인스턴스 중 특정 데이터 인스턴스가 모델 f(2)에 입력되는 경우, 모델 f(2)로부터 출력된 데이터가 어떤 피처(feature)에 의하여 영향을 받았는지에 대한 근거 데이터를 생성할 수 있다. 상기 근거 데이터는 사용자 단말(미도시)로부터 수신된 근거 데이터의 요청에 응답하여 생성되거나, 모델 f(2)로부터 상기 특정 데이터 인스턴스에 대한 출력 데이터를 전달받는 것에 응답하여 생성될 수 있다.

이하, 이해의 편의를 위해, 상기 특정 데이터 인스턴스를 '대상 데이터 인스턴스'로 지칭하기로 한다. 또한, '데이터 인스턴스'는 모델 f(2)에 의한 사고 대상이 되는 단위 데이터를 가리키는 것이다. 상기 단위 데이터에 대한 전처리 또는 피처 추출(feature extraction)이 진행된 후, 상기 단위 데이터의 복수의 피처들의 세트인 피처 셋이 획득되는데, 상기 데이터 인스턴스는 상기 피처 셋을 가리키는 것으로 이해할 수 있을 것이다.

XAI 모듈(10)은 대상 데이터 인스턴스에 대한 모델 f(2)의 출력 데이터에 대한 피처(feature) 기반 근거(rationale)를 연산할 수 있다. 상기 피처 기반 근거는, 상기 대상 데이터 인스턴스에 대한 모델 f(2)의 출력 데이터가 결정됨에 있어서, 각 피처가 얼마나 영향을 미쳤는지를 가리키는 수치로 이해될 수 있을 것이다.

XAI 모듈(10)은 상기 피처 기반 근거를 연산함에 있어서, 특징 공간(feature space) 상의 대상 데이터 인스턴스의 데이터 포인트에 인접한 영역만을 분석하는 국소적 분석에 그치지 않고, 전체 데이터셋(1)의 데이터 인스턴스 분포를 추가적으로 반영할 수 있다.

이를 위해, XAI 모듈(10)은 기계 학습 된 모델에 입력되는 전체 데이터셋의 각 데이터 인스턴스들을 대표하는 프로토타입(prototype)들의 제1 세트를 구성하고, 상기 전체 데이터셋의 각 데이터 인스턴스들 중 상기 프로토타입들로 표현되지 않는 데이터 인스턴스들의 샘플인 크리티시즘(criticism)들의 제2 세트를 구성하며, 상기 제1 세트에 포함된 모든 프로토타입들 및 상기 제2 세트에 포함된 모든 크리티시즘들을 고려하여, 모델 f(2)의 상기 대상 데이터 인스턴스에 대한 출력 데이터에 대한 각 피처(feature) 기반 근거(rationale)를 연산할 수 있다.

상기 프로토타입들 및 상기 크리티시즘들은, 전체 데이터셋(1)에 포함된 데이터 인스턴스들 중 일부의 샘플로서 이해될 수 있을 것이며, 전체 데이터셋의 각 데이터 인스턴스들을 대표할 수 있는 샘플은 상기 프로토타입으로 지칭되며, 전체 데이터셋의 각 데이터 인스턴스들을 대표하지 않는, 마이너 데이터 인스턴스들을 표현하는 샘플은 상기 크리티시즘으로 지칭된다. 프로토타입-크리티시즘 관련하여, 웹 문서(https://christophm.github.io/interpretable-ml-book/proto.html )를 참조할 수 있을 것이다.

XAI 모듈(10)은 프로토타입들의 제1 세트 및 크리티시즘들의 제2 세트를 전체 데이터셋(1)의 데이터 인스턴스 분포를 충분히 표현할 수 있을 정도의 개수로 구성하고, 구성된 제1 세트 및 제2 세트에 포함된 모든 프로토타입들 및 모든 크리티시즘들을 고려하여, 각 피처 기반 근거를 연산하는 것이다.

XAI 모듈(10)은 각각의 피처 기반 근거를 연산할 수 있다. 예를 들어, 모델 f(2)에 입력되는 데이터 인스턴스가 N개의 피처로 구성되는 경우, XAI 모듈(10)은 N개의 피처 기반 근거를 연산하게 될 것이다.

이하, XAI 모듈(10)의 동작에 대하여 도 2를 참조하여 보다 자세히 설명한다.

도 2에 도시된 바와 같이, XAI 모듈(10)은 커널 매트릭스 구축부(110), 프로토타입 셋 구성부(120), 크리티시즘 셋 구성부(130), 프로토타입/크리티시즘 셋 저장부(140), 근거 연산부(150)를 포함할 수 있다. 각 구성 요소들(110, 120, 130, 140, 150)은 소프트웨어의 각 기능 단위로서 구현될 수 있으며, 도 8을 참조하여 설명될 프로세서 상에서 실행될 수 있다. 이하, 각 구성 요소들의 동작을 설명한다.

먼저, 커널 매트릭스 구축부(110), 프로토타입 셋 구성부(120), 크리티시즘 셋 구성부(130) 및 프로토타입/크리티시즘 셋 저장부(140)의 동작을 설명한다. 커널 매트릭스 구축부(110), 프로토타입 셋 구성부(120), 크리티시즘 셋 구성부(130) 및 프로토타입/크리티시즘 셋 저장부(140)는, 전체 데이터셋(1)의 데이터 인스턴스들의 특징 공간 상에서의 전역적(global) 분포를 표현하는 프로토타입 셋(제1 세트) 및 크리티시즘 셋(제2 세트)를 구성한다. 상기 프로토타입 셋(제1 세트) 및 크리티시즘 셋(제2 세트)이 피처 기반 근거 연산 시 반영될 것이다.

커널 매트릭스 구축부(110)는 전체 데이터셋(1)의 모든 데이터 인스턴스에 대하여 데이터 인스턴스 간 거리(pair-wise distance)를 측정하고, 측정된 거리에 커널 함수를 적용하여 커널 매트릭스를 구성한다. 상기 데이터 인스턴스 간 거리는, 예를 들어, 특징 공간 상에 형성되는 각 데이터 인스턴스의 포인트 사이의 유클리드 거리일 수도 있고, Gower 거리 일 수도 있을 것이다. 상기 데이터 인스턴스 간 거리를 연산하는 방식은, 전체 데이터셋(1)의 데이터 유형에 따라 결정될 수 있을 것이다.

커널 매트릭스 구축부(110)의 상기 커널 매트릭스 구성 동작은 아래의 수학식 1 내지 수학식 2를 참조하여 구현될 수 있을 것이다. 참고로, 수학식 1은 본 명세서 전반적으로 제시되는 기재에 대한 notation이다.

프로토타입 셋 구성부(120)는 커널 매트릭스를 통해 프로토타입의 비용 함수(cost function)의 값을 최대화하는 데이터 인스턴스를 프로토타입으로서 선정한다. 프로토타입 셋 구성부(120)는 상기 프로토타입의 선정을 전체 데이터셋의 데이터 인스턴스 개수의 제1 비율에 해당하는 개수의 프로토타입들이 선정될 때까지 반복할 수 있다. 프로토타입 셋 구성부(120)는 선정된 프로토타입들을 제1 세트에 추가할 수 있을 것이다.

프로토타입 셋 구성부(120)는 전체 데이터셋의 데이터 인스턴스 개수의 제1 비율에 해당하는 개수의 프로토타입들을 선정함으로써, 프로토타입의 개수를 전체 데이터 인스턴스의 개수 대비 적정한 수준으로 자동 결정할 수 있을 것이다.

또한, 크리티시즘 셋 구성부(130)는 전체 데이터셋(1)의 데이터 인스턴스들 중 상기 제1 세트에 포함된 프로토타입들을 제외한 나머지 데이터 인스턴스들 중에서, 크리티시즘의 비용 함수(cost function)의 값을 최대화하는 인스턴스를 추출할 수 있다. 크리티시즘 셋 구성부(130)는 제1 세트의 프로토타입 개수의 제2 비율에 해당하는 개수의 크리티시즘들이 제2 세트에 포함되거나, 상기 전체 데이터셋의 커널 매트릭스를 이용하여 산정된 제2 세트의 평가값이 임계치 이하가 될때까지 상기 제2 세트에 크리티시즘을 추가하는 것을 반복할 수 있다.

크리티시즘 셋 구성부(130)는 프로토타입의 개수의 제2 비율에 해당하는 크리티시즘을 선정함으로써, 프로토타입의 개수와 크리티시즘의 개수의 비율을 적정한 수준으로 자동 결정할 수 있을 것이다.

아래의 수학식 3은 프로토타입 셋 구성부(120)와 크리티시즘 셋 구성부(130)의 동작을 pseudo code의 형태로 기재한 것이다.

프로토타입/크리티시즘 셋 저장부(140)는 상기 제1 세트에 대한 데이터 및 상기 제2 세트에 대한 데이터를 저장할 수 있다. 상기 제1 세트에 대한 데이터는 각 프로토타입의 데이터 인스턴스 인덱스들을 포함하고, 상기 제2 세트에 대한 데이터는 각 크리티시즘의 데이터 인스턴스 인덱스들을 포함할 것이다.

근거 연산부(150)는 프로토타입/크리티시즘 셋 저장부(140)에 저장된 데이터를 조회하고, 상기 제1 세트에 포함된 모든 프로토타입들 및 상기 제2 세트에 포함된 모든 크리티시즘들을 고려하여, 상기 모델의 제1 데이터 인스턴스에 대한 출력 데이터에 대한 각 피처 기반 근거를 연산할 수 있다. 근거 연산부(150)는 상기 피처 기반 근거의 연산 과정에서, 모델 f(2)에 대상 데이터 인스턴스 또는 상기 대상 데이터 인스턴스의 특정 피처의 값을 변형 거리(ε)만큼 증가시킨 변형 데이터 인스턴스를 입력할 때의 출력 데이터를 조회하고, 그 응답으로서 출력 데이터를 획득할 수 있을 것이다.

도 3을 참조하여, 근거 연산부(150)의 동작을 자세히 설명한다. 근거 연산부(150)는 복수의 로직들을 포함한다. 각 구성 로직들(1500, 1502, 1504, 1505, 1506, 1508)은 소프트웨어의 각 기능 단위로서 구현될 수 있으며, 도 8을 참조하여 설명될 프로세서 상에서 실행될 수 있다.

근거 연산부(150)는 각 피처 기반 근거를 연산한다. 예를 들어, 데이터 인스턴스가 총 3개의 피처로 구성될 때, 근거 연산부(150)는 제1 피처 기반 근거를 연산하고, 제2 피처 기반 근거를 연산하며, 제3 피처 기반 근거를 연산할 것이다. 이하, 근거 연산부(150)가 피처 i(즉, i번째 피처)의 피처 기반 근거를 연산하는 과정을 설명한다.

변형 데이터 인스턴스 상대적 거리 결정 로직(1500)은, 상기 제1 세트의 모든 프로토타입들과 상기 제2 세트의 모든 크리티시즘들이 특징 공간(feature space) 상에서 형성하는 데이터 포인트들과, 상기 대상 데이터 인스턴스의 피처 중 피처 i의 값을 ε만큼 증가시킨 변형 데이터 인스턴스의 데이터 포인트 사이의 상대적 거리( D_R(x + εe_i) )를 연산한다. 아래의 수학식 4을 참조하면, 상기 상대적 거리( D_R(x + εe_i) )는, 프로토타입의 특징 공간 상 포인트 및 크리티시즘의 포인트와 상기 변형 데이터 인스턴스의 포인트의 커널 함수 값의 최대치이다. 커널 함수는 두개의 입력 파라미터가 서로 유사할수록 높은 함수 값을 출력하는 것이므로, 상기 상대적 거리( D_R(x + εe_i) )는 상기 변형 데이터 인스턴스가 전체 데이터셋의 분포와 얼마나 인접해 있는지를 표현하는 값으로 이해될 수 있을 것이다.

변형 데이터 인스턴스와 대상 데이터 인스턴스의 모델 출력 차이 결정 로직(1502)은, 대상 데이터 인스턴스의 피처 중 피처 i의 값을 ε만큼 증가시킨 변형 데이터 인스턴스와 대상 데이터 인스턴스의 모델 출력 차이 값인 Diff_i(f, x, ε)의 값을 연산한다(수학식 5 참조).

변형 데이터 인스턴스 평가 값 연산 로직(1504)은 상기 상대적 거리 및 상기 차이를 종합하여, 상기 변형 데이터 인스턴스에 대한 평가 값을 연산한다. 예를 들어, 변형 데이터 인스턴스 평가 값 연산 로직(1504)은 상기 상대적 거리 및 상기 차이를 곱하여 상기 평가 값을 연산할 수 있다(수학식 6 참조).

상기 변형 데이터 인스턴스에 대한 평가 값은, 상기 변형 데이터 인스턴스의 상기 상대적 거리가 가깝고, 변형 데이터 인스턴스와 대상 데이터 인스턴스의 모델 출력 차이가 클수록 높게 연산될 것이다.

변형 데이터 인스턴스 평가 값 조정 로직(1504)은 상기 변형 거리 ε가 클수록 상기 연산된 평가 값이 감소되도록 상기 연산된 평가 값을 조정할 수 있다. 예를 들어, 변형 데이터 인스턴스 평가 값 조정 로직(1504)은 수학식 6의 결과에 가중치인 ω(ε)을 곱함으로써 상기 연산된 평가 값을 조정할 수 있다(수학식 7 참조). ω(ε)은 ε의 절대값이 커질수록 0에 수렴하며, 그 값이 항상 0보다는 큰 값을 출력하는 가중치 함수로 이해될 수 있을 것이다. 수학식 6의 결과에 가중치인 ω(ε)을 곱함으로써, 대상 데이터 인스턴스에 인접한 변형 데이터 인스턴스일수록 그 평가 값이 더 중요하게 고려될 수 있을 것이다.

변형 거리(ε) 세팅 로직(1506)은 상기 ε를 변경해가면서 상기 상대적 거리를 연산하는 단계와, 상기 차이를 연산하는 단계와, 상기 평가 값을 연산하는 단계를 반복함으로써 복수의 평가 값을 연산할 수 있다. 예를 들어, 변형 거리(ε) 세팅 로직(1506)은 수학식 8의 C_i(x)가 연산되도록 변형 거리(ε)를 변경할 수 있다. 수학식 8의 C_i(x)는, i번째 피처가 대상 데이터 인스턴스의 모델 f 출력 결정에 미친 영향도를 가리키는 것으로 이해될 수 있을 것이다.

C_i(x)는 대상 데이터 인스턴스의 i번째 피처의 값을 변경한 변형 데이터 인스턴스가 전체 데이터셋의 프로토타입들 및 크리티시즘들과 유사하고, 대상 데이터 인스턴스의 모델 출력과, 상기 변형 데이터 인스턴스의 모델 출력의 차이가 클수록 높게 연산될 것이다. 즉, 대상 데이터 인스턴스의 i번째 피처의 값을 변경하더라도 실제 데이터 인스턴스로서 존재할 가능성이 높고, 대상 데이터 인스턴스의 i번째 피처의 값을 변경하게 되면 모델의 출력이 대폭 변경된다면, i번째 피처가 모델의 출력이 결정되는데 큰 영향을 미친 것으로 볼 수 있을 것이다.

피처 i의 근거 데이터 연산 로직(1508)은, i번째 피처가 대상 데이터 인스턴스의 모델 f 출력 결정에 미친 영향도를 전체 피처의 영향력을 이용하여 스케일링하여 피처 i 기반 근거를 연산한다.

아래의 수학식 10은 근거 연산부(150)의 전체 동작을 수학식으로서 표현한 것이다. 근거 연산부(150)는 아래의 수학식이 구현된 프로그램 코드를 이용하여 구현될 수 있을 것이다. 근거 연산부(150)가 최종적으로 출력하는 값인 R_i(x)는 데이터 인스턴스 x에 대한 모델 f의 출력 데이터가 생성된 근거로서, 피처 i가 출력 데이터에 미친 영향도를 가리킨다.

다음으로, 도 4를 참조하여, 본 실시예의 또 다른 예시적인 시스템 구성을 설명한다. 도 4에 도시된 바와 같이, 사용자 단말이 네트워크를 통하여 기계 학습된 모델 기반의 추론 장치(200)에 접속하고, 대상 데이터 인스턴스에 대한 모델의 출력 값을 요청할 수 있다. 추론 장치(200)는 상기 요청에 응답하여 기계 학습된 모델에 상기 대상 데이터 인스턴스의 피처들을 입력하고, 상기 모델로부터 출력된 데이터를 이용하여 판단 결과 컨텐츠를 생성할 것이다.

이에 더하여, 추론 장치(200)는 XAI 제공 장치(300)에 상기 모델의 상기 대상 데이터 인스턴스에 대한 출력 데이터에 대한 각각의 피처 기반 근거(rationale) 값을 요청할 수 있다. 추론 장치(200)가 상기 근거값을 요청하기 전에, 상기 사용자 단말로부터 요청된 대상 데이터 인스턴스를 전체 데이터셋(1)에 추가할 수 있을 것이다. XAI 제공 장치(300)는 도 1 내지 도 3을 참조하여 설명한 XAI 모듈을 구비한 컴퓨팅 장치일 수 있다.

도 4에는 추론 장치(200)와 XAI 제공 장치(300)가 물리적으로 분리된 별개의 장치인 것으로 도시되어 있으나, 필요에 따라 추론 장치(200)와 XAI 제공 장치(300)가 하나의 물리적 컴퓨팅 장치의 내부 모듈로서 구현될 수도 있음은 물론이다. 또한, 전체 데이터셋(1)은 XAI 제공 장치(300)와 물리적으로 분리된 별개의 저장 장치에 저장된 것일 수도 있고, XAI 제공 장치(300) 내부에 저장된 것일 수 도 있다.

추론 장치(200)는 XAI 제공 장치(300)로부터 상기 모델의 상기 대상 데이터 인스턴스에 대한 출력 데이터의 각각의 피처 기반 근거 값을 수신하여 상기 판단 결과 컨텐츠에 대한 근거 컨텐츠를 생성할 수 있다. 추론 장치(200)는 상기 사용자 단말에, 상기 대상 데이터 인스턴스에 대한 판단 결과 컨텐츠 및 상기 근거 컨텐츠를 포함하는 출력 화면의 데이터를 생성할 수 있다. 상기 출력 화면을 도 5 내지 도 6을 참조하여 예시적으로 설명한다.

도 5는 본 게시의 몇몇 실시예들에 따라 사용자 단말의 디스플레이에 표시될 수 있는 출력 화면(500)의 일 예이다. 기계 학습된 모델이 얼굴 사진을 입력 받아서, 성별을 추론한다고 가정한다. 사용자가 이미지 제출 버튼(510)을 선택하여 얼굴 사진(540)을 입력하면, 얼굴 사진(540)의 데이터가 추론 장치(200)에 송신될 것이다.

추론 장치(200)는 얼굴 사진에서 사전 구현된 방식에 따라 전처리를 수행한 후 피처 셋을 추출할 수 있을 것이다. 이미 설명한 바와 같이, 상기 피처 셋은 본 게시에서 데이터 인스턴스로 지칭되고 있다. 추론 장치(200)가 사전에 기계 학습된 성별 추론 모델에 얼굴 사진(540)의 데이터 인스턴스를 입력하면, 상기 성별 추론 모델은 남자 클래스 및 여자 클래스 각각의 컨피던스 스코어(confidence score)를 출력할 것이다.

또한, 추론 장치(200)는 상기 각 클래스의 컨피던스 스코어를 이용하여, 성별 판단의 결과 컨텐츠(520)를 생성할 것이다. 본 실시예에 따른 출력 화면(500)는 성별 판단의 결과뿐만 아니라, XAI를 통하여 근거 컨텐츠(530)까지도 생성할 수 있다.

상기 성별 추론 모델이 총 4개의 피처를 입력 받고, 사용자 단말에서 송신된 대상 데이터 인스턴스에 대한 상기 성별 추론 모델의 출력에 높은 근거를 제공한 상위 2개 피처가 피처#1(550), 피처#2(560)이라고 가정하면, 도 5에 도시된 것과 같은 근거 컨텐츠(530)가 표시될 수 있을 것이다.

물론, 몇몇 실시예들에서, 도 6에 도시된 것과 같이, 근거 컨텐츠(535)는 사용자 단말에서 송신된 대상 데이터 인스턴스에 대한 상기 성별 추론 모델의 출력에 거의 영향을 미치지 않은 하위 피처를 표시하도록 생성될 수도 있을 것이다. 다른 몇몇 실시예들에서, 근거 컨텐츠가 상기 성별 추론 모델의 출력에 높은 근거를 제공한 상위 피처와 상기 성별 추론 모델의 출력에 거의 영향을 미치지 않은 하위 피처를 모두 표시하도록 생성될 수도 있음은 물론이다.

지금까지 도 1 내지 도 6을 참조하여, 본 게시의 몇몇 실시예들에 따른 설명 가능한 인공지능 제공 시스템의 구성 및 동작을 설명하였다.

이하, 본 게시의 다른 실시예에 따른 설명 가능한 인공지능 제공 방법을 설명한다. 본 실시예에 따른 설명 가능한 인공지능 제공 방법은 도 1 내지 도 4를 참조하여 설명한 XAI 모듈 또는 XAI 제공 장치에 의하여 수행되는 것일 수 있다. 본 실시예에 따른 설명 가능한 인공지능 제공 방법은 복수의 컴퓨팅 장치들에 의하여 나뉘어 수행될 수도 있다. 이하, 본 실시예에 따른 설명 가능한 인공지능 제공 방법을 설명함에 있어서, 각각의 동작의 주체에 대한 기재가 생략될 수 있으며, 이 경우 상기 동작의 주체는 컴퓨팅 장치인 것으로 이해될 수 있을 것이다.

또한, 도 1 내지 도 6을 참조하여 설명된 실시예를 통하여 이해될 수 있는 기술적 사상은, 특별한 언급이 없더라도 본 실시예에 따른 설명 가능한 인공지능 제공 방법에 당연히 적용될 수 있다. 따라서, 도 1 내지 도 6을 참조하여 설명된 사항은 본 실시예를 통하여 중복 설명하지 않기로 한다. 이하, 도 7을 참조하여 본 실시예를 설명한다.

단계 S100에서, 전체 데이터셋을 이용하여 커널 매트릭스가 구축된다. 단계 S102에서, 상기 커널 매트릭스를 이용하여 상기 전체 데이터셋의 데이터 인스턴스 중에서 선정된 프로토타입들로 구성된 제1 세트와, 상기 전체 데이터셋의 데이터 인스턴스 중 상기 제1 세트에 포함된 프로토타입들을 제외한 나머지 데이터 인스턴스들 중에서 선정된 크리티시즘들로 구성된 구성된 제2 세트가 세팅된다. 상기 제1 세트 및 제2 세트는 상기 전체 데이터셋의 데이터 분포를 표현하는 샘플들인 것으로 이해될 수 있을 것이다.

다음으로, 기계 학습된 모델에 대상 데이터 인스턴스가 입력되면, 그에 따라 출력되는 추론 결과에 대한 각 피처 기반 근거(rationale)가 연산 되는 제1 과정을 설명한다.

단계 S104에서, 제1 데이터 인스턴스의 피처 중 상기 현재 평가 대상 피처의 값을 ε만큼 증가시킨 변형 데이터 인스턴스가 생성되고, 단계 S106에서 상기 변형 데이터 인스턴스에 대한 평가 값이 연산된다. 상기 평가 값은, 상기 제1 세트의 데이터 포인트 및 상기 제2 세트의 데이터 포인트와, 상기 변형 데이터 인스턴스의 데이터 포인트 사이의 상대적 거리와, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터와, 상기 모델의 상기 변형 데이터 인스턴스에 대한 출력 데이터의 차이를 곱한 값일 수 있다.

단계 S108, 단계 S110에서 변형 거리(ε)를 바꾸어 상기 변형 데이터 인스턴스가 갱신됨으로써, 갱신된 변형 데이터 인스턴스에 대하여도 평가 값이 연산되는 것이 반복된다(S104, S106).

다음으로, 기계 학습된 모델에 대상 데이터 인스턴스가 입력되면, 그에 따라 출력되는 추론 결과에 대한 각 피처 기반 근거(rationale)가 연산 되는 제2 과정을 설명한다. 본 과정에서, 상기 제1 세트의 모든 프로토타입들과 상기 제2 세트의 모든 크리티시즘들이 특징 공간(feature space) 상에서 형성하는 데이터 포인트들과, 상기 제1 데이터 인스턴스의 피처 중 상기 제1 피처의 값을 ε만큼 증가시킨 변형 데이터 인스턴스의 데이터 포인트 사이의 상대적 거리가 연산되고, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터와, 상기 모델의 상기 변형 데이터 인스턴스에 대한 출력 데이터의 차이가 연산되며, 상기 상대적 거리 및 상기 차이를 이용하여 연산된 상기 변형 데이터 인스턴스에 대한 평가 값의 상기 ε에 대한 적분값이, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터의 상기 제1 피처의 영향력으로서 연산될 수 있다.

이 때, 상기 변형 데이터 인스턴스에 대한 평가 값의 상기 ε에 대한 적분값이, (MIN - (제1 데이터 인스턴스의 제1 피처의 값)) / ( MAX - MIN )와 (MAX - (제1 데이터 인스턴스의 제1 피처의 값)) / ( MAX - MIN ) 사이의 범위에서 연산 됨으로써, ε가 실제 데이터 인스턴스의 존재 범위를 넘어서 설정되는 것을 방지할 수 있을 것이다.

또한, 상기 ε가 클수록 상기 변형 데이터 인스턴스에 대한 평가 값이 감소되도록 조정된, 조정된 평가 값의 상기 ε에 대한 적분값이 연산될 수도 있다.

다음으로, 단계 S112에서, 서로 다른 변형 데이터 인스턴스들에 대한 평가 값들이 종합되어 현재 평가 대상 피처의 영향력이 연산된다. 다음 피처가 아직 남아 있는 경우(S114, S115), 다음 피처의 영향력을 연산하기 위하여, 단계 S104, S106, S108, S110, S112가 반복 수행될 것이다.

단계 S116에서, 각 피처의 영향력이 스케일링되고, 단계 S118에서, 각 피처의 스케일링 된 영향력을 이용하여 대상 데이터 인스턴스에 대한 모델 추론의 근거 컨텐츠가 생성될 수 있다. 다음으로, 단계 S120에서, 상기 근거 컨텐츠를 포함한 출력 화면의 데이터가 생성되고, 상기 출력 화면의 데이터가 사용자 단말에 송신될 수 있을 것이다.

지금까지 도 1 내지 도 7을 참조하여 설명된 본 게시의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.

이하, 본 발명의 몇몇 실시예들에 따른 예시적인 컴퓨팅 장치의 하드웨어 구성을 도 8을 참조하여 설명하기로 한다.

도 8은 본 발명의 다양한 실시예에서 컴퓨팅 장치를 구현할 수 있는 예시적인 하드웨어 구성도이다. 본 실시예에 따른 컴퓨팅 장치(1000)는 하나 이상의 프로세서(1100), 시스템 버스(1600), 통신 인터페이스(1200), 프로세서(1100)에 의하여 수행되는 컴퓨터 프로그램(1500)을 로드(load)하는 메모리(1400)와, 컴퓨터 프로그램(1500)를 저장하는 스토리지(1300)를 포함할 수 있다. 도 8에는 본 발명의 실시예와 관련 있는 구성요소들 만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 8에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

컴퓨팅 장치(1000)는, 예를 들어 도 4를 참조하여 설명한 XAI 제공 장치(300)의 하드웨어 구현 결과일 수 있다.

프로세서(1100)는 컴퓨팅 장치(2000)의 각 구성의 전반적인 동작을 제어한다. 프로세서(1100)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(1100)는 본 발명의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(2000)는 둘 이상의 프로세서를 구비할 수 있다.

메모리(1400)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(1400)는 본 발명의 다양한 실시예들에 따른 방법/동작들을 실행하기 위하여 스토리지(1300)로부터 하나 이상의 프로그램(190)을 로드(load) 할 수 있다. 메모리(1400)의 예시는 RAM이 될 수 있으나, 이에 한정되는 것은 아니다. 시스템 버스(1600)는 컴퓨팅 장치(1000)의 구성 요소 간 통신 기능을 제공한다.

시스템 버스(1600)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다. 통신 인터페이스(1200)는 컴퓨팅 장치(2000)의 유무선 인터넷 통신을 지원한다. 통신 인터페이스(1200)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(1200)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 스토리지(1300)는 하나 이상의 컴퓨터 프로그램(1500)을 비임시적으로 저장할 수 있다. 스토리지(1300)는 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

컴퓨터 프로그램(1500)은 본 발명의 다양한 실시예들에 따른 방법/동작들이 구현된 하나 이상의 인스트럭션들을 포함할 수 있다. 컴퓨터 프로그램(1500)이 메모리(1400)에 로드 되면, 프로세서(1100)는 상기 하나 이상의 인스트럭션들을 실행시킴으로써 본 발명의 다양한 실시예들에 따른 방법/동작들을 수행할 수 있다.

예시적인 컴퓨터 프로그램(1500)은 상기 모델에 입력되는 전체 데이터셋의 각 데이터 인스턴스들을 대표하는 프로토타입(prototype)들의 제1 세트를 구성하는 인스트럭션(instruction)과, 상기 전체 데이터셋의 각 데이터 인스턴스들 중 상기 프로토타입들로 표현되지 않는 데이터 인스턴스들의 샘플인 크리티시즘(criticism)들의 제2 세트를 구성하는 인스트럭션과, 상기 제1 세트에 포함된 모든 프로토타입들 및 상기 제2 세트에 포함된 모든 크리티시즘들을 고려하여, 상기 모델의 제1 데이터 인스턴스에 대한 출력 데이터에 대한 제1 피처(feature) 기반 근거(rationale)를 연산하는 인스트럭션을 포함할 수 있다.

이상 첨부된 도면을 참조하여 본 명세서의 실시예들을 설명하였지만, 본 명세서의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서의 실시예들이 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

1. 컴퓨팅 장치에서 수행되는 방법에 있어서,
   기계 학습 된 모델에 입력되는 전체 데이터셋의 각 데이터 인스턴스들을 대표하는 프로토타입(prototype)들의 제1 세트를 구성하는 단계;
   상기 전체 데이터셋의 각 데이터 인스턴스들 중 상기 프로토타입들로 표현되지 않는 데이터 인스턴스들의 샘플인 크리티시즘(criticism)들의 제2 세트를 구성하는 단계; 및
   상기 제1 세트에 포함된 모든 프로토타입들 및 상기 제2 세트에 포함된 모든 크리티시즘들을 고려하여, 상기 모델의 제1 데이터 인스턴스에 대한 출력 데이터의 제1 피처(feature) 기반 근거(rationale)를 연산하는 단계를 포함하는,
   설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 제공 방법.
2. 제1 항에 있어서,
   상기 제1 세트를 구성하는 단계는,
   상기 전체 데이터셋의 데이터 인스턴스 개수의 제1 비율에 해당하는 개수의 프로토타입들로 구성된 제1 세트를 구성하는 단계를 포함하고,
   상기 제2 세트를 구성하는 단계는,
   상기 제1 세트의 프로토타입 개수의 제2 비율에 해당하는 개수의 크리티시즘들이 제2 세트에 포함되거나, 상기 전체 데이터셋의 커널 매트릭스를 이용하여 산정된 제2 세트의 평가값이 임계치 이하가 될때까지 상기 제2 세트에 크리티시즘을 추가하는 것을 반복하는 단계를 포함하는,
   설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 제공 방법.
3. 제1 항에 있어서,
   상기 제1 피처(feature) 기반 근거(rationale)를 연산하는 단계는,
   상기 제1 세트의 모든 프로토타입들과 상기 제2 세트의 모든 크리티시즘들이 특징 공간(feature space) 상에서 형성하는 데이터 포인트들과, 상기 제1 데이터 인스턴스의 피처 중 상기 제1 피처의 값을 ε만큼 증가시킨 변형 데이터 인스턴스의 데이터 포인트 사이의 상대적 거리를 연산하는 단계;
   상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터와, 상기 모델의 상기 변형 데이터 인스턴스에 대한 출력 데이터의 차이를 연산하는 단계;
   상기 상대적 거리 및 상기 차이를 종합하여, 상기 변형 데이터 인스턴스에 대한 평가 값을 연산하는 단계;
   상기 ε를 변경해가면서 상기 상대적 거리를 연산하는 단계와, 상기 차이를 연산하는 단계와, 상기 평가 값을 연산하는 단계를 반복함으로써 복수의 평가 값을 연산하는 단계;
   상기 복수의 평가 값을 종합하여, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터의 상기 제1 피처의 영향력을 연산하는 단계를 포함하는,
   설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 제공 방법.
4. 제3 항에 있어서,
   상기 제1 피처(feature) 기반 근거(rationale)를 연산하는 단계는,
   상기 연산된 제1 피처의 영향력을 전체 피처의 영향력을 이용하여 스케일링하여 상기 제1 피처 기반 근거를 연산하는 단계를 더 포함하는,
   설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 제공 방법.
5. 제3 항에 있어서,
   상기 ε를 변경해가면서 상기 상대적 거리를 연산하는 단계와, 상기 차이를 연산하는 단계와, 상기 평가 값을 연산하는 단계를 반복함으로써 복수의 평가 값을 연산하는 단계는,
   상기 ε를, (MIN - (제1 데이터 인스턴스의 제1 피처의 값)) / ( MAX - MIN )와 (MAX - (제1 데이터 인스턴스의 제1 피처의 값)) / ( MAX - MIN ) 사이의 범위에서 변경해가면서 상기 상대적 거리를 연산하는 단계와, 상기 차이를 연산하는 단계와, 상기 평가 값을 연산하는 단계를 반복함으로써 복수의 평가 값을 연산하는 단계를 포함하되,
   상기 MAX는 상기 전체 데이터셋의 데이터 인스턴스들의 상기 제1 피처의 값들 중 최대 값이고, 상기 MIN은 상기 전체 데이터셋의 데이터 인스턴스들의 상기 제1 피처의 값들 중 최소 값인,
   설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 제공 방법.
6. 제3 항에 있어서,
   상기 변형 데이터 인스턴스에 대한 평가 값을 연산하는 단계는,
   상기 ε가 클수록 상기 연산된 평가 값이 감소되도록 상기 연산된 평가 값을 조정함으로써 조정된 평가 값을 연산하는 단계를 포함하고,
   상기 복수의 평가 값을 연산하는 단계는,
   상기 ε를 변경해가면서 상기 상대적 거리를 연산하는 단계와, 상기 차이를 연산하는 단계와, 상기 조정된 평가 값을 연산하는 단계를 반복함으로써 복수의 조정된 평가 값을 연산하는 단계를 포함하며,
   상기 복수의 평가 값을 종합하여, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터의 상기 제1 피처의 영향력을 연산하는 단계는,
   상기 복수의 조정된 평가 값을 종합하여, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터의 상기 제1 피처의 영향력을 연산하는 단계를 포함하는,
   설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 제공 방법.
7. 제1 항에 있어서,
   상기 제1 피처(feature) 기반 근거(rationale)를 연산하는 단계는,
   상기 제1 세트의 모든 프로토타입들과 상기 제2 세트의 모든 크리티시즘들이 특징 공간(feature space) 상에서 형성하는 데이터 포인트들과, 상기 제1 데이터 인스턴스의 피처 중 상기 제1 피처의 값을 ε만큼 증가시킨 변형 데이터 인스턴스의 데이터 포인트 사이의 상대적 거리를 연산하는 단계;
   상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터와, 상기 모델의 상기 변형 데이터 인스턴스에 대한 출력 데이터의 차이를 연산하는 단계; 및
   상기 상대적 거리 및 상기 차이를 이용하여 연산된 상기 변형 데이터 인스턴스에 대한 평가 값의 상기 ε에 대한 적분값을, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터의 상기 제1 피처의 영향력으로서 연산하는 단계를 포함하는,
   설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 제공 방법.
8. 제7 항에 있어서,
   상기 상대적 거리 및 상기 차이를 이용하여 연산된 상기 변형 데이터 인스턴스에 대한 평가 값의 상기 ε에 대한 적분값을, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터의 상기 제1 피처의 영향력으로서 연산하는 단계는,
   상기 변형 데이터 인스턴스에 대한 평가 값의 상기 ε에 대한 적분값을, (MIN - (제1 데이터 인스턴스의 제1 피처의 값)) / ( MAX - MIN )와 (MAX - (제1 데이터 인스턴스의 제1 피처의 값)) / ( MAX - MIN ) 사이의 범위에서 연산하는 단계를 포함하는,
   설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 제공 방법.
9. 제7 항에 있어서,
   상기 상대적 거리 및 상기 차이를 이용하여 연산된 상기 변형 데이터 인스턴스에 대한 평가 값의 상기 ε에 대한 적분값을, 상기 모델의 상기 제1 데이터 인스턴스에 대한 출력 데이터의 상기 제1 피처의 영향력으로서 연산하는 단계는,
   상기 ε가 클수록 상기 변형 데이터 인스턴스에 대한 평가 값이 감소되도록 조정된, 조정된 평가 값의 상기 ε에 대한 적분값을 연산하는 단계를 포함하는,
   설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 제공 방법.
10. 제1 항에 있어서,
    상기 모델이 상기 제1 데이터 인스턴스에 대하여 출력한 데이터를 이용하여, 상기 제1 데이터 인스턴스에 대한 판단 결과 컨텐츠를 생성하는 단계;
    상기 출력 데이터에 대한 제1 피처(feature) 기반 근거(rationale)를 이용하여, 상기 판단 결과에 대한 근거 컨텐츠를 생성하는 단계; 및
    상기 판단 결과 컨텐츠 및 상기 근거 컨텐츠를 포함하는 출력 화면의 데이터를 생성하는 단계를 더 포함하는,
    설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 제공 방법.
11. 제10 항에 있어서,
    상기 제1 피처는, 상기 전체 데이터셋의 모든 피처 중 상기 제1 데이터 인스턴스에 대한 상기 근거의 값이 큰 순서로 선정된 상위 피처 중 하나인,
    설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 제공 방법.
12. 하나 이상의 프로세서;
    상기 프로세서에 의하여 수행되는 컴퓨터 프로그램과, 기계 학습된 모델의 데이터를 로드(load)하는 메모리; 및
    상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
    상기 컴퓨터 프로그램은,
    상기 모델에 입력되는 전체 데이터셋의 각 데이터 인스턴스들을 대표하는 프로토타입(prototype)들의 제1 세트를 구성하는 인스트럭션(instruction);
    상기 전체 데이터셋의 각 데이터 인스턴스들 중 상기 프로토타입들로 표현되지 않는 데이터 인스턴스들의 샘플인 크리티시즘(criticism)들의 제2 세트를 구성하는 인스트럭션; 및
    상기 제1 세트에 포함된 모든 프로토타입들 및 상기 제2 세트에 포함된 모든 크리티시즘들을 고려하여, 상기 모델의 제1 데이터 인스턴스에 대한 출력 데이터에 대한 제1 피처(feature) 기반 근거(rationale)를 연산하는 인스트럭션을 포함하는,
    설명 가능한 인공지능(eXplainable Artificial Intelligence; XAI) 제공 장치.
    

Images