KR102512552B1 - 인공지능 처리 결과 분석 장치 및 그 방법 - Google Patents

인공지능 처리 결과 분석 장치 및 그 방법 Download PDF

Info

Publication number
KR102512552B1
KR102512552B1 KR1020210064386A KR20210064386A KR102512552B1 KR 102512552 B1 KR102512552 B1 KR 102512552B1 KR 1020210064386 A KR1020210064386 A KR 1020210064386A KR 20210064386 A KR20210064386 A KR 20210064386A KR 102512552 B1 KR102512552 B1 KR 102512552B1
Authority
KR
South Korea
Prior art keywords
data
causal
result
data input
artificial intelligence
Prior art date
Application number
KR1020210064386A
Other languages
English (en)
Other versions
KR20220156389A (ko
Inventor
김동우
최승윤
신기범
Original Assignee
한전케이디엔주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한전케이디엔주식회사 filed Critical 한전케이디엔주식회사
Priority to KR1020210064386A priority Critical patent/KR102512552B1/ko
Publication of KR20220156389A publication Critical patent/KR20220156389A/ko
Application granted granted Critical
Publication of KR102512552B1 publication Critical patent/KR102512552B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 상기 AI 예측 모델로 입력된 다수의 데이터들을 입력받아 불필요한 데이터를 제거하기 위한 전처리를 수행하는 데이터 입력부; 상기 데이터 입력부를 통해 입력된 다수의 데이터들 중 임의의 데이터 쌍을 추출하여, 상기 추출된 데이터들 간의 선후행성을 검사하되, 상기 데이터 입력부를 통해 입력된 모든 데이터들에 대하여 선후행성을 검사하는 선후행성 검사부; 상기 선후행성 검사부의 검사 결과에 의거하여 상기 데이터 입력부를 통해 입력된 모든 데이터들 간의 인과관계를 결정하고, 그 결과를 저장 관리하는 확률모형 변환부; 상기 확률모형 변환부에 저장된 정보에 의거하여 상기 데이터들 간의 인과관계를 인과루프 그래프로 변환하여 저장하는 인과루프 그래프 변환부; 및 상기 AI 예측 모델로부터 상기 AI 결과를 예측하기 위해 사용된 주요인자(Feature)를 전달받고, 상기 인과루프 그래프 변환부에 저장된 인과루프 그래프로부터 상기 AI 결과 도출 과정을 추정하기 위한 인과루프 구간을 추출하여 표시하는 인과성 결과 조회부를 포함함으로써, 사람의 주관적 판단에 의해 시계열 데이터의 분석 결과가 편향되는 것을 방지하고, 상기 분석 결과를 체계적으로 관리할 수 있는 장점이 있다.

Description

인공지능 처리 결과 분석 장치 및 그 방법{APPARATUS AND METHOD FOR ANALYZING ARTIFICIAL INTELLIGENCE PROCESSING RESULTS}
본 발명은 인공지능 처리 결과 분석 장치 및 그 방법에 관한 것으로서, 보다 상세하게는, 시계열 데이터의 인과 분석을 통해 인공지능 처리 결과를 분석하고 그 결과를 제공하는 인공지능 처리 결과 분석 장치 및 그 방법에 관한 것이다.
인공지능(Artificial Intelligence, AI)은 인간의 학습능력과 추론능력, 지각능력, 자연언어의 이해능력 등을 컴퓨터 프로그램으로 실현한 기술을 의미하며, 최근에는 이러한 인공지능 기술을 이용한 다양한 기술들이 개발되고 있다.
이러한 인공지능 기술을 이용한 종래 기술로서, 한국 공개특허 제 10-2020-0087348 호에는, 깊이 기반 가분 합성곱 신경망 인공지능을 이용한 나이/감정/성별 분류 시스템이 개시되어 있다. 상기 특허에는, 깊이 기반 가분 합성곱 신경망 인공지능을 이용한 나이/감정/성별 분류 시스템 생성 방법에 있어, 이미지를 인식하여 합성곱신경망(Conv2D)을 거치고 배치 정규화(Batch normalization)하는 단계; 정규화한 이미지를 다시 합성곱신경망(Conv2D)과 배치 정규화를 거치는 단계; 깊이 기반 가분 합성곱 알고리즘과 ReLu+ 배치 정규화 과정을 3번 거치고, MaxPooling 2D를 통과하는 단계; 앞선 두 단계에서 추출한 특징값들을 잔류 합성곱 알고리즘(residual convolutional algorithm)을 이용하여 훈련시키는 단계; 훈련한 특징값들을 합성곱신경망(Conv2D)과 Relu함수, 2차원 전역 평균 풀링(Global Average Pooling 2D), 그리고 소프트맥스 함수를 거치는 단계; 마지막으로, 앙상블 알고리즘(Ensemble algorithm)을 이용하여 모든 모델의 예측결과를 평균하여 예측하는 단계;를 포함하는 기술이 개시되어 있다.
상기 특허에 의하면, 사용자의 얼굴 표정을 이용하여 사용자의 감정을 인식하고, 사용자의 감정 상태에 따른 적절한 반응을 출력하는 시스템을 통해 보다 향상된 사용자 경험을 제공할 수 있는 특징이 있다.
하지만, 이러한 인공지능을 이용한 기술들은 과거의 방식에 비해 높은 정확도를 보이는 장점이 있는 반면, 인공지능(AI)이 어떤 과정으로 결과에 도출하였는지 알기 힘들기 때문에, 무조건적인 신뢰가 불가하고, 이로 인해 업무 적용에 한계가 있다. 따라서 인공지능(AI)을 이용한 각종 처리의 결과에 대하여, 어떠한 과정으로 결과가 도출되었는지를 추정하고, 그 결과를 시각적으로 표현해주는 기술(즉, eXplainable AI 기술, X-AI 기술)이 요구되고 있는 실정이다.
또한, 특정 시스템의 프로세스(예컨대, 발전설비의 동작 프로세스, 원자재 가격 변동 등)는 업무 경험 및 도메인 지식에 의해 관리되는 경우가 많은 반면, 인적으로 관리되는 경험과 지식은 주관적 판단에 의해 편향될 가능성이 있으며, 체계적으로 전달되기 어려운 문제가 있으므로, 데이터 기반의 인과분석을 통해, 데이터의 변화 흐름을 규명하는 방법으로 사람의 경험과 지식을 객관화할 필요가 있다.
한국 공개특허번호 제 10-2020-0087348 호
따라서 본 발명은 시계열 데이터의 인과 분석을 통해, 데이터의 변화 흐름을 규명하는 방법으로 사람의 경험과 지식을 객관화함으로써, 사람의 주관적 판단에 의해 시계열 데이터의 분석 결과가 편향되는 것을 방지하고, 상기 분석 결과를 체계적으로 관리할 수 있는 인공지능 처리 결과 분석 장치 및 그 방법을 제공하고자 한다.
또한, 본 발명은 객관화된 사람의 경험과 지식 정보에 의거하여 AI 결과의 도출 과정을 추정하고, 이를 시각적으로 표출하여, 상기 도출 과정을 사람이 이해할 수 있도록 함으로써, AI 결과에 대한 신뢰도를 높이고, 이로 인해, AI 기술의 업무 적용 한계를 줄일 수 있는 인공지능 처리 결과 분석 장치 및 그 방법을 제공하고자 한다.
상기 목적을 달성하기 위해, 본 발명에서 제공하는 인공지능 처리 결과 분석장치는 정상성이 확보된 다수의 시계열 데이터들로부터 임의의 AI 결과를 예측하는 AI 예측 모델의 AI 결과 도출 과정을 추정하기 위한 인공지능 처리 결과 분석 장치에 있어서, 상기 AI 예측 모델로 입력된 다수의 데이터들을 입력받아 불필요한 데이터를 제거하기 위한 전처리를 수행하는 데이터 입력부; 상기 데이터 입력부를 통해 입력된 다수의 데이터들 중 임의의 데이터 쌍을 추출하여, 상기 추출된 데이터들 간의 선후행성을 검사하되, 상기 데이터 입력부를 통해 입력된 모든 데이터들에 대하여 선후행성을 검사하는 선후행성 검사부; 상기 선후행성 검사부의 검사 결과에 의거하여 상기 데이터 입력부를 통해 입력된 모든 데이터들 간의 인과관계를 결정하고, 그 결과를 저장 관리하는 확률모형 변환부; 상기 확률모형 변환부에 저장된 정보에 의거하여 상기 데이터들 간의 인과관계를 인과루프 그래프로 변환하여 저장하는 인과루프 그래프 변환부; 및 상기 AI 예측 모델로부터 상기 AI 결과를 예측하기 위해 사용된 주요인자(Feature)를 전달받고, 상기 인과루프 그래프 변환부에 저장된 인과루프 그래프로부터 상기 AI 결과 도출 과정을 추정하기 위한 인과루프 구간을 추출하여 표시하는 인과성 결과 조회부를 포함하는 것을 특징으로 한다.
바람직하게, 상기 데이터 입력부는 통계적 정상성이 확보된 다수의 시계열성 데이터들을 입력받을 수 있다.
바람직하게, 상기 선후행성 검사부는 상기 추출된 데이터 쌍인, 제1 및 제2 데이터 간의 방향성 및 선후행 시차 정보를 이용하여, 상기 제1 및 제2 데이터 간의 선후행성을 검사하되, Granger 인과관계 검사방법, Sims 인과관계 검사방법, Structural 인과관계 검사방법, 및 Intervention 인과관계 검사방법 중 어느 하나를 이용하여 상기 제1 및 제2 데이터 간의 선후행성을 검사하고, 그 결과로, 상기 제1 및 제2 데이터 간의 선후행성 정도를 나타내는 가중치를 산출할 수 있다.
바람직하게, 상기 확률모형 변환부는 상기 제1 및 제2 데이터들 간의 인과관계 여부를 결정하기 위한 기준값을 미리 저장하고, 상기 선후행성 검사부에서 산출된 가중치와 상기 기준값의 비교 결과에 의거하여 상기 제1 및 제2 데이터들간의 인과관계를 결정할 수 있다.
바람직하게, 상기 인과성 결과 조회부는 상기 주요인자를 포함하고 마지막 노드가 상기 AI 결과를 나타내는 종속변수인 구간을 인과루프 구간으로 추출할 수 있다.
바람직하게, 상기 인과성 결과 조회부는 상기 추출된 인과루프 구간이 순환(Looping) 구간 또는, 복수의 루프 구간을 포함한 경우, 최소경로 추출 알고리즘을 적용하여 최소경로로 변환하여 표시할 수 있다.
한편, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 인공지능 처리 결과 분석 방법은, 정상성이 확보된 다수의 시계열 데이터들로부터 임의의 AI 결과를 예측하는 AI 예측 모델의 AI 결과 도출 과정을 추정하기 위한 인공지능 처리 결과 분석 방법에 있어서, 상기 AI 예측 모델로 입력된 다수의 데이터들을 입력받아 불필요한 데이터를 제거하기 위한 전처리를 수행하는 데이터 입력 단계; 상기 데이터 입력 단계를 통해 입력된 다수의 데이터들 중 임의의 데이터 쌍을 추출하여, 상기 추출된 데이터들 간의 선후행성을 검사하되, 상기 데이터 입력 단계를 통해 입력된 모든 데이터들에 대하여 선후행성을 검사하는 선후행성 검사 단계; 상기 선후행성 검사 단계의 검사 결과에 의거하여 상기 데이터 입력 단계를 통해 입력된 모든 데이터들 간의 인과관계를 결정하고, 그 결과를 저장 관리하는 확률모형 변환 단계; 상기 확률모형 변환 단계에서 저장된 정보에 의거하여 상기 데이터들 간의 인과관계를 인과루프 그래프로 변환하여 저장하는 인과루프 그래프 변환 단계; 및 상기 AI 예측 모델로부터 상기 AI 결과를 예측하기 위해 사용된 주요인자(Feature)를 전달받고, 상기 인과루프 그래프 변환 단계에서 저장된 인과루프 그래프로부터 상기 AI 결과 도출 과정을 추정하기 위한 인과루프 구간을 추출하여 표시하는 인과성 결과 조회 단계를 포함할 수 있다.
바람직하게, 상기 데이터 입력 단계는 통계적 정상성이 확보된 다수의 시계열성 데이터들을 입력받을 수 있다.
바람직하게, 상기 선후행성 검사 단계는 상기 추출된 데이터 쌍인, 제1 및 제2 데이터 간의 방향성 및 선후행 시차 정보를 이용하여, 상기 제1 및 제2 데이터 간의 선후행성을 검사하되, Granger 인과관계 검사방법, Sims 인과관계 검사방법, Structural 인과관계 검사방법, 및 Intervention 인과관계 검사방법 중 어느 하나를 이용하여 상기 제1 및 제2 데이터 간의 선후행성을 검사하고, 그 결과로, 상기 제1 및 제2 데이터 간의 선후행성 정도를 나타내는 가중치를 산출할 수 있다.
바람직하게, 상기 확률모형 변환 단계는 상기 제1 및 제2 데이터들 간의 인과관계 여부를 결정하기 위한 기준값을 미리 저장하고, 상기 선후행성 검사 단계에서 산출된 가중치와 상기 기준값의 비교 결과에 의거하여 상기 제1 및 제2 데이터들간의 인과관계를 결정할 수 있다.
바람직하게, 상기 인과성 결과 조회 단계는 상기 주요인자를 포함하고 마지막 노드가 상기 AI 결과를 나타내는 종속변수인 구간을 인과루프 구간으로 추출할 수 있다.
바람직하게, 상기 인과성 결과 조회 단계는 상기 추출된 인과루프 구간이 순환(Looping) 구간 또는, 복수의 루프 구간을 포함한 경우, 최소경로 추출 알고리즘을 적용하여 최소경로로 변환하여 표시할 수 있다.
따라서 본 발명의 인공지능 처리 결과 분석 장치 및 그 방법은 시계열 데이터의 인과 분석을 통해, 데이터의 변화 흐름을 규명하는 방법으로 사람의 경험과 지식을 객관화함으로써, 사람의 주관적 판단에 의해 시계열 데이터의 분석 결과가 편향되는 것을 방지하고, 상기 분석 결과를 체계적으로 관리할 수 있는 장점이 있다. 또한, 본 발명은 객관화된 사람의 경험과 지식 정보에 의거하여 AI 결과의 도출 과정을 추정하고, 이를 시각적으로 표출하여, 상기 도출 과정을 사람이 이해할 수 있도록 함으로써, AI 결과에 대한 신뢰도를 높이고, 이로 인해, AI 기술의 업무 적용 한계를 줄일 수 있는 장점이 있다.
도 1은 본 발명의 일 실시 예에 따른 인공지능(AI) 처리 결과 분석 장치에 대한 개략적인 블록도이다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 선후행성 검사 과정을 설명하기 위한 도면들이다.
도 4는 본 발명의 일 실시 예에 따른 확률모형 변환부에서 데이터들 간의 인과성을 판단하고 관리하는 예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 인과루프 그래프 변환부에서 선후행성 검사 결과를 인과루프 그래프로 변환하여 저장하는 예를 설명하기 위한 도면이다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 인과성 결과 조회부에서 AI 결과 도출 과정을 추정하기 위해 도출된 인과루프 그래프 변환결과의 예를 도시한 도면들이다.
도 8은 본 발명의 일 실시 예에 따른 인공지능 처리 결과 분석 방법에 대한 개략적인 처리 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 설명하되, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명한다.
그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 한편 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 상세한 설명을 생략하여도 본 기술 분야의 당업자가 쉽게 이해할 수 있는 부분의 설명은 생략하였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시 예에 따른 인공지능(AI) 처리 결과 분석 장치에 대한 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 인공지능(AI) 처리 결과 분석 장치(100)는, AI 예측 모델(20)의 AI 결과 도출 과정을 추정하기 위한 장치로서, 데이터 입력부(110)와, 선후행성 검사부(120)와, 확률모형 변환부(130)와, 인과루프 그래프 변환부(140)와, 인과성 결과 조회부(150)를 포함한다. 이 때, AI 예측 모델(20)은 통계적 정상성이 확보된 다수의 시계열성 데이터인 입력데이터(10)로부터 임의의 AI 결과를 예측하여 사용자에게 전달하고, 상기 AI 결과를 예측하기 위해 사용된 주요인자(Feature)를 인과성 결과 조회부(150)로 출력한다. 상기 주요인자(Feature)는 최종 예측 결과에 결정적으로 영향을 준 변수만 추출되며, 어떤 선행 변수의 영향을 받는지 설명되지 않는다. 한편, 인과성 결과 조회부(150)로 출력된 상기 주요인자(Feature)는 예측(또는 분류)하는 연쇄적 추론의 결과를 X-AI(eXplainable-AI)의 결과로 반환할 수 있다.
데이터 입력부(110)는 선후행 및 인과관계를 알고자 하는 다수의 데이터들을 입력으로 받아 불필요한 데이터를 제거하기 위한 전처리를 수행한다. 즉, 데이터 입력부(110)는, 통계적 정상성이 확보된 다수의 시계열성 데이터인, 입력데이터(10)에 대하여 전처리를 수행하여 불필요한 데이터를 제거한 후, 데이터의 정상성(Stationary) 연산을 수행한다.
예를 들어, AI 예측 모델(20)이 발전용 연료단가 예측 모델이고, 입력데이터(10)는 원자재 가격, WTI 가격, 국가별 운송비용, 국가별 수입량, 국가별 환율 등을 포함한 269개의 입력변수이고, AI 예측 모델(20)의 예측 결과(즉, AI 결과)인 종속변수는 연료단가(예컨대, $85(3.22), $84(3.23, …, $73(9.8) 등)이고, 주요인자(Feature)는 인도네시아 운송비용인 경우, 데이터 입력부(110)는 입력데이터(10)로서, 원자재 가격, WTI 가격, 국가별 운송비용, 국가별 수입량, 국가별 환율 등을 포함한 269개의 입력변수를 입력으로 받고, 인과성 결과 조회부(150)는 인도네시아 운송비용을 주요인자(Feature)로 입력받을 수 있다.
선후행성 검사부(120)는 데이터 입력부(110)를 통해 입력된 다수의 데이터들 중 임의의 데이터 쌍(즉, 2개의 데이터)을 추출한 후, 그 데이터에 대하여 선후행성 검사를 수행하되, 데이터 입력부(110)를 통해 입력된 모든 데이터들에 대하여 선후행성을 검사한다. 이 때, 선행성 테스트 대상은 독립변수 n개 중 2개씩을 선택하여 두 변수간 선행성 테스트를 수행하며, 테스트 대상수(
Figure 112021057630873-pat00001
)는 수학식 1과 같다.
Figure 112021057630873-pat00002
여기서, n은 독립변수의 개수이다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 선후행성 검사 과정을 설명하기 위한 도면들로서, 도 2는 데이터 입력부(110)로 입력되는 시계열 데이터의 원본 상태를 나타내고, 도 3은 도 2에 예시된 원본 상태의 데이터를 이용하여 선후행성 검사를 수행하는 예를 도시하고 있다.
도 2를 참조하면, 데이터 입력부(110)로 입력된 시계열 데이터들은 X1=A1, A2, A3, A4, A5, A6, …, Am, X2=B1, B2, B3, B4, B5, B6, …, Bm, X3=C1, C2, C3, C4, C5, C6, …, Cm, X4=D1, D2, D3, D4, D5, D6, …, Dm, …, Xn=N1, N2, N3, N4, N5, N6, …, Nm이고, 도 3을 참조하면, 이들 중 X1과, X2의 선후행성 검사시, 상기 독립변수들(X1과, X2)의 회차별 변수들의 쌍들(A1과 B2, A2와 B3, A3과 B4, A4와 B5, A5과 B6, A6과 B7, Am-1과 Bm) 각각의 선행성 테스트가 수행됨을 알 수 있다.
선후행성 검사부(120)는 상기 추출된 데이터 쌍인, 제1 및 제2 데이터 간의 방향성 및 선후행 시차 정보를 이용하여, 상기 제1 및 제2 데이터 간의 선후행성을 검사하되, Granger 인과관계 검사방법(Granger causality test), Sims 인과관계 검사방법(Sim causality test), Structural 인과관계 검사방법(Structural causality test), 및 Intervention 인과관계 검사방법(Intervention causality test) 중 어느 하나를 이용하여 상기 제1 및 제2 데이터 간의 선후행성을 검사할 수 있다.
도 3의 예에서는, 선후행성 검사부(120)가, 시차가 1인 경우에 대하여, X1에서 X2 방향으로 선후행성을 검사하되, Granger 인과관계 검사 방법을 이용하여 선후행성을 검사하는 예를 도시하고 있다. 즉, 도 3의 예에서, 선후행성 검사부(120)는 X1이 선행변수일 때, X2가 후행변수로 작용하는지를 검사하되, Granger 인과관계 검사 방법을 이용하여 1st 시점에서의 X1이 2nd 시점에서의 X2에 영향을 주는지 여부를 검사하는 예를 도시하고 있다. Granger 인과관계 검사 방법은 하기의 수학식 2 및 수학식 3을 이용하여 선후행성 여부를 결정할 수 있는데, 두 식의 결과가 유의미하게 다르면 선행변수 X가 후행변수 Y에 영향을 준다고 판단한다.
Figure 112021057630873-pat00003
Figure 112021057630873-pat00004
이 때,
Figure 112021057630873-pat00005
는 t 시점에서의 실제 후행변수 값이고,
Figure 112021057630873-pat00006
는 t-1 시점에서의 실제 후행변수 값이고,
Figure 112021057630873-pat00007
는 t 시점에서의 유도된 후행변수 값이고,
Figure 112021057630873-pat00008
는 t-1 시점에서의 실제 선행변수 값이고,
Figure 112021057630873-pat00009
는 각각 X와 Y에 대한 회귀계수이고,
Figure 112021057630873-pat00010
는 각각 실제 후행변수와 유도된 후행변수의 편차를 나타낸다.
상기 수학식 2 및 수학식 3에서 도출된
Figure 112021057630873-pat00011
이
Figure 112021057630873-pat00012
보다 작으면서 오차범위 내에 있는 경우, 선후행성 검사부(120)는 선행변수
Figure 112021057630873-pat00013
이 후행변수
Figure 112021057630873-pat00014
에 영향을 준다고 판단한다.
한편, 선후행성 검사부(120)는 상기 제1 및 제2 데이터 간의 선후행성 정도를 나타내는 가중치(weight)를 산출하여 확률모형 변환부(130)로 전달하고, 확률모형 변환부(130)는 그 가중치(weight)에 의거하여 상기 제1 및 제2 데이터 간의 선후행성 정도, 즉, 인과관계 여부를 결정할 수 있다.
이 때, 상기 가중치(weight)는 Granger casuality test의 p-value를 활용하여 산출할 수 있으며, 그 산출식은 수학식 4와 같다.
Figure 112021057630873-pat00015
이 때,
Figure 112021057630873-pat00016
는 p-value 값이고,
Figure 112021057630873-pat00017
는 상용로그 함수이고,
Figure 112021057630873-pat00018
는 숫자 a를 b의 자리에서 반올림한 값을 나타낸다.
Granger causality test의 귀무가설은 인과성이 없다는 가정이며, 일반적으로 p-value < 0.05(5%) 일때 인과성이 있는 것으로 판단한다. 즉, 두 데이터의 관계성을 검사했을 때 95%의 확률은 인과성이 없는 것이다. 따라서, 일반적인 확률의 관계성과 다르게 인과관계가 강할수록 p-value는 작게 나올 것으로 정리할 수 있다. 본 발명에서는 인과관계 가중치의 크기를 p-value의 log값과 비례하는 것으로 간주하여 관리한다. 단, 가중치로 활용할 p-value의 처리방식은 데이터 분포에 따라 달리할 수 있다.
확률모형 변환부(130)는 선후행성 검사부(120)의 검사 결과에 의거하여 데이터 입력부(110)를 통해 입력된 모든 데이터들 간의 인과관계를 결정하고, 그 결과를 저장 관리한다. 이를 위해, 확률모형 변환부(130)는 상기 제1 및 제2 데이터들 간의 인과관계 여부를 결정하기 위한 기준값을 미리 저장하고, 선후행성 검사부(120)에서 산출된 가중치와 상기 기준값의 비교 결과에 의거하여 상기 제1 및 제2 데이터들간의 인과관계를 결정할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 확률모형 변환부에서 데이터들 간의 인과성을 판단하고 관리하는 예를 설명하기 위한 도면으로서, 도 4의 (a) 내지 (d)는 제1 데이터(X1)를 선행변수로 하여, 제2 내지 제5 데이터들(X2 내지 X5) 각각과의 선후행성 여부를 판단한 결과의 예를 도시하고, 도 4의 (e) 내지 (h)는 제2 데이터(X2)를 선행변수로 하여, 제1 데이터(X1), 및 제3 내지 제5 데이터들(X3 내지 X5) 각각과의 선후행성 여부를 판단한 결과의 예를 도시하고, 도 4의 (i) 내지 (l)은 제3 데이터(X3)를 선행변수로 하여, 제1 및 제2 데이터(X1 및 X2)와, 제4 및 제5 데이터(X4 및 X5) 각각과의 선후행성 여부를 판단한 결과의 예를 도시하고, 도 4의 (m) 내지 (p)는 제4 데이터(X4)를 선행변수로 하여, 제1 내지 제3 데이터(X1 내지 X3)와, 제5 데이터(X5) 각각과의 선후행성 여부를 판단한 결과의 예를 도시하고, 도 4의 (q) 내지 (t)는 제5 데이터(X5)를 선행변수로 하여, 제1 내지 제4 데이터(X1 내지 X4) 각각과의 선후행성 여부를 판단한 결과의 예를 도시하고 있다.
도 4를 참조하면, 제1 데이터(X1)를 선행변수로 하여 선후행성 여부를 판단한 경우 제1 데이터(X1)와 제2 데이터(X2) 간에 선후행 관계가 성립하고(도 4의 (a) 참조), 제2 데이터(X2)를 선행변수로 하여 선후행성 여부를 판단한 경우 제2 데이터(X2)와 제4 데이터(X4) 간에 선후행 관계가 성립하고(도 4의 (g) 참조), 제3 데이터(X3)를 선행변수로 하여 선후행성 여부를 판단한 경우 제3 데이터(X3)와 제2 데이터(X2) 간에 선후행 관계가 성립하고(도 4의 (j) 참조), 제4 데이터(X4)를 선행변수로 하여 선후행성 여부를 판단한 경우 제4 데이터(X4)와 제5 데이터(X5) 간에 선후행 관계가 성립하고(도 4의 (p) 참조), 제5 데이터(X5)를 선행변수로 하여 선후행성 여부를 판단한 경우 제5 데이터(X5)와 제1 데이터(X1) 간에 선후행 관계가 성립함(도 4의 (q) 참조)을 알 수 있다.
이와 같이 선후행성이 확인되어 인과관계로 정의된 데이터들은 별도의 테이블을 생성하여 저장/관리할 수 있다.
인과루프 그래프 변환부(140)는 확률모형 변환부(130)에 저장된 정보에 의거하여 상기 데이터들 간의 인과관계를 인과루프 그래프로 변환하여 저장한다. 즉, 인과루프 그래프 변환부(140)는 도 4에 예시된 바와 같은 선후행성 검사 결과를 그래프 구조로 변환하여 저장한다. 도 5는 본 발명의 일 실시 예에 따른 인과루프 그래프 변환부에서 선후행성 검사 결과를 인과루프 그래프로 변환하여 저장하는 예를 설명하기 위한 도면으로서, 도 5의 (a)는 도 4에 예시된 바와 같은 선후행성 검사 결과 표로부터 데이터들 각각의 선후행성 검사 결과를 도출한 예를 도시하고, 도 5의 (b)는 도 5의 (a)와 같은 선후행성 검사 결과로부터 도출된 인과루프 그래프의 예를 도시한다.
이 때, 그래프 자료구조로 변환된 결과는 순환(Loop) 구간을 포함할 수 있으며, 인과루프 그래프 변환부(140)는 순환 구조가 포함된 결과를 도 5의 (b)에 예시된 바와 같이 인과루프 그래프(Causal Loop Graph)로 표현할 수 있다.
인과성 결과 조회부(150)는 인과루프 그래프 변환부(140)에 저장된 인과루프 그래프로부터 AI 결과 도출 과정을 추정하기 위한 인과루프 구간을 추출하여 표시한다. 이를 위해, 인과성 결과 조회부(150)는 AI 예측 모델(20)로부터 상기 AI 결과를 예측하기 위해 사용된 주요인자(Feature)를 전달받아 상기 AI 결과 도출 과정을 추정하되, 상기 주요인자(Feature)를 포함하고 마지막 노드가 상기 AI 결과를 나타내는 종속변수인 구간을 인과루프 구간으로 추출할 수 있다. 이 때, AI 예측 모델(20)이 주요인자 중요도(Feature Importance) 추출이 가능한 알고리즘(예컨대, Random Forest 등)을 사용했을 경우, 인과성 결과 조회부(150)는, 최상위 주요인자(Feature)를 사용하고, AI 예측 모델(20)이 딥러닝 등으로 개발되었을 경우, 인과성 결과 조회부(150)는, 주요인자 중요도(Feature Importance) 추출이 불가능하므로 SHAP, LIME 등의 기법을 통해 가장 큰 영향을 준 주요인자(Feature)를 사용할 수 있다. 한편, 특정 주요인자(Feature)가 입력될 경우, 인과성 결과 조회부(150)는, 입력된 주요인자(Feature)가 포함된 구간의 인과구조를 반환할 수 있다.
또한, 인과성 결과 조회부(150)는 데이터 무결성을 확보하기 위해, 최종 반환되는 그래프의 구조를 DAG(Directed Acyclic Graph) 형태로 사용할 수 있으며, 상기 추출된 인과루프 구간이 순환(Looping) 구간 또는, 복수의 루프 구간을 포함한 경우, 최소경로 추출 알고리즘을 적용하여 최소경로로 변환하여 표시할 수 있다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 인과성 결과 조회부에서 AI 결과 도출 과정을 추정하기 위해 도출된 인과루프 그래프 변환결과의 예를 도시한 도면들로서, 도 6은 인과루프 그래프로부터 DAG 형태의 인과루프 구간을 도출하여 표시하는 예를 나타내고, 도 7은 순환 구간 또는 복수의 루프 구간을 포함하는 인과루프 구간으로부터 최소경로를 도출하여 표시하는 예를 나타낸다.
도 6의 (a)는 도 5의 (b)에 예시된 인과루프 그래프의 예를 나타내고, 도 6의 (b)는 도 6의 (a)에 예시된 인과루프 그래프로부터 도출된 DAG 형태의 인과루프 구간을 예시한다. 즉, 도 6의 (b)는 입력변수(즉, 주요인자(Feature))가 X1인 경우, 상기 X1이 포함된 구간을 추출하되, 상기 추출하는 구간의 마지막 노드가 도 1에 예시된 AI 예측 모델(20)이 예측하는 종속변수(Y)인 경우의 예를 도시하고 있다.
예를 들어, AI 예측 모델(20)에서, '원자재 가격, WTI 가격, 운송비용, 수입량, 환율'을 포함하는 5개의 독립변수를 이용하여, 국제유연탄가격을 종속변수로 도출한 경우, 도 1에 예시된 본 발명의 AI 처리 결과 분석장치(100)를 통해 다음의 보기와 같은 인과관계가 생성될 수 있다.
<보기>
수입량 → 원자재 가격 → WTI 가격 → 운송비용 → 환율
이 때, 화살표(→) 좌측의 변수는 화살표(→) 우측 변수의 원인이 되는 관계로 분석된 결과이다.
한편, AI 예측 모델(20)의 최종인자(Feature)로 인과관계를 추론한 결과, 종속변수로 연료단가 'WTI 가격'이 추출된 경우, 상기 보기에 예시된 인과관계로부터 [수입량 → 원자재 가격 → WTI 가격]의 구간을 추출할 수 있고, 상기 추출된 구간을 다시 AI 예측 모델(20)이 예측하는 종속변수인 '국제유연탄가격'까지 연관하여 [수입량 → 원자재 가격 → WTI 가격 → 국제유연탄가격]으로 표현할 수 있다.
상기 예를 참조하면, AI 예측 모델(20)의 AI 결과인 종속변수(국제유연탄가격)을 예측할 때, AI 예측 모델(20)에서 추출된 최종인자(Feature)인 'WTI 가격'이 가장 큰 인자로 작용했다는 것이 AI 모델에서 추출된 결과이다. 따라서, AI의 결과인 종속변수(국제유연탄가격)가 나올 수 있는 과정은 최종인자(Feature)로 추출된 변수(WTI 가격)가 어떤 과정으로 결정되었는지를 추론함으로써 알 수 있게 되는 것이다.
도 7의 (a)는 인과루프 그래프 변환부(140)에서 생성된 인과루프가 순환구간 또는 복수의 루프 구간을 포함하는 복잡한 인과루프인 경우를 예시하고, 도 7의 (b)는 도 7의 (a)에 예시된 복잡한 인과루프로부터 최단 경로를 선택하는 과정을 예시하고, 도 7의 (c)는 최종적으로 선택된 최단 경로를 예시한다.
즉, 도 7의 (a)에 예시된 바와 같은 인과루프는 정보 전달력이 매우 미흡하므로, 도 7의 (b)에 예시된 바와 같은 최소경로 추출 과정을 거쳐 도 7의 (c)와 같은 결과를 얻을 수 있는 것이다. 이를 위해, 인과성 결과 조회부(150)는 최소신장트리(MST, Minimum Spanning Tree) 등의 기법을 적용하여 최소 경로를 추출할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 인공지능 처리 결과 분석 방법에 대한 개략적인 처리 흐름도이다. 도 1 및 도 8을 참조하면, 본 발명의 일 실시 예에 따라, 정상성이 확보된 다수의 시계열 데이터들로부터 임의의 AI 결과를 예측하는 AI 예측 모델(20)의 AI 결과 도출 과정을 추정하기 위한 인공지능 처리 결과를 분석하는 방법은 다음과 같다.
먼저, 단계 S110에서는, 데이터 입력부(110)가 AI 예측 모델(20)로 입력된 다수의 데이터들(즉, 입력 데이터(10))을 입력받아 불필요한 데이터를 제거하기 위한 전처리를 수행한다. 특히, 단계 S110에서, 데이터 입력부(110)로 입력되는 입력데이터(10)는 통계적 정상성이 확보된 다수의 시계열성 데이터들인 것이 바람직하다.
단계 S120에서는, 선후행성 검사부(120)가 상기 단계 S110에서, 입력된 다수의 데이터들 중 임의의 데이터 쌍을 추출하여, 상기 추출된 데이터들 간의 선후행성을 검사하되, 상기 단계 S110을 통해 입력된 모든 데이터들에 대하여 선후행성을 검사한다. 한편, 상기 단계 S120에서, 선후행성 검사부(120)는 상기 추출된 데이터 쌍인, 제1 및 제2 데이터 간의 방향성 및 선후행 시차 정보를 이용하여, 상기 제1 및 제2 데이터 간의 선후행성을 검사하되, Granger 인과관계 검사방법, Sims 인과관계 검사방법, Structural 인과관계 검사방법, 및 Intervention 인과관계 검사방법 중 어느 하나를 이용하여 상기 제1 및 제2 데이터 간의 선후행성을 검사하고, 그 결과로, 상기 제1 및 제2 데이터 간의 선후행성 정도를 나타내는 가중치를 산출할 수 있다. 이 때, 단계 S120에서의 선후행성 검사 과정에 대한 보다 상세한 설명은 도 1 내지 도 3을 참조하여 전술한 바와 같다.
단계 S130에서는, 확률모형 변환부(130)가 상기 단계 S120의 검사 결과에 의거하여 상기 단계 S110를 통해 입력된 모든 데이터들 간의 인과관계를 결정하고, 그 결과를 저장 관리한다. 이를 위해, 단계 S130에서, 확률모형 변환부(130)는 상기 제1 및 제2 데이터들 간의 인과관계 여부를 결정하기 위한 기준값을 미리 저장하고, 상기 단계 S120에서 산출된 가중치와 상기 기준값의 비교 결과에 의거하여 상기 제1 및 제2 데이터들간의 인과관계를 결정할 수 있다. 이 때, 단계 S130에서의 인과관계 결정 과정은, 도 1 및 도 4를 참조하여 전술한 바와 같다.
단계 S140에서는, 인과루프 그래프 변환부(140)가 상기 단계 S130에서 저장된 정보에 의거하여 상기 데이터들 간의 인과관계를 인과루프 그래프로 변환하여 저장한다. 그 저장 예는 도 5에 예시된 바와 같다.
단계 S150에서는, 인과성 결과 조회부(150)가 AI 예측 모델(20)로부터 상기 AI 결과를 예측하기 위해 사용된 주요인자(Feature)를 전달받고, 상기 단계 S140에서 저장된 인과루프 그래프로부터 상기 AI 결과 도출 과정을 추정하기 위한 인과루프 구간을 추출하여 표시한다. 이를 위해, 단계 S150에서, 인과성 결과 조회부(150)는 상기 주요인자(Feature)를 포함하고 마지막 노드가 상기 AI 결과를 나타내는 종속변수인 구간을 인과루프 구간으로 추출할 수 있다. 또한, 단계 S150에서, 인과성 결과 조회부(150)는 상기 추출된 인과루프 구간이 순환(Looping) 구간 또는, 복수의 루프 구간을 포함한 경우, 최소경로 추출 알고리즘을 적용하여 최소경로로 변환하여 표시할 수 있다. 이 때, 단계 S150에서, 인과성 결과 조회부(150)의 보다 구체적인 처리 과정은 도 1, 도 6 및 도 7을 참조하여 전술한 바와 같다.
이와 같이, 본 발명은 시계열 데이터의 인과 분석을 통해, 데이터의 변화 흐름을 규명하는 방법으로 사람의 경험과 지식을 객관화함으로써, 사람의 주관적 판단에 의해 시계열 데이터의 분석 결과가 편향되는 것을 방지하고, 상기 분석 결과를 체계적으로 관리할 수 있는 장점이 있다. 또한, 본 발명은 객관화된 사람의 경험과 지식 정보에 의거하여 AI 결과의 도출 과정을 추정하고, 이를 시각적으로 표출하여, 상기 도출 과정을 사람이 이해할 수 있도록 함으로써, AI 결과에 대한 신뢰도를 높이고, 이로 인해, AI 기술의 업무 적용 한계를 줄일 수 있는 장점이 있다.
따라서, 본 발명은 시계열 데이터의 공통 전처리 플랫폼에 활용할 수 있고, X-AI(eXplainable AI, 설명 가능한 AI) 기술적용 분야와, 특정 도메인에 대한 사람의 지식을 대체하는 데이터 기반 인과분석 분야 및 사전 확률이 정의되어 있지 않은 Bayesian Networks 모델이 적용이 가능하다.
이상에서는 본 발명의 실시 예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 아니하며 본 발명이 실시 예로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 용이하게 변경되어 균등한 것으로 인정되는 범위의 모든 변경 및 수정을 포함한다.
10: 입력 데이터 20: AI 예측 모델
100: AI 처리 결과 분석 장치 110: 데이터 입력부
120: 선후행성 검사부 130: 확률모형 변환부
140: 인과루프 그래프 변환부 150: 인과성 결과 조회부

Claims (12)

  1. 정상성이 확보된 다수의 시계열 데이터들로부터 임의의 AI 결과를 예측하는 AI 예측 모델의 AI 결과 도출 과정을 추정하기 위한 인공지능 처리 결과 분석 장치에 있어서,
    상기 AI 예측 모델로 입력된 다수의 데이터들을 입력받아 불필요한 데이터를 제거하기 위한 전처리를 수행하는 데이터 입력부;
    상기 데이터 입력부를 통해 입력된 다수의 데이터들 중 임의의 데이터 쌍을 추출하여, 상기 추출된 데이터들 간의 선후행성을 검사하되, 상기 데이터 입력부를 통해 입력된 모든 데이터들에 대하여 선후행성을 검사하는 선후행성 검사부;
    상기 선후행성 검사부의 검사 결과에 의거하여 상기 데이터 입력부를 통해 입력된 모든 데이터들 간의 인과관계를 결정하고, 그 결과를 저장 관리하는 확률모형 변환부;
    상기 확률모형 변환부에 저장된 정보에 의거하여 상기 데이터들 간의 인과관계를 인과루프 그래프로 변환하여 저장하는 인과루프 그래프 변환부; 및
    상기 AI 예측 모델로부터 상기 AI 결과를 예측하기 위해 사용된 주요인자(Feature)를 전달받고, 상기 인과루프 그래프 변환부에 저장된 인과루프 그래프로부터 상기 AI 결과 도출 과정을 추정하기 위한 인과루프 구간을 추출하여 표시하는 인과성 결과 조회부를 포함하는 것을 특징으로 하는 인공지능 처리 결과 분석 장치.
  2. 제1항에 있어서, 상기 데이터 입력부는
    통계적 정상성이 확보된 다수의 시계열성 데이터들을 입력받는 것을 특징으로 하는 인공지능 처리 결과 분석 장치.
  3. 제2항에 있어서, 상기 선후행성 검사부는
    상기 추출된 데이터 쌍인, 제1 및 제2 데이터 간의 방향성 및 선후행 시차 정보를 이용하여, 상기 제1 및 제2 데이터 간의 선후행성을 검사하되,
    Granger 인과관계 검사방법, Sims 인과관계 검사방법, Structural 인과관계 검사방법, 및 Intervention 인과관계 검사방법 중 어느 하나를 이용하여 상기 제1 및 제2 데이터 간의 선후행성을 검사하고,
    그 결과로, 상기 제1 및 제2 데이터 간의 선후행성 정도를 나타내는 가중치를 산출하는 것을 특징으로 하는 인공지능 처리 결과 분석 장치.
  4. 제3항에 있어서, 상기 확률모형 변환부는
    상기 제1 및 제2 데이터들 간의 인과관계 여부를 결정하기 위한 기준값을 미리 저장하고, 상기 선후행성 검사부에서 산출된 가중치와 상기 기준값의 비교 결과에 의거하여 상기 제1 및 제2 데이터들간의 인과관계를 결정하는 것을 특징으로 하는 인공지능 처리 결과 분석 장치.
  5. 제1항에 있어서, 상기 인과성 결과 조회부는
    상기 주요인자를 포함하고 마지막 노드가 상기 AI 결과를 나타내는 종속변수인 구간을 인과루프 구간으로 추출하는 것을 특징으로 하는 인공지능 처리 결과 분석 장치.
  6. 제5항에 있어서, 상기 인과성 결과 조회부는
    상기 추출된 인과루프 구간이 순환(Looping) 구간 또는, 복수의 루프 구간을 포함한 경우, 최소경로 추출 알고리즘을 적용하여 최소경로로 변환하여 표시하는 것을 특징으로 하는 인공지능 처리 결과 분석 장치.
  7. 정상성이 확보된 다수의 시계열 데이터들로부터 임의의 AI 결과를 예측하는 AI 예측 모델의 AI 결과 도출 과정을 추정하는 인공지능 처리 결과 분석 장치를 이용한 인공지능 처리 결과 분석 방법에 있어서,
    상기 인공지능 처리 결과 분석 장치가, 상기 AI 예측 모델로 입력된 다수의 데이터들을 입력받아 불필요한 데이터를 제거하기 위한 전처리를 수행하는 데이터 입력 단계;
    상기 인공지능 처리 결과 분석 장치가, 상기 데이터 입력 단계를 통해 입력된 다수의 데이터들 중 임의의 데이터 쌍을 추출하여, 상기 추출된 데이터들 간의 선후행성을 검사하되, 상기 데이터 입력 단계를 통해 입력된 모든 데이터들에 대하여 선후행성을 검사하는 선후행성 검사 단계;
    상기 인공지능 처리 결과 분석 장치가, 상기 선후행성 검사 단계의 검사 결과에 의거하여 상기 데이터 입력 단계를 통해 입력된 모든 데이터들 간의 인과관계를 결정하고, 그 결과를 저장 관리하는 확률모형 변환 단계;
    상기 인공지능 처리 결과 분석 장치가, 상기 확률모형 변환 단계에서 저장된 정보에 의거하여 상기 데이터들 간의 인과관계를 인과루프 그래프로 변환하여 저장하는 인과루프 그래프 변환 단계; 및
    상기 인공지능 처리 결과 분석 장치가, 상기 AI 예측 모델로부터 상기 AI 결과를 예측하기 위해 사용된 주요인자(Feature)를 전달받고, 상기 인과루프 그래프 변환 단계에서 저장된 인과루프 그래프로부터 상기 AI 결과 도출 과정을 추정하기 위한 인과루프 구간을 추출하여 표시하는 인과성 결과 조회 단계를 포함하는 것을 특징으로 하는 인공지능 처리 결과 분석 방법.
  8. 제7항에 있어서, 상기 데이터 입력 단계는
    통계적 정상성이 확보된 다수의 시계열성 데이터들을 입력받는 것을 특징으로 하는 인공지능 처리 결과 분석 방법.
  9. 제8항에 있어서, 상기 선후행성 검사 단계는
    상기 추출된 데이터 쌍인, 제1 및 제2 데이터 간의 방향성 및 선후행 시차 정보를 이용하여, 상기 제1 및 제2 데이터 간의 선후행성을 검사하되,
    Granger 인과관계 검사방법, Sims 인과관계 검사방법, Structural 인과관계 검사방법, 및 Intervention 인과관계 검사방법 중 어느 하나를 이용하여 상기 제1 및 제2 데이터 간의 선후행성을 검사하고,
    그 결과로, 상기 제1 및 제2 데이터 간의 선후행성 정도를 나타내는 가중치를 산출하는 것을 특징으로 하는 인공지능 처리 결과 분석 방법.
  10. 제9항에 있어서, 상기 확률모형 변환 단계는
    상기 제1 및 제2 데이터들 간의 인과관계 여부를 결정하기 위한 기준값을 미리 저장하고, 상기 선후행성 검사 단계에서 산출된 가중치와 상기 기준값의 비교 결과에 의거하여 상기 제1 및 제2 데이터들간의 인과관계를 결정하는 것을 특징으로 하는 인공지능 처리 결과 분석 방법.
  11. 제7항에 있어서, 상기 인과성 결과 조회 단계는
    상기 주요인자를 포함하고 마지막 노드가 상기 AI 결과를 나타내는 종속변수인 구간을 인과루프 구간으로 추출하는 것을 특징으로 하는 인공지능 처리 결과 분석 방법.
  12. 제11항에 있어서, 상기 인과성 결과 조회 단계는
    상기 추출된 인과루프 구간이 순환(Looping) 구간 또는, 복수의 루프 구간을 포함한 경우, 최소경로 추출 알고리즘을 적용하여 최소경로로 변환하여 표시하는 것을 특징으로 하는 인공지능 처리 결과 분석 방법.
KR1020210064386A 2021-05-18 2021-05-18 인공지능 처리 결과 분석 장치 및 그 방법 KR102512552B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210064386A KR102512552B1 (ko) 2021-05-18 2021-05-18 인공지능 처리 결과 분석 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210064386A KR102512552B1 (ko) 2021-05-18 2021-05-18 인공지능 처리 결과 분석 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220156389A KR20220156389A (ko) 2022-11-25
KR102512552B1 true KR102512552B1 (ko) 2023-03-20

Family

ID=84237412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210064386A KR102512552B1 (ko) 2021-05-18 2021-05-18 인공지능 처리 결과 분석 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102512552B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328507A (ja) 2006-06-07 2007-12-20 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2021012501A (ja) 2019-07-05 2021-02-04 国立研究開発法人物質・材料研究機構 機械学習支援方法及び機械学習支援装置
KR102231231B1 (ko) 2020-10-08 2021-03-24 주식회사 솔리드웨어 변수 영향도 기반 머신러닝 예측 결과 해석 방법 및 그 장치
US20210142190A1 (en) 2019-11-13 2021-05-13 International Business Machines Corporation Causal reasoning for explanation of model predictions
US20210150341A1 (en) 2019-11-18 2021-05-20 UMNAI Limited Architecture for an explainable neural network

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200087348A (ko) 2018-12-31 2020-07-21 네오데우스 주식회사 깊이 기반 가분 합성곱 신경망 인공지능을 이용한 나이/감정/성별 분류 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328507A (ja) 2006-06-07 2007-12-20 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2021012501A (ja) 2019-07-05 2021-02-04 国立研究開発法人物質・材料研究機構 機械学習支援方法及び機械学習支援装置
US20210142190A1 (en) 2019-11-13 2021-05-13 International Business Machines Corporation Causal reasoning for explanation of model predictions
US20210150341A1 (en) 2019-11-18 2021-05-20 UMNAI Limited Architecture for an explainable neural network
KR102231231B1 (ko) 2020-10-08 2021-03-24 주식회사 솔리드웨어 변수 영향도 기반 머신러닝 예측 결과 해석 방법 및 그 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Seeliger, Arne, Matthias Pfaff, and Helmut Krcmar. Semantic web technologies for explainable machine learning models: A literature review. PROFILES/SEMEX@ ISWC 2465. 2019.
Spinner, Thilo, et al. explAIner: A visual analytics framework for interactive and explainable machine learning. IEEE transactions on visualization and computer graphics 26.1. 2019.
Xu, Feiyu, et al. Explainable AI: A brief survey on history, research areas, approaches and challenges. Natural Language Processing and Chinese Computing: 8th CCF International Conference, NLPCC 2019.

Also Published As

Publication number Publication date
KR20220156389A (ko) 2022-11-25

Similar Documents

Publication Publication Date Title
KR102234850B1 (ko) 릴레이션 네트워크에 기반한 지식 보완 방법 및 장치
CN110659723B (zh) 基于人工智能的数据处理方法、装置、介质及电子设备
CN111523421B (zh) 基于深度学习融合各种交互信息的多人行为检测方法及系统
CN111369299A (zh) 识别的方法、装置、设备及计算机可读存储介质
KR20200075071A (ko) 불확실성 예측을 위한 샘플링 모델 생성 장치 및 방법, 불확실성 예측 장치
CN112631240A (zh) 航天器故障主动检测方法及装置
CN116994069B (zh) 一种基于多模态信息的图像解析方法及系统
CN114780831A (zh) 基于Transformer的序列推荐方法及系统
CN115062606B (zh) 对话数据分析及其模型训练方法、及电子设备
Teferra et al. Mapping model validation metrics to subject matter expert scores for model adequacy assessment
CN116402352A (zh) 一种企业风险预测方法、装置、电子设备及介质
CN115730947A (zh) 银行客户流失预测方法及装置
CN114202243A (zh) 一种基于随机森林的工程项目管理风险预警方法及系统
CN117934463A (zh) 一种基于光学测试的肉牛胴体质量评级方法
CN111445025B (zh) 确定业务模型超参数的方法和装置
Berglund et al. Bidirectional recurrent neural networks as generative models-reconstructing gaps in time series
KR102512552B1 (ko) 인공지능 처리 결과 분석 장치 및 그 방법
MacDonell et al. Alternatives to regression models for estimating software projects
CN111008579A (zh) 专注度识别方法、装置和电子设备
CN115310704A (zh) 一种基于系统安全模型的多维度消防安全评估预警系统
CN115661429A (zh) 一种锅炉水冷壁管缺陷识别系统、方法和存储介质
Kiritoshi et al. L1-Norm Gradient Penalty for Noise Reduction of Attribution Maps.
CN114117210A (zh) 基于联邦学习的理财产品智能推荐方法及装置
Mohanty et al. Software reliability prediction using group method of data handling
Nag et al. CNN based approach for post disaster damage assessment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant