KR102631386B1 - 인공지능 모델의 학습 방법, 학습 시스템 및 이를 위한컴퓨터 프로그램 - Google Patents

인공지능 모델의 학습 방법, 학습 시스템 및 이를 위한컴퓨터 프로그램 Download PDF

Info

Publication number
KR102631386B1
KR102631386B1 KR1020230106853A KR20230106853A KR102631386B1 KR 102631386 B1 KR102631386 B1 KR 102631386B1 KR 1020230106853 A KR1020230106853 A KR 1020230106853A KR 20230106853 A KR20230106853 A KR 20230106853A KR 102631386 B1 KR102631386 B1 KR 102631386B1
Authority
KR
South Korea
Prior art keywords
mutual information
learning
artificial intelligence
variable
descending order
Prior art date
Application number
KR1020230106853A
Other languages
English (en)
Inventor
송세헌
김성훈
김두영
조풍연
Original Assignee
메타빌드주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메타빌드주식회사 filed Critical 메타빌드주식회사
Priority to KR1020230106853A priority Critical patent/KR102631386B1/ko
Application granted granted Critical
Publication of KR102631386B1 publication Critical patent/KR102631386B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 인공지능 모델의 학습 방법, 학습 시스템 및 이를 위한 컴퓨터 프로그램에 관한 것이다.
본 발명의 일측면에 따르면, 원천 데이터의 일부를 샘플 데이터로서 추출하고, 샘플 데이터에 기초하여 구성한 다양한 타입의 샘플 학습 데이터 셋과 다양한 타입의 인공지능 모델을 상호 매칭한 각각의 조합에 대해 학습 수행 및 성능 평가를 수행하고, 성능 평가 결과가 가장 높은 것으로 결정된 조합에 원천 데이터의 전체 데이터를 입력하여 학습된 인공지능 모델을 생성함으로써, 인공지능 모델의 개발에 필요한 시간 및 자원의 소요를 저감시킬 수 있도록 구성된 인공지능 모델의 학습 방법, 학습 시스템 및 이를 위한 컴퓨터 프로그램이 개시된다.

Description

인공지능 모델의 학습 방법, 학습 시스템 및 이를 위한 컴퓨터 프로그램 {AI model learning method, learning system and computer program for the same}
본 발명은 인공지능 모델의 학습 방법, 학습 시스템 및 이를 위한 컴퓨터 프로그램에 관한 것으로서, 원천 데이터의 일부를 샘플 데이터로서 추출하고, 샘플 데이터에 기초하여 구성한 다양한 타입의 샘플 학습 데이터 셋과 다양한 타입의 인공지능 모델을 상호 매칭한 각각의 조합에 대해 학습 수행 및 성능 평가를 수행하고, 성능 평가 결과가 가장 높은 것으로 결정된 조합에 원천 데이터의 전체 데이터를 입력하여 학습된 인공지능 모델을 생성함으로써, 인공지능 모델의 개발에 필요한 시간 및 자원의 소요를 저감시킬 수 있도록 구성된 인공지능 모델의 학습 방법, 학습 시스템 및 이를 위한 컴퓨터 프로그램에 관한 것이다.
인공지능 모델의 개발 시 원천 데이터의 사이즈가 큰 경우, 데이터 전처리, 모델 학습 및 모델 평가 과정에 오랜 시간이 걸리고, 자원(장비, 전기)의 소요가 많이 발생한다.
이를 감안하여, 시간 및 자원의 소요를 저감시킬 수 있는 인공지능 모델의 개발 방법이 요구되는 실정이다.
대한민국 공개특허 10-2018-0079995 (2018년07월11일) 대한민국 공개특허 10-2016-0143512 (2016년12월14일) 대한민국 등록특허 10-2102418 (2020년04월13일)
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로서, 원천 데이터의 일부를 샘플 데이터로서 추출하고, 샘플 데이터에 기초하여 구성한 다양한 타입의 샘플 학습 데이터 셋과 다양한 타입의 인공지능 모델을 상호 매칭한 각각의 조합에 대해 학습 수행 및 성능 평가를 수행하고, 성능 평가 결과가 가장 높은 것으로 결정된 조합에 원천 데이터의 전체 데이터를 입력하여 학습된 인공지능 모델을 생성함으로써, 인공지능 모델의 개발에 필요한 시간 및 자원의 소요를 저감시킬 수 있도록 구성된 인공지능 모델의 학습 방법, 학습 시스템 및 이를 위한 컴퓨터 프로그램을 제공하는 것을 그 목적으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 일측면에 따르면, 인공지능 모델 학습 시스템에서 수행하는 인공지능 모델의 학습 방법으로서, 1) 전체 데이터의 일부를 샘플 데이터로서 추출하는 단계; 2) 복수의 변수 선정기법에 기초하여, 상기 샘플 데이터로부터 샘플 학습 데이터 셋을 구성하기 위한 복수의 타입의 특징 변수 셋을 구성하는 단계; 3) 상기 복수의 타입의 특징 변수 셋에 기초하여, 상기 샘플 데이터로부터 복수의 샘플 학습 데이터 셋을 구성하는 단계; 4) 복수의 타입의 인공지능 모델의 각각에 대해 상기 복수의 샘플 학습 데이터 셋의 각각을 매칭한 조합들을 구성하고, 각각의 조합별로 학습을 수행하는 단계; 5) 학습이 완료된 각각의 조합별로 성능 평가를 수행하는 단계; 6) 성능 평가 결과가 가장 높은 것으로 결정된 조합의 샘플 학습 데이터 셋의 구성의 기초가 된 특징 변수 셋의 타입에 기초하여, 상기 전체 데이터로부터 전체 학습 데이터 셋을 구성하는 단계; 및 7) 성능 평가 결과가 가장 높은 것으로 결정된 조합의 인공지능 모델에 상기 전체 학습 데이터 셋을 입력하고 학습을 수행하여 학습된 인공지능 모델을 생성하는 단계;를 포함하여 구성된 인공지능 모델의 학습 방법이 개시된다.
본 발명의 또다른 일측면에 따르면, 하나 이상의 명령을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하고, 상기 프로세서는, 전체 데이터의 일부를 샘플 데이터로서 추출하고; 복수의 변수 선정기법에 기초하여, 상기 샘플 데이터로부터 샘플 학습 데이터 셋을 구성하기 위한 복수의 타입의 특징 변수 셋을 구성하며; 상기 복수의 타입의 특징 변수 셋에 기초하여, 상기 샘플 데이터로부터 복수의 샘플 학습 데이터 셋을 구성하고; 복수의 타입의 인공지능 모델의 각각에 대해 상기 복수의 샘플 학습 데이터 셋의 각각을 매칭한 조합들을 구성하고, 각각의 조합별로 학습을 수행하며; 학습이 완료된 각각의 조합별로 성능 평가를 수행하고; 성능 평가 결과가 가장 높은 것으로 결정된 조합의 샘플 학습 데이터 셋의 구성의 기초가 된 특징 변수 셋의 타입에 기초하여, 상기 전체 데이터로부터 전체 학습 데이터 셋을 구성하며; 성능 평가 결과가 가장 높은 것으로 결정된 조합의 인공지능 모델에 상기 전체 학습 데이터 셋을 입력하고 학습을 수행하여 학습된 인공지능 모델을 생성하는 것;을 특징으로 하는 인공지능 모델 학습 시스템이 개시된다.
본 발명의 또다른 일측면에 따르면, 인공지능 모델 학습 시스템에서 인공지능 모델의 학습 방법을 실행하도록 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서, 상기 인공지능 모델의 학습 방법은, 1) 전체 데이터의 일부를 샘플 데이터로서 추출하는 단계; 2) 복수의 변수 선정기법에 기초하여, 상기 샘플 데이터로부터 샘플 학습 데이터 셋을 구성하기 위한 복수의 타입의 특징 변수 셋을 구성하는 단계; 3) 상기 복수의 타입의 특징 변수 셋에 기초하여, 상기 샘플 데이터로부터 복수의 샘플 학습 데이터 셋을 구성하는 단계; 4) 복수의 타입의 인공지능 모델의 각각에 대해 상기 복수의 샘플 학습 데이터 셋의 각각을 매칭한 조합들을 구성하고, 각각의 조합별로 학습을 수행하는 단계; 5) 학습이 완료된 각각의 조합별로 성능 평가를 수행하는 단계; 6) 성능 평가 결과가 가장 높은 것으로 결정된 조합의 샘플 학습 데이터 셋의 구성의 기초가 된 특징 변수 셋의 타입에 기초하여, 상기 전체 데이터로부터 전체 학습 데이터 셋을 구성하는 단계; 및 7) 성능 평가 결과가 가장 높은 것으로 결정된 조합의 인공지능 모델에 상기 전체 학습 데이터 셋을 입력하고 학습을 수행하여 학습된 인공지능 모델을 생성하는 단계;를 포함하여 구성된 것을 특징으로 하는 컴퓨터 프로그램이 개시된다.
이와 같은 본 발명은, 원천 데이터의 일부를 샘플 데이터로서 추출하고, 샘플 데이터에 기초하여 구성한 다양한 타입의 샘플 학습 데이터 셋과 다양한 타입의 인공지능 모델을 상호 매칭한 각각의 조합에 대해 학습 수행 및 성능 평가를 수행하고, 성능 평가 결과가 가장 높은 것으로 결정된 조합에 원천 데이터의 전체 데이터를 입력하여 학습된 인공지능 모델을 생성함으로써, 인공지능 모델의 개발에 필요한 시간 및 자원의 소요를 저감시키는 장점이 있다.
도 1은 본 발명의 실시예에 따른 인공지능 모델 학습 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 인공지능 모델 학습 시스템의 하드웨어 관점의 구성도이다.
도 3은 본 발명의 실시예에 따른 인공지능 모델의 학습 방법의 흐름도이다.
도 4 내지 도 9는 본 발명의 실시예에 따른 인공지능 모델의 학습 방법을 설명하기 위한 도면이다.
본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러가지 형태로 실시될 수 있다. 따라서, 본 발명의 실시예들은 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안 된다.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다.
본 출원에서 사용한 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다", "가지다" 등의 용어는 명세서에 기재된 구성요소 또는 이들의 조합이 존재하는 것을 표현하려는 것이지, 다른 구성요소 또는 특징이 존재 또는 부가될 가능성을 미리 배제하는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 인공지능 모델 학습 시스템의 구성도, 도 2는 본 발명의 실시예에 따른 인공지능 모델 학습 시스템의 하드웨어 관점의 구성도이다.
본 실시예의 인공지능 모델 학습 시스템(100)은 원천 데이터의 일부를 샘플 데이터로서 추출하고, 샘플 데이터에 기초하여 구성한 다양한 타입의 샘플 학습 데이터 셋과 다양한 타입의 인공지능 모델을 상호 매칭한 각각의 조합에 대해 학습 수행 및 성능 평가를 수행하고, 성능 평가 결과가 가장 높은 것으로 결정된 조합에 원천 데이터의 전체 데이터를 입력하여 학습된 인공지능 모델을 생성한다.
이를 위해, 본 실시예의 인공지능 모델 학습 시스템(100)은 기능적 관점에서, 원천 데이터의 전체 데이터의 일부를 샘플 데이터로서 추출하는 데이터 추출 모듈(101), 복수의 변수 선정기법에 기초하여 상기 샘플 데이터로부터 샘플 학습 데이터 셋을 구성하기 위한 복수의 타입의 특징 변수 셋을 구성하는 특징 변수 셋 생성 모듈(102), 특징 변수 셋에 기초하여 샘플 데이터 또는 전체 데이터로부터 샘플 학습 데이터 셋 또는 전체 학습 데이터 셋을 구성하는 학습 데이터 셋 생성 모듈(103), 인공지능 모델과 샘플 학습 데이터 셋을 매칭한 조합들을 구성하고 각각의 조합별로 학습을 수행하는 인공지능 학습 모듈(104), 학습이 완료된 각각의 조합별로 성능 평가를 수행하는 인공지능 성능 평가 모듈(105), 성능 평가 결과가 가장 높은 것으로 결정된 조합의 인공지능 모델에 전체 데이터로부터 구성한 전체 학습 데이터 셋을 입력하고 학습을 수행하여 학습된 인공지능 모델을 생성하는 인공지능 생성 모듈(106)을 포함한다.
일예로, 상기 인공지능 학습 모듈(104)은 복수의 타입의 인공지능 모델을 포함하여 구성되거나, 복수의 타입의 인공지능 모델을 제공하는 별도의 인공지능 플랫폼 또는 서버에 연동되도록 구성될 수 있다.
본 실시예의 복수의 타입의 인공지능 모델은 일예로, 지도학습 모델, 비지도학습 모델 또는 강화학습 모델에 해당하는 인공지능 모델을 포함할 수 있다. 지도학습 모델, 비지도학습 모델은 학습 데이터 셋을 이용하여 학습이 이뤄지며, 강화학습 모델은 일반적인 형태의 학습 데이터 셋을 이용하는 것은 아니며 주어진 상태에 맞춘 행동의 결과에 대한 보상을 주는 방식으로 학습이 이뤄진다. 본 실시예의 인공지능 모델 학습 시스템(100)은 특히 지도학습 모델 또는 비지도학습 모델에 적합하며, 강화학습 모델에 대해서도 적용될 수 있다.
일예로, 지도학습 모델의 타입은 분류 모델과 회귀 모델 등이 있으며, 분류 모델의 예로서 KNN(K-Nearest Neighbors), 나이브 베이즈(Naive bayes), 결정 트리(Decision Tree), 로지스틱 회귀(Logistic Regression), 랜덤 포레스트(Random Forest), 서포트 벡터 머신(SVM, Support Vector Machine), 신경망(Neural Network), XGBoostlinear, XGBoosttree 등이 있고, 회귀 모델의 예로서 선형 회귀(Linear Regression), 다항 회귀(Polynomial Regression), 릿지 회귀(Ridge Regression), 라쏘 회귀(Lasso Regression), XGBoostlinear, XGBoosttree 등이 있다.
일예로, 비지도학습 모델의 타입은 군집(Clustering) 모델, 차원 축소(Dimensionality Reduction) 모델과 연관 규칙 학습 등이 있으며, 군집 모델의 예로서 K-Means, 계층 군집 분석(HCA, Hierarchical Cluster Analysis), EM(Expectation Maximization) 등이 있고, 차원 축소 모델의 예로서 주성분 분석(PCA, Principal Component Analysis), 커널 PCA, 지역적 선형 임베딩, t-SNE (t-distributed Stochastic Neighbor Embedding) 등이 있고, 연관 규칙 학습 모델의 예로서 Apriori, Eclat 등이 있다.
일예로, 강화학습 모델의 타입은 Value based Reinforcement Learning(예, Q-Learning, SARSA), Policy based Reinforcement Learning(예, DDPG, A2C, A3C, ACER, TRPO, PPO) 등이 있다.
일예로, 상기 인공지능 생성 모듈(106)은 학습된 인공지능 모델을 포함하여 구성되거나, 학습된 인공지능 모델을 제공하는 별도의 인공지능 플랫폼 또는 서버에 연동되도록 구성될 수 있다.
또한 본 실시예의 인공지능 모델 학습 시스템(100)은, 원천 데이터를 저장 및 수정 관리하는 원천 데이터 저장소(111), 샘플 데이터를 저장 및 수정 관리하는 샘플 데이터 저장소(112), 특징 변수 셋에 관한 정보를 저장 및 수정 관리하는 특징 변수 셋 정보 저장소(113), 학습 데이터 셋에 관한 정보를 저장 및 수정 관리하는 학습 데이터 셋 정보 저장소(114), 복수의 타입의 인공지능 모델에 관한 정보를 저장 및 수정 관리하는 인공지능 모델 정보 저장소(115), 성능 평가에 관한 정보를 저장 및 수정 관리하는 성능 평가 정보 저장소(116), 학습된 인공지능 모델에 관한 정보를 저장 및 수정 관리하는 인공지능 생성 정보 저장소(117)를 포함한다.
도 2를 참조하면 하드웨어적 관점에서, 본 실시예의 인공지능 모델 학습 시스템(100)은 하나 이상의 명령을 저장하는 메모리(2) 및 상기 메모리(2)에 저장된 상기 하나 이상의 명령을 실행하는 프로세서(4)를 포함하며, 인공지능 모델의 학습 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램이 실행되는 컴퓨팅 장치이다. 본 실시예의 인공지능 모델 학습 시스템(100)은 데이터 입출력 인터페이스(6)와 통신 인터페이스(8), 데이터 표시 수단(3), 데이터 저장 수단(5)을 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 인공지능 모델의 학습 방법의 흐름도, 도 4 내지 도 9는 본 발명의 실시예에 따른 인공지능 모델의 학습 방법을 설명하기 위한 도면이다.
1)단계에서 인공지능 모델 학습 시스템(100)은, 원천 데이터의 전체 데이터의 일부를 샘플 데이터로서 추출한다.
일예로, 원천 데이터는 분류, 회귀, 군집, 차원 축소, 연관 규칙 학습 등이 필요한 다양한 종류의 데이터가 될 수 있다.
일예로, 샘플 데이터의 추출은 랜덤 샘플링 또는 계층적 샘플링 등을 통해 추출할 수 있다.
랜덤 샘플링은 전체 데이터에서 랜덤하게 데이터를 샘플링하는 방식으로서, 모집단을 잘 반영하고, 구현이 간단하고, 추정 정확성이 좋고, 일반화 용이성이 좋은 장점이 있다.
계층적 샘플링은 원천 데이터를 EDA(Explorary Data Analysis)한 후 원천 데이터를 그룹화하여 각 그룹에서 샘플링하여 결합하는 방식으로서, 효율적인 샘플링이 가능하고, 추적 정확성이 향상되고, 특정 계층 편향이 감소되고, 실험 비용이 감소되는 장점이 있다.
일예로, 인공지능 모델 학습 시스템(100)의 설정에 따라, 랜덤 샘플링 및 계층적 샘플링 중 어느 하나에 기초하여 샘플링이 이뤄질 수 있으며, 샘플링 조건은 다양하게 설정될 수 있다.
바람직하게, 추출한 샘플 데이터에 대해서는 데이터 전처리가 수행될 수 있다.
데이터 전처리는 이상치 처리, 결측치 처리, 범주형 변수 인코딩, 정규화, 표준화 등을 포함할 수 있다.
데이터 전처리를 위해 EDA가 수행될 수 있다. EDA는 데이터 구조 파악(예, 결측치 유무), 기초 통계 분석(예, 평균, 중앙값, 분산), 데이터 시각화(예, 히스토그램, 산점도, 막대 그래프) 등을 포함할 수 있다.
일예로, 인공지능 모델 학습 시스템(100)의 설정에 따라, EDA 및 데이터 전처리 조건은 다양하게 설정될 수 있다.
2)단계에서 인공지능 모델 학습 시스템(100)은, 복수의 변수 선정기법에 기초하여, 상기 샘플 데이터로부터 샘플 학습 데이터 셋을 구성하기 위한 복수의 타입의 특징 변수 셋을 구성한다.
일예로, 지도학습 모델을 위한 특징 변수 셋은 목표 변수(종속 변수)와 입력 변수(독립 변수)를 포함할 수 있으며, 비지도학습 모델은 복수의 변수들을 포함할 수 있다.
특징 변수 셋의 변수의 구성과 개수는 원천 데이터의 구성과 변수 선정기법에 따라 결정될 수 있다.
변수 선정기법은 원천 데이터를 구성하는 복수의 변수로부터 인공지능에 입력할 입력자료를 선정하는 기법으로서, 다양한 기법이 공지되어 있다.
본 실시예의 인공지능 모델 학습 시스템(100)은 특히, 후술하는 바와 같이 상관계수에 기반한 변수 선정기법, 차원 축소에 기반한 변수 선정기법, 상호정보량에 기반한 변수 선정기법 등에 기초하여 샘플 데이터로부터 변수를 선정하고 특징 변수 셋을 구성할 수 있다. 다만, 본 실시예에 포함된 변수 선정기법 이외의 다른 변수 선정기법이 사용되는 것을 배제하지 않는다.
변수 선정기법 및 특징 변수 셋의 구성에 대해서는 상세하게 후술한다.
3)단계에서 인공지능 모델 학습 시스템(100)은, 상기 복수의 타입의 특징 변수 셋에 기초하여, 상기 샘플 데이터로부터 복수의 샘플 학습 데이터 셋을 구성한다.
일예로, 각각의 타입의 특징 변수 셋에 기초하여 각각의 타입의 샘플 학습 데이터 셋을 구성한다.
4)단계에서 인공지능 모델 학습 시스템(100)은, 복수의 타입의 인공지능 모델의 각각에 대해 상기 복수의 샘플 학습 데이터 셋의 각각을 매칭한 조합들을 구성하고, 각각의 조합별로 학습을 수행한다.
상술한 바와 같이, 본 실시예의 인공지능 모델 학습 시스템(100)은 복수의 타입의 인공지능 모델을 포함하여 구성되거나, 복수의 타입의 인공지능 모델을 제공하는 별도의 인공지능 플랫폼 또는 서버에 연동되도록 구성될 수 있다.
상술한 바와 같이, 복수의 타입의 인공지능 모델은 지도학습 모델, 비지도학습 모델, 강화학습 모델에 해당하는 다양한 타입의 인공지능 모델을 포함한다.
일예로, 인공지능 모델이 지도학습 모델인 경우, 본 실시예의 조합은 다음과 같이 다양한 형태로 이뤄질 수 있다.
조합
1 상관계수에 기반하여 구성한 샘플 학습 데이터 셋과 나이브 베이즈 모델의 조합
2 상관계수에 기반하여 구성한 샘플 학습 데이터 셋과 서포트 벡터 머신 모델의 조합
3 차원 축소에 기반하여 구성한 샘플 학습 데이터 셋과 나이브 베이즈 모델의 조합
4 차원 축소에 기반하여 구성한 샘플 학습 데이터 셋과 서포트 벡터 머신 모델의 조합
5 상호정보량에 기반하여 구성한 샘플 학습 데이터 셋과 나이브 베이즈 모델의 조합
6 상호정보량에 기반하여 구성한 샘플 학습 데이터 셋과 서포트 벡터 머신 모델의 조합
다른예로, 인공지능 모델이 비지도학습 모델인 경우, 본 실시예의 조합은 다음과 같이 다양한 형태로 이뤄질 수 있다.
조합
1 상관계수에 기반하여 구성한 샘플 학습 데이터 셋과 K-Means 모델의 조합
2 상관계수에 기반하여 구성한 샘플 학습 데이터 셋과 HCA 모델의 조합
3 차원 축소에 기반하여 구성한 샘플 학습 데이터 셋과 K-Means 모델의 조합
4 차원 축소에 기반하여 구성한 샘플 학습 데이터 셋과 HCA 모델의 조합
5 상호정보량에 기반하여 구성한 샘플 학습 데이터 셋과 K-Means 모델의 조합
6 상호정보량에 기반하여 구성한 샘플 학습 데이터 셋과 HCA 모델의 조합
상기 표 1 및 표 2를 통해 예시한 조합 이외에도 다양한 조합이 구성될 수 있으며, 각각의 조합별로 해당 조합을 구성하는 샘플 학습 데이터 셋을 해당 조합을 구성하는 인공지능 모델에 입력하여 학습이 수행될 수 있다.
5)단계에서 인공지능 모델 학습 시스템(100)은, 학습이 완료된 각각의 조합별로 성능 평가를 수행한다.
다양한 인공지능 모델별로 적용 가능한 성능 평가 기준(또는 기법)이 공지되어 있다.
본 실시예의 인공지능 모델 학습 시스템(100)은 각각의 타입의 인공지능 모델에 적합한 성능 평가 기준을 하나 이상 설정하고 이에 기초하여 학습이 완료된 각각의 조합별로 성능 평가를 수행한다.
일예로, 성능 평가의 수행 시, 2 이상의 성능 평가 기준을 적용하는 경우, 각각의 조합별로 2 이상의 성능 평가 기준에 의해 2 이상의 성능 평가 결과를 산출하고 이들을 하나의 값으로 가중 합산하여 상호 비교할 수도 있다.
본 실시예에 적용 가능한 성능 평가 기준의 예에 대해서는 후술한다.
6)단계에서 인공지능 모델 학습 시스템(100)은, 성능 평가 결과가 가장 높은 것으로 결정된 조합의 샘플 학습 데이터 셋의 구성의 기초가 된 특징 변수 셋의 타입에 기초하여, 상기 전체 데이터로부터 전체 학습 데이터 셋을 구성한다.
예를 들어, 상기 표 1의 6개의 조합을 대상으로 성능 평가를 수행하고 3번 조합의 성능 평가 결과가 가장 높은 것으로 결정된 경우, 3번 조합의 샘플 학습 데이터 셋의 구성의 기초가 된 특징 변수 셋(차원 축소에 기반한 특징 변수 셋)에 기초하여, 상기 전체 데이터로부터 전체 학습 데이터 셋을 구성한다.
7)단계에서 인공지능 모델 학습 시스템(100)은, 성능 평가 결과가 가장 높은 것으로 결정된 조합의 인공지능 모델에 상기 전체 학습 데이터 셋을 입력하고 학습을 수행하여 학습된 인공지능 모델을 생성한다.
예를 들어, 상기 표 1의 6개의 조합을 대상으로 성능 평가를 수행하고 3번 조합의 성능 평가 결과가 가장 높은 것으로 결정된 경우, 3번 조합의 인공지능 모델(나이브 베이즈 모델)에 대해 상기 6)단계에서 구성한 전체 학습 데이터 셋(차원 축소에 기반한 특징 변수 셋에 기초하여 구성한 전체 학습 데이터 셋)을 입력하여 학습을 수행하고, 학습된 인공지능 모델을 생성한다.
이렇게 학습된 인공지능 모델을 이용하여 분석이 필요한 데이터에 대한 분석 결과를 산출할 수 있다.
한편, 더욱 바람직하게, 상기 4)단계에서 인공지능 모델과 샘플 학습 데이터 셋의 조합은 인공지능 모델의 하이퍼파라미터 설정에 기초하여 더욱 세분화하여 구성할 수 있다. 즉, 동일한 인공지능 모델이더라도 하이퍼파라미터 설정에 따라 서로 다른 타입의 모델인 것처럼 세분화하여 구성하는 것이다. 이러한 구성을 취하는 경우, 최적의 성능을 제공하는 인공지능 모델을 선택하는 것에서 더욱 나아가 해당 모델에서 최적의 성능을 제공하는 하이퍼파라미터의 설정을 할 수 있다.
이를 위해, 상기 4)단계는, 임의의 타입의 인공지능 모델에 대해 서로 다른 값의 하이퍼파라미터를 매칭하여 2 이상의 서브 타입의 인공지능 모델을 구성하고, 2 이상의 서브 타입의 인공지능 모델의 각각에 대해 상기 복수의 샘플 학습 데이터 셋의 각각을 매칭하여 상기 조합들을 구성하도록 구성된다.
이후, 5)단계 내지 7)단계는 상술한 실시예와 동일하게 진행할 수 있다.
인공지능 모델의 학습에 있어서, 하이퍼파라미터는 최적의 학습 모델을 구현하기 위해 모델에 설정하는 변수로서, 예를 들어 학습률(Learning Rate), 에포크 수(훈련 반복 횟수), 가중치 초기화 등이 될 수 있다. 하이퍼파라미터 튜닝을 통해 다양한 하이퍼파라미터를 설정하고 본 실시예의 방법을 통해 최적값을 구할 수 있다. 하이퍼파라미터는 인공지능 모델 개발자에 의해 설정 가능하다.
일예로, 하이퍼파라미터는 학습률, 손실 함수, 일반화 파라미터, 미니배치 크기, 에포크 수, 가중치 초기화, 은닉층의 개수, KNN의 K값 등이 있다. 일예로, 하이퍼파라미터의 튜닝은 그리드 탐색, 랜덤 탐색, 베이지안 최적화, 휴리스틱 탐색 등을 통해 이뤄질 수 있다. 　　
도 4 내지 도 9를 참조하여, 상기 2)단계에서 복수의 변수 선정기법에 기초하여 특징 변수 셋을 구성하는 과정을 더욱 상세하게 설명한다.
도 4는 캐글(Kaggle, 데이터 분석 경진대회 플랫폼)을 통해 널리 알려진 타이타닉 데이터 셋의 일부를 발췌한 것이다. 타이타닉 데이터 셋은 타이타닉에 승선한 승객들에 관한 데이터 셋으로서, 승객들의 번호, 특징, 생존 여부를 포함한다.
도 4에 예시된 특징들은 다음과 같다.
- Survived : 0 = 사망, 1 = 생존
- Pclass : 1 = 1등석, 2 = 2등석, 3 = 3등석
- Sex : 1 = 남성, 2 = 여성
- Age : 나이
- SibSp : 타이타닉 호에 동승한 자매 / 배우자의 수
- Parch : 타이타닉 호에 동승한 부모 / 자식의 수
- Fare : 승객 요금
- Embarked : 탑승지, 1 = 셰르부르, 2 = 퀸즈타운, 3 = 사우샘프턴
도 4의 예에서, 승객의 특징(Pclass, Sex, Age, SibSp, Parch, Fare, Embarked)으로부터 승객의 생존 여부(Survived)를 예측하는 모델을 구성하고자 하는 경우, 이는 지도학습으로 볼 수 있다.
먼저, 지도학습의 경우, 특징 변수 셋은 목표 변수와 입력 변수를 포함하여 구성될 수 있다. 도 4의 예에서, 목표 변수는 'Survived'가 되고, 입력 변수는 'Pclass, Sex, Age, SibSp, Parch, Fare, Embarked'가 된다.
일실시예로서, 상기 2)단계에서, 상기 복수의 변수 선정기법은, 상기 샘플 데이터를 구성하는 목표 변수와 각각의 입력 변수 상호 간의 상관계수에 기반하여 특징 변수 셋을 구성할 입력 변수를 선정하는 변수 선정기법을 포함할 수 있다.
상관계수는 두 변수 사이의 상관관계의 정도를 나타내는 계수로서, 다양한 계수가 알려져 있으며 특히 피어슨(Pearson)의 상관계수가 널리 사용된다.
상관계수 r은 -1 ~ +1 의 범위의 값을 가지며, r > 0 인 경우를 양의 상관관계라고 하며, r < 0 인 경우를 음의 상관관계라고 한다.
상관계수가 큰 절대값을 갖는 경우, 두 변수 사이에 연관성이 높다고 볼 수 있으며, 다만 이것이 특별한 인과관계를 의미하는 것으로 해석하지는 않는다.
이 경우, 상기 특징 변수 셋의 구성은 다음과 같이 수행될 수 있다.
21)단계에서 인공지능 모델 학습 시스템(100)은, 제1 임계값을 설정한다.
도 4 및 도 5의 예에서, 일예로 제1 임계값은 0.5로 설정한다.
일예로, 제1 임계값의 설정은 실험 또는 경험, 모델 사용 목적을 고려한 임의값 설정 등의 방식으로 이뤄질 수 있으며, 수동 또는 자동으로 이뤄질 수 있다.
22)단계에서 인공지능 모델 학습 시스템(100)은, 상기 샘플 데이터를 구성하는 목표 변수와 각각의 입력 변수 상호 간의 상관계수를 계산한다.
도 5는 도 4의 예에 기초하여 각각의 변수 상호 간의 상관계수를 구한 것이다.
23)단계에서 인공지능 모델 학습 시스템(100)은, 상기 제1 임계값의 절대값(예, 0.5)보다 큰 절대값을 갖는 양의 상관계수(예, +0.5보다 큰 값)로 계산된 입력 변수로 구성된 제1 입력 변수 집합, 상기 제1 임계값의 절대값(예, 0.5)보다 작은 절대값을 갖는 양 또는 음의 상관계수(예, -0.5보다 크고 +0.5보다 작은 값)로 계산된 입력 변수로 구성된 제2 입력 변수 집합, 상기 제1 임계값의 절대값(예, 0.5)보다 큰 절대값을 갖는 음의 상관계수(예, -0.5보다 작은 값)로 계산된 입력 변수로 구성된 제3 입력 변수 집합을 구성한다.
제1 임계값의 절대값과 동일한 절대값을 갖는 양의 상관계수(예, +0.5)는 제1 입력 변수 집합 또는 제2 입력 변수 집합에 포함시킬 수 있으며, 제1 임계값의 절대값과 동일한 절대값을 갖는 음의 상관계수(예, -0.5)는 제2 입력 변수 집합 또는 제3 입력 변수 집합에 포함시킬 수 있다.
즉, 도 5의 예에서, 제1 입력 변수 집합은 공집합이며, 제2 입력 변수 집합은 'Parch, Fare, Age, SibSp, Pclass, Embarked'를 포함하고, 제3 입력 변수 집합은 'Sex'를 포함한다.
24)단계에서 인공지능 모델 학습 시스템(100)은, 상기 제1 내지 제3 입력 변수 집합 중 공집합이 아닌 집합을 선별하고, 공집합이 아닌 집합들을 상호 조합한 조합 집합을 구성한다.
즉, 도 5의 예에서, 제1 입력 변수 집합은 공집합이므로, 조합 집합은 제2 입력 변수 집합(Parch, Fare, Age, SibSp, Pclass, Embarked), 제3 입력 변수 집합(Sex), 제2+제3 입력 변수 집합(Sex, Parch, Fare, Age, SibSp, Pclass, Embarked)의 3가지 조합 집합이 구성된다.
25)단계에서 인공지능 모델 학습 시스템(100)은, 상기 공집합이 아닌 집합과 상기 조합 집합의 각각에 상기 목표 변수를 각각 매칭한 타입의 특징 변수 셋을 구성한다.
즉, 도 5의 예에서, 특징 변수 셋은 (Sex, Survived), (Parch, Fare, Age, SibSp, Pclass, Embarked, Survived), (Sex, Parch, Fare, Age, SibSp, Pclass, Embarked, Survived)으로 구성된다.
이러한 본 실시예는 서로 다른 상관계수 조건의 변수를 포함하는 특징 변수 셋을 구성함으로써, 특징 변수 셋을 다양화시킬 수 있다.
또다른 일실시예로서, 상기 2)단계에서, 상기 복수의 변수 선정기법은, 상기 샘플 데이터를 구성하는 복수의 입력 변수들의 차원 축소에 기반하여 특징 변수 셋을 구성할 입력 변수를 구하는 변수 선정기법을 포함할 수 있다.
차원 축소는 고차원의 원천 데이터에 있는 의미있는 특징은 유지하면서 저차원의 데이터로 변환하는 기법으로서, 주성분 분석(Principal component analysis, PCA), 선형 판별 분석(Linear Discriminant Analysis, LDA) 등이 알려져 있다.
일반적으로 차원 축소는 변수 선택과 변수 추출로 나눌 수 있다. 변수 선택은 특정 변수에 종속성이 강한 불필요한 변수를 제거하고 일부 변수를 선택하는 것이고, 변수 추출은 기존 변수를 저차원의 새로운 변수로 압축해서 추출하는 것이다. 변수 추출에 의해 구한 변수는 기존의 변수가 선형 또는 비선형 변환되어 압축된 것이므로 기존의 변수와는 완전히 다른 값이 된다. 일예로, 주성분 분석은 변수 추출 기법에 해당한다.
이 경우, 상기 특징 변수 셋의 구성은 다음과 같이 수행될 수 있다.
210)단계에서 인공지능 모델 학습 시스템(100)은, 제2 임계값을 설정한다.
도 4 및 도 6의 예에서, 일예로 제2 임계값은 0.95(95%)로 설정한다.
일예로, 제2 임계값의 설정은 실험 또는 경험, 모델 사용 목적을 고려한 임의값 설정 등의 방식으로 이뤄질 수 있으며, 수동 또는 자동으로 이뤄질 수 있다.
220)단계에서 인공지능 모델 학습 시스템(100)은, 상기 샘플 데이터를 구성하는 복수의 입력 변수들의 차원 축소를 수행한다.
바람직하게, 본 실시예에서 상기 차원 축소는 주성분 분석(Principal component analysis, PCA)에 기반하여 수행하며, 샘플 데이터의 n개의 입력 변수들의 집합으로부터 1 내지 n-1개로 각각 차원 축소된 각각의 입력 변수 집합을 변수 추출하는 것이다.
도 4의 예에서, 입력 변수는 'Pclass, Sex, Age, SibSp, Parch, Fare, Embarked'의 총 7개 이므로, n=7이 되며 차원 축소는 1 내지 6개의 변수를 갖는 입력 변수 집합을 추출하도록 수행될 수 있다.
230)단계에서 인공지능 모델 학습 시스템(100)은, 1 내지 n-1개로 각각 차원 축소된 각각의 입력 변수 집합에 대한 복원력을 계산한다.
차원 축소 중 특히 변수 추출 방식의 경우, 차원 축소된 변수를 주성분을 이용하여 다시 원천 데이터의 차원으로 복원할 수 있는데, 일반적으로 재구축 오차가 존재하며 완벽하게 복원되지 않는다. 이를 감안하여, 원천 데이터에 어느 정도로 가깝게 복원되었는지를 판단하기 위해 복원력이 계산될 수 있다. 복원력이 높을수록 원천 데이터로 복원이 잘 되는 것이다. 복원력의 계산은 Jolliffe, I. T. (2002). Principal Component Analysis, second edition Springer-Verlag. ISBN 978-0-387-95442-4 등 다수의 자료를 통해 공지된 바 있다.
도 6은 도 4의 예에 기초하여 주성분 분석을 수행하여 1 내지 6개의 변수를 갖는 입력 변수 집합을 추출하고 각각의 입력 변수 집합의 복원력을 계산한 결과이다.
도 6의 예에서, 절사값을 기준으로 1개 변수로 차원을 축소했을 때 복원력은 0.933, 2개 변수로 차원을 축소했을 때 복원력은 0.998, 3개 변수로 차원을 축소했을 때 복원력은 0.999로 계산된 것을 알 수 있다.
240)단계에서 인공지능 모델 학습 시스템(100)은, 계산된 복원력이 상기 제2 임계값 이상의 값을 가지면서 가장 작은 개수로 차원 축소된 입력 변수 집합을 선정한다.
도 6의 예에서, 1개 변수로 차원을 축소했을 때를 제외하고는, 2~6개 변수로 차원을 축소했을 때에 복원력이 모두 임계값 0.95 이상의 값을 갖는 것을 알 수 있다. 그러므로, 이 중에서 가장 작은 개수로 차원 축소된 입력 변수 집합은 2개인 집합이므로, 해당 집합을 선정한다.
3~6개 변수로 차원 축소된 입력 변수 집합도 임계값 조건을 만족하지만, 변수의 개수가 늘어날수록 모델 학습에 소요되는 시간 및 자원이 증가하므로, 가장 작은 개수로 차원 축소된 입력 변수 집합을 선정하는 것이 바람직하다.
250)단계에서 인공지능 모델 학습 시스템(100)은, 상기 선정한 입력 변수 집합에 상기 샘플 데이터를 구성하는 목표 변수를 매칭한 타입의 특징 변수 셋을 구성한다.
도 6의 예에서, 2개 변수로 차원 축소된 입력 변수 집합에 상기 샘플 데이터를 구성하는 목표 변수를 매칭한 타입의 특징 변수 셋을 구성할 수 있다.
이러한 본 실시예는 복원력이 큰 변수 집합을 이용하여, 원천 데이터의 특징의 손실을 최소화하면서 최대한 차원 축소된 변수를 포함하는 특징 변수 셋을 구할 수 있다.
또다른 일실시예로서, 상기 2)단계에서, 상기 복수의 변수 선정기법은, 상기 샘플 데이터를 구성하는 목표 변수와 각각의 입력 변수 상호 간의 상호정보량에 기반하여 특징 변수 셋을 구성할 입력 변수를 선정하는 변수 선정기법을 포함할 수 있다.
상호정보량(mutual information)은 하나의 변수가 다른 하나의 변수에 대해 제공하는 정보의 양을 의미하며, 두 변수의 결합확률밀도함수와 주변확률밀도함수의 곱의 쿨벡-라이블러 발산으로 정의될 수 있다. 상호정보량은 0 이상의 값을 가지며 0을 가지게 되면 두 변수가 독립임을 의미한다.
이 경우, 상기 특징 변수 셋의 구성은 다음과 같이 수행될 수 있다.
2100)단계에서 인공지능 모델 학습 시스템(100)은, 상기 샘플 데이터를 구성하는 목표 변수와 각각의 입력 변수 상호 간의 상호정보량을 계산한다.
도 7은 도 4의 예에 기초하여 목표 변수와 각각의 입력 변수 상호 간의 상호정보량을 구한 것이다.
2200)단계에서 인공지능 모델 학습 시스템(100)은, 각각의 입력 변수별로 계산된 상호정보량들을 내림차순으로 정렬한다.
도 7은 계산된 상호정보량들을 내림차순으로 정렬한 상태를 나타내며, 도 9는 내림차순 정렬된 상태를 그래프로 나타낸 것이다.
2300)단계에서 인공지능 모델 학습 시스템(100)은, 내림차순으로 정렬된 상호정보량들의 평균변화율을 계산한다.
바람직하게, 상기 평균변화율 R은 하기 수학식1을 통해 계산될 수 있다.
[수학식1]
R = (MImin - MImax) ÷ n
(단, MImin: 내림차순으로 정렬된 상호정보량들 중 가장 작은 값의 상호정보량,
MImax: 내림차순으로 정렬된 상호정보량들 중 가장 큰 값의 상호정보량,
n: 입력 변수의 총 개수)
도 9의 예에서, 평균변화율은 (Survived, Fare) 변수의 상호정보량(MImax)으로부터 (Survived, Embarked) 변수의 상호정보량(MImin)으로의 변화율을 나타내는 것으로서, -0.041 (= (0.014233 - 0.302990) ÷ 7)로 계산된다.
도 9의 그래프를 참조할 때, 도 9의 빨간색 라인의 기울기(음의 기울기)로 이해될 수 있다.
2400)단계에서 인공지능 모델 학습 시스템(100)은, 내림차순으로 정렬된 상호정보량들 중 인접한 2개의 상호정보량들의 순간변화율을 각각 계산한다.
바람직하게, 상기 순간변화율 Rn은 하기 수학식2를 통해 계산될 수 있다.
[수학식2]
Rn = MIn+1 - MIn
(단, MIn+1: 내림차순으로 정렬된 상호정보량 중 n+1 번째 순위의 상호정보량,
MIn: 내림차순으로 정렬된 상호정보량 중 n 번째 순위의 상호정보량,
Rn: n 번째 순위의 상호정보량과 n+1 번째 순위의 상호정보량의 순간변화율)
도 8은 도 7에 제시된 상호정보량들에 기초하여 순간변화율을 구한 것으로서, 음의 부호는 삭제된 상태로 표시된 것이다.
도 9의 그래프를 참조할 때, R1(= MI2 - MI1)은 (Survived, Fare) 변수의 상호정보량(MI1)으로부터 (Survived, Sex) 변수의 상호정보량(MI2)으로의 순간변화율을 나타내는 것으로서, 도 9의 가장 좌측 파란색 라인의 기울기(음의 기울기)로 이해될 수 있다.
또한, R2(= MI3 - MI2)은 (Survived, Sex) 변수의 상호정보량(MI2)으로부터 (Survived, Age) 변수의 상호정보량(MI3)으로의 순간변화율을 나타내는 것으로서, 도 9의 좌측으로부터 2번째 파란색 라인의 기울기(음의 기울기)로 이해될 수 있다.
R1과 R2가 모두 음의 값을 가지므로, R1 < R2 의 관계로 볼 수 있다.
이러한 방식으로 R1 내지 R6을 계산할 수 있다.
2500)단계에서 인공지능 모델 학습 시스템(100)은, 평균변화율 R보다 더 작은 값을 갖는 순간변화율 Rn이 계산된 인접한 2개의 상호정보량들을 모두 선정하고, 평균변화율 R이 계산된 2개의 상호정보량들을 선정한다.
도 9의 그래프를 참조할 때, 평균변화율 R보다 더 작은 값을 갖는 순간변화율 Rn이 계산된 인접한 2개의 상호정보량들은, 평균변화율을 나타내는 빨간색 라인의 기울기(음의 기울기)보다 더 급격한 음의 기울기를 갖는 파란색 라인의 기울기(음의 기울기)를 갖는 인접한 2개의 상호정보량들로 이해될 수 있다.
도 9의 예에서, 평균변화율 R보다 더 작은 값을 갖는 순간변화율 Rn이 계산된 인접한 2개의 상호정보량들은, R1이 계산된 (Survived, Fare) 변수의 상호정보량(MI1)과 (Survived, Sex) 변수의 상호정보량(MI2), R2가 계산된 (Survived, Sex) 변수의 상호정보량(MI2)과 (Survived, Age) 변수의 상호정보량(MI3)이다.
또한, 도 9의 예에서, 평균변화율 R이 계산된 2개의 상호정보량들은 (Survived, Fare) 변수의 상호정보량(MImax)과 (Survived, Embarked) 변수의 상호정보량(MImin)이다.
2600)단계에서 인공지능 모델 학습 시스템(100)은, 상기 선정한 상호정보량들의 계산의 기초가 된 입력 변수들을 상기 내림차순으로 정렬한다.
도 9의 예에서, 입력 변수들의 내림차순 정렬은 'Fare, Sex, Age, Embarked'의 순서로 구성될 수 있다.
2700)단계에서 인공지능 모델 학습 시스템(100)은, 상기 내림차순으로 정렬한 입력 변수들을 누적 형태로 조합한 하나 이상의 입력 변수 집합을 구성하고, 상기 입력 변수 집합의 각각에 상기 목표 변수를 각각 매칭한 타입의 특징 변수 셋을 구성한다.
바람직하게, 입력 변수들을 누적 형태로 조합하여 특징 변수 셋의 구성 시에는 순간변화율 계산이 이뤄진 인접한 입력 변수들이 함께 포함되도록 조합한다.
그 결과, 도 9의 예에서, 특징 변수 셋은 (Fare, Sex, Survived), (Fare, Sex, Age, Survived), (Fare, Sex, Age, Embarked, Survived)와 같이 구성될 수 있다.
이러한 본 실시예는 큰 정보량을 갖는 변수로부터 작은 정보량을 갖는 변수로 서열화하고, 비슷한 정보량을 갖는 변수끼리 그룹화하는 방식으로 특징 변수 셋을 다양화시킬 수 있다.
한편, 지도학습이 아닌 경우(예, 비지도학습, 강화학습), 상기 2)단계에서 복수의 변수 선정기법에 기초하여 특징 변수 셋을 구성하는 과정은 다음과 같이 이뤄질 수 있다.
일실시예로서, 상기 2)단계에서, 상기 복수의 변수 선정기법은, 상기 샘플 데이터를 구성하는 복수의 변수들 상호 간의 상관계수에 기반하여 특징 변수 셋을 구성할 변수를 선정하는 변수 선정기법을 포함할 수 있다.
삭제
삭제
삭제
또다른 일실시예로서, 상기 2)단계에서, 상기 복수의 변수 선정기법은, 상기 샘플 데이터를 구성하는 복수의 변수들의 차원 축소에 기반하여 특징 변수 셋을 구성할 변수를 구하는 변수 선정기법을 포함할 수 있다.
이 경우, 상기 특징 변수 셋을 구성하는 것은, 서로 다른 개수로 각각 차원 축소된 각각의 변수 집합에 대한 복원력을 계산하여 미리 설정된 임계값 이상의 복원력을 갖는 변수 집합에 기초하여 특징 변수 셋을 구성할 수 있다.
예를 들어, 차원 축소된 각각의 변수 집합에 대한 복원력을 계산하여 미리 설정된 임계값 이상의 복원력을 가지면서 가장 작은 개수로 차원 축소된 변수 집합에 기초하여 특징 변수 셋을 구성할 수 있다.
이 과정에서, 비지도학습의 경우에는 입력 변수 및 목표 변수의 관계를 고려할 필요는 없다.
또다른 일실시예로서, 상기 2)단계에서, 상기 복수의 변수 선정기법은, 상기 샘플 데이터를 구성하는 복수의 변수들 상호 간의 상호정보량에 기반하여 특징 변수 셋을 구성할 변수를 선정하는 변수 선정기법을 포함할 수 있다.
삭제
삭제
삭제
상기와 같은 특징 변수 셋의 구성은 지도학습에도 적용될 수 있음은 물론이다.
한편, 상기 5)단계의 성능 평가는 상기 4)단계에서 각각의 조합을 구성하는 인공지능 모델의 타입에 따라 적합한 평가 기준(또는 평가 기법)에 따라 수행할 수 있다.
일예로, 상기 4)단계에서, 상기 복수의 타입의 인공지능 모델은, 지도학습에 해당하는 분류 문제(classification problems)를 위한 하나 이상의 타입의 인공지능 모델을 포함할 수 있다.
이 경우, 상기 5)단계에서, 상기 성능 평가는, 정확도, 정밀도, 재현율, F1 스코어 중 어느 하나 이상의 평가 기준에 기초하여 수행할 수 있다.
또다른 예로, 상기 4)단계에서, 상기 복수의 타입의 인공지능 모델은, 지도학습에 해당하는 회귀 문제(regression problems)를 위한 하나 이상의 타입의 인공지능 모델을 포함할 수 있다.
이 경우, 상기 5)단계에서, 상기 성능 평가는, 평균제곱오차(Mean Square Error, MSE), 평균제곱근오차(Root Mean Square Error, RMSE), 평균절대오차(Mean Absolute Error, MAE), 평균절대비오차(Mean Absolute Percentage Error, MAPE) 중 어느 하나 이상의 평가 기준에 기초하여 성능 평가를 수행할 수 있다.
또다른 예로, 상기 4)단계에서, 상기 복수의 타입의 인공지능 모델은, 비지도학습에 해당하는 군집 문제(clustering problems)를 위한 하나 이상의 타입의 인공지능 모델을 포함할 수 있다.
이 경우, 상기 5)단계에서, 상기 성능 평가는, 던 지수(Dunn Index), 실루엣 지수(Silhouette Index) 중 어느 하나 이상의 평가 기준에 기초하여 성능 평가를 수행할 수 있다.
상술한 바와 같이, 성능 평가의 수행 시 2 이상의 성능 평가 기준을 적용하는 경우, 각각의 조합별로 2 이상의 성능 평가 기준에 의해 2 이상의 성능 평가 결과를 산출하고 이들을 하나의 값으로 가중 합산하여 상호 비교할 수도 있다.
본 발명의 실시예들은 다양한 컴퓨터에서 실행하기 위한 프로그램과 이를 기록한 컴퓨터 판독 가능 기록 매체를 포함한다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD, USB 드라이브와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
100: 인공지능 모델 학습 시스템

Claims (16)

  1. 인공지능 모델 학습 시스템에서 수행하는 인공지능 모델의 학습 방법으로서,
    1) 전체 데이터의 일부를 샘플 데이터로서 추출하는 단계;
    2) 복수의 변수 선정기법에 기초하여, 상기 샘플 데이터로부터 샘플 학습 데이터 셋을 구성하기 위한 복수의 타입의 특징 변수 셋을 구성하는 단계;
    3) 상기 복수의 타입의 특징 변수 셋에 기초하여, 상기 샘플 데이터로부터 복수의 샘플 학습 데이터 셋을 구성하는 단계;
    4) 복수의 타입의 인공지능 모델의 각각에 대해 상기 복수의 샘플 학습 데이터 셋의 각각을 매칭한 조합들을 구성하고, 각각의 조합별로 학습을 수행하는 단계;
    5) 학습이 완료된 각각의 조합별로 성능 평가를 수행하는 단계;
    6) 성능 평가 결과가 가장 높은 것으로 결정된 조합의 샘플 학습 데이터 셋의 구성의 기초가 된 특징 변수 셋의 타입에 기초하여, 상기 전체 데이터로부터 전체 학습 데이터 셋을 구성하는 단계; 및
    7) 성능 평가 결과가 가장 높은 것으로 결정된 조합의 인공지능 모델에 상기 전체 학습 데이터 셋을 입력하고 학습을 수행하여 학습된 인공지능 모델을 생성하는 단계;를 포함하며,
    상기 2)단계에서,
    상기 특징 변수 셋을 구성하는 것은,
    2100) 상기 샘플 데이터를 구성하는 목표 변수와 각각의 입력 변수 상호 간의 상호정보량을 계산하는 단계;
    2200) 각각의 입력 변수별로 계산된 상호정보량들을 내림차순으로 정렬하는 단계;
    2300) 내림차순으로 정렬된 상호정보량들의 평균변화율을 계산하는 단계- 상기 평균변화율 R은 하기 수학식1을 통해 계산됨-
    [수학식1]
    R = (MImin - MImax) ÷ n
    (단, MImin: 내림차순으로 정렬된 상호정보량들 중 가장 작은 값의 상호정보량,
    MImax: 내림차순으로 정렬된 상호정보량들 중 가장 큰 값의 상호정보량,
    n: 입력 변수의 총 개수);
    2400) 내림차순으로 정렬된 상호정보량들 중 인접한 2개의 상호정보량들의 순간변화율을 각각 계산하는 단계- 상기 순간변화율 Rn은 하기 수학식2를 통해 계산됨-
    [수학식2]
    Rn = MIn+1 - MIn
    (단, MIn+1: 내림차순으로 정렬된 상호정보량 중 n+1 번째 순위의 상호정보량,
    MIn: 내림차순으로 정렬된 상호정보량 중 n 번째 순위의 상호정보량,
    Rn: n 번째 순위의 상호정보량과 n+1 번째 순위의 상호정보량의 순간변화율);
    2500) 평균변화율 R보다 더 작은 값을 갖는 순간변화율 Rn이 계산된 인접한 2개의 상호정보량들을 모두 선정하고, 평균변화율 R이 계산된 2개의 상호정보량들을 선정하는 단계;
    2600) 상기 선정한 상호정보량들의 계산의 기초가 된 입력 변수들을 상기 내림차순으로 정렬하는 단계; 및
    2700) 상기 내림차순으로 정렬한 입력 변수들을 누적 형태로 조합한 하나 이상의 입력 변수 집합을 구성하고, 상기 입력 변수 집합의 각각에 상기 목표 변수를 각각 매칭한 타입의 특징 변수 셋을 구성하는 단계;를 포함하는 것을 특징으로 하는 인공지능 모델의 학습 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 하나 이상의 명령을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    전체 데이터의 일부를 샘플 데이터로서 추출하고;
    복수의 변수 선정기법에 기초하여, 상기 샘플 데이터로부터 샘플 학습 데이터 셋을 구성하기 위한 복수의 타입의 특징 변수 셋을 구성하며;
    상기 복수의 타입의 특징 변수 셋에 기초하여, 상기 샘플 데이터로부터 복수의 샘플 학습 데이터 셋을 구성하고;
    복수의 타입의 인공지능 모델의 각각에 대해 상기 복수의 샘플 학습 데이터 셋의 각각을 매칭한 조합들을 구성하고, 각각의 조합별로 학습을 수행하며;
    학습이 완료된 각각의 조합별로 성능 평가를 수행하고;
    성능 평가 결과가 가장 높은 것으로 결정된 조합의 샘플 학습 데이터 셋의 구성의 기초가 된 특징 변수 셋의 타입에 기초하여, 상기 전체 데이터로부터 전체 학습 데이터 셋을 구성하며;
    성능 평가 결과가 가장 높은 것으로 결정된 조합의 인공지능 모델에 상기 전체 학습 데이터 셋을 입력하고 학습을 수행하여 학습된 인공지능 모델을 생성하는 것;을 특징으로 하되,
    상기 특징 변수 셋을 구성하는 것은,
    상기 샘플 데이터를 구성하는 목표 변수와 각각의 입력 변수 상호 간의 상호정보량을 계산하고;
    각각의 입력 변수별로 계산된 상호정보량들을 내림차순으로 정렬하며;
    내림차순으로 정렬된 상호정보량들의 평균변화율을 계산하고- 상기 평균변화율 R은 하기 수학식1을 통해 계산됨-
    [수학식1]
    R = (MImin - MImax) ÷ n
    (단, MImin: 내림차순으로 정렬된 상호정보량들 중 가장 작은 값의 상호정보량,
    MImax: 내림차순으로 정렬된 상호정보량들 중 가장 큰 값의 상호정보량,
    n: 입력 변수의 총 개수);
    내림차순으로 정렬된 상호정보량들 중 인접한 2개의 상호정보량들의 순간변화율을 각각 계산하며- 상기 순간변화율 Rn은 하기 수학식2를 통해 계산됨-
    [수학식2]
    Rn = MIn+1 - MIn
    (단, MIn+1: 내림차순으로 정렬된 상호정보량 중 n+1 번째 순위의 상호정보량,
    MIn: 내림차순으로 정렬된 상호정보량 중 n 번째 순위의 상호정보량,
    Rn: n 번째 순위의 상호정보량과 n+1 번째 순위의 상호정보량의 순간변화율);
    평균변화율 R보다 더 작은 값을 갖는 순간변화율 Rn이 계산된 인접한 2개의 상호정보량들을 모두 선정하고, 평균변화율 R이 계산된 2개의 상호정보량들을 선정하고;
    상기 선정한 상호정보량들의 계산의 기초가 된 입력 변수들을 상기 내림차순으로 정렬하며;
    상기 내림차순으로 정렬한 입력 변수들을 누적 형태로 조합한 하나 이상의 입력 변수 집합을 구성하고, 상기 입력 변수 집합의 각각에 상기 목표 변수를 각각 매칭한 타입의 특징 변수 셋을 구성하는 것;을 특징으로 하는 인공지능 모델 학습 시스템.
  16. 인공지능 모델 학습 시스템에서 인공지능 모델의 학습 방법을 실행하도록 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서,
    상기 인공지능 모델의 학습 방법은,
    1) 전체 데이터의 일부를 샘플 데이터로서 추출하는 단계;
    2) 복수의 변수 선정기법에 기초하여, 상기 샘플 데이터로부터 샘플 학습 데이터 셋을 구성하기 위한 복수의 타입의 특징 변수 셋을 구성하는 단계;
    3) 상기 복수의 타입의 특징 변수 셋에 기초하여, 상기 샘플 데이터로부터 복수의 샘플 학습 데이터 셋을 구성하는 단계;
    4) 복수의 타입의 인공지능 모델의 각각에 대해 상기 복수의 샘플 학습 데이터 셋의 각각을 매칭한 조합들을 구성하고, 각각의 조합별로 학습을 수행하는 단계;
    5) 학습이 완료된 각각의 조합별로 성능 평가를 수행하는 단계;
    6) 성능 평가 결과가 가장 높은 것으로 결정된 조합의 샘플 학습 데이터 셋의 구성의 기초가 된 특징 변수 셋의 타입에 기초하여, 상기 전체 데이터로부터 전체 학습 데이터 셋을 구성하는 단계; 및
    7) 성능 평가 결과가 가장 높은 것으로 결정된 조합의 인공지능 모델에 상기 전체 학습 데이터 셋을 입력하고 학습을 수행하여 학습된 인공지능 모델을 생성하는 단계;를 포함하며,
    상기 2)단계에서,
    상기 특징 변수 셋을 구성하는 것은,
    2100) 상기 샘플 데이터를 구성하는 목표 변수와 각각의 입력 변수 상호 간의 상호정보량을 계산하는 단계;
    2200) 각각의 입력 변수별로 계산된 상호정보량들을 내림차순으로 정렬하는 단계;
    2300) 내림차순으로 정렬된 상호정보량들의 평균변화율을 계산하는 단계- 상기 평균변화율 R은 하기 수학식1을 통해 계산됨-
    [수학식1]
    R = (MImin - MImax) ÷ n
    (단, MImin: 내림차순으로 정렬된 상호정보량들 중 가장 작은 값의 상호정보량,
    MImax: 내림차순으로 정렬된 상호정보량들 중 가장 큰 값의 상호정보량,
    n: 입력 변수의 총 개수);
    2400) 내림차순으로 정렬된 상호정보량들 중 인접한 2개의 상호정보량들의 순간변화율을 각각 계산하는 단계- 상기 순간변화율 Rn은 하기 수학식2를 통해 계산됨-
    [수학식2]
    Rn = MIn+1 - MIn
    (단, MIn+1: 내림차순으로 정렬된 상호정보량 중 n+1 번째 순위의 상호정보량,
    MIn: 내림차순으로 정렬된 상호정보량 중 n 번째 순위의 상호정보량,
    Rn: n 번째 순위의 상호정보량과 n+1 번째 순위의 상호정보량의 순간변화율);
    2500) 평균변화율 R보다 더 작은 값을 갖는 순간변화율 Rn이 계산된 인접한 2개의 상호정보량들을 모두 선정하고, 평균변화율 R이 계산된 2개의 상호정보량들을 선정하는 단계;
    2600) 상기 선정한 상호정보량들의 계산의 기초가 된 입력 변수들을 상기 내림차순으로 정렬하는 단계; 및
    2700) 상기 내림차순으로 정렬한 입력 변수들을 누적 형태로 조합한 하나 이상의 입력 변수 집합을 구성하고, 상기 입력 변수 집합의 각각에 상기 목표 변수를 각각 매칭한 타입의 특징 변수 셋을 구성하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
KR1020230106853A 2023-08-16 2023-08-16 인공지능 모델의 학습 방법, 학습 시스템 및 이를 위한컴퓨터 프로그램 KR102631386B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230106853A KR102631386B1 (ko) 2023-08-16 2023-08-16 인공지능 모델의 학습 방법, 학습 시스템 및 이를 위한컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230106853A KR102631386B1 (ko) 2023-08-16 2023-08-16 인공지능 모델의 학습 방법, 학습 시스템 및 이를 위한컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR102631386B1 true KR102631386B1 (ko) 2024-01-31

Family

ID=89717277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230106853A KR102631386B1 (ko) 2023-08-16 2023-08-16 인공지능 모델의 학습 방법, 학습 시스템 및 이를 위한컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102631386B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160143512A (ko) 2015-06-04 2016-12-14 더 보잉 컴파니 머신 러닝을 위한 진보된 분석 기반시설
KR20180079995A (ko) 2017-01-03 2018-07-11 주식회사 데일리인텔리전스 머신러닝을 기반으로 데이터를 분석하는 프로그램을 생성하기 위한 방법
KR102102418B1 (ko) 2018-12-10 2020-04-20 주식회사 티포러스 인공지능 솔루션을 테스트하는 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160143512A (ko) 2015-06-04 2016-12-14 더 보잉 컴파니 머신 러닝을 위한 진보된 분석 기반시설
KR20180079995A (ko) 2017-01-03 2018-07-11 주식회사 데일리인텔리전스 머신러닝을 기반으로 데이터를 분석하는 프로그램을 생성하기 위한 방법
KR102102418B1 (ko) 2018-12-10 2020-04-20 주식회사 티포러스 인공지능 솔루션을 테스트하는 장치 및 방법

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Frederic Ros et al. "A progressive sampling framework for clustering", ELSEVIER, Neurocomputing 450 (2021) 48-60, 2021.04.13.* *
Jason Brownlee. How to Choose a Feature Selection Method For Machine Learning. Machine Learning Mastery. Blog. 2020.08.20.* *
Mohamed Bennasar et al. "Feature selection using Joint Mutual Information Maximisation", ELSEVIER, Expert Systems with Applications Volume 42, Issue 22, 1 December 2015, Pages 8520-8532, 2015.07.19. *
Sergio Valle et al. "Selection of the Number of Principal Components: The Variance of the Reconstruction Error Criterion with a Comparison to Other Methods", Ind. Eng. Chem. Res. 1999, 38, 4389-4401.* *
Wanfu Gao et al. "Class-specific mutual information variation for feature selection", ELSEVIER, Pattern Recognition, Volume 79, July 2018, Pages 328-339, 2018.02.19. *
Xueqiang Zeng et al. "Progressive Sampling-Based Bayesian Optimization for Efficient and Automatic Machine Learning Model Selection" arxiv.org. arXiv:1812.02855, 2018.12.06.* *

Similar Documents

Publication Publication Date Title
CN110263227B (zh) 基于图神经网络的团伙发现方法和系统
Chen et al. Semi-supervised learning via regularized boosting working on multiple semi-supervised assumptions
US7756799B2 (en) Feature selection based on partial ordered set of classifiers
Padh et al. Addressing fairness in classification with a model-agnostic multi-objective algorithm
Garreta et al. Scikit-learn: machine learning simplified: implement scikit-learn into every step of the data science pipeline
JP2023546021A (ja) 機械学習モデルにおける反実仮想説明のためのシステム及び方法
Wang et al. Deep generative mixture model for robust imbalance classification
Suresh et al. An integrated approach using IF-TOPSIS, fuzzy DEMATEL, and enhanced CSA optimized ANFIS for software risk prediction
Larrañaga et al. Estimation of distribution algorithms in machine learning: a survey
Mali et al. Open price prediction of stock market using regression analysis
US11983633B2 (en) Machine learning predictions by generating condition data and determining correct answers
Urgun et al. Composite power system reliability evaluation using importance sampling and convolutional neural networks
Dhillon et al. Inference-driven metric learning for graph construction
CN116304518A (zh) 用于信息推荐的异质图卷积神经网络模型构建方法及系统
Jagadeesan et al. An optimized ensemble support vector machine-based extreme learning model for real-time big data analytics and disaster prediction
KR102631386B1 (ko) 인공지능 모델의 학습 방법, 학습 시스템 및 이를 위한컴퓨터 프로그램
Arcanjo et al. Semi-supervised genetic programming for classification
Gonzalez Improving deep learning through loss-function evolution
Saravanan et al. Class probability distribution based maximum entropy model for classification of datasets with sparse instances
Lebbah et al. A probabilistic self-organizing map for binary data topographic clustering
Papič et al. Conditional generative positive and unlabeled learning
JP6230501B2 (ja) 縮約素性生成装置、情報処理装置、方法、及びプログラム
US12093840B2 (en) Method of training object prediction models using ambiguous labels
Wilhelmsson Hierarchical Clustering of Time Series using Gaussian Mixture Models and Variational Autoencoders
CN113139089B (zh) Sddne模型协同过滤模型的电影推荐方法、系统、介质及设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant