KR102184395B1

KR102184395B1 - 결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Info

Publication number: KR102184395B1
Application number: KR1020200053989A
Authority: KR
Inventors: 박승범; 김정일
Original assignee: 호서대학교 산학협력단
Priority date: 2020-05-06
Filing date: 2020-05-06
Publication date: 2020-11-30

Abstract

본 발명의 결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 장치는 분류모델(CM)을 실행시키는 분류부를 포함한다. 분류모델(CM)은 각각이 복수의 데이터의 입력값이 입력되는 복수의 입력노드를 포함하는 입력계층과, 상기 복수의 입력노드 중 어느 하나의 입력노드에 가중치를 적용하고, 가중치가 적용된 입력값에 대해 제1 활성화 함수를 통한 연산을 수행하여 복수의 구간을 구분하는 구분값을 산출하는 복수의 구분노드를 포함하는 구분계층과, 상기 복수의 구분노드 각각의 구분값에 가중치를 적용하고, 가중치가 적용된 구분값을 합산하고, 합산된 복수의 구분값에 제2 활성화 함수를 통한 연산을 수행하여 연산값을 산출하는 복수의 연산노드를 포함하는 완전연결계층과, 상기 완전연결계층의 복수의 연산노드 각각의 연산값에 대해 가중치를 적용하고, 가중치가 적용된 복수의 연산값을 합산한 출력값을 산출하는 복수의 출력노드를 포함하는 출력계층을 포함한다.

Description

결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체{Apparatus for classifying massive amounts of data using decision trees and deep neural networks, method therefor, and computer recordable medium storing program to perform the method}

본 발명은 데이터 분류 기술에 관한 것으로, 보다 상세하게는, 결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다.

결정 트리(decision tree)는 의사 결정 규칙과 그 결과들을 트리 구조로 도식화한 의사 결정 지원 도구의 일종이다. 결정 트리는 운용 과학, 그 중에서도 의사 결정 분석에서 목표에 가장 가까운 결과를 낼 수 있는 전략을 찾기 위해 주로 사용된다. 이에 대응하여, 심층 신경망(Deep Neural Network, DNN)은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network, ANN)이다. 심층 신경망은 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다.

한국등록특허 제1802096호 2017년 11월 21일 등록 (명칭: 반도체 공정에서 불량을 분류 및 진단하는 장치 및 방법)

본 발명의 목적은 결정트리 및 심층신경망을 이용한 반도체 불량을 검출하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 장치는 각각이 복수의 데이터의 입력값이 입력되는 복수의 입력노드를 포함하는 입력계층과, 상기 복수의 입력노드 중 어느 하나의 입력노드에 가중치를 적용하고, 가중치가 적용된 입력값에 대해 제1 활성화 함수를 통한 연산을 수행하여 복수의 구간을 구분하는 구분값을 산출하는 복수의 구분노드를 포함하는 구분계층과, 상기 복수의 구분노드 각각의 구분값에 가중치를 적용하고, 가중치가 적용된 구분값을 합산하고, 합산된 복수의 구분값에 제2 활성화 함수를 통한 연산을 수행하여 연산값을 산출하는 복수의 연산노드를 포함하는 완전연결계층과, 상기 완전연결계층의 복수의 연산노드 각각의 연산값에 대해 가중치를 적용하고, 가중치가 적용된 복수의 연산값을 합산한 출력값을 산출하는 복수의 출력노드를 포함하는 출력계층을 포함하는 분류모델(CM)을 실행시키는 분류부를 포함한다.

상기 제1 활성화 함수를 통한 연산은 수학식

에 따라 수행되며, 상기 x는 상기 입력값이고, 연속 변수(continuous variable)이고, 상기 w는 상기 가중치이며,

이고, 상기 n은 상기 복수의 구간의 개수이고, 상기 복수의 구간의 구분점이

이고, 상기 복수의 구간의 구분점이

와 같이 단조 증가할 때, 상기 b는 바이어스이며,

이고, 상기

인 것을 특징으로 한다.

상기

일 때, 수학식

에 따라 교차엔트로피 손실이 최소가 되도록 경사하강법을 통해 상기 구분계층 및 상기 완전연결계층 양자 모두를 포함하는 상기 분류모델의 가중치 및 바이어스를 최적화하는 학습부를 더 포함하며, 상기 E는 교차엔트로피 손실이고, 상기 i는 출력노드의 인덱스이고, 상기 y는 출력값이고, 상기 y'는 기댓값인 것을 특징으로 한다.

상기 복수의 구분노드 각각의 가중치 및 바이어스를 통해 상기 복수의 입력노드 각각으로부터 상기 복수의 구분노드로 분할되는 분할 기준을 도출하고, 상기 도출된 분할 기준을 시각화하는 시각화처리부를 더 포함한다.

상기 출력계층은 상기 복수의 출력노드의 출력값을 결합하여 잠재벡터를 산출하고, 상기 장치는 상기 산출된 잠재벡터를 기초로 소정의 판정 기준에 따라 데이터의 분류를 판정한 판정값을 도출하고, 상기 잠재벡터를 소정의 벡터공간에 사상하고, 사상된 벡터공간에서 중심벡터와의 거리를 기초로 상기 판정값의 강도를 산출하고, 산출된 판정값의 강도를 시각화하는 시각화처리부를 더 포함한다.

상기 시각화처리부는 상기 산출된 판정값의 강도를 상기 출력노드의 엔트로피로 나누어 상기 출력값의 신뢰도를 산출하고, 산출된 신뢰도를 시각화하는 것을 특징으로 한다.

상기 장치는 복수의 데이터에서 고유값(eigen value)이 가장 큰 2개의 고유벡터(eigen vector)를 도출하고, 상기 복수의 데이터를 상기 도출된 고유벡터의 2개의 축에 사상하여 특징벡터를 생성하고, 생성된 특징벡터를 상기 입력값으로 상기 입력층에 입력하는 전처리부를 더 포함한다.

상기 장치는 복수의 데이터를 소정의 벡터공간에 임베딩하여 복수의 데이터 각각의 특징을 도출한 복수의 특징벡터를 생성하고, 생성된 특징벡터를 상기 입력값으로 상기 입력층에 입력하는 전처리부를 더 포함한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 장치는 복수의 데이터를 특징벡터로 변환하여 입력값을 생성하는 전처리부와, 결정트리의 계층인 구분계층과 심층신경망의 계층인 완전연결계층을 포함하는 분류모델을 통해 상기 입력값이 학습된 분류에 속할 확률을 산출하여 출력값으로 출력하는 분류부와, 상기 분류부의 출력값을 기초로 상기 입력값이 속하는 분류를 판정하여 판정값을 산출하는 시각화부를 포함한다.

상기 분류모델은 각각이 복수의 데이터의 입력값이 입력되는 복수의 입력노드를 포함하는 입력계층과, 상기 복수의 입력노드 중 어느 하나의 입력노드에 가중치를 적용하고, 가중치가 적용된 입력값에 대해 제1 활성화 함수를 통한 연산을 수행하여 복수의 구간을 구분하는 구분값을 산출하는 복수의 구분노드를 포함하는 구분계층과, 상기 복수의 구분노드 각각의 구분값에 가중치를 적용하고, 가중치가 적용된 구분값을 합산하고, 합산된 복수의 구분값에 제2 활성화 함수를 통한 연산을 수행하여 연산값을 산출하는 복수의 연산노드를 포함하는 완전연결계층과, 상기 완전연결계층의 복수의 연산노드 각각의 연산값에 대해 가중치를 적용하고, 가중치가 적용된 복수의 연산값을 합산한 출력값을 산출하는 복수의 출력노드를 포함하는 출력계층을 포함한다.

상기 제1 활성화 함수를 통한 연산은 수학식

이고, 상기 복수의 구간의 구분점이

와 같이 단조 증가할 때, 상기 b는 바이어스이며,

이고, 상기

인 것을 특징으로 한다.

상기

일 때, 수학식

에 따라 교차엔트로피 손실이 최소가 되도록 경사하강법을 통해 상기 구분계층 및 상기 완전연결계층 양자 모두를 포함하는 상기 분류모델의 가중치 및 바이어스를 최적화하는 학습부를 더 포함한다. 여기서, 상기 E는 교차엔트로피 손실이고, 상기 i는 출력노드의 인덱스이고, 상기 y는 출력값이고, 상기 y'는 기댓값인 것을 특징으로 한다.

상기 출력계층은 상기 복수의 출력노드의 출력값을 결합하여 잠재벡터를 산출하고, 산출된 잠재벡터를 기초로 소정의 판정 기준에 따라 데이터의 분류를 판정한 판정값을 도출하고, 상기 장치는 상기 잠재벡터를 소정의 벡터공간에 사상하고, 사상된 벡터공간에서 중심벡터와의 거리를 기초로 상기 판정값의 강도를 산출하고, 산출된 판정값의 강도를 시각화하며, 상기 산출된 판정값의 강도를 상기 출력노드의 엔트로피로 나누어 상기 출력값의 신뢰도를 산출하고, 산출된 신뢰도를 시각화하며, 각 구분노드의 가중치 및 바이어스를 통해 입력층의 복수의 입력노드 각각으로부터 분류모델의 복수의 구분노드로 분할되는 분할 기준을 도출하고, 도출된 도출된 분할 기준을 시각화하는 시각화처리부를 더 포함한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 방법은 분류부의 분류모델이 실행되고, 상기 분류모델의 입력계층의 복수의 입력노드 각각에 입력값이 입력되면, 상기 분류모델의 구분계층의 복수의 구분노드가 상기 복수의 입력노드 중 어느 하나의 입력노드에 가중치를 적용하고, 가중치가 적용된 입력값에 대해 제1 활성화 함수를 통한 연산을 수행하여 복수의 구간을 구분하는 구분값을 산출하는 단계와, 상기 분류모델의 완전연결계층의 복수의 연산노드가 상기 복수의 구분노드 각각의 구분값에 가중치를 적용하고, 가중치가 적용된 구분값을 합산하고, 합산된 복수의 구분값에 제2 활성화 함수를 통한 연산을 수행하여 연산값을 산출하는 단계와, 상기 분류모델의 출력계층의 복수의 출력노드가 상기 완전연결계층의 복수의 연산노드 각각의 연산값에 대해 가중치를 적용하고, 가중치가 적용된 복수의 연산값을 합산한 출력값을 산출하는 단계를 포함한다.

상기 구분값을 산출하는 단계는 상기 분류모델의 구분계층의 복수의 구분노드 각각이 수학식

에 따라 상기 구분값을 산출하며, 상기 x는 상기 입력값이고, 연속 변수(continuous variable)이고, 상기 w는 상기 가중치이며,

이고, 상기 복수의 구간의 구분점이

와 같이 단조 증가할 때, 상기 b는 바이어스이며,

이고, 상기

인 것을 특징으로 한다.

상기 구분값을 산출하는 단계 전, 학습부가 수학식

에 따라 교차엔트로피 손실이 최소가 되도록 경사하강법을 통해 상기 구분계층 및 상기 완전연결계층 양자 모두를 포함하는 상기 분류모델의 가중치 및 바이어스를 최적화하는 학습 단계를 더 포함한다. 여기서, 상기 E는 교차엔트로피 손실이고, 상기 i는 출력노드의 인덱스이고, 상기 y는 출력값이고, 상기 y'는 기댓값인 것을 특징으로 한다.

상기 출력값을 산출하는 단계 후, 시각화처리부가 상기 구분노드 각각의 가중치 및 바이어스를 통해 상기 입력층의 복수의 입력노드 각각으로부터 상기 구분노드의 복수의 구분노드로 분할되는 분할 기준을 도출하는 단계와, 상기 시각화처리부가 상기 도출된 분할 기준을 시각화하는 단계를 더 포함한다.

상기 출력값을 산출하는 단계 후, 상기 출력계층이 상기 복수의 출력노드의 출력값을 결합하여 잠재벡터를 산출하는 단계와, 시각화처리부가 상기 산출된 잠재벡터를 기초로 소정의 판정 기준에 따라 데이터의 분류를 판정한 판정값을 도출하는 단계와, 상기 시각화처리부가 상기 잠재벡터를 소정의 벡터공간에 사상하고, 사상된 벡터공간에서 중심벡터와의 거리를 기초로 상기 판정값의 강도를 산출하고, 산출된 판정값의 강도를 시각화하는 단계와, 상기 시각화처리부가 상기 산출된 판정값의 강도를 상기 출력노드의 엔트로피로 나누어 상기 출력값의 신뢰도를 산출하고, 산출된 신뢰도를 시각화하는 단계를 더 포함한다.

본 발명의 다른 견지에 따르면, 전술한 본 발명의 바람직한 실시예에 따른 대량의 데이터를 분류하기 위한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다.

본 발명에 따르면, 결정트리 및 심층신경망을 이용하여 반도체 불량을 검출할 뿐만 아니라 불량이 발생했을 때 발생된 불량의 종류 및 불량이 발생한 원인에 대한 설명을 제공할 수 있다.

도 1은 본 발명의 실시예에 따른 결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 특징벡터를 생성하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 결정트리 및 심층신경망을 포함하는 분류모델을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 제1 활성화 함수를 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 제2 활성화 함수를 설명하기 위한 개념도이다.
도 6은 본 발명의 실시예에 따른 판정값의 강도를 설명하기 위한 벡터공간을 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 판정값의 신뢰도를 설명하기 위한 벡터공간을 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 분류모델(CM)을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 9은 본 발명의 실시예에 따른 결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 실시예에 따른 컴퓨팅 장치의 구성을 설명하기 위한 도면이다.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.

본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시예를 참조하여 본 발명을 더 상세하게 설명한다.

다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

아울러, 본 발명의 범위 내의 실시예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.

이하의 설명 및 특허 청구 범위에서, "네트워크"는 컴퓨터 시스템들 및/또는 모듈들 간의 전자 데이터를 전송할 수 있게 하는 하나 이상의 데이터 링크로서 정의된다. 정보가 네트워크 또는 다른 (유선, 무선, 또는 유선 또는 무선의 조합인) 통신 접속을 통하여 컴퓨터 시스템에 전송되거나 제공될 때, 이 접속은 컴퓨터-판독가능매체로서 이해될 수 있다. 컴퓨터 판독가능 명령어는, 예를 들면, 범용 컴퓨터 시스템 또는 특수 목적 컴퓨터 시스템이 특정 기능 또는 기능의 그룹을 수행하도록 하는 명령어 및 데이터를 포함한다. 컴퓨터 실행가능 명령어는, 예를 들면, 어셈블리어, 또는 심지어는 소스코드와 같은 이진, 중간 포맷 명령어일 수 있다.

아울러, 본 발명은 퍼스널 컴퓨터, 랩톱 컴퓨터, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램 가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA, 페이저(pager) 등을 포함하는 다양한 유형의 컴퓨터 시스템 구성을 가지는 네트워크 컴퓨팅 환경에서, 상기 컴퓨터 시스템들을 대상으로 광고를 제공하는데 적용될 수 있다. 본 발명은 또한 네트워크를 통해 유선 데이터 링크, 무선 데이터 링크, 또는 유선 및 무선 데이터 링크의 조합으로 링크된 로컬 및 원격 컴퓨터 시스템 모두가 태스크를 수행하는 분산형 시스템 환경에서 실행될 수 있다. 분산형 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 위치될 수 있다.

먼저, 본 발명의 실시예에 따른 결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 장치의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 일 실시예에 따른 특징벡터를 생성하는 방법을 설명하기 위한 도면이다. 도 3은 본 발명의 실시예에 따른 결정트리 및 심층신경망을 포함하는 분류모델을 설명하기 위한 도면이다. 도 4는 본 발명의 일 실시예에 따른 제1 활성화 함수를 설명하기 위한 개념도이다. 도 5는 본 발명의 일 실시예에 따른 제2 활성화 함수를 설명하기 위한 개념도이다. 도 6은 본 발명의 실시예에 따른 판정값의 강도를 설명하기 위한 벡터공간을 도시한 도면이다. 그리고 도 7은 본 발명의 실시예에 따른 판정값의 신뢰도를 설명하기 위한 벡터공간을 도시한 도면이다.

도 1을 참조하면, 본 발명의 실시예에 따른 결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 장치(10: 이하, '분류장치'로 축약함)는 전처리부(100), 분류부(200), 학습부(300) 및 시각화부(400)를 포함한다.

전처리부(100)는 분류 대상인 복수의 데이터 각각의 소정의 벡터공간에 임베딩하여 복수의 데이터 각각의 특징을 벡터화하기 위한 것이다.

일 실시예에 따르면, 전처리부(100)는 분류 대상인 복수의 데이터에 대해 주성분 분석(PCA: Principal Component Analysis)을 통해 고유값(eigen value)이 가장 큰 2개의 고유벡터(eigen vector)를 도출하고, 분류 대상인 복수의 데이터를 도출된 고유벡터의 2개의 축에 사상하여 특징벡터를 생성할 수 있다.

다른 실시예에 따르면, 전처리부(100)는 복수의 데이터를 소정의 벡터공간(VS)에 임베딩하여 복수의 데이터 각각의 특징을 도출한 복수의 특징벡터를 생성할 수 있다. 예컨대, 도 2에 도시된 바와 같이, 전처리부(100)는 입력층(Ir: Input Layer), 사상층(Pr: Projection Layer), 은닉층(Hr: Hidden Layer) 및 출력층(Or: Output Layer)을 포함하는 심층신경망모델(110, DNN: Deep Neural Network)을 포함할 수 있다. 심층신경망모델(110)은 소정의 특징을 추출하도록 학습된 모델이다. 전처리부(100)는 복수(k개)의 입력 데이터(In1 내지 Ink) 각각을 심층신경망모델(110)에 입력하여 출력값을 도출할 수 있으며, 이러한 출력값이 특징벡터(FV)가 될 수 있다.

전처리부(100)는 전술한 다양한 실시예에 따라 특징벡터를 생성하고, 생성된 특징벡터를 분류부(200)에 입력할 수 있다. 이러한 특징벡터는 아래에서 설명될 입력층(IL)의 입력노드에 입력될 것이다.

분류부(200)는 입력값이 입력되면 입력값이 학습된 분류에 속할 확률을 산출하여 출력값 혹은 잠재벡터로 출력하는 네트워크 모델인 분류모델(CM)을 포함한다. 이러한 분류모델(CM)은 입력계층(IL: Input Layer), 구분계층(BL: Binning Layer), 완전연결층(FL: Fully-connected Layer) 및 출력층(OL: Output Layer)을 포함한다.

입력계층(IL)은 복수의 데이터가 입력값으로 입력되는 계층이며, 복수의 입력노드를 포함한다. 복수의 입력노드 각각은 입력값을 입력받고, 입력된 입력값을 출력한다. 입력값은 전술한 바와 같이, 전처리부(100)에 의해 생성된 특징벡터가 될 수 있다.

구분계층(BL)은 결정트리(DT: Decision Tree)의 계층이며, 복수의 구분노드를 포함한다. 복수의 구분노드 각각은 복수의 구간을 구분하는 구분값을 산출한다. 도 4에 도시된 바와 같이, 즉, 복수의 구분노드 각각은 복수의 입력노드 중 어느 하나의 연결된 입력노드의 입력값(x)에 가중치(w)를 적용하고, 가중치(w)가 적용된 입력값(x)에 대해 제1 활성화 함수를 통한 연산을 수행함으로써 복수의 구간을 구분하는 구분값을 산출할 수 있다.

여기서, 제1 활성화 함수는 소프트맥스(softmax) 함수이며, 복수의 구분노드 각각의 제1 활성화 함수를 통한 연산은 다음의 수학식 1에 따라 수행된다.

여기서, x는 상기 입력값이고, 연속 변수(continuous variable)이다. 또한, w는 상기 가중치이며,

이고, 상기 n은 상기 복수의 구간의 개수이다. 복수의 구간의 구분점이

이고, 복수의 구간의 구분점은

와 같이 단조 증가할 때, 상기 b는 바이어스이며,

이다. 또한, 상기

이다.

완전연결계층(FL)은 심층신경망의 계층이며, 복수의 연산노드를 포함한다. 구분계층(BL)의 구분노드가 하나의 이전 노드(출력노드)와 연결되는 반면, 완전연결계층(FL)의 복수의 연산노드 각각은 이전 계층인 구분계층(BL)의 복수의 구분노드 모두와 연결된다. 따라서 완전연결계층(FL)의 복수의 연산노드 각각은 복수의 구분노드 각각의 구분값(Xn)에 가중치(Wn)를 적용하고, 가중치가 적용된 구분값을 합산하고, 합산된 복수의 구분값에 제2 활성화 함수를 통한 연산을 수행하여 연산값을 산출한다. 여기서, 제2 활성화 함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 포함하는 그룹에서 어느 하나를 선택하여 사용할 수 있다.

출력계층(OL)은 복수의 출력노드를 포함한다. 복수의 출력노드 각각은 완전연결계층(FL)의 복수의 연산노드 각각의 연산값(Xn)에 대해 가중치(Wn)를 적용하고, 가중치가 적용된 복수의 연산값을 합산하여 출력값을 산출한다. 출력계층(OL)은 복수의 출력노드 각각이 산출한 출력값을 결합하여 잠재벡터(L: latent)를 도출할 수 있다. 잠재벡터(L)는 아래에서 설명될 시각화를 위해 사용될 수 있다.

예컨대, 예컨대, 분류부(200)는 복수의 데이터를 최종적으로 불량 및 정상 데이터로 분류한다고 가정한다. 이에 따라, 제1 출력노드(O1) 및 제2 출력노드(O2)를 포함하는 2개의 출력노드(O1, O2)가 존재하며, 제1 출력노드(O1)는 불량 데이터에 대응하며, 제2 출력노드(O2)는 정상 데이터에 대응하도록 매핑할 수 있다. 이에 따라, 제1 출력노드(O1)의 출력값은 입력값이 불량 데이터일 확률을 나타내며, 제2 출력노드(O2)의 출력값은 입력값이 정상 데이터일 확률을 나타낸다. 예컨대, 제1 출력노드(O1)의 출력값이 0.95이고, 제2 출력노드(O1)의 출력값이 0.05가 될 수 있다. 그러면, 입력값이 불량 데이터일 확률이 95%이고, 정상 데이터일 확률이 5%임을 나타낸다. 이에 따라, 해당 입력값은 불량인 것으로 판단할 수 있다.

전술한 바와 같이, 출력계층(OL)은 전체 출력노드의 출력값을 결합하여 잠재벡터(L)를 도출한다. 예컨대, 제1 및 제2 출력노드(O1, O2) 모두의 출력값을 결합하여 잠재벡터 [0.95, 0.05]를 산출할 수 있다.

학습부(300)는 분류모델(CM)을 학습시키기 위한 것이다. 학습부(300)의 제어에 따라 전처리부(100)는 학습 데이터를 특징벡터로 변환하여 학습용 입력값을 마련한다. 학습 데이터는 학습부(300)가 분류모델(CM)에게 학습시키고자 하는 분류가 알려진 데이터이다. 예컨대, 학습시키고자 하는 분류가 불량 데이터 및 정상 데이터인 경우, 학습 데이터는 불량 인지 혹은 정상인지 여부가 알려진 데이터이다. 이에 따라, 학습부(300)는 알려진 분류에 따라 학습용 입력값에 대응하는 기댓값을 설정할 수 있다.

구분계층(BL)의 구분노드의 제1 활성화함수에 따르면,

가 0으로 수렴하면(

), 제1 활성화함수의 출력은 원핫인코딩벡터(one hot encoding vector)가 될 수 있다. 이에 따라, 학습부(300)는 근사치로

=0.1로 설정한다. 그러면, 학습부(300)는 학습용 입력값에 대한 기댓값을 원핫인코딩벡터를 이용하여 설정할 수 있다. 즉, 학습부(300)는 불량 데이터인 경우, 제1 및 제2 출력노드(O1, O2)에 대해 [1, 0]으로 설정하고, 학습 데이터가 정상 데이터인 경우, 기댓값을 제1 및 제2 출력노드(O1, O2)에 대해 [0, 1]로 설정할 수 있다. 더욱이, 본 발명의 구분계층(BL)은 제1 활성화함수를 통해 이전 계층의 값을 다음 계층으로 라우팅하여 분류할 수 있기 때문에 일반적인 결정 트리와 달리 경사하강법을 이용하여 학습할 수 있다.

이에 따라, 학습부(300)는 학습용 입력값을 분류모델(CM)에 입력한다. 그러면, 분류모델(CM)의 입력계층(IL)에 학습용 입력값이 입력되고, 순차로 구분계층(BL)의 복수의 구분노드의 제1 활성화함수에 의한 연산, 완전연결계층(FL)의 복수의 연산노드의 제2 활성화함수에 의한 연산 및 출력층(OL)의 복수의 출력노드의 연산을 통해 출력값이 산출될 것이다.

그러면, 학습부(300)는 분류모델(CM)이 산출한 출력값과 앞서 설정한 기댓값과의 차이를 나타내는 엔트로피 손실이 최소가 되도록 경사하강법을 통해 분류모델(CM)의 가중치(w) 및 바이어스(b)를 최적화한다.

이때, 학습부(300)는 다음의 수학식 2와 같은 엔트로피 손실 함수의 손실값인 교차엔트로피 손실이 최소화되도록 경사하강법을 통해 분류모델(CM)의 가중치를 최적화한다.

여기서, E는 교차엔트로피 손실이다. 또한, i는 출력노드의 인덱스를 나타낸다. 특히, y는 출력값이고, y'는 기댓값을 나타낸다.

이와 같이, 본 발명에 따르면, 학습부(300)는 결정 트리인 구분계층(BL)과 심층신경망인 완전연결계층(FL) 양자 모두를 포함하는 분류모델(CM)을 경사하강법을 통해 동시에 학습시킬 수 있다.

시각화부(400)는 분류모델(CM)을 통해 도출된 정보들의 수치를 도출하고, 도출된 수치를 텍스트, 점, 선, 면 및 색 중 적어도 하나를 이용하여 시각 정보를 생성하고, 생성된 시각 정보를 출력하기 위한 것이다. 출력된 정보는 디스플레이 장치에서 표시될 수 있다.

시각화부(400)는 학습이 완료된 분류모델(CM)에서 각 구분노드의 가중치(w) 및 바이어스(b)를 통해 입력층(IL)의 복수의 입력노드 각각으로부터 분류모델(CM)의 복수의 구분노드로 분할되는 분할 기준을 도출할 수 있다. 이에 따라, 시각화부(400)는 도출된 분할 기준을 시각화할 수 있다.

또한, 시각화부(400)는 학습이 완료된 분류모델(CM)에서 입력값에 대해 산출된 출력값 및 잠재벡터(L)가 산출되면, 모든 출력노드(예컨대, O1, O2)의 출력값 혹은 잠재벡터(L)를 기초로 소정의 판정 기준에 따라 데이터의 분류를 판정한 판정값을 도출한다. 예컨대, 전술한 실시예와 동일하게 2개의 출력노드가 존재한다고 가정하고, 제1 출력노드(O1) 및 제2 출력노드(O2) 각각이 불량 데이터 및 정상 데이터이라고 가정한다. 이때, 판정 기준은 제1 출력노드(O1)의 출력값이 제2 출력노드(O2)의 출력값 보다 큰 경우, 불량 데이터로 판정하는 것으로 가정한다. 다른 말로, 잠재벡터(L)의 첫 번째 요소의 값이 두 번째 요소의 값 보다 클 때, 불량 데이터로 판정하는 것으로 가정한다. 예컨대, 제1 출력노드(O1)의 출력값이 0.95이고, 제2 출력노드(O1)의 출력값이 0.05가 될 수 있다. 그러면, 입력값이 불량 데이터일 확률이 95%이고, 정상 데이터일 확률이 5%임을 나타낸다. 이에 따라, 해당 입력값은 불량인 것으로 판단하여 판정값을 불량 데이터로 할 수 있다.

또한, 출력계층(OL)이 복수의 출력노드의 출력값을 결합하여 잠재벡터(L)를 산출하면, 시각화부(400)는 잠재벡터(L)를 소정의 벡터공간에 사상하고, 사상된 벡터공간에서 동일 분류의 중심벡터와의 거리를 이용하여 판정값의 강도를 산출할 수 있다. 그리고 시각화부(400)는 산출된 출력값의 강도를 시각화할 수 있다.

도 6에 시각화부(400)가 복수의 입력값의 잠재벡터(L)를 소정의 벡터공간에 사상한 일예가 도시되었다.

판정값이 정상 데이터인 잠재벡터는 원형으로 표시되었으며, 판정값이 불량 데이터인 잠재벡터는 삼각형으로 표시되었다. 중심벡터는 동일 분류의 복수의 잠재벡터의 중심값인 잠재벡터를 나타낸다.

본 발명의 일 실시예에 따르면, 시각화부(400)는 평가 대상 잠재벡터 L1을 소정의 벡터공간에 사상하고, 사상된 벡터공간에서 동일 분류의 모든 잠재벡터와 중심벡터와의 평균 거리를 산출한 후, 산출된 평균 거리 대 평가 대상 잠재벡터 L1와 중심벡터와의 거리를 비교하여 판정값의 강도를 도출할 수 있다. 즉, 평균 거리 보다 중심벡터와의 거리가 길수록 강도가 약한 것이며, 평균 거리 보다 중심벡터와의 거리가 가까울수록 강도가 강한 것이다. 이에 따라, 시각화부(400)는 판정값의 강도를 시각화 할 수 있다.

한편, 잠재벡터 L1이 [0.45, 0.55]라고 가정한다. 잠재벡터 L1의 판정값은 정상 데이터이다. 잠재벡터 L1은 다른 분류와의 경계에 사상될 수 있다. 잠재벡터 L1의 판정값의 강도는 중심벡터 CN과의 거리를 비교했을 때, 잠재벡터 L2에 비해 약함을 알 수 있다(D1>D3). 즉, 다른 잠재벡터들의 평균 거리 보다 길기 때문에 약한 것으로 나타낼 수 있다.

더욱이, 잠재벡터 L1은 동일 분류의 중심벡터 CN과의 거리 보다 다른 분류의 중심벡터 CI와의 거리가 더 가까울 수 있다(D1>D2). 이러한 경우, 시각화부(400)는 판정 기준을 수정할 수 있다. 전술한 바와 같이, 예컨대, 앞서 판정 기준은 제1 출력노드(O1)의 출력값이 제2 출력노드(O2)의 출력값 보다 큰 경우, 불량 데이터로 판정하는 것으로 하였다. 하지만, 도 6의 예와 같이, 잠재벡터 L1이 [0.45, 0.55]인 경우, 부정확한 분류가 되기 때문에 기준을 변경하여 제2 출력노드(O2)의 출력값이 60% 이상인 경우에 정상 데이터인 것으로 수정할 수 있다.

한편, 시각화부(400)는 판정값의 강도를 출력노드의 엔트로피로 나누어 출력값의 신뢰도를 산출할 수 있다. 예컨대, 도 7에 도시된 바와 같이, 동일 분류의 경계 내에 속하는 잠재벡터 중 실제 정상 데이터는 25개이고, 불량 데이터는 5개라고 가정한다. 이는 30개 중에 5개가 오류일 확률을 내포한다. 따라서 시각화부(400)는 판정값에 대응하는 출력노드의 엔트로피를 구한 후, 판정값의 강도를 엔트로피를 나눔으로써 해당 판정값의 신뢰도를 산출할 수 있다.

다음으로, 본 발명의 실시예에 따른 결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 방법에 대해서 설명하기로 한다. 데이터 분류 방법의 설명에 앞서 본 발명의 실시예에 따른 분류모델(CM)을 학습시키는 방법에 대해서 설명하기로 한다. 도 8은 본 발명의 실시예에 따른 분류모델(CM)을 학습시키는 방법을 설명하기 위한 흐름도이다.

도 8을 참조하면, 학습부(300)의 제어에 따라 전처리부(100)는 S110 단계에서 학습시키고자 하는 분류가 알려진 학습 데이터를 특징벡터로 변환하여 학습용 입력값을 마련한다.

그런 다음, 학습부(300)는 S120 단계에서 알려진 분류에 따라 학습용 입력값에 대응하는 기댓값을 설정한다. 이때, 학습부(300)는 학습용 입력값에 대한 기댓값을 원핫인코딩벡터를 이용하여 설정할 수 있다. 이를 위하여 S120 단계에서 학습부(300)는 분류모델(CM)의 제1 활성화함수의

를 0.1로 설정할 수 있다.

다음으로, 학습부(300)는 S130 단계에서 학습용 입력값을 분류부(200)의 분류모델(CM)에 입력한다. 그러면, S140 단계에서 분류부(200)의 분류모델(CM)의 입력계층(IL)에 학습용 입력값이 입력되고, 순차로 구분계층(BL)의 복수의 구분노드의 제1 활성화함수에 의한 연산, 완전연결계층(FL)의 복수의 연산노드의 제2 활성화함수에 의한 연산 및 출력층(OL)의 복수의 출력노드의 연산을 통해 출력값이 산출될 것이다.

이에 따라, 학습부(300)는 S150 단계에서 분류모델(CM)이 산출한 출력값과 앞서 설정한 기댓값과의 차이를 나타내는 교차엔트로피 손실이 최소가 되도록 경사하강법을 통해 분류모델(CM)의 가중치(w) 및 바이어스(b)를 최적화한다. 이때, 학습부(300)는 수학식 2와 같은 손실 함수의 손실값인 교차엔트로피 손실이 최소화되도록 경사하강법을 통해 분류모델(CM)의 가중치를 최적화할 수 있다. 이와 같이, 본 발명에 따르면, 학습부(300)는 결정 트리인 구분계층(BL)과 심층신경망인 완전연결계층(FL) 양자 모두를 포함하는 분류모델(CM)을 경사하강법을 통해 동시에 학습시킬 수 있다.

전술한 바와 같이 학습이 완료된 후, 본 발명의 실시예에 따른 결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 방법에 대해 설명하기로 한다. 도 9는 본 발명의 실시예에 따른 결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 방법을 설명하기 위한 흐름도이다.

도 9를 참조하면, 전처리부(100)는 S210 단계에서 분류가 알려지지 않은 복수의 데이터를 특징벡터로 변환하여 특징벡터를 생성하고, S220 단계에서 생성된 특징벡터를 분류부(200)에 입력할 수 있다. 이러한 특징벡터는 아래에서 설명될 입력층(IL)의 입력노드에 입력될 것이다.

S230 단계에서 분류부(200)는 분류모델(CM)을 실행시키며, 분류모델(CM)의 복수의 계층의 복수의 노드들은 다음과 같이 가중치가 적용된 연산을 수행한다.

먼저, 입력계층(IL)이 특징벡터인 입력값을 입력받으면, 구분계층(BL)의 복수의 구분노드 각각은 복수의 입력노드 중 어느 하나의 연결된 입력노드의 입력값(x)에 가중치(w)를 적용하고, 가중치(w)가 적용된 입력값(x)에 대해 수학식 1과 같은 제1 활성화 함수를 통한 연산을 수행함으로써 복수의 구간을 구분하는 구분값을 산출하여 출력한다. 그러면, 완전연결계층(FL)의 복수의 연산노드 각각은 복수의 구분노드 각각의 구분값(Xn)에 가중치(Wn)를 적용하고, 가중치가 적용된 구분값을 합산하고, 합산된 복수의 구분값에 제2 활성화 함수를 통한 연산을 수행하여 연산값을 산출한다. 이어서, 출력계층(OL)의 복수의 출력노드 각각은 완전연결계층(FL)의 복수의 연산노드 각각의 연산값(Xn)에 대해 가중치(Wn)를 적용하고, 가중치가 적용된 복수의 연산값을 합산하여 출력값을 산출한다.

출력값을 산출한 후, 분류모델(CM)의 출력계층(OL)은 S240 단계에서 복수의 출력노드 각각이 산출한 출력값을 결합하여 잠재벡터(L: latent)를 도출할 수 있다.

다음으로, 시각화부(400)는 S250 단계에서 분류모델(CM)이 산출한 정보를 시각화한다. 이러한 시각화는 분류모델(CM)을 통해 도출된 정보들의 수치를 도출하고, 도출된 수치를 텍스트, 점, 선, 면 및 색 중 적어도 하나를 이용하여 시각 정보를 생성하고, 생성된 시각 정보를 출력하기 위한 것이다.

먼저, 시각화부(400)는 학습이 완료된 분류모델(CM)에서 입력값에 대해 산출된 출력값 및 잠재벡터(L)가 산출되면, 모든 출력노드(예컨대, O1, O2)의 출력값 혹은 잠재벡터(L)를 기초로 소정의 판정 기준에 따라 데이터의 분류를 판정한 판정값을 도출하고, 이를 시각화할 수 있다.

또한, 시각화부(400)는 학습이 완료된 분류모델(CM)에서 각 구분노드의 가중치(w) 및 바이어스(b)를 통해 입력층(IL)의 복수의 입력노드 각각으로부터 분류모델(CM)의 복수의 구분노드로 분할되는 분할 기준을 도출할 수 있다. 이에 따라, 시각화부(400)는 도출된 분할 기준을 시각화할 수 있다.

그리고 시각화부(400)는 잠재벡터(L)를 소정의 벡터공간에 사상하고, 사상된 벡터공간에서 동일 분류의 중심벡터와의 거리를 이용하여 판정값의 강도를 산출할 수 있다. 그리고 시각화부(400)는 산출된 출력값의 강도를 시각화할 수 있다. 이때, 시각화부(400)는 2 이상의 분류의 중심벡터와의 거리를 도출하고, 도출된 거리에 따라 판정 기준을 조절할 수 있다. 더욱이, 시각화부(400)는 판정값의 강도를 출력노드의 엔트로피로 나누어 출력값의 신뢰도를 산출할 수 있다.

다음으로, 본 발명의 실시예에 따른 컴퓨팅 장치의 구성에 대해서 설명하기로 한다. 도 10은 본 발명의 실시예에 따른 컴퓨팅 장치의 구성을 설명하기 위한 도면이다. 도 10의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예컨대, 분류장치(10) 등)일 수 있다.

도 10의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.

한편, 앞서 설명된 본 발명의 실시예에 따른 방법들은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안 되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

본 발명의 실시예는 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

100: 전처리부
200: 분류부
300: 학습부
400: 시각화부

Claims

결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 장치에 있어서,
각각이 복수의 데이터의 입력값이 입력되는 복수의 입력노드를 포함하는 입력계층과,
상기 복수의 입력노드 중 어느 하나의 입력노드에 가중치를 적용하고, 가중치가 적용된 입력값에 대해 제1 활성화 함수를 통한 연산을 수행하여 복수의 구간을 구분하는 구분값을 산출하는 복수의 구분노드를 포함하는 구분계층과,
상기 복수의 구분노드 각각의 구분값에 가중치를 적용하고, 가중치가 적용된 구분값을 합산하고, 합산된 복수의 구분값에 제2 활성화 함수를 통한 연산을 수행하여 연산값을 산출하는 복수의 연산노드를 포함하는 완전연결계층과,
상기 완전연결계층의 복수의 연산노드 각각의 연산값에 대해 가중치를 적용하고, 가중치가 적용된 복수의 연산값을 합산한 출력값을 산출하는 복수의 출력노드를 포함하는 출력계층을 포함하는 분류모델(CM)을 실행시키는
분류부;
를 포함하며,
상기 제1 활성화 함수를 통한 연산은
수학식

에 따라 수행되며,
상기 x는 상기 입력값이고, 연속 변수(continuous variable)이고,
상기 w는 상기 가중치이며,
이고,
상기 n은 상기 복수의 구간의 개수이고,
상기 복수의 구간의 구분점이
이고, 상기 복수의 구간의 구분점이
와 같이 단조 증가할 때,
상기 b는 바이어스이며,

이고,
상기
인 것을 특징으로 하는
대량의 데이터를 분류하기 위한 장치.
삭제
제1항에 있어서,
상기
일 때,
수학식

에 따라 교차엔트로피 손실이 최소가 되도록 경사하강법을 통해
상기 구분계층 및 상기 완전연결계층 양자 모두를 포함하는 상기 분류모델의 가중치 및 바이어스를 최적화하는
학습부;
를 더 포함하며,
상기 E는 교차엔트로피 손실이고,
상기 i는 출력노드의 인덱스이고,
상기 y는 출력값이고,
상기 y'는 기댓값인 것을 특징으로 하는
대량의 데이터를 분류하기 위한 장치.
제1항에 있어서,
상기 복수의 구분노드 각각의 가중치 및 바이어스를 통해
상기 복수의 입력노드 각각으로부터 상기 복수의 구분노드로 분할되는 분할 기준을 도출하고, 상기 도출된 분할 기준을 시각화하는 시각화처리부;
를 더 포함하는 것을 특징으로 하는
대량의 데이터를 분류하기 위한 장치.
제1항에 있어서,
상기 출력계층은
상기 복수의 출력노드의 출력값을 결합하여 잠재벡터를 산출하고,
상기 장치는
상기 산출된 잠재벡터를 기초로 소정의 판정 기준에 따라 데이터의 분류를 판정한 판정값을 도출하고, 상기 잠재벡터를 소정의 벡터공간에 사상하고, 사상된 벡터공간에서 중심벡터와의 거리를 기초로 상기 판정값의 강도를 산출하고, 산출된 판정값의 강도를 시각화하는 시각화처리부;를 더 포함하는 것을 특징으로 하는
대량의 데이터를 분류하기 위한 장치.
제5항에 있어서,
상기 시각화처리부는
상기 산출된 판정값의 강도를 상기 출력노드의 엔트로피로 나누어 상기 출력값의 신뢰도를 산출하고, 산출된 신뢰도를 시각화하는 것을 특징으로 하는
대량의 데이터를 분류하기 위한 장치.
제1항에 있어서,
복수의 데이터에서 고유값(eigen value)이 가장 큰 2개의 고유벡터(eigen vector)를 도출하고, 상기 복수의 데이터를 상기 도출된 고유벡터의 2개의 축에 사상하여 특징벡터를 생성하고, 생성된 특징벡터를 상기 입력값으로 상기 입력계층에 입력하는 전처리부;
를 더 포함하는 것을 특징으로 하는
대량의 데이터를 분류하기 위한 장치.
제1항에 있어서,
복수의 데이터를 소정의 벡터공간에 임베딩하여 복수의 데이터 각각의 특징을 도출한 복수의 특징벡터를 생성하고, 생성된 특징벡터를 상기 입력값으로 상기 입력계층에 입력하는 전처리부;
를 더 포함하는 것을 특징으로 하는
대량의 데이터를 분류하기 위한 장치.
결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 장치에 있어서,
복수의 데이터를 특징벡터로 변환하여 입력값을 생성하는 전처리부;
결정트리의 계층인 구분계층과 심층신경망의 계층인 완전연결계층을 포함하는 분류모델을 통해 상기 입력값이 학습된 분류에 속할 확률을 산출하여 출력값으로 출력하는 분류부; 및
상기 분류부의 출력값을 기초로 상기 입력값이 속하는 분류를 판정하여 판정값을 산출하는 시각화부;
를 포함하며,
상기 분류모델은
각각이 복수의 데이터의 입력값이 입력되는 복수의 입력노드를 포함하는 입력계층과,
상기 복수의 입력노드 중 어느 하나의 입력노드에 가중치를 적용하고, 가중치가 적용된 입력값에 대해 제1 활성화 함수를 통한 연산을 수행하여 복수의 구간을 구분하는 구분값을 산출하는 복수의 구분노드를 포함하는 구분계층과,
상기 복수의 구분노드 각각의 구분값에 가중치를 적용하고, 가중치가 적용된 구분값을 합산하고, 합산된 복수의 구분값에 제2 활성화 함수를 통한 연산을 수행하여 연산값을 산출하는 복수의 연산노드를 포함하는 완전연결계층과,
상기 완전연결계층의 복수의 연산노드 각각의 연산값에 대해 가중치를 적용하고, 가중치가 적용된 복수의 연산값을 합산한 출력값을 산출하는 복수의 출력노드를 포함하는 출력계층
을 포함하며,
상기 출력계층은
상기 복수의 출력노드의 출력값을 결합하여 잠재벡터를 산출하고, 산출된 잠재벡터를 기초로 소정의 판정 기준에 따라 데이터의 분류를 판정한 판정값을 도출하고,
상기 장치는
상기 잠재벡터를 소정의 벡터공간에 사상하고, 사상된 벡터공간에서 중심벡터와의 거리를 기초로 상기 판정값의 강도를 산출하고, 산출된 판정값의 강도를 시각화하며,
상기 산출된 판정값의 강도를 상기 출력노드의 엔트로피로 나누어 상기 출력값의 신뢰도를 산출하고, 산출된 신뢰도를 시각화하며,
각 구분노드의 가중치 및 바이어스를 통해 입력층의 복수의 입력노드 각각으로부터 분류모델의 복수의 구분노드로 분할되는 분할 기준을 도출하고, 도출된 도출된 분할 기준을 시각화하는
시각화처리부;
를 더 포함하는 것을 특징으로 하는
대량의 데이터를 분류하기 위한 장치.
삭제
제9항에 있어서,
상기 제1 활성화 함수를 통한 연산은
수학식

에 따라 수행되며,
상기 x는 상기 입력값이고, 연속 변수(continuous variable)이고,
상기 w는 상기 가중치이며,
이고,
상기 n은 상기 복수의 구간의 개수이고,
상기 복수의 구간의 구분점이
이고, 상기 복수의 구간의 구분점이
와 같이 단조 증가할 때,
상기 b는 바이어스이며,

이고,
상기
인 것을 특징으로 하는
대량의 데이터를 분류하기 위한 장치.
제11항에 있어서,
상기
일 때,
수학식

에 따라 교차엔트로피 손실이 최소가 되도록 경사하강법을 통해
상기 구분계층 및 상기 완전연결계층 양자 모두를 포함하는 상기 분류모델의 가중치 및 바이어스를 최적화하는
학습부;
를 더 포함하며,
상기 E는 교차엔트로피 손실이고,
상기 i는 출력노드의 인덱스이고,
상기 y는 출력값이고,
상기 y'는 기댓값인 것을 특징으로 하는
대량의 데이터를 분류하기 위한 장치.
삭제
결정트리 및 심층신경망을 이용한 대량의 데이터를 분류하기 위한 방법에 있어서,
분류부의 분류모델이 실행되고, 상기 분류모델의 입력계층의 복수의 입력노드 각각에 입력값이 입력되면, 상기 분류모델의 구분계층의 복수의 구분노드가 상기 복수의 입력노드 중 어느 하나의 입력노드에 가중치를 적용하고, 가중치가 적용된 입력값에 대해 제1 활성화 함수를 통한 연산을 수행하여 복수의 구간을 구분하는 구분값을 산출하는 단계;
상기 분류모델의 완전연결계층의 복수의 연산노드가 상기 복수의 구분노드 각각의 구분값에 가중치를 적용하고, 가중치가 적용된 구분값을 합산하고, 합산된 복수의 구분값에 제2 활성화 함수를 통한 연산을 수행하여 연산값을 산출하는 단계; 및
상기 분류모델의 출력계층의 복수의 출력노드가 상기 완전연결계층의 복수의 연산노드 각각의 연산값에 대해 가중치를 적용하고, 가중치가 적용된 복수의 연산값을 합산한 출력값을 산출하는 단계;
를 포함하며,
상기 구분값을 산출하는 단계는
상기 분류모델의 구분계층의 복수의 구분노드 각각이
수학식

에 따라 상기 구분값을 산출하며,
상기 x는 상기 입력값이고, 연속 변수(continuous variable)이고,
상기 w는 상기 가중치이며,
이고,
상기 n은 상기 복수의 구간의 개수이고,
상기 복수의 구간의 구분점이
이고, 상기 복수의 구간의 구분점이
와 같이 단조 증가할 때,
상기 b는 바이어스이며,

이고,
상기
인 것을 특징으로 하는
대량의 데이터를 분류하기 위한 방법.
삭제
제14항에 있어서,
상기 구분값을 산출하는 단계 전,
학습부가
수학식

에 따라 교차엔트로피 손실이 최소가 되도록 경사하강법을 통해
상기 구분계층 및 상기 완전연결계층 양자 모두를 포함하는 상기 분류모델의 가중치 및 바이어스를 최적화하는 학습 단계;
를 더 포함하며,
상기 E는 교차엔트로피 손실이고,
상기 i는 출력노드의 인덱스이고,
상기 y는 출력값이고,
상기 y'는 기댓값인 것을 특징으로 하는
대량의 데이터를 분류하기 위한 방법.
제14항에 있어서,
상기 출력값을 산출하는 단계 후,
시각화처리부가
상기 구분노드 각각의 가중치 및 바이어스를 통해
상기 입력계층의 복수의 입력노드 각각으로부터 상기 구분노드의 복수의 구분노드로 분할되는 분할 기준을 도출하는 단계; 및
상기 시각화처리부가 상기 도출된 분할 기준을 시각화하는 단계;
를 더 포함하는 것을 특징으로 하는
대량의 데이터를 분류하기 위한 방법.
제14항에 있어서,
상기 출력값을 산출하는 단계 후,
상기 출력계층이 상기 복수의 출력노드의 출력값을 결합하여 잠재벡터를 산출하는 단계;
시각화처리부가 상기 산출된 잠재벡터를 기초로 소정의 판정 기준에 따라 데이터의 분류를 판정한 판정값을 도출하는 단계; 및
상기 시각화처리부가 상기 잠재벡터를 소정의 벡터공간에 사상하고, 사상된 벡터공간에서 중심벡터와의 거리를 기초로 상기 판정값의 강도를 산출하고, 산출된 판정값의 강도를 시각화하는 단계; 및
상기 시각화처리부가 상기 산출된 판정값의 강도를 상기 출력노드의 엔트로피로 나누어 상기 출력값의 신뢰도를 산출하고, 산출된 신뢰도를 시각화하는 단계;
를 더 포함하는 것을 특징으로 하는
대량의 데이터를 분류하기 위한 방법.
컴퓨터에 제14항, 제16항, 제17항 및 제18항 중 어느 한 항에 따른 대량의 데이터를 분류하기 위한 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.