KR102263375B1 - 커널 기법을 사용한 제한된 볼츠만 머신 시스템 - Google Patents

커널 기법을 사용한 제한된 볼츠만 머신 시스템 Download PDF

Info

Publication number
KR102263375B1
KR102263375B1 KR1020190121463A KR20190121463A KR102263375B1 KR 102263375 B1 KR102263375 B1 KR 102263375B1 KR 1020190121463 A KR1020190121463 A KR 1020190121463A KR 20190121463 A KR20190121463 A KR 20190121463A KR 102263375 B1 KR102263375 B1 KR 102263375B1
Authority
KR
South Korea
Prior art keywords
krbm
function
kernel
space
rbm
Prior art date
Application number
KR1020190121463A
Other languages
English (en)
Other versions
KR20210039090A (ko
Inventor
김동국
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020190121463A priority Critical patent/KR102263375B1/ko
Publication of KR20210039090A publication Critical patent/KR20210039090A/ko
Application granted granted Critical
Publication of KR102263375B1 publication Critical patent/KR102263375B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 커널 기법을 사용한 제한된 볼츠만 머신 시스템에 관한 것으로서, 입력 데이터를 비선형 함수를 이용하여 고차원의 특징 공간으로 매핑하고, 매핑한 공간에서 커널함수를 통해 실수값을 갖는 가시변수 및 은닉변수로 구성된 KRBM(Kernel Restricted Boltzmann Machine)을 형성하는 KRBM 형성부; 로그 유사도 함수를 최대화하는 경사 승강법을 통해 KRBM에 대한 학습을 수행하는 KRBM 학습부; 및 입력받은 가중치에 따라 커널함수를 통해 입력 데이터로부터 특징을 추출하는 특징 추출부를 포함한다.
상기와 같은 본 발명에 따르면, 제한된 RBM에서 입력 데이터를 비선형 함수에 의해 고차원의 특징공간으로 매핑하고, 이 공간에서 가시 유닛과 은닉유닛에 대해 실수값을 갖는 가우시안 확률 분포를 사용하며, 경사기반 CD 알고리즘 및 경사 승강법을 이용한 KRBM을 제공함으로써, 종래의 RBM에 비해 특징 추출 및 인식 성능을 향상시키는 효과가 있다.

Description

커널 기법을 사용한 제한된 볼츠만 머신 시스템{Restricted Boltzmann Machine System Using Kernel Methods}
본 발명은 커널 기법을 사용한 제한된 볼츠만 머신 시스템에 관한 것으로 더욱 상세하게는, 입력 데이터를 비선형 함수를 통해 고차원의 특징공간으로 매핑하고, 그 공간에서 실수값을 갖는 가시유닛과 은닉유닛으로 구성된 제한된 볼츠만 머신(RBM)을 형성하되, ReLU(Rectified Linear Unit) 커널 함수를 통해 입력 데이터에 대한 특징을 추출하는 기술에 관한 것이다.
특징학습(feature learning) 또는 표현학습(representation learning)은 많은 데이터로부터 검출 또는 인식을 위해 필요한 적절한 특징 또는 유용한 표현들을 자동적으로 추출하기 위한 기계학습의 한 분야이다.
이러한 특징학습 기법은 이미지, 음성 그리고 기타 데이터 등에서 특징을 추출해 인식 시스템의 입력으로 사용되어 종래의 특징들에 비해 인식성능 향상을 목적으로 한다.
특징 학습을 위한 종래의 지도 특징학습은 입력 데이터와 관련된 레이블을 사용하여 특징을 학습하는 기법으로, 학습 시스템이 나타내는 출력과 데이터 레이블 사이의 오류를 계산하여 학습과정 중에 이를 피드백하여 유용한 특징이 발생하도록 한다.
이러한 지도 특징학습 기법으로는 지도 사전학습(dictionary learning), 다층 퍼셉트론(MultiLayer Perceptron, MLP) 또는 CNN(Convolutional Neural Network)을 이용한 지도 신경망이 주로 사용된다.
그러나, 지도 특징 학습의 경우, 구할 수 있는 데이터양도 적으며 사람이 직접 레이블을 달아야 하기 때문에 많은 시간과 비용이 소요되어 비효율적인 문제점이 있다.
이에 본 출원인은 데이터의 레이블 없이 단지 입력 데이터만을 사용하여 특징들을 학습하는 비지도 특징학습 중에, 제한된 볼츠만 머신(Restricted Boltzmann Machine, RBM)에서 입력 데이터를 비선형 함수에 의해 고차원의 특징공간으로 매핑하고, 이 공간에서 가시유닛과 은닉유닛에 대해 실수값을 갖는 가우시안 확률 분포를 사용하며, 경사기반 CD(Contrastive Divergence) 알고리즘 및 경사 승강법(gradient ascent)을 이용한 커널 RBM을 제안하고자 한다.
한국등록특허 제10-1561651호(2015.10.13.등록)
본 발명의 목적은, 제한된 볼츠만 머신(RBM)에서 입력 데이터를 비선형 함수에 의해 고차원의 특징공간으로 매핑하고, 이 공간에서 가시유닛과 은닉유닛에 대해 실수값을 갖는 가우시안 확률 분포를 사용하며, 경사기반 CD 알고리즘 및 경사 승강법을 이용한 커널 RBM을 제공함으로써, 종래의 RBM에 비해 특징 추출 및 인식 성능을 향상시키는데 있다.
이러한 기술적 과제를 달성하기 위한 본 발명의 일 실시예는 커널 기법을 사용한 제한된 볼츠만 머신 시스템으로서, 입력 데이터를 비선형 함수를 이용하여 고차원의 특징 공간으로 매핑하고, 매핑한 공간에서 커널함수를 통해 실수값을 갖는 가시변수 및 은닉변수로 구성된 KRBM(Kernel Restricted Boltzmann Machine)을 형성하는 KRBM 형성부; 로그 유사도 함수를 최대화하는 경사 승강법을 통해 KRBM에 대한 학습을 수행하는 KRBM 학습부; 및 입력받은 가중치에 따라 커널함수를 통해 입력 데이터로부터 특징을 추출하는 특징 추출부를 포함한다.
바람직하게는, 입력 데이터는 커널함수의 가우시안 확률 분포에 의해 매핑되는 것을 특징으로 한다.
비선형함수(
Figure 112019100382413-pat00001
)는 n차원의 입력공간에서
Figure 112019100382413-pat00002
차원의 특징벡터 공간으로 매핑하는 함수로 설정되되, KRBM은 특징벡터 공간에서 정의된 가시변수에 의한 층; 및 실수 값을 갖는 m차원 은닉변수 벡터에 의한 층을 포함하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 제한된 RBM에서 입력 데이터를 비선형 함수에 의해 고차원의 특징공간으로 매핑하고, 이 공간에서 가시유닛과 은닉유닛에 대해 실수값을 갖는 가우시안 확률 분포를 사용하며, 경사기반 CD 알고리즘 및 경사 승강법을 이용한 KRBM을 제공함으로써, 종래의 RBM에 비해 특징 추출 및 인식 성능을 향상시키는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 커널 기법을 사용한 제한된 볼츠만 머신 시스템을 도시한 구성도.
도 2는 학습된 RBM에 대한 특징 표현에 대한 시각화를 살펴보기 위해 학습된 필터(가중치)에 대한 값을 표현한 도면.
도 3은 종래 기법과 본 발명의 일 실시예에 의한 기법에 대해 MNIST에서 가변적인 은닉유닛 수에 따른 테스트 인식 정확도를 도시한 도면.
본 발명의 구체적인 특징 및 이점들은 첨부 도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
먼저, RBM의 구조와 학습 알고리즘에 대해 살피면 아래와 같다.
RBM은 비방향성 그래프 모델(undirected graphical model)로 관측 데이터를 나타내는 n개의 가시유닛(visible units)
Figure 112019100382413-pat00003
과, m개의 은닉유닛(hidden units),
Figure 112019100382413-pat00004
으로 구성된다.
이때, 가시유닛과 은닉유닛의 형태에 따라 이진 또는 실수 값을 표현하는 가시유닛과, 이진 값을 갖는 은닉유닛으로 구성된다. 이진 가시유닛과 이진 은닉유닛을 조합을 갖는 RBM을 BBRBM(Bernoulli-Bernoulli RBM)이라 부르며, 이진 값의 모든 조합에 대해 에너지 함수는 [수학식 1]과 같이 정의할 수 있다.
Figure 112019100382413-pat00005
여기서,
Figure 112019100382413-pat00006
는 i번째 가시유닛과 j번째 은닉유닛의 이진 상태를 나타내며,
Figure 112019100382413-pat00007
는 두 유닛사이의 가중치이고,
Figure 112019100382413-pat00008
는 각각의 바이어스를 나타낸다. 실수값을 갖는 입력 데이터의 경우 i번째 가시유닛에 대해 평균과 분산이
Figure 112019100382413-pat00009
와
Figure 112019100382413-pat00010
인 가우시안 분포로 모델링하여 표현하며, 이를 GBRBM(Gaussian-Bernoulli RBM)이라고 지칭한다. 이때, 에너지 함수는 [수학식 2]와 같다.
Figure 112019100382413-pat00011
이러한 두 가지 모델에 의해 두 유닛의 결합 확률분포는 에너지 함수에 의해
Figure 112019100382413-pat00012
형태로 정의된다. 여기서 Z는 파티션 함수이고,
Figure 112019100382413-pat00013
에 의해 표현된다.
RBM 구조는 가시유닛 층과 은닉유닛 층 사이에 가중치 연결만이 존재하고, 같은 층 유닛사이에는 연결이 존재하지 않기 때문에 가시변수가 주어진 경우 은닉변수의 조건부 확률이 독립적이 된다.
마찬가지로 은닉변수가 주어진 조건하에서 가시유닛의 조건부 확률도 서로 독립적이다. 따라서, BBRBM의 경우 각 유닛에 대한 조건부 확률은 아래의 [수학식 3] 및 [수학식 4]의 형태를 갖는다.
Figure 112019100382413-pat00014
Figure 112019100382413-pat00015
여기서,
Figure 112019100382413-pat00016
는 시그모이드(sigmoid) 함수이다. 그리고, GBRBM 가시유닛의 조건부 확률은 [수학식 5]와 같이 가우시안 형태를 갖는다.
Figure 112019100382413-pat00017
여기서,
Figure 112019100382413-pat00018
은 평균이
Figure 112019100382413-pat00019
이고 분산이
Figure 112019100382413-pat00020
인 가우시안 확률분포를 나타낸다. 이러한 성질은 v와 h사이에 깁스 샘플링(Gibbs sampling) 수행을 통해 학습과정을 빠르게 할 수 있다.
이에 따라, RBM 형성부(102)는 깁스 샘플링 수행시 [수학식 6]을 통해 가중치 파라미터에 대한 유사도 함수의 경사치(양수 경사치(positive gradient) 및 음수 경사치(negative gradient))를 도출한다.
Figure 112019100382413-pat00021
첫 번째 부분은 양수 경사치(positive gradient)라 부르며 확률분포에서 쉽게 구할 수 있으며, 두 번째 부분은 음수 경사치(negative gradient)로 깁스샘플링을 통해 얻어진 데이터를 사용해 구하게 된다.
이하, 도 1을 참조하여 본 발명의 일 실시예에 따른 커널 기법을 사용한 제한된 볼츠만 머신 시스템(100)에 대해 살피면 아래와 같다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 커널 기법을 사용한 제한된 볼츠만 머신 시스템(100)은, 입력 데이터(가시변수)를 비선형 함수를 이용하여 고차원의 특징 공간(high-dimensional feature space)으로 매핑하고, 매핑한 공간에서 커널함수(kernel function)를 통해 실수값을 갖는 가시변수 및 은닉변수로 구성된 커널 RBM(KRBM: Kernel Restricted Boltzmann Machine)을 형성하는 KRBM 형성부(102)와, 로그 유사도(log-likelihood) 함수를 최대화하는 경사 승강법(gradient ascent)을 이용하여 KRBM에 대한 학습을 수행하는 KRBM 학습부(104), 및 입력받은 가중치에 따라 ReLU 커널함수를 통해 입력 데이터로부터 특징을 추출하는 특징 추출부(106)를 포함하여 구성된다. 이때, RBM 형성부(102)에 의해 매핑되는 입력 데이터는 커널함수의 가우시안 확률 분포에 의해 매핑된다.
이하, 본 발명의 일 실시예에 따른 커널 기법을 사용한 제한된 볼츠만 머신 시스템의 구체적으로 KRBM 형성부의 세부구성에 대해 살피면 아래와 같다.
본 발명의 일 실시예에는
Figure 112019100382413-pat00022
을 원래의 n차원 데이터 공간에서 정의된 가시변수 벡터라고 설정하고, 비선형함수
Figure 112019100382413-pat00023
는 n차원의 입력공간에서
Figure 112019100382413-pat00024
차원의 특징벡터 공간으로 매핑하는 함수로 설정한다. 이때, 경우에 따라
Figure 112019100382413-pat00025
는 무한 차원도 가능하다.
Figure 112019100382413-pat00026
는 가시변수 v에 해당되는 비선형적으로 매핑되는
Figure 112019100382413-pat00027
차원의 특징벡터 공간에서의 가시변수이다.
KRBM 구조는 특징벡터 공간
Figure 112019100382413-pat00028
에서 정의된 가시변수
Figure 112019100382413-pat00029
에 의한 층과
Figure 112019100382413-pat00030
공간에서 정의된 실수 값을 갖는 m차원 은닉변수 벡터
Figure 112019100382413-pat00031
에 의한 층으로 구성된다.
가시변수 층과 은닉변수 층 사이의 연결 가중치 설정을 위해 m개의 n차원 가중치 벡터
Figure 112019100382413-pat00032
들을 정의하고, 이들 각각을 가시변수와 동일하게 특징벡터 공간으로 비선형 함수에 의해 매핑하며, 매핑에 따라
Figure 112019100382413-pat00033
는 j번째 은닉변수
Figure 112019100382413-pat00034
와 특징공간에서 가시벡터
Figure 112019100382413-pat00035
을 연결하는 가중치 벡터가 된다. 그러면,
Figure 112019100382413-pat00036
은 가중치 벡터들에 대응되는 특징벡터 공간에서의 가중치 행렬이된다.
이와 같이 도출한 가시변수, 은닉변수 및 가중치 벡터와 행렬을 통해 아래의 [수학식 7]과 같이 KRBM 구조의 에너지 함수를 정의할 수 있다.
Figure 112019100382413-pat00037
여기서, 커널트릭에 의해
Figure 112019100382413-pat00038
이고,
Figure 112019100382413-pat00039
이다. 이러한 에너지 함수의 형태는
Figure 112019100382413-pat00040
와
Figure 112019100382413-pat00041
공간에서
Figure 112019100382413-pat00042
와 h가 실수 값을 갖는 것으로 상정하여 결합 확률분포가 가우시안 분포를 갖도록 이차항들의 형태로 구성되었다.
따라서, RBM과 같은 형태의 결합 확률분포
Figure 112019100382413-pat00043
를 정의할 수 있고, 이와 같은 커널 함수에 의해 비선형 특징공간에서 정의된 에너지 함수와 결합 확률분포를 갖는 RBM을 커널(kernel) RBM(KRBM)이라고 한다. 이때, 파티션 함수는 다음의 [수학식 8]와 같다.
Figure 112019100382413-pat00044
KRBM에 대한 결합 확률분포가 주어진 경우, 특징공간에서
Figure 112019100382413-pat00045
에 대한 한계 확률분포는 다음의 [수학식 9]와 같다.
Figure 112019100382413-pat00046
또한, 상기 [수학식 7]의 에너지 함수가
Figure 112019100382413-pat00047
와 h에 이차함수 형태를 갖고 있기 때문에 KRBM에 대한 조건부 확률분포들을 다음의 [수학식 10] 및 [수학식 11]과 같이 각각 다변수(multivariate) 가우시안 형태를 갖는다.
Figure 112019100382413-pat00048
Figure 112019100382413-pat00049
여기서,
Figure 112019100382413-pat00050
와
Figure 112019100382413-pat00051
은 각각 m차원과 f차원에서 단위행렬을 나타낸다. 상기 [수학식 10] 및 [수학식 11]의 조건부 확률분포가 각 성분에 대해 독립적이기 때문에 CD 알고리즘의 깁스샘플링 과정을 기존 RBM과 같이 효율적으로 수행할 수 있다.
KRBM에서는 가시벡터가 커널함수를 통해 고차원의 특징공간으로 매핑됨으로 커널함수의 선택은 주어진 데이터와 수행하는 기능에 따라 달라질 수 있으며, 본 발명의 일 실시예에서는 KRBM을 위한 커널함수로 ReLU 함수를 사용하고, n차원의 두 벡터 w와 v에 대한 커널함수로 ReLU 함수의 정의는 아래의 [수학식 12]와 같다.
Figure 112019100382413-pat00052
이하, 본 발명의 일 실시예에 따른 커널 기법을 사용한 제한된 볼츠만 머신 시스템의 구체적으로 KRBM 학습부의 세부구성에 대해 살피면 아래와 같다.
KRBM 학습부(104)는 로그 유사도(log-likelihood) 함수를 최대화하는 경사 승강법(gradient ascent)을 이용하여 KRBM에 대한 학습을 수행하게 된다.
고차원 특징공간에서 하나의 학습 데이터
Figure 112019100382413-pat00053
가 주어진 경우, 로그 유사도 함수는 전술한 [수학식 8] 및 [수학식 9]에 의해 [수학식 13]과 같이 설정된다.
Figure 112019100382413-pat00054
이때, KRBM의 파라미터
Figure 112019100382413-pat00055
에 대한 로그 유사도에 대한 경사값은 아래의 [수학식 14]와 같이 주어진다.
Figure 112019100382413-pat00056
이때, KRBM의 로그 유사도의 경사값은 두 기댓값의 합으로 구성되며, 첫 번째 항은 계산이 용이하나, 두 번째 항은 결합 확률분포하에서 기댓값을 효율적으로 계산할 수 없다. 따라서, RBM에 적용되었던 CD-1 알고리즘을 통해 두 번째 항의 기댓값을 모델 분포로부터 깁스 샘플링에 의한 샘플값을 근사화한다.
깁스 샘플링은 데이터 샘플
Figure 112019100382413-pat00057
으로 먼저 초기화하고 이를 통해
Figure 112019100382413-pat00058
으로 매핑하고,
Figure 112019100382413-pat00059
로부터 효율적으로
Figure 112019100382413-pat00060
샘플을 도출할 수 있다. 이러한 CD 알고리즘에 기초해 상기 파라미터에 대한 로그 유사도 경사값은 다음의 [수학식 15]와 같이 근사화된다.
Figure 112019100382413-pat00061
이때, ReLU 커널함수가 사용되는 경우, 가중치
Figure 112019100382413-pat00062
와 바이어스
Figure 112019100382413-pat00063
에 대한 경사값은 다음의 [수학식 16] 및 [수학식 17]과 같이 유추할 수 있다.
Figure 112019100382413-pat00064
Figure 112019100382413-pat00065
여기서,
Figure 112019100382413-pat00066
이다. 그리고 깁스 샘플링 과정중에
Figure 112019100382413-pat00067
로부터 v의 샘플을 도출하는 과정에 필요하다. v의 샘플값은 조건부 확률이 최대가 되는 값을 다음의 [수학식 18]과 같이 선택하게 된다.
Figure 112019100382413-pat00068
상기 [수학식 18]을 커널 트릭을 사용하여 전개하면,
Figure 112019100382413-pat00069
는 [수학식 19]와 같은 목적함수
Figure 112019100382413-pat00070
를 최소화하는 값으로 구해진다.
Figure 112019100382413-pat00071
이때, ReLU 커널함수가 사용되는 경우, ReLU 함수를 위 목적함수에 대입한 후, v에 대해 미분을 취하고 0으로 설정하면 고정점 반복법(fixed-point iteration)에 의해 t번째의 샘플 값을 [수학식 20]와 같이 추정할 수 있다.
Figure 112019100382413-pat00072
여기서,
Figure 112019100382413-pat00073
는 ReLU 함수의 미분값이고, 초기값은
Figure 112019100382413-pat00074
로 설정되며, 다음 단계 추정값인
Figure 112019100382413-pat00075
을 샘플값
Figure 112019100382413-pat00076
로 사용하였다.
이하, 본 발명의 일 실시예에 따른 커널 기법을 사용한 제한된 볼츠만 머신 시스템의 모의실험 및 결과에 대해 살피면 아래와 같다.
[ MNIST ]
먼저, MNIST(Modified National Institute of Standards and Technology) 데이터 셋에 대한 학습 및 인식을 수행하였다. 이때, MNIST 데이터 셋은 28 X 28 크기의 grayscale 형식의 손으로 쓴 0 에서 9 사이의 숫자 영상이다.
60,000개의 학습 샘플과 10,000개의 테스트 샘플로 구성되며, 본 발명의 KRBM과 비교하기 위해 BBRBM과 이진 가시유닛을 갖는 NReLU(Noisy ReLU) RBM을 학습하였다. 학습을 위해 CD-1 알고리즘을 사용하였고, 경사 승강법의 학습율은 KRBM에 대해 0.001을 사용하였고, 0.9의 모멘텀을 사용하였다.
가중치의 초기값은 영평균과 0.01의 표준편차를 갖는 가우시안으로부터 발생된 랜덤값을 사용하였다. 학습을 위한 배치 크기는 100이며, 1000 epoch만큼 학습하였다. RBM의 입력은 28 X 28 = 784 크기의 벡터이며, 은닉층의 수는 가변적으로 사용하여 성능을 비교하였다.
도 2는 학습된 RBM에 대한 특징 표현에 대한 시각화를 살펴보기 위해 학습된 필터(가중치)에 대한 값을 표현한 도면으로, (a)는 BBRBM, (b)는 NReLU RBM, (c)는 본 발명의 일 실시예에 따른 KRBM에 대한 필터로, MNIST에 대해 1024개의 은닉유닛중에 분산이 가장 큰 100개에 대한 이미지이다.
일반적으로 RBM은 Gabor 필터와 닮은 국부적인 형태의 필터를 나타낸 것으로 잘 알려져 있다. 도 2에 도시된 바와 같이, NReLU에 의해 학습된 필터는 조금 더 sparse한 형태를 띄고, KRBM은 종래의 RBM과는 다른 형태의 필터 이미지가 나타나는 것을 확인할 수 있고, spares한 형태의 필터뿐만 아니라 다양한 형태를 갖는 필터가 학습됨을 알 수 있다.
이처럼 학습된 RBM을 사용하여 입력이 주어진 경우, 은닉유닛의 수만큼 은닉유닛에 나타는 값들을 새로운 특징벡터로 추출하고, 이를 인식하기 위해 softmax 인식기를 사용해 3가지 RBM에 대해 인식 실험을 수행하였다.
한편, 도 3은 가변적인 은닉유닛의 수에 따른 테스트 데이터에 대한 인식 정확도를 도시한 도면이다. 전체적으로 은닉유닛의 수가 증가할수록 인식 정확도가 향상됨을 알 수 있다. NReLU RBM은 적은 수의 은닉수에서 RBM보다 더 낮은 성능을 보이나 2048개에서는 RBM이 약간 더 나은 성능을 보였다.
본 발명의 일 실시예에 따른 KRBM은 적은 수에 대해서 종래의 BBRBM과 NReLU RBM에 비해 훨씬 향상된 정확도를 나타내며, 2048개에서 거의 비슷한 성능을 보임을 알 수 있다. 따라서 본 발명의 일 실시예에 의한 기법이 종래 기법에 비해 비지도 특징학습에 있어 효과적임을 알 수 있다.
[ STL10 ]
STM-10은 비교사 특징학습 또는 딥러닝을 위한 영상 인식용 데이터 셋이다. 이는 종래의 CIFA-10 데이터 셋과 비슷하지만 일부 수정을 통해 생성되었고, 각 클래스는 CIFAR-10 보다 적은 레이블을 갖는 학습 샘플과, 훨씬 많은 양의 레이블이 없는 샘플 영상으로 구성되어 교사 학습 전에 비교사 학습을 위해 제작되었다.
레이블이 없는 샘플들은 모델 학습을 위해 이용되며, 특히 여러 가지 비교사 학습 방법을 개발하기 위해 사용된다. 영상 샘플은 96 X 96 픽셀 크기의 컬러 영상이며, 10개의 클래스(airplane, bird, car, cat, deer, dog, horse, monkey, ship, truck)로 구성된다.
비교사 학습을 위한 데이터 수는 100,000개이며, 교사학습을 위해 클래스당 500개의 학습 영상과 800개 테스트 영상으로 구성된다. 비교사용 데이터 셋은 레이블을 갖는 영상뿐아니라 다양한 형태의 영상들이 추가로 포함되어 있다. STL-10 데이터를 비지도 학습과 인식에 사용하기 위해 MNIST와 다르게 전처리 과정을 수행한다.
본 발명의 일 실시예는 먼저 96 X 96 크기의 영상을 계산량과 메모리 사용량을 줄이기 위해 32 X 32 크기로 조정한다. 그리고, RBM의 학습을 위해 6 X 6 크기의 컬러 패치(patch)를 클래스가 없는 100,000개의 영상의 임의의 위치에서 총 500,000개를 추출하여 사용한다. 이에 따라 RBM의 입력의 개수는 6 X 6 X 3 = 108이다.
모든 데이터는 whitening 과정을 수행하고, KRBM에 대해서는 영평균을 그리고 나머지 RBM에 대해서는 영평균과 단위분상을 갖도록 정규화 한다. 학습 데이터로 RBM을 학습한 후 인식 실험을 수행하기 위해 입력 영상에 대해 같은 간격으로 패치들을 생성하고 RBM을 통해 특징들을 추출한다.
특징벡터의 수를 줄이는 과정을 걸쳐 최종적으로 한 입력 영상당 1600개의 특징 벡터를 발생하였다. 이를 softmax 인식기를 사용해 인식실험을 수행하였다.
[표 1]은 STL-10에서 테스트 데이터에 대한 인식 정확도를 나타낸다. [표 1]에 나타나듯 특징학습이 없는 경우 31.8%의 매우 낮은 인식률을 나타낸다. RBM에 의해 특징학습을 수행하고 그 특징들을 이용하는 경우 매우 높은 인식률의 향상이 보임을 알 수 있다.
Figure 112019100382413-pat00077
STL-10의 경우 NReLU 보다 GBRBM이 더 높은 인식률을 보였고, 본 발명에 따른 KRBM은 두 기법보다 높은 인식률을 나타내었다. 따라서 STL-10 데이터에서도 본 발명의 일 실시예에 의한 KRBM이 효과적임을 알 수 있다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등 물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
100: 커널 기법을 사용한 제한된 볼츠만 머신 시스템
102: KRBM 형성부
104: KRBM 학습부
106: 특징 추출부

Claims (3)

  1. 입력 데이터를 비선형 함수를 이용하여 고차원의 특징 공간으로 매핑하고, 매핑한 공간에서 커널함수를 통해 실수값을 갖는 가시변수 및 은닉변수로 구성된 KRBM(Kernel Restricted Boltzmann Machine)을 형성하는 KRBM 형성부;
    로그 유사도 함수를 최대화하는 경사 승강법을 통해 KRBM에 대한 학습을 수행하는 KRBM 학습부; 및
    입력받은 가중치에 따라 커널함수를 통해 입력 데이터로부터 특징을 추출하는 특징 추출부를 포함하고,
    상기 비선형함수(
    Figure 112021009856465-pat00083
    )는 n차원의 입력공간에서
    Figure 112021009856465-pat00084
    차원의 특징벡터 공간으로 매핑하는 함수로 설정되되,
    상기 KRBM은,
    특징벡터 공간에서 정의된 가시변수에 의한 층; 및
    실수 값을 갖는 m차원 은닉변수 벡터에 의한 층을
    포함하는 것을 특징으로 하는 커널 기법을 사용한 제한된 볼츠만 머신 시스템.
  2. 제1항에 있어서,
    상기 입력 데이터는,
    상기 커널함수의 가우시안 확률 분포에 의해 매핑되는 것을 특징으로 하는 커널 기법을 사용한 제한된 볼츠만 머신 시스템.
  3. 삭제
KR1020190121463A 2019-10-01 2019-10-01 커널 기법을 사용한 제한된 볼츠만 머신 시스템 KR102263375B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190121463A KR102263375B1 (ko) 2019-10-01 2019-10-01 커널 기법을 사용한 제한된 볼츠만 머신 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190121463A KR102263375B1 (ko) 2019-10-01 2019-10-01 커널 기법을 사용한 제한된 볼츠만 머신 시스템

Publications (2)

Publication Number Publication Date
KR20210039090A KR20210039090A (ko) 2021-04-09
KR102263375B1 true KR102263375B1 (ko) 2021-06-11

Family

ID=75444221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190121463A KR102263375B1 (ko) 2019-10-01 2019-10-01 커널 기법을 사용한 제한된 볼츠만 머신 시스템

Country Status (1)

Country Link
KR (1) KR102263375B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880901B1 (ko) 2017-08-09 2018-07-23 펜타시큐리티시스템 주식회사 기계 학습 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101561651B1 (ko) 2014-05-23 2015-11-02 서강대학교산학협력단 딥 빌리프 네트워크를 이용한 음성기반 호불호 검출방법 및 장치, 그를 기록한 기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880901B1 (ko) 2017-08-09 2018-07-23 펜타시큐리티시스템 주식회사 기계 학습 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Training restricted Boltzmann machines : An introduction", Pattern Recognition Volume 47, Issue 1, 7 June 2013*
"평균 대조괴리도 알고리즘 기반 분류용 제한볼츠만기계", 한국데이터정보과학회지 29(1), 2018년*

Also Published As

Publication number Publication date
KR20210039090A (ko) 2021-04-09

Similar Documents

Publication Publication Date Title
CN107526785B (zh) 文本分类方法及装置
CN109685115B (zh) 一种双线性特征融合的细粒度概念模型及学习方法
CN107122809B (zh) 基于图像自编码的神经网络特征学习方法
Bodapati et al. Feature extraction and classification using deep convolutional neural networks
Dekhtyar et al. Re data challenge: Requirements identification with word2vec and tensorflow
CN108171318B (zh) 一种基于模拟退火—高斯函数的卷积神经网络集成方法
Chen et al. A saak transform approach to efficient, scalable and robust handwritten digits recognition
CN110263174B (zh) —基于焦点关注的主题类别分析方法
CN112800891B (zh) 一种用于微表情识别的鉴别性特征学习方法与系统
Yang et al. Projective non-negative matrix factorization with applications to facial image processing
Manjusha et al. Integrating scattering feature maps with convolutional neural networks for Malayalam handwritten character recognition
Giraddi et al. Flower classification using deep learning models
CN114626461A (zh) 基于领域自适应的跨域目标检测方法
Ghayoumi et al. Local sensitive hashing (LSH) and convolutional neural networks (CNNs) for object recognition
CN109978080B (zh) 一种基于判别矩阵变量受限玻尔兹曼机的图像识别方法
Gupta et al. Performance improvement in handwritten devanagari character classification
Nivrito et al. Comparative analysis between Inception-v3 and other learning systems using facial expressions detection
Newatia et al. Convolutional neural network for ASR
Kale et al. Age, gender and ethnicity classification from face images with CNN-based features
KR102263375B1 (ko) 커널 기법을 사용한 제한된 볼츠만 머신 시스템
CN108898157B (zh) 基于卷积神经网络的数值型数据的雷达图表示的分类方法
Fayyaz et al. CNN and traditional classifiers performance for sign language recognition
Vepuri Improving facial emotion recognition with image processing and deep learning
Kanungo Analysis of Image Classification Deep Learning Algorithm
Luqin A survey of facial expression recognition based on convolutional neural network

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right