KR20210009248A - 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법 - Google Patents

오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법 Download PDF

Info

Publication number
KR20210009248A
KR20210009248A KR1020190086043A KR20190086043A KR20210009248A KR 20210009248 A KR20210009248 A KR 20210009248A KR 1020190086043 A KR1020190086043 A KR 1020190086043A KR 20190086043 A KR20190086043 A KR 20190086043A KR 20210009248 A KR20210009248 A KR 20210009248A
Authority
KR
South Korea
Prior art keywords
fun
random
classifier
model
deep
Prior art date
Application number
KR1020190086043A
Other languages
English (en)
Other versions
KR102242112B1 (ko
Inventor
고병철
남재열
김상원
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020190086043A priority Critical patent/KR102242112B1/ko
Publication of KR20210009248A publication Critical patent/KR20210009248A/ko
Application granted granted Critical
Publication of KR102242112B1 publication Critical patent/KR102242112B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 오류 역전파가 필요 없는 심층 랜덤 펀 분류기에 관한 것으로서, 보다 구체적으로는 입력 이미지를 특징 벡터로 변환하는 인코딩 모델; 및 랜덤 펀이 layer-to-layer 구조로 연결된 다층 구조의 비-신경망 타입의 심층 모델이며, 상기 인코딩 모델에서 변환된 특징 벡터를 적용해 분류를 수행하는 캐스케이드 모델을 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법에 관한 것으로서, 보다 구체적으로는 심층 랜덤 펀 분류기를 이용한 분류 방법으로서, (1) 입력 이미지를 특징 벡터로 변환하는 인코딩 모델 및 랜덤 펀이 layer-to-layer 구조로 연결된 다층 구조의 비-신경망 타입의 심층 모델로서, 상기 인코딩 모델에서 변환된 특징 벡터를 적용해 분류를 수행하는 캐스케이드 모델을 포함하는 오류 역전파가 필요 없는 심층 랜덤 펀 분류기(deep Random Ferns classifier; d-RFs)를 생성하는 단계; 및 (2) 상기 생성된 d-RFs를 이용해 분류를 하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법에 따르면, 랜덤 펀이 layer-to-layer 구조로 연결된 다층 구조의 비-신경망 타입의 심층 모델을 개발하여, 기존 심층 신경망에서 사용하는 블랙박스 형태의 오류 역전파가 필요 없으며, 사용자가 정해야 하는 파라미터의 수를 제한함으로써 수행 속도를 높이고 사용자가 학습 과정에 관여할 수 있는, 설명 가능한 인공지능 아키텍처를 설계할 수 있다.
또한, 본 발명에서 제안하고 있는 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법에 따르면, 심층 신경망 기반 모델들과 비교하여 정확도가 비슷하면서도 파라미터의 수 및 연산 수를 줄여, 분류기 및 분류 방법을 경량화할 수 있고, 실시간 처리를 위한 분야에 효과적으로 적용할 수 있다.

Description

오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법{DEEP RANDOM FERNS CLASSIFIER WITHOUT BACKPROPAGATION AND CLASSIFICATION METHOD USING THEREOF}
본 발명은 분류기 및 이를 이용한 분류 방법에 관한 것으로서, 보다 구체적으로는 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법에 관한 것이다.
인공신경망(Artificial Neural Network; ANN)은 기계학습과 인지과학에서 사용되며, 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 네트워크 전반을 가리킨다.
심층 네트워크 또는 심층 신경망(Deep Neural Network; DNN)은, 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이루어진 인공신경망이다. 심층 네트워크는 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다. 예를 들어, 물체 식별 모델을 위한 심층 네트워크 구조에서는 각 물체가 영상의 기본적 요소들의 계층적 구성으로 표현될 수 있는데, 이때, 추가 계층들은 점진적으로 모여진 하위 계층들의 특징들을 규합시킬 수 있다. 심층 네트워크의 이러한 특징은, 비슷하게 수행된 인공신경망에 비해 더 적은 수의 유닛들만으로도 복잡한 데이터를 모델링할 수 있게 해준다.
도 1은 심층 네트워크 중 MLP(Multi-Layer Perceptron) 네트워크를 설명하기 위해 도시한 도면이다. 도 1에 도시된 바와 같이, MLP 네트워크는 입력층과 출력층 사이에 하나 이상의 중간층이 존재하는 신경망으로, 입력층과 출력층 사이에 중간층을 은닉층(hidden layer)이라고 부른다. 네트워크는 입력층, 은닉층, 출력층 방향으로 연결되어 있으며, 각 층 내의 연결과 출력층에서 입력층으로의 직접적인 연결은 존재하지 않는 전방향(Feedforward) 네트워크이다.
MLP 네트워크는, 단층 perceptron과 유사한 구조로 되어 있지만, 중간층과 각 unit의 입출력 특성을 비선형으로 함으로써, 네트워크의 능력을 향상시켜 단층 perceptron의 여러 가지 단점을 극복하였다. MLP 네트워크는 층의 개수가 증가할수록 perceptron이 형성하는 결정 구역의 특성은 더욱 고급화된다. 보다 구체적으로는, 단층일 경우 패턴 공간을 두 구역으로 나누어주고, 2층인 경우 볼록한(convex) 개구역 또는 오목한 폐구역을 형성하며, 3층인 경우에는 이론상 어떠한 형태의 구역도 형성할 수 있다.
일반적으로, 입력층의 각 unit에 입력 데이터를 제시하면, 이 신호는 각 unit에서 변환되어 중간층에 전달되고, 최종적으로 출력층으로 출력되게 되는데, 이 출력값과 원하는 출력값을 비교하여 그 차이를 감소시키는 방향으로 연결 강도를 조절하여 MLP 네트워크를 학습시킬 수 있다.
이러한 MLP 네트워크를 학습시킬 수 있는 방법의 하나가 오류 역전파(Backpropagation of errors)이다. 오류 역전파 알고리즘은, 다층 퍼셉트론 학습에 사용되는 통계적 기법을 의미하는 것으로서, 동일 입력층에 대해 원하는 값이 출력되도록, 역방향으로 오차를 전파시키면서 각 층의 가중치를 업데이트하고 최적의 학습 결과를 찾아가는 방법이다.
심층 신경망(Deep Neural Network; DNN)은 많은 분류 애플리케이션을 위한 강력한 알고리즘이지만 너무 많은 매개변수, 주의 깊은 매개변수 튜닝, 엄청난 양의 교육 데이터, 및 사전 훈련된 아키텍처 등이 필요하다. 현재 DNN 모델에 대한 이러한 요구 사항은 큰 부담이 되고 있으며 특히, 실시간 처리를 위한 분야에의 적용을 어렵게 하고 있다. 또한, 심층 신경망 모델은 오류 역전파 알고리즘을 이용하는 블랙박스 형태의 모델이므로 설명이 불가능한 문제도 있다.
한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2016-0102690호(발명의 명칭: 신경망 학습 방법 및 장치, 및 인식 방법 및 장치, 공개 일자 2016년 08월 31일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 랜덤 펀이 layer-to-layer 구조로 연결된 다층 구조의 비-신경망 타입의 심층 모델을 개발하여, 기존 심층 신경망에서 사용하는 블랙박스 형태의 오류 역전파가 필요 없으며, 사용자가 정해야 하는 파라미터의 수를 제한함으로써 수행 속도를 높이고 사용자가 학습 과정에 관여할 수 있는, 설명 가능한 인공지능 아키텍처를 설계할 수 있는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 심층 신경망 기반 모델들과 비교하여 정확도가 비슷하면서도 파라미터의 수 및 연산 수를 줄여, 분류기 및 분류 방법을 경량화할 수 있고, 실시간 처리를 위한 분야에 효과적으로 적용할 수 있는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기는,
입력 이미지를 특징 벡터로 변환하는 인코딩 모델; 및
랜덤 펀이 layer-to-layer 구조로 연결된 다층 구조의 비-신경망 타입의 심층 모델이며, 상기 인코딩 모델에서 변환된 특징 벡터를 적용해 분류를 수행하는 캐스케이드 모델을 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 인코딩 모델은,
다중 입자 스캔(multi-grained scanning; MGS)을 사용해 상기 입력 이미지를 특징 벡터로 변환할 수 있다.
바람직하게는, 상기 인코딩 모델은,
단일 레이어로 구성되며, 미리 정해진 개수의 이진 테스트를 포함하는 복수의 랜덤 펀들로 구성될 수 있다.
바람직하게는, 상기 인코딩 모델은,
미리 정해진 크기의 스캐닝 윈도우를 사용하여 상기 특징 벡터를 추출할 수 있다.
더욱 바람직하게는, 상기 인코딩 모델은,
상기 미리 정해진 크기의 스캐닝 윈도우를 이용해 복수의 서브패치를 추출하고, 상기 추출된 서브패치에 대해 이진 테스트를 수행하며, 상기 서브패치 내에서 미리 정해진 거리 이상 떨어진 픽셀을 무작위로 추출하여 상기 이진 테스트를 수행할 수 있다.
바람직하게는, 상기 캐드케이드 모델은,
각 레이어는 이질적인 랜덤 펀들로 구성될 수 있다.
바람직하게는, 상기 캐스케이드 모델은,
현재 레이어의 출력 벡터와 상기 인코딩 모델에서 변환된 특징 벡터를 결합하여, 다음 레이어의 입력 특징 벡터를 생성하며, 최종 레이어에서 최종 클래스를 예측하여 분류를 수행할 수 있다.
바람직하게는, 상기 캐스케이드 모델은,
각각 8개의 랜덤 펀들로 구성된 복수의 레이어를 포함하며, 하나의 랜덤 펀은 14개의 이진 테스트를 포함하여 40개의 펀들로 구성될 수 있다.
바람직하게는, 상기 캐스케이드 모델은,
부스팅(boosting) 및 k-겹 교차 검증(k-fold cross validation)을 사용하여 레이어 수 및 매개변수 수를 결정할 수 있다.
더욱 바람직하게는, 상기 캐스케이드 모델은,
이전 테스트 폴드에서 오분류 된 데이터를 학습 폴드에 추가하고, 오분류 된 데이터가 추가된 k-1개의 학습 폴드를 이용해 이전 반복에 의해 생성된 RFs를 업데이트할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 특징에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법은,
심층 랜덤 펀 분류기를 이용한 분류 방법으로서,
(1) 입력 이미지를 특징 벡터로 변환하는 인코딩 모델 및 랜덤 펀이 layer-to-layer 구조로 연결된 다층 구조의 비-신경망 타입의 심층 모델로서, 상기 인코딩 모델에서 변환된 특징 벡터를 적용해 분류를 수행하는 캐스케이드 모델을 포함하는 오류 역전파가 필요 없는 심층 랜덤 펀 분류기(deep Random Ferns classifier; d-RFs)를 생성하는 단계; 및
(2) 상기 생성된 d-RFs를 이용해 분류를 하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 인코딩 모델은,
다중 입자 스캔(multi-grained scanning; MGS)을 사용해 상기 입력 이미지를 특징 벡터로 변환할 수 있다.
바람직하게는, 상기 인코딩 모델은,
단일 레이어로 구성되며, 미리 정해진 개수의 이진 테스트를 포함하는 복수의 랜덤 펀들로 구성될 수 있다.
바람직하게는, 상기 인코딩 모델은,
미리 정해진 크기의 스캐닝 윈도우를 사용하여 상기 특징 벡터를 추출할 수 있다.
더욱 바람직하게는, 상기 인코딩 모델은,
상기 미리 정해진 크기의 스캐닝 윈도우를 이용해 복수의 서브패치를 추출하고, 상기 추출된 서브패치에 대해 이진 테스트를 수행하며, 상기 서브패치 내에서 미리 정해진 거리 이상 떨어진 픽셀을 무작위로 추출하여 상기 이진 테스트를 수행할 수 있다.
바람직하게는, 상기 캐드케이드 모델은,
각 레이어는 이질적인 랜덤 펀들로 구성될 수 있다.
바람직하게는, 상기 캐스케이드 모델은,
현재 레이어의 출력 벡터와 상기 인코딩 모델에서 변환된 특징 벡터를 결합하여, 다음 레이어의 입력 특징 벡터를 생성하며, 최종 레이어에서 최종 클래스를 예측하여 분류를 수행할 수 있다.
바람직하게는, 상기 캐스케이드 모델은,
각각 8개의 랜덤 펀들로 구성된 복수의 레이어를 포함하며, 하나의 랜덤 펀은 14개의 이진 테스트를 포함하여 40개의 펀들로 구성될 수 있다.
바람직하게는, 상기 캐스케이드 모델은,
부스팅(boosting) 및 k-겹 교차 검증(k-fold cross validation)을 사용하여 레이어 수 및 매개변수 수를 결정할 수 있다.
더욱 바람직하게는, 상기 캐스케이드 모델은,
이전 테스트 폴드에서 오분류 된 데이터를 학습 폴드에 추가하고, 오분류 된 데이터가 추가된 k-1개의 학습 폴드를 이용해 이전 반복에 의해 생성된 RFs를 업데이트할 수 있다.
본 발명에서 제안하고 있는 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법에 따르면, 랜덤 펀이 layer-to-layer 구조로 연결된 다층 구조의 비-신경망 타입의 심층 모델을 개발하여, 기존 심층 신경망에서 사용하는 블랙박스 형태의 오류 역전파가 필요 없으며, 사용자가 정해야 하는 파라미터의 수를 제한함으로써 수행 속도를 높이고 사용자가 학습 과정에 관여할 수 있는, 설명 가능한 인공지능 아키텍처를 설계할 수 있다.
또한, 본 발명에서 제안하고 있는 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법에 따르면, 심층 신경망 기반 모델들과 비교하여 정확도가 비슷하면서도 파라미터의 수 및 연산 수를 줄여, 분류기 및 분류 방법을 경량화할 수 있고, 실시간 처리를 위한 분야에 효과적으로 적용할 수 있다.
도 1은 심층 네트워크 중 MLP(Multi-Layer Perceptron) 네트워크를 설명하기 위해 도시한 도면.
도 2는 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법의 흐름을 도시한 도면
도 4는 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기의 인코딩 모델을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기의 캐스케이드 모델을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기에서, 캐스케이드 모델의 학습 알고리즘의 전체 프로세스를 도시한 도면.
도 8은 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법을 이용한 수기 인식 실험을 설명하기 위해 도시한 도면.
도 9는 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법과 다른 알고리즘에 의한 수기 인식 결과를 비교하여 표시한 도면.
도 10은 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법과 다른 알고리즘에 의한 얼굴 인식 결과를 비교하여 표시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 2는 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기의 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기는, 입력 이미지를 특징 벡터로 변환하는 인코딩 모델(encoding model)(100), 및 랜덤 펀이 layer-to-layer 구조로 연결된 다층 구조의 비-신경망 타입의 심층 모델이며, 인코딩 모델(100)에서 변환된 특징 벡터를 적용해 분류를 수행하는 캐스케이드 모델(cascade model)(200)을 포함하여 구성될 수 있다.
즉, 본 발명에서는, 심층 모델의 개별 레이어를 구성하는 데 랜덤 펀(Random Ferns; RFs)을 사용하여, 심층 랜덤 펀(deep Random Ferns; d-RFs)을 구성하였다. 오류 역전파가 필요 없는 심층 분류기를 구성하기 위해서, 랜덤 포레스트(Random forests)가 아닌 RFs를 이용한 이유는 다음과 같다.
첫째, 한 펀은 하나의 의사결정 트리(decision tree)와 같은 방식으로 작동한다. 의사결정 트리는 샘플을 하향식(tor-down form)으로 분류하는 반면, 펀은 샘플을 이진 테스트(binary tests)의 조합으로 분류한다.
둘째, RFs에서 사용되는 이진 테스트는 완전히 무작위로 선택되므로 다양성을 향상시킬 수 있다.
셋째, RFs는 특히 구현이 쉽고, 과적합 문제가 없으며, 매개변수 튜닝이 요구되지 않고, 신속하고 점진적인 학습이 가능하다.
넷째, RFs는 랜덤 트리만큼 신뢰할 수 있으나, 그 구현은 더 빠르고 간단하다.
본 발명에서는, 인코딩 모델(100) 및 캐스케이드 모델(200)의 개별 레이어를 RFs를 사용해 구성하였는데, RFs는 완전히 랜덤화 된 학습 과정을 기반으로 하며, 분할 함수가 모든 노드에서 계산되는 방식과는 달리, 간단한 방식으로 이진 테스트를 수행한다. RFs는 데이터 세트를 학습하기 위해 이진 테스트만 수행하기 때문에 DNN보다 훨씬 효율적이고 훨씬 간단하다. 이와 같은 약한 분류기의 앙상블은 임의로 선택된 위치에서 특징을 선택함으로써 상당한 다양성을 달성할 수 있다. 더 나아가, 각 RFs는 입력 데이터가 학습되는 방식을 명확하게 나타내는 히스토그램을 유지하기 때문에 오류 역전파를 사용하는 모델과 달리 이해가 가능하다.
오류 역전파가 필요 없는 심층 랜덤 펀 분류기 즉, 경량의 d-RFs의 구성에서, 레이어의 각 뉴런은 개별 RFs로 구성되며, 각 레이어는 RFs의 유형으로 간주될 수 있다. 이 RFs 기반 네트워크는 한 번에 전체 DNN을 학습시킴으로써 발생하는 높은 계산 비용을 없애고, 레이어 별로 신속하게 학습할 수 있다. 이러한 RFs-앙상블은, DNN 또는 심층 포레스트 모델보다 훨씬 적은 수의 하이퍼 매개 변수를 가지며, 데이터 복잡성을 데이터 종속적인 방식으로 자동 결정할 수 있다. 또한, RFs의 다층 앙상블은 더 높은 다양성(diversity)과 향상된 분류율을 달성할 수 있다. 확장 가능한 레이어는 전체 네트워크 아키텍처가 미리 정의된 DNN과 달리 RFs에 유연성을 부여할 수 있다. 본 발명의 성능은, 하이퍼 매개변수 설정에 매우 강력하며, DNN 및 심층 포레스트 기반 방법에 비해 우수하다.
이하에서는 본 발명의 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법에 대해 설명하기 전에, 본 발명에서 사용되는 랜덤 펀에 대하여 먼저 상세히 설명하도록 한다.
RFs는, 테스트가 무작위로 선택될 때 트리 구조 자체가 아니라 이진 테스트 그룹을 결합하면 분류 속도가 향상된다는 사실에 기반할 수 있다. 따라서 본 발명의 d-RFs에서 레이어의 각 뉴런은 펀으로 대체되고, 각 레이어는 몇 가지 유형의 펀들로 구성될 수 있다. 특징 fn의 값은 입력 이미지 I의 두 픽셀 위치 dn,1 및 dn,2의 강도에만 의존하는 간단한 이진 테스트의 결과라고 가정하면 다음 수학식 1과 같다.
Figure pat00001
특징이 매우 간단하므로 정확한 분류를 위해서는 많은 특징이 필요하다. 그러나 특징 수가 너무 많으면 모든 특징에 대한 joint likelihood distribution을 학습하는 것이 어려울 수 있다. 따라서 nave Bayes는 클래스 레이블 Ck가 주어졌을 때 특징이 조건부 독립이라는 단순화된 가정을 한다. 그러나 클래스 조건부 밀도 P(fi|Ck)를 배우기는 쉽지만, 이 독립 가정은 일반적으로 거짓이며, 그 결과인 근사값은 실제 사후 확률을 과소평가하는 경향이 있다. 따라서 zuysal et al.은 이러한 종속성을 고려하면서 문제를 다루기 쉽게 하려고, 크기 S의 작은 세트 L개로 구성된 그룹으로 특징을 수집했다. 이 그룹을 펀이라 부르며, l번째 펀은 Fl={fl,1, fl,2,…,fl,S}와 같이 구성될 수 있고, 각 펀의 특징에 대한 결합 확률은 그룹이 조건 독립적인 것을 가정함으로써 semi-nave Bayes라고 불리는 다음 수학식 2와 같은 방법으로 계산될 수 있다.
Figure pat00002
단일 펀은 매우 우수한 분류 성능을 갖지는 않지만, 특징들의 서로 다른 하위 집합을 무작위로 선택하여 독립적인 펀들을 앙상블로 구축함으로써 성능을 향상시킬 수 있다. 수학식 2의 각 펀의 클래스 조건 분포와, semi-nave Bayes를 사용해 출력을 결합하여 사후 분포를 얻는 Bayes 법칙을 적용하면 다음 수학식 3을 얻을 수 있다.
Figure pat00003
테스트에서, 각 펀은 소수의 이진 테스트로 구성되어, 학습 과정에서 학습된 클래스 중 하나에 속하는 입력 벡터의 확률을 반환한다. 펀의 이러한 반응은 semi-nave Bayes 모델과 결합하여, 결국 가장 큰 확률값을 갖는 클래스로 분류될 수 있다.
본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기는, 전술한 바와 같은 랜덤 펀을 이용하여 인코딩 모델(100) 및 캐스케이드 모델(200)을 구성할 수 있으며, 구성된 심층 랜덤 펀 분류기를 사용해 분류를 수행할 수 있다.
도 3은 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법은, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기(deep Random Ferns classifier; d-RFs)를 생성하는 단계(S100), 및 생성된 d-RFs를 이용해 분류를 하는 단계(S200)를 포함하여 구현될 수 있다.
본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법의 각각의 단계는, 컴퓨터 장치에 의해 수행될 수 있다. 이하에서는 설명의 편의를 위해 각각의 단계에서 수행 주체가 생략될 수도 있다.
단계 S100에서는, 입력 이미지를 특징 벡터로 변환하는 인코딩 모델(100) 및 랜덤 펀이 layer-to-layer 구조로 연결된 다층 구조의 비-신경망 타입의 심층 모델로서, 인코딩 모델(100)에서 변환된 특징 벡터를 적용해 분류를 수행하는 캐스케이드 모델(200)을 포함하는 오류 역전파가 필요 없는 심층 랜덤 펀 분류기(deep Random Ferns classifier; d-RFs)를 생성할 수 있다.
도 4는 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법의 단계 S100은, 인코딩 모델(100)을 이용해 입력 이미지를 특징 벡터로 변환하는 단계(S110) 및 부스팅(boosting) 및 k-겹 교차 검증(k-fold cross validation)을 사용해 레이어 수 및 매개변수 수를 결정하여 캐스케이드 모델(200)을 구성하는 단계(S120)를 포함하여 구현될 수 있다.
즉, 단계 S100에서 생성되는 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기는, 인코딩 모델(100) 및 캐스케이드 모델(200)을 포함하여 구성될 수 있다. 이하에서는, 먼저 단계 S110에서 사용하는 인코딩 모델(100)에 대해 상세히 설명하도록 한다.
인코딩 모델(100)은, 다중 입자 스캔(multi-grained scanning; MGS)을 사용해 입력 이미지를 특징 벡터로 변환할 수 있다.
최근, 학습을 위한 대부분의 기계학습 알고리즘은, 이미지의 외형에 기반을 두고 있다. 이러한 방법들은, 매우 큰 시각 데이터로부터 추출한 수작업 특징들로부터 더 풍부하고 많은 정보를 얻을 수 있다. 컨벌루션 레이어를 사용하는 주요 DNN 방법들에서, 고품질 특징과 특징들의 상관관계는 일관되게 반복된 역전파를 통해 학습을 통해 추출될 수 있다.
gcForest(Multi-grained cascade forest)와 FTDRF(forward thinking deep random forest)에서 MGS는 입력 이미지에 적용되어, 첫 번째 계층의 입력에 대한 특징 벡터를 추출할 수 있다. 이러한 방법들은 3개의 윈도우 사이즈를 사용하며, 각 사이즈의 특징 벡터는 대응되는 랜덤 포레스트에 적용될 수 있다. 첫 번째 레이어의 출력 벡터는 각 랜덤 포레스트의 결과로 연결된다. 그러나 gcForest의 하나의 랜덤 포레스트는 500개의 트리로 구성되어야 하며, 4개의 랜덤 포레스트가 하나의 계층을 형성해야 한다. 그러므로, gcForest는 여전히 심층의 넓은 구조를 갖고 있기 때문에 쉽고 빠르게 처리할 수 없고, 간단한 인식 문제에 대해서만 최적화되어 있기 때문에 실시간 적용에 적합하지 않다. 한편, FTDRF는 단지 2개의 계층으로 구성되며, 각각은 2000개의 의사결정 트리로 구성된다. 그러나 FTDRF는 너무 많은 의사결정 트리 때문에 동작 속도가 느리다는 단점을 갖고 있다.
도 5는 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기의 인코딩 모델(100)을 설명하기 위해 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기(d-RFs)의 인코딩 모델(100)은, DNN의 콘볼루션 층과 유사한 특징 인코더(feature encoder)를 사용할 수 있다. 첫 번째 계층 즉, 인코딩 모델(100)의 역할은 입력 이미지의 외관 특징을 클래스 확률로 변환하는 것이며, 이러한 확률 출력은 다음 레이어의 원시 입력에 대한 단일 변환된 특징 벡터로 연결된다. 입력 특징 벡터는 상당한 계산 시간과 매개 변수가 필요한 MGS 대신 하나의 스캐닝 윈도우 크기 (uu)를 사용하여 추출될 수 있다.
여기서, 인코딩 모델(100)은, 단일 레이어로 구성되며, 미리 정해진 개수의 이진 테스트를 포함하는 복수의 랜덤 펀들로 구성될 수 있고, 미리 정해진 크기의 스캐닝 윈도우를 사용하여 특징 벡터를 추출할 수 있다. 또한, 인코딩 모델(100)은, 미리 정해진 크기의 스캐닝 윈도우를 이용해 복수의 서브패치를 추출하고, 추출된 서브패치에 대해 이진 테스트를 수행하며, 서브패치 내에서 미리 정해진 거리 이상 떨어진 픽셀을 무작위로 추출하여 이진 테스트를 수행할 수 있다.
보다 구체적으로, 인코딩 모델(100)은, 하나의 레이어를 가지며, 각각 10개의 이진 테스트를 포함하는 10개의 랜덤 펀들로 구성될 수 있다. 특징 벡터를 추출하기 위해, 입력 이미지의 모든 서브 샘플링된 이미지 패치들((d-u+1)2) 즉, 서브패치들에 대해 이진 테스트가 수행될 수 있다. 각 이진 테스트를 이미지 패치에 적용하여 더욱 다양한 다양성(diversity)을 얻을 수 있다. 또한, 과지역성(over locality)을 피하기 위해, 이진 테스트를 위한 픽셀의 위치는 동일한 패치 내에서 일정 거리 이상으로 무작위로 추출될 수 있다.
단계 S120에서는, 부스팅(boosting) 및 k-겹 교차 검증(k-fold cross validation)을 사용해 레이어 수 및 매개변수 수를 결정하여 캐스케이드 모델(200)을 구성할 수 있다.
캐스케이드 모델(200)은, 랜덤 펀이 layer-to-layer 구조로 연결된 다층 구조의 비-신경망 타입의 심층 모델이며, 인코딩 모델(100)에서 변환된 특징 벡터를 적용해 분류를 수행할 수 있다. 이때, 캐스케이드 모델(200)은, DNN 또는 심층 포레스트 모델보다 훨씬 적은 수의 하이퍼 파라미터를 가지며, 복잡도는 데이터에 따라 자동으로 결정될 수 있다.
도 6은 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기의 캐스케이드 모델(200)을 설명하기 위해 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기(d-RFs)는 layer-to-layer 구조로 구성될 수 있다. 각 레이어는 다음 레이어에 대한 새로운 특징 벡터를 생성하거나, 최종 레이어에서 최종 클래스를 예측하는 데 사용될 수 있다. 본 발명의 d-RFs에서 DNN 레이어의 각 뉴런은 RFs로 대체될 수 있다.
보다 구체적으로, 캐스케이드 모델(200)은, 각각 8개의 랜덤 펀들로 구성된 복수의 레이어를 포함하며, 하나의 랜덤 펀은 14개의 이진 테스트를 포함하여 40개의 펀들로 구성될 수 있다. 각 레이어는 다양성을 높이고 보편성을 유지하기 위해, 이질적인(heterogeneous) RFs를 무작위로 생성하여, 각 레이어를 이질적인 랜덤 펀들로 구성할 수 있다.
캐스케이드 모델(200)은, 현재 레이어의 출력 벡터와 인코딩 모델(100)에서 변환된 특징 벡터를 결합하여, 다음 레이어의 입력 특징 벡터를 생성하며, 최종 레이어에서 최종 클래스를 예측하여 분류를 수행할 수 있다. 즉, 다음 레이어의 입력 특징 벡터에 대해 현재 레이어의 출력 벡터와 인코딩 모델(100)의 변환된 특징 벡터가 결합되어, 입력 학습 특징의 다양성을 향상시킬 수 있으며, 이로 인하여 학습 과정 동안 성능이 유지 또는 향상될 수 있다.
과적합(over fitting)을 크게 줄이기 위해서는 데이터 서브 샘플링의 다양성(diversity)과 특징 서브 샘플링의 지역성(locality)을 동시에 고려해야 한다. 그러나 과다양성(over diversity)과 과지역성(over locality)은 피해야 하는데, 이를 위해 데이터 서브 샘플링은 전체 데이터 세트의 서브 세트에서 무작위로 수행되며, 특징 서브 샘플링은 연속적인 로컬 영역을 추출할 수 있다. 이 두 가지 유형의 서브 샘플링을 통해, 과적합을 억제하고 다양성 및 지역성의 균형을 개선할 수 있다.
캐스케이드 모델(200)은, 부스팅(boosting) 및 k-겹 교차 검증(k-fold cross validation)을 사용하여 레이어 수 및 매개변수 수를 결정할 수 있다. 즉, 학습 과정에서, d-RFs에 새로운 레이어를 추가하는 결정은 유효성 검사 성능의 수렴 여부에 따라 결정될 수 있다. 보다 구체적으로, 과적합의 위험을 줄이면서 최적의 레이어 및 매개변수 수를 자동으로 결정하기 위해 boosting을 k-겹 교차 검증(k-fold cross validation)과 결합할 수 있다.
도 7은 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기에서, 캐스케이드 모델(200)의 학습 알고리즘의 전체 프로세스를 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기의 캐스케이드 모델(200)은, 새로운 레이어를 추가하기 위해, 학습 데이터셋을 무작위로 k개의 폴드로 분할하고, k-1개의 폴드는 새 레이어의 학습을 위해 사용하고(학습 폴드), 나머지 하나의 폴드는 유효성 테스트를 위해 사용할 수 있다(테스트 폴드). 첫 번째 폴드부터 k 폴드까지 k개의 폴더를 각각 유효성 테스트에 사용하는 방식으로, k번 반복하게 된다.
도 7에 도시된 바와 같이, 본 발명에서는 k-겹 교차 검증 과정에서 모델의 정확성을 높이기 위해 학습 프로세스에 대한 부스팅 방법을 채택하였다. 즉, 캐스케이드 모델(200)은, 이전 테스트 폴드에서 오분류 된 데이터를 학습 폴드에 추가하고, 오분류 된 데이터가 추가된 k-1개의 학습 폴드를 이용해 이전 반복에 의해 생성된 RFs를 업데이트할 수 있다.
단계 S200에서는, 생성된 d-RFs를 이용해 분류를 할 수 있다. 즉, 단계 S120에서 d-RFs의 학습이 완료된 후, 테스트 영상이 주어지면, 주어진 윈도우 크기로부터 미가공 특징 벡터를 먼저 추출한 다음, 개별 특징 벡터를 하나씩 인코딩 모델(100)의 레이어에 입력할 수 있다. 인코딩 모델(100) 레이어의 출력은 캐스케이드 모델(200)의 레이어로 연결되고, 데이터가 캐스케이드 모델(200)의 최종 레이어에 매핑될 때까지 첫 번째 레이어(인코딩 모델(100))에서 생성된 클래스 벡터로 보완된 변환된 특징 벡터가 다음 레이어에 입력될 수 있다. 최종 레이어는 각 클래스의 확률값을 평균하여 최종 확률값이 가장 큰 클래스를 최종 클래스로 결정함으로써, 분류를 수행할 수 있다.
실험 결과
전술한 바와 같은 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기(d-RFs)의 성능을 평가하고, 다른 관련 방법들과 비교하기 위해, 2828 사이즈의 60,000개의 학습을 위한 이미지와 10,000개의 테스트를 위한 이미지를 포함하는 MNIST 수기(hand-written) 디지털 인식 데이터셋, 40명의 사람 각각에 대한 10개의 이미지로 구성된 11292 사이즈의 400개의 이미지를 포함하는 ORL 얼굴 인식 데이터셋을 사용하였다. 이러한 이미지는 DNN 관련 연구에서 자주 사용된다.
실험을 위한 시스템 환경에는 Microsoft Windows 10과 32GB RAM이 장착된 Intel Core i7 프로세서가 포함되었다. 본 발명의 d-RFs는 Visual C++을 사용해 구현되었으며 CPU를 기반으로 작동되었다. 비교 실험에 사용된 DNN 기반 알고리즘은 단일 Titan-X GPU를 사용하여 테스트하였다. 성능 평가 척도로서, 조사된 총 사례 수에 대한 참 긍정(true positive)에서 참 부정(true negative)의 비율인 일반적인 정확도(accuracy)를 사용하였다.
수기 디지털 인식
첫 번째 실험에서는, ResNet-101, 압축된 2개의 DNN(MobileNetV2 및 ShuffleNetV2), 2개의 심층 포레스트 기반 방법(gcForest(Multi-grained cascade forest) 및 FTDRF)과 본 발명의 d-RFs를 MNIST 데이터셋를 사용하여 정확도, 매개변수 수 및 연산 횟수를 비교하였다.
도 8은 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법을 이용한 수기 인식 실험을 설명하기 위해 도시한 도면이고, 도 9는 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법과 다른 알고리즘에 의한 수기 인식 결과를 비교하여 표시한 도면이다.
도 9에서 확인할 수 있는 바와 같이, 정확도 측면에서 ShuffleNetV2를 제외한 다섯 가지 비교 알고리즘이 모두 비슷한 성능을 보였다. 본 발명의 d-RFs는 gcForest 및 FTDRF와 비교하여, 정확도는 각각 0.76% 및 0.36%로 다소 낮지만, 각각 약 4.2-4.6배 및 61-105배 적은 매개변수 및 연산이 필요하므로, gcForest나 FTDRF보다 d-RFs가 우수하다고 할 수 있다. 또한, 이 실험에서 d-RFs는 2개의 레이어만 사용하여 구성되었으므로, 추가 레이어를 사용하면 더 나은 성능을 기대할 수 있다. 뿐만 아니라, 본 발명의 d-RFs는 모델 압축 없이 CPU 환경에서 잘 작동하기 때문에, 정확도, 메모리 및 작동 면에서 임베디드 시스템에 최적화되어 있다고 할 수 있다.
얼굴 인식
두 번째 실험에서는, 얼굴 인식 연구에서 가장 널리 사용되고 40명의 사람에 대한 400개의 그레이스케일 얼굴 이미지를 포함하는 ORL 데이터 세트를 사용하여 본 발명의 d-RFs의 정확도를 비교 평가하였다.
학습을 위해, 각 사람마다 무작위로 선택된 5개 및 9개 이미지를 사용하고, 나머지 이미지에 대해 테스트를 수행하였다. 비교 실험은 두 가지 전통적인 기계학습 기술(k-NN, SVM(Support Vector Machine)), 두 가지 압축된 DNN(MobileNetV2 및 ShuffleNetV2), 두 가지 CNN 기반 방법(CNN, multimodel deep learning (RMDL)), gcForest 및 본 발명의 d-RFs에 대해 수행되었다. CNN은 32개의 특징 맵을 가진 33 크기의 2개의 콘볼루션 레이어, 2개의 22 풀링 레이어, 완전 연결된 소프트-맥스 레이어를 포함하여 구성되며, ReLU, cross-entropy loss, 0.25 dropout rate를 사용해 학습하였다. RMDL은 DNN, CNN, RNN을 병렬적으로 결합한 딥러닝 아키텍처의 앙상블로 구성되었다.
도 10은 본 발명의 일실시예에 따른 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법과 다른 알고리즘에 의한 얼굴 인식 결과를 비교하여 표시한 도면이다. 도 10에서 확인할 수 있는 바와 같이, 본 발명의 d-RFs는 5개 이미지와 9개 이미지의 경우 모두에서 가장 정확한 정확도를 나타낸다. 또한, 2개의 압축된 DNN(MobileNetV2 및 ShuffleNetV2)과 DNN(CNN, RMDL)은 데이터셋의 크기에 크게 영향을 받지만, 본 발명의 d-RFs는 두 가지 경우에서 일정한 성능을 보임을 확인할 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법에 따르면, 랜덤 펀이 layer-to-layer 구조로 연결된 다층 구조의 비-신경망 타입의 심층 모델을 개발하여, 기존 심층 신경망에서 사용하는 블랙박스 형태의 오류 역전파가 필요 없으며, 사용자가 정해야 하는 파라미터의 수를 제한함으로써 수행 속도를 높이고 사용자가 학습 과정에 관여할 수 있는, 설명 가능한 인공지능 아키텍처를 설계할 수 있다. 또한, 본 발명에 따르면, 심층 신경망 기반 모델들과 비교하여 정확도가 비슷하면서도 파라미터의 수 및 연산 수를 줄여, 분류기 및 분류 방법을 경량화할 수 있고, 실시간 처리를 위한 분야에 효과적으로 적용할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 인코딩 모델
200: 캐스케이드 모델
S100: 오류 역전파가 필요 없는 심층 랜덤 펀 분류기(deep Random Ferns classifier; d-RFs)를 생성하는 단계
S110: 인코딩 모델을 이용해 입력 이미지를 특징 벡터로 변환하는 단계
S120: 부스팅(boosting) 및 k-겹 교차 검증(k-fold cross validation)을 사용해 레이어 수 및 매개변수 수를 결정하여 캐스케이드 모델을 구성하는 단계
S200: 생성된 d-RFs를 이용해 분류를 하는 단계

Claims (20)

  1. 입력 이미지를 특징 벡터로 변환하는 인코딩 모델; 및
    랜덤 펀이 layer-to-layer 구조로 연결된 다층 구조의 비-신경망 타입의 심층 모델이며, 상기 인코딩 모델에서 변환된 특징 벡터를 적용해 분류를 수행하는 캐스케이드 모델을 포함하는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기.
  2. 제1항에 있어서, 상기 인코딩 모델은,
    다중 입자 스캔(multi-grained scanning; MGS)을 사용해 상기 입력 이미지를 특징 벡터로 변환하는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기.
  3. 제1항에 있어서, 상기 인코딩 모델은,
    단일 레이어로 구성되며, 미리 정해진 개수의 이진 테스트를 포함하는 복수의 랜덤 펀들로 구성되는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기.
  4. 제1항에 있어서, 상기 인코딩 모델은,
    미리 정해진 크기의 스캐닝 윈도우를 사용하여 상기 특징 벡터를 추출하는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기.
  5. 제4항에 있어서, 상기 인코딩 모델은,
    상기 미리 정해진 크기의 스캐닝 윈도우를 이용해 복수의 서브패치를 추출하고, 상기 추출된 서브패치에 대해 이진 테스트를 수행하며, 상기 서브패치 내에서 미리 정해진 거리 이상 떨어진 픽셀을 무작위로 추출하여 상기 이진 테스트를 수행하는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기.
  6. 제1항에 있어서, 상기 캐드케이드 모델은,
    각 레이어는 이질적인 랜덤 펀들로 구성되는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기.
  7. 제1항에 있어서, 상기 캐스케이드 모델은,
    현재 레이어의 출력 벡터와 상기 인코딩 모델에서 변환된 특징 벡터를 결합하여, 다음 레이어의 입력 특징 벡터를 생성하며, 최종 레이어에서 최종 클래스를 예측하여 분류를 수행하는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기.
  8. 제1항에 있어서, 상기 캐스케이드 모델은,
    각각 8개의 랜덤 펀들로 구성된 복수의 레이어를 포함하며, 하나의 랜덤 펀은 14개의 이진 테스트를 포함하여 40개의 펀들로 구성되는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기.
  9. 제1항에 있어서, 상기 캐스케이드 모델은,
    부스팅(boosting) 및 k-겹 교차 검증(k-fold cross validation)을 사용하여 레이어 수 및 매개변수 수를 결정하는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기.
  10. 제9항에 있어서, 상기 캐스케이드 모델은,
    이전 테스트 폴드에서 오분류 된 데이터를 학습 폴드에 추가하고, 오분류 된 데이터가 추가된 k-1개의 학습 폴드를 이용해 이전 반복에 의해 생성된 RFs를 업데이트하는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기.
  11. 심층 랜덤 펀 분류기를 이용한 분류 방법으로서,
    (1) 입력 이미지를 특징 벡터로 변환하는 인코딩 모델 및 랜덤 펀이 layer-to-layer 구조로 연결된 다층 구조의 비-신경망 타입의 심층 모델로서, 상기 인코딩 모델에서 변환된 특징 벡터를 적용해 분류를 수행하는 캐스케이드 모델을 포함하는 오류 역전파가 필요 없는 심층 랜덤 펀 분류기(deep Random Ferns classifier; d-RFs)를 생성하는 단계; 및
    (2) 상기 생성된 d-RFs를 이용해 분류를 하는 단계를 포함하는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법.
  12. 제11항에 있어서, 상기 인코딩 모델은,
    다중 입자 스캔(multi-grained scanning; MGS)을 사용해 상기 입력 이미지를 특징 벡터로 변환하는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법.
  13. 제11항에 있어서, 상기 인코딩 모델은,
    단일 레이어로 구성되며, 미리 정해진 개수의 이진 테스트를 포함하는 복수의 랜덤 펀들로 구성되는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법.
  14. 제11항에 있어서, 상기 인코딩 모델은,
    미리 정해진 크기의 스캐닝 윈도우를 사용하여 상기 특징 벡터를 추출하는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법.
  15. 제14항에 있어서, 상기 인코딩 모델은,
    상기 미리 정해진 크기의 스캐닝 윈도우를 이용해 복수의 서브패치를 추출하고, 상기 추출된 서브패치에 대해 이진 테스트를 수행하며, 상기 서브패치 내에서 미리 정해진 거리 이상 떨어진 픽셀을 무작위로 추출하여 상기 이진 테스트를 수행하는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법.
  16. 제11항에 있어서, 상기 캐드케이드 모델은,
    각 레이어는 이질적인 랜덤 펀들로 구성되는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법.
  17. 제11항에 있어서, 상기 캐스케이드 모델은,
    현재 레이어의 출력 벡터와 상기 인코딩 모델에서 변환된 특징 벡터를 결합하여, 다음 레이어의 입력 특징 벡터를 생성하며, 최종 레이어에서 최종 클래스를 예측하여 분류를 수행하는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법.
  18. 제11항에 있어서, 상기 캐스케이드 모델은,
    각각 8개의 랜덤 펀들로 구성된 복수의 레이어를 포함하며, 하나의 랜덤 펀은 14개의 이진 테스트를 포함하여 40개의 펀들로 구성되는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법.
  19. 제11항에 있어서, 상기 캐스케이드 모델은,
    부스팅(boosting) 및 k-겹 교차 검증(k-fold cross validation)을 사용하여 레이어 수 및 매개변수 수를 결정하는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법.
  20. 제19항에 있어서, 상기 캐스케이드 모델은,
    이전 테스트 폴드에서 오분류 된 데이터를 학습 폴드에 추가하고, 오분류 된 데이터가 추가된 k-1개의 학습 폴드를 이용해 이전 반복에 의해 생성된 RFs를 업데이트하는 것을 특징으로 하는, 오류 역전파가 필요 없는 심층 랜덤 펀 분류기를 이용한 분류 방법.
KR1020190086043A 2019-07-16 2019-07-16 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법 KR102242112B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190086043A KR102242112B1 (ko) 2019-07-16 2019-07-16 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190086043A KR102242112B1 (ko) 2019-07-16 2019-07-16 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법

Publications (2)

Publication Number Publication Date
KR20210009248A true KR20210009248A (ko) 2021-01-26
KR102242112B1 KR102242112B1 (ko) 2021-04-20

Family

ID=74309996

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190086043A KR102242112B1 (ko) 2019-07-16 2019-07-16 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법

Country Status (1)

Country Link
KR (1) KR102242112B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130084016A (ko) * 2012-01-16 2013-07-24 삼성전자주식회사 분산된 학습 구조에 기초하는 자세 인식기 학습 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130084016A (ko) * 2012-01-16 2013-07-24 삼성전자주식회사 분산된 학습 구조에 기초하는 자세 인식기 학습 시스템 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
[네이버 블로그] 부스팅(Boosting) 이론. 꿈쟁이. 2017.01.15.* *
Boosted Random Ferns 를 이용한 회전 불변 얼굴 검출. 김후현 외 3명. 2013년 한국방송공학회 하계학술대회. 2013.06.23.* *
Forward Thinking: Building Deep Random Forests. Kevin Miller, Chris Hettinger, Jeffrey Humpherys, Tyler Jarvis, and David Kartchner. arXiv:1705.07366. 2017.05.20.* *

Also Published As

Publication number Publication date
KR102242112B1 (ko) 2021-04-20

Similar Documents

Publication Publication Date Title
Namatēvs Deep convolutional neural networks: Structure, feature extraction and training
US10977558B2 (en) Data encoding and classification
Zheng et al. The fusion of deep learning and fuzzy systems: A state-of-the-art survey
Pal et al. Soft computing for image processing
US11586924B2 (en) Determining layer ranks for compression of deep networks
JP2003527686A (ja) 事物を多数のクラスから１つまたは複数のクラスのメンバーとして分類する方法
Dong et al. A neural network boosting regression model based on XGBoost
Cheng et al. Classification of long sequential data using circular dilated convolutional neural networks
US20210089867A1 (en) Dual recurrent neural network architecture for modeling long-term dependencies in sequential data
Tripathi et al. Image classification using small convolutional neural network
Kim et al. Building deep random ferns without backpropagation
Elgharabawy et al. Preference neural network
WO2021158830A1 (en) Rounding mechanisms for post-training quantization
Zhang et al. Deep Learning for EEG-Based Brain–Computer Interfaces: Representations, Algorithms and Applications
KR102242112B1 (ko) 오류 역전파가 필요 없는 심층 랜덤 펀 분류기 및 이를 이용한 분류 방법
Gu A dual-model semi-supervised self-organizing fuzzy inference system for data stream classification
Ravanmehr et al. Deep learning overview
Dominguez-Catena et al. Additional feature layers from ordered aggregations for deep neural networks
Wirayasa et al. Comparison of Convolutional Neural Networks Model Using Different Optimizers for Image Classification
Dai et al. Two novel hybrid Self-Organizing Map based emotional learning algorithms
Safari MCSM-DEEP: A multi-class soft-max deep learning classifier for image recognition
Ye et al. Learning Algorithm in Two-Stage Selective Prediction
Praveenkumar et al. Deep Convolutional Neural Network Based Extreme Learning Machine Image Classification
US20240152726A1 (en) Single search for architectures on embedded devices
KR102238271B1 (ko) 저사양 실시간 동작을 위한 경량 다층 랜덤 포레스트 분류기 및 이를 이용한 분류 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant