WO2021091052A1

WO2021091052A1 - 가중 퍼지 소속함수 기반 심층 신경망을 통한 하위 패턴 학습 및 세부 학습을 이용한 클래스 분류 방법 및 장치

Info

Publication number: WO2021091052A1
Application number: PCT/KR2020/010587
Authority: WO
Inventors: 임준식
Original assignee: 가천대학교 산학협력단
Priority date: 2019-11-05
Filing date: 2020-08-11
Publication date: 2021-05-14
Also published as: KR102161534B1

Abstract

본 발명은 가중 퍼지 소속함수 기반 심층 신경망을 통한 하위 패턴 학습 및 세부 학습을 이용한 클래스 분류 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 클래스 분류 방법은 (a) 입력 데이터들로부터 선택된 입력 특징들(features)을 제1 가중 퍼지 소속함수 기반 심층 신경망(neural network with weighted fuzzy membership function, NEWFM)에 입력하는 단계; (b) 상기 제1 NEWFM으로부터 출력된 출력 특징들에 대한 다수의 인스턴스들을 제1 클래스 또는 제2 클래스로 분류하는 단계; (c) 상기 분류 결과에 따라 상기 다수의 인스턴스들을 제1 인스턴스 그룹과 제2 인스턴스 그룹으로 구분하는 단계; (d) 상기 제1 인스턴스 그룹에 대응하는 출력 특징들을 제2 NEWFM에 입력하고, 상기 제2 인스턴스 그룹에 대응하는 출력 특징들을 제3 NEWFM에 입력하는 단계; 및 (e) 상기 제2 NEWFM을 이용하여 제1 출력 데이터를 산출하고, 상기 제3 NEWFM을 이용하여 제2 출력 데이터를 산출하는 단계;를 포함할 수 있다.

Description

가중 퍼지 소속함수 기반 심층 신경망을 통한 하위 패턴 학습 및 세부 학습을 이용한 클래스 분류 방법 및 장치

본 발명은 클래스 분류 방법 및 장치에 관한 것으로, 더욱 상세하게는 가중 퍼지 소속함수 기반 심층 신경망을 통한 하위 패턴 학습 및 세부 학습을 이용한 클래스 분류 방법 및 장치에 관한 것이다.

신경망(Neural Network)은 인간이 뇌를 통해 문제를 처리하는 방법과 비슷한 방법으로 문제를 해결하기 위해 컴퓨터에서 채택하고 있는 구조로서, 수학적 모델로서의 뉴런이 상호 연결되어 네트워크를 형성할 때 이를 신경망 또는 인공 신경망(Artificial Neural Network)이라 한다.

신경망은 각 뉴런이 독립적으로 동작하는 처리기의 역할을 하기 때문에 병렬성(Parallelism)이 뛰어나고, 많은 연결선에 정보가 분산되어 있기 때문에 몇몇 뉴런에 문제가 발생하더라도 전체 시스템에 큰 영향을 주지 않으므로 결함 허용(fault tolerance) 능력이 있으며, 주어진 환경에 대한 학습 능력이 있다.

이와 같은 특성 때문에 인공 지능 분야의 문제 해결에 이용되고 있으며, 질병 인식, 문자 인식, 음성 인식, 분류, 진단, 예측 등 여러 분야에서 이용되고 있다.

종래에는 딥러닝과 같은 인공지능 기술을 이용한 질병 인식 모델 생성 방법이 개시되었다. 종래의 질병 인식 모델 생성 방법은 입력 데이터로부터 특징(feature)을 추출하고, 학습한 결과를 통해 해당 질병의 감염 여부를 분류하였다. 다만, 질병 감염 여부의 정확도를 개선하기 위한 방안은 개발이 미흡한 실정이다.

본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 가중 퍼지 소속함수 기반 심층 신경망(neural network with weighted fuzzy membership function, NEWFM)을 통한 하위 패턴 학습 및 세부 학습을 이용한 클래스 분류 방법 및 장치를 제공하는 것을 그 목적으로 한다.

또한, 본 발명은 입력 특징들을 입력하여 제1 NEWFM으로부터 출력된 특징들에 대한 다수의 인스턴스들을 MCI(misclassified instance)와 CCI(correctly classified instance)로 구분하기 위한 클래스 분류 방법 및 장치를 제공하는 것을 그 목적으로 한다.

또한, 본 발명은 MCI와 CCI를 제2 NEWFM과 제3 NEWFM에 각각 입력하여, 서브 패턴 학습(sub-pattern learning)과 세부 학습(refine learning)을 수행하기 위한 클래스 분류 방법 및 장치를 제공하는 것을 그 목적으로 한다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 클래스 분류 방법은 (a) 입력 데이터들로부터 선택된 입력 특징들(features)을 제1 가중 퍼지 소속함수 기반 심층 신경망(neural network with weighted fuzzy membership function, NEWFM)에 입력하는 단계; (b) 상기 제1 NEWFM으로부터 출력된 출력 특징들에 대한 다수의 인스턴스들을 제1 클래스 또는 제2 클래스로 분류하는 단계; (c) 상기 분류 결과에 따라 상기 다수의 인스턴스들을 제1 인스턴스 그룹과 제2 인스턴스 그룹으로 구분하는 단계; (d) 상기 제1 인스턴스 그룹에 대응하는 출력 특징들을 제2 NEWFM에 입력하고, 상기 제2 인스턴스 그룹에 대응하는 출력 특징들을 제3 NEWFM에 입력하는 단계; 및 (e) 상기 제2 NEWFM을 이용하여 제1 출력 데이터를 산출하고, 상기 제3 NEWFM을 이용하여 제2 출력 데이터를 산출하는 단계;를 포함할 수 있다.

실시예에서, 상기 클래스 분류 방법은 상기 (a) 단계 이전에, 상기 입력 데이터들을 다수의 분할 그룹으로 분할하는 단계; 상기 다수의 분할 그룹 각각에 포함된 입력 데이터에 대한 복셀(voxel)들을 추출하는 단계; 상기 복셀들로부터 평균 복셀(average voxel)을 산출하는 단계; 상기 평균 복셀로부터 다수의 특징들을 추출하는 단계; 및 제4 NEWFM을 이용하여 정확도에 따라 상기 다수의 분할 그룹 중 입력 그룹들과 다수의 특징들 중 상기 입력 특징들을 선택하는 단계;를 더 포함할 수 있다.

실시예에서, 상기 (c) 단계는, 상기 출력 특징들에 대한 다수의 인스턴스들 중 상기 입력 특징들에 대한 다수의 인스턴스들과 동일하지 않은 클래스 분류 결과를 갖는 적어도 하나의 인스턴스를 상기 제1 인스턴스 그룹으로 구분하는 단계; 및 상기 출력 특징들에 대한 다수의 인스턴스들 중 상기 입력 특징들에 대한 다수의 인스턴스들과 동일한 클래스 분류 결과를 갖는 적어도 하나의 인스턴스를 상기 제2 인스턴스 그룹으로 구분하는 단계;를 포함할 수 있다.

실시예에서, 상기 제1 NEWFM, 제2 NEWFM 및 제3 NEWFM은, 제1 학습 레이어의 학습 유닛들(learning units) 중 하나에 포함되고, 상기 제1 출력 데이터와 상기 제2 출력 데이터는, 제2 학습 레이어의 학습 유닛들 중 하나에 입력될 수 있다.

실시예에서, 상기 제1 학습 레이어의 학습 유닛들의 개수는, 상기 제2 학습 레이어의 학습 유닛들의 개수보다 많을 수 있다.

실시예에서, 상기 구분된 제1 인스턴스 그룹은, MCI(misclassified instance)를 포함하고, 상기 구분된 제2 인스턴스 그룹은, CCI(correctly classified instance)를 포함할 수 있다.

실시예에서, 상기 산출된 제1 출력 데이터는, 상기 제1 인스턴스 그룹에 대응하는 제1 타카기-수게노 역 퍼지(takagi-sugeno defuzzification values, TSD) 값들을 포함하고, 상기 산출된 제2 출력 데이터는, 상기 제2 인스턴스 그룹에 대응하는 제2 타카기-수게노 역 퍼지값들을 포함할 수 있다.

실시예에서, 상기 제1 출력 데이터는, 상기 입력 특징들에 대한 다수의 인스턴스들과 동일한 클래스 분류 결과를 갖는 상기 제1 인스턴스 그룹을 더 포함하고, 상기 제2 출력 데이터는, 상기 입력 특징들에 대한 다수의 인스턴스들과 동일한 클래스 분류 결과를 갖는 상기 제2 인스턴스 그룹을 더 포함할 수 있다.

실시예에서, 상기 클래스 분류 방법은 상기 (e) 단계 이후에, 상기 제1 출력 데이터와 상기 제2 출력 데이터를 제5 NEWFM에 입력하여, 상기 입력 특징들에 대한 클래스 분류 정확도를 산출하는 단계;를 더 포함할 수 있다.

실시예에서, 클래스 분류 장치는 입력 데이터들로부터 선택된 입력 특징들(features)을 제1 가중 퍼지 소속함수 기반 심층 신경망(neural network with weighted fuzzy membership function, NEWFM)에 입력하고, 상기 제1 NEWFM으로부터 출력된 출력 특징들에 대한 다수의 인스턴스들을 제1 클래스 또는 제2 클래스로 분류하고, 상기 분류 결과에 따라 상기 다수의 인스턴스들을 제1 인스턴스 그룹과 제2 인스턴스 그룹으로 구분하고, 상기 제1 인스턴스 그룹에 대응하는 출력 특징들을 제2 NEWFM에 입력하고, 상기 제2 인스턴스 그룹에 대응하는 출력 특징들을 제3 NEWFM에 입력하며, 상기 제2 NEWFM을 이용하여 제1 출력 데이터를 산출하고, 상기 제3 NEWFM을 이용하여 제2 출력 데이터를 산출하는 제어부;를 포함할 수 있다.

실시예에서, 상기 제어부는, 상기 입력 데이터들을 다수의 분할 그룹으로 분할하고, 상기 다수의 분할 그룹 각각에 포함된 입력 데이터에 대한 복셀(voxel)들을 추출하고, 상기 복셀들로부터 평균 복셀(average voxel)을 산출하고, 상기 평균 복셀로부터 다수의 특징들을 추출하며, 제4 NEWFM을 이용하여 정확도에 따라 상기 다수의 분할 그룹 중 입력 그룹들과 다수의 특징들 중 상기 입력 특징들을 선택할 수 있다.

실시예에서, 상기 제어부는, 상기 출력 특징들에 대한 다수의 인스턴스들 중 상기 입력 특징들에 대한 다수의 인스턴스들과 동일하지 않은 클래스 분류 결과를 갖는 적어도 하나의 인스턴스를 상기 제1 인스턴스 그룹으로 구분하고, 상기 출력 특징들에 대한 다수의 인스턴스들 중 상기 입력 특징들에 대한 다수의 인스턴스들과 동일한 클래스 분류 결과를 갖는 적어도 하나의 인스턴스를 상기 제2 인스턴스 그룹으로 구분할 수 있다.

실시예에서, 상기 제어부는, 상기 제1 출력 데이터와 상기 제2 출력 데이터를 제5 NEWFM에 입력하여, 상기 입력 특징들에 대한 클래스 분류 정확도를 산출할 수 있다.

상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.

그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.

본 발명의 일 실시예에 의하면, 입력 특징들을 입력하여 제1 NEWFM으로부터 출력된 특징들에 대한 다수의 인스턴스들을 MCI와 CCI로 구분하고, MCI와 CCI를 제2 NEWFM과 제3 NEWFM에 각각 입력하여 서브 패턴 학습과 세부 학습을 수행함으로써, 역전파(backpropagation) 없이 기울기 손실 문제(vanishing gradient problem)를 효과적으로 제거할 수 있다.

본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 가중 퍼지 소속함수 기반 심층 신경망을 통한 하위 패턴 학습 및 세부 학습을 이용한 클래스 분류 장치의 동작 방법을 도시한 도면이다.

도 2는 본 발명의 일 실시예에 따른 가중 퍼지 소속함수 기반 심층 신경망을 이용한 클래스 분류 구조를 도시한 도면이다.

도 3은 본 발명의 일 실시예에 따른 학습 유닛의 구조를 도시한 도면이다.

도 4a는 본 발명의 일 실시예에 따른 가중 퍼지 소속함수 기반 심층 신경망을 이용한 클래스 분류 과정을 도시한 도면이다.

도 4b는 본 발명의 일 실시예에 따른 입력 데이터들로부터 입력 특징들을 선택하는 과정을 도시한 도면이다.

도 5a 내지 5d는 본 발명의 일 실시예에 따른 클래스 분류 결과의 예를 도시한 도면이다.

도 6은 본 발명의 일 실시예에 따른 클래스 분류 장치의 기능적 구성을 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.

청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.

본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.

이하, 본 발명의 일 실시예에 따른 가중 퍼지 소속함수 기반 심층 신경망(neural network with weighted fuzzy membership function, NEWFM)을 통한 하위 패턴 학습 및 세부 학습을 이용한 클래스 분류 방법 및 장치를 설명한다.

도 1을 참고하면, S01 단계는 입력 특징들을 제1 NEWFM에 입력하는 단계이다.

S103 단계는 제1 NEWFM으로부터 출력된 출력 특징들에 대한 다수의 인스턴스들을 제1 클래스 또는 제2 클래스로 분류하는 단계이다.

S105 단계는 분류 결과에 따라 다수의 인스턴스들을 제1 인스턴스 그룹과 제2 인스턴스 그룹으로 구분하는 단계이다.

일 실시예에서, 출력 특징들에 대한 다수의 인스턴스들 중 입력 특징들에 대한 다수의 인스턴스들과 동일하지 않은 클래스 분류 결과를 갖는 적어도 하나의 인스턴스를 제1 인스턴스 그룹으로 구분할 수 있다.

또한, 일 실시예에서, 출력 특징들에 대한 다수의 인스턴스들 중 입력 특징들에 대한 다수의 인스턴스들과 동일한 클래스 분류 결과를 갖는 적어도 하나의 인스턴스를 제2 인스턴스 그룹으로 구분할 수 있다.

S107 단계는 제1 인스턴스 그룹에 대응하는 출력 특징들을 제2 NEWFM에 입력하고, 제2 인스턴스 그룹에 대응하는 출력 특징들을 제3 NEWFM에 입력하는 단계이다.

S109 단계는 제2 NEWFM을 이용하여 제1 출력 데이터를 산출하고, 제3 NEWFM을 이용하여 제2 출력 데이터를 산출하는 단계이다.

일 실시예에서, 제1 출력 데이터는 제1 인스턴스 그룹에 대응하는 제1 타카기-수게노 역 퍼지(takagi-sugeno defuzzification, TSD) 값들을 포함할 수 있다. 또한, 제1 출력 데이터는 입력 특징들에 대한 다수의 인스턴스들과 동일한 클래스 분류 결과를 갖는 제1 인스턴스 그룹을 더 포함할 수 있다.

또한, 일 실시예에서, 제2 출력 데이터는 제2 인스턴스 그룹에 대응하는 제2 타카기-수게노 역 퍼지값들을 포함할 수 있다. 또한, 제2 출력 데이터는 입력 특징들에 대한 다수의 인스턴스들과 동일한 클래스 분류 결과를 갖는 제2 인스턴스 그룹을 더 포함할 수 있다.

일 실시예에서, S101 단계 이전에, 제4 NEWFM을 이용하여 입력 데이터들로부터 입력 특징들을 산출할 수 있다.

일 실시예에서, S109 단계 이후에, 제1 출력 데이터와 제2 출력 데이터를 제5 NEWFM에 입력하여, 입력 특징들에 대한 클래스 분류 정확도를 산출할 수 있다.

일 실시예에서, 제1 NEWFM, 제2 NEWFM 및 제3 NEWFM은 제1 학습 레이어의 학습 유닛들(learning units) 중 하나에 포함될 수 있다. 이 경우, 제1 출력 데이터와 제2 출력 데이터는, 제2 학습 레이어의 학습 유닛들 중 하나에 입력될 수 있다. 이 경우, 제1 학습 레이어의 학습 유닛들의 개수는 제2 학습 레이어의 학습 유닛들의 개수보다 많을 수 있다.

일 실시예에서, 학습 유닛은 ZLU(zoom-in learning unit) 또는 이와 동등한 기술적 의미를 갖는 용어로 지칭될 수 있다.

도 2를 참고하면, 가중 퍼지 소속함수 기반 심층 신경망은 입력 레이어(210), 적어도 하나의 학습 레이어(220) 및 출력 레이어(230)를 포함할 수 있다.

입력 레이어(210)는 입력 데이터로부터 선택된 각 입력 그룹에 대한 입력 특징들이 입력될 수 있다.

학습 레이어(220)는 적어도 하나의 학습 유닛(learning unit)으로 구성될 수 있다. 일 실시예에서, 도 3을 참고하면, 각 학습 유닛(300)은 제1 NEWFM(310), 제2 NEWFM(320) 및 제3 NEWFM(330)을 포함할 수 있다.

이 경우, 입력 데이터들로부터 선택된 각 입력 그룹에 대한 입력 특징들을 제1 NEWFM(310)에 입력할 수 있다. 여기서, 제1 NEWFM(310)은 표준 이진 분류(standard binary classification)를 수행하기 위해 이용될 수 있다.

이후, 제1 NEWFM(310)으로부터 출력된 출력 특징들에 대한 다수의 인스턴스들 중 상기 입력 특징들에 대한 다수의 인스턴스들과 동일하지 않은 클래스 분류 결과를 갖는 적어도 하나의 인스턴스를 제1 인스턴스 그룹으로 구분할 수 있다. 이 경우, 제1 인스턴스 그룹은 MCI(misclassified instance) 또는 이와 동등한 기술적 의미를 갖는 용어로 지칭될 수 있다.

예를 들어, 도 3을 참고하면, 입력 특징들에 대한 다수의 인스턴스들 1, 2, 3, 4, 5 및 6 각각에 라벨(label) 2, 1, 2, 1, 2 및 1이 할당되는 경우, 제1 인스턴스 그룹은 입력 특징들에 대한 다수의 인스턴스들과 동일하지 않은 클래스 분류 결과를 갖는 인스턴스 1, 4 및 5를 포함할 수 있다. 왜냐하면, 제1 NEWFM(310)으로부터 출력된 출력 특징들에 대한 인스턴스 1, 4 및 5 각각에 라벨 1, 2 및 1이 할당되었기 때문이다.

또한, 예를 들어, 제1 NEWFM(310)으로부터 출력된 출력 특징들에 대한 다수의 인스턴스들 중 입력 특징들에 대한 다수의 인스턴스들과 동일한 클래스 분류 결과를 갖는 적어도 하나의 인스턴스를 제2 인스턴스 그룹으로 구분할 수 있다. 이 경우, 제2 인스턴스 그룹은 CCI(correctly classified instance) 또는 이와 동등한 기술적 의미를 갖는 용어로 지칭될 수 있다.

예를 들어, 도 3을 참고하면, 입력 특징들에 대한 다수의 인스턴스들 1, 2, 3, 4, 5 및 6 각각에 라벨 2, 1, 2, 1, 2 및 1이 할당되는 경우, 제1 인스턴스 그룹은 입력 특징들에 대한 다수의 인스턴스들과 동일한 클래스 분류 결과를 갖는 인스턴스 2, 3 및 6을 포함할 수 있다. 왜냐하면, 제1 NEWFM(310)으로부터 출력된 출력 특징들에 대한 인스턴스 2, 3 및 6 각각에 라벨 1, 2 및 1이 할당되었기 때문이다.

이후, 제1 인스턴스 그룹에 대응하는 출력 특징들을 제2 NEWFM(320)에 입력하고, 상기 제2 인스턴스 그룹에 대응하는 출력 특징들을 제3 NEWFM(330)에 입력할 수 있다.

일 실시예에서, 제2 NEWFM(320)은 서브 패턴 학습(sub-pattern learning) 또는 이와 동등한 기술적 의미를 갖는 학습 방식을 위해 사용될 수 있다. 또한, 제3 NEWFM(330)은 세부 학습(refine learning) 또는 이와 동등한 기술적 의미를 갖는 학습 방식을 위해 사용될 수 있다.

이 경우, 제2 NEWFM(320)을 이용하여 제1 출력 데이터를 산출하고, 제3 NEWFM(330)을 이용하여 제2 출력 데이터를 산출할 수 있다. 즉, 제2 NEWFM(320)과 제3 NEWFM(330)으로부터 2개의 서브 패턴 및 미세 디퍼지된 출력(sub-pattern and refine defuzzified output)을 생성할 수 있다.

예를 들어, 제2 NEWFM(320)과 제3 NEWFM(330) 각각은 TSD를 학습 유닛(300)의 출력의 TSD 열(column)에 저장할 수 있다. 이 경우, TSD는 제1 인스턴스 그룹(예: MCI) 또는 제2 인스턴스 그룹(예: CCI)의 번호가 학습 유닛(300)의 출력의 인스턴스 번호와 일치하는 경우에만 저장될 수 있다.

예를 들어, 도 3을 참고하면, 제1 인스턴스 그룹의 인스턴스 1, 4 및 5 각각에 대하여 TSD 열에 S₁, S₄ 및 S₅가 저장될 수 있다. 또한, 제2 인스턴스 그룹의 인스턴스 2, 3 및 6 각각에 대하여 TSD 열에 S₂, S₃ 및 S₆가 저장될 수 있다.

일 실시예에서, 학습 레이어(220)는 적어도 하나의 레이어로 구성될 수 있다. 도 2에서는 학습 레이어(220)가 2개의 레이어로 구성되나, 레이어의 개수는 제한되지 않는다. 이 경우, 예를 들어, 제1 학습 레이어는 4개의 학습 유닛을 포함하며, 제1 학습 레이어의 4개의 학습 유닛의 출력이 제2 학습 레이어의 2개의 학습 유닛에 대한 입력으로 입력될 수 있다.

또한, 제2 학습 레이어는 2개의 학습 유닛을 포함하며, 제2 학습 레이어의 2개의 학습 유닛의 출력이 출력 레이어(230)의 제5 NEWFM으로 입력될 수 있다.

출력 레이어(230)는 제1 출력 데이터와 제2 출력 데이터가 입력된 제5 NEWFM을 이용하여, 입력 특징들에 대한 클래스 분류 정확도를 출력할 수 있다. 일 실시예에서, 본 발명에 따른 가중 퍼지 소속함수 기반 심층 신경망의 훈련 알고리즘(training algorithm)에서, 미리 결정된 정확도에 도달할 때까지 제1 출력 데이터와 제2 출력 데이터를 생산한 후 다음 학습 레이어(220)의 제5 NEWFM에 입력하여 학습 레이어(220)의 구성을 수행할 수 있다.

또한, 출력 레이어(230)는 제1 출력 데이터와 제2 출력 데이터가 입력된 제5 NEWFM을 이용하여, 입력 특징들에 대한 클래스를 제1 클래스 또는 제2 클래스로 분류할 수 있다. 일 실시예에서, 본 발명에 따른 가중 퍼지 소속함수 기반 심층 신경망의 테스트 알고리즘(test algorithm)에서, 최종 출력 레이어(230) 까지 제1 출력 데이터와 제2 출력 데이터를 제5 NEWFM에 입력하여, 입력 특징들에 대한 클래스를 제1 클래스 또는 제2 클래스로 분류할 수 있다.

일 실시예에서, 본 발명의 일 실시예에 따른 가중 퍼지 소속함수 기반 심층 신경망을 이용한 클래스 분류 구조는 ZNN(zoom-in neural network) 또는 이와 동등한 기술적 의미를 갖는 용어로 지칭될 수 있다.

본 발명의 다양한 실시예들에 따른 학습 유닛(300)은 입력 특징들에 대한 입력 그룹을 통해 학습 부하를 감소시킬 수 있다. 또한, 본 발명의 다양한 실시예들에 따른 학습 유닛(300)의 경우, 학습 과정 동안 학습 유닛(300)을 활성화하거나 억제하는 경우 학습 유닛(300)을 유연하게 제거, 추가 또는 전환할 수 있으므로 신경망의 기능적 연결 패턴을 찾을 수 있다. 또한, 본 발명의 다양한 실시예들에 따른 학습 유닛(300)의 경우, 각 학습 유닛(300)에 대한 비용 함수(cost function)을 로컬로 적용할 수 있기 때문에, 간단한 데이터로부터 인간 두뇌 학습 추론의 복잡한 인지 과정을 따를 수 있다.

또한, 본 발명의 다양한 실시예들에 따른 학습 유닛(300)의 경우, 역전파(backpropagation)가 없는 피드포워드 학습(feedforward learning)을 통해 기울기 손실 문제(vanishing gradient problem)를 제거하여 효율적인 학습 방법을 제거할 수 있다.

도 4a는 본 발명의 일 실시예에 따른 가중 퍼지 소속함수 기반 심층 신경망을 이용한 클래스 분류 과정을 도시한 도면이다. 도 4b는 본 발명의 일 실시예에 따른 입력 데이터들로부터 입력 특징들을 선택하는 과정을 도시한 도면이다.

도 4a 및 4b를 참고하면, 입력 데이터 분할 단계(410)는 입력 데이터들을 입력 특성에 따라 다수의 분할 그룹으로 분할할 수 있다. 예를 들어, 입력 데이터가 뇌 이미지인 경우, 뇌 이미지는 기능에 따라 다수의 뇌 영역으로 분할될 수 있다.

특징 선택 단계(420)는 복셀 추출 단계(422)와 특징 추출 단계(424)를 포함할 수 있다.

복셀 추출 단계(422)는 각 분할 그룹에 포함된 입력 데이터들에 대한 복셀들(voxels)을 추출하고, 추출된 복셀들로부터 하나의 평균 복셀을 산출할 수 있다. 여기서, 입력 데이터의 기본 단위는 작은 입방체인 복셀일 수 있다. 이 경우, 각 복셀은 입력 데이터의 시계열에 따라 다수의 값을 가질 수 있다. 따라서, 시계열에 따른 다수의 복셀로부터 하나의 평균 복셀을 획득할 수 있다.

특징 추출 단계(424)는 평균 복셀로부터 다수의 특징들을 추출할 수 있다. 예를 들어, d3, d4, a4 계수를 이용하여 평균 복셀로부터 Haar wavelet 특징을 추출할 수 있다. 또한, 평균 복셀로부터 그래픽 특징을 추출할 수 있다.

예를 들어, 그래픽 특징은 하기 <표 1>과 같이 나타낼 수 있다.

특징 선택 단계(430)는 제4 NEWFM을 이용하여 정확도에 따라 다수의 분할 그룹 중 입력 그룹들과 다수의 특징들 중 입력 특징들을 선택할 수 있다. 일 실시예에서, 다수의 분할 그룹 중 정확도가 높은 일부가 입력 그룹으로 선택되고 다수의 특징들 중 입력 특징들로 선택될 수 있다.

클래스 분류 단계(440)는 선택된 입력 특징을 갖는 각 입력 그룹을 본 발명의 다양한 실시예들에 따른 가중 퍼지 소속함수 기반 심층 신경망을 이용한 클래스 분류 구조에 대한 입력으로 사용하여 입력 그룹에 대한 클래스를 분류할 수 있다.

예를 들어, 90개의 뇌 영역 각각에 대한 42개의 특징들을 추출한 후, 추출된 42개의 특징들을 제4 NEWFM(520)에 입력하여, 정확도가 가장 높은 16개의 뇌 영역들과 42개의 입력 특징들을 선택할 수 있다.

일 실시예에서, 선택된 입력 그룹들은 정확도에 따라 정렬되어 그룹핑될 수 있다. 예를 들어, 16개의 뇌 영역들은 4개의 그룹으로 그룹핑되며, 각 그룹은 4개의 뇌 영역으로 구성될 수 있다.

일 실시예에서, 도 4a 내지 4b의 각 단계는 본 발명의 다양한 실시예에 따른 클래스 분류 장치에 의해 수행될 수 있다.

도 5a 내지 5d를 참고하면, 입력 데이터는 ADNI(Alzheimer’s disease Neuroimaging initiative) 데이터베이스에서 34명의 AD(Alzheimer disease) 환자, 89명의 MCI(mild cognitive impairment) 환자 및 45명의 NC(normal control) 사람에 대한 fMRI 데이터 세트를 포함할 수 있다.

여기서, fMRI 데이터 세트는 시계열이 있는 3D 뇌 이미지를 포함하는 4D 데이터 세트를 포함할 수 있다. 이에, 해부학적 자동 라벨링(Anatomical Automatic Labeling, AAL) 모델을 기반으로 뇌(brain)는 90개의 기능 영역으로 나누어 질 수 있다. 각 클래스의 23개 피검체가 훈련에 사용되고 나머지 피검체는 테스트에 사용될 수 있다.

예를 들어, 실험에는 NC 사람 및 MCI 환자로부터 AD 환자의 분류, AD 환자 및 MCI 환자로부터 NC 사람의 분류 및 AD 환자 및 NC 사람으로부터 MCI 환자의 분류와 같은 3가지 분류 대상이 존재할 수 있다. 이 세 가지 실험은 AD 분류(실험 A), NC 분류(실험 B) 및 MCI 분류(실험 C)라고 지칭 될 수 있다. 세 가지 실험의 구조는 동일하며, 실험 데이터와 클래스 라벨만 다를 수 있다.

또한, 본 발명에 따른 NEWFM를 이용한 결과와 종래의 SVM 기술을 이용한 결과를 비교하면 하기 <표 2>와 같이 나타낼 수 있다. 하기 <표 2>를 참고하면, 종래의 SVM보다 본 발명에 따른 NEWFM을 이용한 경우 보다 높은 정확도의 결과를 도출함을 확인할 수 있다.

실험에서 더 높은 정확도를 얻기 위해 ZNN에서 16개 영역을 사용하면 최상의 결과를 얻을 수 있다. 상기 표 3과 같이 선택한 영역은 각 실험마다 다를 수 있다.

이 경우, 도 5d를 참고하면, 세 실험 모두에서 7개의 영역이 겹치는 것을 확인할 수 있다. 이는 7가지 영역이 3가지 분류 실험에 사용되며 분류에서 더 높은 정확도를 나타내는 것을 의미할 수 있다. AD, NC 및 MCI 분류에서 7개의 오버랩 영역의 위치를 확인할 수 있다. 따라서, 실험을 통해 우리는 7가지 영역이 실험과 분류에서 중요한 관계를 가지고 있음을 확인할 수 있다.

도 6은 본 발명의 일 실시예에 따른 클래스 분류 장치(600)의 기능적 구성을 도시한 도면이다.

도 6을 참고하면, 클래스 분류 장치(600)는 제어부(610), 통신부(620) 및 저장부(630)를 포함할 수 있다.

제어부(610)는 입력 데이터들로부터 선택된 입력 특징들을 제1 NEWFM에 입력할 수 있다.

또한, 제어부(610)는 제1 NEWFM으로부터 출력된 출력 특징들에 대한 다수의 인스턴스들을 제1 클래스 또는 제2 클래스로 분류할 수 있다.

또한, 제어부(610)는 분류 결과에 따라 다수의 인스턴스들을 제1 인스턴스 그룹과 제2인스턴스 그룹으로 구분할 수 있다.

또한, 제어부(610)는 제1 인스턴스 그룹에 대응하는 출력 특징들을 제2 NEWFM에 입력하고, 제2 인스턴스 그룹에 대응하는 출력 특징들을 제3 NEWFM에 입력할 수 있다.

또한, 제어부(610)는 제2 NEWFM을 이용하여 제1 출력 데이터를 산출하고, 제3 NEWFM을 이용하여 제2 출력 데이터를 산출할 수 있다.

일 실시예에서, 제어부(610)는 적어도 하나의 프로세서 또는 마이크로(micro) 프로세서를 포함하거나, 또는, 프로세서의 일부일 수 있다. 또한, 제어부(610)는 CP(communication processor)라 지칭될 수 있다.

제어부(610)는 본 발명의 다양한 실시예들에 따른 가중 퍼지 소속함수 기반 심층 신경망을 이용한 클래스 분류 장치(600)의 각 동작을 제어할 수 있다.

일 실시예에서, 통신부(620)는 유선 통신 네트워크 또는 무선 통신 네트워크를 통해 외부로부터 입력 데이터들을 수신할 수 있다.

일 실시예에서, 통신부(620)는 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다. 통신부(620)의 전부 또는 일부는 '송신부', '수신부' 또는 '송수신부(transceiver)'로 지칭될 수 있다.

일 실시예에서, 저장부(630)는 입력 데이터들을 저장할 수 있다. 일 실시예에서, 저장부(630)는 오프라인 수단 또는 무선 통신 네트워크를 통해 전달된 입력 데이터들을 저장할 수 있다.

일 실시예에서, 저장부(630)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 저장부(630)는 제어부(610)의 요청에 따라 저장된 데이터를 제공할 수 있다.

도 6을 참고하면, 클래스 분류 장치(600)는 통신부(610), 저장부(620) 및 제어부(630)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 클래스 분류 장치(600)는 도 6에 설명된 구성들이 필수적인 것은 아니어서, 도 6에 설명된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.

이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.

따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.

본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.

Claims

(a) 입력 데이터들로부터 선택된 입력 특징들(features)을 제1 가중 퍼지 소속함수 기반 심층 신경망(neural network with weighted fuzzy membership function, NEWFM)에 입력하는 단계;

(b) 상기 제1 NEWFM으로부터 출력된 출력 특징들에 대한 다수의 인스턴스들을 제1 클래스 또는 제2 클래스로 분류하는 단계;

(c) 상기 분류 결과에 따라 상기 다수의 인스턴스들을 제1 인스턴스 그룹과 제2 인스턴스 그룹으로 구분하는 단계;

(d) 상기 제1 인스턴스 그룹에 대응하는 출력 특징들을 제2 NEWFM에 입력하고, 상기 제2 인스턴스 그룹에 대응하는 출력 특징들을 제3 NEWFM에 입력하는 단계; 및

(e) 상기 제2 NEWFM을 이용하여 제1 출력 데이터를 산출하고, 상기 제3 NEWFM을 이용하여 제2 출력 데이터를 산출하는 단계;

를 포함하는,

클래스 분류 방법.
제1항에 있어서,

상기 (a) 단계 이전에,

상기 입력 데이터들을 다수의 분할 그룹으로 분할하는 단계;

상기 다수의 분할 그룹 각각에 포함된 입력 데이터에 대한 복셀(voxel)들을 추출하는 단계;

상기 복셀들로부터 평균 복셀(average voxel)을 산출하는 단계;

상기 평균 복셀로부터 다수의 특징들을 추출하는 단계; 및

제4 NEWFM을 이용하여 정확도에 따라 상기 다수의 분할 그룹 중 입력 그룹들과 다수의 특징들 중 상기 입력 특징들을 선택하는 단계;

를 더 포함하는,

클래스 분류 방법.
제1항에 있어서,

상기 (c) 단계는,

상기 출력 특징들에 대한 다수의 인스턴스들 중 상기 입력 특징들에 대한 다수의 인스턴스들과 동일하지 않은 클래스 분류 결과를 갖는 적어도 하나의 인스턴스를 상기 제1 인스턴스 그룹으로 구분하는 단계; 및

상기 출력 특징들에 대한 다수의 인스턴스들 중 상기 입력 특징들에 대한 다수의 인스턴스들과 동일한 클래스 분류 결과를 갖는 적어도 하나의 인스턴스를 상기 제2 인스턴스 그룹으로 구분하는 단계;

를 포함하는,

클래스 분류 방법.
제1항에 있어서,

상기 제1 NEWFM, 제2 NEWFM 및 제3 NEWFM은, 제1 학습 레이어의 학습 유닛들(learning units) 중 하나에 포함되고,

상기 제1 출력 데이터와 상기 제2 출력 데이터는, 제2 학습 레이어의 학습 유닛들 중 하나에 입력되는,

클래스 분류 방법.
제4항에 있어서,

상기 제1 학습 레이어의 학습 유닛들의 개수는, 상기 제2 학습 레이어의 학습 유닛들의 개수보다 많은,

클래스 분류 방법.
제1항에 있어서,

상기 구분된 제1 인스턴스 그룹은, MCI(misclassified instance)를 포함하고,

상기 구분된 제2 인스턴스 그룹은, CCI(correctly classified instance)를 포함하는,

클래스 분류 방법.
제1항에 있어서,

상기 산출된 제1 출력 데이터는, 상기 제1 인스턴스 그룹에 대응하는 제1 타카기-수게노 역 퍼지(takagi-sugeno defuzzification values, TSD) 값들을 포함하고,

상기 산출된 제2 출력 데이터는, 상기 제2 인스턴스 그룹에 대응하는 제2 타카기-수게노 역 퍼지값들을 포함하는,

클래스 분류 방법.
제7항에 있어서,

상기 제1 출력 데이터는, 상기 입력 특징들에 대한 다수의 인스턴스들과 동일한 클래스 분류 결과를 갖는 상기 제1 인스턴스 그룹을 더 포함하고,

상기 제2 출력 데이터는, 상기 입력 특징들에 대한 다수의 인스턴스들과 동일한 클래스 분류 결과를 갖는 상기 제2 인스턴스 그룹을 더 포함하는,

클래스 분류 방법.
제1항에 있어서,

상기 (e) 단계 이후에,

상기 제1 출력 데이터와 상기 제2 출력 데이터를 제5 NEWFM에 입력하여, 상기 입력 특징들에 대한 클래스 분류 정확도를 산출하는 단계;

를 더 포함하는,

클래스 분류 방법.
입력 데이터들로부터 선택된 입력 특징들(features)을 제1 가중 퍼지 소속함수 기반 심층 신경망(neural network with weighted fuzzy membership function, NEWFM)에 입력하고,

상기 제1 NEWFM으로부터 출력된 출력 특징들에 대한 다수의 인스턴스들을 제1 클래스 또는 제2 클래스로 분류하고,

상기 분류 결과에 따라 상기 다수의 인스턴스들을 제1 인스턴스 그룹과 제2 인스턴스 그룹으로 구분하고,

상기 제1 인스턴스 그룹에 대응하는 출력 특징들을 제2 NEWFM에 입력하고, 상기 제2 인스턴스 그룹에 대응하는 출력 특징들을 제3 NEWFM에 입력하며,

상기 제2 NEWFM을 이용하여 제1 출력 데이터를 산출하고, 상기 제3 NEWFM을 이용하여 제2 출력 데이터를 산출하는 제어부;

를 포함하는,

클래스 분류 장치.
제10항에 있어서,

상기 제어부는,

상기 입력 데이터들을 다수의 분할 그룹으로 분할하고,

상기 다수의 분할 그룹 각각에 포함된 입력 데이터에 대한 복셀(voxel)들을 추출하고,

상기 복셀들로부터 평균 복셀(average voxel)을 산출하고,

상기 평균 복셀로부터 다수의 특징들을 추출하며,

제4 NEWFM을 이용하여 정확도에 따라 상기 다수의 분할 그룹 중 입력 그룹들과 다수의 특징들 중 상기 입력 특징들을 선택하는,

클래스 분류 장치.
제10항에 있어서,

상기 제어부는,

상기 출력 특징들에 대한 다수의 인스턴스들 중 상기 입력 특징들에 대한 다수의 인스턴스들과 동일하지 않은 클래스 분류 결과를 갖는 적어도 하나의 인스턴스를 상기 제1 인스턴스 그룹으로 구분하고,

상기 출력 특징들에 대한 다수의 인스턴스들 중 상기 입력 특징들에 대한 다수의 인스턴스들과 동일한 클래스 분류 결과를 갖는 적어도 하나의 인스턴스를 상기 제2 인스턴스 그룹으로 구분하는,

클래스 분류 장치.
제10항에 있어서,

상기 제1 NEWFM, 제2 NEWFM 및 제3 NEWFM은, 제1 학습 레이어의 학습 유닛들(learning units) 중 하나에 포함되고,

상기 제1 출력 데이터와 상기 제2 출력 데이터는, 제2 학습 레이어의 학습 유닛들 중 하나에 입력되는,

클래스 분류 장치.
제13항에 있어서,

상기 제1 학습 레이어의 학습 유닛들의 개수는, 상기 제2 학습 레이어의 학습 유닛들의 개수보다 많은,

클래스 분류 장치.
제10항에 있어서,

상기 구분된 제1 인스턴스 그룹은, MCI(misclassified instance)를 포함하고,

상기 구분된 제2 인스턴스 그룹은, CCI(correctly classified instance)를 포함하는,

클래스 분류 방법.
제10항에 있어서,

상기 산출된 제1 출력 데이터는, 상기 제1 인스턴스 그룹에 대응하는 제1 타카기-수게노 역 퍼지(takagi-sugeno defuzzification values, TSD) 값들을 포함하고,

상기 산출된 제2 출력 데이터는, 상기 제2 인스턴스 그룹에 대응하는 제2 타카기-수게노 역 퍼지값들을 포함하는,

클래스 분류 장치.
제16항에 있어서,

상기 제1 출력 데이터는, 상기 입력 특징들에 대한 다수의 인스턴스들과 동일한 클래스 분류 결과를 갖는 상기 제1 인스턴스 그룹을 더 포함하고,

상기 제2 출력 데이터는, 상기 입력 특징들에 대한 다수의 인스턴스들과 동일한 클래스 분류 결과를 갖는 상기 제2 인스턴스 그룹을 더 포함하는,

클래스 분류 장치.
제10항에 있어서,

상기 제어부는,

상기 제1 출력 데이터와 상기 제2 출력 데이터를 제5 NEWFM에 입력하여, 상기 입력 특징들에 대한 클래스 분류 정확도를 산출하는,

클래스 분류 장치.