KR20230126535A

KR20230126535A - 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치 및 그 방법

Info

Publication number: KR20230126535A
Application number: KR1020220023837A
Authority: KR
Inventors: 곽지현; 신기성
Original assignee: 고려대학교 산학협력단
Priority date: 2022-02-23
Filing date: 2022-02-23
Publication date: 2023-08-30
Also published as: KR102574165B1; US20230298573A1

Abstract

본 발명은 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치 및 그 방법에 대한 것이다.
본 발명에 따른 스파이킹 신경망에서 신경 암호 기반 소리 분류 방법은 분류하고자하는 소리를 입력받아 소리 데이터로 디지털 변환하는 단계; 발화율 코드 인코딩과 동기화 코드 인코딩을 포함하는 다중 신경 암호 기반 인코딩 방식을 이용하여 상기 소리 데이터를 전처리하는 단계; 상기 전처리된 소리 데이터를 생물학적 스파이킹 신경망에 입력하여 특징을 추출하는 단계; 상기 추출된 특징을 이용하여 생물학적 STDP(Spike timing-dependent plasticity) 규칙 기반의 학습을 수행하는 단계; 및 상기 학습 수행 결과에 따른 테스트 데이터셋을 이용하여 신경 암호 전파 특성에 따른 소리 분류 작업을 수행하는 단계를 포함한다.

Description

스파이킹 신경망에서 신경 암호 기반 소리 분류 장치 및 그 방법{APPARATUS FOR CLASSIFYING SOUNDS BASDE ON NEURAL CODE IN SPIKING NEURAL NETWORK AND METHOD THEREOF}

본 발명은 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 스파이킹 신경망에서 소리 입력을 발화율 코드 및 동기화 코드로 인코딩하여 다양한 STDP(Spike timing-dependent plasticity) 학습 규칙 하의 전파 특성 차이에 따라 소리를 분류하는 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치 및 그 방법에 관한 것이다.

스파이킹 신경망(Spiking Neural Network, SNN)은 기존 기계학습 기반의 신경망보다 자연신경망에 더 가깝게 모방한 인공 신경망의 한 갈래로써, 신경망의 각 뉴런은 막 전위라는 상태값을 가지며 이전 계층의 시냅스 이전 뉴런들로부터 전달된 값에 따라 이 값이 특정 역치를 넘을 경우 스파이크라는 급격한 막 전위의 변화를 발생시킴으로써 정보를 처리하는 신경망이다.

또한 신경망에서 소리 입력의 분류는 신경망의 입력으로 제공된 다양한 소리의 종류를 분류하는 작업(예를 들면, 사람의 음성, 동물의 울음소리, 자동차의 경적 소리 등)과 동일한 종류에서 서로 다른 특징을 구분하는 작업(예를 들면, 사람의 음성에서 음의 높낮이에 따른 분류, 사람의 음성에서 단어를 구분 등)으로 분류될 수 있다.

종래의 스파이킹 신경망을 이용한 소리 입력 분류는 주로 일반 신경망에서 사용하는 오류 역전파 학습 방식을 사용하여 이루어졌다. 오류 역전파 학습 방식은 기계학습 분야에서 가장 널리 사용되는 학습 방식이지만, 학습 과정 중에 미분 연산이 포함되어 있어 스파이크와 휴지 상태로 이분되는 스파이킹 신경망 내 뉴런의 미분 불가능한 성질과 부합하지 않아 직접 적용하지 못하고 근사 등을 필요로 한다는 문제점과 더불어 학습을 위한 많은 연산이 필요하여 물리적 하드웨어에서 발열 등이 발생한다는 단점이 있다.

또한, 종래의 오류 역전파 기반의 학습은 소리 입력을 MFCC(Mel-Frequency Cepstral Coefficient)라는 별도의 컴퓨팅 알고리즘을 통해 특징 벡터를 추출하는 전처리를 거쳐야 한다. 이러한 MFCC의 사용은 학습 과정을 통해 추출된 특징 이 외에도 미리 추출된 입력의 특징들을 사용하여 스파이킹 신경망의 생물학적 특징 추출 가능성을 제한하며, 다른 생물학적 학습 규칙의 적용에도 어려움이 있어 스파이킹 신경망의 생물학적 이점을 최대로 살리지 못한다는 단점이 있다.

그리고 오류 역전파 학습 규칙을 사용하지 않는 종래의의 스파이킹 신경망은, 서로 다른 음높이의 소리가 주파수의 차이로 설명될 수 있다는 점이 신경세포의 자극 정보를 인코딩하는 방식 중 하나인 발화율 코드(rate code) 방식과 유사하다는 점에 착안하여 발화율 코드를 기반으로 이루어졌다. 그러나 소리는 음높이 뿐만 아니라 음량, 음색 등 다양한 요소가 조합되어 있기 때문에 발화율 코드만으로 소리 입력의 다양한 특징을 구분짓기 어렵다는 문제가 있다.

본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제10-2344678호(2021. 12. 28. 공고)에 개시되어 있다.

본 발명이 이루고자 하는 기술적 과제는 스파이킹 신경망에서 소리 입력을 발화율 코드 및 동기화 코드로 인코딩하여 다양한 STDP 학습 규칙 하의 전파 특성 차이에 따라 소리를 분류하는 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치 및 그 방법을 제공하기 위한 것이다.

이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따른 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치를 이용한 소리 분류 방법은, 분류하고자 하는 소리를 입력받아 소리 데이터로 디지털 변환하는 단계; 발화율 코드 인코딩과 동기화 코드 인코딩을 포함하는 다중 신경 암호 기반 인코딩 방식을 이용하여 상기 소리 데이터를 전처리하는 단계; 상기 전처리된 소리 데이터를 생물학적 스파이킹 신경망에 입력하여 특징을 추출하는 단계; 상기 추출된 특징을 이용하여 생물학적 STDP(Spike timing-dependent plasticity) 규칙 기반의 학습을 수행하는 단계; 및 상기 학습 수행 결과에 따른 테스트 데이터셋을 이용하여 신경 암호 전파 특성에 따른 소리 분류 작업을 수행하는 단계를 포함한다.

이때, 상기 전처리하는 단계는 소리의 음높이를 인코딩하는 발화율 코드 인코딩에 대응하는 주파수에 해당하는 소리의 높이와, 소리의 음색을 인코딩하는 동기화 코드 인코딩에 대응하는 진폭에 해당하는 소리의 세기 및 파형에 해당하는 소리의 맵시를 각각 인코딩하여 상기 소리 데이터를 전처리할 수 있다.

또한, 상기 특징을 추출하는 단계는 상기 발화율 코드 인코딩 결과와 상기 동기화 코드 인코딩 결과를 상기 생물학적 스파이킹 신경망에 입력하여 신경망에서 발화율 코드의 전파 양상과 동기화 코드의 전파 양상에 해당하는 특징을 각각 추출할 수 있다.

또한, 상기 학습을 수행하는 단계는 기 정의된 적어도 하나 이상의 STDP 규칙의 조합 별로 상기 추출된 특징에 대한 각각의 비지도 학습을 수행할 수 있다.

또한, 상기 STDP 규칙은 시냅스 전 뉴런과 시냅스 후 뉴런이 비슷한 시간에 스파이크를 발생시킬 경우 시냅스의 강화 및 약화 비율을 결정하는 헤비안(Hebbian) STDP와 안티-헤비안(anti-Hebbian) STDP, 두 뉴런 중 먼저 스파이크를 발생시킨 뉴런이 어느 쪽이냐에 따라 강화 및 약화 여부를 결정하는 대칭(symmetric) STDP와 비대칭(asymmetric) STDP의 조합으로 기 정의될 수 있다.

또한, 상기 소리 분류 작업을 수행하는 단계는 상기 학습 수행이 완료되면, 각 스파이킹 신경망 구조와 STDP 규칙의 조합을 비교하여 최종 선정된 테스트 데이터셋을 이용하여 상기 소리 분류 작업을 수행할 수 있다.

또한, 본 발명의 다른 실시 예에 따른 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치는, 분류하고자 하는 소리를 입력받아 소리 데이터로 디지털 변환하는 입력 변환부; 발화율 코드 인코딩과 동기화 코드 인코딩을 포함하는 다중 신경 암호 기반 인코딩 방식을 이용하여 상기 소리 데이터를 전처리하는 전처리부; 상기 전처리된 소리 데이터를 생물학적 스파이킹 신경망에 입력하여 특징을 추출하는 특징 추출부; 상기 추출된 특징을 이용하여 생물학적 STDP(Spike timing-dependent plasticity) 규칙 기반의 학습을 수행하는 학습부; 및 상기 학습 수행 결과에 따른 테스트 데이터셋을 이용하여 신경 암호 전파 특성에 따른 소리 분류 작업을 수행하는 소리 분류부를 포함한다.

또한, 상기 전처리부는 소리의 음높이를 인코딩하는 발화율 코드 인코딩에 대응하는 주파수에 해당하는 소리의 높이와, 소리의 음색을 인코딩하는 동기화 코드 인코딩에 대응하는 진폭에 해당하는 소리의 세기 및 파형에 해당하는 소리의 맵시를 각각 인코딩하여 상기 소리 데이터를 전처리할 수 있다.

또한, 상기 특징 추출부는 상기 발화율 코드 인코딩 결과와 상기 동기화 코드 인코딩 결과를 상기 생물학적 스파이킹 신경망에 입력하여 신경망에서 발화율 코드의 전파 양상과 동기화 코드의 전파 양상에 해당하는 특징을 각각 추출할 수 있다.

또한, 상기 학습부는 기 정의된 적어도 하나 이상의 STDP 규칙의 조합 별로 상기 추출된 특징에 대한 각각의 비지도 학습을 수행할 수 있다.

또한, 상기 소리 분류부는 상기 학습 수행이 완료되면, 각 스파이킹 신경망 구조와 STDP 규칙의 조합을 비교하여 최종 선정된 테스트 데이터셋을 이용하여 상기 소리 분류 작업을 수행할 수 있다.

이와 같이 본 발명에 따르면, 스파이킹 신경망에서 소리 입력을 생물학적 인코딩 방식에 기반하여 음높이와 음색을 각각 발화율 코드(rate code), 동기화 코드(synchrony code)에 대응시키는 인코딩 방식을 사용함으로써 복잡하고 미묘한 소리 입력의 특성 차이들을 스파이킹 신경망 학습에 활용할 수 있어 분류 작업의 성능이 개선되는 효과가 있다.

또한 본 발명에 따르면, 생물학적 뇌의 학습 기전으로 여겨지는 시냅스 전 및 시냅스 후 뉴런의 스파이크의 발생 시간적 차이에 따라 개별 시냅스 가중치를 조절하는 STDP 학습 규칙을 이용하여 스파이킹 신경망에 직접 적용 가능한 학습 방식을 사용함으로써 학습에 필요한 연산량을 감소시킬 수 있다.

또한 본 발명에 따르면, 흥분성 신경세포와 다양한 억제성 신경세포 및 네트워크 연결성 등 생물학적 사실에 기반한 스파이킹 신경망을 구현하여, 생물학적 구조에서 특징 추출 학습이 이루어지도록 함으로써 다양한 생물학적 학습 규칙 및 인코딩 기법과 높은 호환성을 보장하고 확장성을 기대할 수 있다.

도 1은 본 발명의 실시 예에 따른 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치를 나타낸 블록구성도이다.
도 2는 본 발명의 실시 예에서 다중 신경 암호 기반 인코딩 방식을 이용하여 소리 데이터를 전처리하는 과정을 설명하기 위해 도시한 도면이다.
도 3은 본 발명의 실시 예에서 신경망에 입력으로 제공되는 발화율 코드의 전파 양상과 동기화 코드의 전파 양상을 나타낸 도면이다.
도 4는 본 발명의 실시 예에서 다양한 형태의 STDP 규칙에 따른 시냅스 가중치 변화를 나타낸 예시 도면이다.
도 5는 본 발명의 실시 예에서 소리 분류 작업 수행 과정을 설명하기 위해 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 스파이킹 신경망에서 신경 암호 기반 소리 분류 방법의 동작 흐름을 도시한 순서도이다.
도 7은 본 발명의 실시 예에 따른 STDP 규칙의 조합별 발화율 코드의 전파 양상을 나타낸 도면이다.
도 8은 도 7을 정량적으로 나타낸 계층별 평균 발화율 변화 그래프이다.
도 9는 본 발명의 실시 예에 따른 STDP 규칙의 조합별 동기율 코드의 전파 양상을 나타낸 도면이다.
도 10은 도 9를 정량적으로 나타낸 계층별 동기화 정도의 변화 그래프이다.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.

또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

먼저, 도 1 내지 도 5를 통해 본 발명의 실시 예에 따른 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치에 대하여 설명한다.

도 1은 본 발명의 실시 예에 따른 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치를 나타낸 블록구성도이다.

도 1에서와 같이 본 발명의 실시 예에 따른 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치(100)는, 입력 변환부(110), 전처리부(120), 특징 추출부(130), 학습부(140) 및 소리 분류부(150)를 포함한다.

먼저 입력 변환부(110)는 분류하고자 하는 소리를 입력받아 소리 데이터로 디지털 변환한다.

즉, 디지털화된 소리를 입력 데이터로 사용하기 위해 입력받은 소리를 디지털 변환한다.

그리고 전처리부(120)는 발화율 코드 인코딩과 동기화 코드 인코딩을 포함하는 다중 신경 암호 기반 인코딩 방식을 이용하여 입력 변환부(110)에서 디지털화된 소리 데이터를 전처리한다.

본 발명의 실시 예에서, 신경 암호 기법이란 뇌 영역 또는 뉴런 간 정보를 전달하는 방식을 의미하며, 입력 정보가 각 뉴런의 스파이크 발화율로 인코딩되는 발화율 코드(rate code) 방식과, 입력 정보가 특정 뉴런 집단의 시간적으로 동기화된 스파이크로 인코딩되는 동기화 코드(synchrony code) 방식 등이 있다.

따라서, 전처리부(120)는 소리의 음높이를 인코딩하는 발화율 코드 인코딩에 대응하는 주파수에 해당하는 소리의 높이와, 소리의 음색을 인코딩하는 동기화 코드 인코딩에 대응하는 진폭에 해당하는 소리의 세기 및 파형에 해당하는 소리의 맵시를 각각 인코딩하여 소리 데이터를 전처리한다.

즉, 소리의 3요소(높이, 세기, 맵시) 중 높이(주파수)는 자극이 신경세포의 발화 확률로 인코딩된다는 관점의 발화율 코드에 대응하고, 세기(진폭)와 맵시(파형)은 자극이 신경세포 집단 중 일부의 동기화된 발화로 인코딩된다는 관점의 동기화 코드에 대응된다.

도 2는 본 발명의 실시 예에서 다중 신경 암호 기반 인코딩 방식을 이용하여 소리 데이터를 전처리하는 과정을 설명하기 위해 도시한 도면이다.

도 2에 도시된 바와 같이 특정 시점에서 소리 데이터 입력의 파형에 대해 각각 발화율 코드 인코딩된 스파이크 타이밍과 동기화 코드 인코딩된 스파이크 타이밍을 이용하여 각각의 인코딩 결과를 나타낼 수 있다.

즉, 본 발명의 실시 예에서는 구축한 스파이킹 신경망에 소리 데이터셋을 입력으로 제공하기 위해 소리 데이터 입력을 스파이크 입력으로 치환하는 신경 암호 인코딩 기법을 사용한다.

먼저, 발화율 코드 기반의 인코딩 방식은 소리의 시간에 따른 주파수 정보를 입력 계층 뉴런의 평균 발화율로 인코딩한다. 이때 각 뉴런의 발화 타이밍은 푸아송(Poisson) 분포를 따르도록 구현되며 주파수에 따른 평균 발화율은 다음의 수학식 1과 같다.

그리고, 동기화 코드 기반의 인코딩 방식은 소리의 음색을 인코딩하는 것으로, 시간에 따른 파형을 바탕으로 파형의 진폭에 비례하는 개수만큼의 임의의 입력 계층 뉴런에만 동기화된 입력이 제공되도록 하는 방식을 사용한다. 이때 입력을 제공받는 동기화된 입력 계층 뉴런의 수는 다음의 수학식 2와 같다.

그리고 특징 추출부(130)는 전처리부(120)에서 전처리된 소리 데이터를 생물학적 스파이킹 신경망에 입력하여 특징을 추출한다.

이때, 특징 추출부(130)는 발화율 코드 인코딩 결과와 동기화 코드 인코딩 결과를 생물학적 스파이킹 신경망에 입력하여 신경망에서 발화율 코드의 전파 양상과 동기화 코드의 전파 양상에 해당하는 특징을 각각 추출한다.

본 발명의 실시 예에 따른 생물학적 스파이킹 신경망은 뉴런의 막 전위 역학 및 스파이크의 발생을 설명하는 수학적 모델인 Hodgkin-Huxley model을 기반으로 하며, 대표적인 신경망 시뮬레이터인 뉴런 시뮬레이터(NEURON simulator)를 이용하여 생물학적 뇌에서 청각 정보의 처리를 담당하는 청각 피질의 실험을 통해 측정한 내재적 특성과 스파이킹 패턴등을 모사할 수 있는 다양한 흥분성 뉴런 및 억제성 뉴런의 수리적 모델로, 뉴런 모델의 막 전위 상태를 나타내는 수학적 모델은 다음의 수학식 3과 같다.

여기서, 은 막을 통과하는 총 전류, 은 휴지 전위, 는 누설 전류, 는 나트륨 채널을 통한 전류, 는 지연 정류기 칼륨 채널을 통한 전류, 는 A-타입 칼륨 채널을 통한 전류, 은 M-타입 칼륨 채널을 통한 전류, 는 h-전류 채널을 통한 전류, 은 주어진 이온 채널의 전도도, 은 해당 이온 채널의 반전 전위이다.

뉴런간 연결 구조인 시냅스의 작용을 두 개의 지수 항을 가지는 수식으로 설명하는 이중 지수 시냅스 모델을 이용하여 생물학적 뇌의 청각 피질에서 실험을 통해 측정된 시냅스 작용을 모사하는 수리적 시냅스 모델은 다음의 수학식 4와 같다.

여기서, 은 총 시냅스 전류, 는 최대 시냅스 전도도, factor는 정규화 팩터, 는 상승 시간 상수, 는 지연 시간 상수, 은 막 전위, 은 반전 전위이다.

도 3은 본 발명의 실시 예에서 신경망에 입력으로 제공되는 발화율 코드의 전파 양상과 동기화 코드의 전파 양상을 나타낸 도면이다.

특징 추출부(130)는 발화율 코드 인코딩 결과와 동기화 코드 인코딩 결과를 도 3의 좌측에 도시된 흥분성(Excitatory) 및 억제성(Inhibitory) 신경 세포와 연결성이 반영된 생물학적 스파이킹 신경망 구조에 입력하여, 도 3의 우측에 도시된 신경망에서 발화율 코드의 전파 양상과, 동기화 코드의 전파 양상에 해당하는 특징을 각각 추출할 수 있다.

즉, 본 발명의 실시 예에서는 흥분성 뉴런 모델과 억제성 뉴런 모델 및 시냅스 모델을 이용하여 뇌의 피질 영역의 계층적 구조를 모방하는 다계층 소리 입력 분류 스파이킹 신경망을 구축할 수 있다.

이때, 발화율 및 동기화 코드가 유의미하기 위해서는 충분한 수의 뉴런 수가 필요하기 때문에 각 계층(layer)의 뉴런의 수는 대략 흥분성 400개, 억제성 100개로 구성할 수 있으며, 흥분성 뉴런과 억제성 뉴런의 비율은 실제 생물학적 뇌에서 발견된 뉴런 비율을 반영하여 결정하는 것이 바람직하다. 마찬가지로 각 계층간 연결 또한 생물학적 뇌에서 피질의 연결성을 반영하여 이전 계층에서 임의의 20% 뉴런에 대해 시냅스 구조를 형성하도록 구성한다.

이때, 최종 출력(output) 계층에서는 소리 입력의 분류 결과를 획득하기 위해 도 3의 좌측에 도시한 바와 같이 분류 과제의 클래스(class) 수만큼의 흥분성 뉴런으로 구성할 수 있다.

그리고 학습부(140)는 특징 추출부(130)에서 추출된 특징을 이용하여 생물학적 STDP(Spike timing-dependent plasticity) 규칙 기반의 학습을 수행한다.

이때, 학습부(140)는 기 정의된 적어도 하나 이상의 STDP 규칙의 조합 별로 특징 추출부(130)에서 추출된 특징에 대한 각각의 비지도 학습을 수행한다.

여기서 비지도 학습이란 입력의 정답을 네트워크에 제공하지 않는 학습 방법을 의미한다.

본 발명의 실시 예에서의 STDP 규칙은 시냅스 전 뉴런과 시냅스 후 뉴런이 비슷한 시간에 스파이크를 발생시킬 경우 시냅스의 강화 및 약화 비율을 결정하는 헤비안(Hebbian) STDP와 안티-헤비안(anti-Hebbian) STDP, 두 뉴런 중 먼저 스파이크를 발생시킨 뉴런이 어느 쪽이냐에 따라 강화 및 약화 여부를 결정하는 대칭(symmetric) STDP와 비대칭(asymmetric) STDP의 조합으로 기 정의될 수 있다.

도 4는 본 발명의 실시 예에서 다양한 형태의 STDP 규칙에 따른 시냅스 가중치 변화를 나타낸 예시 도면이다.

도 4의 (A)는 시간 변화에 따른 시냅스 가중치 변화를 나타낸 것이고, 도 4의 (B)는 실제 생물학적 뇌에서 관찰된 STDP(장기 시냅스 가소성) 규칙 예시를 나타낸 것이다.

다양한 형태의 STDP 규칙 중 본 발명의 실시 예에서는 도 4의 (B)에 예시된 바와 같이 비대칭 헤비안(Asymmetric Hebbian), 대칭 헤비안(Symmetric Hebbian), 비대칭 안티-헤비안(Asymmetric anti-Hebbian), 대칭 안티-헤비안(Symmetric anti-Hebbian)의 4가지 조합에 대하여 각각 비지도 학습을 수행하였으며, STDP 모델에 대한 수학식은 다음의 수학식 5와 같다.

여기서, W는 시냅스 가중치, p는 강화 인자, d는 약화 인자, wmax는 최대 경계, wmin은 최소 경계, 는 강화, 약화 효과 시간 상수, 는 시냅스 전과 시냅스 후의 스파이크 시간 차이이다.

학습부(140)는 이와 같은 다양한 STDP 규칙과 조합된 다양한 구조의 신경망들의 입력 계층에 발화율 코드 및 동기화 코드로 인코딩된 입력을 제공하여 최종 계층까지 신경 암호의 전파가 이루어지며 STDP 규칙에 기반하여 입력에 따라 시냅스 가중치가 스스로 업데이트되도록 할 수 있다.

마지막으로 소리 분류부(150)는 학습부(140)의 학습 수행 결과에 따른 테스트 데이터셋을 이용하여 신경 암호 전파 특성에 따른 소리 분류 작업을 수행한다.

이때, 소리 분류부(150)는, 학습부(140)의 학습 수행이 완료되면, 각 스파이킹 신경망 구조와 STDP 규칙의 조합을 비교하여 최종 선정된 테스트 데이터셋을 이용하여 소리 분류 작업을 수행한다.

도 5는 본 발명의 실시 예에서 소리 분류 작업 수행 과정을 설명하기 위해 도시한 도면이다.

도 5에 도시된 바와 같이, 분류 작업이 필요한 데이터셋의 학습 데이터셋을 이용하여 구축한 다양한 구조의 스파이킹 신경망과 다양한 STDP 규칙의 조합에 대해 개별적 학습을 진행하는 학습부(140)의 학습이 종료되면, 출력 계층의 각 뉴런에 가장 높은 발화율을 기록하였던 입력 클래스(class)를 할당하여 최종 소리 분류 작업을 수행한다.

이하에서는 도 6 내지 도 10을 통해 본 발명의 실시 예에 따른 스파이킹 신경망에서 신경 암호 기반 소리 분류 방법에 대하여 설명한다.

도 6은 본 발명의 실시 예에 따른 스파이킹 신경망에서 신경 암호 기반 소리 분류 방법의 동작 흐름을 도시한 순서도로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.

본 발명의 실시 예에 따르면, 먼저 입력 변환부(110)가 분류하고자 하는 소리를 입력받아 소리 데이터로 디지털 변환한다(S10).

즉, 디지털화된 소리를 입력 데이터로 사용하기 위해 입력받은 소리를 디지털 변환한다

그 다음, 전처리부(120)가 발화율 코드 인코딩과 동기화 코드 인코딩을 포함하는 다중 신경 암호 기반 인코딩 방식을 이용하여 S10 단계에서 디지털 변환된 소리 데이터를 전처리한다(S20).

S20 단계에서 전처리부(120)는 소리의 음높이를 인코딩하는 발화율 코드 인코딩에 대응하는 주파수에 해당하는 소리의 높이와, 소리의 음색을 인코딩하는 동기화 코드 인코딩에 대응하는 진폭에 해당하는 소리의 세기 및 파형에 해당하는 소리의 맵시를 각각 인코딩하여 소리 데이터를 전처리한다.

그 다음, 특징 추출부(130)가 S20 단계에서 전처리된 소리 데이터를 생물학적 스파이킹 신경망에 입력하여 특징을 추출한다(S30).

이때, S30 단계에서는 발화율 코드 인코딩 결과와 동기화 코드 인코딩 결과를 생물학적 스파이킹 신경망에 입력하여 신경망에서 발화율 코드의 전파 양상과 동기화 코드의 전파 양상에 해당하는 특징을 각각 추출한다.

그 다음, 학습부(140)가 S30 단계에서 추출된 특징을 이용하여 생물학적 STDP 규칙 기반의 학습을 수행한다(S40).

S40 단계에서는 기 정의된 적어도 하나 이상의 STDP 규칙의 조합 별로 S30 단계에서 추출된 특징에 대한 각각의 비지도 학습을 수행한다.

이때, STDP 규칙은 시냅스 전 뉴런과 시냅스 후 뉴런이 비슷한 시간에 스파이크를 발생시킬 경우 시냅스의 강화 및 약화 비율을 결정하는 헤비안(Hebbian) STDP와 안티-헤비안(anti-Hebbian) STDP, 두 뉴런 중 먼저 스파이크를 발생시킨 뉴런이 어느 쪽이냐에 따라 강화 및 약화 여부를 결정하는 대칭(symmetric) STDP와 비대칭(asymmetric) STDP의 조합으로 기 정의될 수 있다.

또한, 스파이킹 신경망의 출력은 최종 계층의 스파이크 반응에 따라 결정되며, 발화율 코드의 전파 결과와 동기화 코드의 전파 결과를 종합하여 분류할 수 있다.

도 7은 본 발명의 실시 예에 따른 STDP 규칙의 조합별 발화율 코드의 전파 양상을 나타낸 도면이고, 도 8은 도 7을 정량적으로 나타낸 계층별 평균 발화율 변화 그래프이다.

도 7을 자세히 설명하자면, 도 7은 STDP 규칙의 조합별 발화율 코드의 전파 양상에서 개별 뉴런의 스파이크 타이밍을 주파수 별로 나타낸 것으로 EX spike는 흥분성 스파이크를 의미하고, IN spike는 억제성 스파이크를 의미한다. 또한, 그래프의 x축은 시간축이고, y축은 레이어 번호이다.

여기서, Without STDP은 STDP 규칙을 고려하지 않은 종래의 방법으로 학습한 발화율 코드의 전파 양상을 나타낸 것이고, Asymmetric Hebbian, Symmetric Hebbian, Asymmetric anti-Hebbian, Symmetric anti-Hebbian은 각각 본 발명의 실시 예에 따른 STDP 규칙 조합 별로 각각 학습한 발화율 코드의 전파 양상을 나타낸 것이다.

도 7을 정량적으로 나타낸 도 8을 참고하면 알 수 있듯이 Without STDP은 STDP 규칙을 고려하지 않은 종래의 방법은 모든 주파수 대역에서 처음 대비 나중 레이어로 갈수록 주파수가 점점 감소됨을 확인할 수 있고, Asymmetric anti-Hebbian STDP 규칙의 조합이 주파수의 큰 변화없이 마지막 레이어까지 유사하게 이어지고 있어 가장 좋은 성능을 나타내고 있음을 확인할 수 있다. 또한 Symmetric anti-Hebbian STDP 규칙의 조합은 나중 레이어로 갈수록 주파수가 점점 증가하는 것을 확인할 수 있다.

이때, 도8의 x축은 레이어 번호, y축은 평균 주파수이다.

도 9는 본 발명의 실시 예에 따른 STDP 규칙의 조합별 동기율 코드의 전파 양상을 나타낸 도면이고, 도 10은 도 9를 정량적으로 나타낸 계층별 동기화 정도의 변화 그래프이다.

도 9를 자세히 설명하자면, 도 9는 STDP 규칙의 조합별 동기화 코드의 전파 양상에서 개별 뉴런의 스파이크 타이밍을 나타낸 것이다. 도 7과 마찬가지로 그래프의 x축은 시간축이고, y축은 레이어 번호이다.

여기서, Without STDP은 STDP 규칙을 고려하지 않은 종래의 방법으로 학습한 동기화 코드의 전파 양상을 나타낸 것이고, Asymmetric Hebbian, Symmetric Hebbian, Asymmetric anti-Hebbian, Symmetric anti-Hebbian은 각각 본 발명의 실시 예에 따른 STDP 규칙 조합 별로 각각 학습한 동기화 코드의 전파 양상을 나타낸 것이다.

도 9를 정량적으로 나타낸 도 10은 레이어를 거치면서 변화하는 동기화 정도를 나타낸 그래프로, 도 10의 x축은 시간, y축은 평균 스파이크 동기화 프로파일이다.

마지막으로 소리 분류부(150)가 S40 단계의 학습 수행 결과에 따른 테스트 데이터셋을 이용하여 신경 암호 전파 특성에 따른 소리 분류 작업을 수행한다(S50).

자세히는, S40 단계의 학습 수행이 완료되면, 각 스파이킹 신경망 구조와 STDP 규칙의 조합을 비교하여 최종 선정된 테스트 데이터셋을 이용하여 소리 분류 작업을 수행한다.

자세히는, 각 조합별로 전체 훈련 데이터셋을 대상으로 학습이 완료되면 테스트 데이터셋을 이용하여 각 신경망의 분류 성능을 평가하고, 이때 입력에 대한 스파이킹 신경망의 최종 출력은 각 입력에 대해 출력 계층의 뉴런에서 가장 높은 발화율을 기록하는 뉴런의 라벨을 이용하여 소리의 종류(예를 들면, 자동차 소리, 새소리, 사람 소리 등)를 분류한다.

즉, 각 스파이킹 신경망 구조와 STDP 규칙의 조합을 비교하여 데이터셋에 가장 적합한 신경망 구조 및 학습 규칙 조합을 최종적으로 선정하여 최종 분류 과제에 활용할 수 있다.

상술한 바와 같이, 본 발명의 실시 예에 따른 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치 및 그 방법은 스파이킹 신경망에서 소리 입력을 생물학적 인코딩 방식에 기반하여 음높이와 음색을 각각 발화율 코드(rate code), 동기화 코드(synchrony code)에 대응시키는 인코딩 방식을 사용함으로써 복잡하고 미묘한 소리 입력의 특성 차이들을 스파이킹 신경망 학습에 활용할 수 있어 분류 작업의 성능이 개선되는 효과가 있다.

또한 본 발명의 실시 예에 따르면, 생물학적 뇌의 학습 기전으로 여겨지는 시냅스 전 및 시냅스 후 뉴런의 스파이크의 발생 시간적 차이에 따라 개별 시냅스 가중치를 조절하는 STDP 학습 규칙을 이용하여 스파이킹 신경망에 직접 적용 가능한 학습 방식을 사용함으로써 학습에 필요한 연산량을 감소시킬 수 있다.

또한 본 발명의 실시 예에 따르면, 흥분성 신경세포와 다양한 억제성 신경세포 및 네트워크 연결성 등 생물학적 사실에 기반한 스파이킹 신경망을 구현하여, 생물학적 구조에서 특징 추출 학습이 이루어지도록 함으로써 다양한 생물학적 학습 규칙 및 인코딩 기법과 높은 호환성을 보장하고 확장성을 기대할 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

100 : 소리 분류 장치 110 : 입력 변환부
120 : 전처리부 130 : 특징 추출부
140 : 학습부 150 : 소리 분류부

Claims

스파이킹 신경망에서 신경 암호 기반 소리 분류 장치를 이용한 소리 분류 방법에 있어서,
분류하고자 하는 소리를 입력받아 소리 데이터로 디지털 변환하는 단계;
발화율 코드 인코딩과 동기화 코드 인코딩을 포함하는 다중 신경 암호 기반 인코딩 방식을 이용하여 상기 소리 데이터를 전처리하는 단계;
상기 전처리된 소리 데이터를 생물학적 스파이킹 신경망에 입력하여 특징을 추출하는 단계;
상기 추출된 특징을 이용하여 생물학적 STDP(Spike timing-dependent plasticity) 규칙 기반의 학습을 수행하는 단계; 및
상기 학습 수행 결과에 따른 테스트 데이터셋을 이용하여 신경 암호 전파 특성에 따른 소리 분류 작업을 수행하는 단계를 포함하는 소리 분류 방법.
제1항에 있어서,
상기 전처리하는 단계는,
소리의 음높이를 인코딩하는 발화율 코드 인코딩에 대응하는 주파수에 해당하는 소리의 높이와,
소리의 음색을 인코딩하는 동기화 코드 인코딩에 대응하는 진폭에 해당하는 소리의 세기 및 파형에 해당하는 소리의 맵시를 각각 인코딩하여 상기 소리 데이터를 전처리하는 소리 분류 방법.
제1항에 있어서,
상기 특징을 추출하는 단계는,
상기 발화율 코드 인코딩 결과와 상기 동기화 코드 인코딩 결과를 상기 생물학적 스파이킹 신경망에 입력하여 신경망에서 발화율 코드의 전파 양상과 동기화 코드의 전파 양상에 해당하는 특징을 각각 추출하는 소리 분류 방법.
제1항에 있어서,
상기 학습을 수행하는 단계는,
기 정의된 적어도 하나 이상의 STDP 규칙의 조합 별로 상기 추출된 특징에 대한 각각의 비지도 학습을 수행하는 소리 분류 방법.
제4항에 있어서,
상기 STDP 규칙은 시냅스 전 뉴런과 시냅스 후 뉴런이 비슷한 시간에 스파이크를 발생시킬 경우 시냅스의 강화 및 약화 비율을 결정하는 헤비안(Hebbian) STDP와 안티-헤비안(anti-Hebbian) STDP, 두 뉴런 중 먼저 스파이크를 발생시킨 뉴런이 어느 쪽이냐에 따라 강화 및 약화 여부를 결정하는 대칭(symmetric) STDP와 비대칭(asymmetric) STDP의 조합으로 기 정의되는 소리 분류 방법.
제1항에 있어서,
상기 소리 분류 작업을 수행하는 단계는,
상기 학습 수행이 완료되면, 각 스파이킹 신경망 구조와 STDP 규칙의 조합을 비교하여 최종 선정된 테스트 데이터셋을 이용하여 상기 소리 분류 작업을 수행하는 소리 분류 방법.
스파이킹 신경망에서 신경 암호 기반 소리 분류 장치에 있어서,
분류하고자 하는 소리를 입력받아 소리 데이터로 디지털 변환하는 입력 변환부;
발화율 코드 인코딩과 동기화 코드 인코딩을 포함하는 다중 신경 암호 기반 인코딩 방식을 이용하여 상기 소리 데이터를 전처리하는 전처리부;
상기 전처리된 소리 데이터를 생물학적 스파이킹 신경망에 입력하여 특징을 추출하는 특징 추출부;
상기 추출된 특징을 이용하여 생물학적 STDP(Spike timing-dependent plasticity) 규칙 기반의 학습을 수행하는 학습부; 및
상기 학습 수행 결과에 따른 테스트 데이터셋을 이용하여 신경 암호 전파 특성에 따른 소리 분류 작업을 수행하는 소리 분류부를 포함하는 소리 분류 장치.
제7항에 있어서,
상기 전처리부는,
소리의 음높이를 인코딩하는 발화율 코드 인코딩에 대응하는 주파수에 해당하는 소리의 높이와,
소리의 음색을 인코딩하는 동기화 코드 인코딩에 대응하는 진폭에 해당하는 소리의 세기 및 파형에 해당하는 소리의 맵시를 각각 인코딩하여 상기 소리 데이터를 전처리하는 소리 분류 장치.
제7항에 있어서,
상기 특징 추출부는,
상기 발화율 코드 인코딩 결과와 상기 동기화 코드 인코딩 결과를 상기 생물학적 스파이킹 신경망에 입력하여 신경망에서 발화율 코드의 전파 양상과 동기화 코드의 전파 양상에 해당하는 특징을 각각 추출하는 소리 분류 장치.
제7항에 있어서,
상기 학습부는,
기 정의된 적어도 하나 이상의 STDP 규칙의 조합 별로 상기 추출된 특징에 대한 각각의 비지도 학습을 수행하는 소리 분류 장치.
제10항에 있어서,
상기 STDP 규칙은 시냅스 전 뉴런과 시냅스 후 뉴런이 비슷한 시간에 스파이크를 발생시킬 경우 시냅스의 강화 및 약화 비율을 결정하는 헤비안(Hebbian) STDP와 안티-헤비안(anti-Hebbian) STDP, 두 뉴런 중 먼저 스파이크를 발생시킨 뉴런이 어느 쪽이냐에 따라 강화 및 약화 여부를 결정하는 대칭(symmetric) STDP와 비대칭(asymmetric) STDP의 조합으로 기 정의되는 소리 분류 장치.
제7항에 있어서,
상기 소리 분류부는,
상기 학습 수행이 완료되면, 각 스파이킹 신경망 구조와 STDP 규칙의 조합을 비교하여 최종 선정된 테스트 데이터셋을 이용하여 상기 소리 분류 작업을 수행하는 소리 분류 장치.