KR950013117B1 - 시간 지연 신경 회로망을 이용한 한국어 고립 단어 인식 시스템 - Google Patents

Abstract

내용 없음.

Description

시간 지연 신경 회로망을 이용한 한국어 고립 단어 인식 시스템

제 1 도는 종래의 다층 신경 회로망을 이용한 음성 인식 시스템 구성도.

제 2 도는 다층 신경 회로망의 구조도.

제 3 도는 역전파 학습법의 플로우 차트.

제 4 도는 시간 지연 신경 회로망의 역전파 학습의 기본 처리 요소의 구조도.

제 5 도는 시간 지연 신경 회로망의 구조도.

제 6 도는 본 발명의 시간 지연 신경 회로망을 이용한 음성 인식 시스템 구성도.

제 7 도는 본 발명에 의하여 통합된 신경 회로망 전체의 구조도.

제 8 도는 본 발명에 의하여 통합된 신경 회로망 학습 방법의 플로우 차트.

제 9 도는 본 발명에서 숫자음을 구성하는 반음절 및 그루핑된 코드를 나타낸 도표.

* 도면의 주요부분에 대한 부호의 설명

1 : 마이크 2 : 저역 통과 필터

3 : A/D변환기 4 : 추출기

8 : 데미 실러블 구분기 9,10 : 시간 지연 신경 회로망

11 : 판단 및 결합 로직부

본 발명은 고립 단어를 인식하는 음성 인식 시스템에 관한 것으로, 특히 한국어의 고립단어를 인식함에 있어, 시간 지연 신경 회로망(TIME DELAY NEURAL NETWORK)을 이용하여 인식할 단어의 학습과 학습된 단어의 인식을 수행하므로서 화자에 따른 음성의 발음 길이 변화에 적응하고, 단어의 발성 길이에 구애받지 않고 음성 인식을 정확하게 수행할 수 있도록 한 시간 지연 신경 회로망을 이용한 한국어 고립 단어 인식 시스템에 관한 것이다.

종래의 신경 회로망을 이용한 음성 인식 시스템은 다층 신경 회로망(MULTI LAYER PECEPTRON)을 이용하며 그 구성은 도면 제 1 도에서와 같이, 음성신호(s(t))를 입력하는 마이크(1)와, 상기 마이크로 입력된 음성의 노이즈를 제거하는 저역 통과 필터(2)와, 상기 필터링된 음성신호를 디지털 신호로 변환시키는 A/D변환기(3)와, 상기 디지탈 음성신호에서 끝점 및 특징을 추출하는 추출기(4)와, 상기 추출된 음성의 특징 파라메터들을 입력으로 하여 인식할 단어 또는 음소의 학습을 수행하는 다층 신경 회로망(5)과, 상기 추출된 음성의 특징 파라메터를 입력으로 하여 단어 또는 음소의 인식을 수행하는 다층 신경 회로망(6)과, 상기 인식 결과를 해석하여 입력된 단어 또는 음소의 음성에 대응하는 단어 또는 음소를 인식 결과로 판단, 출력하는 판단 로직부(7)로 구성된다.

이와같이 구성된 종래의 다층 신경 회로망을 이용한 음성 인식 시스템에 의한 음성의 학습과 인식 동작은 다음과 같다.

마이크(1)로 아날로그 음성 신호(s(t))가 입력되고 이 음성신호를 저역 통과 필터(2)를 거쳐 노이즈가 제거된 다음 A/D변환기(3)에서 디지탈 음성신호로 변환되어 추출기(4)에 입력된다.

추출기(4)는 입력된 디지탈 음성신호의 끝점을 검출하고 또한 다층 퍼셉트론의 입력층노드(node)수에 맞게 특징 파라메터(parameter)를 구하여 출력한다.

상기 검출 정보는 학습시에는 다층 신경 회로망(5)으로 입력되고, 인식시에는 다층 신경 회로망(6)으로 입력된다.

다층 신경 회로망(5)은 인식하고자 하는 단어 또는 음소들에 대응되는 상기 특징 파라메터(인식하고자 하는 단어 또는 음소들에 대응되는 특징 벡터)들의 집합으로부터 역전파 학습법(BACK PROPAGATION)으로 신경망을 학습시키고 그 연결 강도를 저장하여 학습과정을 완료한다.

이러한 다층 신경 회로망은 생물체에서 뇌의 구조와 동작 원리를 공학적으로 구현한 회로망의 한 형태로서 입력층과 출력층, 그리고 이들 사이에 중간층으로 은닉층이 개입하는 몇개의 층으로 구성되고, 각 층은 유한개의 신경 세포(NEURON)로 구성된다.

이 신경회로망은 입력 데이타를 주어진 신경 회로망에 가하면, 학습에 의하여 습득된 함수를 주어진 정확도 이상으로 근사시켜 원하는 출력 데이타를 획득하게 된다.

이와같은 데이타의 획득은 각 층의 신경 세포들이 상호 연결되고 이 연결의 특성을 연결강도(결합 강도)라는 값으로 모델하여 이 연결 강도의 값을 변화시킴으로써 주어진 함수를 주어진 정확도 이상으로 근사시키는 것이다.

이와같은 신경 회로망 구조는 단층 퍼셉트론(SINGLE-LAYERED PECEPTRON)(단층 신경 회로망)과 다층 퍼셉트론(MULTI-LAYERED PECEPTRON)(다층 신경 회로망)으로 대별되고, 양자 공히 특정한 입력에 대하여 특정한 출력이 나오도록 상기 연결 강도를 결정하는 학습 법칙이 적용된다.

이 중에서 다층 퍼셉트론의 경우에는 입력층과 출력층 사이에 은닉층을 추가한 3층 이상의 구조이고, 학습 방법으로서 오차 역전파 학습(ERROR BACK PROPAGATION)을 보편적으로 적용하여 연결 강도를 변화시킨다.

오차 역전파 학습법은 학습 데이타중에서 하나의 입력을 신경 회로망에 가했을 때 원하는 출력과 실제 출력과의 오차를 이용하여 은닉층과 출력층 사이의 가중치(WEIGHT)(연결강도)를 변화시키고, 입력층과 은닉층 사이의 가중치를 상기 은닉층과 출력층 사이의 가중치와 관련시켜 변화시키는 학습법이다.

따라서 상기한 다층신경 회로망(5,6)은 제 2 도와 같이 노드수 N1(x₁-x_N1)의 입력층(INPUT LAYER)과, 노드수(N2)의 은닉층(HIDDEN LAYER)과 노드수(N3)(y₁-y_N3)의 출력층(OUTPUT LAYER)으로 이루어지고 이 입력층에 상기 추출기(4)로부터 음성신호가 입력되고, 이에 따라 상기 신경회로망(5)에서는 제 3 도의 역전파 학습과정을 수행하여 인식 대상의 단어나 음소를 학습한다.

즉, 입력층과 은닉층 및 출력층 사이의 결합강도와 오프셋(OFFSET) 값을 초기화 하고, 학습패턴(i), 학습횟수(j)를 각각 0으로 세팅한 후, 상기 입력층에 입력된 학습 대상의 정보를 연결강도에 대응시켜 중간층인 은닉층의 출력값을 계산한다.

이어서, 상기 중간층의 출력값을 입력으로 하는 출력층의 출력값을 계산하고, 출력층의 오차값과 중간층의 오차값을 계산하여 이 오차값을 근거로 중간층과 출력층간의 결합 강도 및 출력층의 오프셋값을 갱신한다.

이와같은 과정을 학습패턴의 수(i)가 규정된 값(N)이 될때까지, 학습횟수(j)가 규정된 횟수(제한 횟수)가 될때까지 반복하여 주므로서 인식을 원하는 단어나 음소를 학습시키는 것이다.

위와같이 학습되어 갱신된 각 층간의 연결강도를 저장하고 이 연결강도는 단어나 음소의 인식 과정 수행시에 다층 신경 회로망(6)으로 복사된다.

즉, 입력된 단어나 음소의 인식을 수행하는 경우에는 상기한 각 구성요소(1-4)들에서 상기와 같이 처리된 음성신호를 다층 신경 회로망(6)에 입력시키고, 이에따라 다층 신경 회로망(6)은 입력층에 입력된 특징 벡터들과 결합 강도의 곱을 계산하여 중간층(은닉층)의 출력값을 계산하고, 이 중간층의 출력을 출력층의 입력으로 하여 중간층과 출력층 사이의 결합강도의 곱을 계산하므로서 최종 출력층의 출력값을 얻는다.

상기한 출력값은 판단 로직부(7)에 입력되고, 판단 로직부(7)는 상기 출력 노드 중에서 가장 큰 값을 갖는 노드에 대응하는 단어나 음소를 인식 결과로 최종 출력하는 것이다.

그러나 상기한 바와같이 다층 신경 회로망을 이용하는 종래의 음성 인식 시스템은 동일한 단어라고 하더라도 화자에 따라 그 발음 길이가 달라지는데 대응하지 못하고, 고정된 길이의 음성에 대해서만 원하는 인식 결과를 얻을 수 있는 제약이 수반되며, 따라서 화자에 따라 길이가 다른 음성의 인식에 장애를 갖게 되고, 정확한 음성 인식을 보장하기 어려운 문제점이 있다.

본 발명은 인식할 음성 신호를 두개의 데미 실러블(DEMI-SYLLABLE)로 나누고, 이 음성신호의 데미 실러블이 입력되는 시간 지연 신경 회로망을 통합하여 음성의 학습과 인식을 수행하므로서 시간에 따른 음성의 시간 신축 특성을 보상하고, 이에따라 화자간 발음 속도(음성의 발음 길이)에 대응하여 발성 길이에 구애받지 않고 정확한 음성의 인식을 확보할 수 있도록 한, 시간 지연 신경 회로망을 이용한 한국어 고립단어 인식 시스템을 제공함을 목적으로 하며, 이하 첨부된 도면을 참조하여 본 발명의 구성과 그에 따른 작용 효과를 설명하면 다음과 같다.

먼저, 제 4 도는 본 발명에 적용되는 다층 신경 회로망의 기본 처리 요소(역전파 학습)를 나타낸 것이고, 그 구조는 도면 제 5 도와 같다.

즉, 시간 지연 신경 회로망은 입력과 출력 사이에 입력을 각각 다른 시간 지연값으로 지연시키는 지연요소(D1-DN)(1STEP(FRAME) DELAY…N STEP(FRAME) DELAY)들을 개입시킨 것을 기본처리 요소로 하고, 이 기본 처리 요소들의 집합을 복수의 은닉층(HIDDEN LAYER1,2)과 입력 및 출력층으로 하는 구조를 갖는다.

상기 구조의 시간 지연 신경 회로망을 포함하여 구현한 본 발명의 시간 지연 신경회로망을 이용한 한국어 고립 단어 인식 시스템의 구성을 제 6 도에 나타내었다.

이를 참조하면 본 발명의 음성 인식 시스템은, 음성신호(s(t))를 입력하는 마이크(1)와, 상기 마이크로 입력된 음성의 노이즈를 제거하는 저역 통과 필터(2)와, 상기 필터링된 음성신호를 디지탈 신호로 변환시키는A/D변환기(3)와, 상기 디지탈 음성신호에서 끝점 및 특징을 추출하는 추출기(4)와, 상기 특징 추출기(4)에서 입력된 음성 신호 성분에 대하여 음성이 검출된 구간에서 에너지가 높은 부분을 기준으로 두개의 데미 실러블로 입력 음성 신호를 나누는 데미 실러블 구분기(8)와, 상기 데미 실러블 구분기(8)에서 구분된 데미 실러블 집합에 대응되는 구조로 모듈화되어 계층적 구조를 갖고 입력 음성신호의 학습을 담당하는 시간 지연 신경 회로망(9)과, 상기 데미 실러블 구분기(8)에서 구분된 데미 실러블 집합에 대응되는 구조로 모듈화되어 계층적 구조를 갖고 상기 학습된 연결강도 및 활성화 함수를 통과시켜 입력 음성신호의 인식을 담당하는 시간 지연 신경 회로망(10)과, 상기 시간 지연 신경 회로망(10)에서 출력된 결과를 조합하여 최종 인식된 음성을 출력하는 판단 및 결합 로직부(11)로 구성된다.

이와같이 구성된 본 발명의 음성 인식 시스템 동작을 도면 제 6 도 내지 제 9 도를 참조하여 설명한다.

먼저, 제 6 도에서 마이크(1)로 아날로그 음성 신호(s(t))가 입력되고 이 음성신호는 저역 통과 필터(2)를 거쳐 노이즈가 제거된 다음 A/D변환기(3)에서 디지털 음성신호로 변환되어 추출기(4)에 입력된다.

추출기(4)는 입력된 디지탈 음성신호의 끝점을 검출하고 또한 다층 퍼셉트론의 입력층 노드(node) 수에 맞게 특징 파라메터(parameter)를 구하여 출력한다.

즉, 추출기(4)의 끝점 검출기에서 음성 신호 성분만을 구하여 이를 데미 실러블 구분기(8)에 공급한다.

데미 실러블 구분기(8)는 입력된 음성 신호의 최대 에너지를 경계로 하여 음절을 데미 실러블로 나눈다.

여기서, 인식 대상이 되는 한국어의 숫자음의 경우 데미 실러블은 도면 제 9 도와 같이 구성되어 있고, 학습 시간과 연결 강도를 저장하는 메모리의 용량을 줄이기 위하여 숫자음의 데미 실러블을 3개의 집합(그룹)으로 분할한다.

따라서, 상기 데미 실러블 구분기(8)는 3개의 집합으로 나뉘고, 이에 대응하는 시간 지연 신경 회로망(9,10)들도 각각 3개로 구성 한다(TDNN-1, TDNN-2, TDNN-3, TDNN-4).

즉, 인식 모듈에 사용된 신경 회로망은 제 7 도와 같이 각 데미 실러블 집합(GROUP1, GROUP2, GROUP3)에 대응되는 시간 지연 신경 회로망(TDNN1,2,3)을 모듈화하여 계층적 구조를 갖게 되는 것이다.

여기서, 상기 각 그룹에 속한 모든 데미 실러블들은 그 그룹에 속한 모든 데미 실러블들이 학습되도록 TRIAL-ERROR 방식으로 찾아낸 것이다.

상기 데미 실러블 구분기(8)에서 구분된 데미 실러블 정보는 학습시에는 시간 지연 신경회로망(9)으로 입력되고, 인식시에는 시간 지연 신경 회로망(10)으로 입력된다.

따라서, 학습시에는 시간 지연 신경 회로망(9)에서 제 8 도와 같은 오차 역전파 학습법으로 각 그룹에 대응되는 시간 지연 신경 회로망에 대해서 학습을 시킨다.

이때, 제 7 도와 같이 계층적 구조를 갖는 시간 지연 신경 회로망의 출력은 두번째 은닉층의 출력값을 통해서 얻게 되므로 학습 방법을 다음과 같이 변화시킨다.

일반적인 역전파 학습법의 목적 함수는 실제 출력값(oj)다 목적값(dj)의 차의 함수인 다음의 식(1)과 같이 된다.

[식 1]

여기서, 출력값(oj)은 출력단의 처리 요소(PROCESS ELEMENT)(yj)의 활성화 정도이다. 상기 jy에 대해 E를 미분하면 다음 식(2)가 된다.

[식 2] ∂E/∂yj=yj-dj

역전파 학습법에서는 상기 식(2)의 값이 역전파의 시작점이 되지만, 계층적 구조의 시간지연 신경 회로망의 출력값은 출력만의 시간적 처리 요소들의 활성화 정도의 제곱의 합인 다음 식(3)과 같이 된다.

[식 3]

상기 식(3)을 상기 식(1)의 E의 정의식에 넣고 시간(t)에서 처리 요소(j)의 활성화 정도에 대하여 미분하면 다음 식(4)과 같이 된다.

[식 4]

상기 식(4)의 값이 시간 지연 신경 회로망에서는 처리요소(PEj)에서 역전파 학습의 시작이 되어 학습이 진행된다.

이 학습 방법은 도면 제 8 도에서와 같이, 연결 강도를 초기화시키고 데미 실러블 집합(i)의 시간 지연 신경 회로망에 대하여 상기 식(4)의 역전파 학습법으로 학습 후 그때의 연결강도(i)를 저장한 다음 이 과정을3개의 집합(i=3)에 대하여 반복한다.

그리고 상기 과정에서 학습된 연결강도를 저장하고 모든 데미 실러블을 입력하여 제 7 도에서와 같이 2번째와 3번째의 은닉층 및 출력층 사이의 연결 강도를 학습시킨다.

이와같이 하여 학습이 종료되면 학습이 종료된 각 그룹의 시간 지연 신경 회로망(TDNN1,TDNN2,TDNN3)들은 도면 제 7 도와 같이 결합되어 3번째 은닉층의 연결 강도를 학습하게 된다.

즉, 인식 대상이 되는 단어를 제 7 도와 같이 학습이 용이한 몇개의 집합(그룹)으로 나누어 학습시키고, 학습이 끝난 후 모든 시간 지연 신경 회로망 구조를 결합하여 하나의 은닉층(3번째 은닉층)을 이용하여 전체를 학습시키는 것이다.

이와같이 하여 구한 연결강도는 인식을 위하여 시간 지연 신경 회로망(10)에 복사한다. 이로써 입력된 단어나 음소에 해당되는 음성 신호의 시간 지연 신경 회로망에 의한 학습이 완료되었다.

한편, 음성 인식을 수행하는 경우에는 상기한 바와같은 일련의 신호 처리과정(마이크(1)로부터 추출기(4)까지)을 거친 음성 신호가 데미 실러블 구분기(8)를 통해 한 음절에 대하여 두개의 데미 실러블로 나뉘고, 이 나뉜 데미 실러블 정보를 시간 지연 신경 회로망(10)에 입력시킨다.

시간 지연 신경 회로망(10)은, 입력된 두개의 데미 실러블 정보를 상기 시간 지연 신경 회로망(9)에서 미리 학습되어 복사된 각 층 사이의 연결 강도 및 활성화 함수를 통과시키고 출력층의 가장 큰 값을 노드에 해당되는 데미 실러블 코드(제 9 도 참조)를 인식 결과로 출력한다.

즉, 제 7 도에서와 같이 입력에 대하여 두개의 데미 실러블 코드가 인식 결과로 출력층에서 출력되며 이 코드는 판단 및 결합 로직부(11)에 공급된다.

판단 및 결합 로직부(11)는 한 음절에서 앞에 높이는 데미 실러블과 뒤에 오게 되는 데미 실러블의 제한조건(음성의 조음 법칙)을 이용하여 최종적으로 음성을 인식한 결과를 출력한다.

이때 출력된 두개의 데미 실러블의 조합이 FLASE인 경우에는 두번째로 큰 출력값을 값는 노드에 대응된 코드를 조합하여 인식 결과로 출력한다.

이상에서 설명한 바와같이 본 발명에 의하면 음성 신호의 시간에 따른 관계를 시간 지연 신경 회로망을 사용하여 학습하고 인식하므로서 입력된 신호의 지연(발음 시간의 차)에 관계없이 정확한 음성의 인식이 가능하고, 따라서 화자간 발음 속도에 의존하는 인식상의 오류를 극복하여 음성 인식 시스템의 성능을 향상시킬 수 있는 효과가 있다.

Claims (6)

1. 음성신호(s(t))를 입력하는 마이크(1)와, 상기 마이크로 입력된 음성의 노이즈를 제거하는 저역 통과 필터(2)와, 상기 필터링된 음성신호를 디지탈 신호로 변환시키는 A/D변환기(3)와, 상기 디지탈 음성신호에 끝점 및 특징을 추출하는 추출기(4)와, 상기 특징 추출기(4)에서 입력된 음성 신호 성분에 대하여 음성이 검출된 구간에서 에너지가 높은 부분을 기준으로 두개의 데미 실러블로 입력 음성 신호를 나누는 데미 실러블 구분기(8)와, 상기 데미 실러블 구분기(8)에서 구분된 데미 실러블 집합에 대응되는 구조로 모듈화되어 계층적 구조를 갖고 입력 음성신호의 학습을 담당하는 시간 지연 신경 회로망(9)과, 상기 데미 실러블 구분기(8)에서 구분된 데미 실러블 집합에 대응되는 구조로 모듈화되어 계층적 구조를 갖고 상기 학습된 연결강도 및 활성화 함수를 통과시켜 입력 음성신호의 인식을 담당하는 시간 지연 신경 회로망(10)과, 상기 시간지연 신경 회로망(10)에서 출력된 결과를 조합하여 최종 인식된 음성을 출력하는 판단 및 결합 로직부(11)로 구성된 시간 지연 신경 회로망을 이용한 한국어 고립 단어 인식 시스템.
2. 제 2 항에 있어서, 상기 데미 실러블 구분기(8)는, 발음된 음성(음절)의 최대 단구간 에너지를 기준으로 하여 음성의 앞, 뒤에서 일정 길이만을 취해 입력 음성을 두개의 데미 실러블로 분리하는 시간 지연 신경회로망을 이용한 한국어 고립 단어 인식 시스템.
3. 제 1 항에 있어서, 상기 시간 지연 신경 회로망(9)은, 인식 대상의 단어를 구성하는 데미 실러블을 학습이 용이한 다수의 집합으로 나누어 학습시키고, 학습이 끝난 후 모든 시간 지연 신경 회로망을 결합하여 하나의 또다른 은닉층을 이용하여 전체를 학습시키는 시간 지연 신경 회로망을 이용한 한국어 고립 단어 인식 시스템.
4. 제 1 항에 있어서, 상기 시간 지연 신경 회로망(10)은, 상기 데미 실러블 구분기(8)에서 입력 음성에 대하여 구분된 2개의 데미 실러블을 입력으로 하여 상기 학습된 신경 회로망 각 층의 연결강도 및 활성화 함수를 통과시키고, 이 중에서 출력층의 가장 큰 값을 갖는 노드에 해당되는 2개의 데미 실러블 코드를 인식 결과로 출력하는 시간 지연 신경 회로망을 이용한 한국어 고립 단어 인식 시스템.
5. 제 1 항에 있어서, 상기 판단 및 결합 로직부(11)는, 상기 시간 지연 신경 회로망(10)에서 인식 결과로 출력된 데미 실러블 코드를 입력으로 하고, 한 음절에서 앞에 놓이는 데미 실러블과 뒤에 놓이는 데미 실러블의 음성 소음 법칙에 따른 제한 조건을 이용하여 최종 인식 결과를 출력하는 시간 지연 신경 회로망을 이용한 한국어 고립 단어 인식 시스템.
6. 제 5 항에 있어서, 상기 판단 및 결합 로직부(11)에 입력된 2개의 데미 실러블의 조합이 부적합한 경우에는 상기 시간 지연 신경 회로망(10)의 출력중 두번째로 큰 출력값을 갖는 노드(NODE)에 대응된 코드를 조합하여 최종 인식 결과로 출력하는 시간 지연 신경 회로망을 이용한 한국어 고립 단어 인식 시스템.