KR102209689B1

KR102209689B1 - 음향 모델 생성 장치 및 방법, 음성 인식 장치 및 방법

Info

Publication number: KR102209689B1
Application number: KR1020150128456A
Authority: KR
Inventors: 이호식; 최희열
Original assignee: 삼성전자주식회사
Priority date: 2015-09-10
Filing date: 2015-09-10
Publication date: 2021-01-28
Also published as: CN106531155B; JP2017054122A; EP3142106B1; CN106531155A; EP3142106A1; US20170076719A1; US10127905B2; KR20170030923A; JP6751322B2

Abstract

음향 모델 생성 장치 및 방법, 음성 인식 장치 및 방법이 개시된다. 일 양상에 따른 음향 모델 생성 장치는, 노이즈 모델을 이용하여 노이즈 데이터를 대표하는 노이즈 표현(noise representation)을 산출하는 노이즈 표현 산출부와, 음성(speech) 데이터와 노이즈 데이터가 혼합된 훈련용 노이지 음성(training noisy speech) 데이터, 음성 데이터에 대응하는 음소열, 및 노이즈 표현을 이용하여 학습을 통해 음향 모델을 생성하는 음향 모델 생성부를 포함할 수 있다.

Description

음향 모델 생성 장치 및 방법, 음성 인식 장치 및 방법{Apparatus and method for generating an acoustic model, Apparatus and method for speech recognition}

음성 인식 기술에 관한 것으로, 특히, 음향 모델 생성 장치 및 방법, 음성 인식 장치 및 방법과 관련된다.

최근의 음성인식 기술은 과거와 비교하여 많은 주목을 받고 있는 상황이다. 그 이유는 음성 인식 기술이 구현될 경우, 인터넷 정보 이용이나 전자 상거래, 각종 유비쿼터스 환경을 보다 편리하게 음성을 통하여 조작할 수 있을 뿐만 아니라, 손을 사용하기 어려운 차량 운행 등과 같은 경우에도 인터넷을 액세스한다든가 사무나 기타 서비스를 이용할 수 있게 되어, 사용자의 다양한 니즈(needs)를 충족 시켜줄 수 있기 때문이다.

음성 인식 기술에서 중요한 문제 중의 하나는 주변 환경에 의해 발생하는 노이즈를 효율적으로 제거하는 것이다. 이러한 주변 환경에 의해 생성된 노이즈로 인해 발생되는, 훈련 환경과 실제 음성 인식 환경간의 불일치는 음성 인식 시스템의 음성 인식 성능을 저하시키는 주요 원인 중의 하나이다.

따라서, 다양한 노이즈를 포함하는 실제 음성 인식 환경에서 사용될 수 있는 노이즈에 강건한(robust) 음향 모델 생성 기술의 필요성이 대두된다.

노이즈에 강건한 음향 모델 생성 장치 및 방법과, 노이즈에 강건한 음향 모델을 이용하는 음성 인식 장치 및 방법을 제공하는 것을 목적으로 한다.

일 양상에 따른 음향 모델 생성 장치는, 노이즈 모델을 이용하여 노이즈 데이터를 대표하는 노이즈 표현(noise representation)을 산출하는 노이즈 표현 산출부와, 음성(speech) 데이터와 노이즈 데이터가 혼합된 훈련용 노이지 음성(training noisy speech) 데이터, 음성 데이터에 대응하는 음소열, 및 노이즈 표현을 이용하여 학습을 통해 음향 모델을 생성하는 음향 모델 생성부를 포함할 수 있다.

노이즈 표현 산출부는 노이즈 데이터의 특징(feature)을 추출하는 특징 추출부와, 노이즈 모델을 이용하여 추출된 특징으로부터 노이즈 데이터를 대표하는 노이즈 표현을 산출하는 노이즈 모델링부를 포함할 수 있다.

노이즈 모델은 다수의 훈련용 노이즈(training noise) 데이터를 이용하여 Auto-encoder를 통하여 미리 생성될 수 있다.

음향 모델은 신경망 기반 음향 모델일 수 있다.

음향 모델 생성부는 멀티 태스크 러닝(Multi-Task Learning) 기법을 이용하여 음향 모델을 생성할 수 있다.

음향 모델 생성부는 음소 확률을 맞추게 학습하는 제1 목적함수와 노이즈 표현(noise representation)을 맞추게 학습하는 제2 목적함수의 가중합으로 나타나는 제3 목적함수를 이용하여 음향 모델을 생성할 수 있다.

음향 모델 생성부는 음성 데이터와 상기 노이즈 데이터를 혼합하여 훈련용 노이지 음성 데이터를 생성하는 혼합부와, 생성된 훈련용 노이지 음성 데이터의 특징을 추출하는 특징 추출부와, 추출된 훈련용 노이지 음성 데이터의 특징을 입력 데이터로 하고, 음성 데이터에 대응하는 음소열 및 노이즈 표현을 정답(target) 데이터로 하여 음향 모델을 학습하는 음향 모델 학습부를 포함할 수 있다.

다른 양상에 따른 음향 모델 생성 방법은, 노이즈 모델을 이용하여 노이즈 데이터를 대표하는 노이즈 표현(noise representation)을 산출하는 단계와, 음성(speech) 데이터와 노이즈 데이터가 혼합된 훈련용 노이지 음성(training noisy speech) 데이터, 음성 데이터에 대응하는 음소열, 및 노이즈 표현을 이용하여 학습을 통해 음향 모델을 생성하는 단계를 포함할 수 있다.

노이즈 표현을 산출하는 단계는 노이즈 데이터의 특징(feature)을 추출하는 단계와, 노이즈 모델을 이용하여 추출된 노이즈 데이터의 특징으로부터 노이즈 데이터를 대표하는 노이즈 표현을 산출하는 단계를 포함할 수 있다.

음향 모델은 신경망 기반 음향 모델일 수 있다.

음향 모델을 생성하는 단계는 멀티 태스크 러닝(Multi-Task Learning) 기법을 이용하여 음향 모델을 생성할 수 있다.

음향 모델을 생성하는 단계는 음소 확률을 맞추게 학습하는 제1 목적함수와 노이즈 표현(noise representation)을 맞추게 학습하는 제2 목적함수의 가중합으로 나타나는 제3 목적함수를 이용하여 음향 모델을 생성할 수 있다.

음향 모델을 생성하는 단계는 음성 데이터와 노이즈 데이터를 혼합하여 훈련용 노이지 음성 데이터를 생성하는 단계와, 생성된 훈련용 노이지 음성 데이터의 특징을 추출하는 단계와, 추출된 훈련용 노이지 음성 데이터의 특징을 입력 데이터로 하고, 음성 데이터에 대응하는 음소열 및 노이즈 표현을 정답(target) 데이터로 하여 음향 모델을 학습하는 단계를 포함할 수 있다.

다른 양상에 따른 음성 인식 장치는 음향 모델을 저장하는 저장부와, 저장된 음향 모델을 이용하여 입력된 노이지 음성 데이터의 음소 확률을 산출하는 산출부를 포함하고, 음향 모델은 음성(speech) 데이터와 노이즈 데이터가 혼합된 훈련용 노이지 음성(training noisy speech) 데이터, 음성 데이터에 대응하는 음소열, 및 노이즈 데이터를 대표하는 노이즈 표현(noise representation)을 이용하여 학습을 통해 생성될 수 있다.

산출부는, 입력된 노이지 음성 데이터의 특징을 추출하는 특징 추출부와, 음향 모델을 이용하여 추출된 특징에 대응하는 음소의 확률을 산출하는 음소 확률 산출부를 포함할 수 있다.

노이즈 표현은 노이즈 모델을 이용하여 산출될 수 있다.

음향 모델은 신경망 기반 음향 모델일 수 있다.

음향 모델은 멀티 태스크 러닝(Multi-Task Learning) 기법을 이용하여 생성될 수 있다.

음향 모델은 음소 확률을 맞추게 학습하는 제1 목적함수와 노이즈 표현(noise representation)을 맞추게 학습하는 제2 목적함수의 가중합으로 나타나는 제3 목적함수를 이용하여 생성될 수 있다.

음향 모델은 상기 훈련용 노이지 음성 데이터를 입력 데이터로 하고, 음성 데이터에 대응하는 음소열 및 노이즈 표현을 정답(target) 데이터로 하여 학습을 통해 생성될 수 있다.

다른 양상에 따른 음성 인식 방법은 입력된 노이지 음성(noisy speech) 데이터의 특징을 추출하는 단계와, 음향 모델을 이용하여 추출된 특징에 대응하는 음소의 확률을 산출하는 단계를 포함하고, 음향 모델은 음성(speech) 데이터와 노이즈 데이터가 혼합된 훈련용 노이지 음성(training noisy speech), 음성 데이터에 대응하는 음소열, 및 노이즈 데이터를 대표하는 노이즈 표현(noise representation)을 이용하여 학습을 통해 생성될 수 있다.

노이즈 표현은 노이즈 모델을 이용하여 산출될 수 있다.

음향 모델은 신경망 기반 음향 모델일 수 있다.

음향 모델은 훈련용 노이지 음성 데이터를 입력 데이터로 하고, 음성 데이터에 대응하는 음소열 및 노이즈 표현을 정답(target) 데이터로 하여 학습을 통해 생성될 수 있다.

미리 생성된 노이즈 모델을 이용하여 노이즈의 표현(representation)을 산출하여 음향 모델의 학습에 이용함으로써 노이즈에 강건한(robust) 음향 모델을 생성할 수 있다.

노이즈에 강건한 음향 모델을 이용하여 음성 인식을 수행함으로써 음성 인식 성능을 향상시킬 수 있다.

도 1은 음향 모델 생성 장치의 일 실시예를 도시한 블록도이다.
도 2는 노이즈 모델의 생성을 설명하기 위한 예시도이다.
도 3은 음향 모델의 생성을 설명하기 위한 예시도이다.
도 4는 음성 인식 장치의 일 실시예를 도시한 블록도이다.
도 5는 음향 모델 생성 방법의 일 실시예를 도시한 흐름도이다.
도 6은 도 5의 노이즈 표현을 산출하는 단계(510)의 상세 흐름도이다.
도 7은 도 5의 음향 모델을 생성하는 단계(520)의 상세 흐름도이다.
도 8은 음성 인식 방법의 일 실시예를 도시한 흐름도이다.
도 9는 노이즈 모델 생성 장치의 일 실시예를 도시한 도면이다.
도 10은 노이즈 모델 생성 방법의 일 실시예를 도시한 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 음향 모델 생성 장치의 일 실시예를 도시한 블록도이다.

도 1을 참조하면, 음향 모델 생성 장치(100)는 입력부(110), 노이즈 표현 산출부(120) 및 음향 모델 생성부(130)를 포함할 수 있다.

입력부(110)는 음향 모델 생성을 위한 훈련용 음성 데이터(training speech data)(이하, 음향 모델 훈련용 음성 데이터) 및 훈련용 노이즈 데이터(training noise data)(이하, 음향 모델 훈련용 노이즈 데이터)를 입력 받을 수 있다.

노이즈 표현 산출부(120)는 미리 생성된 노이즈 모델을 이용하여 음향 모델 훈련용 노이즈 데이터를 대표하는 노이즈 표현(noise representation)을 산출할 수 있다. 이를 위해 노이즈 표현 산출부(120)는 특징 추출부(121), 노이즈 모델 저장부(122) 및 노이즈 모델링부(123)를 포함할 수 있다.

특징 추출부(121)는 소정의 알고리즘을 이용하여 음향 모델 훈련용 노이즈 데이터의 특징을 추출할 수 있다. 이때, 소정의 알고리즘은 음향 모델 훈련용 노이즈 데이터를 다른 노이즈 데이터로부터 식별할 수 있도록 하는 특징을 추출할 수 있는 것이라면 그 종류와 기능에 제한은 없다.

노이즈 모델 저장부(122)는 노이즈 모델을 저장할 수 있다. 이때, 노이즈 모델은 다수의 훈련용 노이즈 데이터(training noise data)(이하, 노이즈 모델 훈련용 노이즈 데이터)를 이용하여 Auto-encoder를 통하여 미리 학습 및 생성될 수 있다. 이때, 노이즈 모델 훈련용 노이즈 데이터는 음향 모델 생성에 사용되는 음향 모델 훈련용 노이즈 데이터를 포함하는 모든 노이즈 데이터를 포함할 수 있다.

노이즈 모델 저장부(122)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(Random Access Memory: RAM) SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

한편, 도 1은 노이즈 모델 저장부(122)가 노이즈 표현 산출부(120)의 내부에 포함되어 있는 것으로 도시되어 있으나, 이에 한정되는 것은 아니다. 다시 말하면, 노이즈 모델 저장부(122)는 노이즈 표현 산출부(120)의 내부에 구현되는 것도 가능하며 노이즈 표현 산출부(120)의 외부의 별개의 구성요소로서 구현되는 것도 가능하다.

노이즈 모델링부(123)는 노이즈 모델 저장부(122)에 저장된 노이즈 모델을 이용하여, 특징 추출부(121)에서 추출된 음향 모델 훈련용 노이즈 데이터의 특징으로부터 음향 모델 훈련용 노이즈 데이터를 대표하는 노이즈 표현을 산출할 수 있다.

노이즈 모델의 생성 및 이용에 관한 자세한 설명은 도 2를 참조하여 후술하기로 한다.

음향 모델 생성부(130)는 음향 모델 훈련용 음성 데이터, 음향 모델 훈련용 노이즈 데이터, 음향 모델 훈련용 음성 데이터에 대응하는 음소열, 및 음향 모델 훈련용 노이즈 데이터의 노이즈 표현을 기반으로 학습을 통해 음향 모델을 생성할 수 있다. 일 실시예에 따르면, 음향 모델 생성부(130)는 멀티 태스크 러닝(Multi-Task Learning) 기법을 이용하여 음향 모델을 생성할 수 있다. 이를 위해, 음향 모델 생성부(130)는 혼합부(131), 특징 추출부(132) 및 음향 모델 학습부(133)를 포함할 수 있다.

혼합부(131)는 음향 모델 훈련용 음성 데이터 및 음향 모델 훈련용 노이즈 데이터를 혼합하여 훈련용 노이지 음성 데이터(training noisy speech data)(이하, 음향 모델 훈련용 노이지 음성 데이터)를 생성할 수 있다.

특징 추출부(132)는 소정의 알고리즘을 이용하여 음향 모델 훈련용 노이지 음성 데이터의 특징을 추출할 수 있다. 전술한 바와 같이, 소정의 알고리즘은 음향 모델 훈련용 노이지 음성 데이터를 다른 노이지 음성 데이터로부터 식별할 수 있도록 하는 특징을 추출할 수 있는 것이라면 그 종류와 기능에 제한은 없다.

음향 모델 학습부(133)는 음향 모델 훈련용 노이지 음성 데이터의 특징을 입력 데이터로 하고, 음향 모델 훈련용 음성 데이터에 대응하는 음소열 및 음향 모델 훈련용 노이즈 데이터의 노이즈 표현을 정답 데이터로 하여 음향 모델을 학습할 수 있다. 다시 말하면, 음향 모델 학습부(133)는 멀티 태스크 러닝(Multi-Task Learning) 기법을 이용하여 음향 모델이 음소 분류(phoneme classification)와 노이즈 표현(noise representation) 추출을 동시에 수행할 수 있도록 음향 모델을 학습할 수 있다.

이때, 음향 모델은 신경망(Neural Network) 기반 음향 모델일 수 있으나, 이에 한정되는 것은 아니다.

한편, 신경망 기반 음향 모델의 경우 복수의 히든 레이어를 포함할 수 있으며, 전형적인 오류역전파 기법을 이용하여 학습될 수 있다.

일 실시예에 따르면, 음향 모델 학습부(133)는 수학식 1의 목적 함수(objective function)를 이용하여 음향 모델을 학습할 수 있다.

여기서,

는 음소 확률을 맞추도록 학습하는 목적 함수(이하, 제1 목적 함수)이고,

는 노이즈 표현을 맞추도록 학습하는 목적 함수(이하, 제2 목적 함수)이다.

수학식 1에서 알 수 있듯이, 음향 모델 학습에 이용되는 목적 함수는 제1 목적 함수와 제2 목적 함수의 가중합(weighted sum)의 형태로 나타난다.

일 실시예에 따르면, 제1 목적 함수

는 멀티-클래스 분류(multi-class classification)에 주로 사용되는 cross-entropy를 이용할 수 있다. 이를 수학식으로 표현하면 수학식 2와 같다.

여기서,

는 출력 클래스(output class)의 개수(예컨대, 음소의 개수)를 나타낸다.

는 정답 클래스인 경우 1을, 정답 클래스가 아닌 경우 0의 값을 갖는다.

일 실시예에 따르면, 제2 목적 함수

는 회귀(regression)에 주로 사용되는 유클리드 거리(Euclidian distance)를 이용할 수 있다. 이를 수학식으로 표현하면 수학식 3과 같다.

여기서,

는 입력 (출력) 특징의 차원(the dimension of input (output) feature)을 나타내며,

는 p번째 입력 노드들의 활성화 값(activation value of p_th input nodes)을 나타내며,

는 p번째 출력 노드들의 활성화 값(activation value of p_th output nodes)을 나타낸다.

한편, 도 1은 음향 모델 생성 장치(100)가 입력부(110) 및 노이즈 모델 저장부(122)를 포함하는 것으로 도시되어 있으나, 입력부(110) 및 노이즈 모델 저장부(122)는 필수 구성이 아니며, 시스템의 성능 및 용도에 따라 생략 가능하다.

도 2는 노이즈 모델의 생성을 설명하기 위한 예시도이다. 도시된 예의 노이즈 모델은 Auto-encoder 기반 노이즈 모델을 나타낸다.

일 실시예에 따르면, 노이즈 모델은 Auto-encoder를 통하여 학습될 수 있다. Auto-encoder는 복수개의 히든 레이어(hidden layer)를 포함하며, filterbank와 같은 특징을 입력으로 받아 입력으로부터 입력의 표현(representation)(210)을 산출하고, 표현(210)으로부터 입력과 최대한 유사한 출력을 재구성하도록 학습된다.

일 실시예에 따르면, Auto-encoder 기반 노이즈 모델은 수학식 4와 같은 목적 함수를 이용하여 학습될 수 있다.

여기서,

는 입력을 나타내며,

는 출력을 나타낸다. K는 음향 모델 훈련용 노이즈 데이터 샘플 인덱스를 나타낸다. 즉, Auto-encoder 기반 노이즈 모델은 출력이 입력을 재구성하도록 훈련된다.

일 실시예에 따르면, Auto-encoder는 중간의 히든 레이어의 노드의 개수가 입력/출력의 차원(dimension)보다 작거나, 또는 L1 norm과 같이 sparseness를 주는 제약(constraint)이 필요하다. 예컨대, 123개의 filterbank (41 dim static filterbank + delta + delta-delta)가 입력되는 경우, Auto-encoder의 중간의 히든 레이어(특히, 노이즈 표현 부분의 레이어)의 노드의 개수는 이보다 작은 40개로 할 수 있다. 이러한 Auto-encoder를 통해, 차원 축소(dimension reduction)와 동일한 효과를 얻을 수 있으며, 입력으로부터 입력을 대표하는 표현을 산출할 수 있도록 학습하게 된다.

Auto-encoder는 입력을 표현으로 바꿔주는 인코더 부분(220)과 표현을 다시 출력으로 바꿔주는 디코더 부분(230)을 포함한다. 노이즈 모델은 학습된 Auto-encoder에서 디코더 부분(230)을 제거함으로써 생성될 수 있다. 즉, 노이즈 모델은 학습된 Auto-encoder의 인코더 부분(220)만으로 구성될 수 있다.

도 3은 음향 모델의 생성을 설명하기 위한 예시도이다.

도 1 및 도 3을 참조하면, 특징 추출부(121)는 음향 모델 훈련용 노이즈 데이터(310)를 수신하여 음향 모델 훈련용 노이즈 데이터(310)의 특징(fbank_noise)을 추출한다.

노이즈 모델링부(123)는 미리 생성된 노이즈 모델(340)을 이용하여 특징(fbank_noise)으로부터 음향 모델 훈련용 노이즈 데이터(310)에 대응하는 노이즈 표현(350)을 산출한다.

혼합부(131)는 음향 모델 훈련용 음성 데이터(320)와 음향 모델 훈련용 노이즈 데이터(310)를 혼합하여 음향 모델 훈련용 노이지 음성 데이터(330)를 생성한다.

특징 추출부(132)는 음향 모델 훈련용 노이지 음성 데이터(330)를 수신하여 음향 모델 훈련용 노이지 음성 데이터(330)의 특징(fbank_noisy_speech)를 추출한다.

음향 모델 학습부(133)는 특징(fbank_noisy_speech)을 입력 데이터로 하고, 음향 모델 훈련용 음성 데이터에 대응하는 음소열 및 음향 모델 훈련용 노이즈 데이터의 노이즈 표현(350)을 정답 데이터로 하여 음향 모델(370)을 학습한다. 다시 말하면, 음향 모델 학습부(133)는 멀티 태스크 러닝(Multi-Task Learning) 기법을 이용하여 음향 모델(370)이 음소 분류(phoneme classification)(260)와 노이즈 표현(noise representation)(350) 추출을 동시에 수행할 수 있도록 음향 모델(370)을 학습한다.

도 4는 음성 인식 장치의 일 실시예를 도시한 블록도이다.

도 4를 참조하면, 일 실시예에 따른 음성 인식 장치(400)는 입력부(410), 음향 모델 저장부(420) 및 산출부(430)를 포함할 수 있다.

입력부(410)는 음성 인식의 대상이 되는 음성 데이터와 노이즈 데이터가 혼합된 노이지 음성 데이터를 입력 받을 수 있다.

음향 모델 저장부(420)는 미리 학습되어 생성된 음향 모델을 저장할 수 있다. 이때, 음향 모델은 도 1의 음향 모델 생성 장치(100)에서 생성된 음향 모델일 수 있다.

자세하게는, 음향 모델은 음향 모델 훈련용 음성 데이터, 음향 모델 훈련용 노이즈 데이터, 음향 모델 훈련용 음성 데이터에 대응하는 음소열, 및 음향 모델 훈련용 노이즈 데이터의 노이즈 표현을 기반으로 학습을 통해 생성된 음향 모델일 수 있다. 이때, 노이즈 표현은 노이즈 모델을 이용하여 산출될 수 있으며, 노이즈 모델은 다수의 노이즈 모델 훈련용 노이즈 데이터를 기반으로 Auto-encoder를 통해 생성될 수 있다.

음향 모델은 신경망 기반 음향 모델로서 멀티 태스크 러닝 기법을 이용하여 생성된 음향 모델일 수 있다. 다시 말하면, 음향 모델은 음향 모델 훈련용 음성 데이터와 음향 모델 훈련용 노이즈 데이터가 혼합된 음향 모델 훈련용 노이지 음성 데이터의 특징을 입력 데이터로 하고, 음향 모델 훈련용 음성 데이터에 대응하는 음소열 및 음향 모델 훈련용 노이즈 데이터의 노이즈 표현을 정답 데이터로 하여 학습을 통해 생성된 음향 모델일 수 있다. 이때, 음향 모델은 수학식 1 내지 3의 목적 함수를 이용하여 학습될 수 있다.

음향 모델 저장부(420)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(Random Access Memory: RAM) SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

산출부(430)는 음향 모델 저장부(420)에 저장된 음향 모델을 이용하여 입력된 노이지 음성 데이터의 음소 확률을 산출할 수 있다. 이를 위해, 산출부(430)는 특징 추출부(431) 및 음소 확률 산출부(432)를 포함할 수 있다.

특징 추출부(431)는 소정의 알고리즘을 이용하여 입력된 노이지 음성 데이터의 특징을 추출할 수 있다. 전술한 바와 같이, 소정의 알고리즘은 노이지 음성 데이터를 다른 노이지 음성 데이터로부터 식별할 수 있도록 하는 특징을 추출할 수 있는 것이라면 그 종류와 기능에 제한은 없다.

음소 확률 산출부(432)는 음향 모델 저장부(420)에 저장된 음향 모델을 이용하여 특징 추출부(431)에서 추출된 노이지 음성 데이터의 특징에 대응하는 음소의 확률을 산출할 수 있다.

한편, 도 4는 음성 인식 장치(400)가 입력부(410) 및 음향 모델 저장부(420)를 포함하는 것으로 도시되어 있으나, 입력부(410) 및 노이즈 모델 저장부(420)는 필수 구성이 아니며, 시스템의 성능 및 용도에 따라 생략 가능하다.

도 5는 음향 모델 생성 방법의 일 실시예를 도시한 흐름도이다.

도 1 및 도 5를 참조하면, 음향 모델 생성 장치(100)가 미리 생성된 노이즈 모델을 이용하여 음향 모델 훈련용 노이즈 데이터를 대표하는 노이즈 표현을 산출한다(510).

여기서, 노이즈 모델은 다수의 노이즈 모델 훈련용 노이즈 데이터를 이용하여 Auto-encoder를 통하여 미리 학습 및 생성될 수 있다. 이때, 노이즈 모델 훈련용 노이즈 데이터는 음향 모델 생성에 사용되는 음향 모델 훈련용 노이즈 데이터를 포함하는 모든 노이즈 데이터를 포함할 수 있다.

노이즈 모델의 생성에 관한 구체적인 내용은 도 2를 참조하여 전술하였으므로 그 상세한 설명은 생략하기로 한다.

그 후, 음향 모델 생성 장치(100)가 음향 모델 훈련용 음성 데이터, 음향 모델 훈련용 노이즈 데이터, 음향 모델 훈련용 음성 데이터에 대응하는 음소열, 및 음향 모델 훈련용 노이즈 데이터의 노이즈 표현을 기반으로 학습을 통해 음향 모델을 생성한다(520).

도 6은 도 5의 노이즈 표현을 산출하는 단계(510)의 상세 흐름도이다.

도 1 및 도 6을 참조하면, 음향 모델 생성 장치(100)가 소정의 알고리즘을 이용하여 음향 모델 훈련용 노이즈 데이터의 특징을 추출한다(610). 이때, 소정의 알고리즘은 음향 모델 훈련용 노이즈 데이터를 다른 노이즈 데이터로부터 식별할 수 있도록 하는 특징을 추출할 수 있는 것이라면 그 종류와 기능에 제한은 없다.

그 후, 음향 모델 생성 장치(100)가 노이즈 모델을 이용하여, 추출된 음향 모델 훈련용 노이즈 데이터의 특징으로부터 음향 모델 훈련용 노이즈 데이터를 대표하는 노이즈 표현을 산출한다(620).

도 7은 도 5의 음향 모델을 생성하는 단계(520)의 상세 흐름도이다.

도 1 및 도 7을 참조하면, 음향 모델 생성 장치(100)가 음향 모델 훈련용 음성 데이터 및 음향 모델 훈련용 노이즈 데이터를 혼합하여 음향 모델 훈련용 노이지 음성 데이터를 생성한다(710).

그 후, 음향 모델 생성 장치(100)가 소정의 알고리즘을 이용하여 음향 모델 훈련용 노이지 음성 데이터의 특징을 추출한다(720). 전술한 바와 같이, 소정의 알고리즘은 음향 모델 훈련용 노이지 음성 데이터를 다른 노이지 음성 데이터로부터 식별할 수 있도록 하는 특징을 추출할 수 있는 것이라면 그 종류와 기능에 제한은 없다.

그 후, 음향 모델 생성 장치(100)가 음향 모델 훈련용 노이지 음성 데이터의 특징을 입력 데이터로 하고, 음향 모델 훈련용 음성 데이터에 대응하는 음소열 및 음향 모델 훈련용 노이즈 데이터의 노이즈 표현을 정답 데이터로 하여 음향 모델을 학습한다(730). 다시 말하면, 음향 모델 생성 장치(133)는 멀티 태스크 러닝(Multi-Task Learning) 기법을 이용하여 음향 모델이 음소 분류(phoneme classification)와 노이즈 표현(noise representation) 추출을 동시에 수행할 수 있도록 음향 모델을 학습할 수 있다.

일 실시예에 따르면, 음향 모델 생성 장치(100)는 수학식 1 내지 3의 목적 함수를 이용하여 음향 모델을 학습할 수 있다.

도 8은 음성 인식 방법의 일 실시예를 도시한 흐름도이다.

도 4 및 도 8을 참조하면, 음성 인식 장치(400)가 소정의 알고리즘을 이용하여 입력된 노이지 음성 데이터의 특징을 추출한다(810). 전술한 바와 같이, 소정의 알고리즘은 노이지 음성 데이터를 다른 노이지 음성 데이터로부터 식별할 수 있도록 하는 특징을 추출할 수 있는 것이라면 그 종류와 기능에 제한은 없다.

그 후, 음성 인식 장치(400)가 음향 모델을 이용하여 추출된 노이지 음성 데이터의 특징에 대응하는 음소의 확률을 산출한다(820).

여기서, 음향 모델은 음향 모델 훈련용 음성 데이터, 음향 모델 훈련용 노이즈 데이터, 음향 모델 훈련용 음성 데이터에 대응하는 음소열, 및 음향 모델 훈련용 노이즈 데이터의 노이즈 표현을 기반으로 학습을 통해 생성된 음향 모델일 수 있다. 이때, 노이즈 표현은 노이즈 모델을 이용하여 산출될 수 있으며, 노이즈 모델은 다수의 노이즈 모델 훈련용 노이즈 데이터를 기반으로 Auto-encoder를 통해 생성될 수 있다.

도 9는 노이즈 모델 생성 장치의 일 실시예를 도시한 도면이다.

도 9를 참조하면, 노이즈 모델 생성 장치(900)는 학습부(910) 및 제거부(920)를 포함할 수 있다.

학습부(910)는 다수의 훈련용 노이즈 데이터를 이용하여 Auto-encoder를 학습할 수 있다. 이때, Auto-encoder는 입력을 표현으로 바꿔주는 인코더 부분과 표현을 다시 출력으로 바꿔주는 디코더 부분을 포함한다.

일 실시예에 따르면, 학습부(910)는 수학식 4의 목적 함수를 이용하여 Auto-encoder를 학습할 수 있다.

생성부(920)는 학습된 Auto-encoder의 디코더 부분을 제거하여 노이즈 모델을 생성할 수 있다.

도 10은 노이즈 모델 생성 방법의 일 실시예를 도시한 흐름도이다.

도 9 및 도 10을 참조하면, 노이즈 모델 생성 장치(900)는 다수의 훈련용 노이즈 데이터를 이용하여 Auto-encoder를 학습한다(1010). 이때, Auto-encoder는 입력을 표현으로 바꿔주는 인코더 부분과 표현을 다시 출력으로 바꿔주는 디코더 부분을 포함한다.

일 실시예에 따르면, 노이즈 모델 생성 장치(900)는 수학식 4의 목적 함수를 이용하여 Auto-encoder를 학습할 수 있다.

그 다음, 노이즈 모델 생성 장치(900)는 학습된 Auto-encoder의 디코더 부분을 제거하여 노이즈 모델을 생성한다(1020).

본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 작성되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

100: 음향 모델 생성 장치
110, 410: 입력부
120: 노이즈 표현 산출부
130: 음향 모델 생성부
121, 132, 431: 특징 추출부
122: 노이즈 모델 저장부
123: 노이즈 모델링부
131: 혼합부
133: 음향 모델 학습부
400: 음성 인식 장치
420: 음향 모델 저장부
430: 산출부
432: 음소 확률 산출부
900: 노이즈 모델 생성 장치
910: 학습부
920: 생성부

Claims

노이즈 데이터의 특징(feature)을 추출하고 노이즈 모델을 이용하여 상기 추출된 특징으로부터 노이즈 데이터를 대표하는 노이즈 표현(noise representation)을 산출하는 노이즈 표현 산출부;
음성(speech) 데이터와 상기 노이즈 데이터를 혼합하여 훈련용 노이지 음성(training noisy speech) 데이터를 생성하고, 상기 생성된 훈련용 노이지 음성 데이터의 특징을 추출하고, 상기 추출된 훈련용 노이지 음성 데이터의 특징을 입력 데이터로 하고, 상기 음성 데이터에 대응하는 음소열, 및 상기 노이즈 표현을 정답(target) 데이터로 하여 학습을 통해 음향 모델을 생성하되, 상기 음소열의 분류와 상기 노이즈 표현 추출을 동시에 수행할 수 있도록 상기 음향 모델을 학습하는 음향 모델 생성부; 를 포함하는 음향 모델 생성 장치.
삭제
제1 항에 있어서,
상기 노이즈 모델은 다수의 훈련용 노이즈(training noise) 데이터를 이용하여 Auto-encoder를 통하여 미리 생성되는 음향 모델 생성 장치.
제1 항에 있어서,
상기 생성된 음향 모델은 신경망 기반 음향 모델인 음향 모델 생성 장치.
제1 항에 있어서,
상기 음향 모델 생성부는 멀티 태스크 러닝(Multi-Task Learning) 기법을 이용하여 상기 음향 모델을 생성하는 음향 모델 생성 장치.
제5 항에 있어서,
상기 음향 모델 생성부는 음소 확률을 맞추게 학습하는 제1 목적함수와 노이즈 표현(noise representation)을 맞추게 학습하는 제2 목적함수의 가중합으로 나타나는 제3 목적함수를 이용하여 상기 음향 모델을 생성하는 음향 모델 생성 장치.
삭제
노이즈 데이터의 특징(feature)을 추출하고 노이즈 모델을 이용하여 상기 추출된 특징으로부터 상기 노이즈 데이터를 대표하는 노이즈 표현(noise representation)을 산출하는 단계;
음성(speech) 데이터와 상기 노이즈 데이터를 혼합하여 훈련용 노이지 음성(training noisy speech) 데이터를 생성하는 단계;
상기 생성된 훈련용 노이지 음성 데이터의 특징을 추출하는 단계;
상기 추출된 훈련용 노이지 음성 데이터의 특징을 입력 데이터로 하고, 상기 음성 데이터에 대응하는 음소열, 및 상기 노이즈 표현을 정답(target) 데이터로 하여 학습을 통해 음향 모델을 생성하는 단계; 를 포함하고,
상기 음소열의 분류와 상기 노이즈 표현 추출을 동시에 수행할 수 있도록 상기 음향 모델을 학습하는 음향 모델 생성 방법.
삭제
제8 항에 있어서,
상기 노이즈 모델은 다수의 훈련용 노이즈(training noise) 데이터를 이용하여 Auto-encoder를 통하여 미리 생성되는 음향 모델 생성 방법.
제8 항에 있어서,
상기 생성된 음향 모델은 신경망 기반 음향 모델인 음향 모델 생성 방법.
제8 항에 있어서,
상기 음향 모델을 생성하는 단계는 멀티 태스크 러닝(Multi-Task Learning) 기법을 이용하여 상기 음향 모델을 생성하는 음향 모델 생성 방법.
제12 항에 있어서,
상기 음향 모델을 생성하는 단계는 음소 확률을 맞추게 학습하는 제1 목적함수와 노이즈 표현(noise representation)을 맞추게 학습하는 제2 목적함수의 가중합으로 나타나는 제3 목적함수를 이용하여 상기 음향 모델을 생성하는 음향 모델 생성 방법.
삭제
음향 모델을 저장하는 저장부; 및
상기 저장된 음향 모델을 이용하여 입력된 노이지 음성 데이터의 음소 확률을 산출하는 산출부; 를 포함하고,
상기 음향 모델은 음성(speech) 데이터와 노이즈 데이터가 혼합된 훈련용 노이지 음성(training noisy speech) 데이터, 상기 음성 데이터에 대응하는 음소열, 및 상기 노이즈 데이터를 대표하는 노이즈 표현(noise representation)을 이용하여 학습을 통해 생성되고,
상기 음향 모델은 상기 훈련용 노이지 음성 데이터를 입력 데이터로 하고, 상기 음성 데이터에 대응하는 음소열 및 상기 노이즈 표현을 정답(target) 데이터로 하여 학습을 통해 생성하되, 상기 음소열의 분류와 상기 노이즈 표현 추출을 동시에 수행할 수 있도록 상기 음향 모델을 학습하는 음성 인식 장치.
제15 항에 있어서,
상기 산출부는,
상기 입력된 노이지 음성 데이터의 특징을 추출하는 특징 추출부; 및
상기 음향 모델을 이용하여 상기 추출된 특징에 대응하는 음소의 확률을 산출하는 음소 확률 산출부; 를 포함하는 음성 인식 장치.
제15 항에 있어서,
상기 노이즈 표현은 노이즈 모델을 이용하여 산출되는 음성 인식 장치.
제17 항에 있어서,
상기 노이즈 모델은 다수의 훈련용 노이즈(training noise) 데이터를 이용하여 Auto-encoder를 통하여 미리 생성되는 음성 인식 장치.
제15 항에 있어서,
상기 음향 모델은 신경망 기반 음향 모델인 음성 인식 장치.
제15 항에 있어서,
상기 음향 모델은 멀티 태스크 러닝(Multi-Task Learning) 기법을 이용하여 생성되는 음성 인식 장치.
제20 항에 있어서,
상기 음향 모델은 음소 확률을 맞추게 학습하는 제1 목적함수와 노이즈 표현(noise representation)을 맞추게 학습하는 제2 목적함수의 가중합으로 나타나는 제3 목적함수를 이용하여 생성되는 음성 인식 장치.
삭제
입력된 노이지 음성(noisy speech) 데이터의 특징을 추출하는 단계; 및
음향 모델을 이용하여 상기 추출된 특징에 대응하는 음소의 확률을 산출하는 단계; 를 포함하고,
상기 음향 모델은 음성(speech) 데이터와 노이즈 데이터가 혼합된 훈련용 노이지 음성(training noisy speech), 상기 음성 데이터에 대응하는 음소열, 및 상기 노이즈 데이터를 대표하는 노이즈 표현(noise representation)을 이용하여 학습을 통해 생성되고,
상기 음향 모델은 상기 훈련용 노이지 음성 데이터를 입력 데이터로 하고, 상기 음성 데이터에 대응하는 음소열 및 상기 노이즈 표현을 정답(target) 데이터로 하여 학습을 통해 생성하되, 상기 음소열의 분류와 상기 노이즈 표현 추출을 동시에 수행할 수 있도록 상기 음향 모델을 학습하는 음성 인식 방법.
제23 항에 있어서,
상기 노이즈 표현은 노이즈 모델을 이용하여 산출되는 음성 인식 방법.
제24 항에 있어서,
상기 노이즈 모델은 다수의 훈련용 노이즈(training noise) 데이터를 이용하여 Auto-encoder를 통하여 미리 생성되는 음성 인식 방법.
제23 항에 있어서,
상기 음향 모델은 신경망 기반 음향 모델인 음성 인식 방법.
제23 항에 있어서,
상기 음향 모델은 멀티 태스크 러닝(Multi-Task Learning) 기법을 이용하여 생성되는 음성 인식 방법.
제27 항에 있어서,
상기 음향 모델은 음소 확률을 맞추게 학습하는 제1 목적함수와 노이즈 표현(noise representation)을 맞추게 학습하는 제2 목적함수의 가중합으로 나타나는 제3 목적함수를 이용하여 생성되는 음성 인식 방법.
삭제