KR20170081883A - 개인화된 음성 인식을 수행하기 위한 음성 인식 단말, 음성 인식 서버 및 음성 인식 방법 - Google Patents

Abstract

개인화된 음성 인식을 수행하기 위한 음성 인식 단말, 음성 인식 서버 및 음성 인식 방법이 개시된다. 본 발명에 따른 음성 인식 단말은, 입력받은 음성 신호의 특징 데이터를 추출하는 특징 추출부, 추출된 상기 특징 데이터를 이용하여 음향 모델 스코어를 연산하는 음향스코어 연산부, 그리고 상기 음향 모델 스코어와 상태 정보를 하나 이상의 프레임 단위로 음성 인식 서버에 전송하고, 상기 음성 인식 서버로부터 전사 데이터를 수신하는 통신부를 포함하며, 상기 전사 데이터는, 상기 음성 인식 서버가 상기 음향 모델 스코어를 이용하여 언어 네트워크의 경로를 연산하고, 연산된 경로를 이용하여 인식된 것을 특징으로 한다.

Description

개인화된 음성 인식을 수행하기 위한 음성 인식 단말, 음성 인식 서버 및 음성 인식 방법{VOICE RECOGNITION TERMINAL, VOICE RECOGNITION SERVER AND VOICE RECOGNITION METHOD PERFORMING A PERSONALIZED VOICE RECOGNITION FOR PERFORMING PERSONALIZED VOICE RECOGNITION}

본 발명은 음성 인식에 관한 것으로, 특히 음향 모델을 포함하는 음성 인식 단말, 음성 인식을 수행하는 서버 및 음성 인식 단말의 음성 인식 방법 기술에 관한 것이다.

음성 인식(voice recognition)이란, 음성 신호를 해석하여 패턴화되어 있는 데이터 베이스와 조합함으로써 음성 신호를 문자열로 변환하거나 언어적 의미 내용을 식별하는 것을 의미한다. 음성 인식은 문자 단위로 수행되거나, 문자철과 발음 관계가 다양한 경우에는 적어도 단어 단위에서의 인식이 필요하다.

음성 인식을 수행할 단어 또는 문장이 기 설정되어 있고, 기 설정된 단어 또는 문장만 음성 인식 장치로 제공하는 경우의 음성 인식은 간단한 편이다. 그러나, 일반 문장이나 대화를 대상으로 음성 인식을 수행하는 기술은 자연 언어가 가진 애매성, 다양성 때문에 상당히 높은 기술력을 요구한다.

음성 인식 기술은 입력받은 음성 신호를 음성 인식 장치가 분석하고, 특징을 추출한 다음, 미리 수집된 음성 모델 데이터베이스와의 유사도를 측정하여 가장 유사한 것을 문자 또는 명령어로 변환한다. 음성 인식 기술은 일종의 패턴 인식 과정으로 사람마다 목소리와 발음, 억양 등이 다르므로 종래의 음성 인식 기술은 최대한 많은 사람들로부터 음성 데이터를 수집하여 이로부터 공통된 특성을 추출하고, 기준 패턴을 생성하였다.

인식 대상 화자에 따른 음성 인식 기술은 화자 독립 인식 방법, 화자 적응 인식 방법 및 화자 종속 인식 방법으로 구분될 수 있다. 먼저, 화자 독립 인식 방법은 임의의 화자 발성을 인식할 수 있는 방법으로, 사전에 다양한 화자의 음성에 관한 정보를 추출하여 데이터베이스화함으로써 별도의 훈련 과정 없이 사용 가능한 방법이다. 그리고 화자 적응 인식 방법은 사용자가 자신의 목소리에 대한 인식률을 높이기 위하여 화자 독립 인식 장치를 자신의 목소리에 적용시키는 방법이다.

또한, 화자 종속 인식 방법은 특정 화자 또는 사용자가 자신의 음성으로 미리 인식기를 훈련시키는 과정이 요구되며, 화자 종속 인식 방법이 적용된 음성 인식 장치는 훈련된 음성만 인식할 수 있다. 그리고 화자 종속 인식 방법은 비교적 구현이 간단하여 각종 단말기에 탑재되어 응용되고 있으나, 사용자가 훈련 과정을 거쳐야 하는 불편함이 있다.

최근에는 이러한 종래의 음성 인식 방법에 개인화 특성을 반영하는 기술이 연구되고 있다. 음성 인식 시스템을 단말 형태로 구현하면 개인화된 각 단말에 맞게 화자 적응과 같은 개인화 작업을 수행할 수 있다. 그러나, 대어휘 언어 모델을 수용하는 음성 인식 장치를 구현하기 어렵다는 단점이 있다. 반면, 음성 인식 서버와의 통신을 이용하는 온라인 음성 인식 방법은 대어휘 언어 모델을 수용할 수 있으나, 개인화 정보를 음성 인식 서버에 별도로 저장해야 하는 부담이 있다.

서버의 저장 부담을 낮추면서, 개인화된 특성을 반영한 음성 인식 기술로 단말에 고빈도 어휘의 음성 인식기를 설치하는 기술이 개발되었다. 또한, 단말에서 음소 인식을 수행하고, 수행된 음소를 서버로 전송하여 서버가 음성 인식을 수행하는 기술이 제안되기도 하였다. 그러나, 이러한 음성 인식 방법을 통하여 화자 적응을 수행할 수 있다는 장점은 있으나, 단말과 서버에 언어 네트워크를 포함하는 두 개의 음성 인식 시스템이 구비되어야 하고, 단말과 서버에서 2 단계의 음성 인식을 수행해야 한다는 절차적 제약이 있다.

따라서, 음성 인식을 수행하는 단말과 서버가 역할을 분담하여, 개인화된 음성 인식을 지원하면서, 동시에 음성 인식 절차를 간소화 하는 기술의 필요성이 절실하게 대두된다.

한국 공개 특허 제10-2011-0133739호, 2011년 12월 14일 공개(명칭: 다중 모델 적응화와 음성 인식 장치 및 방법)

본 발명의 목적은 음성 인식 단말을 소지한 화자별 개인화 특성을 반영한 음성 인식 기술을 제공하는 것이다.

또한, 본 발명의 목적은 음성 인식 서버가 화자의 개인화 특성을 반영하기 위한 별도의 데이터베이스나 저장공간을 구비하지 않고도 개인화 특성을 반영한 음성 인식을 수행하는 것이다.

또한, 본 발명의 목적은 개인화 특성을 반영하기 위한 개인의 음성 데이터와 같은 개인 정보를 서버에 전송하지 않아도 되므로, 음성 인식 단말을 소지한 사용자의 개인 정보를 보호할 수 있는 것이다.

또한, 본 발명의 목적은 음성 인식 단말에 포함된 음향 모델 스코어에서 대부분의 연산이 수행되므로, 음성 인식 서버의 연산 부화를 효과적으로 줄이는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 음성 인식 단말은, 입력받은 음성 신호의 특징 데이터를 추출하는 특징 추출부, 추출된 상기 특징 데이터를 이용하여 음향 모델 스코어를 연산하는 음향스코어 연산부, 그리고 상기 음향 모델 스코어와 상태 정보를 하나 이상의 프레임 단위로 음성 인식 서버에 전송하고, 상기 음성 인식 서버로부터 전사 데이터를 수신하는 통신부를 포함하며, 상기 전사 데이터는, 상기 음성 인식 서버가 상기 음향 모델 스코어를 이용하여 언어 네트워크의 경로를 연산하고, 연산된 경로를 이용하여 인식된 것을 특징으로 한다.

이 때, 상기 음성 인식 서버로 전송할 상기 음향 모델 스코어를 선택하는 데이터 선택부를 더 포함할 수 있다.

이 때, 상기 데이터 선택부는, 연산된 상기 음향 모델 스코어 중에서 n-best 후보만 선택할 수 있다.

이 때, 상기 데이터 선택부는, 연산된 상기 음향 모델 스코어 중에서 상기 음성 인식 서버로부터 수신한 후보 정보에 상응하는 상기 음향 모델 스코어를 선택할 수 있다.

이 때, 상기 데이터 선택부는, 연산된 상기 음향 모델 스코어 중에서 마지막 은닉 계층의 n-best 상태 스코어를 선택할 수 있다.

이 때, 상기 추출된 특징 데이터와 상기 음성 인식 서버로부터 수신된 전사 데이터를 매칭하여 적응용 데이터로 저장하는 저장부를 더 포함할 수 있다.

이 때, 저장된 상기 적응용 데이터를 이용하여 음향 모델의 적응을 수행하는 음향모델 적응부를 더 포함할 수 있다.

이 때, 상기 음향 모델 적응부는, 기 설정된 시간, 상기 음성 신호가 입력되지 않는 시간, 상기 음성 인식 서버와 통신을 수행하지 않는 시간 중에서 어느 한 시간에 상기 음향 모델의 적응을 수행할 수 있다.

이 때, 상기 음향 모델 스코어는 고정 소수점으로 표현되고, 상기 상태 정보는 이진 값으로 표현될 수 있다.

또한, 본 발명의 일실시예에 따른 음성 인식 서버는, 음성 신호의 특징 데이터를 추출하고, 음향 모델 스코어를 연산하는 음성 인식 단말로부터 하나 이상의 프레임 단위로 묶인 상기 음향 모델 스코어와 상태 정보를 수신하는 수신부, 수신된 상기 음향 모델 스코어를 대용량 언어 네트워크에 적용하여 전사 데이터를 생성하는 음성 인식부, 그리고 음성 인식의 결과로 생성된 상기 전사 데이터를 상기 음성 인식 단말로 전송하는 전송부를 포함한다.

이 때, 상기 수신부는, 상위 토큰의 스코어 연산에 필요한 상태 정보를 상기 음성 인식 단말로부터 수신할 수 있다.

이 때, 상기 음성 인식부는, 상기 음성 인식 단말로부터 수신한 마지막 은닉 계층의 n-best 상태 스코어를 최종 출력 계층에 대응하는 모델에 적용하여 최종 음향 모델 스코어를 연산하고, 상기 연산된 최종 음향 모델 스코어를 이용하여 음성 인식을 수행할 수 있다.

또한, 본 발명의 일실시예에 따른 음성 인식 단말을 이용한 음성 인식 방법은, 입력받은 음성 신호의 특징 데이터를 추출하는 단계, 추출된 상기 특징 데이터를 이용하여 음향 모델 스코어를 연산하는 단계, 상기 음향 모델 스코어와 상태 정보를 하나 이상의 프레임 단위로 음성 인식 서버에 전송하는 단계, 그리고 상기 음성 인식 서버로부터 전사 데이터를 수신하는 단계를 포함하며, 상기 전사 데이터는, 상기 음성 인식 서버가 상기 음향 모델 스코어를 이용하여 언어 네트워크의 경로를 연산하고, 연산된 경로를 이용하여 인식된 것일 수 있다.

본 발명에 따르면, 음성 인식 단말을 소지한 화자별 개인화 특성을 반영한 음성 인식 기술을 제공할 수 있다.

또한, 본 발명은 음성 인식 서버가 화자의 개인화 특성을 반영하기 위한 별도의 데이터베이스나 저장공간을 구비하지 않고도 개인화 특성을 반영한 음성 인식을 수행할 수 있다.

또한, 본 발명은 개인화 특성을 반영하기 위한 개인의 음성 데이터와 같은 개인 정보를 서버에 전송하지 않아도 되므로, 음성 인식 단말을 소지한 사용자의 개인 정보를 보호할 수 있다.

또한, 본 발명은 음성 인식 단말에 포함된 음향 모델 스코어에서 대부분의 연산이 수행되므로, 음성 인식 서버의 연산 부화를 효과적으로 줄일 수 있다.

도 1은 본 발명의 일실시예에 따른 음성 인식 단말의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 음성 인식 서버의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 음성 인식 단말의 음성 인식 방법을 나타낸 동작 흐름도이다.
도 4는 본 발명의 일실시예에 따른 음성 인식 단말과 음성 인식 서버의 데이터 흐름을 도시한 도면이다.
도 5 및 도 6은 음성 인식 단말의 음향 모델을 나타낸 도면이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 음성 인식 단말의 구성을 나타낸 블록도이다.

도 1에 도시한 바와 같이, 음성 인식 단말(100)은 특징 추출부(110), 음향스코어 연산부(120), 데이터 선택부(130), 통신부(140), 저장부(150) 및 음향모델 적응부(160)를 포함한다.

먼저, 특징 추출부(110)는 입력받은 음성 신호의 특징 데이터를 추출하고, 추출된 특징 데이터를 벡터열로 변환한다. 이때, 특징 추출부(110)는 입력받은 음성 신호의 매 프레임마다 특징을 추출할 수 있다.

또한, 특징 추출부(110)는 특징 데이터를 추출하기 전에, 음성 인식의 대상이 되는 구간인 인식 구간을 추출하고, 잡음을 처리하는 전처리를 수행할 수 있다.

다음으로 음향스코어 연산부(120)는 추출된 특징 데이터를 이용하여 음향 모델 스코어를 연산한다. 여기서, 음향 모델 스코어는 고정 소수점으로 표현될 수 있으며, 음향스코어 연산부(120)는 n-best 상태 스코어(n-best state score)를 연산할 수 있다.

그리고 데이터 선택부(130)는 음성 인식 서버(200)로 전송할 n-best 상태 스코어를 선택한다. 데이터 선택부(130)는 음성 인식 단말(100)이 음성 인식 서버(200)로 전송하는 데이터 량을 절감하기 위하여 음성 인식 서버(200)로 전송할 데이터를 선택할 수 있다.

이때, 데이터 선택부(130)는 연산된 음향 모델 스코어 중에서 n-best 후보만을 선택할 수 있다. 실제 음향 데이터와 일치하는 전사 값인 출력 상태(Output state)인 후보는 개수가 적으며, 그 외의 상태인 경우 비교적 관련성이 적다. 따라서, 데이터 선택부(130)는 음향 모델 스코어 중에서 n-best 후보만을 음성 인식 서버(200)로 전송할 음향 모델 스코어로 선택할 수 있다.

또한, 데이터 선택부(130)는 연산된 음향 모델 스코어 중에서 음성 인식 서버(200)로부터 수신된 후보 정보에 상응하는 음향 모델 스코어를 선택할 수 있다.

음성 인식 서버(200)가 토큰 패싱(token passing) 알고리즘 등을 수행하여 최적의 경로를 찾는 연산을 수행할 경우, 음성 인식 서버(200)는 누적된 경로에서 상위 스코어 토큰에 해당하는 상태(state)의 정보를 음성 인식 단말(100)로 전송한다. 그리고 음성 인식 단말(100)은 수신된 상태 정보에 상응하는 스코어만을 음성 인식 서버(200)로 전송할 수 있다.

그리고 데이터 선택부(130)는 연산된 음향 모델 스코어 중에서 마지막 은닉 계층(last hidden layer)의 n-best 상태 스코어를 선택할 수 있다.

음성 인식 단말(100)이 음향 모델의 마지막 은닉 계층(last hidden layer)까지만 포함하고, 최종 출력 계층(output layer)에 해당하는 모델은 음성 인식 서버(200)에 포함되어 있을 수 있다. 이 경우, 음성 인식 단말(100)은 마지막 은닉 계층(last hidden layer)의 n-best 상태 값을 음성 인식 서버(200)로 전송하고, 음성 인식 서버(200)는 전달된 값을 이용하여 최종 출력 계층(output layer)의 상태 값을 연산한 최종 음향 모델 스코어를 가질 수 있다.

또한, 통신부(140)는 n-best 상태 스코어와 상태 정보를 하나 이상의 프레임 단위로 음성 인식 서버(200)에 전송한다. 여기서, 상태 정보는 이진 값으로 표현될 수 있으며, 데이터 선택부(130)에서 선택된 값 일 수 있다.

그리고 통신부(140)는 음성 인식 서버(200)로부터 전사 데이터를 수신한다. 여기서, 전사 데이터는 음성 인식 서버(200)가 음향 모델 스코어를 이용하여 언어 네트워크 경로를 연산하고, 연산된 경로를 이용하여 인식된 것이다.

다음으로 저장부(150)는 추출된 특징 데이터와 음성 인식 서버(200)로부터 수신된 전사 데이터를 매칭하여 적용용 데이터로 저장할 수 있다.

그리고 음향모델 적응부(160)는 저장된 적응용 데이터를 이용하여 음향 모델의 적응을 수행한다.

이때, 음향모델 적응부(160)는 기 설정된 시간, 음성 신호가 입력되지 않는 시간, 음성 인식 서버(200)와 통신을 수행하지 않는 시간 중에서 어느 여분의 시간에 음향 모델의 적응을 수행할 수 있다.

도 2는 본 발명의 일실시예에 따른 음성 인식 서버의 구성을 나타낸 블록도이다.

음성 인식 서버(200)는 수신부(210), 음성 인식부(220) 및 전송부(230)를 포함한다.

먼저, 수신부(210)는 음성 인식 단말(100)로부터 하나 이상의 프레임 단위로 묶인 n-best 상태 스코어와 상태(state) 정보를 수신한다. 그리고 수신부(210)는 상위 토큰의 스코어 연산에 필요한 상태 정보를 음성 인식 단말(100)로부터 수신할 수 있다.

다음으로 음성 인식부(220)는 음향 모델 스코어를 대용량 언어 네트워크에 적용하여 전사 데이터를 생성한다.

음성 인식부(220)는 음성 인식 단말(100)로부터 수신한 마지막 은닉 계층(last hidden layer)의 n-best 상태 스코어를 최종 출력 계층(output layer)에 대응하는 모델에 적용하여 최종 음향 모델 스코어를 연산할 수 있다. 그리고 연산된 최종 음향 모델 스코어를 이용하여 음성 인식을 수행할 수 있다.

마지막으로, 전송부(230)는 음성 인식의 결과로 생성된 전사 데이터를 음성 인식 단말(100)로 전송한다.

이하에서는 도 3 내지 도 6을 통하여 본 발명의 일실시예에 따른 음성 인식 단말의 음성 인식 방법에 대하여 더욱 상세하게 설명한다.

도 3은 본 발명의 일실시예에 따른 음성 인식 단말의 음성 인식 방법을 나타낸 동작 흐름도이고, 도 4는 본 발명의 일실시예에 따른 음성 인식 단말과 음성 인식 서버의 데이터 흐름을 도시한 도면이다.

먼저, 음성 인식 단말(100)은 입력받은 음성 신호의 특징 데이터를 추출한다(S310). 그리고 음성 인식 단말(100)은 추출된 특징 데이터를 벡터열로 변환한다.

이때, 음성 인식 단말(100)은 입력받은 음성 신호의 매 프레임 단위로 특징을 추출할 수 있다.

그리고 음성 인식 단말(100)은 추출된 특징 데이터를 이용하여 음향 모델 스코어를 연산한다(S320). 여기서, 음향 모델 스코어는 n-best 상태 스코어(n-best state score)를 의미하며, n-best 상태 스코어는 고정 소수점으로 표현될 수 있다.

이때, 음성 인식 단말(100)은 심층 신경망(DNN, Deep neural network)을 이용하여 음향 모델을 표현할 수 있다. 심층 신경망(DNN)을 이용한 음성 인식 장치에 있어서, 대부분의 연산이 심층 신경망(DNN) 스코어를 측정하는데 소요되므로, 본 발명의 실시예에 따른 음성 인식 단말(100)은 음성 인식 서버(200)가 아닌 단말 측에서 연산을 수행하여 음성 인식 서버(200)의 부담을 줄일 수 있다.

연산된 음향 모델 스코어는 음성 인식 단말(100)과 동기화된 음성 인식 서버(200)로 실시간 또는 기 설정된 주기로 전송될 수 있다. 그리고 음성 인식 서버(200)는 수신된 음향 모델 스코어를 언어 네트워크 경로 탐색에 적용하여 최적의 단어 열을 선택하고, 선택된 단어 열을 포함하는 음성 인식 결과를 음성 인식 단말(100)로 전송할 수 있다.

또한, 음성 인식 단말(100)은 음성 인식 서버(200)로 전송할 음향 모델 스코어를 선택한다(S330).

본 발명의 실시예에 따른 음성 인식 단말(100)은 음성 인식 서버(200)로 전송할 데이터 량을 절감하기 위하여, 음성 인식 서버(200)로 전송할 데이터를 선택할 수 있다. 이때, 음성 인식 단말(100)은 심층 신경망(Deep neural network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN), 제한 볼츠만 머신 (Restricted Boltzmann Machine, RBM), 심층 신뢰 신경망 (Deep Belief Network, DBN) 등의 음향 모델을 이용하여 음향 모델 스코어를 연산할 수 있으며, 설명의 편의상 음향 모델이 심층 신경망(DNN)을 이용하는 것으로 설명하였으나, 이에 한정되지는 않는다.

도 5 및 도 6은 음성 인식 단말의 음향 모델을 나타낸 도면이다.

도 5에 도시한 바와 같이, 심층 신경망(DNN)은 입력 계층(input layer)과 출력 계층(output layer) 사이에 복수개의 은닉 계층(hidden layer)들이 존재하는 인공신경망(ANN, Artificial Neural Network)을 의미하며, 심층 신경망(DNN)은 복잡한 비선형 관계들을 모델링 할 수 있다.

그리고 심층 신경망(DNN)은 입력 계층으로부터 은닉 계층 거쳐 출력 계층에 도달할 때까지, 각기 다른 상태(state) 수를 갖는 계층들은 이전 계층 상태 수와 다음 계층 상태 수를 곱한 수만큼의 연결이 다음 계층의 상태들과 발생한다. 또한, 음성 인식 단말(100)이 음성 인식 서버(200)로 전송해야 하는 음향 모델 상태 스코어는 최종 계층의 상태에서 발생한 값이다.

예를 들어, 일반적인 온라인 서비스에서 사용하는 출력 계층(output layer)의 상태 개수가 8,000개 라고 가정한다. 이 경우, 8,000개의 float 타입(4byte)이 매 프레임인 10 밀리 초마다 음성 인식 서버(200)로 전송되어야 한다. 즉, 1초에 3.2Mbyte(8,000*4*100byte/sec)를 음성 인식 서버(200)로 전송해야 하는 것으로, 보통 16KHz의 음성 데이터를 전송할 때 1초에 약 32Kbyte(16,000*2(short type) byte/sec)가 필요한 것에 비하여 전송할 데이터 량이 매우 많다.

따라서, 본 발명의 실시예에 따른 음성 인식 단말(100)은 음성 인식 서버(200)로 전송할 데이터를 선택하여 음성 인식 서버(200)로 전송할 데이터의 량을 절감할 수 있다.

첫 번째로, 음성 인식 단말(100)은 연산된 음향 모델 스코어 중에서 n-best 후보만을 선택할 수 있다.

실제 음향 데이터와 일치하는 전사 값인 출력 계층 상태는 적은 수의 후보를 포함하는 반면, 그 외의 상태들은 비교적 음향 데이터와 관련이 적다. 따라서, 음성 인식 단말(100)은 출력 계층 상태 스코어 중에서 음향학적으로 스코어가 높은 값을 갖는 상태 후보들만 음성 인식 서버(200)로 전송할 수 있다.

예를 들어, 전체 상태 중에서 매 프레임 음향 데이터와 일치하는 후보군을 상위 200개의 상태 스코어로 설정할 경우, 200*4*100byte/sec가 되어 음성 인식 단말(100)은 음성 인식 서버(200)로 1초에 약 80kbye를 전송한다. 그리고 상태 스코어들이 일정한 범위 값을 벗어나지 않으므로, 4byte float 타입을 대신하여 2byte 고정 소수점 방식으로 처리할 경우, 음성 인식 단말(100)은 약 40Kbyte로 전송할 수 있다.

이때, n-best에 해당하는 상태들을 구별할 정보가 필요하므로, 음성 인식 단말(100)은 배열로 구성된 상태 이진 정보를 음성 인식 서버(200)로 후보와 함께 전송한다. 예를 들어, 상태가 8,000개 인 경우, 음성 인식 단말(100)은 음성 인식 서버(200)로 8,000bit를 전송한다.

설명의 편의상, 8,000 상태와 200개의 n-best를 가정하여 1초에 41Kbyte를 전송해야 하는 것으로 설명하였으나, 이에 한정하지 않으며, n-best는 적용에 따라 100으로 변경 가능하므로, 초당 21Kbyte의 전송도 가능하다.

두 번째로, 음성 인식 단말(100)은 연산된 음향 모델 스코어 중에서 음성 인식 서버(200)로부터 수신된 후보 정보에 상응하는 음향 모델 스코어만 선택할 수 있다.

음성 인식 서버(200)에서 최적의 경로를 찾는 연산을 Viterbi와 같은 토큰 패싱 알고리즘으로 수행하며, 이때, 음성 인식 서버(200)는 누적된 경로에서 상위 스코어 토큰에 상응하는 상태 정보를 음성 인식 단말(100)로 전송하여 필요한 상태의 스코어만을 요청할 수 있다. 그리고 요청을 수신한 음성 인식 단말(100)은 요청에 상응하는 상태의 스코어만 음성 인식 서버(200)로 전송한다.

초기에는 n-best 방법을 적용하다가. 상위 토큰의 상태 개수가 n-best보다 작아질 경우, 음성 인식 서버(200)는 음성 인식 단말(100)로 해당 상태에 대한 이진 정보 배열을 전송한다. 그리고 음성 인식 단말(100)은 수신된 이진 정보 배열을 이용하여 해당 상태들의 스코어를 음성 인식 서버(200)로 전송한다.

이처럼, 후보 정보에 상응하는 음향 모델 스코어만 음성 인식 서버(200)로 전송할 경우, 가변적으로 추가적인 데이터 량을 절감할 수 있다.

세 번째로, 음성 인식 단말(130)은 연산된 음향 모델 스코어 중에서 마지막 은닉 계층(last hidden layer)의 n-best 상태 스코어를 선택할 수 있다.

도 6에 도시된 바와 같이, 음성 인식 단말(100)의 음향 모델은 마지막 은닉 계층(last hidden layer)까지만 포함하고, 최종 출력 계층(output layer)에 해당하는 모델은 음성 인식 서버(200)가 포함할 수 있다. 그리고 음성 인식 서버(200)는 음성 인식 단말(100)에서 전달된 마지막 은닉 계층(last hidden layer)의 상태 값을 가지고, 최종 출력 계층까지 연산하여 최종적으로 음향 모델 스코어 값을 가질 수 있다.

마지막 은닉 계층(last hidden layer)의 n-best 상태 스코어를 음성 인식 서버(200)로 전송하는 방법은 출력 계층이 최종적으로 분류되는 영역이므로 비교적 많은 상태들을 가지고 있는 반면, 은닉 계층(hidden layer)은 추상적인 값이 집약되는 부분으로, 상대적으로 적은 상태를 가지고 처리하는 이점을 활용하여 데이터 량을 절감시키는 방법이다.

예를 들어, 8,000개의 상태들로 출력 계층(output layer)을 표현하는 경우, 1,500개의 상태들로 최종 은닉 계층(hidden layer)을 구성할 수 있다. 또한, DNN 학습 방법에서 은닉 계층(hidden layer)의 n-best만 이용하여 학습하는 방법과 마찬가지로, 음성 인식에서도 마지막 은닉 계층(last hidden layer)의 n-best를 적용하여 10%의 상태를 전송할 수 있다. 이때, 150state*2byte*100byte/sec로 초당 약 30Kbyte가 소요되며, 추가적으로 1,500 bit(0.2Kbyte)의 이진 배열 전송이 필요하다.

설명의 편의상, 매 프레임 단위로 데이터를 전송하는 것으로 설명하였으나, 이에 한정하지 않고, 음성 인식 단말(100)은 프레임 묶음 단위로 음성 인식 서버(200)로 전송하여 전송 빈도를 줄일 수 있으며, 추가적인 압축 기법을 적용하여 전송 데이터 량을 더 절감할 수 있다.

다음으로, 음성 인식 단말(100)은 음성 인식 서버(200)로 음향 모델 스코어와 상태 정보를 전송한다(S340).

여기서, 전송되는 음향 모델 스코어는 S330 단계에서 음성 인식 단말(100)이 선택한 음향 모델 스코어를 의미한다. 그러나, 본 발명의 실시예에 따른 음성 인식 단말(100)이 S330 단계의 수행을 생략하는 경우, S320 단계에서 연산된 음향 모델 스코어를 의미할 수 있다.

그리고, 음성 인식 단말(100)은 음성 인식 서버(200)로부터 전사 데이터를 수신하여 저장한다(S350).

마지막으로, 음성 인식 단말(100)은 음향 모델 적응을 수행한다(S360).

음성 인식 단말(100)은 음성 인식 서버(200)로부터 수신된 음성 인식 결과인 전사 데이터를 이용하여 음향모델 적응을 수행함으로써, 음성 인식의 개인화를 반영할 수 있다.

본 발명의 실시예에 따른 음성 인식 단말(100)은 음성 인식 서버(200)의 연산 및 부가적인 메모리 부담 없이 개인화가 잘 반영된 음성 인식을 구현하기 위한 것으로, 음성 인식 단말(100)이 개인의 음향학적 특성을 지속적으로 반영하여 개인화를 수행한다.

음성 인식 단말(100)은 추출된 음성 신호의 특징 데이터와 음성 인식 서버(200)로부터 수신된 전사 데이터를 지속적으로 누적하여 적응용 데이터를 생성한다. 이때, 음성 인식 단말(100)은 비지도 음향 모델을 이용하여 적응을 수행할 수 있다.

또한, 음향 모델의 특성을 반영하기 위하여 다양한 DNN 적응 기법을 적용할 수 있으며, 특히 지속적으로 누적된 개인화 데이터를 간헐적으로 이용할 때의 성능을 고려하여 적응용 데이터를 이용한 재학습(fine tuning)방법으로 화자 적응을 수행할 수 있다.

이때, 음향 모델이 도 7에 도시된 바와 같을 경우, 음성 인식 단말(100)의 마지막 은닉 계층(last hidden layer)까지만 음향 모델 적응이 수행되어, 개인화된 음향 모델로 갱신된다. 반면, 음성 인식 서버(200)의 출력 계층(output layer)은 기본적인 화자 독립 시스템의 상태를 유지한다.

이상에서와 같이 본 발명에 따른 개인화된 음성 인식을 수행하기 위한 음성 인식 단말, 음성 인식 서버 및 음성 인식 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

100: 음성 인식 단말
110: 특징 추출부
120: 음향 스코어 연산부
130: 데이터 선택부
140: 통신부
150: 저장부
160: 음향모델 적응부
200: 음성 인식 서버
210: 수신부
220: 음성 인식부
230: 전송부
510, 610: DNN 음향 모델의 출력 계층
520, 620: DNN 음향 모델의 은닉 계층
530, 630: DNN 음향 모델의 입력 계층

Claims (20)

1. 입력받은 음성 신호의 특징 데이터를 추출하는 특징 추출부,
   추출된 상기 특징 데이터를 이용하여 음향 모델 스코어를 연산하는 음향스코어 연산부, 그리고
   상기 음향 모델 스코어와 상태 정보를 하나 이상의 프레임 단위로 음성 인식 서버에 전송하고, 상기 음성 인식 서버로부터 전사 데이터를 수신하는 통신부
   를 포함하며,
   상기 전사 데이터는,
   상기 음성 인식 서버가 상기 음향 모델 스코어를 이용하여 언어 네트워크의 경로를 연산하고, 연산된 경로를 이용하여 인식된 것을 특징으로 하는 음성 인식 단말.
2. 제1항에 있어서,
   상기 음성 인식 서버로 전송할 상기 음향 모델 스코어를 선택하는 데이터 선택부를 더 포함하는 음성 인식 단말.
3. 제2항에 있어서,
   상기 데이터 선택부는,
   연산된 상기 음향 모델 스코어 중에서 n-best 후보만 선택하는 음성 인식 단말.
4. 제2항에 있어서,
   상기 데이터 선택부는,
   연산된 상기 음향 모델 스코어 중에서 상기 음성 인식 서버로부터 수신한 후보 정보에 상응하는 상기 음향 모델 스코어를 선택하는 음성 인식 단말.
5. 제2항에 있어서,
   상기 데이터 선택부는,
   연산된 상기 음향 모델 스코어 중에서 마지막 은닉 계층의 n-best 상태 스코어를 선택하는 음성 인식 단말.
6. 제1항에 있어서,
   상기 추출된 특징 데이터와 상기 음성 인식 서버로부터 수신된 전사 데이터를 매칭하여 적응용 데이터로 저장하는 저장부를 더 포함하는 음성 인식 단말.
7. 제6항에 있어서,
   저장된 상기 적응용 데이터를 이용하여 음향 모델의 적응을 수행하는 음향모델 적응부를 더 포함하는 음성 인식 단말.
8. 제7항에 있어서,
   상기 음향 모델 적응부는,
   기 설정된 시간, 상기 음성 신호가 입력되지 않는 시간, 상기 음성 인식 서버와 통신을 수행하지 않는 시간 중에서 어느 한 시간에 상기 음향 모델의 적응을 수행하는 것을 특징으로 하는 음성 인식 단말.
9. 제1항에 있어서,
   상기 음향 모델 스코어는 고정 소수점으로 표현되고, 상기 상태 정보는 이진 값으로 표현되는 것을 특징으로 하는 음성 인식 단말.
10. 음성 신호의 특징 데이터를 추출하고, 음향 모델 스코어를 연산하는 음성 인식 단말로부터 하나 이상의 프레임 단위로 묶인 상기 음향 모델 스코어와 상태 정보를 수신하는 수신부,
    수신된 상기 음향 모델 스코어를 대용량 언어 네트워크에 적용하여 전사 데이터를 생성하는 음성 인식부, 그리고
    음성 인식의 결과로 생성된 상기 전사 데이터를 상기 음성 인식 단말로 전송하는 전송부
    를 포함하는 음성 인식 서버.
11. 제10항에 있어서,
    상기 수신부는,
    상위 토큰의 스코어 연산에 필요한 상태 정보를 상기 음성 인식 단말로부터 수신하는 음성 인식 서버.
12. 제10항에 있어서,
    상기 음성 인식부는,
    상기 음성 인식 단말로부터 수신한 마지막 은닉 계층의 n-best 상태 스코어를 최종 출력 계층에 대응하는 모델에 적용하여 최종 음향 모델 스코어를 연산하고, 상기 연산된 최종 음향 모델 스코어를 이용하여 음성 인식을 수행하는 음성 인식 서버.
13. 음성 인식 단말을 이용한 음성 인식 방법에 있어서,
    입력받은 음성 신호의 특징 데이터를 추출하는 단계,
    추출된 상기 특징 데이터를 이용하여 음향 모델 스코어를 연산하는 단계,
    상기 음향 모델 스코어와 상태 정보를 하나 이상의 프레임 단위로 음성 인식 서버에 전송하는 단계, 그리고
    상기 음성 인식 서버로부터 전사 데이터를 수신하는 단계
    를 포함하며,
    상기 전사 데이터는,
    상기 음성 인식 서버가 상기 음향 모델 스코어를 이용하여 언어 네트워크의 경로를 연산하고, 연산된 경로를 이용하여 인식된 것을 특징으로 하는 음성 인식 방법.
14. 제13항에 있어서,
    상기 음성 인식 서버로 전송할 상기 음향 모델 스코어를 선택하는 단계를 더 포함하는 음성 인식 방법.
15. 제14항에 있어서,
    상기 음향 모델 스코어를 선택하는 단계는,
    연산된 상기 음향 모델 스코어 중에서 n-best 후보만 선택하는 음성 인식 방법.
16. 제14항에 있어서,
    상기 음향 모델 스코어를 선택하는 단계는,
    연산된 상기 음향 모델 스코어 중에서 상기 음성 인식 서버로부터 수신한 후보 정보에 상응하는 상기 음향 모델 스코어를 선택하는 음성 인식 방법.
17. 제14항에 있어서,
    상기 음향 모델 스코어를 선택하는 단계
    연산된 상기 음향 모델 스코어 중에서 마지막 은닉 계층의 n-best 상태 스코어를 선택하는 음성 인식 방법.
18. 제13항에 있어서,
    상기 추출된 특징 데이터와 상기 음성 인식 서버로부터 수신된 전사 데이터를 매칭하여 적응용 데이터로 저장하는 단계를 더 포함하는 음성 인식 방법.
19. 제18항에 있어서,
    저장된 상기 적응용 데이터를 이용하여 음향 모델의 적응을 수행하는 단계를 더 포함하는 음성 인식 방법.
20. 제19항에 있어서,
    상기 음향 모델의 적응을 수행하는 단계는,
    기 설정된 시간, 상기 음성 신호가 입력되지 않는 시간, 상기 음성 인식 서버와 통신을 수행하지 않는 시간 중에서 어느 한 시간에 상기 음향 모델의 적응을 수행하는 것을 특징으로 하는 음성 인식 방법.

Images