KR101404246B1 - 발화 인식 성능 향상 시스템 및 방법 - Google Patents

Abstract

본 발명의 실시예에서는 발화 인식 성능 향상 시스템 및 방법을 개시한다. 구체적으로, 언어 단위로 입력된 기존 사용자 발화 문장 및 현재 사용자 발화 문장에 대해 음성 인식 언어 모델인 훈련 말뭉치를 기반으로 가중치를 적용하는 가중치 조정부; 가중치가 적용된 기존 사용자 발화 문장 및 현재 사용자 발화 문장 각각에 대해 N-BEST 및 N-BEST에 대한 점수를 생성하는 인식 N-BEST 생성부; 및 N-BEST에 대해서 기존 사용자 발화 문장 및 현재 사용자 발화 문장의 점수를 합산하는 인식 N-BEST 결합부를 포함하는 발화 인식 성능 향상 시스템을 제공한다. 이에 따라, 오류가 포함된 기존 사용자 발화 문장을 수정하기 위해서, 재발화를 반복할 필요가 없으므로 편리하고 쉽게 사용자 발화 문장을 수정할 수 있는 효과가 있다.

Description

발화 인식 성능 향상 시스템 및 방법{Apparatus for improving utterance recognition performance and method thereof}

본 발명은 발화 인식 성능 향상 시스템에 관한 것으로, 더욱 상세하게는 기존 발화 인식 정보 및 재발화 인식 정보를 이용하여 재발화 인식 성능을 향상시킨 발화 인식 성능 향상 시스템 및 방법에 관한 것이다.

최근 스마트 폰, 스마트 TV 또는 태블릿 PC(tablet PC) 등 다양한 최신 스마트 장치의 보급으로 음성 인식(voice recognition)을 기반한 소프트웨어(software)에 대한 관심이 증대되고 있다. 여기서, 음성 인식은 인간의 음성을 컴퓨터가 다룰 수 있는 문자(코드) 정보로 변환하는 기술인데, 구체적으로 마이크를 통해 입력 받은 음성을 컴퓨터가 분석한 다음, 음성모델 데이터베이스와 비교하여 문자 혹은 명령어로 변환하는 기술이다. 인식된 결과는 명령, 입력, 제어 등의 다양한 응용 분야에서 사용될 수 있다. 또한, 음성 인식은 다른 입력 방식과 차별화된 장점을 보유하고 있으므로 대표적인 ‘자연스런 사용자 인터페이스(NUI: Natural User Interface)’기술의 하나로 활용되며, 이동 중이거나 다른 작업을 하는 상황에서도 음성을 통한 정보 입력이 가능하기 때문에 모바일 기기에 적용하거나 물류 등의 업무 수행에 활용이 가능하다.

그러나, 현재의 음성 인식 기술은 오류 발생률이 높은 편이다. 또한, 이러한 음성 인식 오류를 수정하기 위해서는 직접적인 타이핑(typing)이 필요하거나, 임의의 직접적인 수정 명령이 필요하다.

이러한 문제점을 개선하기 위해서, 최근에는 인식된 음성의 오류 부분을 포함한 일 부분의 재발화를 통하여 인식된 문장을 수정하는 방법이 개발되었다.

그러나, 재발화를 통하여 문장의 오류를 수정할지라도, 기존 전체 문장에서 사용하던 음성 인식 모델을 그대로 적용한다는 것은 동일한 음성 인식 오류를 발생시킬 확률이 높다는 문제점이 있다.

이에 따라, 사용자에게 수정을 위한 지속적인 재발화를 요청하게 되는 문제점이 발생하게 되며, 사용자는 반복적인 재발화 때문에 불편하고 불쾌감을 느끼는 문제점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 인식된 문장의 오류를 수정하기 위하여, 기존 발화와 재발화에 대한 엔-베스트(N-BEST)를 이용함으로써, 사용자의 반복적인 재발화를 방지하고 재발화 인식 성능을 향상시킬 수 있는 발화 인식 성능 향상 시스템을 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 기존 발화를 수정하는 재발화 시, 기존 발화와 동일한 반복적인 오류를 줄이고, 음성 만을 통하여 오류 수정이 가능한 발화 인식 성능 향상 방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면은, 사용자 발화를 입력 받는 사용자 발화 입력부; 상기 사용자 발화의 의도를 판단하고, 상기 사용자 발화의 의도에 대응하는 사용자 발화 의도 정보를 생성하는 사용자 발화 의도 판단부; 및 상기 사용자 발화 의도 정보가 입력 처리에 대응하는 경우, 상기 사용자 발화를 입력 처리하며, 상기 사용자 발화 의도 정보가 재발화 처리에 대응하는 경우, 상기 사용자 발화에 대해서 인식 성능 향상 처리를 하며, 인식 성능 향상 처리된 상기 사용자 발화를 이용하여 기존 사용자 발화를 수정하는 재발화 처리부를 포함하는 발화 인식 성능 향상 시스템을 제공한다.

상기 목적을 달성하기 위한 본 발명의 또 다른 일 측면은, 언어 단위로 입력된 기존 사용자 발화 문장 및 현재 사용자 발화 문장에 대해 음성 인식 언어 모델인 훈련 말뭉치를 기반으로 가중치를 적용하는 가중치 조정부; 가중치가 적용된 기존 사용자 발화 문장 및 현재 사용자 발화 문장 각각에 대해 N-BEST 및 상기 N-BEST에 대한 점수를 생성하는 인식 N-BEST 생성부; 및 상기 N-BEST에 대해서 상기 기존 사용자 발화 문장 및 현재 사용자 발화 문장의 상기 점수를 합산하는 인식 N-BEST 결합부를 포함하는 발화 인식 성능 향상 시스템을 제공한다.

여기서, 상기 가중치는, 제1전이 가능성을 가진 품사의 경우, 제1값을 가지고, 제2전이 가능성을 가진 품사의 경우, 제2값을 가지며, 상기 제1전이 가능성은 상기 제2전이 가능성보다 크고, 상기 제1값은 상기 제2값보다 작은 것을 특징으로 한다.

여기서, 상기 언어 단위는 격자 단위인 것을 특징으로 한다.

여기서, 상기 N-BEST의 합산 점수에 패널티를 적용하여 상기 N-BEST에 대한 최종 점수를 산출하는 패널티 적용부를 더 포함한다.

여기서, 상기 패널티 적용부는, 상기 N-BEST가 상기 기존 사용자 발화 문장 및 현재 사용자 발화 문장에서 하나에만 포함되는 경우, 제1패널티를 적용하고, 상기 N-BEST가 상기 기존 사용자 발화 문장의 오류를 포함하고 있는 경우, 제2패널티를 적용하는 것을 특징으로 한다.

여기서, 상기 N-BEST의 최종 점수를 기반으로 최종 사용자 발화 인식 문장을 추출하는 최종 인식 결정부를 더 포함한다.

상기 목적을 달성하기 위한 본 발명의 또 다른 일 측면은, 여기서, 발화 인식 성능 향상을 위한 발화 인식 성능 향상 시스템의 발화 인식 성능 향상 방법에 있어서, 언어 단위로 입력된 기존 사용자 발화 문장 및 현재 사용자 발화 문장에 대해 음성 인식 언어 모델인 훈련 말뭉치를 기반으로 가중치를 적용하는 단계; 가중치가 적용된 기존 사용자 발화 문장 및 현재 사용자 발화 문장 각각에 대해 N-BEST 및 상기 N-BEST에 대한 점수를 생성하는 단계; 및 상기 N-BEST에 대해서 상기 기존 사용자 발화 문장 및 현재 사용자 발화 문장의 상기 점수를 합산하는 단계를 포함하는 발화 인식 성능 향상 방법을 제공한다.

여기서, 상기 가중치는, 제1전이 가능성을 가진 품사의 경우, 제1값을 가지고, 제2전이 가능성을 가진 품사의 경우, 제2값을 가지며, 상기 제1전이 가능성은 상기 제2전이 가능성보다 크고, 상기 제1값은 상기 제2값보다 작은 것을 특징으로 한다.

여기서, 상기 언어 단위는 격자 단위인 것을 특징으로 한다.

여기서, 상기 N-BEST의 합산 점수에 패널티를 적용하여 상기 N-BEST에 대한 최종 점수를 산출하는 단계를 더 포함한다,

여기서, 상기 패널티를 적용하는 단계는, 상기 N-BEST가 상기 기존 사용자 발화 문장 및 현재 사용자 발화 문장에서 하나에만 포함되는 경우, 제1패널티를 적용하고, 상기 N-BEST가 상기 기존 사용자 발화 문장의 오류를 포함하고 있는 경우, 제2패널티를 적용하는 것을 특징으로 한다.

여기서, 상기 N-BEST의 최종 점수를 기반으로 최종 사용자 발화 인식 문장을 추출하는 단계를 더 포함한다.

상기와 같은 본 발명의 실시예에 따른 음성 인식 성능 향상 시스템 및 방법은, 인식된 문장의 오류를 수정하기 위하여, 기존 발화와 재발화에 대한 엔-베스트(N-BEST)를 이용함으로써, 사용자의 반복적인 재발화를 방지하고 재발화 인식 성능을 향상시킬 수 있는 효과를 제공한다.

또한, 기존 발화를 수정하는 재발화 시, 기존 발화와 동일한 반복적인 오류를 줄이고, 음성 만을 통하여 오류 수정이 가능한 효과가 있다.

도 1은 본 발명의 실시예에 따른 발화 인식 성능 향상 시스템을 개략적으로 도시한 개념도이다.
도 2는 본 발명의 실시예에 따른 발화 인식 성능 향상 방법을 보여주는 순서도이다.
도 3은 본 발명의 실시예에 따른 수정 처리부(152)를 보다 상세하게 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 발화 인식 성능 향상 시스템의 발화 인식 성능 향상을 위한 방법을 보여주는 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 보다 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 발화 인식 성능 향상 시스템을 개략적으로 도시한 개념도이다.

먼저, 본 발명의 실시예에 따른 발화 인식 성능 향상 시스템(100)은, 사용자 발화 입력부(110)와, 사용자 발화 의도 판단부(120)와, 사용자 발화 처리부(130)를 포함할 수 있다.

여기서, 사용자 발화 입력부(110)는 사용자로부터 사용자 발화를 입력 받고, 사용자 발화에 대응하는 사용자 발화 문장(UUS)을 사용자 발화 의도 판단부(120)에 제공한다.

사용자 발화 의도 판단부(120)는 사용자 발화 입력부(110)로부터 제공받은 사용자 발화 문장(UUS)의 의도를 파악하고, 사용자 발화 문장(UUS)의 의도에 대응하는 정보인 사용자 발화 의도 정보(UUIF)를 사용자 발화 처리부(130)에 제공한다.

여기서, 사용자 발화 의도는 사용자가 발화한 문장의 의미를 나타내는데, 구체적으로 예를 들면, 사용자 발화가 일반적인 입력을 위한 발화인지, 기존 발화의 수정을 위한 재발화인지에 대한 의도를 나타낸다.

사용자 발화 의도 판단부(120)는 예를 들면, 현재 사용자 발화 문장(UUS)이 기존의 사용자 발화 문장을 비교하고, 그 비교 값이 기준 값 이상을 가질 경우, 현재 사용자 발화 문장(UUS)이 기존 사용자 발화를 수정하는 문장이라고 판단할 수 있다. 반면에, 사용자 발화 의도 판단부(120)는 예를 들면, 현재 사용자 발화 문장(UUS)과 기존 사용자 발화 문장의 비교 값이 기준 값 미만인 경우, 일반적인 입력을 위한 발화라고 판단할 수 있다. 한편, 여기서 일반적인 입력을 위한 사용자 발화인지, 기존 사용자 발화를 수정하기 위한 재발화인지에 대한 판단 방법은 다양한 방법에 의해 구현될 수 있다.

또한, 사용자 발화 의도 판단부(120)는 사용자 발화 문장(USS)이 일반적인 입력을 위한 사용자 발화인 경우, 일반 입력에 대응하는 사용자 발화 의도 정보(UUIF)를 생성하고, 반면에 기존 사용자 발화의 수정을 위한 재발화인 경우, 수정을 위한 재발화에 대응하는 사용자 발화 의도 정보(UUIF)를 생성한다.

사용자 발화 처리부(130)는 사용자 발화 의도 판단부(120)로부터 제공받은 사용자 발화 의도 정보(UUIF)에 대응하여, 사용자 발화 문장(UUS)을 입력 처리 또는 재발화 처리를 한다.

이를 위하여, 사용자 발화 처리부(130)는 입력 처리부(140)와, 재발화 처리부(150)를 포함할 수 있다.

입력 처리부(140)는 사용자 발화 의도 정보(UUIF)가 입력 처리에 해당될 경우, 사용자 발화 문장(UUS)에 대해서 입력 처리한다.

입력 처리는 발화 인식 성능 향상 시스템(100)에 따라 다양하게 구현될 수 있다. 구체적으로 예를 들면, 입력 처리는, 음성 워드 프로세서의 경우, 새로운 문장의 입력이 될 수 있으며, 음성 대화 시스템의 경우, 대화 처리가 될 수 있다.

재발화 처리부(150)는 사용자 발화 의도 정보(UUIF)가 기존 사용자 발화의 수정을 위한 재발화에 해당될 경우, 사용자 발화 문장(UUS)에 대해서 재발화 처리를 한다.

이를 위해서, 재발화 처리부(150)는 인식 성능 향상부(151)와, 수정 처리부(152)를 포함할 수 있다.

먼저, 인식 성능 향상부(151)는 기존 사용자 발화 문장을 수정하기 위해서 재발화된 현재 사용자 발화 문장(UUS)의 인식 성능 향상 처리를 한다.

여기서, 인식 성능 향상 처리는 예를 들면, 재발화된 사용자 발화 문장(UUS)에서 잡음 또는 소음 등을 포함한 불필요한 음을 제거하는 것일 수 있다.

수정 처리부(152)는 인식 성능 향상 처리가 된 사용자 발화 문장(UUS)을 이용하여, 기존 사용자 발화 문장을 수정함으로써 사용자가 최종적으로 입력하고자 하는 최종 사용자 발화 문장을 결정한다.

구체적으로, 수정 처리부(152)는 현재 입력된 사용자 발화 문장(UUS)을 이용하여 기존에 입력된 사용자 발화 문장을 수정 처리하는데, 수정 처리는 음성 인식 응용 시스템에 따라 다르게 구현될 수 있다. 예를 들면, 음성 워드 프로세서의 경우, 수정 처리는 기존에 입력된 문장의 수정이 될 수 있으며, 음성 대화 시스템의 경우, 기존의 입력된 대화의 수정이 될 수 있다. 여기서, 예를 들면, 음성 인식 응용 시스템은 음성을 인식하여, 음성을 처리하여, 음성에 대응하는 각종 다양한 프로세스를 처리한 장치로서, 본 발명의 발화 인식 성능 향상 시스템을 포함하는 장치일 수 있다.

수정 처리부(152)에 대해서는 차후, 도 3을 참고하여 보다 상세하게 설명한다.

이하, 도 2를 참고하여, 본 발명의 실시예에 따른 발화 인식 성능 향상 시스템(도 1의 100)에서 수행되는 발화 인식 성능 향상 방법에 대해서 살펴본다.

도 2는 본 발명의 실시예에 따른 발화 인식 성능 향상 방법을 보여주는 순서도이다.

도 2에 도시한 바와 같이, 먼저 사용자로부터 사용자 발화를 입력 받는다(S210).

이어서, 사용자 발화의 의도를 판단한다(S220). 구체적으로 예를 들면, 사용자 발화의 발화 인식 성능 향상 시스템(도 1의 100), 다시 말하면 음성 인식 응용 시스템의 입력으로서, 해당 문장이 단순히 입력을 위하는 문장인지, 이전에 입력된 문장들에 대한 수정을 위한 문장인지를 판별한다.

이때, 사용자 발화의 의도가 입력을 위한 경우라면, 해당 음성 인식 응용 시스템은 사용자 발화의 입력 처리를 수행한다(S230).

반면에, 사용자 발화의 의도가 수정을 위한 경우라면, 기존에 입력된 사용자 발화의 수정을 하기 위해서, 먼저, 현재 입력된 사용자 발화의 인식 성능 향상 처리(S240)를 한다. 이어서, 인식 성능 향상 처리된 사용자 발화를 이용하여 기존 입력된 사용자 발화의 수정 처리를 한다(S250). 사용자 발화의 수정 처리를 통하여, 최종 사용자 발화가 결정된다(S260).

전술한 바와 같이, 본 발명의 실시예에 따른 발화 인식 성능 향상 시스템(도 1의 100) 및 방법은 입력된 사용자 발화의 의도를 파악하여, 사용자 발화의 의도에 대응하는 처리를 수행한다. 특히, 기존 사용자 발화를 수정하기 위한 재발화 처리의 경우, 현재 입력된 사용자 발화와 기존 사용자 발화를 이용함으로써 기존 사용자 발화를 수정하고, 최종적으로 사용자가 원하는 사용자 발화 문장을 결정한다.

이하, 도 3을 참고하여 기존 사용자 발화 문장 및 현재 사용자 발화 문장을 이용하여 기존 사용자 발화를 수정함으로써, 최종 사용자 발화를 결정하는 본 발명의 실시예에 따른 수정 처리부(도 1의 152)에 대해서 보다 상세하게 살펴본다.

도 3은 본 발명의 실시예에 따른 수정 처리부(152)를 보다 상세하게 도시한 도면이다.

먼저, 도 3에 도시한 바와 같이, 본 발명의 실시예에 따른 수정 처리부(152)는, 가중치 조정부(152a)와, 인식 N-BEST 생성부(152b)와, 인식 N-BEST 결합부(152c)와, 패널티 적용부(152d)와, 최종 인식 결정부(152e)를 포함할 수 있다.

여기서, 가중치 조정부(152a)는 현재의 재발화된 사용자 발화 문장 및 기존의 사용자 발화 문장을 언어 단위, 예를 들면, 격자(Lattice) 단위로 입력 받는다. 여기서, 사용자 발화 문장은 예를 들면, 도 1에서 언급된 사용 사용자 발화 문장이 될 것이며, 현재의 재발화된 사용자 발화 문장을 설명의 편의를 위하여, 현재 사용자 발화 문장으로 칭한다.

또한, 가중치 조정부(152a)는 음성 인식 언어 모델인 훈련 말뭉치를 이용하여, 격자 단위로 입력 받은 현재 사용자 발화 문장과 기존 사용자 발화 문장 각각에 대해서 가중치를 적용한다.

훈련 말뭉치는 예를 들면, 음성 인식 언어 모델로서, 문장의 인식 단위를 기반으로 한 언어 모델이다. 보다 구체적으로 예를 들면, “사과를 좋아해”라는 문장을 살펴보면, “사과를 좋아해”라는 문장은, “사과”, “를”, “좋아”, “해”로 문장의 인식 단위로 구분될 수 있다. 이때, “사과”, “를”, “좋아”, “해”는 훈련 말뭉치가 될 수 있다.

다시 말하면, 가중치 조정부(152a)는 훈련 말뭉치를 이용하여 현재 사용자 발화 문장과 기존 사용자 발화 문장에 대해서 변화 가능성을 높이는 방향으로 가중치를 적용한다.

보다 구체적으로 예를 들면, “를”, “해” 등과 같은 조사 또는 동사의 어미의 경우, 단어에서 전이 가능성이 매우 높으므로, 가중치를 적게 주며, “사과”, “좋아”와 같은 일반 명사 또는 동사의 어근 등에는 전이 가능성이 조사에 비해 낮으므로, 가중치를 높게 준다.

한편, 음성 인식 언어 모델인 훈련 말뭉치는, 예를 들면, 도시하지는 않았으나 데이터베이스에 저장될 수 있다.

인식 N-BEST 생성부(152b)는 가중치 조정부(152a)에서 가중치가 조정된 기존 사용자 발화 문장의 격자 및 현재 사용자 발화 문장의 격자를 기반으로, 기존 사용자 발화 문장의 격자 및 현재 사용자 발화 문장의 격자 각각에 대응하는 N-BEST를 생성한다.

또한, 인식 N-BEST 생성부(152b)는 각각의 N-BEST에 대해서 점수(scroe)를 계산한다.

여기서, N-BEST에 대해서 간단히 살펴본다. 실제 상황에서 음성 인식율 100%인 음성 인식 시스템을 구현한다는 것은 매우 어렵다. 이에 따라, 입력된 음성에 대해서 실제 사용자 발화와 일치할 수 있는 높은 가능성을 가진 복수 개(N-BEST)의 사용자 발화 문장의 후보를 생성하는데, 이 가능성이 높은 후보 사용자 발화 문장이 N-BEST이다. N-BEST를 생성함으로써, 실제 사용자 발화와 일치하는 사용자 발화 문장의 생성 확률이 높아지게 된다.

이하, 표 1를 참고하여 보다 구체적으로 현재 사용자 발화 문장의 격자 및 기존 사용자 발화 문장의 격자에 대응하는 N-BEST 및 N-BEST 각각에 대한 점수를 살펴본다.

표 1은 본 발명의 실시예에 따른 인식 N-BEST 생성부(152b)에서 현재 사용자 발화 문장의 격자 및 기존 사용자 발화 문장의 격자를 기반으로 각각에 대한 N-BEST 및 N-BEST에 대한 점수를 나타내는 표이다. 이때, 표 1은 “사과를 좋아해”라는 문장을 예시로 나타낸 것이다.

먼저, 기존 발화 N-BEST는 기존 사용자 발화 문장의 격자에 대응하는 N-BEST이고, 현재 재발화 N-BEST는 현재 사용자 발화 문장의 격자에 대응하는 N-BEST이고, 결합 N-BEST는 동일한 기존 및 현재 사용자 발화 문장의 격자에 대응하는 N-BEST 의 점수를 합산한 것을 나타낸다. 결합 N-BEST에 대해서는 차후에 설명한다.

먼저, 기존 발화 N-BEST는 “사과 가 좋아 해”, 즉, “사과”, “가”, “좋아”, “해” 및 “사과 를 좋아 해”, 즉, “사과”, “를”, “좋아”, “해”이다. 첫 번째 N-BEST에 대한 점수는 20이고, 두 번째 N-BEST에 대한 점수는 27이다.

현재 발화 N-BEST는 “사과 를 좋을 때”, 즉, “사과”, “를”, “좋을”, “때”및 “사과 를 좋아 해”, 즉, “사과”, “를”, “좋아”, “해”이다. 첫 번째 N-BEST에 대한 점수는 30이고, 두 번째 N-BEST에 대한 점수는 36이다.

즉, 인식 N-BEST 생성부(152b)는 표 1과 같은 기존 및 현재 사용자 발화 문장의 격자에 대응하는 N-BEST와 각각의 N-BEST에 대한 점수를 산정하고, 이를 인식 N-BEST 결합부(152c)에 제공한다.

인식 N-BEST 결합부(152c)는 기존 및 현재 사용자 발화 문장의 격자에 대응하는 N-BEST 및 N-BEST 각각에 대한 점수를 제공받고, 기존 및 현재 사용자 발화 문장의 N-BEST 목록에 포함된 동일한 N-BEST에 대해서 점수를 합산한다.

다시 [표 1]를 참고하여 설명하면, 기존 발화 N-BEST의 “사과 가 좋아 해”는 현재 재발화 N-BEST에는 없는 바, 기존 발화 N-BEST의 점수인 20이 합산 점수로 된다.

기존 발화 N-BEST 및 현재 재발화 N-BEST 모두에 있는 “사과 를 좋아 해”에 대한 기존 발화 및 현재 재발화 각각의 점수는 27 및 36으로써, 두 개의 점수를 합친 점수인 63이 합산 점수로 된다.

현재 재발화 N-BEST의 “사과 를 좋을 때”는 기존 발화 N-BEST에는 없는 바, 현재 발화 N-BEST의 점수인 30이 합산 점수로 된다.

인식 N-BEST 결합부(152c)는 각각의 N-BEST에 대하여 기존 및 현재 사용자 발화 문장의 합산 점수를 패널티 적용부(152d)에 제공한다.

패널티 적용부(152d)는 제공받은 N-BEST의 기존 및 현재 사용자 발화 문장의 합산 점수에 대해 패널티(penalty)를 적용한다.

이하, [표 2]를 참고하여 보다 구체적으로 살펴본다. [표 2]는 본 발명의 실시예에 따라, 각각의 N-BEST에 대해서 패널티가 적용된 값을 보여주는 표이다.

먼저, 패널티 적용부(152d)는 기존 및 현재 사용자 발화 문장의 격자에 대응하는 N-BEST가 기존 및 현재 사용자 발화 문장의 N-BEST 모두에 존재하지 않는 경우, 제 1 패널티(p1)을 적용한다. 즉, 제1패널티(p1)는 기존 및 현재 N-BEST의 목록에 모두 포함되지 않는 N-BEST에 적용되는 패널티이다.

예를 들면, 기존 발화 N-BEST에서 “사과 가 좋아 해”는 현재 재발화 N-BEST에는 존재하지 않는 바, 합산 점수 20에서 제1패널티(p1)가 적용된다.

마찬가지로, 현재 재발화 N-BEST에서 “사과 를 좋을 때”는 기존 재발화 N-BEST에는 존재하지 않는 바, 합산 점수 30에서 제 1 패널티(p1)가 적용된다.

반면에, “사과 를 좋아 해”는 기존 및 현재 N-BEST 모두에 포함되어 있는 바, 제1패널티(p1)가 적용되지 않는다.

또한, 패널티 적용부(152d)는 기존 발화 N-BEST에 대해서 오류가 포함된 N-BEST에 제2패널티(p2)를 적용한다.

구체적으로 예를 들면, “사과 가 좋아 해”는 기존 N-BEST에서 오류가 포함된 사용자 발화 문장의 격자에 대응하는 N-BEST로서 제2패널티(p2)가 적용된다.

이때, 기존 발화 N-BEST에 대한 오류 포함 여부는 예를 들면, 각각의 N-BEST에 대한 점수가 기준 값보다 클 때, 오류가 포함되어 있다고 판단될 수 있다. 또한, 이전에 사용자에게 출력된 문장이 오류가 포함되어 있는 문장으로 판단될 수 있다. 이는 일 예일 뿐, 오류를 포함하는 문장의 판단 여부 방법은 다양하게 구현될 수 있다.

이에 따라, “사과 를 좋아 해”에 대한 최종 합산 점수는 [63]이 되며, “사과 를 좋을 때”에 대한 최종 합산 점수는 [30-p1]이며, “사과 가 좋아 해”에 대한 최종 합산 점수는 [20-p1-p2]가 된다.

이때, 제1및 제 2 패널티(p1, p2)에 대한 정보를 담고 있는 휴리스틱 패널티로부터 제공받을 수 있다.

또한, 패널티 적용부(152d)는 각각의 N-BEST에 따라 제1및 제2 패널티(p1, p2)가 적용된 최종 합산 점수 및 N-BEST를 최종 인식 결정부(152e)에 제공한다.

최종 인식 결정부(152e)는 각각의 N-BEST에 대해서 기존 및 현재 발화의 점수와 제1및 제2패널티(p1, p2)가 적용된 점수를 기반으로, 예를 들면, 최고 점수를 가진 N-BEST를 추출하고, 이를 음성 인식 응용 시스템에 출력한다. 즉, 오류가 포함된 기존 사용자 발화 문장은 최종적으로 결정된 N-BEST로 수정된다.

이하, 도 4를 참고하여, 본 발명의 실시예에 따른 발화 인식 성능 향상 시스템에서 기존 발화 및 재발화를 이용하여, 오류가 포함된 사용자 발화 문장을 수정하는 방법인 발화 인식 성능 향상 방법에 대해서 살펴본다.

도 4는 본 발명의 실시예에 따른 발화 인식 성능 향상 시스템의 발화 인식 성능 향상을 위한 방법을 보여주는 순서도이다.

먼저, 기존 및 사용자 발화 문장을 격자 단위로 구분한다(S410). 이어서, 격자 단위로 구분된 기존 및 현재 사용자 발화 문장에 대해서 가중치를 적용하는데(S420), 이때, 조사 등 전이 가능성이 높은 품사에 대해서는 낮은 가중치를 적용하고, 일반 명사 및 동사의 어근 등 전이 가능성이 낮은 품사에 대해서는 높은 가중치를 적용한다.

가중치가 적용된 기존 및 현재 사용자 발화 문장을 기반으로, 기존 및 현재 사용자 발화 문장 각각에 대응하는 N-BEST를 생성한다(S430).

이 후, 기존 및 현재 사용자 발화 문장의 동일한 N-BEST의 점수를 합산한다(S440).

점수가 합산된 N-BEST에 대해서, 기존 및 현재 사용자 발화 문장 모두에 포함되지 않는 N-BEST에 대해서는 제1패널티를 적용하고, 기존 사용자 발화 문장에서 오류를 포함하는 N-BEST에 대해서 제2패널티를 적용함으로써, 각각의 N-BEST에 대한 최종 점수를 산출한다(S450).

마지막으로, 최종 점수를 기반으로 최종 사용자 발화 문장을 추출한다(S460). 즉, 최적의 N-BEST 문장을 선택하고, 기존의 오류를 포함한 기존 사용자 발화를 선택된 N-BEST 문장으로 수정함으로써, 사용자에게 최종 인식 발화 문장을 출력한다.

전술한 바와 같이, 본 발명의 실시예에 따른 발화 인식 성능 향상 시스템 및 방법은 기존 발화 문장 및 재발화 문장을 이용하여, 오류를 수정하기 위한 반복적인 재발화를 방지할 수 있을 뿐만 아니라 향상된 재발화 인식 성능을 제공한다.

다시 말하면, 기존 사용자 발화의 오류를 수정하기 위한 반복적인 재발화를 줄임으로써, 반복적인 오류의 발생이 줄어들게 된다. 또한, 음성만을 통하여, 기존 사용자 발화 문장의 오류를 수정할 수 있으므로, 직접적으로 문장 입력 등에 대한 방법보다 보다 편리하고 쉽게 오류가 수정될 수 있다.

본 발명의 실시예에서는 각 구성이 각각 다른 블록에 도시됨으로써, 예를 들어 설명하였으나, 각각의 구성은 하나의 블록으로 구성될 수 있다. 예를 들면, 제어부 또는 프로세서 등에 구성되어 일련의 동작들을 수행할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 발화 인식 성능 향상 시스템 110: 사용자 발화 입력부
120: 사용자 발화 의도 판단부 130: 사용자 발화 처리부
140: 입력 처리부 150: 재발화 처리부
151: 인식 성능 향상부 152: 수정 처리부
152a: 가중치 조정부 152b: 인식 N-BEST 생성부
152c: 인식 N-BEST 결합부 153d: 패널티 적용부
152e: 최종 인식 결정부

Claims (13)

1. 사용자 발화를 입력 받는 사용자 발화 입력부;
   상기 사용자 발화의 의도를 판단하고, 상기 사용자 발화의 의도에 대응하는 사용자 발화 의도 정보를 생성하는 사용자 발화 의도 판단부; 및
   상기 사용자 발화 의도 정보가 입력 처리에 대응하는 경우, 상기 사용자 발화를 입력 처리하며, 상기 사용자 발화 의도 정보가 재발화 처리에 대응하는 경우, 상기 사용자 발화에 대해서 인식 성능 향상 처리를 하며, 인식 성능 향상 처리된 상기 사용자 발화를 이용하여 기존 사용자 발화를 수정하는 재발화 처리부를 포함하되,
   상기 재발화 처리부는,
   언어 단위로 입력된 기존 사용자 발화 문장 및 현재 사용자 발화 문장에 대해 음성 인식 언어 모델인 훈련 말뭉치를 기반으로 가중치를 적용하고,
   가중치가 적용된 기존 사용자 발화 문장 및 현재 사용자 발화 문장 각각에 대해 N-BEST 및 상기 N-BEST에 대한 점수를 생성하며,
   상기 N-BEST에 대해서 상기 기존 사용자 발화 문장 및 현재 사용자 발화 문장의 상기 점수를 합산하는 것을 특징으로 하는 발화 인식 성능 향상 시스템.
2. 언어 단위로 입력된 기존 사용자 발화 문장 및 현재 사용자 발화 문장에 대해 음성 인식 언어 모델인 훈련 말뭉치를 기반으로 가중치를 적용하는 가중치 조정부;
   가중치가 적용된 기존 사용자 발화 문장 및 현재 사용자 발화 문장 각각에 대해 N-BEST 및 상기 N-BEST에 대한 점수를 생성하는 인식 N-BEST 생성부; 및
   상기 N-BEST에 대해서 상기 기존 사용자 발화 문장 및 현재 사용자 발화 문장의 상기 점수를 합산하는 인식 N-BEST 결합부를 포함하는 발화 인식 성능 향상 시스템.
3. 청구항 2에 있어서,
   상기 가중치는, 제1전이 가능성을 가진 품사의 경우, 제1값을 가지고, 제2전이 가능성을 가진 품사의 경우, 제2값을 가지며,
   상기 제1전이 가능성은 상기 제2전이 가능성보다 크고, 상기 제1값은 상기 제2값보다 작은 것을 특징으로 하는 발화 인식 성능 향상 시스템.
4. 청구항 2에 있어서,
   상기 언어 단위는 격자 단위인 것을 특징으로 하는 발화 인식 성능 시스템.
5. 청구항 2에 있어서,
   상기 N-BEST의 합산 점수에 패널티를 적용하여 상기 N-BEST에 대한 최종 점수를 산출하는 패널티 적용부를 더 포함하는 발화 인식 성능 향상 시스템.
6. 청구항 5에 있어서,
   상기 패널티 적용부는, 상기 N-BEST가 상기 기존 사용자 발화 문장 및 현재 사용자 발화 문장에서 하나에만 포함되는 경우, 제1패널티를 적용하고,
   상기 N-BEST가 상기 기존 사용자 발화 문장의 오류를 포함하고 있는 경우, 제2패널티를 적용하는 것을 특징으로 하는 발화 인식 성능 향상 시스템.
7. 청구항 5에 있어서,
   상기 N-BEST의 최종 점수를 기반으로 최종 사용자 발화 인식 문장을 추출하는 최종 인식 결정부를 더 포함하는 발화 인식 성능 향상 시스템.
8. 발화 인식 성능 향상을 위한 발화 인식 성능 향상 시스템의 발화 인식 성능 향상 방법에 있어서,
   언어 단위로 입력된 기존 사용자 발화 문장 및 현재 사용자 발화 문장에 대해 음성 인식 언어 모델인 훈련 말뭉치를 기반으로 가중치를 적용하는 단계;
   가중치가 적용된 기존 사용자 발화 문장 및 현재 사용자 발화 문장 각각에 대해 N-BEST 및 상기 N-BEST에 대한 점수를 생성하는 단계; 및
   상기 N-BEST에 대해서 상기 기존 사용자 발화 문장 및 현재 사용자 발화 문장의 상기 점수를 합산하는 단계를 포함하는 발화 인식 성능 향상 방법.
9. 청구항 8에 있어서,
   상기 가중치는, 제1전이 가능성을 가진 품사의 경우, 제1값을 가지고, 제2전이 가능성을 가진 품사의 경우, 제2값을 가지며,
   상기 제1전이 가능성은 상기 제2전이 가능성보다 크고, 상기 제1값은 상기 제2값보다 작은 것을 특징으로 하는 발화 인식 성능 향상 방법.
10. 청구항 8에 있어서,
    상기 언어 단위는 격자 단위인 것을 특징으로 하는 발화 인식 성능 향상 방법.
11. 청구항 8에 있어서,
    상기 N-BEST의 합산 점수에 패널티를 적용하여 상기 N-BEST에 대한 최종 점수를 산출하는 단계를 더 포함하는 발화 인식 성능 향상 방법.
12. 청구항 11에 있어서,
    상기 패널티를 적용하는 단계는, 상기 N-BEST가 상기 기존 사용자 발화 문장 및 현재 사용자 발화 문장에서 하나에만 포함되는 경우, 제1패널티를 적용하고,
    상기 N-BEST가 상기 기존 사용자 발화 문장의 오류를 포함하고 있는 경우, 제2패널티를 적용하는 것을 특징으로 하는 발화 인식 성능 향상 방법.
13. 청구항 11에 있어서,
    상기 N-BEST의 최종 점수를 기반으로 최종 사용자 발화 인식 문장을 추출하는 단계를 더 포함하는 발화 인식 성능 향상 방법.

Images