KR101863097B1

KR101863097B1 - Apparatus and method for keyword recognition

Info

Publication number: KR101863097B1
Application number: KR1020160154370A
Authority: KR
Inventors: 양태영; 이태한
Original assignee: 주식회사 인텔로이드
Priority date: 2016-11-18
Filing date: 2016-11-18
Publication date: 2018-05-31
Also published as: KR20180056281A

Abstract

본 발명은 음성 인식 장치 및 음성 인식 방법에 관한 것으로, 더욱 상세하게는 음성 신호에 포함된 키워드를 보다 정확하게 검출할 수 있는 키워드 인식 장치 및 방법에 관한 것이다. 본 발명의 실시예에 따르면, 신호를 송수신하는 송수신 모듈 및 상기 송수신 모듈을 통해 음성 신호를 수신하고, 상기 음성 신호로부터 기 설정된 키워드를 검출하는 제 1 인식을 수행하고, 상기 음성 신호 중, 상기 키워드를 포함하는 것으로 판별되는 일부 구간인 인식 대상 파트에 대하여 상기 키워드를 검출하는 제 2 인식을 수행하고, 상기 제 1 인식의 결과 데이터 및 상기 제 2 인식의 결과 데이터에 기초하여 최종 인식 데이터를 생성하는 프로세서를 포함하는 것을 특징으로 하는 음성 인식 장치가 제공될 수 있다.The present invention relates to a speech recognition apparatus and a speech recognition method, and more particularly to a keyword recognition apparatus and method capable of more accurately detecting a keyword included in a speech signal. According to an embodiment of the present invention, there is provided a voice recognition apparatus for receiving a voice signal through a transmission / reception module for transmitting / receiving a signal and a transmission / reception module for performing a first recognition for detecting a predetermined keyword from the voice signal, A second recognition for detecting the keyword for a part to be recognized, which is a part of the recognition process, and generating final recognition data based on the result data of the first recognition and the result data of the second recognition And a processor.

Description

[0001] APPARATUS AND METHOD FOR KEYWORD RECOGNITION [0002]

본 발명은 음성 인식 장치 및 음성 인식 방법에 관한 것으로, 더욱 상세하게는 음성 신호에 포함된 키워드(keyword)를 보다 정확하게 검출할 수 있는 키워드 인식 장치 및 방법에 관한 것이다.The present invention relates to a speech recognition apparatus and a speech recognition method, and more particularly, to a keyword recognition apparatus and method capable of more accurately detecting a keyword included in a speech signal.

음성 인식 기술은 사용자와 단말기(또는 기계) 간의 상호작용이 보다 원활하게 이루어지도록 할 수 있는 핵심기술 중 하나이다. 음성 인식 기술을 통해 단말기는 사용자의 음성을 듣고, 사용자의 음성을 이해할 수 있으며, 이해한 내용을 바탕으로 사용자에게 적절한 서비스를 제공할 수도 있다. 이에 따라, 사용자는 별도의 조작 없이도 단말기에 대하여 사용자가 원하는 서비스를 직관적으로 요청할 수 있다.Speech recognition technology is one of the key technologies that can facilitate the interaction between the user and the terminal (or machine) more smoothly. Through the speech recognition technology, the terminal can listen to the user's voice, understand the user's voice, and provide appropriate services to the user based on the understanding. Accordingly, the user can intuitively request a service desired by the user to the terminal without any additional operation.

음성 인식 분야의 여러 기술들 중, 사용자로부터 취득한 음성에 포함된 핵심어 또는 키워드(keyword)를 검출하는 키워드 스팟팅(keyword spotting) 기술이 최근 여러 분야에서 각광받고 있다. 키워드 스팟팅이 제대로 수행되기 위해서는 음성에 포함된 키워드를 인식하고 상기 키워드를 검출하는 비율인 검출률이 높아야 한다. 하지만 이러한 검출률과 함께 키워드 스팟팅에서 중요하게 다루어지는 문제가 키워드 오인식 문제이다. 즉, 음성으로부터 검출된 키워드를 다른 키워드인 것으로 잘못 인식하는 경우, 키워드 스팟팅이 적용된 단말기는 사용자에게 원하지 않는 서비스를 제거하거나 사용자가 의도하지 않았던 처리를 수행할 수도 있다. 따라서, 기존의 키워드 스팟팅 기술에서의 낮은 검출률 또는 높은 오인식률 문제를 해결할 수 있는 방안이 요구되고 있다.Among various techniques in the field of speech recognition, a keyword spotting technique for detecting a keyword or a keyword included in a voice acquired from a user has recently been spotlighted in various fields. In order for the keyword spotting to be performed properly, the detection rate, which is the rate of detecting the keyword included in the voice, must be high. However, with this detection rate, the key issue in keyword spotting is keyword recognition. That is, when the keyword detected from the voice is mistakenly recognized as another keyword, the terminal to which the keyword spotting is applied may remove the unwanted service to the user or perform the processing that the user did not intend. Accordingly, there is a demand for a solution that can solve the low detection rate or the high recognition rate problem in the existing keyword spotting technology.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 키워드 검출의 정확도를 높일 수 있는 음성 인식 장치 또는 음성 인식 방법을 제공하고자 하는 목적을 가지고 있다.It is an object of the present invention to provide a speech recognition apparatus or a speech recognition method capable of improving the accuracy of keyword detection.

상기와 같은 과제를 해결하기 위한 본 발명의 실시예에 따르면, 음성 신호를 수신하는 송수신 모듈; 및 상기 음성 신호로부터 기 설정된 키워드를 검출하는 제 1 인식을 수행하고, 상기 음성 신호 중, 상기 키워드를 포함하는 것으로 판별되는 일부 구간인 인식 대상 파트에 대하여 상기 키워드를 검출하는 제 2 인식을 수행하고, 상기 제 1 인식의 결과 데이터 및 상기 제 2 인식의 결과 데이터에 기초하여 최종 인식 데이터를 생성하는 프로세서를 포함하는 것을 특징으로 하는 음성 인식 장치를 제공할 수 있다.According to an embodiment of the present invention, there is provided a mobile communication terminal including a transmission / reception module for receiving a voice signal; And performing a first recognition for detecting a predetermined keyword from the voice signal and performing a second recognition for detecting the keyword with respect to a recognition target part that is a partial section that is determined to include the keyword among the voice signals And a processor for generating final recognition data based on the result data of the first recognition and the result data of the second recognition.

바람직하게는, 상기 프로세서는, 상기 제 1 인식의 결과 데이터와 상기 제 2 인식의 결과 데이터가 서로 다른 경우, 상기 제 2 인식의 결과 데이터를 상기 최종 인식 데이터로 선택한다.Preferably, the processor selects the result data of the second recognition as the final recognition data when the result data of the first recognition and the result data of the second recognition are different from each other.

바람직하게는, 상기 제 1 인식 및 상기 제 2 인식은 상기 프로세서가 상기 음성 신호로부터 음향학적 특징(acoustic feature)을 추출하고, 상기 음향학적 특징과 상기 키워드의 음향 모델(acoustic model) 사이의 유사도에 기초하여 상기 키워드의 존재 여부를 판별하는 처리 과정이다.Advantageously, the first recognition and the second recognition are performed such that the processor extracts an acoustic feature from the speech signal and, based on the similarity between the acoustic feature and the acoustic model of the keyword, The presence or absence of the keyword is determined.

바람직하게는, 상기 프로세서는 데이터 연산에 이용되는 자원(resource)을 할당하는 작업 스케줄링(job scheduling) 을 통해 상기 제 1 인식 및 상기 제 2 인식에 필요한 자원을 할당하며, 상기 프로세서는, 상기 음성 신호가 취득된 환경의 특성에 기초하여 상기 제 1 인식 및 상기 제 2 인식에 할당될 자원의 양을 결정하는 상기 작업 스케줄링을 수행한다.Preferably, the processor allocates resources required for the first recognition and the second recognition through job scheduling, which allocates resources used for data operations, Performs the task scheduling to determine the amount of resources to be allocated to the first recognition and the second recognition based on the characteristics of the acquired environment.

바람직하게는, 상기 음성 신호가 취득된 환경의 특성은 상기 음성 신호에 포함된 배경 잡음의 잡음 레벨(noise level), 상기 음성 신호의 신호 대 잡음 비, 상기 음성 신호가 취득된 환경의 잔향 시간(reverberation time) 중 적어도 하나를 포함한다.Preferably, the characteristics of the environment in which the speech signal is acquired include a noise level of background noise included in the speech signal, a signal-to-noise ratio of the speech signal, a reverberation time of the environment in which the speech signal is acquired and a reverberation time.

바람직하게는, 상기 프로세서는 데이터 연산에 이용되는 자원을 할당하는 작업 스케줄링을 통해 상기 제 1 인식 및 상기 제 2 인식에 필요한 자원을 할당하며, 상기 프로세서는, 상기 제 2 인식을 처리할 때 상기 제 1 인식을 처리할 때보다 더 많은 자원이 할당되도록 상기 작업 스케줄링을 수행한다.Preferably, the processor allocates resources required for the first recognition and the second recognition through job scheduling, which allocates resources used for data operations, and the processor, when processing the second recognition, Lt; RTI ID = 0.0 > 1 < / RTI > recognition.

바람직하게는, 상기 제 1 인식에 이용되는 상기 음향 모델과 상기 제 2 인식에 이용되는 상기 음향 모델은 적어도 하나의 가우시안 분포(Gaussian distribution)를 포함하는 혼합 모델(mixture model)이며, 상기 제 2 인식의 음향 모델에 포함되는 가우시안 분포의 수가 상기 제 1 인식의 음향 모델에 포함되는 가우시안 분포의 수 보다 크다.Preferably, the acoustic model used for the first recognition and the acoustic model used for the second recognition are a mixture model including at least one Gaussian distribution, and the second recognition The number of Gaussian distributions included in the acoustic model of the first recognition is larger than the number of Gaussian distributions included in the acoustic model of the first recognition.

바람직하게는, 상기 프로세서는, 상기 제 1 인식의 결과 데이터와 상기 제 2 인식의 결과 데이터가 기 설정된 횟수 이상 서로 다른 것으로 판별되는 경우 상기 제 1 인식의 음향 모델에 포함되는 가우시안 분포의 수를 증가시킨다.Preferably, the processor increases the number of Gaussian distributions included in the acoustic model of the first recognition when it is determined that the result data of the first recognition and the result data of the second recognition are different from each other by more than a preset number of times .

바람직하게는, 상기 인식 대상 파트는 복수의 프레임(frame)으로 구성되고, 상기 제 2 인식은, 상기 프로세서가 상기 인식 대상 파트 중 적어도 하나의 선두 프레임의 음향학적 특징과 상기 음향 모델 사이의 유사도를 산출하고, 상기 유사도가 기 설정된 기본 한계값 이상인 경우 기 설정된 개수의 후속 프레임의 음향학적 특징을 더 이용하여 상기 유사도를 재산출하고, 상기 재산출된 유사도가 기 설정된 확장 한계값 이상인 경우 상기 음성 신호에 상기 음향 모델과 연관된 키워드가 존재하는 것으로 판별하는 처리 방식이며, 상기 확장 한계값은 상기 기본 한계값보다 큰 것을 특징으로 한다.Preferably, the part to be recognized is composed of a plurality of frames, and the second recognition is performed such that the processor calculates the degree of similarity between the acoustic model of the at least one first frame of the parts to be recognized and the acoustic model And calculating the similarity by further using an acoustic feature of a predetermined number of subsequent frames if the similarity is greater than or equal to a preset reference threshold value, and if the re- Is a processing scheme for determining that a keyword associated with the acoustic model exists, and the extension limit value is larger than the basic limit value.

바람직하게는, 상기 음성 신호는 복수의 프레임으로 구성되고, 상기 제 1 인식은, 상기 프로세서가 상기 음성 신호의 프레임 중 기 설정된 길이의 탐색 프레임의 음향학적 특징과 상기 음향 모델 사이의 유사도를 산출하고, 상기 유사도가 상기 기본 한계값 이상 상기 확장 한계값 미만인 경우 상기 탐색 프레임에 대한 상기 키워드의 검출을 중단하고 상기 제 2 인식을 시작하는 처리 방식이고, 상기 제 2 인식은, 상기 프로세서가 상기 제 1 인식에 따른 상기 키워드의 검출이 중단된 탐색 프레임에 대해서 상기 키워드를 검출하는 처리 방식이다.Preferably, the speech signal is composed of a plurality of frames, and the first recognition is performed such that the processor calculates the similarity between the acoustic model of the search frame of a predetermined length in the frame of the speech signal and the acoustic model And stopping the detection of the keyword for the search frame and starting the second recognition when the similarity is not less than the basic threshold value and less than the extension threshold, And the keyword is detected with respect to a search frame in which the detection of the keyword according to the recognition is stopped.

바람직하게는, 상기 음성 신호 및 상기 인식 대상 파트는 복수의 프레임으로 구성되고, 상기 프로세서는 상기 프레임에 대한 상기 키워드 검출을 순차적으로 수행할 때 상기 각 프레임의 값에 따라 변화되는 음성 인식에 관한 파라미터를 이용하되, 상기 프로세서가 상기 제 2 인식에 따라 상기 인식 대상 파트의 첫 프레임에 대한 상기 키워드를 검출할 때 기 설정된 파라미터 초기값을 이용한다.Preferably, the speech signal and the part to be recognized are constituted by a plurality of frames, and when the processor performs the keyword detection for the frame sequentially, the parameter related to the speech recognition, which is changed according to the value of each frame, Wherein the processor uses a predetermined parameter initial value when detecting the keyword for the first frame of the recognition target part according to the second recognition.

바람직하게는, 상기 음성 신호는 복수의 프레임으로 구성되고, 상기 프로세서는, 상기 음성 신호의 프레임 중 기 설정된 길이의 탐색 프레임을 기 설정된 신호 대 잡음 비 미만인 신호 대 잡음 비를 가지는 침묵 파트와 상기 침묵 파트가 아닌 음성 파트로 구분하고, 상기 음성 파트의 길이가 기 설정된 프레임 길이 미만인 경우 상기 탐색 프레임으로부터 상기 키워드를 검출하지 않는다.Preferably, the speech signal is composed of a plurality of frames, and the processor includes a silence part having a predetermined length of a frame of the speech signal and having a signal-to-noise ratio less than a predetermined signal- And the keyword is not detected from the search frame if the length of the speech part is less than a preset frame length.

바람직하게는, 상기 프로세서는, 상기 탐색 프레임의 평균 에너지가 기 설정된 한계 에너지 미만인 경우 상기 탐색 프레임으로부터 상기 키워드를 검출하지 않는다.Advantageously, the processor does not detect the keyword from the search frame if the average energy of the search frame is less than a predetermined threshold energy.

바람직하게는, 상기 프로세서는, 상기 음성 신호에 포함된 배경 잡음의 잡음 레벨을 추정하고, 상기 잡음 레벨이 기 설정된 한계 잡음 레벨 이상인 경우 상기 제 2 인식의 결과 데이터를 상기 최종 인식 데이터로 선택한다.Preferably, the processor estimates a noise level of background noise included in the speech signal, and selects the result data of the second recognition as the final recognition data when the noise level is equal to or higher than a predetermined limit noise level.

바람직하게는, 상기 음성 신호 및 상기 인식 대상 파트는 복수의 프레임으로 구성되고, 상기 프로세서는, 상기 음성 신호의 프레임 중 상기 잡음 레벨이 상기 한계 잡음 레벨 미만인 프레임인 클리어(clear) 프레임이 연속적으로 기 설정된 개수 이상 존재하는 경우, 상기 연속적인 클리어 프레임을 클리어 파트로 지정하고 상기 클리어 파트에 대한 상기 제 1 인식의 결과 데이터를 상기 클리어 파트의 상기 최종 인식 데이터로 선택한다.Preferably, the speech signal and the part to be recognized are constituted by a plurality of frames, and the processor is configured to continuously output a clear frame, in which the noise level of the frame of the speech signal is lower than the threshold noise level, And when the number of the clear frames is equal to or larger than the set number, the consecutive clear frame is designated as a clear part and the result data of the first recognition for the clear part is selected as the final recognition data of the clear part.

본 발명의 다른 실시예에 따르면, 음성 신호를 수신하는 단계; 상기 음성 신호로부터 기 설정된 키워드를 검출하는 제 1 인식을 수행하는 단계; 상기 음성 신호 중, 상기 키워드를 포함하는 것으로 판별되는 일부 구간인 인식 대상 파트에 대하여 상기 키워드를 검출하는 제 2 인식을 수행하는 단계; 및 상기 제 1 인식의 결과 데이터 및 상기 제 2 인식의 결과 데이터에 기초하여 최종 인식 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 음성 인식 방법이 제공될 수 있다.According to another embodiment of the present invention, there is provided a method comprising: receiving a voice signal; Performing a first recognition for detecting a predetermined keyword from the speech signal; Performing a second recognition for detecting the keyword for a recognition target part, which is a part of the speech signal that is determined to include the keyword; And generating final recognition data based on the resultant data of the first recognition and the resultant data of the second recognition.

본 발명의 실시예에 따르면, 복수의 키워드 검출 결과를 비교함으로써 보다 정확한 키워드 검출을 수행할 수 있다. 특히, 키워드를 포함하는 인식 대상 파트에 대하여 보다 많은 연산 자원을 이용한 키워드 검출을 수행함으로써 키워드 검출 및 키워드 인식의 정확도를 높일 수 있다.According to the embodiment of the present invention, more accurate keyword detection can be performed by comparing a plurality of keyword detection results. In particular, the accuracy of keyword detection and keyword recognition can be improved by performing keyword detection using more computational resources for a part to be recognized including a keyword.

또한, 본 발명의 실시예에 따르면, 사용자의 음성을 취득한 환경의 특성에 기초한 키워드 인식을 수행할 수 있으며, 이를 통해 키워드 검출의 효율성을 높일 수 있다.Also, according to the embodiment of the present invention, it is possible to perform keyword recognition based on the characteristics of the environment in which the user's voice is acquired, thereby increasing the efficiency of keyword detection.

도 1은 본 발명의 실시예에 따른 음성 인식 장치를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 제 1 인식 및 제 2 인식을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 음향 모델을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 클리어(clear) 파트를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 음성 인식 방법을 나타낸 도면이다.1 is a block diagram of a speech recognition apparatus according to an embodiment of the present invention.
2 is a diagram illustrating a first recognition and a second recognition according to an embodiment of the present invention.
3 is a diagram illustrating an acoustic model according to an embodiment of the present invention.
4 is a view showing a clear part according to an embodiment of the present invention.
5 is a diagram illustrating a speech recognition method according to an embodiment of the present invention.

본 발명은 음성 인식 장치 및 음성 인식 방법에 관한 것으로, 더욱 상세하게는 음성 신호에 포함된 키워드를 보다 정확하게 검출할 수 있는 키워드 인식 장치 및 방법에 관한 것이다. 이하, 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.The present invention relates to a speech recognition apparatus and a speech recognition method, and more particularly to a keyword recognition apparatus and method capable of more accurately detecting a keyword included in a speech signal. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 음성 인식 장치(100)를 나타낸 도면이다. 도 1에 따르면, 본 발명의 실시예에 따른 음성 인식 장치(100)는 송수신 모듈(120) 및 프로세서(110)를 포함할 수 있다. 본 발명을 실시하는 방식에 따라서, 상기 송수신 모듈(120) 및 프로세서(110)는 하나의 구성요소로 구현되거나 상기 송수신 모듈(120)이 생략될 수도 있다. 본 발명의 바람직한 실시예에 따르면 음성 인식 장치(100)는 하나의 반도체 칩(chip)으로 구현될 수도 있다.1 is a block diagram of a speech recognition apparatus 100 according to an embodiment of the present invention. Referring to FIG. 1, a speech recognition apparatus 100 according to an embodiment of the present invention may include a transmission / reception module 120 and a processor 110. According to the method of implementing the present invention, the transmission / reception module 120 and the processor 110 may be implemented as one component or the transmission / reception module 120 may be omitted. According to a preferred embodiment of the present invention, the speech recognition apparatus 100 may be implemented as one semiconductor chip.

송수신 모듈(120)은 외부 장치 또는 외부 모듈과 유선 신호 또는 무선 신호를 송수신할 수 있다. 본 발명의 바람직한 실시예에 따르면, 상기 외부 장치는 마이크 등의 입력 장치 또는 스피커 등의 출력 장치 또는 기타 추가적인 처리 과정을 수행하는 전자 기기일 수 있다. 그리고 상기 유선 신호 또는 무선 신호는 음성 신호, 최종 인식 데이터 또는 제어 신호일 수 있다. 송수신 모듈(120)은 무선 통신 모듈을 포함할 수 있으며, 상기 무선 통신 모듈을 통해 무선 신호를 송수신할 수 있다. 상기 무선 통신 모듈은 셀룰러 통신 모듈을 포함하거나 Wi-Fi 통신 모듈 또는 블루투스 통신 모듈 또는 지그비(ZigBee) 통신 모듈 등의 근거리 무선 통신 모듈을 포함할 수 있다. 하지만 상기 무선 통신 모듈의 종류는 이에 한정되지 않으며, 기타 다양한 무선 통신 방식을 이용하는 무선 통신 모듈이 송수신 모듈(120)에 포함될 수 있다. 송수신 모듈(120)은 복수의 서로 다른 통신 방식에 따른 무선 통신 모듈을 포함할 수 있다. 그리고, 송수신 모듈(120)은 무선 통신 모듈을 통해 복수의 외부 장치와 페어링(pairing) 되거나 복수의 외부 장치와 무선 신호를 송수신할 수 있다. 또한, 송수신 모듈(120)은 유선 통신 모듈을 포함할 수 있으며, 상기 유선 통신 모듈을 통해 유선 신호를 송수신 있다. 특히, 송수신 모듈(120)이 유선 통신 모듈을 포함하는 경우 전선 또는 회로를 통해 연결된 외부 장치와 유선 신호를 송수신할 수 있다. 송수신 모듈(120)은 무선 통신 모듈 및 유선 통신 모듈을 함께 포함할 수도 있다.The transmission / reception module 120 can transmit / receive a wire signal or a wireless signal to / from an external device or an external module. According to a preferred embodiment of the present invention, the external device may be an input device such as a microphone, an output device such as a speaker, or an electronic device performing other additional processing. The wired signal or the wireless signal may be a voice signal, a final recognition data or a control signal. The transmission / reception module 120 may include a wireless communication module, and may transmit and receive a wireless signal through the wireless communication module. The wireless communication module may include a cellular communication module or may include a short-range wireless communication module such as a Wi-Fi communication module or a Bluetooth communication module or a ZigBee communication module. However, the type of the wireless communication module is not limited thereto, and a wireless communication module using various other wireless communication methods may be included in the transmission / reception module 120. The transmission / reception module 120 may include a plurality of wireless communication modules according to different communication methods. The transmission / reception module 120 may be paired with a plurality of external devices through the wireless communication module, or may transmit / receive wireless signals to / from a plurality of external devices. In addition, the transmission / reception module 120 may include a wired communication module, and may transmit and receive a wired signal through the wired communication module. In particular, when the transmission / reception module 120 includes a wired communication module, it can transmit and receive a wired signal to / from an external device connected through a wire or a circuit. The transmission / reception module 120 may include a wireless communication module and a wired communication module.

프로세서(110)는 음성 인식 장치(100)의 전반적인 작동을 제어한다. 프로세서(110)는 각종 데이터와 신호의 연산 및 처리를 수행하고 음성 인식 장치(100)의 각 구성 요소를 제어할 수 있다. 프로세서(110)는 반도체 칩 또는 전자 회로 형태의 하드웨어로 구현되거나 상기 하드웨어를 제어하는 소프트웨어로 구현될 수 있으며, 상기 하드웨어와 상기 소프트웨어가 결합된 형태로 구현될 수도 있다.The processor 110 controls the overall operation of the speech recognition apparatus 100. The processor 110 may perform arithmetic processing and processing of various data and signals and may control each component of the voice recognition apparatus 100. The processor 110 may be implemented as hardware implemented in the form of a semiconductor chip or an electronic circuit, or software that controls the hardware, and may be implemented as a combination of the hardware and the software.

본 발명의 실시예에 따르면, 프로세서(110)는 상기 송수신 모듈(120)을 통해 음성 신호를 수신할 수 있다. 그리고, 프로세서(110)는 수신한 음성 신호에 대한 제 1 인식 또는 제 2 인식을 수행할 수 있다. 여기서, 제 1 인식은 상기 음성 신호로부터 기 설정된 키워드를 검출하는 음성 인식 과정을 의미할 수 있다. 여기서, 제 2 인식은 상기 음성 신호 중, 키워드를 포함하는 것으로 판별되는 일부 구간인 인식 대상 파트에 대하여 상기 키워드를 검출하는 음성 인식 과정을 의미할 수 있다. 그리고, 프로세서(110)는 상기 제 1 인식의 결과 데이터 및 상기 제 2 인식의 결과 데이터에 기초하여 최종 인식 데이터를 생성할 수 있다. 이하 도 2 내지 도 4를 통해 제 1 인식, 제 2 인식 및 프로세서(110)의 상세한 작동 방식에 대해서 서술하도록 한다.According to an embodiment of the present invention, the processor 110 may receive a voice signal through the transceiver module 120. [ The processor 110 may then perform a first recognition or a second recognition of the received speech signal. Here, the first recognition may mean a speech recognition process of detecting a predetermined keyword from the speech signal. Here, the second recognition may refer to a speech recognition process of detecting the keyword for a part to be recognized, which is a part of the speech signal that is determined to include a keyword. Then, the processor 110 may generate final recognition data based on the resultant data of the first recognition and the resultant data of the second recognition. Hereinafter, the first recognition, the second recognition, and the detailed operation of the processor 110 will be described with reference to FIGS.

도 2는 본 발명의 실시예에 따른 제 1 인식 및 제 2 인식을 나타낸 도면이다. 본 발명의 실시예에 따르면, 음성 신호는 적어도 하나의 프레임(frame)으로 구성될 수 있다. 여기서, 프레임은 특정 길이로 구분된 신호의 일부 구간을 의미할 수 있다. 도 2에서 f1 내지 f9는 음성 신호에 포함된 각 프레임을 나타내며, 점선으로 표시된 f4 내지 f7은 키워드가 포함된 것으로 판별되는 인식 대상 파트를 나타낸다.2 is a diagram illustrating a first recognition and a second recognition according to an embodiment of the present invention. According to an embodiment of the present invention, a speech signal may be composed of at least one frame. Here, a frame may mean a part of a signal divided into specific lengths. In Fig. 2, f1 to f9 represent respective frames included in the voice signal, and f4 to f7 indicated by dotted lines represent recognition target parts that are determined to contain keywords.

본 발명의 실시예에 따르면, 제 1 인식 및 제 2 인식은 음성 인식 장치가 상기 음성 신호로부터 음향학적 특징(acoustic feature)을 추출하고, 상기 음향학적 특징과 상기 키워드의 음향 모델(acoustic model) 사이의 유사도에 기초하여 상기 키워드의 존재 여부를 판별하는 처리 과정일 수 있다. According to an embodiment of the present invention, the first recognition and the second recognition are performed by a speech recognition apparatus, which extracts an acoustic feature from the speech signal, and between the acoustic feature and the acoustic model of the keyword The presence or absence of the keyword may be determined based on the similarity of the keyword.

상기 음향학적 특징은 음성 인식에 필요한 기본적인 정보들을 의미한다. 음성 인식 장치는 음성 신호를 기 설정된 길이의 프레임으로 분할하고, 각 프레임의 주파수 대역에 따른 에너지 분포 등의 정보를 상기 음향학적 특징으로써 추출할 수 있다. 바람직한 실시예에 따르면, 상기 주파수 대역에 따른 정보는 벡터 수치화될 수 있다. 또는, 상기 음향학적 특징은 피치(pitch), 포먼트(formant)일 수 있다.The acoustic features refer to basic information necessary for speech recognition. The speech recognition apparatus can divide the speech signal into frames of predetermined length and extract information such as energy distribution according to the frequency band of each frame as the acoustic feature. According to a preferred embodiment, the information according to the frequency band may be vector quantized. Alternatively, the acoustic features may be pitch, formant.

상기 음향학적 특징을 추출하는 방법으로 LPC(Linear Predictive Coding) Cepstrum, PLP(Perceptual Linear Prediction) Cepstrum, Mel Frequency Cepstral Coefficient (MFCC), 필터뱅크 에너지 분석(Filter Bank Energy Analysis) 등이 사용될 수 있다. 그리고, 음성 인식 장치는 상기 음향학적 특징에 대응되는 언어의 기본 단위를 판별할 수 있다. 여기서 상기 언어의 기본 단위는 음성의 음소, 음절, 단어 등이 될 수 있다. 예를 들어, 음성 인식 장치는 영어 음성 ‘tea’에 포함된 음성 신호의 음향학적 특징이 단어 ‘tea’의 음소인 /t/, /i:/의 각 음향 모델에 대응되는지 또는 상기 음향학적 특징이 상기 각 음소의 음향 모델과 얼마나 유사한지 등을 비교할 수 있다. 여기서, 상기 음향 모델은 적어도 하나의 가우시안 분포(Gaussian distribution)를 포함하는 혼합 모델(mixture model)일 수 있다. 음성 인식 장치는 상기 음향학적 특징과 적어도 하나의 상기 음향 모델 간의 유사도를 판별할 수 있으며, 특정 음향학적 특징에 대하여 가장 높은 유사도를 나타내는 음향 모델을 상기 특정 음향학적 특징에 대응되는 음향 모델인 것으로 판별할 수 있다. 음성 인식 장치는 상기 음향학적 특징에 대응되는 음향 모델에 연관된 언어의 기본 단위에 기초하여 상기 음향학적 특징을 포함하는 음성 신호가 기 설정된 키워드를 포함하는지 여부를 판별할 수 있다.As a method for extracting the acoustic features, a LPC (Linear Predictive Coding) cepstrum, a PLP (Perceptual Linear Prediction) cepstrum, a Mel Frequency Cepstral Coefficient (MFCC), and a Filter Bank Energy Analysis can be used. Then, the speech recognition apparatus can discriminate the basic unit of language corresponding to the acoustic feature. Here, the basic unit of the language may be phonemes, syllables, words, and the like. For example, the speech recognition apparatus determines whether the acoustic characteristics of the voice signal included in the English voice 'tea' correspond to the acoustic models of / t /, / i: /, which are the phonemes of the word 'tea' Is similar to the acoustic model of each phoneme. Here, the acoustic model may be a mixture model including at least one Gaussian distribution. The speech recognition apparatus can discriminate the similarity between the acoustic feature and the at least one acoustic model and discriminates that the acoustic model having the highest degree of similarity with respect to the specific acoustic feature is an acoustic model corresponding to the specific acoustic feature can do. The speech recognition apparatus may determine whether or not the speech signal including the acoustic feature includes a predetermined keyword based on a basic unit of a language associated with the acoustic model corresponding to the acoustic feature.

여기서, 기 설정된 키워드는 음성 인식 장치의 인식의 대상인 단어 또는 문장을 의미할 수 있다. 즉, 본 발명의 실시예에 따른 음성 인식 장치는 음성 신호의 음향학적 특징과 적어도 하나의 상기 키워드에 대응되는 음향 모델을 상호 비교하고, 상기 음성 신호에 상기 키워드가 포함되어있는지 여부를 판별할 수 있다. 예를 들어, 음성 인식 장치는 음성 신호와 키워드 ‘phone call’, ‘send message’ 등에 대응하는 음향 모델을 상호 비교할 수 있으며, 상기 음성 신호의 음향학적 특징이 ‘phone call’에 대응하는 음향 모델과 유사한 경우, 상기 음성 신호에 키워드 ‘phone call’이 포함되어있는 것으로 판별할 수 있다.Here, the predetermined keyword may mean a word or a sentence to be recognized by the speech recognition apparatus. That is, the speech recognition apparatus according to the embodiment of the present invention compares the acoustic characteristic of the speech signal with the acoustic model corresponding to at least one of the keywords, and determines whether or not the keyword is included in the speech signal have. For example, the speech recognition apparatus can compare the speech signal with the acoustic models corresponding to the keywords 'phone call', 'send message', and the like, and the acoustic model of the speech signal is an acoustic model corresponding to 'phone call' In a similar case, it can be determined that the keyword 'phone call' is included in the voice signal.

본 발명의 실시예에 따른 음성 인식 장치는 음성 신호에 대한 전술한 키워드 검출 과정을 수행할 수 있으며, 특히 상기 음성에 대한 최초의 키워드 검출 과정을 제 1 인식이라고 명명할 수 있다. 본 발명의 바람직한 실시예에 따르면, 음성 인식 장치는 복수의 프레임으로 구성된 음성 신호의 각 프레임에 대하여 상기 제 1 인식 과정을 실시간으로 수행할 수 있다. 여기서, 상기 제 1 인식의 인식 대상은 상기 음성 신호의 모든 프레임일 수 있으나 본 발명은 이에 한정되지 않으며, 기 설정된 길이의 탐색 프레임에 대한 상기 제 1 인식이 수행될 수 있다. 음성 인식 장치는 제 1 인식 종료 후, 다음 탐색 프레임에 대한 상기 제 1 인식을 수행할 수 있다. 본 발명을 실시하는 방식에 따라서, 상기 탐색 프레임은 다음과 같이 구현될 수 있다. 예를 들어, 도 2에서 탐색 프레임의 길이가 세 프레임이고, 현재 제 1 인식이 수행 중인 탐색 프레임이 f1 내지 f3일 수 있다. 상기 f1 내지 f3에 대한 제 1 인식이 종료된 경우, 음성 인식 장치는 f4 내지 f6에 대한 제 1 인식을 수행할 수 있다. 또는, 음성 인식 장치는 상기 f1 내지 f3에 대한 제 1 인식이 종료된 경우, f2 내지 f4에 대한 제 1 인식을 수행할 수도 있다. 이러한 중첩된 제 1 인식이 수행되는 경우, 인접한 프레임들에 대한 세밀한 음소 분석 및 음향 모델 매칭이 수행될 수 있으므로, 키워드의 검출률을 높일 수 있다.The speech recognition apparatus according to the embodiment of the present invention can perform the keyword detection process for the speech signal. In particular, the first keyword detection process for the speech can be called the first recognition. According to a preferred embodiment of the present invention, the speech recognition apparatus can perform the first recognition process in real time for each frame of a speech signal composed of a plurality of frames. Here, the recognition target of the first recognition may be all frames of the speech signal, but the present invention is not limited thereto, and the first recognition for the search frame of a predetermined length may be performed. After the first recognition is completed, the speech recognition apparatus can perform the first recognition for the next search frame. According to the manner of implementing the present invention, the search frame may be implemented as follows. For example, in Fig. 2, the length of the search frame is three frames, and the search frame currently being subjected to the first recognition may be f1 to f3. When the first recognition for f1 to f3 is ended, the speech recognition apparatus can perform the first recognition for f4 to f6. Alternatively, the speech recognition apparatus may perform the first recognition for f2 to f4 when the first recognition for f1 to f3 is finished. When the overlapping first recognition is performed, fine phoneme analysis and acoustic model matching for adjacent frames can be performed, so that the detection rate of a keyword can be increased.

음성 신호는 배경 잡음(background noise) 또는 키워드인 음성 데이터 또는 키워드가 아닌 음성 데이터를 포함할 수 있다. 음성 인식 장치는 음성 신호 중 키워드를 포함하는 것으로 판별되는 일보 구간인 인식 대상 파트를 판별할 수 있다. 상기 인식 대상 파트는 음성 인식 장치가 상기 제 1 인식을 수행하는 과정에서 판별될 수 있다. 도 2의 화살표는 음성 인식 장치의 프로세서가 처리 중인 음성 신호의 프레임을 나타내는 것으로, 도 2는 음성 인식 장치가 제 1 인식에 따라 프레임 f7까지 처리한 뒤의 상황을 나타내는 것일 수 있다. 도 2에 따르면, 음성 인식 장치는 프레임 f4 내지 f7에 키워드가 포함되어있는 것으로 판별할 수 있으며, 상기 프레임 f4 내지 f7을 인식 대상 파트로 설정할 수 있다. 본 발명의 바람직한 실시예에 따르면 음성 인식 장치는 인식 대상 파트에 대해서 키워드 검출을 중복적으로 수행할 수 있으며, 이러한 중복된 키워드 검출을 제 2 인식이라고 명명할 수 있다. 이때, 본 발명의 실시예에 따르면 제 2 인식은 음성 신호의 일부 구간에 대한 키워드 검출을 수행하는 처리 과정이다. 그리고 본 발명의 바람직한 실시예에 따르면, 상기 음성 신호의 일부 구간은 전술한 인식 대상 파트일 수 있다. 도 2는 음성 인식 장치가 제 2 인식 처리 과정에 따라 상기 인식 대상 파트인 프레임 f4 내지 f7에 대해서 키워드들 검출하는 상황을 나타낸 것이다. 음성 인식 장치는 전체 음성 신호가 아닌 일부 구간인 인식 대상 파트에 대한 제 2 인식을 수행함으로써 보다 정확한 키워드 검출을 수행할 수 있다. 본 발명의 실시예에 따르면 음성 인식 장치는 제 1 인식과 제 2 인식을 동시에 수행할 수 있다. 예를 들어, 도 2의 상황에서, 음성 인식 장치는 프레임 f7까지 제 1 인식을 수행하고 그 수행 결과로써 인식 대상 파트를 판별할 수 있다. 이후, 음성 인식 장치는 프레임 f8에 대한 제 1 인식을 수행하는 동시에 인식 대상 파트인 프레임 f4 내지 f7에 대한 제 2 인식을 수행할 수 있다.The speech signal may include speech data that is background noise or keyword, or speech data that is not a keyword. The speech recognition apparatus can discriminate the recognition target part, which is a daily interval determined as including a keyword, among the speech signals. The recognition target part may be discriminated in the course of performing the first recognition by the speech recognition apparatus. The arrows in Fig. 2 represent the frame of the speech signal being processed by the processor of the speech recognition apparatus, and Fig. 2 may represent the situation after the speech recognition apparatus has processed up to the frame f7 according to the first recognition. According to Fig. 2, the speech recognition apparatus can determine that the keywords are included in the frames f4 to f7, and can set the frames f4 to f7 as recognition target parts. According to a preferred embodiment of the present invention, the speech recognition apparatus can perform keyword detection redundantly on the part to be recognized, and such duplicate keyword detection can be called second recognition. Here, according to the embodiment of the present invention, the second recognition is a process of performing keyword detection for a part of a speech signal. According to a preferred embodiment of the present invention, a part of the speech signal may be a part to be recognized. Fig. 2 shows a situation in which the speech recognition apparatus detects keywords for the frames f4 to f7, which are the recognition target parts, in accordance with the second recognition process. The speech recognition apparatus can perform more accurate keyword detection by performing the second recognition on the part to be recognized which is a partial section rather than the entire speech signal. According to the embodiment of the present invention, the speech recognition apparatus can simultaneously perform the first recognition and the second recognition. For example, in the situation shown in Fig. 2, the speech recognition apparatus can perform the first recognition up to the frame f7, and can identify the part to be recognized as a result of the first recognition. Thereafter, the speech recognition apparatus can perform the first recognition for the frame f8 and the second recognition for the frames f4 to f7 as the recognition target parts.

본 발명의 실시예에 따른 음성 인식 장치는 상기 제 1 인식의 결과 데이터 및 상기 제 2 인식의 결과 데이터에 기초하여 최종 인식 데이터를 생성할 수 있다. 여기서, 상기 결과 데이터는 기 설정된 키워드의 검출 여부 및 검출된 키워드를 포함할 수 있다. 최종 인식 데이터는 제 1 인식의 결과 데이터의 키워드 또는 제 2 인식의 결과 데이터의 키워드를 포함할 수 있다.The speech recognition apparatus according to the embodiment of the present invention can generate final recognition data based on the result data of the first recognition and the result data of the second recognition. Here, the result data may include whether or not the predetermined keyword is detected and the detected keyword. The final recognition data may include a keyword of the resultant data of the first recognition or a keyword of the resultant data of the second recognition.

음성 인식이 일 회만 이루어지는 경우, 그 한 번의 음성 인식이 키워드를 검출하지 못하거나 잘못된 키워드를 검출한 경우에 발생될 수 있는 여러 가지 문제점에 대응하기가 쉽지 않다. 본 발명의 음성 인식 장치는 키워드를 포함하는 것으로 판별되는 프레임에 대하여 적어도 일 회 더 키워드를 재검출하며, 최초의 검출 결과와 후속 검출 결과를 참조하여 최종 인식 데이터를 생성할 수 있다. 예를 들어, 키워드를 포함하는 것으로 판별되는 인식 대상 파트에 대한 제 2 인식을 수행하였는데, 해당 인식 대상 파트에서 제 1 인식 과정에서 검출하지 못한 키워드가 추가적으로 검출될 수 있다. 즉, 본 발명의 실시예에 따른 음성 인식 장치는 복수 회의 키워드 검출을 통해 키워드 검출 성능을 높일 수 있다.When voice recognition is performed only once, it is not easy to cope with various problems that may occur when one speech recognition fails to detect a keyword or an erroneous keyword is detected. The speech recognition apparatus of the present invention may re-detect the keyword at least one more time for the frame determined to contain the keyword, and generate the final recognition data by referring to the first detection result and the subsequent detection result. For example, a second recognition of a part to be recognized, which is determined to include a keyword, has been performed, but a keyword that has not been detected in the first recognition process may be additionally detected in the recognition target part. That is, the speech recognition apparatus according to the embodiment of the present invention can increase the keyword detection performance by detecting a plurality of keywords.

본 발명의 일 실시예에 따르면, 음성 인식 장치는 상기 제 1 인식의 결과 데이터와 상기 제 2 인식의 결과 데이터가 서로 다른 경우, 상기 제 2 인식의 결과 데이터를 상기 최종 인식 데이터로 선택할 수 있다. 예를 들어, 음성 신호에 대하여 제 1 인식에 의해 검출된 키워드가 ‘map’이고 제 2 인식에 의해 검출된 키워드가 ‘back’인 경우, 음성 인식 장치는 ‘back’을 최종 인식 데이터의 키워드로 선택할 수 있다. According to an embodiment of the present invention, when the resultant data of the first recognition and the resultant data of the second recognition are different from each other, the speech recognition apparatus can select the resultant data of the second recognition as the final recognition data. For example, when the keyword detected by the first recognition is 'map' for the voice signal and the keyword detected by the second recognition is 'back', the speech recognition apparatus recognizes 'back' as the keyword of the final recognition data You can choose.

본 발명의 실시예에 따른 음성 인식 장치의 프로세서는 데이터 연산에 이용되는 자원(resource)을 할당하는 작업 스케줄링(job scheduling)을 통해 상기 제 1 인식 및 상기 제 2 인식에 필요한 자원을 할당할 수 있다.The processor of the speech recognition apparatus according to the embodiment of the present invention can allocate resources required for the first recognition and the second recognition through job scheduling for allocating resources used for data operation .

본 발명의 일 실시예에 따르면, 음성 인식 장치의 프로세서는 상기 음성 신호가 취득된 환경의 특성에 기초하여 상기 제 1 인식 및 상기 제 2 인식에 할당될 자원의 양을 결정하는 상기 작업 스케줄링을 수행할 수 있다. 여기서, 상기 음성 신호가 취득된 환경의 특성은 상기 음성 신호에 포함된 배경 잡음의 잡음 레벨(noise level)일 수 있다. 예를 들어, 음성 인식 장치의 프로세서는 음성 신호에 포함된 배경 잡음의 잡음 레벨이 30 dB 이상인 경우, 음성 신호가 취득된 환경이 노이지(noisy)한 환경인 것으로 판별할 수 있으며, 정확한 음성 인식을 위해 제 2 인식을 위한 데이터 연산에 보다 많은 자원을 할당할 수 있다. 또한, 본 발명의 다른 실시예에 따르면 상기 음성 신호가 취득된 환경의 특성은 상기 음성 신호의 신호 대 잡음 비일 수 있다. 예를 들어, 음성 인식 장치의 프로세서는 음성 신호의 신호 대 잡음 비가 0 dB 미만인 경우, 음성 신호가 취득된 환경이 노이지한 환경인 것으로 판별할 수 있으며, 정확한 음성 인식을 위해 제 2 인식을 위한 데이터 연산에 보다 많은 자원을 할당할 수 있다. 상기 두 예시에서, 잡음 레벨이 10 dB 미만이거나 신호 대 잡음 비가 20 dB 이상인 경우, 음성 신식 장치의 프로세서는 제 1 인식을 위한 데이터 연산에 보다 많은 자원을 할당할 수 있으며, 최종 인식 데이터로써 제 1 인식의 결과 데이터를 선택할 수 도 있다(이 경우, 제 2 인식을 수행하지 않을 수도 있다). 또한, 본 발명의 또 다른 실시예에 따르면 상기 음성 신호가 취득된 환경의 특성은 상기 음성 신호가 취득된 환경의 잔향 시간(reverberation time)일 수 있다. 상기 음성 신호가 취득된 환경의 임펄스 응답(impulse response)를 유추할 수 있다면, 상기 임펄스 응답으로부터 음성 신호의 에너지가 60 dB 만큼 감소되는데 걸리는 시간인 잔향 시간을 산출할 수 있다. 잔향 시간이 길수록 소리의 잔향이 심하다는 의미이므로, 음성 인식에 적합하지 않은 환경인 것으로 간주될 수 있다. 이에 따라, 음성 인식 장치의 프로세서는 상기 잔향 시간이 1 초 이상인 경우, 정확한 음성 인식을 위해 제 2 인식을 위한 데이터 연산에 보다 많은 자원을 할당할 수 있다. 반대로, 음성 인식 장치의 프로세서는 상기 잔향 시간이 0.2 초 미만인 경우, 제 1 인식을 위한 데이터 연산에 보다 많은 자원을 할당할 수 있다. 상기 음성 신호가 취득된 환경의 특성의 종류 및 상기 환경의 특성에 따른 자원 할당 방식은 전술한 내용에 한정되지 않는다.According to an embodiment of the present invention, the processor of the speech recognition apparatus performs the task scheduling for determining the amount of resources to be allocated to the first recognition and the second recognition based on the characteristics of the environment in which the speech signal is acquired can do. Here, the characteristic of the environment in which the speech signal is acquired may be a noise level of background noise included in the speech signal. For example, if the noise level of the background noise included in the speech signal is 30 dB or more, the processor of the speech recognition apparatus can determine that the environment in which the speech signal is acquired is a noisy environment, It is possible to allocate more resources to the data operation for the second recognition. According to another embodiment of the present invention, the characteristic of the environment in which the speech signal is acquired may be a signal-to-noise ratio of the speech signal. For example, when the signal-to-noise ratio of the speech signal is less than 0 dB, the processor of the speech recognition apparatus can determine that the environment in which the speech signal is acquired is noisy and the data for the second recognition More resources can be allocated for operations. In both examples above, if the noise level is less than 10 dB or the signal-to-noise ratio is greater than or equal to 20 dB, the processor of the speech novelty device may allocate more resources to the data operation for the first recognition, The result data of the recognition may also be selected (in this case, the second recognition may not be performed). According to another embodiment of the present invention, the characteristic of the environment in which the speech signal is acquired may be a reverberation time of the environment in which the speech signal is acquired. If the impulse response of the environment in which the speech signal is acquired can be deduced, it is possible to calculate the reverberation time, which is the time taken for the energy of the speech signal to decrease by 60 dB from the impulse response. It means that the longer the reverberation time is, the more the reverberation of the sound becomes. Therefore, it can be regarded as an environment which is not suitable for speech recognition. Accordingly, when the reverberation time is 1 second or more, the processor of the speech recognition apparatus can allocate more resources to the data operation for the second recognition for accurate speech recognition. Conversely, the processor of the speech recognition apparatus can allocate more resources to the data operation for the first recognition if the reverberation time is less than 0.2 seconds. The type of the characteristic of the environment in which the voice signal is acquired and the resource allocation method according to the characteristic of the environment are not limited to the above description.

본 발명의 다른 실시예에 따르면, 음성 인식 장치의 프로세서는 상기 제 2 인식을 처리할 때 상기 제 1 인식을 처리할 때보다 더 많은 자원이 할당되도록 상기 작업 스케줄링을 수행할 수 있다.According to another embodiment of the present invention, the processor of the speech recognition apparatus can perform the task scheduling so as to allocate more resources when processing the second recognition than when processing the first recognition.

본 발명의 실시예에 따르면, 제 1 인식 및 제 2 인식은 다양한 키워드 검출 방식을 포함할 수 있다.According to an embodiment of the present invention, the first recognition and the second recognition may include various keyword detection schemes.

본 발명의 일 실시예에 따르면, 제 2 인식은 인식 대상 파트 중 적어도 하나의 선두 프레임의 음향학적 특징과 상기 음향 모델 사이의 유사도를 산출하고, 상기 유사도가 기 설정된 기본 한계값 이상인 경우 기 설정된 개수의 후속 프레임의 음향학적 특징을 더 이용하여 상기 유사도를 재산출하고, 상기 재산출된 유사도가 기 설정된 확장 한계값 이상인 경우 상기 음성 신호에 상기 음향 모델과 연관된 키워드가 존재하는 것으로 판별하는 처리 방식일 수 있다. 이때, 상기 확장 한계값은 상기 기본 한계값보다 클 수 있다. 도 2를 참조하면, 음성 인식 장치는 인식 대상 파트 중 적어도 하나의 선두 프레임 f4 및 f5의 음향학적 특징과 음향 모델 사이의 유사도를 산출할 수 있다. 예를 들어, 세 개의 키워드에 대한 음향 모델 M1, M2, M3이 개별적으로 존재하고, 상기 프레임 f4 및 f5의 음향학적 특징과 상기 각 음향 모델 M1, M2, M3 사이의 유사도가 각각 0.3, 0.4, 0.7인 상황을 가정할 수 있다. 이 경우, 상기 기본 한계값이 0.5인 경우, 음성 인식 장치는 프레임 f4 및 f5의 음향학적 특징과 음향 모델 M3 사이의 유사도가 기본 한계값 이상인 것으로 판단할 수 있다. 이후, 음성 인식 장치는 2 개의 후속 프레임의 음향학적 특징을 더 이용하여 유사도를 재산출할 수 있다. 즉, 도 2의 상황에서 음성 인식 장치는 프레임 f6 및 f7의 음향학적 특징과 기존의 프레임 f4 및 f5의 음향학적 특징을 함께 이용하여 음향 모델 M3(또는 M1, M2, M3)과의 유사도를 산출할 수 있다. 만약, 프레임 f4 내지 f7의 음향학적 특징과 음향 모델 M3 사이의 유사도가 0.8이고 확장 한계값이 0.7인 경우, 음성 인식 장치는 음성 신호 또는 인식 대상 파트에 음향 모델 M3에 연관된 키워드가 포함된 것으로 판별할 수 있다. 즉, 제 2 인식은 추가적인 프레임을 더 이용하여 점진적으로 키워드 검출 정확도를 높이는 방법이라고 할 수 있다.According to an embodiment of the present invention, the second recognition may include calculating a similarity between the acoustic model of the first frame of at least one of the parts to be recognized and the acoustic model, and if the similarity is greater than or equal to the predetermined basic threshold value, Wherein the speech signal is a speech signal, and the speech signal is a speech signal, and if the similarity is greater than or equal to a predetermined extension threshold value, . At this time, the extension limit value may be larger than the basic limit value. Referring to FIG. 2, the speech recognition apparatus can calculate the similarities between the acoustic models and the acoustic models of at least one of the head frames f4 and f5 among the parts to be recognized. For example, the acoustic models M1, M2, and M3 for the three keywords are individually present, and the similarities between the acoustic characteristics of the frames f4 and f5 and the respective acoustic models M1, M2, and M3 are 0.3, 0.4, 0.7. &Lt; / RTI > In this case, when the basic threshold value is 0.5, the speech recognition apparatus can determine that the similarity between the acoustic characteristics of the frames f4 and f5 and the acoustic model M3 is equal to or greater than the basic threshold value. Thereafter, the speech recognition apparatus may reuse the similarity by further utilizing the acoustic features of the two subsequent frames. That is, in the situation of FIG. 2, the speech recognition apparatus calculates the similarity between the acoustic models M3 (or M1, M2, M3) using the acoustic features of the frames f6 and f7 and the acoustic features of the existing frames f4 and f5 can do. If the similarity between the acoustic characteristics of the frames f4 to f7 and the acoustic model M3 is 0.8 and the extension limit is 0.7, the speech recognition device determines that the speech signal or the recognition target part includes the keyword associated with the acoustic model M3 can do. That is, the second recognition is a method of gradually increasing the keyword detection accuracy by using additional frames.

여기서, 제 1 인식은 상기 음성 신호의 프레임 중 기 설정된 길이의 탐색 프레임의 음향학적 특징과 상기 음향 모델 사이의 유사도를 산출하고, 상기 유사도가 상기 기본 한계값 이상 상기 확장 한계값 미만인 경우 상기 탐색 프레임에 대한 상기 키워드의 검출을 중단하고 상기 제 2 인식을 시작하는 처리 방식일 수 있으며, 이 경우 상기 제 2 인식은, 상기 제 1 인식에 따른 상기 키워드의 검출이 중단된 탐색 프레임에 대해서 상기 키워드를 검출하는 처리 방식일 수 있다. 예를 들어, 제 1 인식 과정에서 탐색 프레임 f4 내지 f7의 음향학적 특징과 전술한 음향 모델 사이의 유사도가 각각 0.3, 0.4, 0.6인 상황을 가정할 수 있다. 기본 한계값이 0.5이고 확장 한계값이 0.7인 경우, 음성 인식 장치는 탐색 프레임 f4 내지 f7의 음향학적 특징과 음향 모델 M3 사이의 유사도가 기본 한계값 이상이고 확장 한계값 미만인 것으로 판단할 수 있다. 이때, 음성 인식 장치는 상기 탐색 프레임 f4 내지 f7에 대한 제 1 인식을 중단하고, 상기 탐색 프레임에 대한 제 2 인식을 시작할 수 있다.Here, the first recognition may include calculating a similarity between the acoustic model and the acoustic model of a search frame having a predetermined length in the frame of the speech signal, and if the similarity is less than the extension threshold, The second recognition may be a processing method of stopping the detection of the keyword for the keyword and stopping the detection of the keyword according to the first recognition, Or the like. For example, it can be assumed that the similarities between the acoustic features of the search frames f4 to f7 and the acoustic model described above are 0.3, 0.4, and 0.6, respectively, in the first recognition process. If the basic threshold value is 0.5 and the extended threshold value is 0.7, the speech recognition apparatus can determine that the similarity between the acoustic features of the search frames f4 to f7 and the acoustic model M3 is equal to or greater than the basic threshold value and less than the extended threshold value. At this time, the speech recognition apparatus can stop the first recognition on the search frames f4 to f7 and start the second recognition on the search frame.

본 발명의 다른 실시예에 따르면, 음성 인식 장치는 음성 신호의 각 프레임에 대한 키워드 검출을 순차적으로 수행할 때 상기 각 프레임의 값에 따라 변화되는 음성 인식에 관한 파라미터를 이용할 수 있다. 상기 음성 인식에 관한 파라미터는 이전의 음성 신호의 프레임으로부터 추출된 음향학적 특징 또는 이전의 음성 신호의 프레임으로부터 유추된 배경 잡음 등을 포함할 수 있다. 예를 들어, 음성 인식 장치는 이전 프레임으로부터 유추된 배경 잡음을 이용하여 현재 프레임의 키워드 검출에 이용할 수도 있다. 음성 인식 장치는 음성 신호로부터 배경 잡음을 유추할 수 있으며, 유추된 배경 잡음을 음성 신호로부터 차감함으로써 키워드의 검출 성능을 높일 수 있다. 이때, 음성 인식 장치는 이전 프레임의 음성 신호로부터 배경 잡음을 유추하고, 현재 프레임의 음성 신호로부터 이전 프레임의 음성 신호로부터 유추된 배경 잡음을 차감할 수 있다. 여기서, 상기 신호의 차감은 시영역(time domain) 또는 주파수 영역(frequency domain)에서 수행될 수 있다. 여기서, 상기 음성 신호로부터 상기 배경 잡음을 제거하는 방식은 상기 차감하는 방식에 한정되지 않으며, 다양한 방식으로 구비될 수 있다. 배경 잡음의 특성이 시간에 따라 일정하게 유지되는 상황에서는 이러한 처리 방식이 효과적이라고 할 수 있다. 여기서, 음성 인식 장치는 상기 제 2 인식에 따라 상기 인식 대상 파트의 첫 프레임에 대한 상기 키워드를 검출할 때 기 설정된 파라미터 초기값을 이용할 수 있다. 이러한 제 2 인식 방식은 다음과 같은 상황에서 매우 효과적이다. 예를 들어, 음성 신호를 취득한 환경의 변화(예를 들어 음성을 취득하는 마이크의 위치가 변화되거나, 음성이 취득되는 공간의 창문 등이 열림으로써 외부의 잡음이 유입되는 등의 상황)되어 도 2에서 프레임 f1 내지 f3까지의 배경 잡음의 특성과 프레임 f4 이후의 배경 잡음의 특성이 서로 다른 상황을 가정할 수 있다. 이 경우, 전술한 바와 같이 프레임 f3으로부터 유추된 배경 잡음을 프레임 f4로부터 차감하더라도 프레임 f4에 포함된 음성 데이터의 음질이 개선되지 않고 오히려 나빠질 수 있으며, 이에 따라 키워드 검출 성능이 저하될 수 있다. 본 발명의 실시예에 따르면, 제 2 인식을 수행할 때 음성 인식 장치는 초기화된 배경 잡음을 이용하여 프레임 f4 이후의 프레임에 대한 키워드 검출을 수행할 수 있다. 그리고 음성 인식 장치는 프레임 f5에 대한 제 2 인식을 수행할 때 프레임 f4에서 유추된 배경 잡음을 이용하여 프레임 f5에 포함된 음성 데이터의 음질을 개선시킬 수 있다. 상기의 내용은 음성 인식 장치의 작동 방식은 음성 인식에 관한 파라미터를 사용하는 하나의 예시에 불과한 것으로 본 발명은 이에 한정되지 않는다.According to another embodiment of the present invention, the speech recognition apparatus may use parameters related to speech recognition, which are changed according to the value of each frame, when sequentially performing keyword detection for each frame of the speech signal. The parameters for speech recognition may include acoustic features extracted from a previous frame of speech signals or background noise imaged from frames of previous speech signals. For example, the speech recognition apparatus may use the background noise derived from the previous frame to detect the keyword of the current frame. The speech recognition apparatus can deduce the background noise from the speech signal, and the detection performance of the keyword can be improved by subtracting the background noise from the speech signal. At this time, the speech recognition apparatus can deduce the background noise from the speech signal of the previous frame and subtract the background noise derived from the speech signal of the previous frame from the speech signal of the current frame. Here, the subtraction of the signal may be performed in a time domain or a frequency domain. Here, the method of removing the background noise from the speech signal is not limited to the above-mentioned method of subtracting the speech signal, but may be provided in various ways. In a situation where the characteristics of the background noise remain constant over time, this processing method is effective. Here, the speech recognition apparatus may use a predetermined parameter initial value when detecting the keyword for the first frame of the recognition target part according to the second recognition. This second recognition scheme is very effective in the following situations. For example, a change in the environment in which a voice signal is acquired (for example, a situation in which the position of a microphone for acquiring voice is changed or an external noise is introduced by opening a window or the like where a voice is acquired) It can be assumed that the characteristics of the background noise from the frames f1 to f3 and the background noise after the frame f4 are different from each other. In this case, even if the background noise inferred from the frame f3 is subtracted from the frame f4 as described above, the sound quality of the voice data included in the frame f4 may not be improved but rather deteriorated, thereby deteriorating the keyword detection performance. According to the embodiment of the present invention, when performing the second recognition, the speech recognition apparatus can perform keyword detection on the frame after the frame f4 using the initialized background noise. When performing the second recognition on the frame f5, the speech recognition apparatus can improve the sound quality of the speech data included in the frame f5 by using the background noise inferred in the frame f4. The above description is only an example of using a parameter related to speech recognition, and the present invention is not limited thereto.

본 발명의 또 다른 실시예에 따르면, 음성 인식 장치는 음성 신호의 프레임 중 기 설정된 길이의 탐색 프레임을 기 설정된 신호 대 잡음 비 미만인 신호 대 잡음 비를 가지는 침묵 파트와 상기 침묵 파트가 아닌 음성 파트로 구분하고, 상기 음성 파트의 길이가 기 설정된 프레임 길이 미만인 경우 상기 탐색 프레임으로부터 상기 키워드를 검출하지 않을 수 있다. 예를 들어, 도 2의 프레임 f4 내지 f7이 탐색 프레임이고, f4 내지 f5가 음성 파트이고 f6 내지 f7이 침묵 파트인 상황을 가정할 수 있다. 만약 기 설정된 프레임 길이가 3 프레임인 경우, 음성 인식 장치는 탐색 프레임 f4 내지 f7에 대한 키워드 검출을 포기할 수 있다. 이러한 처리 방식은 본 발명의 실시예에 따른 제 1 인식에 적용될 수도 있다.According to another embodiment of the present invention, a speech recognition apparatus includes a silence part having a predetermined length of a frame of a speech signal and having a signal-to-noise ratio less than a predetermined signal-to-noise ratio and a speech part And may not detect the keyword from the search frame if the length of the speech part is less than a predetermined frame length. For example, it can be assumed that the frames f4 to f7 in Fig. 2 are search frames, f4 to f5 are voice parts, and f6 to f7 are silent parts. If the predetermined frame length is three frames, the speech recognition apparatus can abandon the keyword detection for the search frames f4 to f7. This processing scheme may be applied to the first recognition according to the embodiment of the present invention.

여기서, 음성 인식 장치는 상기 탐색 프레임의 평균 에너지가 기 설정된 한계 에너지 미만인 경우 상기 탐색 프레임으로부터 상기 키워드를 검출하지 않을 수 있다. 예를 들어, 기 설정된 프레임 길이가 3프레임이고, 기 설정된 한계 에너지가 10(단위 생략)이고, 탐색 프레임이 f4 내지 f7이며, f4 내지 f6이 음성 파트, f7이 침묵 파트, 탐색 프레임의 평균 에너지가 7인 상황을 가정할 수 있다. 음성 인식 장치는 탐색 프레임의 음성 파트가 기 설정된 프레임 길이 이상이지만, 평균 에너지가 한계 에너지 미만이기 때문에 해당 탐색 프레임에 대한 키워드 검출을 수행하지 않을 수 있다.Here, the speech recognition apparatus may not detect the keyword from the search frame if the average energy of the search frame is less than a predetermined threshold energy. For example, if the predetermined frame length is 3 frames, the predetermined threshold energy is 10 (unit is omitted), the search frames are f4 to f7, f4 to f6 are the speech part, f7 is the silent part, Is 7 in this case. The speech recognition apparatus may not perform keyword detection for the search frame because the speech part of the search frame is longer than a predetermined frame length but the average energy is less than the threshold energy.

본 발명의 또 다른 실시예에 따르면, 음성 인식 장치는 음성 신호로부터 화자 및 환경에 대한 메타 데이터(meta data)를 추출할 수 있다. 예를 들어, 음성 인식 장치는 음성 신호가 여성의 음성 데이터를 포함하는 경우, 상기 음성 신호로부터 ‘여성’ 메타 데이터를 추출할 수 있다. 여기서, 음성 데이터의 화자가 여성인지 여부는 음성 신호의 주파수 대역에 따른 에너지 분포로부터 유추될 수 있다. 이 경우, 음성 인식 장치는 제 2 인식을 수행할 때 ‘여성’ 메타 데이터와 연관된 음향 모델을 이용하여 키워드를 검출할 수 있다. 한편, 음성 인식 장치는 음성 신호에 포함된 배경 잡음으로부터 음성이 수집된 환경을 유추할 수 있다. 예를 들어, 음성 인식 장치는 음성 신호의 배경 잡음의 특성에 기초하여 ‘카페’ 메타 데이터를 추출할 수 있다. 이에 따라, 음성 인식 장치는 제 2 인식을 수행할 때 ‘카페’ 메타 데이터와 연관된 음향 모델을 이용하여 키워드를 검출할 수 있다. 본 발명을 실시하는 방식에 따라서, 상기 제 2 인식은 복수 회 수행될 수 있다. 즉, 전술한 ‘여성’ 메타 데이터 및 ‘카페’ 메타 데이터가 추출된 경우, 음성 인식 장치는 1차 제 2 인식 과정에서 ‘여성’ 메타 데이터와 연관된 음향 모델을 이용하여 키워드 검출을 수행하고 2 차 제 2 인식 과정에서 ‘카페’ 메타 데이터와 연관된 음향 모델을 이용하여 키워드 검출을 수행할 수 있다(1 차 및 2 차 제 2 인식은 동시에 수행될 수도 있음). 상기의 예시에서, 1 차 제 2 인식 과정은 0.9의 유사도로 키워드 ‘map’을 검출하고 2 차 제 2 인식 과정은 0.8의 유사도로 키워드 ‘back’을 검출한 경우, 음성 인식 장치는 키워드 ‘map’을 최종 인식 데이터에 포함시킬 수 있다.According to another embodiment of the present invention, the speech recognition apparatus can extract meta data about the speaker and the environment from the speech signal. For example, the speech recognition apparatus may extract 'female' metadata from the speech signal when the speech signal includes female speech data. Here, whether or not the speaker of the voice data is female can be deduced from the energy distribution according to the frequency band of the voice signal. In this case, when performing the second recognition, the speech recognition apparatus can detect the keyword using the acoustic model associated with the 'female' metadata. On the other hand, the speech recognition apparatus can estimate an environment in which speech is collected from the background noise included in the speech signal. For example, the speech recognition apparatus may extract 'cafe' metadata based on the characteristics of the background noise of the speech signal. Accordingly, when performing the second recognition, the speech recognition apparatus can detect the keyword using the acoustic model associated with the 'cafe' metadata. According to the manner of practicing the invention, the second recognition may be performed a plurality of times. That is, when the above-described 'female' metadata and 'cafe' metadata are extracted, the speech recognition apparatus performs keyword detection using an acoustic model associated with 'female' metadata in the first and second recognition processes, In the second recognition process, keyword detection may be performed using an acoustic model associated with the 'cafe' metadata (the first and second second recognizations may be performed simultaneously). In the above example, when the first secondary recognition process detects the keyword 'map' with a degree of similarity of 0.9 and the secondary second recognition process detects the keyword 'back' with a degree of similarity of 0.8, Can be included in the final recognition data.

본 발명에 따른 음성 인식 장치는 최종 인식 데이터가 생성된 경우, 상기 최종 인식 데이터 또는 상기 최종 인식 데이터와 연관된 제어 신호를 외부 장치 또는 외부 모듈로 전송할 수 있다. 이에 따라, 상기 최종 인식 데이터에 포함된 키워드가 디스플레이 되거나 상기 키워드에 대응하는 서비스가 사용자에게 제공될 수 있다.The speech recognition apparatus according to the present invention can transmit the final recognition data or a control signal associated with the final recognition data to an external device or an external module when final recognition data is generated. Accordingly, a keyword included in the final recognition data may be displayed or a service corresponding to the keyword may be provided to the user.

전술한 바에 따르면, 본 발명의 실시예에 따른 음성 인식 장치는 데이터 연산에 이용되는 자원을 할당하는 작업 스케줄링에 기초하여 상기 데이터 연산을 실행할 수 있다. 이때, 음성 인식 장치는 상기 음성 신호가 취득된 환경의 특성에 기초하여 상기 제 1 인식 및 상기 제 2 인식에 할당될 자원의 양을 결정할 수 있다. 또는, 음성 인식 장치는 상기 제 2 인식을 처리할 때 상기 제 1 인식을 처리할 때보다 더 많은 자원이 할당되도록 상기 작업 스케줄링을 수행할 수 있다. According to the above description, the speech recognition apparatus according to the embodiment of the present invention can execute the data operation based on job scheduling to allocate resources used for data operation. At this time, the speech recognition apparatus can determine the amount of resources to be allocated to the first recognition and the second recognition based on the characteristics of the environment in which the speech signal is acquired. Alternatively, the speech recognition apparatus can perform the task scheduling so that more resources are allocated when processing the second recognition than when processing the first recognition.

여기서, 상기 자원은 음성 인식 장치의 메모리, 버퍼 등의 저장 공간을 의미하거나 프로세서에 의해 상기 데이터 연산이 처리되는 시간 또는 빈도 수를 의미할 수 있다. 음성 인식 과정에서 많은 자원이 할당되면 보다 많은 양의 메모리를 이용할 수 있거나 프로세서에 의해 보다 긴 시간 동안 처리되거나 보다 높은 빈도 수로 처리될 수 있다. 예를 들어, 음성 인식에 보다 많은 자원이 할당되면 음성 신호에 대한 필터링(filtering)을 수행할 때 보다 고차의 필터를 이용할 수 있다. 또 다른 예로써, 음성 인식에 보다 많은 자원이 할당되면 실수 또는 복소수 연산을 통해 보다 세밀한 처리 결과 값을 가질 수 있다. 또 다른 예로써, 음성 인식에 보다 많은 자원이 할당되면, 보다 많은 수의 가우시안 분포를 포함하는 혼합 모델을 이용할 수 있다. 음성 인식 장치는 상기 높은 연산량(computational complexity)를 가지는 음성 인식 처리 과정을 통해 음성 신호의 음향학적 특징의 미세한 차이를 구별할 수 있게 되고, 보다 정밀한 음향 모델의 유사도 판별을 수행할 수 있으며, 결과적으로 음성 인식의 정확도가 상승될 수 있다.Here, the resource may refer to a storage space of a memory, a buffer, or the like of the speech recognition apparatus, or may denote a time or a frequency of the data operation by the processor. If more resources are allocated in the speech recognition process, a larger amount of memory may be available or may be processed by the processor for a longer period of time or a higher frequency. For example, if more resources are allocated to speech recognition, a higher order filter can be used when performing filtering on speech signals. As another example, if more resources are allocated to speech recognition, more realistic processing results can be obtained through real or complex arithmetic operations. As another example, if more resources are allocated to speech recognition, a mixed model that includes a greater number of Gaussian distributions may be used. The speech recognition apparatus can discriminate the minute difference of the acoustic characteristics of the speech signal through the speech recognition process having the high computational complexity and can perform the similarity determination of the more accurate acoustic model, The accuracy of speech recognition can be increased.

전술한 실시예에 따르면, 음성 인식 장치는 제 2 인식을 처리할 때 상기 제 1 인식을 처리할 때보다 더 많은 자원이 할당되도록 작업 스케줄링을 수행할 수 있다. 이때, 전술한 바에 따르면, 제 2 인식의 음성 인식의 정확도가 제 1 인식의 정확도 보다 높을 수 있다. 이 경우, 제 1 인식에 따른 키워드와 제 2 인식에 따른 키워드가 서로 다른 경우, 제 2 인식에 따른 키워드를 선택하는 것이 키워드 검출의 정확도의 측면에서 올바른 결정이라고 할 수 있다.According to the above-described embodiment, the speech recognition apparatus can perform the task scheduling so as to allocate more resources when processing the second recognition than when processing the first recognition. At this time, according to the above description, the accuracy of the speech recognition of the second recognition may be higher than the accuracy of the first recognition. In this case, when the keyword according to the first recognition and the keyword according to the second recognition are different, it is correct to select the keyword according to the second recognition in terms of the accuracy of the keyword detection.

한편, 전술한 바에 따르면, 키워드 검출에 이용되는 음향 모델은 적어도 하나의 가우시안 분포를 포함하는 혼합 모델일 수 있다. 이때, 제 2 인식에 제 1 인식보다 많은 자원이 할당되는 경우, 상기 제 2 인식의 음향 모델에 포함되는 가우시안 분포의 수가 상기 제 1 인식의 음향 모델에 포함되는 가우시안 분포의 수 보다 더 클 수 있다. 이하의 설명에서는 제 2 인식을 수행할 때 제 1 인식을 수행할 때보다 많은 자원을 할당한 상황을 가정하나, 본 발명은 이에 한정되지 않는다.On the other hand, according to the above description, the acoustic model used for keyword detection may be a mixed model including at least one Gaussian distribution. At this time, when more resources than the first recognition are allocated to the second recognition, the number of Gaussian distributions included in the acoustic model of the second recognition may be larger than the number of Gaussian distributions included in the acoustic model of the first recognition . In the following description, it is assumed that more resources are allocated than when performing the first recognition when performing the second recognition, but the present invention is not limited thereto.

도 3은 본 발명의 실시예에 따른 음향 모델을 나타낸 도면이다. 도 3의 그래프는 혼합 모델을 통해 구현되는 음향 모델을 2 차원 그래프 상에 도시한 것으로, 도 3의 그래프에서 가로 축은 변수, 세로 축은 해당 변수가 검출되는 빈도 수를 의미한다.3 is a diagram illustrating an acoustic model according to an embodiment of the present invention. The graph of FIG. 3 shows an acoustic model implemented through a mixed model on a two-dimensional graph. In FIG. 3, the horizontal axis represents a variable and the vertical axis represents a frequency at which the variable is detected.

도 3(a) 및 도 3(b)는 제 1 인식을 위해 이용되는 혼합 모델(M1)을 나타낸 것이다. 도 3(a)에 따르면, 제 1 인식을 위한 혼합 모델(M1)은 2 개의 서로 다른 평균 및 분산 값을 가지는 가우시안 분포 G1 및 G2에 기초하여 형성된 것일 수 있다. 이에 따라, 음성 인식 장치는 제 1 인식을 수행할 때 상기 가우시안 분포 G1 및 G2가 병합된 형태의 혼합 모델(M1, 도 3(b), 점선))인 음향 모델을 이용하여 키워드 검출을 수행할 수 있다.Figs. 3 (a) and 3 (b) show a mixed model M1 used for the first recognition. According to Fig. 3 (a), the mixed model M1 for the first recognition may be formed based on the Gaussian distributions G1 and G2 having two different mean and variance values. Accordingly, when performing the first recognition, the speech recognition apparatus performs keyword detection using an acoustic model, which is a mixed model (M1, FIG. 3 (b), dotted line) in which the Gaussian distributions G1 and G2 are merged .

도 3(c) 및 도 3(d)는 제 2 인식을 위해 이용되는 혼합 모델(M2)을 나타낸 것이다. 도 3(c)에 따르면, 제 2 인식을 위한 혼합 모델(M2)은 4 개의 서로 다른 평균 및 분산 값을 가지는 가우시안 분포 G1 내지 G4에 기초하여 형성된 것일 수 있다. 이에 따라, 음성 인식 장치는 제 2 인식을 수행할 때 상기 가우시안 분포 G1 내지 G4가 병합된 형태의 혼합 모델(M2, 도 3(d), 점선))인 음향 모델을 이용하여 키워드 검출을 수행할 수 있다.Fig. 3 (c) and Fig. 3 (d) show the mixed model M2 used for the second recognition. According to Fig. 3 (c), the mixed model M2 for the second recognition may be formed based on the Gaussian distributions G1 to G4 having four different mean and variance values. Accordingly, when performing the second recognition, the speech recognition apparatus performs keyword detection using an acoustic model, which is a mixed model (M2, Fig. 3 (d), dotted line) in which the Gaussian distributions G1 to G4 are merged .

음향 모델에 포함되는 가우시안 분포의 수가 증가할수록 키워드 검출에 필요한 자원의 양 역시 증가될 수 있다. 하지만, 음성 인식 장치는 제 1 인식을 수행할 때보다 많은 수의 가우시안 분포가 포함된 음향 모델을 이용하여 제 2 인식을 수행함으로써 키워드 검출의 정밀도를 더 높일 수 있다.As the number of Gaussian distributions included in the acoustic model increases, the amount of resources required for keyword detection can also be increased. However, the speech recognition apparatus can perform the second recognition using an acoustic model including a larger number of Gaussian distributions than when performing the first recognition, thereby further improving the accuracy of keyword detection.

여기서, 음성 인식 장치는 상기 제 1 인식의 결과 데이터와 상기 제 2 인식의 결과 데이터가 기 설정된 횟수 이상 서로 다른 것으로 판별되는 경우 상기 제 1 인식의 음향 모델에 포함되는 가우시안 분포의 수를 증가시킬 수 있다. 이를 구현하기 위한 하나의 예시로써, 음성 인식 장치는 상기 제 1 인식의 결과 데이터와 상기 제 2 인식의 결과 데이터가 서로 다른 경우 카운터(counter) 역할을 수행하는 변수의 값을 증가시키고, 상기 변수의 값이 기 설정된 한계 카운터 이상인 경우 상기 제 1 인식의 음향 모델에 포함되는 가우시안 분포의 수를 증가[0]시킬 수 있다. 이를 통해, 음성 인식 장치는 제 1 인식의 키워드 검출 정확도를 상승시킬 수 있다.Here, when the result data of the first recognition and the result data of the second recognition are determined to be different from each other by a predetermined number or more, the speech recognition apparatus may increase the number of Gaussian distributions included in the acoustic model of the first recognition have. As an example for realizing this, the speech recognition apparatus increases the value of a counter serving as a counter when the result data of the first recognition and the result data of the second recognition are different from each other, Value is greater than or equal to a preset limit counter, the number of Gaussian distributions included in the acoustic model of the first recognition can be increased [0]. Thus, the speech recognition apparatus can raise the keyword detection accuracy of the first recognition.

도 4는 본 발명의 실시예에 따른 클리어(clear) 파트를 나타낸 도면이다. 도 4의 f1 내지 f9는 음성 신호의 각 프레임을 나타내며, 각 프레임은 음성 신호에 포함된 배경 잡음의 잡음 레벨(noise level) 값(dB 단위로 표기 됨)을 가질 수 있다. 도 4에서 화살표는 음성 인식 장치가 처리 중인 프레임을 나타낸다.4 is a view showing a clear part according to an embodiment of the present invention. In FIG. 4, f1 to f9 represent respective frames of a speech signal, and each frame may have a noise level value (expressed in dB) of the background noise included in the speech signal. In Fig. 4, the arrow indicates a frame being processed by the speech recognition apparatus.

음성 인식 장치는 음성 신호에 포함된 배경 잡음의 잡음 레벨을 추정하고, 상기 잡음 레벨이 기 설정된 한계 잡음 레벨 이상인 경우 제 2 인식의 결과 데이터를 최종 인식 데이터로 선택할 수 있다. 예를 들어, 도 4 에서 기 설정된 한계 잡음 레벨이 10 dB인 상황을 가정할 수 있다. 이 경우, 음성 인식 장치는 프레임 f1 내지 f3의 배경 잡음의 잡음 레벨이 한계 잡음 레벨 이상인 것으로 판단할 수 있으며, 이에 따라 프레임 f1 내지 f3에 대한 키워드 검출을 수행할 때 제 2 인식의 결과 데이터를 최종 인식 데이터로 선택할 수 있다.The speech recognition apparatus estimates the noise level of the background noise included in the speech signal, and can select the result data of the second recognition as the final recognition data when the noise level is equal to or higher than a predetermined threshold noise level. For example, it can be assumed that the predetermined threshold noise level is 10 dB in FIG. In this case, the speech recognition apparatus can determine that the noise level of the background noise of the frames f1 to f3 is equal to or higher than the threshold noise level, and thereby, when performing keyword detection for the frames f1 to f3, It can be selected by recognition data.

여기서, 음성 인식 장치는 상기 음성 신호의 프레임 중 상기 잡음 레벨이 상기 한계 잡음 레벨 미만인 프레임인 클리어(clear) 프레임이 연속적으로 기 설정된 개수 이상 존재하는 경우, 상기 연속적인 클리어 프레임을 클리어 파트로 지정하고 상기 클리어 파트에 대한 상기 제 1 인식의 결과 데이터를 상기 클리어 파트의 상기 최종 인식 데이터로 선택할 수 있다. 예를 들어, 전술한 예와 동일하게 한계 잡음 레벨이 10 dB이고, 기 설정된 개수가 3인 상황을 가정할 수 있다. 이 경우, 음성 인식 장치는 도 4의 상황에서 프레임 f4 내지 f7을 클리어 프레임으로 판별할 수 있으며, f4 내지 f7을 클리어 파트로 지정할 수 있다. 이에 따라, 음성 인식 장치는 클리어 파트인 f4 내지 f7에 대한 키워드 검출시, 제 1 인식의 결과 데이터를 최종 인식 데이터로 선택할 수 있다. 잡음 레벨이 낮은 경우 키워드 검출률이 증가하고 오인식률이 저하되기 때문에 제 1 인식의 결과 데이터의 정확도가 제 2 인식의 결과 데이터의 정확도에 근접할 수 있다. 즉, 본 발명의 실시예에 따른 음성 인식 장치는 배경 잡음Here, if the number of consecutive clear frames, which is a frame in which the noise level is less than the threshold noise level, is present in the frame of the speech signal, the speech recognition apparatus designates the consecutive clear frame as a clear part The result data of the first recognition for the clear part can be selected as the final recognition data of the clear part. For example, it can be assumed that the threshold noise level is 10 dB and the predetermined number is 3, as in the above-described example. In this case, the speech recognition apparatus can determine the frames f4 to f7 as clear frames in the situation of Fig. 4, and designate f4 to f7 as clear parts. Accordingly, the speech recognition apparatus can select the result data of the first recognition as the final recognition data at the time of keyword detection for the clear parts f4 to f7. If the noise level is low, the keyword detection rate increases and the false recognition rate decreases, so that the accuracy of the result data of the first recognition can be close to the accuracy of the result data of the second recognition. That is, the speech recognition apparatus according to the embodiment of the present invention includes background noise

도 5는 본 발명의 실시예에 따른 음성 인식 방법을 나타낸 도면이다. 도 5에 따르면, 음성 인식 장치는 음성 신호를 수신(S101)할 수 있다. 그리고, 음성 인식 장치는 상기 음성 신호로부터 기 설정된 키워드를 검출하는 제 1 인식을 수행(S102)할 수 있다. 그리고, 음성 인식 장치는 상기 음성 신호 중, 상기 키워드를 포함하는 것으로 판별되는 일부 구간인 인식 대상 파트에 대하여 상기 키워드를 검출하는 제 2 인식을 수행(S103)할 수 있다. 그리고, 음성 인식 장치는 상기 제 1 인식의 결과 데이터 및 상기 제 2 인식의 결과 데이터에 기초하여 최종 인식 데이터를 생성(S104)할 수 있다. 상기 제 1 인식, 상기 제 2 인식은 도 1 내지 도 4에서 설명한 방식에 따라 수행될 수 있다. 그리고 음성 인식 장치가 상기 최종 인식 데이터를 생성하는 방식 역시 도 1 내지 도 4에서 설명한 방식에 대응되며, 이에 대한 상세한 설명은 중복되므로 생략하도록 한다.5 is a diagram illustrating a speech recognition method according to an embodiment of the present invention. According to FIG. 5, the speech recognition apparatus can receive a voice signal (S101). Then, the speech recognition apparatus can perform the first recognition for detecting the preset keyword from the speech signal (S102). Then, the speech recognition apparatus may perform a second recognition (S103) for detecting the keyword with respect to the recognition target part, which is a part of the speech signal that is determined to include the keyword. Then, the speech recognition apparatus can generate final recognition data based on the result data of the first recognition and the result data of the second recognition (S104). The first recognition and the second recognition may be performed according to the method described in Figs. Also, the manner in which the speech recognition apparatus generates the final recognition data corresponds to the method described with reference to FIGS. 1 to 4, and a detailed description thereof will be omitted.

본 발명의 실시예에 따르면, 본 발명의 실시예에 따르면, 복수의 키워드 검출 결과를 비교함으로써 보다 정확한 키워드 검출을 수행할 수 있다. 특히, 키워드를 포함하는 인식 대상 파트에 대하여 보다 많은 연산 자원을 이용한 키워드 검출을 수행함으로써 키워드 검출 및 키워드 인식의 정확도를 높일 수 있다. 또한, 본 발명의 실시예에 따르면, 사용자의 음성을 취득한 환경의 특성에 기초한 키워드 인식을 수행할 수 있으며, 이를 통해 키워드 검출의 효율성을 높일 수 있다.According to the embodiment of the present invention, according to the embodiment of the present invention, more accurate keyword detection can be performed by comparing a plurality of keyword detection results. In particular, the accuracy of keyword detection and keyword recognition can be improved by performing keyword detection using more computational resources for a part to be recognized including a keyword. Also, according to the embodiment of the present invention, it is possible to perform keyword recognition based on the characteristics of the environment in which the user's voice is acquired, thereby increasing the efficiency of keyword detection.

이상에서 본 발명을 구체적인 실시예를 통하여 설명하였으나, 당업자라면 본 발명의 취지를 벗어나지 않는 범위 내에서 수정, 변경을 할 수 있을 것이다. 따라서 본 발명이 속하는 기술분야에 속한 사람이 본 발명의 상세한 설명 및 실시예로부터 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석되어야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention. Accordingly, it is to be understood that within the scope of the appended claims, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims.

Claims

A transmission / reception module for receiving a voice signal; And
Wherein the speech recognition unit performs a first recognition for detecting a preset keyword from the speech signal, and performs a first recognition for detecting a predetermined keyword from a plurality of frames of the speech signal, And a processor for generating final recognition data based on the result data of the first recognition and the result data of the second recognition,
The processor comprising:
Calculating a degree of similarity between an acoustic feature of at least one head frame of the recognition target part and an acoustic model of the keyword, and if the degree of similarity is equal to or greater than a predetermined basic threshold value, The second recognition is performed by detecting a keyword associated with the acoustic model in the speech signal when the re-calculated similarity is equal to or greater than a predetermined extension threshold value,
Wherein the extended threshold value is larger than the basic threshold value.

The method according to claim 1,
The processor comprising:
When the result data of the first recognition and the result data of the second recognition are different from each other, the result data of the second recognition is selected as the final recognition data.

The method according to claim 1,
Wherein the first recognition and the second recognition are performed when the processor extracts the acoustic feature from the speech signal and determines whether or not the keyword exists based on the similarity between the acoustic model and the acoustic model of the keyword The speech recognition apparatus comprising:

The method of claim 3,
Wherein the processor allocates resources required for the first recognition and the second recognition through job scheduling for allocating resources used for data operations,
The processor comprising:
And performs the task scheduling to determine the amount of resources to be allocated to the first recognition and the second recognition based on the characteristics of the environment in which the speech signal is acquired.

5. The method of claim 4,
The characteristics of the environment in which the speech signal is acquired include a noise level of background noise included in the speech signal, a signal-to-noise ratio of the speech signal, and a reverberation time of the environment in which the speech signal is acquired And at least one of the speech recognition unit and the speech recognition unit.

The method of claim 3,
Wherein the processor allocates resources necessary for the first recognition and the second recognition through job scheduling for allocating resources used for data operations,
The processor comprising:
And performs the task scheduling so as to allocate more resources when processing the second recognition than when processing the first recognition.

The method according to claim 6,
Wherein the acoustic model used for the first recognition and the acoustic model used for the second recognition are mixture models including at least one Gaussian distribution,
Wherein the number of Gaussian distributions included in the acoustic model of the second recognition is larger than the number of Gaussian distributions included in the acoustic model of the first recognition.

8. The method of claim 7,
The processor comprising:
Wherein the number of Gaussian distributions included in the acoustic model of the first recognition is increased when the result data of the first recognition and the result data of the second recognition are determined to be different from each other by a predetermined number or more, Device.

delete

The method according to claim 1,
Wherein the audio signal is composed of a plurality of frames,
Wherein the first recognition comprises:
The processor calculates the similarity between the acoustic model of the search frame having a predetermined length and the acoustic model of the frame of the speech signal, and if the similarity is less than the extension threshold value, The detection of the keyword is stopped and the second recognition is started,
Wherein the second recognition comprises:
Wherein the processor is a processing method for detecting the keyword in a search frame in which detection of the keyword according to the first recognition is stopped.

The method according to claim 1,
Wherein the voice signal and the part to be recognized are composed of a plurality of frames,
Wherein the processor uses parameters related to speech recognition, which are changed according to the value of each frame when sequentially performing keyword detection on the frame,
Wherein the processor uses a predetermined parameter initial value when detecting the keyword for the first frame of the recognition target part in accordance with the second recognition.

The method according to claim 1,
Wherein the audio signal is composed of a plurality of frames,
The processor comprising:
Wherein the speech frame is divided into a silence part having a predetermined signal-to-noise ratio and a silence part having a predetermined signal-to-noise ratio, and a voice part other than the silence part, , The keyword is not detected from the search frame.

13. The method of claim 12,
The processor comprising:
And does not detect the keyword from the search frame if the average energy of the search frame is less than a predetermined threshold energy.

The method according to claim 1,
The processor comprising:
Estimating a noise level of background noise included in the speech signal,
And selects the result data of the second recognition as the final recognition data when the noise level is equal to or higher than a predetermined limit noise level.

15. The method of claim 14,
Wherein the voice signal and the part to be recognized are composed of a plurality of frames,
The processor comprising:
When the number of consecutive clear frames, which is a frame in which the noise level is lower than the threshold noise level, is present in a frame of the speech signal, the consecutive clear frame is designated as a clear part, And selects the result data of the first recognition as the final recognition data of the clear part.

Receiving a voice signal;
Performing a first recognition for detecting a predetermined keyword from the speech signal;
Performing a second recognition of the speech signal, which is composed of a plurality of frames, and detects the keyword for a part to be recognized which is a partial section that is determined to include the keyword; And
Generating final recognition data based on result data of the first recognition and result data of the second recognition,
Wherein performing the second recognition comprises:
Calculating a similarity between an acoustic feature of at least one head frame of the recognition target part and an acoustic model of the keyword;
If the degree of similarity is equal to or greater than a predetermined basic threshold value, using the acoustic features of a predetermined number of subsequent frames to emit the similarity; And
And detecting a keyword associated with the acoustic model in the voice signal when the re-calculated similarity is equal to or greater than a predetermined extension threshold value,
Wherein the extended threshold value is greater than the basic threshold value.