KR19990043759A

KR19990043759A - Speech recognition method using bone conduction microphone

Info

Publication number: KR19990043759A
Application number: KR1019970064801A
Authority: KR
Inventors: 김회린; 안영목; 강동규
Original assignee: 정선종; 한국전자통신연구원
Priority date: 1997-11-29
Filing date: 1997-11-29
Publication date: 1999-06-15

Abstract

본 발명은 골도 마이크를 이용한 음성 인식 방법에 관한 것이다. 신호 대 잡음비가 10dB 내지 -5dB인 고 잡음 환경에서의 음성 인식 시스템은 음성에 섞여 있는 잡음으로 인해 정확한 음성 구간의 검출이 불가능하고 음성 특징 벡터 추출 시에도 잡음으로 인하여 입력된 음성 자체의 고유한 특징을 추출해 내기가 어렵다. 따라서 주변이 조용한 환경에서 잘 동작하는 음성 인식기를 고 잡음 환경에서 사용하면 인식 성능이 급격히 저하된다. 종래에는 이러한 문제점을 해결하기 위하여 주변 환경의 잡음이 마이크에 입력되는 비율을 낮추기 위해 지향성 마이크를 사용하는 방법, 입력된 신호로부터 잡음을 제거하기 위하여 아날로그/디지털 변환된 디지털 신호를 적응 신호처리 하여 음질을 개선하는 방법, 잡음이 혼합된 음성 신호로부터 잡음에 강인한 특징 벡터를 추출하는 방법 등을 사용하였다. 그러나 이러한 방법들도 고 잡음 환경에서는 여전히 정확한 음성 구간 검출이나 음성 자체의 고유한 특징을 추출해 내는데 한계가 있어, 음성 인식의 성능이 크게 개선되지 못하는 문제점이 있다. 따라서 본 발명에서는 고 잡음 환경에서 골도(bone conduction) 마이크를 사용함으로써 음성 입력 단계에서 미리 잡음을 제거하여 음성 인식 성능을 향상시킬 수 있는 골도 마이크를 이용한 음성 인식 방법이 제시된다.The present invention relates to a speech recognition method using a bone conduction microphone. In a high-noise environment with a 10dB to -5dB signal-to-noise ratio, the speech recognition system cannot detect the correct speech section due to the noise mixed in the speech, and inherent characteristics of the input speech itself due to noise even when extracting the speech feature vector. It is difficult to extract Therefore, using a voice recognizer that works well in quiet surroundings in a high noise environment can drastically reduce recognition performance. Conventionally, in order to solve this problem, a method of using a directional microphone to reduce the ratio of the noise of the surrounding environment to the microphone, and adaptive signal processing of the analog / digital converted digital signal to remove the noise from the input signal In this paper, we use the method to improve the performance and extract the feature vector robust to the noise from the mixed speech signal. However, even in these high-noise environments, there is a limit in extracting accurate speech sections or extracting unique features of speech itself, which does not significantly improve the performance of speech recognition. Accordingly, the present invention proposes a speech recognition method using a bone conduction microphone that can improve the speech recognition performance by removing the noise in advance in the speech input stage by using a bone conduction microphone in a high noise environment.

Description

Speech recognition method using bone conduction microphone

본 발명은 골도 마이크(bone conduction microphone)를 이용한 음성 인식 방법에 관한 것으로, 특히 고 잡음 환경에서 음성 인식 성능을 향상시키기 위해 골도 마이크를 사용하므로써 입력된 음성의 신호 대 잡음비(Signal-to-Noise Ratio ;SNR)를 개선시키고 음성 특징 벡터 추출을 위한 계산 량을 감소시킬 수 있는 골도 마이크를 이용한 음성 인식 방법에 관한 것이다.The present invention relates to a speech recognition method using a bone conduction microphone, and in particular, a signal-to-noise ratio of a voice input by using a bone conduction microphone to improve speech recognition performance in a high noise environment. ; SNR) and a speech recognition method using a bone conduction microphone that can reduce the amount of computation for speech feature vector extraction.

음성 인식(Speech Recognition) 기술이란 사용자가 발성한 음성을 분석하여 그 발성 내용이 무엇인지를 알아내는 기술을 말한다. 일반적인 고 잡음 환경에서의 음성 인식 시스템은 지향성 마이크 및 A/D 변환기로 구성되는 음성 입력부, 음질 개선부, 음성 구간 검출부, 음성 특징 추출부, 기준 패턴 비교부, 인식 결과 검증부 및 인식 결과 출력부로 구성된다. 음성 인식 시스템에서 음성 입력부, 음질 개선부 및 음성 특징 추출부는 고 잡음 환경에서 잡음에 의해 왜곡된 음성으로부터 그 음성 본래의 특징을 추출해 내는 역할을 한다.Speech Recognition technology refers to a technology that analyzes a voice spoken by a user and finds out what the speech is. In a typical high noise environment, a speech recognition system includes a speech input unit consisting of a directional microphone and an A / D converter, a sound quality improving unit, a speech section detector, a speech feature extractor, a reference pattern comparison unit, a recognition result verification unit, and a recognition result output unit. It is composed. In the speech recognition system, the voice input unit, the sound quality improving unit, and the voice feature extracting unit extract the original features of the voice from the speech distorted by the noise in a high noise environment.

이러한 음성 인식 시스템은 고 잡음 환경에서 음성에 섞여 있는 잡음으로 인해 정확한 음성 구간 검출이 거의 불가능할 뿐만 아니라 음성 특징 벡터 추출 시에도 잡음으로 인하여 입력된 음성 자체의 고유한 특징을 추출해 내기가 매우 어렵다. 따라서 주변이 조용한 환경에서 잘 동작하는 음성 인식기를 고 잡음 환경에서 사용하면 인식 성능이 급격히 저하된다.Such a speech recognition system is almost impossible to detect an accurate speech section due to noise mixed in the voice in a high noise environment, and it is very difficult to extract a unique feature of the input speech itself due to noise even when extracting a speech feature vector. Therefore, using a voice recognizer that works well in quiet surroundings in a high noise environment can drastically reduce recognition performance.

종래에는 이러한 문제점을 해결하기 위하여 음성 입력부에서 주변 환경의 잡음이 마이크에 입력되는 비율을 낮추기 위해 지향성 마이크를 사용하는 방법, 마이크 어레이를 사용하여 여러 채널의 신호를 받아 이를 신호처리 기법으로 잡음을 제거하는 방법 등을 사용하였지만 이러한 방법들로는 고 잡음이 개입된 음성 신호를 개선하는데 한계가 있다. 고 잡음 환경에서 음성 인식 성능을 향상시키기 위한 또다른 방법으로는 입력된 신호로부터 잡음을 제거하는 음질 개선 방법이 있다. 이 방법은 아날로그/디지털(Analog/Digital ;A/D) 변환된 디지털 신호의 잡음 구간에서 잡음의 주파수 특성을 분석하여 이를 이용해 음성 구간 신호에서 적응 신호처리로 잡음을 제거하여 음질을 개선하는 방법으로, 이 방법 또한 잡음 특성이 일정한 환경에서는 비교적 잘 동작하지만, 불규칙한 고 잡음이 개입되면 성능이 급격히 저하되는 단점이 있다. 또한 잡음이 혼합된 음성 신호로부터 잡음에 강인한 특징 벡터를 추출하는 방법이 있다. 그러나 이 방법도 신호 대 잡음비가 10dB 이상의 비교적 양호한 환경에서 효과가 있다. 따라서 이러한 방법들을 함께 사용할 때 그 효과가 가장 좋지만, 아직도 불규칙한 고 잡음에서는 여전히 정확한 음성 구간 검출이나 음성 자체의 고유한 특징을 추출해 내는데 한계가 있어서 음성 인식의 성능이 크게 개선되지 못하는 단점이 있다.Conventionally, in order to solve this problem, a voice input unit uses a directional microphone to reduce the rate at which the noise of the surrounding environment is input to the microphone, and receives a signal of multiple channels using a microphone array and removes the noise using a signal processing technique. However, these methods have limitations in improving a high noise-involved speech signal. Another way to improve speech recognition performance in high noise environments is to improve noise quality by removing noise from the input signal. This method analyzes the frequency characteristics of noise in the noise section of analog / digital (A / D) -converted digital signal and improves the sound quality by removing the noise from the speech section signal by adaptive signal processing. In addition, this method also works well in environments with constant noise characteristics, but has a disadvantage in that performance is drastically degraded when irregular high noise is involved. In addition, there is a method of extracting a feature vector that is robust to noise from a mixed speech signal. However, this method also works in a relatively good environment with a signal-to-noise ratio of more than 10dB. Therefore, the effect is the best when using these methods together, but there is a limit in extracting the distinctive features of the speech segment or the speech itself in the still irregular high noise, which does not improve the performance of speech recognition significantly.

따라서, 본 발명은 음성 입력 단계에서 미리 잡음을 제거하여 음질을 개선시키고 잡음 제거를 위한 적응 신호처리를 사용하지 않아 계산 량을 감소시킬 수 있으며 입력된 음성 신호에 가장 접합한 특징 추출을 수행하여 음성 인식의 성능을 향상시킬 수 있는 골도 마이크를 이용한 음성 인식 방법을 제공하는데 그 목적이 있다.Therefore, the present invention can improve the sound quality by removing noise in advance in the speech input step and reduce the amount of calculation by not using the adaptive signal processing for noise removal, and perform the feature extraction that is most bonded to the input speech signal. An object of the present invention is to provide a speech recognition method using a bone conduction microphone that can improve the recognition performance.

상술한 목적을 달성하기 위한 본 발명에 따른 골도 마이크를 이용한 음성 인식 방법은 사용자의 음성 명령어를 골도 마이크를 통해 입력하는 단계와, 상기 골도 마이크를 통해 입력된 아날로그 신호 형태의 사용자 음성 명령어를 아날로그/디지털 변환기를 통하여 디지털 신호로 변환하는 단계와, 상기 디지털 신호로 변환된 전체 음성 신호 중에서 신호 대 잡음비가 우수한 음성 구간만을 검출하는 단계와, 상기 신호 대 잡음비가 우수한 음성 구간에 대해서 골도 마이크의 주파수 특성을 고려한 골도 음성 특징 벡터를 추출하는 단계와, 상기 추출된 음성 특징 벡터와 기저장된 단어 기준 패턴을 비교하여 가장 유사도가 큰 어휘를 출력하는 단계를 포함하여 이루어지는 것을 특징으로 한다.Voice recognition method using a bone conduction microphone according to the present invention for achieving the above object comprises the steps of inputting a user's voice command through the bone conduction microphone, analog / input of the user's voice command in the form of an analog signal input through the bone conduction microphone Converting to a digital signal through a digital converter, detecting only a voice section having a good signal-to-noise ratio among all voice signals converted into the digital signal, and frequency characteristics of the bone conduction microphone for the voice section having a good signal-to-noise ratio And extracting the bone marrow speech feature vector taking into consideration and comparing the extracted speech feature vector with a pre-stored word reference pattern to output a vocabulary having the highest similarity.

도 1은 본 발명이 적용되는 하드웨어 구성도.1 is a hardware configuration to which the present invention is applied.

도 2는 종래의 음성 인식 방법을 설명하기 위해 도시한 흐름도.2 is a flowchart illustrating a conventional speech recognition method.

도 3은 본 발명에 따른 골도 마이크를 이용한 음성 인식 방법을 설명하기 위해 도시한 흐름도.3 is a flowchart illustrating a voice recognition method using a bone conduction microphone according to the present invention.

<도면의 주요 부분에 대한 부호 설명><Description of the symbols for the main parts of the drawings>

11 : 음성 입력 장치 12 : 아날로그/디지털 변환장치11: voice input device 12: analog / digital converter

13 : 기억 장치 14 : 중앙 처리 장치13: storage device 14: central processing unit

15 : 인식 결과 출력 장치15: recognition result output device

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described in detail the present invention.

도 1은 본 발명이 적용되는 하드웨어의 구성도이다.1 is a block diagram of hardware to which the present invention is applied.

음성 입력 장치(11)로 컴퓨터에 사용자가 음성 인식을 요구하는 발성을 하면 컴퓨터 내의 A/D 변환 장치(12)를 거쳐 음성은 아날로그 신호에서 디지털 신호로 변환된다. 중앙 처리 장치(14)는 이 디지털 음성 데이터로부터 음성 구간을 검출하고 이 영역에 대한 음성 특징 벡터를 추출하며, 이 특징 벡터와 기억 장치(13) 내에 저장되어 있던 각 어휘들의 기준 패턴을 비교하여 가장 유사한 어휘를 찾는다. 이후, 인식 결과 검증 단계를 거쳐 출력 장치(15)를 통해서 음성 인식 결과를 출력시킨다.When the user speaks to the computer using the voice input device 11, the voice is converted from the analog signal to the digital signal via the A / D conversion device 12 in the computer. The central processing unit 14 detects a speech section from the digital speech data, extracts a speech feature vector for this region, compares the feature vector with a reference pattern of each vocabulary stored in the storage device 13, and simulates the speech section. Find similar vocabulary. Thereafter, the voice recognition result is output through the output device 15 through the verification result verification step.

도 2는 종래의 음성 인식 방법을 설명하기 위해 도시한 흐름도이다.2 is a flowchart illustrating a conventional speech recognition method.

먼저, 사용자의 음성 명령어가 지향성 마이크를 통해 입력(201)되면 A/D 변환기에서 아날로그 신호로 입력된 음성 명령어를 디지털 신호로 변환(202)한다. 이후 적응 신호처리 기법으로 입력된 신호에서 잡음 신호를 줄여 음질을 개선한다(203). 이렇게 하여 신호 대 잡음비가 개선된 전체 신호 중 음성 구간만을 검출(204)하고, 잡음에 강인한 음성 특징 벡터를 추출한다(205). 이후 이러한 단계(201 내지 205)를 거쳐 미리 저장해 놓은 인식 대상 단어들의 기준 패턴과 현재 추출한 음성 특징 벡터를 비교(206)하여 가장 유사도가 큰 어휘를 인식 결과로 출력(207)한다.First, when a voice command of a user is input 201 through a directional microphone, the voice command input as an analog signal is converted into a digital signal by the A / D converter (202). After that, the noise is reduced in the signal input by the adaptive signal processing technique to improve the sound quality (203). In this way, only a voice section is detected (204) among all signals having an improved signal-to-noise ratio, and a voice feature vector robust to noise is extracted (205). Thereafter, through steps 201 to 205, the reference pattern of the pre-stored words to be recognized and the currently extracted speech feature vector are compared 206 to output the vocabulary having the highest similarity as the recognition result (207).

이러한 방법은 음성 입력부에서 주변 환경의 잡음이 마이크에 입력되는 비율을 낮추기 위해 지향성 마이크를 사용하였지만 고 잡음이 개입된 음성 신호를 개선하는데는 한계가 있다. 또한 잡음이 혼합된 음성 신호로부터 잡음에 강인한 특징 벡터를 추출하는 방법을 도입하였지만 이 방법 또한 신호 대 잡음비가 10dB 이상의 비교적 양호한 환경에서 효과적이므로 불규칙한 고 잡음 환경에서는 여전히 정확한 음성 구간의 검출이나 음성 자체의 고유한 특징을 추출하기 어려워 음성 인식 성능이 개선되지 못하는 문제점이 있다.This method uses a directional microphone to reduce the rate at which the noise of the surrounding environment is input to the microphone at the voice input unit, but there is a limit to improving the voice signal with high noise. In addition, we introduced a method to extract the robust feature vectors from noise-mixed speech signals, but this method is also effective in a relatively good environment with a signal-to-noise ratio of more than 10 dB. It is difficult to extract unique features, and thus there is a problem that speech recognition performance is not improved.

도 3은 본 발명에 따른 골도 마이크를 이용한 음성 인식 방법을 설명하기 위해 도시한 흐름도이다.3 is a flowchart illustrating a voice recognition method using a bone conduction microphone according to the present invention.

신호 대 잡음비가 10dB ~ -5dB인 고 잡음 환경에서의 음성 인식을 위하여 기존의 지향성 마이크 및 잡음 제거용 적응 신호처리 방법 대신에 골도 마이크를 사용한다. 이 골도 마이크는 음성 신호가 입을 거쳐 공기를 진동 시켜 전달되는 일반적인 방식의 마이크가 아니라, 사람의 음성이 그 사람의 머리를 구성하는 뼈를 진동시키는 것을 센서로 감지하여 음성 신호를 받아들이는 마이크이다. 이러한 골도 마이크의 종류는 사람 머리에 부착하는 위치에 따라 여러 가지가 있지만 귀에 끼워 넣는 방식이 일반적이다. 골도 마이크를 사용하면 주변 잡음이 음성 신호에 부가되지 않기 때문에 신호 대 잡음비가 매우 우수하지만, 음성 신호 자체를 공기의 진동으로부터 얻지 않고 뼈의 진동으로부터 얻기 때문에 주파수 특성이 일반 마이크에 비하여 좋지 않다. 따라서 이러한 골도 마이크로부터의 음성 신호에서 음성 인식을 위한 특징 벡터를 추출할 때에는 해당 골도 마이크의 주파수 특성을 분석하고 그에 따라 최적의 특징 벡터를 계산해 내야 한다.For speech recognition in high-noise environments with signal-to-noise ratios of 10dB to -5dB, bone conduction microphones are used instead of conventional directional microphones and adaptive signal processing for noise cancellation. The bone conduction microphone is not a microphone which is a general method in which a voice signal is transmitted by vibrating air through the mouth, but a microphone that detects a person's voice vibrating bone constituting the person's head with a sensor and receives the voice signal. There are many kinds of bone conduction microphones depending on where they are attached to the human head, but they are usually inserted into the ear. Using the bone conduction microphone, the signal-to-noise ratio is very good because ambient noise is not added to the speech signal, but the frequency characteristic is not as good as that of the general microphone because the speech signal itself is not obtained from the vibration of the air but from the bone vibration. Therefore, when extracting the feature vector for speech recognition from the voice signal from the bone conduction microphone, it is necessary to analyze the frequency characteristics of the bone conduction microphone and calculate the optimal feature vector accordingly.

골도 마이크를 이용한 음성 인식 방법을 보다 상세히 설명하면, 먼저, 사용자의 음성 명령어가 골도 마이크를 통해 입력(301)되면 A/D 변환기에서 아날로그 신호로 입력된 음성 명령어를 디지털 신호로 변환한다(302). 이후 전체 신호 중에서 신호 대 잡음비가 우수한 음성 구간만을 검출(303)하고, 골도 마이크의 주파수 특성을 고려한 음성 특징 벡터를 추출한다(304). 이후 이러한 단계(301 내지 304)를 통해 미리 저장해 놓은 인식 대상 단어들의 기준 패턴과 현재 추출한 음성 특징 벡터를 비교(305)하여 가장 유사도가 큰 어휘를 인식 결과로 출력한다(306).Referring to the voice recognition method using the bone conduction microphone in more detail, first, when a user's voice command is input 301 through the bone conduction microphone, the A / D converter converts the voice command input as an analog signal into a digital signal (302). . Thereafter, only a voice section having a good signal-to-noise ratio is detected (303) among all the signals, and a voice feature vector considering the frequency characteristic of the bone conduction microphone is extracted (304). Thereafter, in operation 301 to 304, the reference pattern of the pre-stored recognition target words and the currently extracted speech feature vector are compared 305, and the vocabulary having the highest similarity is output as the recognition result (306).

상술한 바와 같이 본 발명에 따르면 고 잡음 환경에서의 음성 인식 성능을 향상시키기 위해 골도 마이크를 사용하므로써 입력된 음성의 신호 대 잡음비를 개선할 수 있어 음질 개선을 위한 별도의 적응 신호처리가 불필요하고, 잡음이 개입된 음성 인식을 위해 복잡한 특징 벡터 추출 방법 대신 골도 음성 특징 추출 방법을 사용하므로써 계산 량을 감소시킬 수 있는 탁월한 효과가 있다.As described above, according to the present invention, the signal-to-noise ratio of the input voice can be improved by using the bone conduction microphone to improve the voice recognition performance in a high noise environment, so that no separate adaptive signal processing is required for improving sound quality. For noise-recognized speech recognition, the Bone-do speech feature extraction method is used instead of the complex feature vector extraction method.

Claims

Inputting the user's voice command through the bone conduction microphone,

Converting a user voice command in the form of an analog signal input through the bone conduction microphone into a digital signal through an analog / digital converter;

Detecting only a voice section having an excellent signal-to-noise ratio among all voice signals converted into the digital signal;

Extracting a bone conduction speech feature vector in consideration of the frequency characteristics of bone conduction microphones in the speech section having an excellent signal-to-noise ratio;

And comparing the extracted voice feature vector with a pre-stored word reference pattern to output a vocabulary having the highest similarity.