KR0128669B1 - 음성 신호의 실시간 음성부 검출 방법 - Google Patents

Abstract

본 발명은 음성신호의 실시간 음성부 검출 방법에 관한 것으로, 특히, 음성신호를 입력받을시 묵음부분을 자동으로 제거하고 순수한 음성부분만을 실시간으로 검출할 수 있는 음성신호의 실시간 음성부 검출 방법에 관한 것으로, 특히, 실시간 구현이 가능하며, 시작점 검출을 위한 임계치와 끝점 검출을 위한 임계치를 서로 다르게 설정함으로써 종래 기술보다 음성부의 끝점 구간에서 매우 향상된 결과를 보였고, 시작점과 끝점 검출을 위한 임계치가 사용환경에 따라 적절히 변화되므로 알고리즘이 적용환경에 크게 영향을 받지 않고 일정수단 이상의 성능을 유지할 수 있고, 비교적 간단한 파라메타와 알고리즘을 사용하므로 구현이 용이한 효과가 있다.

Description

음성 신호의 실시간 음성부 검출 방법

제1도는 본 발명이 적용되는 하드웨어의 기본 구성도.

제2도는 본 발명의 전체적인 처리 순서도.

제3도는 본 발명의 세부적인 처리 순서도.

* 도면의 주요부분에 대한 부호의 설명

1 : A/D 변환 모듈 2 : 프로그램 메모리

3 : 중앙처리장치 4 : 직접영역 메모리

본 발명은 음성신호의 실시간 음성부 검출 방법에 관한 것으로, 특히, 음성신호를 입력받을시 묵음부분을 자동으로 제거하고 순수한 음성부분만을 실시간으로 검출할 수 있는 음성신호의 실시간 음성부 검출 방법에 관한 것이다.

일반적으로, 음성신호로부터 순수한 음성부분의 시작점 및 끝점을 주변잡음(Environmental Noise)과 분리하여 정확하게 알아내는 일은 음성인식, 합성 및 분석 등 음성공학의 거의 모든 분야에서 매우 중요하다. 최근에 멀티미디어(multimedia) 통신이나 지능망이라는 새로운 개념이 대두되면서 이 분야에 대한 관심이 점점 커지고 있는 실정이다. 특히 음성신호에서의 음성의 경계점 또는 끝점(endpoint)의 검출은 고립단어 인식시스템의 개방에는 반드시 선결되어야만 하는 과제이며 음성부 검출기의 성능은 고립단어 인식시스템의 최종 인식률에 직접적인 영향을 주게 된다. 또한 믿을 수 있는 음성부 검출 알고리즘이 존재한다면 불필요한 묵음(silence)을 사전에 제거함으로서 단어 인식에 소요되는 시간을 줄일 수도 있는 것이다. 한편, 음성부 검출 알고리즘은 대용량 음성 데이타베이스의 효율적인 구축에도 크게 기여할 수 있다. 즉, 종래에는 미리 녹음되어 있는 음성데이타를 각 단어 또는 문장단위로 잘라내어 음성 데이타베이스를 구축하는 과정은 현재는 주로 전문가가 직접 음성신호를 컴퓨터 화면에 디스플레이해서 음성의 경계점을 수동으로 판정하여 필요한 부분만 잘라서 컴퓨터의 기억장치에 저장하는 지루하고도 많은 시간이 소요되는 절차를 거치고 있다. 따라서, 만일 신뢰할 수 있는 음성부 검출기가 실현된다면 약간의 손쉬운 변형만으로도 이 지루한 과정들이 자동화될 수 있는 것이다.

신호대 잡음비가 상당히 큰 경우를 제외하고는 고품질의 음성부 검출기를 실현한다는 것은 쉽지 않은 일이라는 것은 널리 알려져 있는 사실이다. 즉 신호대 잡음비가 충분히 큰 경우는 가장 작은 에너지 레벨을 갖는 음성신호라 할지라도 주변잡음보다는 큰 에너지값을 가지므로 에너지함수만 이용하여도 성능이 좋은 음성부 검출기를 쉽게 구현할 수 있는 것이다. 일반적으로 신호대잡음비가 30dB를 넘는 경우에는 에너지와 영교차율(Zero Crossing Rate)을 이용하여 간단하게 음성부 검출 알고리즘을 실현할 수 있다고 알려져 있다. 이 경우 가장 작은 음성신호라 할지라도 그 에너지가 주변잡음 에너지보다 커지므로 손쉽게 음성부 검출 알고리즘을 실현할 수 있는 것이다.

그러나, 이렇게 이상적인 조건이 현실적으로 실현되기 어렵기 때문에 지금까지도 많은 연구가 이루어지고 있는 것이다. 음성부 검출기에 관하여 지금까지 보고된 주요 연구결과들 에너지와 영교차율을 이용한 방법, HMM(Hidden Markov Modeling)을 이용한 방법, 레벨 이퀄라이저(Level Equalizer)를 통과한 음성신호의 에너지펄스를 이용한 방법, 음성과 EGG(Electro Glotto Graph) 정보를 이용한 2채널(two-channel)방법, 음성신호의 저주파영역 에너지를 특징변수로 이용하여 음성부 검출기의 성능을 향상시키는 방법 그리고, 오리지날과 프리앰퍼사이즈도 신호에 대한 에너지, 영교차율 및 개량된(modified) 영교차율이라는 새로운 변수를 사용하는 방법 등이 있다.

그러나, 상기와 같이 언급된 여러 음성부 검출 알고리즘은 그 특성상 음성신호의 시작과 끝을 먼저 알고 있어야만이 음성부 검출을 수행할 수 있는 이중구조로 되어 있어 실시간 구현에는 많은 어려움이 있어 왔고, 대부분의 방법이 고정된 임계치를 사용하여 음성부를 검출하고 있으므로 알고리즘이 적용되는 환경이 바뀌면 음성부 검출 성능이 일정하게 보장될 수가 없는 등의 문제점을 초래했다.

따라서, 상기 문제점을 해결하기 위하여 안출된 본 발명은, 실시간을 필요로하는 상용화 시스템의 구현에 적합한 실시간 구현이 가능하면서도 알고리즘이 사용되는 환경에 따라 임계치들이 가변적으로 적절히 계산되어지므로 사용환경에 별다른 제약없이 항상 정확한 음성부 검출을 수행할 수 있는 음성신호의 실시간 음성부 검출 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위하여 본 발명은, 중앙처리장치, 프로그램메모리, 아날로그/디지탈 변환수단, 직접영역 메모리를 구비하는 하드웨어에 적용되는 음성신호의 실시간 음성부 검출 방법에 있어서, 입력음성신호를 디지탈신호로 변환하고, 일정한 길이의 프레임 단위로 변환한 후 음성부 검출에 필요한 소정의 임계치를 설정하는 제1단계와, 상기 제1단계에서 변환한 프레임 중 검출 대상 프레임의 평균에너지 및 영교차율을 계산하고, 상기 프레임이 시작점에 속하는지의 여부에 따른 에너지 문턱 임계치를 설정하는 제2단계와, 상기 제2단계 수행후, 상기 계산된 평균에너지 및 영교차율과, 상기 초기에 설정된 소정의 임계치와 비교하여 검출대상 프레임이 음성부인지 묵음부인지를 판단하는 제3단계와, 상기 제3단계의 판단 결과, 묵음부로 판단되면 상기 제1단계로 리턴하고, 음성부로 판단되면 프레임을 메모리에 저장한 후, 음성부의 시작점이 검출되었는지 판단하는 제4단계와, 상기 제4단계의 판단결과, 시작점이 검출되지 않았으면, 시작점의 조건을 만족하는 경우에 시작점이 검출되었음을 나타낸 후 제1단계로 리턴하고, 시작점이 검출되었으면 끝점의 조건을 만족하는 경우에 종료하는 제5단계를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면 제1도 내지 제3도를 참조하여 본 발명의 일실시예를 상세히 설명한다.

먼저, 제1도는 본 발명이 적용되는 하드웨어의 기본 구성도로서, 도면에서 1은 아날로그 신호를 디지탈로 바꾸어주는 A/D(Analog to Digital) 모듈, 2는 본 알고리즘이 기억될 프로그램 메모리, 3은 중앙처리장치, 4는 계산에 필요한 값들이나 중간결과등을 잠시 저장하거나 알고리즘의 수행에 의하여 검출된 음성부분이 저장될 기억장치인 직접영역 메모리를 각각 나타내며, 이 모든 메모리들은 중앙처리장치(3)에 의해 접근이 가능하고, 타이머인 인터럽트(timer interrupt)를 이용한 인터럽트 핸들링(handling)이 가능해야 한다.

제2도는 본 발명의 전체적인 처리 순서로서, 상기 프로그램 메모리(2)에 탑재되어 중앙처리과정(3)에 의해 수행되는 제어프로그램의 개괄적인 흐름도이다.

음성신호는 아날로그 신호에서 디지탈 신호로 변환되고(10), 이렇게 변환된 음성신호에 대해 음성신호처리에 영향을 주는 직류성분(dc_-offset) 값을 제거하고, 음성신호들로 처리가 가능한 일정한 길이(10ms)의 프레임을 형성한다(20). 이후의 단계는 프레임 단위로 수행이 된다.

이어서, 음성부 검출을 수행하기 위해서 사용되는 파라메타의 임계치를 계산하는데, 이 부분은 임계치가 초기에 설정되면 다음부터는 수행되지 않는다(30). 계속해서, 음성부 검출시 필요한 일정한 길이의 프레임을 저장하며(40), 저장된 프레임으로부터 실질적으로 음성부 검출을 수행하여, 프레임이 음성이면 특정한 메모리에 저장하고, 그렇지 않으면 버린다(50). 따라서, 알고리즘 수행결과 검출된 순수한 음성부 데이타가 특정한 메모리에 저장되는 것이다(60).

제3도는 본 발명의 세부적인 처리 순서도로서, 상기 제2도에 도시된 실시간 음성부 검출 방법의 자세한 흐름을 설명하고 있다.

먼저, 본 발명의 이론적인 원리는 다음과 같다.

시스템이 사용되는 환경에 따라 음성발성환경이 수시로 변하므로 이러한 환경하에서 음성부 검출을 위한 임계치들을 일정한 값으로 고정시킨다면 정확한 음성부 검출알고리즘의 결과를 기대할 수 없을 것이다. 그러므로 본 발명은 한 단어의 음성이 발생되는 동안은(일반적으로, 약 1.3초 내외) 음성발성환경이 갑작스럽게 변하지 않는다는 가정하에 매번 입력신호의 앞부분에서 음성부 검출을 위한 임계치를 구한다.

본 발명의 실시간 음성부 검출 방법을 상세히 살펴보자.

먼저, 음성신호를 입력받은 후(101), 아날로그 신호인 음성신호를 디지탈 신호로 변환한다(102). 이어서, 디지탈 신호로 변환된 음성신호를 약 10msec 길이의 프레임으로 각각 변환한다(103).

계속해서, 초기화가 되어있는가, 즉, 필요한 임계치들이 설정이 되었는가를 검사하여 설정이 되어있지 않으면, 입력신호의 처음 3프레임(1 내지 3프레임)에서 입력신호의 직류성분(dc_-offset)을 계산하여 그 다음신호부터는 자동적으로 입력신호에서 직류성분을 제거한다(105,106). 이어서, 다음의 3프레임(4 내지 6프레임)에서 에너지 문턱값(energy threshold; enth)을 계산하고(107,108), 이때, 레벨교차률(Level Crossing Rate)을 계산하기 위한 평균 플러스(Average plus)값과 평균 마이너스(Average minus)값을 구하여, 다음의 3프레임(7 내지 9 프레임)에서는 영교차율(lcr)의 문턱값(izct)값을 구한다(109).

즉, 본 방법에서는 초기 입력에서부터 실제의 음성이 입력되기까지는 약 100ms의 묵음구간이 형성된다는 가정하에서 묵음구간인 90ms 동안에 모든 임계치를 계산한 이후 계속되는 입력신호의 각 프레임에서 에너지값(en)(110)과 영교차율(lcr)(111)을 구하고 이를 미리 구해진 임계치(dc_offset, enth, izct)들과 비교를 하여 각 프레임에 대한 음성·묵음 분류를 통해 음성부 검출을 행하게 되는 것이다. 즉, 각 프레임의 에너지(en)과 영교차율(lcr)을 계산한 후(110,111) 해당 프레임이 음성부의 시작점인가, 끝점인가를 판단하여, 시작점이면(id=0) 시작점 검출을 위한 임계치(ienth)를 다음식을 이용하여 구하고,(113)

ienth=enth×1.3×2 ………………………………………………………(1)

반면, 끝점이면(id0) 끝점 검출을 위한 임계치(ienth)를 다음 식을 이용하여 구한다.(114)

ienth=enth×1.5×2 ………………………………………………………(2)

이는 본 발명에서 에너지의 임계치를 결정할 때 음성이 시작되는 시점의 에너지 보다 음성이 끝나는 시점의 에너지가 급격히 하락한다는 점을 고려하여 음성의 시작점과 끝점의 에너지 임계치를 다르게 함으로써 기존의 음성구간 검출 알고리즘들의 약점인 끝점부분에서의 오차를 보완하였다. 즉, 시작점 검출을 위한 에너지 임계치는 식(1)을 사용하고, 끝점 검출을 위한 임계치는 식(2)를 사용한다. 여기서, 상기 판단식 id=0의 의미는 음성이 시작부분인지 끝부분을 판단하는 식으로서 id 값은 0 내지 2의 값을 가지나, 여기서는 0 및 1만을 갖고 있다.

이어서, 상기와 같이 계산된 에너지(en)와 영교차율(lcr)을 각각의 임계치(ienth,izct)들과 비교하여 현재 프레임에 대한 음성·묵음 분류를 행한다. 즉,

en＞ienth이고, lct＞izct …………………………………………………(3)

이면, 현재 프레임이 음성이라고 판단하여, 특정 메모리에 저장하며(117), 반면, 상기 식(3)이 만족하지 않으면, 현재 프레임이 묵음이라고 인식하여(116) 음성신호를 다시 입력받는다(101).

상기 식(3)이 만족하여 음성부를 특정 메모리에 저장시킨 후, 현 프레임에서 음성부의 시작점이 검출되었는가를 판단하여(118) 시작점이 검출되지 않았으면, 현 프레임이 음성부의 시작점의 조건을 만족하는가를 다시 판단하여(119) 이를 만족하지 못하면 다음 음성신호를 입력받고(101), 만족하면 음성부의 시작점이 검출되었음을 나타낸 후(120) 다음 음성 신호를 입력받는다(101).

반면, 현 프레임에서 음성부의 시작점이 검출되었는가를 판단하여(118) 시작점이 검출되면, 현 프레임이 음성부의 끝점의 조건을 만족하는가를 판단하여(121) 이를 만족하면 끝내고, 만족하지 않으면 다음 음성신호를 입력받는 단계(101)로 이루어진다.

여기서, 상기 시작점 검출(119)을 좀더 자세히 설명하면, 음성 시작점 검출을 위해서는 묵음 구간에서 노이즈의 영향으로 1 또는 2 프레임이 음성으로 잘못 판별되는 경우를 방지하기 위해 5프레임 이상이 계속하여 음성으로 분류되어지는 시점을 음성의 시작점으로 정하였고, 끝점 검출(121)은 연속되는 15개의 프레임중 13개의 프레임이 묵음으로 분류되어지는 시점을 음성의 끝점으로 정하였다. 이때도 시작점 검출과 마찬가지로 음성의 묵음구간에서 현 프레임이 노이즈의 영향으로 음성 프레임으로 오인되는 경우를 막기 위해 시작점 검출때와 같이 5프레임이 계속해서 음성으로 분류되어야만 음성구간으로 분류하는 방법을 사용하였다. 이를 위해서는 15개의 프레임 버퍼를 두어야 하며, 이 이유는 한 단어를 발성할때 단어에 따라 발음특성상 중간에 어느 정도의 묵음구간이 존재하므로 이러한 단어 중간의 묵음구간에 의한 정확한 음성구간 검출의 오차를 막기 위한 것으로 이 프레임 버퍼의 크기는 알고리즘이 적용되는 단어에 따라 적절히 조절해주면 된다.

본 알고리즘의 하드웨어 메모리의 효율적인 사용을 위하여 입력신호중 음성이라고 판단되는 부분만을 메모리에 저장하는 방법을 사용하여 불필요한 메모리의 낭비를 줄였다.

상기와 같이 이루어지는 본 발명은 다음과 같은 특수한 효과를 가진다.

첫째, 실시간 구현이 가능하다. 음성신호를 입력받은 후 신호의 시작과 끝에서부터 음성구간의 시작점과 끝점을 검출하는 방법이 아닌 음성신호를 입력 받으면서 동시에 음성구간 검출을 수행하여 음성구간 검출이 끝나면 자동으로 음성신호 입력도 중단하는 방법을 사용하므로써 실시간 구현을 실현하였다.

둘째, 시작점 검출을 위한 임계치와 끝점 검출을 위한 임계치를 서로 다르게 설정함으로써 종래기술보다 음성부의 끝점 구간에서 매우 향상된 결과를 보았다.

셋째, 시작점 및 끝점검출을 위한 임계치가 안정한 값으로 고정되어 있는 것이 아니라 알고리즘이 수행되는 환경에 따라 조정되므로 사용환경에 영향받지 않고 일정수준 이상의 성능을 보일 수 있다.

넷째, 비교적 간단한 파라메타와 알고리즘을 사용하므로 구현이 쉽다.

Claims (6)

1. 중앙처리장치(3), 프로그램 메모리(2), 아날로그/디지탈 변환수단(1), 직접 영역 메모리(4)를 구비하는 하드웨어에 적용되는 음성신호의 실시간 음성부 검출 방법에 있어서, 입력음성신호를 디지탈신호로 변환하고, 일정한 길이의 프레임 단위로 변환한 후 음성부 검출에 필요한 소정의 임계치를 설정하는 제1단계(101 내지 109), 상기 제1단계에서 변환한 프레임 중 검출 대상 프레임의 평균에너지 및 영교차율을 계산하고, 상기 프레임이 시작점에 속하는지의 여부에 따른 에너지 문턱 임계치를 설정하는 제2단계(110 내지 114), 상기 제2단계 수행 후, 상기 계산된 평균에너지 및 영교차율과 상기 초기에 설정된 소정의 임계치와 비교하여 검출대상 플레임이 음성부인지 묵음부인지를 판단하는 제3단계(115), 상기 제3단계의 판단 결과, 묵음부로 판단되면 상기 제1단계로 리턴하고, 음성부로 판단되면 프레임을 메모리에 저장한 후, 음성부의 시작점이 검출되었는지 판단하는 제4단계(116 내지 118), 상기 제4단계의 판단결과, 시작점이 검출되지 않았으면, 시작점의 조건을 만족하는 경우에 시작점이 검출되었음을 나타낸 후 제1단계로 리턴하고, 시작점이 검출되었으면 끝점의 조건을 만족하는 경우에 종료하는 제5단계(119 내지 121)를 포함하는 것을 특징으로 하는 음성신호의 실시간 음성부 검출 방법.
2. 제1항에 있어서, 상기 제1단계에서 프레임 단위로의 변환은 음성신호의 입력시점으로부터 5msec 내지 20msec 중의 어느 한 시간 단위로 프레임을 형성하는 것을 특징으로 하는 음성신호의 실시간 음성부 검출 방법.
3. 제1항에 있어서, 상기 제1단계에서 설정하는 소정의 임계치는, 묵음 3 프레임 내지 5 프레임 동안의 평균직류성분과, 묵음 3 프레임 내지 5 프레임 동안의 평균 에너지 문턱값과, 묵음 3 프레임 내지 5 프레임 동안의 영교차율의 문턱값인 것을 특징으로 하는 음성신호의 실시간 음성부 검출 방법.
4. 제1항에 있어서, 프레임이 시작점에 속하지 않는 경우의 에너지 문턱 임계치는, 시작점에 속하는 경우의 에너지 문턱 임계치의 110% 내지 150%의 크기를 갖도록 한 것을 특징으로 하는 음성신호의 실시간 음성부 검출 방법.
5. 제1항에 있어서, 상기 제5단계에서의 시작점의 조건을 만족하는 경우는 연속되는 프레임 중 적어도 5 프레임이 계속하여 음성으로 분류되어지는 경우인 것을 특징으로 하는 음성신호의 실시간 음성부 검출 방법.
6. 제1항에 있어서, 상기 제5단계에서의 끝점의 조건을 만족하는 경우는, 연속되는 프레임 중 적어도 13개의 프레임이 묵음으로 분류되어지는 경우인 것을 특징으로 하는 음성신호의 실시간 음성부 검출 방법.