KR100194659B1 - 디지탈 녹음기의 음성 녹음방법 - Google Patents

Abstract

이 발명은 녹음 동작의 수행시 음성 간의 침묵(Silence)구간을 제거하도록 하는 디지탈 녹음기의 음석 녹음방법에 관한 것으로서, 프레임 단위로 데이타를 받아들여 현재 프레임의 에너지를 계산하고, 현재 프레임의 에너지와 기준 에너지를 비교함으로써 현재 프레임에 유효한 음성 성분이 들어있는지 판단할 수 있고, 현재 프레임과 이전 프레임의 에너지 상태로부터 현재 프레임이 침묵구간인지를 판단하며, 소정기간 이후의 침묵구간에 해당하는 프레임 데이타는 메모리에 저장되지 않도록 함으로써 메모리의 공간을 절약할 수 있으며, 초기 소정 수의 프레임을 받아들여 직류성분 노이즈의 평균치를 계산하고, 그 다음에 받아들여지는 프레임 데이타에서 직류성분 노이즈를 보상함으로써 각 프레임 데이타레 포함되어 있는 직류성분 노이즈를 보상함으로써 각 프레임 데이타에 포함되어 있는 직류성분 노이즈를 제거할 수 있는 디지탈 녹음기의 음성 녹음방법을 제공할 수 있다.

Description

디지탈 녹음기의 음성 녹음방법

제1도는 이 발명이 적용되는 하드웨어 구성도이고,

제2도 및 제3도는 이 발명의 원리를 설명하는 파형도이고,

제4도는 이 발명의 실시예에 따른 디지탈 녹음기의 음성 녹음방법의 순서도이고,

제5도기는 상기 제4도에 도시된 전이상태변수를 결정하는 과정을 설명하는 파형도이다.

* 도면의 주요 부분에 대한 부호의 설명

1 : 마이크 2 : 음성 녹음/재생 칩

3 : 스피커 4 : 중앙처리부

5 : 메모리

이 발명은 디지탈 녹음기의 음성 녹음방법에 관한 것으로서, 더욱 상세하게 말하자면 녹음 동작의 수행시 음성 간의 침묵(Silence)구간을 제거하도록 함으로써 녹음시킬 데이타를 저장하기 위한 메모리의 공간을 절약할 수 있는 음성 녹음방법에 관한 것이다.

과거에는 음성의 녹음수단으로서 아날로그 방식인 자기테이프(Magnetictape)을 이용하는 것이 주류를 이루었다.

그러나, 점차적으로 음성을 디지탈 신호로 변환하고 이를 압축하여 반도체 메모리 장치에 저장하는 방식이 크게 각광받고 있다.

위와 같이, 디지탈 신호로 변환된 음성신호를 반도체 메모리에 저장하는 방식은 저장된 데이타로의 접근이 용이하고, 녹음기에 기계식 데크(deck)가 필요없으며, 저장된 음성 데이타를 처리하기가 용이하여 녹음기에 음성합성 또는 음성변조 등의 부가 기능을 구현할 수 있다는 장점을 가진다.

상술한 반도체 메모리를 이용한 녹음방식에서는 경제적인 시스템 구현을 위해 메모리를 효율적으로 이용하는 것이 매우 중요하다.

종래의 기술에 따르면, 녹음을 시작한 후 음성이 없는 침묵상태인 경우에도 메모리를 구동하는 어드레스 카운터가 동작하여 초기의 음성이 없는 침묵상태를 녹음된다.

또한, 말을 녹음하다가 잠시 중지한 후 다시 말을 하는 경우에도 중간의 침묵상태가 메모리에 녹음되기 때문에 음성데이타를 저장하는 메모리 공간이 낭비되고 있다.

결론적으로, 메모리를 이용한 디지탈 녹음기에서는, 메모리의 효율적 활용을 위해서, 녹음시 음성과 침묵을 적절히 구분하여 음성구간만을 녹음하고 침묵구간은 녹음에서 배제하여 순수한 음성만을 녹음하는 기술이 요구되고 있다.

위와 같은 기술의 일례로서, 독립단어 인식시스템에서 음성구간만을 검출하기 위한 기술이 라비너(L.R. Rabiner)와 삼버(M.R. Sambur)에 의해 An Algorithm for Determining the Endpoints of isolated Utterances(Bell System Tech. Journal, Vol.54, No.2, pp297~315, Fed.1975)의 명칭으로 개시된 바 있다.

위 기술은 주로 컴퓨터 상에서 구현된 바 있는데, 하나의 단어에 대하여 음성을 처음부터 끝까지 녹음하여 디지탈로 변환된 데이타로 저장하고 있다가 음성부분만을 찾는 방식이다.

음성을 메모리에 녹음하는 방식으로서 실제로 구현된 것으로는 (주)삼성전자에서 음성합성용 접적회로 칩으로 생산하고 있는 KS5915라는 제품이 있다.

상기 제품에는 동출원인 및 발명자에 의해 특허등록된 대한민국 특허출원 공고번호 제91-531호(19911.26)의 앵무새 기능을 갖는 음성 합성 장치에 개시된 바 있는 음성처리방식이 적용되고 있다.

상기 특허의 음성처리방식에 따르면, 초기에 녹음이 시작된 후 음성이라고 판단될때까지 메모리의 구동을 중지하며, 진정한 음성이 입력되는 경우에 어드레스 카운터를 중가시키면서 실제 음성을 메모리에 저장한다.

결국, 상기 방식은 최초 녹음시 소정 시간동안 음성이 없는 경우 어느 정도 메모리를 절약할 수 있지만, 음성과 음성 중간에 긴 침묵구간이 있는 경우에는 침묵구간마저 녹음하기 때문에 메모리의 절약효과를 기대할 수 없다.

이 발명의 목적은 상기한 바와 같은 종래의 기술적 문제점을 해결하기 위한 것으로서, 실시간으로 음성을 디지탈로 녹음하고 재생하는 시스템에서 녹음시작 명령이 수행된 이후 입력되는 신호중에서 음성만을 저장하고 침묵구간은 제거하도록 하므로써 메모리 공간을 절약할 수 있는 디지탈 녹음기의 음성 녹음방법을 제공하는데 있다.

이 발명의 다른 목적은 프레임 단위로 받아들인 음성의 이전 에너지 상태와 현재의 에너지 상태를 비교함으로써 침묵구간을 판단할 수 있는 디지탈 녹음기의 음성 녹음방법을 제공하는데 있다.

이 발명의 또다른 목적은 직류성분 노이즈를 제거하는 기능을 가지는 디지탈 녹음기의 음성 녹음방법을 제공하는데 있다.

상기한 목적을 달성하기 위한 수단으로서 이 발명의 구성은, 최초 소정 수의 프레임을 입력받아, 프레임이 음성신호를 포함하고 있는지를 판별하기 위한 기준 에너지를 계산하는 제1단계와;

하나의 프레임을 입력받아 현재 입력된 프레임의 에너지를 계산하는 제2단계와;

상기 제2단계에서 계산된 현재 프레임의 에너지가 제1단계에서 계산된 기준 에너지보다 더 크면, 현재 프레임에 음성신호가 포함되어 있는 것으로 판단하고, 현재 신호검출 변수를 하이레벨로 세트시키는 제3단계와;

현재 신호검출 변수와 이전 신호검출 변수의 상태로부터 전이상태변수를 결정하고, 상기 전이상태변수로부터 로우레벨에서 하이레벨로의 신호전이가 있으면, 침묵구간 변수와 카운트 변수를 로우레벨로 세트시키는 제4단계와;

상기 전이상태변수로부터 하이레벨에서 로우레벨로의 신호전이가 있고, 현재 신호검출변수와 이전 신호검출 변수가 모두 로우레벨이면, 카운트 변수를 하나 증가시키며, 카운트 변수의 값이 소정값을 초과하면 침묵구간 변수를 하이레벨로 세트시키는 제5단계와;

현재 신호검출 변수의 값을 이전 신호검출 변수로 대치하며, 침묵구간 변수가 로우레벨이면, 현재 프레임의 데이타를 메모리에 저장하는 제6단계와;

중지명령이 없으면, 상기 제2단계로 점프되어 이후의 동작을 반복하도록 하는 제7단계를 포함하여 이루어진다.

상기한 이 발명의 구성에서 각 프레임은 입력신호를 샘플링한 소정 수의 샘플링된 데이타로 구성된다.

이 발명에 따르면, 프레임에 음성신호가 포함되어 있는지를 판단하기 위하여 프레임의 에너지가 기준 에너지와 비교된다.

상기 비교를 통해 현재 프레임에 음성신호가 포함되어 있는지를 알리는 상태변수가 생성되며, 이전 프레임의 상태 변수와 현재 프레임의 상태변수로부터 음성신호의 침묵구간이 판단된다.

이에 따라, 음성과 음성 사이의 침묵구간이 검출될 수 있으며, 이 기간에 해당하는 프레임은 메모리에 저장되지 않도록 함으로써 메모리의 공간을 절약할 수 있다.

이하, 첨부된 도면을 참조하여 이 발명의 바람직한 실시예를 설명한다.

제1도는 이 발명이 적용되는 하드웨어 구성도이고, 제2도 및 제3도는 이 발명의 원리를 설명하는 파형도이고, 제4도는 이 발명의 실시예에 따른 디지탈 녹음기의 음성 녹음방법의 순서도이고, 제5도는 상기 제4도에 도시된 전이상태변수를 결정하는 과정을 설명하는 파형도이다.

먼저, 제1도를 참조하여 발명의 실시예에 따른 음성 녹음방법이 적용되는 하드웨어 구성을 설명한다.

제1도에 도시된 바와 같이, 이 발명의 실시예에 따른 음성 녹음방법이 적용되는 하드웨어는, 마이크(1); 상기 마이크(1)의 신호를 받아들이도록 연결된 음성 녹음/재생 침(2); 상기 음성 녹음/재생 칩(2) 데이타를 주고 받도록 연결되며, 음성 데이타를 저장하는 메모리(5); 상기 메모리(5)와 음성 녹음/재생 칩(2) 사이에 데이타를 주고 받도록 연결되어, 음성 데이타의 메모리로의 저장 및 저장된 데이타의 읽기 동작을 제어하는 중앙처리부(4) 및 상기 음성 녹음/재생 칩(2)의 출력단에 연결된 스피커(3)로 구성된다.

상술한 구성을 참조하여 하드웨어의 동작을 개략적으로 설명한다.

전원이 인가되어 회로의 동작이 시작되면, 녹음 또는 재생의 동작모드가 결정된다.

음성의 녹음모드를 설명하면, 마이크(1)에 음성신호가 입력되어 전기적 신호로 변환된다. 마이크(1)의 출력신호는 음성 녹음/재생 칩(2)에 입력되며, 음성 녹음/재생 칩(2)에 의해 입력신호가 디지탈 신호로 변환되고 샘플링(sampling)된다.

상기 샘플링된 데이타는 프레임(frame) 단위로 중앙처리부(4)의 제어에 의해 메모리(5)의 소정 영역에 저장되어 음성의 녹음이 완료된다.

다음으로, 위와 같이 녹음된 음성 데이타를 재생하는 과정을 설명한다.

음성의 재생동작이 시작되면, 중앙처리부(4)의 제어에 의해 메모리(5)에 저장된 데이타가 음성 녹음/재생 칩(2)에서는 샘플링 데이타의 복원 및 아날로그 신호로의 변환이 수행되고, 변환된 아닐로그 신호는 스피커(3)를 통해 원래의 소리가 재생된다.

여기서, 이 발명의 실시예에 따른 음성 녹음방법이 적용되면, 제1도에 도시된 바와 같이 마이크(1)에 입력되는 신호는 침묵구간이 제거된 후 메모리(5)에 저장된다.

다음으로, 제2도 및 제3도에 도시된 파형도를 참조하여 이 발명의 원리를 설명한다.

제2도의 (a)에 도시된 파형도는 마이크에 입력되는 신호이며, 학교 와 같이 음절이 길게 발음되는 경우가 도시되어 있다. 이때, 학 자와 교 자 사이에는 침묵구간이 있는데, 이 발명에서는 음성의 녹음시 이 침묵구간이 제거된다.

제2도의 (b)에 도시된 파형은 침묵구간이 제거된 음성을 재생한 것으로서, 학 자와 교자 사이의 침묵구간이 완전히 제거되었다.

그런데, 제2도의 (b)와 같이 음절 사이의 침묵구간이 완전히 제거되면, 재생된 음성을 잘 알아듣지 못하는 문제가 생긴다.

이에 따라, 이 발명에서는 제3도에 도시된 바와 같이, 소정길이 이상의 침묵구간을 제거하여 재생되는 음성이 구별되도록 한다. 즉, 일정길이 이하의 침묵구간은 제거하지 않도록 하여 제거되지 않은 침묵구간에 의해 각 음절이 구별될 수 있다.

다음으로, 제4도에 도시된 순서도 및 제5도에 도시된 파형도를 참조하여 이 발명의 실시예에 따른 디지탈 녹음기의 음성 녹음방법을 설명한다.

설명에 들어가기 전에, 이 발명의 실시예에서는 입력이 프레임단위로 이루어지며, 하나의 프레임에는 160개의 샘플링 데이타가 포함되어 있는 것으로 가정한다. 상기 샘플링은 언급한 바와 같이 음성 녹음/재생 칩에서 수행된다.

녹음이 시작되면(S11), 음성신호의 최초 4프레임의 데이타가 입력되어 데이타 버퍼(data buffer)에 일시 저장된다(S12). 상기 최초 4프레임에는 유효한 음성성분이 들어있지 않다.

다음으로, 입력된 최초 4프레임의 데이타로부터 4프레임의 시간 동안의 직류성분 노이즈 (Ndc)의 평균이 계산되는데(S13), 그 계산식은 아래와 같다.

상기 직류성분 노이즈를 구하는 이유는 음성 녹음/재생 칩(2)에 내장되어 있는 아날로그/디지탈 변환기의 오프셋과 녹음 환경 전체의 평균 노이즈 에너지를 구하여 실제 음성을 저장하기 전에 입력된 신호에서 직류성분 노이즈를 제거하여 노이즈에 의한 영향을 보상해주기 위한 것이다.

이 과정은 시스템이 녹음을 시작할때마다 동작하며, 시스템이 잡음으로 인한 영향을 받지 않게 된다.

직류성분 노이즈가 구해지면, 프레임에 유효한 음성신호가 포함되어 있는지를 판별하기 위한 기준 에너지(Eth)가 계산된다(S14).

기준 에너지(Eth)를 계산하기 위한 수식을 표현하면 아래와 같다.

CONST는 상수로서 사용자의 환경에 따라 적절히 조정되며, 값이 크면 메모리의 효율이 높아지고 성능이 향상된다.

또한, abs(X(i))는 함수의 일종으로서 X(i)의 절대치를 구하기 위한 것이다.

상기와 같이 기준 에너지(Eth)가 구해지면, 160개의 샘플링 데이타를 가지는 최초 4개의 프레임 다음의 한 프레임이 입력된다(S21).

하나의 프레임이 입력되면, 프레임 내의 각 샘플링 데이타에 포함되어 있는 직류성분 노이즈가 제거된다(S22). 이때, 상기 스텝(S13)에서 구해진 직류성분 노이즈(Ndc)가 이용되는데, 그 과정을 수식으로 표현하면 아래와 같다.

여기서, S(i)는 샘플링 데이타이며, 0에서 159까지의 변수 i에 대해 위 수식에 의한 연산을 수행함으로써 프레임 내의 모든 샘플링 데이타에 대해 직류성분 노이즈가 제거될 수 있다.

다음으로, 상기 샘플링 데이타 S(i)로부터 현재 프레임의 에너지(Efr)가 계산된다(S23). 현재 프레임의 에너지(Efr)를 계산하기 위한 수식을 표현하면 아래와 같다.

현재 프레임의 에너지(Efr)가 계산되면, 현재 프레임의 에너지(Efr)와 단계(S14)에서 구해진 기준 에너지(Etr)가 계산되면, 현재 프레임의 에너지(Efr)와 단계(S14)에서 구해진 기준 에너지(Eth)가 비교된다(S31). 상기 단계(S31)에서 현재 프레임의 에너지(Efr)가 기준 에너지(Eth)보다 크면, 중앙처리부(4) 내의 미리 정의된 에너지 검출을 나타내는 플래그(ED)가 '1'로 세트되며(S32), 현재 프레임의 에너지가 기준 에너지(Eth)보다 작으면 플래그(ED)가 '0'로 리세트된다(S33). 플래그(ED)가 '1'로 세트된 것은 현재 프레임에 유효한 음성성분이 들어있다는 것을 의미한다.

다음, 플래그(ED)의 상태가 '1'로 세트되어 있는지 판단되며(S34), 플래그(ED)가 '1'로 세트되어 있으면 현재 신호검출 변수(CSD : Current Signal Detection)의 값이 '1'로 세트되며(S35), 플래그(ED)가 '0'로 리세트되어 있으면 현재 신호검출 변수(CSD)의 값이 '0'로 세트된다(S36).

현재 신호검출 변수(CSD)의 값이 얻어지면, 현재 신호검출 변수(CSD)와 이전 신호검출 변수(PSD : Previous Signal Detection)의 값으로부터 전이상태변수(LIH, HIL, E_l)의 값이 결정된다(S37).

전이상태변수(LIH, HIL, E_l)의 값을 결정하는 과정은 제5도에 도시되어 있다.

제5도의 (a)에 도시된 바와 같이 전이상태변수(LIH)는 로우레벨에서 하이레벨로의 전이가 있을 경우에만 하이레벨인 '1'로 세트된다. 반대로, 전이상태변수(HIL)은 제5도의 (b)에 도시된 바와 같이 하이레벨에서 로우레벨의 전이가 있을 경우에만 하이레벨인 '1'로 세트된다. 또한, 전이상태변수(El)는 신호검출변수(CSD, PSD)가 모두 로우레벨일 경우에만 하이레벨인 '1'로 세트된다.

전이상태변수(LIH)가 '1'의 값을 가진다는 것은 이전까지는 유효한 음성성분이 없다가 현재 프레임에서 유효한 음성성분이 검출되었음을 나타내며, 전이상태변수(HIL)가 '1'의 값을 가진다는 것은 유효한 음성성분이 입력되다가 현재 프레임에서 유효한 음성성분이 검출되지 않았다는 것을 나타낸다.

전이상태변수(El)가 '1'의 값을 가진다는 것은 현재와 이전 프레임에서 계속 유효한 음성성분이 검출되지 않고 있다는 것을 나타낸다.

다음으로, 전이상태변수(LIH)가 '1'인지 판단되며(S41), 전이상태변수(LIH)가 '1'이면 침묵구간변수(GAP) 및 카운트 변수(count)가 '0'로 초기화된다(S42).

또한, 전이상태변수(HIL)가 '1'이거나 전이상태변수(El)가 '1'인지 판단되며(S51), 두 변수(HIL, El) 중 하나가 '1'이면 카운트 변수(count)의 업카운트 동작이 수행된다(S52). 변수(HIL)가 '1'이거나 변수(El)가 '1'인 것은 침묵구간이 시작되었거나 현재 침묵구간에 있다는 것을 나타낸다.

다음으로, 카운트 변수(count)의 값이 소정값(20)을 초과하는지 판단되며(S53), 카운트 변수(count)의 값이 소정값을 초과하면 침묵구간 변수(GAP)가 '1'로 세트된다(S54). 이 발명의 실시예에서는 상기 단계(S53)의 소정값을 '20'으로 하였으나, 이 발명의 기술적 범위는 여기에 한정되지 않는다. 여기서, 침묵구간변수(GAP)가 '1'로 세트되는 것은 소정 기간(20) 동안의 침묵구간이 지났다는 것을 나타내며, 침묵구간 변수(GAP)가 '1'로 세트된 이후의 프레임은 메모리에 저장하지 않기 위한 것이다.

상기 단계(S54)가 수행되고 나면, 현재 신호검출변수(CSD)의 값이 이전 신호검출변수(PSD)의 값으로 대치된다(S61).

그리고, 침묵구간 변수(GAP)의 값이 '0'인지 판단되며(S62), 침묵구간변수(GAP)의 값이 '0'이면, 현재 프레임의 데이타가 메모리(5)에 저장된다(S63). 다음으로 녹음 중지명령이 입력되었는지 판단되며(S71), 녹음 중지명령이 있으면 프로그램 수행을 종료하고(S72), 녹음 중지명령이 없으면 단계(S21)로 점프하여 단계(S21) 이후의 과정을 다시 수행한다.

상술한 바와 같이 수행함으로써 음성의 녹음동작이 수행될 수 있다.

위에서 설명된 이 발명의 실시예에 따르면, 프레임 단위로 데이타를 받아들여

프레임의 에너지를 계산함으로써 현재 프레임에 유효한 음성 성분이 들어 있는지를 판단할 수 있다.

또한, 현재 프레임과 이전 프레임의 에너지 상태로부터 현재 프레임이 침묵구간인지를 판단하며, 소정기간 이후의 침묵구간에 해당하는 프레임데이타는 메모리에 저장되지 않도록 함으로써 메모리의 공간을 절약할 수 있다. 그리고, 초기 소정 수의 프레임을 받아들여 직류성분 노이즈의 평균치를 계산하고, 그 다음에 받아들여지는 프레임 데이타로부터 직류성분 노이즈를 보상함으로써 각 프레임 데이타에 있는 직류성분 노이즈를 제거할 수 있다.

Claims (4)

1. 최초 소정 수의 프레임을 입력받아, 프레임이 음성신호를 포함하고 있는지를 판변하기 위한 기준 에너지르 계산하고, 소정 수의 프레임의 직류성분노이즈의 평균치를 계산하는 과정을 부가한 제2단계와; 하나의 프레임을 입력받아 현재 입력된 프레임의 에너지를 계산하고, 현재 입력된 프레임 데이타에서 상기 제1단계에서 계산된 직류성분 노이즈의 평균치를 제거하는 과정을 부가한 제2단계와; 상기 제2단계에서 계산된 현재 프레임의 에너지가 제1단계에서 계산된 기준 에너지보다 더 크면, 현재 프레임에 음성신호가 포함되어 있는 것으로 판단하고, 현재 신호검출 변수를 하이레벨로 세트시키는 제3단계와; 현재 신호 검출 변수의 상태로부터 전이상태변수를 결정하고, 상기 전이상태변수로부터 로우레벨에서 하이레벨로의 신호전이가 있으면, 침묵구간 변수와 카운트 변수를 로우레벨로 세트시키는 제4단계와; 상기 전이상태변수로부터 하이레벨에서 로우레벨로의 신호전이가 있거나 현재 신호검출변수와 이전 신호검출 변수가 모두 로우레벨이면, 카운트 변수를 하나 증가시키며, 카운트 변수의 값이 소정값을 초과하면 침묵구간 변수를 하이레벨로 세트시키는 제5단계와; 현재 신호검출 변수의 값을 이전 신호검출 변수로 대치하며, 침묵구간 변수가 로우레벨이면, 현재 프레임의 데이타를 메모리에 저장하는 제6단계를 포함하여 이루어지는 것을 특징으로 하는 디지탈 녹음기의 음성 녹음방법.
2. 제1항에 있어서, 상기 제6단계의 수행 이후에 중지명령이 없으면, 상기 제2단계로 점프되어 이후의 동작을 반복하도록 하는 제7단계를 부가하여 포함하는 것을 특징으로 하는 디지탈 녹음기의 음성 녹음방법.
3. 제1항에 있어서, 상기 제4단계에서 전이상태변수는 이전 신호검출변수와 현재 신호검출변수 간의 상태에서 로우레벨에서 하이레벨의 전이를 나타내는 제1변수와; 이전 신호검출변수와 현재 신호검출변수 간의 상태에서 하이레벨에서 로우레벨로의 전이를 나타내는 제2변수를 포함하여 구성되는 것을 특징으로 하는 디지탈 녹음기의 음성 녹음방법.
4. 제1항에 있어서, 상기 각 프레임은 소정 수의 샘플링된 데이타로 구성되는 것을 특지으로 하는 디지탈 녹음기의 음성 녹음방법.