KR0172879B1 - 브이씨알의 가변음성신호처리장치 - Google Patents

Abstract

본 발명은 VCR에 관한 것으로서, 특히 VCR의 배속, 저속모드에서 빠르게, 느리게 출력되는 음성재생과, 어학 학습기의 배속, 저속모드에서 빠르게, 느리게 출력되는 음성재생시에 음성신호의 유, 무성음 구간을 구분하여 발음 특성의 왜곡을 최소화시키도록 각각 가변적인 비율로 변환시킴으로 좀 더 자연스럽게 음성신호를 재생할 수 있도록 한 VCR의 가변음성신호처리장치에 관한 것이다.

상기 목적을 달성하기 위한 본 발명의 VCR의 가변음성신호처리장치는 테이프에 기록된 음성신호를 배속 또는 저속모드에 따라 리드하는 음성변속수단부와, 상기 음성변속수단부를 통해 검출된 음성신호를 디지탈 신호로 변환시키는 A/D변환수단과, 상기 A/D변환수단의 디지탈화된 음성데이타를 FIR 필터링하여 원신호의 피치가 유지되도록 복원시키는 복원부와, 상기 복원부에서 복원된 프레임 단위의 음성데이타를 그대로 출력하면서 음성의 유, 무 및 유성음, 무성음으로 분리하여 판단신호를 발생하는 음성신호프로세서와, 상기 음성신호프로세서에 출력된 음성데이타의 제1프레임과 그 다음 프레임의 상관함수가 최대가 되는 값을 구하고 그 지점으로 다음 프레임을 이동시켜 각 프레임에 해당하는 무음성 및 유성음, 무성음에 따라 복수개의 다른 가중치만큼 프레임을 더 이동하여 가중함수를 곱하여 더함으로써 음성데이타를 가변적인 시간축으로 변조시키는 가변시간축변조수단부로 구성됨을 특징으로 한다.

Description

브이씨알(VCR)의 가변음성신호처리장치

제1도는 본 발명의 VCR의 가변음성신호처리장치에 대한 구성블럭도.

제3도는 본 발명의 2배속 모드의 각부의 출력신호를 보인 신호파형도.

제3도는 본 발명의 음성분리수단부에서 처리되는 프레임단위의 신호파형도.

제4도는 본 발명의 가변시간축 변조수단부에서 처리되는 과정을 보인 신호파형도.

제5도는 본 발명의 음성분리수단부에서 처리되는 방법을 나타낸 플로우챠트.

* 도면의 주요부분에 대한 부호의 설명

1 : 음성변속수단부 2 : A/D변환부

3 : 복원부 4 : 음성신호프로세서

5 : 가변시간축변조수단부 10 : 음성판별수단부

20 : 음성분리수단부

본 발명은 VCR에 관한 것으로서, 특히 VCR의 배속, 저속모드에서 빠르게, 느리게 출력되는 음성재생과, 어학 학습기의 배속, 저속모드에서 빠르게, 느리게 출력되는 음성재생시에 음성신호의 유, 무성음 구간을 구분하여 발음 특성의 왜곡을 최소화시키도록 각각 가변적인 비율로 변환시킴으로 좀 더 자연스럽게 음성신호를 재생할 수 있도록 한 VCR의 가변음성신호처리장치에 관한 것이다.

일반적으로 음성과 음성이 아닌 묵음(무음성)의 구분은 에너지값과 제로 크로싱(zero crossing)값에 의해서 분리될 수 있으며, 유성음과 무성음의 구분은 자기 상관(auto correlation)함수의 최대값과 에너지값과 제로 크로싱(zero crossing)값에 의해서 분리가 가능하다.

그리고 목소리로 음성을 두배 느리게 발음했을 경우 무성음 구간은 1.3~1.7배 유성음구간은 2.3~2.7배 정도로 느리게 변환된 신호가 나타남을 알 수 있다.

일반적인 VCR의 배속모드는 헤드의 회전속도를 배속시킴으로써 설정되는데, 상기 배속모드일 경우 비디오 신호는 배속된 속도로 화면상에 디스플레이되나 오디오 신호는 왜곡되어 사용자가 알아들을 수 없기 때문에 스킵시킨다.

그리고 다이제스트 기능을 갖는 VCR에 있어서도 배속모드일 경우 비디오신호는 배속된 속도로 화면상에 디스플레이되나 오디오신호는 왜곡되어 사용자가 알아들을 수 없기 때문에 배속에 관계없이 배속된 오디오신호를 정속도로 보정하여 출력한다.

그러나, 배속된 비디오신호와 정속도로 보정한 오디오신호의 속도차가 있기 때문에, 배속모드일때는 오디오신호를 중간 중간 스킵해야 하고, 저속모드일때에는 일정 구간을 반복 출력해야 했다.

따라서 다이제스트 기능을 갖는 VCR이라고 할지라도 배속 또는 저속 모드시에는 원래 기록된 오디오신호의 피치가 헤드의 비정상적인 회전으로 인하여 변화되므로 음색이 왜곡될 뿐만아니라 배속시 비디오신호를 중간 중간 스킵함으로 오디오신호의 불연속으로 나타나고, 배속된 비디오 화면과 오디오신호가 동기되지 않으므로 사용자에게 만족감을 주지 못하는 문제점이 있었다.

본 출원인은 상기 종래의 문제점을 해결하기 위하여, 특히 배속-모드 또는 저속-모드시 원오디오신호가 가지고 있는 특성(음색, 피치)를 보존하면서 출력속도를 빠르게 또는 느리게 조절할 수 있도록 하여 음질을 향상시킬수 있는 VCR의 오디오신호 처리장치를 기 출원한 바 있다(1995년 특허출원 제1057호, 출원일 1995년 1월 23일).

그러나 기 출원한 1995년 특허출원 1057호에서도 다음과 같은 문제점이 있었다.

실제로 사람이 어떤 한 분장을 정상속도로 발음했을때와 두배 빠르게 또는 느리게 발음했을때를 비교해보면 무성음 구간에서의 변화보다는 유성음 구간에서의 변화가 더 큼을 알 수 있다.

즉 두배 느리게 발음했을 경우 무성음구간은 1.3~1.7배, 유성음 구간은 2.3~2.7배 정도 느리게 변환된 신호를 관측할 수 있기 때문에, 사람이 빠르게 혹은 천천히 발음할때, 유,무성음은 똑같은 비율로 줄이거나 늘릴경우 출력되는 음성신호는 자연스럽지 못하고, 사용자에게 불쾌감을 주는 문제점이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로 특히 VCR의 배속, 저속모드에서 빠르게, 느리게 출력되는 음성재생과, 어학 학습기의 배속, 저속모드에서 빠르게, 느리게 출력되는 음성재생시에 음성신호의 유, 무성음 구간을 구분하여 발음 특성의 왜곡을 최소화시키도록 각각 가변적인 비율로 변환시킴으로 좀 더 자연스럽게 음성신호를 재생할 수 있도록 한 VCR의 가변음성신호처리장치를 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 VCR의 가변음성신호처리장치는 테이프에 기록된 음성신호를 배속 또는 저속모드에 따라 리드하는 음성변속수단부와, 상기 음성변속수단부를 통해 검출된 음성신호를 디지탈 신호로 변환시키는 A/D변환수단과, 상기 A/D변환수단의 디지탈화된 음성데이타를 FIR 필터링하여 원신호의 피치가 유지되도록 복원시키는 복원부와, 상기 복원부에서 복원된 프레임 단위의 음성데이타를 그대로 출력하면서 음성의 유, 무 및 유성음, 무성음으로 분리하여 판단신호를 발생하는 음성신호 프로세서와, 상기 음성신호 프로세서에서 출력된 음성데이타의 제1프레임과 그 다음 프레임의 상관함수가 최대가 되는 값을 구하고, 그 지점으로 다음 프레임을 이동시켜 각 프레임에 해당하는 무음성 및 유성음, 무성음에 따라 복수개의 다른 가중치만큼 프레임을 더 이동하여 가능함수를 곱하여 더함으로써 음성데이타를 가변적인 시간축으로 변조시키는 가변시간축 변조수단부로 구성됨을 특징으로 한다.

이하 첨부된 도면을 참조로 하여 본 발명의 VCR의 가변음성신호처리장치를 설명하면 다음과 같다.

제1도는 본 발명의 VCR의 가변음성신호처리장치에 대한 구성블럭도이고, 제2도는 본 발명의 2배속 모드의 각 부 출력신호를 보인 신호파형도이고, 제3도는 본 발명의 음성분리수단부에서 처리되는 프레임 단위의 신호파형도이고, 제4도는 본 발명의 가변시간축 변조수단부에서 처리되는 과정을 보인 신호파형도이고, 제5도는 본 발명의 음성분리수단부에서 처리되는 방법을 나타낸 플로우챠트이다.

본 발명의 VCR의 가변음성신호처리장치에 대한 구성은 제1도와 같이 테이프에 기록된 음성신호를 배속 또는 저속모드로 읽어들여 왜곡된 신호를 출력하는 음성변속수단부(1)와, 상기 음성변속수단부(1)를 통해 출력된 왜곡신호를 디지탈 신호로 변환시키는 A/D변환부(2)와, 상기 A/D변환부(2)에서 출력된 음성데이타 신호를 원음성데이타 신호의 피치가 유지되도록 FIR 필터링하여 복원시키는 복원부(3)와, 상기 복원부(3)의 복원신호를 받아 음성의 유, 무를 판단하고, 유성음과 무성음을 결정하는 음성신호 프로세서(4)와, 상기 음성신호 프로세서(4)에서 결정된 한 프레임의 유성음 데이타 또는 무성음 데이타와 그 다음 프레임의 데이타사이에 상관함수가 최대가 되는 값을 구한 후 상관함수값이 최대가 되는 지점으로 프레임을 이동하고 두프레임이 겹쳐지는 부분에 1.3~1.7배 또는 2.3~2.7배로 변환한 가중치를 더함으로써 분리된 음성데이타를 시간축으로 변조시키는 가변시간축변조수단부(5)로 이루어진다.

상기 음성신호프로세서는 상기 복원부(3)에서 복원된 음성데이타 신호에 대한 프레임 단위의 에너지값과 제로 크로싱(zero crossing)값을 구하고, 이 두값으로 음성의 유, 무를 판단하며, 유음성, 무음성 신호를 출력하고 복원된 음성데이타 신호를 그대로 출력하는 음성판별수단부(10)와, 상기 음성판별수단부(10)에서 발생하는 에너지값과 제로 크로싱값을 각각에 대한 임계값으로 비교하고, 상기 복원된 음성데이타 신호에 대하여 구한 자기 상관함수값과 임계값을 비교하여 유성음과 무성음으로 분리하는 음성분리수단부(20)로 이루어진다.

상기와 같이 구성된 본 발명에 따른 VCR의 가변음성신호처리장치의 동작을 2배속모드의 예로써 제2도와 제3도를 참조하여 설명하면 다음과 같다.

제2도 (a)에 도시된 바와같이, 테이프에 기록된 음성신호는 음성변속수단부(1)에 의해 제2도 (b)에 도시된 바와같이, 2배속 모드로 출력되고, 상기 음성변속수단부(1)에서 출력되는 음성신호는 A/D변환부(2)에 의해 디지탈화된 음성데이타신호로 변환된다.

이때 음성변속수단부(1)에서 출력된 음성신호는 피치가 원음성신호의 피치보다 p/2로 감소하여 음질의 왜곡이 생긴다.

상기 디지탈 신호로 변환된 음성데이타는 복원부(3)에 인가되어 제2도 (c)에 도시된 바와같이 피치가 P인 원래의 음성데이타로 복원되는데 배속 모드시 샘플링된 음성데이타는 보간(Interpolation)에 의해 복원되며 상기 보간은 FIR 필터에 의해 구현된다.

상기 복원된 음성데이타는 음성판별수단부(10)에 인가되어 프레임 단위별로 에너지값과 제로 크로싱값을 구하고, 무음성인지 유음성인지를 판단하기 위해 이 두값을 실험을 통해 결정된 복수개의 제1임계값과 비교하여 유음성과 무음성의 연속적인 신호를 출력한다.

이때 복원된 음성데이타도 그대로 통과하여 출력된다.

상기 복원된 음성데이타는 음성분리수단부(20)에 의해 프레임 단위 별로 자기 상관함수(Auto Correlation Function)값을 구하고, 이 값과 상기 무음성 검출수단부(10)에서 산출된 에너지값과 제로 크로싱값을 복수개의 제2임계값으로 비교하여 유성음구간인지, 무성음구간인지가 판별되어 나타난다.

그리고 상기 복원된 음성데이타에 포함된 한 프레임의 음성데이타와 다음 프레임의 음성데이타는 가변시간축변조수단부(5)에서 상호 상관함수(cross corrolation function)의 값을 구하고, 그 지점으로 데이타를 이동시켜 두 데이타가 겹치는 부분에 유성음과 무성음에 따라 각각 2.3~2.7배와 1.3~1.7배로 변환한 가중치를 더함으로써 가변시간축 변환을 수행한다.

상기와 같이 가변시간축변환을 수행하여 제2도 (b)와 같이 출력한다.

한편, 헤드를 통해 저속모드로 재생된 음성신호를 처리하는 과정을 설명하면 헤드를 통해 저속모드로 음성변속수단부(1)에서 변속된 음성신호를 A/D변환부(2)에 의해 디지탈화된 음성데이타로 변환되어 출력된다.

상기 음성데이타는 복원부(3)에 인가되어 원래의 음성데이타로 복원되는데 저속모드시 샘플링된 음성데이타는 데시메이션에 의해 복원되고 상기 데시메이션은 FIR 필터에 의해 실행된다.

상기 복원부(3)에 의해 복원된 프레임단위의 음성데이타가 음성신호프로세서(4)에서 무음성, 유성음, 무성음으로 구분되도록 에너지와 제로크로싱과 자기 상관함수를 산출하여 판별한다.

그리고 상기 복원되어 구분된 음성데이타에 포함된 한 프레임의 음성데이타와 다음 프레임의 음성데이타는 가변시간축 변조수단부(5)에서 상호 상관함수의 값을 구하고 그 지점으로 음성데이타를 이동시켜 두 데이타가 겹쳐지는 부분에 유성음과 무성음에 따라 각각 2.3~2.7배와 1.3~1.7배로 변환한 가중치를 더함으로써 가변시간축 변환을 수행한다.

상기 음성신호 프로세서(4) 및 가변시간축 변조수단부(5)를 보다 상세하게 설명하면 다음과 같다.

먼저 제3도 (a)에 도시된 바와같이 상기 복원부(3)에서 복원되어 프레임별로 분리된 음성데이타가 음성신호프로세서(4)의 음성판별수단부(10)에 인가되어 무성음과 유음성을 구분하기 위해서 프레임 단위별로 에너지값과 제로크로싱값을 다음과 같이 구하면 제3도 (c), (d)와 같이 나타난다.

이다.

각 프레임별로 산출된 이 두값을 실험을 통해 결정된 복수개의 제1임계값(즉 만약에 에너지의 임계값은 20, 제로크로싱의 임계값은 15로 한다면)과 비교하여 무음성, 유음성 판단신호를 출력하면서 제3도 (a)와 같은 복원된 음성데이타를 함께 출력한다.

이때 제1프레임은 에너지 임계값보다 작고, 제로크로싱 임계값보다 크기에 무음성이고, 같은 과정으로 나머지 프레임은 유음성이다.

또한 상기 제3도 (a)와 같은 복원된 음성데이타는 음성분리수단부(20)에 의해 프레임 단위별로 자기상관함수값을 제3도 (b)와 같이 구하고, 이 값과 상기 무음성 검출수단부(10)에서 산출된 에너지값과 제로크로싱값을 복수개의 제2임계값(즉, 만약에 에너지의 임계값은 40, 제로크로싱의 임계값은 7, 자기상관함수의 임계값은 20으로 한다면)과 비교하여 유성음구간, 무성음구간을 판별한다.

이때, 자기상관함수는 R[j] = ΣX[i]·X[i+j](0 j N/2, 0 i N)이고, 상기와 같은 과정으로 제1프레임은 무음성이고, 제2프레임은 무성음이고, 나머지 프레임은 유성음이다.

그리고 상기 복원부(3)에서 복원된 제3도(a)와 같은 음성데이타가 음성신호프로세서(4)에 의해 제4도 (a)와 같은 유, 무성음 판별신호로 구분되어 가변시간축 변조 수단부(5)에 입력되면서 상기 복원된 음성데이타도 함께 입력되면 복원된 음성데이타를 프레임 단위의 크기로 오버랩(overlap)하여 일정한 버퍼속에 저장한 다음 제4도(b)와 같이 제1프레임과 제2프레임을 재배치한다.

두 신호간의 상호 상관함수(cross correlation function)가 최대가 되는 지점으로 제2프레임을 옮긴후 제1프레임과 제2프레임은 각각 무음성과 무성음이기 때문에 1.3~1.7배를 줄여서 배속시킨 음성데이타를 얻는다.

이때 상호 상관함수는 ΣX[i]·Y[i+k]/ΣX[i]·ΣY[i] (0≤ = i 프레임수)이다.

또한 제4도(c)와 같이 제2프레임과 제3프레임은 각각 무성음과 유성음이기 때문에 역시 1.3~1.7배 줄여 배속시킨 음성데이타를 얻어서 제4도 (d)와 같이 제3프레임과 제4프레임은 각각 유성음이기 때문에 2.3~2.7배정도 줄여 배속시킨 음성데이타를 얻는다.

상기와 같은 과정으로 2배속 재상을 수행한다.

본 발명의 음성분리수단부의 신호처리방법은 제5도에 도시된 바와같이 실험을 통해서 자기 상관함수의 두번째 피크값(T)과 에너지값(T₁)과 제로크로싱값(T₂)이 결정된 임계값을 입력하고(101) 복원된 음성데이타를 각 프레임 단위별로 분할하여 한 프레임의 자기상관함수값을 구하여(102) 이 값에 대한 두번째 피크값(SP)을 추출한다(103).

상기 추출된 피크값(SP)과 임계값(T)을 비교하여(104) 임계값(T)이 크면 이 프레임 구간은 무성음이고(107), 추출된 피크값(SP)이 크면 음성판별수단부(10)에서 산출된 에너지값(EN)과 상기 임계값(T₁)을 비교한다(105).

이 비교에서 임계값(T₁)이 크면 이 프레임구간은 무성음이고(107), 에너지값(EN)이 크면 음성판별수단부(10)에서 산출된 제로크로싱값(Z.C)과 상기 임계값(T₂)을 비교하여(106) 제로크로싱값(Z.C)이 크면 이 프레임구간은 무성음이고(107) 임계값이 크면 이 프레임구간은 유성음이다(109).

그리고 유성음과 무성음이 개별적으로 판별되면(107,109) 다음 프레임의 음성데이타에 대한 자기상관함수값을 다시 산출하는 과정으로 계속적인 프레임 판별을 반복 수행한다(108,110).

상기와 같은 본 발명의 VCR의 가변음성신호처리장치는 사람의 발음특성을 잘 적용해서 마치 사람이 천천히 또는 빠르게 발음하는 것과 같은 음성데이타를 변속 재생함으로써 보다 정확한 음성신호가 요구되는 어학학습기의 변속모드나 높은 음질을 나타내는 VCR 변속모드 및 방송장비에 응용되어 아주 자연스러운 변속 재생 음성데이타를 발생시킬 수 있는 효과가 있다.

Claims (4)

1. 테이프에 기록된 음성신호를 배속 또는 저속모드에 따라 리드하는 음성변속수단부와, 상기 음성변속수단부를 통해 검출된 음성신호를 디지탈 신호로 변환시키는 A/D변환수단과, 상기 A/D변환수단의 디지탈화된 음성데이타를 FIR필터링하여 원신호의 피치가 유지되도록 복원시키는 복원부와, 상기 복원부에서 복원된 프레임 단위의 음성데이타를 그대로 출력하면서 음성의 유, 무 및 유성음, 무성음으로 분리하여 판단신호를 발생하는 음성신호프로세서와, 상기 음성신호프로세서에서 출력된 음성데이타의 제1프레임과 그 다음 프레임의 상관함수가 최대가 되는 값을 구하고 그 지점으로 다음 프레임을 이동시켜 각 프레임에 해당하는 무음성 및 유성음, 무성음에 따라 복수개의 다른 가중치만큼 프레임을 더 이동하여 가중함수를 곱하여 더함으로써 음성데이타를 가변적인 시간축으로 변조시키는 가변시간축 변조수단부로 구성됨을 특징으로 하는 VCR의 가변음성신호처리장치.
2. 제1항에 있어서, 음성신호프로세서는 복원부에서 복원된 프레임단위의 음성데이타를 그대로 출력하면서 프레임 단위별로 음성데이타의 에너지값과 제로크로싱값을 산출하고 복수개의 제1임계값으로 비교하여 음성의 유, 무를 구분하는 음성판별수단과, 상기 음성판별수단에서 출력된 음성데이타의 자기상관함수값을 산출하고 이 값 및 상기 에너지값과 제로크로싱값과 복수개의 제2임계값으로 비교하여 유성음과 무성음을 구분하는 음성분리수단부로 구성됨을 특징으로 하는 VCR의 가변음성신호처리장치.
3. 제1항에 있어서, 가변시간축 변조수단부의 가중치는 무음성과 무성음일 경우는 1.3~1.7배이고, 유성음일 경우는 2.3~2.7배임을 특징으로 하는 VCR의 가변음성신호처리장치.
4. 제2항에 있어서, 음성판별수단부의 제1임계값과 음성분리수단부의 제2임계값은 실험을 통하여 결정됨을 특징으로 하는 VCR의 가변음성신호처리장치.