KR20030016199A - 음성신호의 발성변환 처리에 의한 소프트사운드 기능의헤드폰 - Google Patents

Abstract

본 발명은 실생활에서 오디오 청취용으로 아주 널리 사용되고 있는 헤드폰의 기능을 개선하는 방법에 관한 것이다. 휴대폰을 통해 음향 오디오 기기에서 들리는 소리는 각양각색이다. 급하게 들리는 소리, 욕하는 소리, 사투리가 섞인 소리, 불명료한 목소리 등등으로 청취자의 감정을 불쾌하게 만든다. 이럴 때에 필요한 헤드폰이 바로 소프트사운드 헤드폰인데, 청취자가 헤드폰에 부착된 소프트사운드 키-보턴(또는 특정 키-보턴)을 누르면 발성자의 목소리를 발성변환 처리하여 부드러우면서 정답게 들리도록 발명한 것이다.

소프트사운드 헤드폰은 헤드폰을 통해 들리는 소리정보를 분석하여 발성자의 개성정보와 의미정보는 그대로 두고, 억양을 나타내는 피치억양정보를 조절함으로서, 마치 급하게 변화하는 억양의 변화를 천천히 변화되도록 함으로서 소리의 정감을 구현한 것이다.

소프트사운드 헤드폰은 급하거나 억양이 강한 사투리로 말이 들릴 때, 청취자의 취향에 따라 소프트사운드의 기능을 선택할 수 있기 때문에 부드럽고 정감이 있는 소리로 헤드폰의 청취를 할 수 있다. 따라서 다급하고 퉁명스러운 일상의 대화에서 받게 되는 스트레스를 피할 수 있는 효과가 있다.

특히, 청각 장애인이나 노인층의 경우에는 청각 기능이 저하되어 급한 억양의 변화 소리는 잘 알아듣지 못하는데, 이 경우에도 소프트사운드 헤드폰은 발성의 억양변화를 조절하여 부드럽고 명료하게 들려줌으로서 복지통신 분야에 필수적인기능이 된다. 또한 불특정 다수의 고객을 유무선 전화 통신으로 영접하는 동사무소, 소방서, 회사안내원 등의 관련 서비스업 종사자들은 고객들의 다양한 목소리의 형태로 인해 스트레스를 많이 받게 된다. 이러한 경우에도 소프트사운드 헤드폰은 고객의 목소리를 부드럽고 차분하게 들려주는 특장점이 있다.

Description

음성신호의 발성변환 처리에 의한 소프트사운드 기능의 헤드폰{A Headphone with Soft-Sound Function using Prosody Control of Speech Signals}

본 발명은 인터넷 전화통화, 일반전화 통화, 휴대폰 통화, 오디오 청취 등의 응용에서 헤드폰을 이용한 소리의 청취 방법을 새로이 제안하는 것으로서, 음성 또는 오디오 가술분야에서 발성변환 신호처리기술로 분류할 수 있다.

현재 사용되고 있는 기존의 오디오 청취용 헤드폰들은 1도와 같이 오디오 기기에서 나오는 목소리를 그대로 이어폰이나 스피커를 통해 귀에 전달해주고 있다. 이러한 수신방식은 소리에 들어있는 성격이나 딱딱함이 그대로 청취자에게 전달되어 수신자가 때로는 불쾌감이나 스트레스를 많이 느끼게 되는 단점이 있다. 본 발명은 이러한 단점을 개선하고자 한다.

본 발명은 헤드폰의 이어폰에서 들리는 발성자의 목소리를 디지털 발성변환 처리기술을 적용하여 부드러운 소리(소프트사운드, soft-sound)가 들리도록 하는 청취 방식을 새로이 제안하는 것이다. 사람의 목소리는 허파에서 나오는 공기가 성대에서 떨림으로서 진동 소리가 발생하게 되고, 이 떨림이 성도를 통해서 나올 때, 공명이 발생하면서 생성된다. 목소리 중에서 성대의 떨림 소리의 주기나 발성습관은 발성자의 개성을 나타내게 되고, 성도의 공명특성은 메시지의 의미를 전달하는 음운정보를 주로 나타내게 된다. 이처럼 목소리의 개성을 나타내는 운율정보를 그대로 전달하되, 피치 억양정보만 검출하여 큰 변화를 제한하여 조절함으로서, 목소리가 차분하고 부드럽게 들리는 소프트사운드 발성변환 기능을 헤드폰 청취에 응용하도록 발명한 것이다.

도 1은 소프트사운드 헤드폰의 원리

도 2는 분석 및 합성처리 방식

도 3은 억양변환 처리용 하드웨어구성의 일예

도 4는 소프트사운드 헤드폰에 대한 기능처리의 일예

[기본구성]

유, 무선 전화기, 휴대폰, 녹음기, 오디오 컴포넌트 등의 기기에서의 출력 신호는 스피커나 헤드폰을 통해 우리의 귀에 음파로 소리를 전달해 주고 있다. 이처럼 기존의 헤드폰은 수신 음향기기의 전기신호를 단순히 음파로 바꾸어주는 수화기의 기능을 수행하거나, 또는 고성능 컴퓨터 칩이 내장되어 있었어, 문자표시나 오디오조절등의 다양한 서비스도 함께 제공하는 기능형 헤드폰이 있다.

소프트사운드 헤드폰은 도 1과 같이 기존의 헤드폰 기능(102)에 신호처리용 컴퓨터 칩을 통해 수행하는 소프트사운드 기능(104)을 첨가한 기능형 헤드폰으로구성된다. 헤드폰을 연결하면 수화기를 통해 소리(107)가 들리게 되고, 소리가 급하거나 억양변화가 급해서 소리의 의미가 불명료하게 들린다면, 소프트사운드 키-보턴(101)을 누르게 된다. 소프트사운드 키-보턴은 별도의 키-보턴으로 장착되었거나 또는 임의로 정한 키-보턴을 누르는 방법이다. 소프트사운드 키-보턴을 누르면, 발성자의 목소리에서 아주 급한 피치억양의 변화를 조절하도록 소프트웨어나 펌웨어에 의해 컴퓨터 칩이 처리하여(108), 말소리를 부드럽게 들리도록 한다. 반면, 이때 청취자가 소프트사운드 키-보턴(101)을 한번 더 누르게 되면 원래의 억양상태로 다시 복귀된다.

소프트사운드 헤드폰은 도 2와 같이 기존 헤드폰에 내,외장형으로 부착된 컴퓨터 칩에서 목소리를 분석하여 발성자의 목소리특성을 그대로 유지하면서 소프트사운드 기능이 합성되도록 하는 등의 첨단 처리기능을 추가한 것이다. 즉, 목소리는 성대의 떨림과 목구멍에서의 공명에 의해 소리가 발생하는데, 이러한 목소리의 생성원리를 이용하여 목소리의 특징과 의미정보는 그대로 두고(206), 피치 억양정보만을 뽑아서 조절하여(205) 합성하면(207), 다정하고 부드러운 소프트 사운드의 목소리(208)로 바뀌게 된다. 소프트사운드 헤드폰의 핵심기술은 사람의 목소리에서 말뜻을 나타내는 음운정보와 개성을 나타내는 운율정보를 자동으로 분류(202)하여 의미와 개성을 보존(206)하면서 동시에 피치 억양정보를 변경(205)함으로써 목소리의 부드러움(208)을 증대시켰다는 점이다.

[하드웨어 장치의 구성]

휴대폰이나 오디오 기기 등으로부터 출력되는 아날로그 형태의 목소리 신호(300)를 입력 받아서 소프트사운드한 목소리로 발성변환 처리하는 장치는 도 3과 같다. 아날로그 형태로 입력된 목소리 신호파형(300)은 증폭기(301)에서 원하는 레벨로 증폭한 다음에 앨리어징(aliasing)효과를 제거하기 위해 저역통과여파기(302)에 통과시키고, 양자화(quantization) 및 부호화(coding)를 수행하는 아날로그-디지털 변환기(304)를 통과함으로서 선형펄스부호변조(PCM) 형태의 디지털 신호로 바뀌어서 범용 CPU나 디지털 신호처리기(DSP)에서 소프트웨어나 펌웨어에 의해 처리(304)된다.

신호처리 될 때는 이 컴퓨터 처리기(304)가 내,외에 설치된 주변장치(309)를 참고할 수도 있고, 또한 입력 디지털 신호나 처리 결과를 저장하기 위해 주변 메모리(305)를 참고할 수도 있다.

CPU에서 소프트웨어나 펌웨어에 의해 소프트사운드로 발성변환 처리된 디지털 신호는 디지털-아날로그 변환기(308)를 통해 표본화된 아날로그 신호형태로 변환된다. 이 신호를 저역통과여파기(307)에 통과시키면 양자화 잡음이 제거된 아날로그 신호가 되고, 적절히 증폭하면(306) 헤드폰의 수화기나 스피커 등을 통해서 들을 수 있는 아날로그 신호(310)가 된다. 이때 전반적인 소리의 레벨은 각 증폭기에 부착된 볼륨조절기(311)(312)로 조절하게 된다.

[소프트웨어 처리과정]

소프트사운드 헤드폰은 기존 헤드폰에 도 3과 같은 하드웨어 시스템과 그 CPU칩에 도 4와 같은 처리가정을 갖는 소프트사운드기능의 소프트웨어나 펌웨어를 탑재한 것이다. 기존의 헤드폰 기능에서 소프트사운드 키-보턴(또는 임의의 키-보턴)이 눌러졌는지를 파악하고, 눌러지지 않았다면 기존 헤드폰과 같이 입력되는 소리를 그냥 출력으로 전달하게 하거나, 디지털 제어를 위해서는 도 4의 소리 전달과정(402)을 수행하게 된다. 소프트사운드 키-보턴은 소프트웨어 토글스위치 형태로 구성되며 한번 누르면 켜지고, 다시 누르면 꺼지게 된다.

소프트사운드 헤드폰기능이 시작되면 아날로그-디지털 변환기(ADC)에서 입력된 데이터 표본(401)값이 한 프레임단위로 동시에 처리된다. 먼저 현재 프레임에 있는 데이터 값이 유성음 구간인지 아닌지를 파악하고, 유성음 구간이 아니면(404) 링버퍼의 점유율(Buffer Rate, BR)을 계산하게 된다. 상대방의 목소리가 부드럽게 들리도록 하기 위해서는 상대방의 실제 목소리 발성속도보다 다르게 처리해야 하는데, 처리된 데이터를 대기시키는데 필요한 메모리 버퍼를 링버퍼(409)라고 한다.

링버퍼의 점유율(BR)은 소프트사운드 기능에서 처리된 데이터가 링버퍼에서 대기되는 시간비율을 나타나는데, 현 프레임이 비유성음 구간이고 링버퍼에 대기하고 있는 시간이 정해진 시간의 점유율(예 0.8＜BR＜1.2)을 벗어났다면, 발성속도를 변경하기 위해 지속시간 조절(416)을 수행하게 된다. 이렇게 함으로써 소프트사운드 기능이 수행될 때 야기되는 발성시간의 변동을 해소할 수 있게 된다. 즉, 유성음구간(418)에서만이 데이터가 부드렁ㄴ 소리로 발성되도록 처리하지만, 이때 발성속도가 원래의 발성에 비해 다를 수가 있기 때문에, 비유성음 구간에서 발성속도를 조절하여 전체적인 시간지연을 해소하게 한 것이다.

현재의 프레임이 유성음 구간인지 비유성음 구간인지를 측정하는 방법(403)은 음성처리 교재(참고문헌1,3,4)에 많이 제안되어져 있으며, 일례로 에너지 레벨을 측정하여 쉽게 파악할 수 있다. 즉, 현재 프레임의 평균 에너지가 정해진 문턱 값을 초과하여 일례로 5프레임(100ms) 이상 지속된다면 이 구간은 유성음 구간이 된다.

현재의 프레임의 데이터가 유성음 구간(418)이라면 이 데이터에 대해 소프트사운드 기능처리를 수행하게 된다. 소프트사운드 기능은 현 프레임의 데이터에서 피치억양을 검출(406)하고, 프레임 단위로 피치-억양변화도(PAC, Pitch Accent Contour)를 고려하여, PAC가 정해진(일예로 1.5배) 변화범위를 벗어나면(419), 피치억양을 변경시킨다(407).

피치억양의 변경은 유성음의 한 블록단위로 처리하는데, 연속적으로 검출되는 유성음 프레임의 한 블록구간을 나타낸다. 유성음 한 블록에 대해 피치-억양변경(407)은 피치주기 단위로 수행하고, 일예료 PAC가 정해진 변화범위를 초과하였다면, 피치주기가 주어진 최대의 범위이내에서 유지되도록 하기 위해 피치변경을 수행한다. 피치주기를 변경하는 방법은 지금까지 많이 제안되어져 있다(참고문헌 1,2), 일예로 시간 영역에서 피치주기 단위로 음성파형을 넓게 분절한 다음에 변경된 피치주기 단위로 중첩시켜서 파형을 재구성하는 PSOLA(Pitch Synchronous Overwrap and Add) 피치변경법이 있다(참고문헌2).

이때 피치주기를 정확히 검출해야 하는데, 음성신호의 피치주기 검출법은 최근 40년간 수많은 방법들이 제안되어 있다(참고문헌1,4). 일예로 피치검출은 자기상관 함수법이 주로 사용되고 있으며, 인근 음성파형들 간의 상관관계를 계산하여 반복적인 파형의 주기를 검출하는 방법이 있다(참고문헌1).

이렇게 처리된 데이터들은 파형의 진폭이 자연스럽지 못하고 부자연스럽게 되므로, 진폭의 변화가 자연스럽게 이어지도록 하는 에너지 진폭변화 조절(408)을 수행해야 한다. 일예로 에너지 진폭의 변경은 피치주기 단위로 처리하며, 한 피치주기의 평균 에너지 진폭을 파형에 곱함으로서 수행한다.

이렇게 처리 완료된 음성 데이터들은 링버퍼에 저장시키고(409), 저장된 순서에 따라서 디지털-아날로그 변환기(DAC)를 통해 음성 데이터 표본 단위로 헤드폰의 수화기나 스피커를 통해 출력한다(410). 여기서 소프트사운드 헤드폰의 기능은 실시간으로 처리된다. 즉, 아날로그-디지털 변환기(ADC)에서 한 프레임의 데이터를 받고(401)나서부터 그 다음 프레임의 데이터를 받아올 때까지 소프트사운드 헤드폰기능의 처리(410)가 끝날 수 있도록 해야만 한다.

[참고문헌]

[1] 배명진, 이상효, 디지털 음성분석 , 동영출판사, 1998.

[2] 배명진, 디지털 음성합성 , 동영출판사, 1998.

[3] 배명진, 디지털 음성부호화 , 동영출판사, 1996.

[4] Rabiner and Schefer, Digital Signal Processing of Speech

Signals , Prentice Hall, 1978.

본 발명은 기술적으로 볼 때 인간의 오감을 보조하는 기술의 하나이다. 누구나 나이가 들면 감각기능이 노화되어 점차 그 기능이 둔화되는데, 소프트사운드 헤드폰은 이러한 감각기능을 보완해주는 복지기술의 실용화라는 점이 특이하다. 따라서 청각기능이 떨어지는 노인이나 장애인에게 상대방의 목소리 톤을 부드럽게 제공할 수 있는 복지국가용 헤드폰 기술로서 그 응용성이 독특하다.

그리고 이 소프트사운드 헤드폰은 정감이 있는 사회를 이루는데 필요한 핵심기술이다. 사회는 고도로 첨단화되고, 인간은 점차 고립화되기 때문에 일상의 목소리 소통에서조차 상대를 무시하는 대화가 아주 보편화되고 있다. 이러한 사회의 분위기를 소프트사운드 헤드폰을 통해 바꿀 수 있다. 발성자의 급하고 억양이 강한 목소리를 부드럽게 말하도록 변경시킴으로서 자칫하면 감정이 유발될 수 있는 청취 분위기를 차분하게 안정시켜 줄 수 있기 때문이다.

또한 소프트사운드 헤드폰에 적용한 발성변환 기술은 대화의 내용을 기록하는 전문 속기사의 듣기 보조시스템으로 활용할 수 있고, 영어듣기 능력을 키워나가는 어학 학습기에 적용할 수 있고, 긴급하거나 조난구조 요청하는 소리를 부드럽고 공손하게 듣거나 녹음해야 하는 경우에도 슬 수 있는 등의 실용성 있는 발명기술로서 그 파급 효과가 아주 크다.

Claims (1)

1. 헤드폰을 사용하여 발성자와 통화하거나 또는 음향기기의 소리를 청취함에 있어서 발성자의 목소리가 급하고 퉁명스럽게 들릴 경우에 임의의 키-보턴을 누르면 목소리를 부드럽고 예절이 있는 소리로 변환시켜주는 소프트사운드 기능을 기존의 헤드폰에 있는 내, 외장형의 신호처리 컴퓨터 칩의 일부분에 구현하는 것으로서, 목소리 신호의 특징을 추출하여 발성자의 특성정보와 메시지의 의미정보는 그대로 유지하면서 발성자의 억양피치정보를 부드럽게 조절하는 것으로서, 발성자의 발성특성에서 피치억양을 조절하여 목소리 음색의 변화범위를 제한하는 청취기능을 구현하거나, 발성하는 에너지의 진폭변화를 관찰하여 일정범위를 벗어나지 않게 하거나, 발성 지속시간의 지연보상을 유성음 및 비유성음 구간으로 구분하여 처리를 다르게 하는 등의 발성변환 처리법을 헤드폰에 구현하여 발성자의 목소리가 부드럽고 다정하게 들리도록 하는 소프트사운드 기능을 탑재한 헤드폰 방식.