KR101185650B1 - 음성신호에 포함된 반향신호의 제거방법 및 장치 - Google Patents

Abstract

본 발명은 단말기의 마이크를 통해 입력되는 반향신호를 제거하는 방법 및 장치를 제공한다.

이러한 본 발명은 2개 이상의 채널입력을 이용하여 2개 이상의 소스를 분리하는 독립성분 분석방법을 응용한다. 단말기는 원단화자 신호를 가상 마이크로부터의 음성신호로 설정하고, 실제 마이크로부터 입력되는 근단화자 신호와 상기 가상 마이크로부터 입력된 원단화자 신호가 섞인 혼합신호로부터 독립성분 분석방법을 통해 상기 근단화자 신호만을 분리한다.

독립성분 분석방법, 근단화자, 원단화자, 반향신호, 지연보상

Description

음성신호에 포함된 반향신호의 제거방법 및 장치{Method and apparatus for eliminating acoustic echo from voice signal}

도 1은 종래기술에 따른 반향 제거기의 구성도.

도 2는 종래기술에 따른 반향신호 처리에 대한 블록도.

도 3은 본 발명의 바림직한 실시예에 따른 반향신호 처리에 대한 블록도.

도 4는 본 발명의 바림직한 실시예에 따른 반향신호 처리 흐름도.

본 발명은 음성신호에 포함된 반향신호 제거방법 및 장치에 대한 것으로, 마이크를 통해 수집되는 반향신호인 원단화자 신호를 근단화자 신호와 분리하여 제거하는 방법 및 장치를 제공한다.

사무실이나, 방 혹은 자동차 안에서 단말기를 이용하여 스피커폰 모드 또는 일반통화 모드로 통화를 할 경우, 경로가 다양한 반향신호가 잡음과 함께 마이크를 통해서 입력이 된다. 특히 상기 단말기의 스피커를 통해 나오는 원단화자 신호가 다른 사물들에 반사되어서 상기 마이크로 입력되는 것을 상기 반향신호라 한다. 상 기 반향신호를 제거하기 위해서 통상의 단말기에는 정규최소평균자승(Normalized Least Mean Square; 이하 NLMS 라 한다.) 알고리즘을 이용하는 반향 제거기를 장착한다.

도 1은 종래기술에 따른 반향 제거기의 구성도이다.

k는 이산시간 인덱스(time index)로서, 원단화자 신호인 x(k)가 스피커(100)를 통해 출력되어 다른 사물들에 반사되면, 반향신호인 y(k)가 되어 근단화자 신호인 s(k)와 잡음인 n(k)와 같이 마이크(130)로 입력된다. 상기 마이크(130)로 입력되는 신호를 d(k)라 하면, 이는 하기 <수학식 1>과 같이 나타내어진다.

d(k) = s(k) + n(k) + y(k)

반향 제거기(110)는 상기 x(k)를 전달받아 마이크로 입력하는 신호

를 추정하며, 상기 추정된 신호는 하기 <수학식 2>와 같이 나타내어진다.

상기 W(k)는 상기 반향 제거기(110)가 사용하는 NLMS 알고리즘의 계수로서, 하기 <수학식 3>과 같이 나타내어진다.

여기서 μ는 스텝사이즈(step size)이고 e(k)는 오차신호이며, 상기 반향 제거기(110)는 NLMS 알고리즘을 사용하는 탭수 n의 적응필터이다. 그러면, 반향 제거기(110)의 입력 x(k)는 하기 <수학식 4>와 같이 나타내어진다.

X(k) = [x(k),x(k-1),…x(k-n)]

가산기(120)에서 상기

를 상기 d(k)로부터 감산하여 출력하는 신호를 오차신호인 e(k)라 하면, 이는 하기 <수학식 5>과 같이 나타내어진다.

일반적인 NLMS 알고리즘을 사용하게 되면, 상기 e(k)는 상기 y(k)를 약 20dB정도 감쇠시키게 되어, 반향신호를 감소시킬 수 있다.

도 2는 종래기술에 따른 반향신호 처리에 대한 블록도이다.

음성을 복호하는 보코더의 디코더(200)가 단말기의 스피커(도시하지 않음)를 통해 원단화자 신호를 출력하면, 상기 원단화자 신호가 다른 사물들에 부딪쳐서 반향신호가 발생하게 된다.

상기 반향신호는 위치에 따라 다른 반향경로(210)와 같은 채널을 지나서 본 래의 신호와는 다르게 변형되고, 마이크(220)를 통해 단말기로 입력되면서 근단화자의 신호인 s(k) 및 잡음인 n(k)와 더해진다. 동시통화 검출기(230)는 상기 원단화자 신호와 상기 근단화자 신호의 상태를 지속적으로 체크한다. 만일 상기 반향신호가 존재하지 않고 상기 근단화자 신호만이 존재하게 되면, NLMS 필터계수의 업데이트는 중지되고 단말기는 상기 마이크(220)로 입력된 신호 d(k)에 대해 포스트 필터(260)에 의한 필터링만을 실시하여 상기 n(k)를 제거하게 된다.

필터 업데이트 조절기(240)는 상기 동시통화 검출기(230)로부터 상기 근단화자 신호 및 상기 반향신호에 대한 정보를 받아 상기 NLMS 필터계수의 업데이트 여부를 결정한다. 상기 반향신호만이 존재한다고 판단되었을 시 상기 필터 업데이트 조절기(240)는 NLMS 적응필터(250)를 위한 NLMS 필터계수를 업데이트하며, 상기 NLMS 적응필터(250)는 상기 업데이트 된 NLMS 필터계수에 따라 상기 보코더의 디코더(200)로부터 출력되는 원단화자 신호를 필터링한다. 가산기(255)는 상기 NLMS 적응필터(250)로부터의 필터링된 신호를 상기 마이크(220)로부터의 입력신호에서 감산함으로서 실제로 반향신호를 제거하는 역할을 한다. 이렇게 반향신호가 제거되었다고 하더라도 잔여 반향신호가 존재하므로 포스트 필터(260)에서는 알려진 스펙트럼 차감법등을 이용하여 상기 잔여 반향신호를 감소시키게 된다. 상기 잔여 반향신호까지 제거된 상기 근단화자 신호는 보코더의 인코더(270)로 입력되어 코딩된다.

NLMS 알고리즘은, 동시통화 구간에서 NLMS 필터계수를 업데이트하게 되면 필터계수들이 발산하여 반향신호는 제거되지 않고, 근단화자 신호마저 심하게 왜곡을 시키게 된다. 그러므로 동시통화 검출기를 이용하여 NLMS 필터계수 업데이트를 조 절하게 되는데, 통상 동시통화 검출을 정확히 수행하는 것은 매우 어렵다. 비록 상기 동시통화 검출시점을 잘 맞추었다 하더라도 이전에 업데이트된 NLMS 필터계수를 이용하여 상기 반향신호를 제거하면, 이 역시 근단화자 신호의 왜곡이 발생하고 반향신호만 존재하는 구간에 비해 성능이 현저히 떨어지게 된다. 그리고 단말기의 스피커 폰 모드나 비디오 폰 모드 시 반향신호의 반향경로가 길어지고 그 크기 또한 상당히 커지게 되므로, NLMS와 같은 적응 알고리즘을 사용하게 되면 성능이 떨어진다. 즉, 반향경로가 길어지면 NLMS 필터계수의 차수 또한 늘어나야 긴 반향신호를 제거할 수 있게 되는데, 이 경우 NLMS를 수행해야 하는 단말기의 연산량과 메모리가 크게 증가하는 문제점이 있다.

이러한 문제점을 해소하기 위해 창안된 본 발명은, 독립성분 분석방법을 사용하여 근단화자 신호에 포함된 원단화자 신호에 의한 반향신호를 제거하는 방법 및 장치를 제공한다.

반향경로가 긴 신호에 대해 NLMS 알고리즘의 복잡한 연산과 메모리 증가를 필요하지 않고 반향신호를 제거하는 방법 및 장치를 제공한다.

어려운 동시통화 검출을 수행하고 잘못된 NLMS 필터의 업데이트를 할 필요없이 반향신호를 제거하는 방법 및 장치를 제공한다.

본 발명의 바람직한 실시예는, 단말기의 마이크로 입력되는 반향신호를 제거하는 방법에 있어서,

마이크를 통해, 근단화자 신호와 원단화자 신호에 의한 반향신호가 혼합된 신호를 입력받는 과정과,

상기 원단화자 신호에 대해 추정된 반향경로 특성(H)에 따라 상기 입력된 신호d(k)를 탈반향 필터링하는 과정과,

상기 마이크와 단말기의 스피커 사이의 거리에 따른 지연값으로 상기 탈반향 필터링된 신호를 보상해 주는 과정과,

상기 보상된 신호와 보코더로부터 출력되는 원단화자 신호를 입력으로 하여, 독립성분 분석방법을 통해 상기 반향신호와 상기 근단화자 신호를 분리한 후, 상기 근단화자 신호를 선택하여 출력하는 과정을 포함하는 것을 특징으로 한다.

본 발명의 장치는, 단말기의 마이크로 입력되는 반향신호를 제거하는 장치에 있어서,

근단화자 신호와 원단화자 신호에 의한 반향신호가 혼합된 신호를 입력받는 마이크와,

상기 원단화자 신호에 대해 추정된 반향경로 특성(H)을 이용하여 상기 입력된 신호d(k)를 디컨벌루션(deconvolution)하는 탈반향 필터와,

상기 마이크와 단말기의 스피커 사이의 거리에 따른 지연값으로 상기 탈반향 필터링된 신호를 보상해 주는 지연 보상기와,

상기 보상된 신호와, 보코더로부터 출력되는 원단화자 신호를 입력받아, 독립성분 분석방법을 통해 상기 반향신호와 상기 근단화자 신호를 분리한 후, 상기 근단화자 신호를 선택하여 출력하는 독립성분 분석기로 포함하여 구성된 것을 특징 으로 한다.

전술한 바와 같은 내용은 당해 분야 통상의 지식을 가진 자는 후술되는 본 발명의 구체적인 설명으로 보다 잘 이해할 수 있도록 하기 위하여 본 발명의 특징들 및 기술적인 장점들을 다소 넓게 약술한 것이다.

본 발명의 청구범위의 주제를 형성하는 본 발명의 추가적인 특징들 및 장점들이 후술될 것이다. 당해 분야에서 통상의 지식을 가진 자는 본 발명의 동일한 목적들을 달성하기 위하여 다른 구조들을 변경하거나 설계하는 기초로서 발명의 개시된 개념 및 구체적인 실시예가 용이하게 사용될 수도 있다는 사실을 인식하여야 한다. 당해 분야에서 통상의 지식을 가진 자는 또한 발명과 균등한 구조들이 본 발명의 가장 넓은 형태의 사상 및 범위로부터 벗어나지 않는다는 사실을 인식하여야 한다.

이하 본 발명의 바람직한 실시예들을 첨부한 도면을 참조하여 상세히 설명한다. 또한 본 발명의 요지를 흐릴 수 있는 공지기능 및 구성에 대한 상세한 설명은 생략한다.

본 발명의 주요한 요지는 독립성분 분석방법으로 단말기의 마이크에 입력되는 혼합신호들에 포함된 반향신호를 제거하고, 근단화자 신호를 선택하여 출력하는 것이다.

도 3은 본 발명의 바림직한 실시예에 따른 반향신호 처리에 대한 블록도이 다.

음성을 복호하는 보코더의 디코더(300)가 단말기의 스피커(도시하지 않음)를 통해 원단화자 신호 x(k)를 출력하면, 상기 원단화자 신호가 다른 사물들에 부딪쳐서 반향신호 y(k)가 발생하게 된다.

상기 반향신호는 위치에 따라 다른 반향경로(310)와 같은 채널을 지나면서 변형되고, 마이크(330)를 통해 단말기로 입력되면서 근단화자 신호 s(k) 및 잡음 n(k)과 더해진다.

원단화자 신호 검출기(320)는 상기 x(k)를 파악하고 검출한다. 상기 x(k)만 존재할 경우, 상기 마이크(330)를 통해 입력된 신호 d(k)에는 반향신호만이 포함되며 상기 반향경로(310) 특성을 H(k)라 하면, 상기 d(k)는 하기 <수학식 6>의 컨벌루션(convolution)연산과 같이 나타내어진다.

d(k) = H(k) * x(k)

상기 x(k)와 상기 d(k)를 알고 있기 때문에 이것을 이용하여 H(k)를 연산하여 구한 후, 그 역 H^-1(k)을 이용하여 추후 입력되는 d(k)를 디컨벌루션(deconvolution)연산하면, 상기 마이크(330)로 입력되는 신호에 포함된 반향성분을 최대한 줄여 준다.

상기 근단화자 신호가 존재하는 경우, 탈반향(Dereverberation) 필터(340)에서는 상기 추정된 H(k)를 이용하여 상기 근단화자 신호를 포함하는 마이크 입력신 호 d(k)를 디컨벌루션(deconvolution)함으로서, 원래의 신호와 음질이 흡사하도록 상기 d(k)를 필터링하여 출력한다.

지연보상기(350)는 단말기의 마이크와 스피커의 거리에 의해 미리 계산된 지연값을 저장하고 있다가, 상기 지연값에 의해 상기 필터링된 신호를 보상해 주게 되며, 상기 보상된 신호는 독립성분 분석기(360)로 입력된다.

상기 독립성분 분석기(360)로 입력된 상기 보상된 신호는 탈반향(Dereverberation) 필터링과 지연보상을 하였지만 여전히 원단화자 신호와 차이가 존재하므로, 독립성분 분석기(350)는 상기 보상된 신호 및 상기 원단화자 신호를 주파수 영역의 신호들로 변환하여 프레임 단위로 나누고 주파수 영역에서 분석을 한다. 독립성분 분석방법은 원래신호들이 상호독립이라는 가정하에서 신경망 학습을 거듭하여, 혼합된 신호로부터 상기 원래신호들로 각각 분리하는 방법이다. 이때 독립성분 분석기(360)는 상기 x(k)를 가상의 마이크로 입력된 다른 채널신호로 간주한다.

상기 독립성분 분석기(360)의 반향신호처리를 설명하면 다음과 같다.

원래의 반향신호와 근단화자 신호는 X₁, X₂ 로 표현 할 수 있으며 S_1, S₂ 는 각각 실제로 독립성분 분석기(360)에 입력되는 신호들로서 상기 x(k)와 보상된 d(k)가 된다. 실제 입력되는 신호들이 원래의 신호들에 소스혼합 행렬A가 곱해진 것이라고 하면, 상기 소스혼합 행렬 A는 다음 <수학식 7>과 같다.

여기서 원단화자 신호인 S₁ 과 탈반향 필터링 및 지연보상을 거친 반향신호 X₁ 은 같아야 하므로, 상기 소스혼합 행렬 A의 계수중 α₁₁은 1이 되고 α₁₂는 0이 되므로, 변수는 α_21, α₂₂ 만 존재하게 된다. 독립성분 분석기(360)는 연속해서 입력되는 신호들을 이용하여 원래 신호들 간의 상관도(correlation)가 최소가 되도록 하는 상기 변수값들을 추정함으로서, 상기 소스혼합 행렬 A를 얻는다.

그러면, 상기 독립성분 분석기(360)는 실제 입력되는 신호들 S_1, S₂ 에 상기 행렬A의 역행렬A^-1를 곱함으로서 하기 <수학식 8>과 같이 원래의 신호들 X₁, X₂,를 얻는다.

독립성분 분석기(360)는 상기 신호들 X₁, X₂ 중 원래 근단화자 신호인 X₂를 다시 시간영역으로 변환하여 출력한다.

상기 출력된 신호는 반향신호가 제거된 신호지만 잔여 반향신호가 존재하므 로, 포스트 필터(370)에서 상기 독립성분 분석기(360)로부터의 출력신호에 대해 상기 잔여반향신호를 제거 또는 감소시켜 음질 향상 처리를 한다. 구체적으로 상기 포스트 필터(370)는 독립성분 분석의 실시 전 신호와 처리후의 신호를 비교하여, 반향신호만 존재하고 근단화자 신호가 존재하지 않는 구간만을 센터 클리cld(center clipping)하여 상기 잔여반향신호를 제거 또는 감소시키게 된다. 상기 잔여 반향신호가 제거된 근단화자 신호는 보코더의 인코더(380)로 입력되어 코딩된 후, 통신채널을 거쳐 원단화자에게 전송된다.

도 4는 본 발명의 바림직한 실시예에 따른 반향신호 처리 흐름도이다.

(400)단계에서 근단화자 신호와 반향신호가 혼합되어 단말기의 마이크(330)로 입력되면, (410)단계에서 원단화자 신호 검출기(320)가 원단화자 신호가 존재하는지를 검색한다. 상기 원단화자 신호가 존재하지 않으면 (430)단계로 진행하고, 존재하면 (420)단계로 진행하여 탈반향 필터(340)가 추정된 채널정보에 따라 원래의 신호와 음질이 흡사하도록 필터링하여 출력한다. 상기 (430)단계에서는 상기 단말기의 마이크(330)와 스피커 사이의 거리에 따른 지연값으로서, 상기 출력된 신호를 보상해 주게 된다. 상기 보상된 신호는 탈반향 필터링과 지연보상을 거쳤지만, 원래 원단화자 신호와 차이가 존재한다.

(440)단계에서는 상기 보상된 신호와 상기 원단화자의 신호를 주파수 영역의 신호들로 변환을 실시한다. (450)단계에서는 상기 주파수 영역의 신호와 상기 원단화자 신호에 대해 독립성분 분석을 실시하여 각각의 신호를 분리한 후에, 상기 근단화자 신호를 선택하여 출력하면, (460)단계에서 상기 근단화자 신호는 시간영역 의 신호로 변환된다. (470)단계에서는 포스트 필터(370)가 상기 시간영역으로 변환된 근단화자 신호에 존재하는 잔여 반향신호를 제거 또는 감소시켜 음질 향상 처리를 한다.

(480)단계는 잔여 반향신호가 제거된 상기 근단화자 신호는 보코더에서 인코딩된다.

한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 변형의 예로서 본 명세서에서는 상기 단말기의 예만을 설명하였으나, 본 발명은 큰 변형없이 스피커에서 출력되는 신호가 반향신호로 변하여 다시 마이크로 입력되는 장치 등에 용이하게 적용이 가능하다. 또한, 독립성분 분석방법과 유사한 방법으로 블라인드 소스 분리법(Blind Signal Separation: BSS)을 사용할 수 있으며, 상기 블라인드 소스 분리법은 여러 소스신호들이 서로 상관성(correlation)이 없도록 분리하는 방법이다.

그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

본 발명은 반향된 신호인 원단화자 신호가 근단화자 신호와 함께 마이크로 입력될 경우 상기 반향신호인 원단화자 신호를 제거하기 위해 원단화자 신호를 이 용한 독립성분 분석방법을 실시하는 것이 특징이다.

이와 같은 본 발명은 원단화자 신호가 상대방으로 전달되지 않도록 하여, 근단화자 신호가 더 깨끗하게 상대방으로 전달되는 이점이 있다.

Claims (8)

1. 단말기의 마이크로 입력되는 반향신호를 제거하는 방법에 있어서,

   마이크를 통해, 근단화자 신호와 원단화자 신호에 의한 반향신호가 혼합된 신호를 입력받는 과정과,

   상기 원단화자 신호에 대해 추정된 반향경로 특성(H)에 따라 상기 입력된 신호d(k)를 탈반향 필터링하는 과정과,

   상기 마이크와 단말기의 스피커 사이의 거리에 따른 지연값으로 상기 탈반향 필터링된 신호를 보상해 주는 과정과,

   상기 보상된 신호와 보코더로부터 출력되는 원단화자 신호를 입력으로 하여, 독립성분 분석방법을 통해 상기 반향신호와 상기 근단화자 신호를 분리한 후, 상기 근단화자 신호를 선택하여 출력하는 과정을 포함하는 것을 특징으로 하는 독립성분 분석방법.
2. 제1항에 있어서, 상기 근단화자 신호를 선택하여 출력하는 과정은,

   상기 보상된 신호 및 상기 원단화자 신호를 주파수 영역의 신호들로 변환하는 과정과,

   상기 주파수 영역의 신호들에, 상기 독립성분 분석방법에 의해 구해진, 상기 반향신호와 상기 근단화자 신호의 혼합특성을 나타내는 소스혼합 행렬 A의 역행렬 을 곱함으로서, 원래의 신호들인 상기 반향신호와 상기 근단화자 신호를 분리하는 과정과,

   상기 근단화자 신호를 시간영역의 신호로 변환하여 출력하는 과정을 포함하는 것을 특징으로 하는 독립성분 분석방법.
3. 제 2항에 있어서, 상기 소스혼합 행렬은,

   

   이며,

   여기서, α₂₁과α₂₂는 연속적으로 입력되는 신호들을 이용하여 원래신호들 간의 상관도(correlation)가 최소가 되도록 구해지는 과정을 포함하는 것을 특징으로 하는 독립성분 분석방법.
4. 제2항에 있어서,

   상기 시간영역의 신호에서 상기 독립성분 분석 실시전의 신호와 처리후의 신호를 비교하여, 상기 반향신호만 존재하는 구간에서 잔여 반향신호를 제거하여 보코더로 입력시키는 포스트 필터링 과정을 더 포함하는 것을 특징으로 하는 독립성분 분석방법.
5. 단말기의 마이크로 입력되는 반향신호를 제거하는 장치에 있어서,

   근단화자 신호와 원단화자 신호에 의한 반향신호가 혼합된 신호를 입력받는 마이크와,

   상기 원단화자 신호에 대해 추정된 반향경로 특성(H)을 이용하여 상기 입력된 신호d(k)를 디컨벌루션(deconvolution)하는 탈반향 필터와,

   상기 마이크와 단말기의 스피커 사이의 거리에 따른 지연값으로 상기 탈반향 필터링된 신호를 보상해 주는 지연 보상기와,

   상기 보상된 신호와, 보코더로부터 출력되는 원단화자 신호를 입력받아, 독립성분 분석방법을 통해 상기 반향신호와 상기 근단화자 신호를 분리한 후, 상기 근단화자 신호를 선택하여 출력하는 독립성분 분석기로 포함하여 구성된 것을 특징으로 하는 독립성분 분석장치.
6. 제5항에 있어서, 상기 독립성분 분석기는,

   상기 보상된 신호 및 상기 원단화자 신호를 주파수 영역의 신호들로 변환하고, 상기 주파수 영역의 신호들에, 사익 독립성분 분석기에 의해 구해진, 상기 반향신호와 상기 근단화자 신호의 혼합특성을 나타내는 소스혼합 행렬 A의 역행렬을 곱함으로서, 원래의 신호들인 상기 반향신호와 상기 근단화자 신호를 분리하고, 상기 근단화자 신호를 시간영역의 신호로 변환하여 출력하는 것을 특징으로 하는 독 립성분 분석장치.
7. 제 6항에 있어서, 상기 소스혼합 행렬은,

   

   이며,

   여기서, α₂₁과α₂₂는 연속적으로 입력되는 신호들을 이용하여 원래신호들 간의 상관도(correlation)가 최소가 되도록 구해지는 것을 특징으로 하는 독립성분 분석장치.
8. 제6항에 있어서,

   상기 시간영역의 신호에서 상기 독립성분 분석 실시전의 신호와 처리후의 신호를 비교하여, 상기 반향신호만 존재하는 구간에서 잔여 반향신호를 제거하여 보코더로 입력시키는 포스트 필터를 더 포함하는 것을 특징으로 하는 독립성분 분석장치.

Images