KR101340520B1

KR101340520B1 - 잡음을 제거하는 장치 및 방법

Info

Publication number: KR101340520B1
Application number: KR1020080070995A
Authority: KR
Inventors: 김강열
Original assignee: 삼성전자주식회사
Priority date: 2008-07-22
Filing date: 2008-07-22
Publication date: 2013-12-11
Also published as: KR20100010136A; US20100020980A1; US8422696B2

Abstract

본 발명은 잡음을 효과적으로 제거하는 방안을 제안한다. 이를 위해 본 발명은 잡음이 혼재된 음성 신호에서 음성의 특성을 감쇠시키면서 잡음 구간을 결정하고, 결정된 잡음 구간에서 잡음의 종류를 판별하고, 판별을 통한 얻은 잡음 정보를 이용하여 그 잡음이 혼재된 음성 신호로부터 잡음을 제거하는 과정으로 이루어진다. 여기서, 잡음의 종류를 판별하기 위해 클러스터링(clustering) 방법과 유사도 측정 방법이 이용된다. 이렇게 함으로써, 다양한 잡음이 혼재된 음성 신호일지라도 잡음을 정확하게 제거할 수 있어 음질 왜곡을 최소화할 수 있게 된다.

음성, 잡음, 클러스터링

Description

잡음을 제거하는 장치 및 방법{APPARATUS AND METHOD FOR REMOVING NOISE}

본 발명은 잡음 제거 장치 및 방법에 관한 것으로, 특히 통화 시 발생하는 잡음을 제거하는 장치 및 방법에 관한 것이다.

이동통신용 단말기를 이용하여 사용자가 통화 시 주위의 환경에 따라 다양한 잡음 신호가 단말 내의 마이크로폰을 통해 입력되게 된다. 음성 품질에 영향을 미치는 가장 중요한 요인들 중 하나는 환경 잡음이다. 따라서 잡음을 억제하는 방법은 이동 통신 단말기 제조업체들에게 잠재적 차별화 요인을 제공해주고 있다.

이러한 잡음은 크게 고정(Stationary) 잡음과 비고정(Non-stationary) 잡음으로 나눌 수 있다. 고정 잡음은 자동차 잡음이나 바람소리와 같이 비교적 시간에 무관하게 잡음이 일정한 경우이고 비고정 잡음은 식당이나 백화점 등에서 사람들이나 여러 다양한 소리들이 함께 혼합되어 시간에 따라 계속 변화하는 잡음이다. 잡음이 발생하게 되면 음질이 떨어져 통화 시 상대방의 이러한 잡음들을 제거하기 위해 여러 잡음 제거 방법이 사용된다.

잡음 제거 방법 중의 하나로 한 개의 마이크를 이용하는 방법이 있다. 이 방법은 초기의 수 msec의 신호를 잡음으로 가정한다. 이 방법은 그 신호를 기초로 신 호대잡음비(SNR:Signal-to-Noise Ratio)을 구하면서 잡음 영역과 음성 영역에서 잡음을 제거하며, 잡음 영역에서는 초기 잡음 신호를 업데이트하고 음성 영역에서는 업데이트없이 잡음을 차감하는 방법이다. 이렇게 하나의 마이크를 사용한 잡음 제거 방법의 경우는 잡음과 음성의 구분이 용이하지 않고 잡음이 비고정 잡음일 경우에는 음성 구간에서도 잡음이 변화하기 때문에 이전 잡음 데이터를 이용하여 잡음 제거 처리를 할 경우 음성 신호의 심한 왜곡이 발생한다. 이런 기술적 한계를 극복하기 위해 마이크를 2개 이상 장착 후 신호 처리를 이용하여 잡음을 제거하는 알고리듬들이 제안되고 있다.

이러한 2개의 마이크를 이용한 방법의 경우를 설명하기 위해 도 1을 참조한다. 도 1은 2개의 마이크를 장착할 경우의 이동 통신 단말기의 예시도로, 이동 통신 단말기의 전면에 화자의 음성을 입력받는 마이크(10)가 장착되며, 후면에는 잡음을 입력받는 마이크(20)가 장착되는 경우를 예시하고 있다. 전면의 마이크(10)를 통해서는 화자의 발성이 크게 입력되면서 동시에 주변 잡음도 입력되며, 후면의 마이크(20)를 통해서는 화자의 발성 신호가 거리에 의해 감쇠되어 상대적으로 적게 입력되면서 잡음은 전면에서의 마이크(10)를 통한 잡음과 유사한 잡음이 입력될 것이다. 이에 따라 전면에서의 마이크(10)를 통해서는 도 2의 도면부호 30에서와 같은 화자 방향 신호가 실제로 입력되며, 후면의 마이크(20)를 통해서는 도면부호 40에서와 같이 음성 신호 크기가 상대적으로 작은 잡음 방향 신호가 입력되게 된다.

상기와 같이 2개의 마이크로폰을 장착하여 음성 신호에서 잡음 신호를 분리하는 장치의 내부 블록 구성도는 도 3에서와 같다. 도 3을 참조하면, 화자 방향의 마이크(310)를 통한 신호 및 잡음 방향의 마이크(320)를 통한 신호가 입력되면, 각각의 주파수 영역 변환부(330A, 330B)를 통해 시간 영역의 신호는 주파수 영역으로 변환된다. 주파수 영역으로 변환된 신호들은 신호 분리 알고리듬(340)을 통해 잡음 신호와 음성 신호로 분리된다. 여기서 사용되는 알고리듬은 블라인드 신호 분리나 빔포밍 알고리듬 등의 신호 분리 알고리듬으로서, 두 개의 입력 신호에서 음성 신호와 잡음 신호를 분리하는 역할을 한다. 이렇게 분리된 신호에는 잔여 잡음이 존재하게 되고 잔여 잡음 제거기(350)에서는 그 잔여 잡음을 제거한 음성 신호를 출력한다. 여기까지의 신호는 주파수 영역에 신호이므로 시간 영역 변환부(360)에서는 다시 그 주파수 영역에서의 음성 신호를 시간 영역으로 변환한다.

종래의 신호 분리 알고리듬은 기본적으로 N개의 신호가 존재하면 N개의 마이크를 통한 입력이 있어야 모든 신호를 분리해 낸다. 이에 따라 음성 신호와 잡음 신호 두 가지 신호를 전제로 할 경우에는 2개의 마이크를 이용한 잡음 제거 방법을 사용하여 신호를 분리하는 것이다. 그러나 실제 환경에서는 잡음 신호가 하나의 신호가 아니고 여러 잡음들이 혼합된 신호이므로 블라인드 신호 분리 알고리듬을 사용하여 잡음을 완벽하게 제거 불가능하며 후처리기에 의존성이 강하게 된다. 그리고 잔향이 많이 발생하는 환경에서는 잔향에 의해 여러 신호가 존재하는 것으로 인식되어 제대로 잡음 제거 처리가 이루어지지 않게 된다. 이렇게 되면 역시 후처리기 성능이 좋아야 잡음을 제거가 가능하고 음질 왜곡을 막을 수 있다. 또한 신호 분리 알고리듬으로서 빔포밍 알고리듬을 사용할 경우는 여러 마이크로폰을 이용하여야 비로소 목적하고자 하는 방향으로 빔을 형성해야 잡음 제거가 가능하기 때문에 2개의 마이크를 이용하여서는 양호한 성능을 발휘하기가 어렵다.

따라서 본 발명은 여러 잡음 소스가 입력되는 다양한 환경에서도 잡음을 효율적으로 제거하여 음질 왜곡을 줄일 수 있는 잡음 제거 장치 및 방법을 제공한다.

상기한 바를 달성하기 위한 본 발명은, 화자에 가깝게 장착되는 제1마이크 및 상기 마이크와 일정 거리만큼 이격되어 장착되는 제2마이크를 적어도 두 개 구비하는 잡음 제거 장치에 있어서, 상기 각각의 마이크로부터 잡음이 혼재된 제1 및 제2음성 신호가 입력되면, 주파수 영역에서의 신호로 각각 변환하는 제1 및 제2주파수 영역 변환부와, 상기 각각의 변환된 제1 및 제2음성 신호를 이용하여 현재 구간이 음성 구간인지 잡음 구간인지를 판단하는 빈 비교기와, 상기 변환된 제2음성 신호로부터 음성 신호 성분을 차감하는 차감기와, 상기 빈 비교기에서의 판단 결과를 근거로 잡음 구간에서 상기 음성 신호 성분이 차감된 제2음성 신호에 대한 잡음 종류를 판단하는 잡음 클러스터링부와, 상기 변환된 제1음성 신호로부터 상기 잡음 종류에 해당하는 잡음을 제거하는 잡음 제거 알고리듬부와, 상기 잡음이 제거된 신호에서 잔여 잡음을 제거하는 잔여 잡음 제거기와, 상기 잔여 잡음이 제거된 신호를 시간 영역에서의 신호로 변환하는 시간 영역 변환부를 포함함을 특징으로 한다.

또한 본 발명은, 화자에 가깝게 장착되는 제1마이크 및 상기 마이크와 일정 거리만큼 이격되어 장착되는 제2마이크를 적어도 두 개 구비하는 잡음 제거 장치에서 잡음을 제거하는 방법에 있어서, 상기 각각의 마이크로부터 잡음이 혼재된 제1 및 제2음성 신호가 입력되면 현재 구간이 음성 구간인지 잡음 구간인지를 판단하는 과정과, 상기 제2음성 신호에서 음성 신호 성분을 차감하는 과정과, 상기 판단 결과를 근거로 잡음 구간에서 상기 음성 신호 성분이 차감된 제2음성 신호에 대한 잡음 종류를 판단하는 과정과, 상기 제1음성 신호로부터 상기 잡음 종류에 해당하는 잡음을 제거하는 과정과, 상기 잡음이 제거된 신호에서 잔여 잡음을 제거하는 과정과, 상기 잔여 잡음이 제거된 신호를 시간 영역에서의 신호로 변환하는 과정을 포함함을 특징으로 한다.

본 발명에 따르면, 다양한 경로로 전파되어 마이크를 통해 입력되는 잡음일지라도 효과적으로 제거할 수 있다. 뿐만 아니라, 2 채널 정보를 이용하여 음성 영역인지 잡음 영역인지를 판단하기 때문에 더욱 정확한 판단이 가능하며 이를 이용 하여 음성 영역에 더해진 잡음을 분리하기가 더욱 용이한 이점이 있다. 또한 잔향이 심한 환경일지라도 2개의 마이크만으로도 잡음이 제거된 신호를 얻을 수 있으며, 음질 왜곡 또한 최소화할 수 있게 된다.

이하 본 발명의 바람직한 실시예들을 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성 요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

상기한 바와 같은 기능이 구현된 잡음 제거 장치의 동작을 도 4를 참조하여 설명한다. 도 4는 본 발명의 실시예에 따른 잡음 제거 장치의 내부 블록 구성도이며, 이하의 설명에서는 2개의 마이크를 통한 2채널 마이크 입력을 전제로 설명하나 본 발명은 복수개의 마이크가 장착된 경우에도 적용 가능하다. 이때, 잡음 제거 장치는 화자에 가깝게 장착되는 마이크와, 상기 마이크와 일정 거리만큼 이격되어 장 착되는 마이크를 적어도 두 개 구비한다.

도 4를 참조하면, 화자 방향의 마이크(410)를 통한 신호 및 잡음 방향의 마이크(420)를 통한 신호가 입력된다. 이때, 화자 방향의 마이크(410)를 통해서는 화자와의 거리가 가깝기 때문에 화자의 발성이 크게 입력됨과 동시에 주변 잡음도 동시에 입력된다. 잡음 방향의 마이크(420)를 통해서는 화자의 발성이 두 마이크 간의 거리만큼 감쇠되어 상대적으로 적게 입력되며 동시에 주변 잡음은 거의 동일한 크기로 입력된다.

일반적으로 이동 통신 단말기를 예로 들면, 그 이동 통신 단말기에서 화자 방향 마이크는 화자의 입과 수 cm정도의 거리에 위치하고 있고 잡음 방향 마이크는 그 화자 방향 마이크와 다른 부분에 10cm 이상 거리만큼 떨어져 장착되게 된다. 이렇게 하면 잡음 소스는 두 개의 마이크 간의 거리에 비해 굉장히 멀리 떨어져 있기 때문에 두 개의 마이크에 거의 같은 잡음 신호가 입력되고 화자의 음성은 화자 방향 마이크에 큰 에너지로 입력된다. 그러나 소리는 공기 중에서 거리에 제곱으로 감쇠되기 때문에 잡음 방향 마이크에는 상대적으로 적은 양의 음성 신호가 입력되게 된다. 이와 같이 이동 통신 단말기에 미리 장착되어 있는 마이크 간의 거리를 알 수 있기 때문에 잡음 방향 마이크를 통해 입력되는 음성 신호의 양도 미리 알 수 있다. 이러한 음성 신호의 양은 측정 실험을 통해 충분히 미리 알 수 있는 사항이며 본 발명의 요지를 벗어나므로 그 상세한 설명은 생략하기로 한다. 이에 따라 본 발명에서의 잡음 제거 장치에 장착되는 마이크 간의 거리를 고려함으로써 잡음 방향 마이크를 통해 입력되는 음성 신호의 양도 미리 측정하여 알 수 있음은 물론 이다.

이렇게 각각의 마이크(410, 420)를 통해 입력된 신호는 각각의 주파수 영역 변환부(430A, 430B)를 통해 주파수 영역으로 변환된다. 즉, 입력된 시간 영역의 신호는 주파수 영역의 신호로 변환된다. 여기서, 주파수 영역 변환부(430A)로부터 출력되는 신호 즉, 화자 방향 신호와 주파수 영역 변환부(430B)로부터 출력되는 신호즉, 잡음 방향 신호에서, 두 출력 신호에서의 잡음 신호의 양은 상기에서 설명한 바와 같이 비슷하며 음성 신호의 양만 다르게 나타난다. 이때, 두 출력 신호 간의 음성 신호의 차이는 미리 측정을 통해 알 수 있으므로, 도 4에서 이러한 차이 비율을 α라고 할 경우 곱셈기(450)에 의해 화자 방향 신호를 α배만큼 줄여준다. 이후 차감기(455)는 잡음 방향 신호에서 α배만큼 줄인 화자 방향 신호를 차감함으로써 잡음 방향 신호에서 음성 신호 성분을 최대한 줄일 수 있게 된다. 이렇게 음성 신호 성분이 줄어든 잡음 방향 신호는 잡음 클러스터링부(460)로 전달된다.

기존에 잡음 제거 후에도 여전히 잡음에 의한 음질 왜곡이 발생하는 이유는 다양한 종류의 잡음이 음성 신호에 혼재되어 있는 등 여러 가지 이유가 있으나 그 중에서도 잡음 구간에서의 정확한 잡음 검출이 어려운 데 있다. 이와 같이 음질 왜곡을 최소화하기 위해서는 기본적으로 음성 구간과 잡음 구간을 검출한 후 잡음 구간에 대한 유사도에 의해 잡음을 제거하는 것이 중요함을 의미한다. 따라서 본 발명에서는 잡음이 혼재된 음성 신호에서 잡음 구간에서의 잡음 종류를 검출하기 위해 음성 신호 성분을 감쇠시키는 방법을 사용하는 것이다.

한편, 각각의 주파수 영역 변환부(330A, 330B)를 통해 출력되는 신호들 중 일부는 빈(bin) 비교기(440)로 전달된다. 빈 비교기(440)는 잡음 방향 신호 및 화자 방향 신호의 주파수 영역 데이터 간에 주파수 빈마다 크기 비교를 수행하는 역할을 한다. 여기서 크기 비교를 위해 빈 비교기(440)는 하기 수학식 1을 이용한다.

if X(f) ≥ βY(f) then, count = count + 1

상기 수학식 1에서, X(f) 는 화자 방향 신호의 주파수 데이터이고, Y(f) 는 잡음 방향 신호의 주파수 데이터이고, β 는 마진값이다. 여기서, β 는 잡음 방향 신호에서 음성 신호 성분을 차감한 후 순수한 잡음만 남도록 음성 신호 성분을 보다 줄이는 역할을 한다. 만일 화자 방향 신호의 주파수 데이터가 마진값이 곱해진 잡음 방향 신호의 주파수 데이터보다 클 때마다 count는 증가하게 된다. 이렇게 한 프레임의 모든 주파수 영역 값에 대한 크기 비교를 수행한 후 그 비교 결과에 따른 count를 이용하여 현재 구간이 음성 구간인지 잡음 구간인지를 결정한다. 여기서, 음성 구간 및 잡음 구간의 결정은 프레임 단위로 수행된다. 이러한 결정을 위해 하기 수학식 2를 이용한다.

if count ≥ γ _th then, speech =1

else speech = 0

상기 수학식 2에서, γ _th 은 초기의 수 십 msec의 신호 구간에 해당하는 프레임 간의 count값들의 평균값으로 정해진다. 상기 수학식 2를 통해서는 현재 구간이 음성 구간인지 잡음 구간인지가 결정된다. 즉, 현재 프레임이 음성 프레임인지 잡음 프레임인지가 결정된다. 만일 잡음 구간일 경우에는 그 잡음 구간에 대한 정보가 잡음 클러스터링부(460)로 전달되며, 결정된 구간 정보는 잡음 제거 알고리듬(470)으로 전달된다.

잡음 클러스터링부(460)에서는 차감기(455)로부터 음성 신호 성분이 차감된 잡음 방향 신호를 전달받고, 빈 비교기(440)로부터 잡음 구간에 대한 정보를 제공받는다. 이에 따라 잡음 클러스터링부(460)에서는 잡음 구간으로 판단된 프레임의 주파수 데이터들을 클러스터링 기법을 사용하여 분류한다. 즉, 잡음 클러스터링부(460)는 잡음 구간에서 특징 벡터를 구하고 이를 클러스터링 기법을 이용하여 분류한다. 이러한 클러스터링 기법이 사용되는 이유는 하나의 잡음 구간 안에서도 잡음의 종류는 변할 수 있기 때문에 여러 가지의 그룹으로 분류한 후 현 시점에서 가장 가까운 잡음을 이용하여 잡음을 제거하기 위함이다. 이에 따라 잡음 구간에 대해 여러 잡음이 혼재할 경우에는 잡음 클러스터링부(460)는 여러 잡음을 하나 이상의 그룹으로 분류하는 역할을 하는 것이다.

잡음 클러스터링부(460)는 클러스터링을 통해 분류된 잡음에 대하여 잡음 매트릭스를 이용하여 유사도를 산출한다. 분류된 잡음에 대한 유사도 산출을 위해 가준이 되는 잡음 정보로서 이전에 클러스터링을 통해 업데이트된 잡음 정보가 이용 된다. 이러한 유사도 산출을 통해 잡음 구간에서의 잡음 종류를 판별할 수 있게 된다. 여기서, 잡음 매트릭스는 이전 클러스터링을 통해 업데이트되어 저장된 잡음 정보를 의미한다. 유사도를 산출하는 방법으로는 유클리디안 거리(Euclidean Distance), 마하라노비스 거리(Mahalanobis Distance) 등이 이용될 수 있다. 특히 마하라노비스 거리는 공분산(Covariance) 값을 유사도 구하는 데 이용함으로써 보다 정확한 유사도를 산출하도록 하는 것이 가능하며, 이는 수학식 3과 같이 표현된다.

상기 수학식 3에서 S는 공분산 행렬을 나타낸다.

이렇게 함으로써 기준 잡음과 분류된 잡음 간의 유사도를 산출하게 된다. 예를 들어, 잡음 구간에 혼재된 잡음들이 3가지로 분류된 경우, 잡음 클러스터링부(460)는 각각 분류된 잡음과 기준 잡음 간의 유사도를 산출하고, 그 분류된 잡음들 중 유사도가 가장 높은 값을 가지는 잡음을 결정한다. 이와 같이 산출된 유사도를 근거로 잡음 신호의 종류를 판별할 수 있으며, 유사도가 가장 높은 경우의 값을 가지는 잡음과 기준 잡음을 이용하여 잡음 정보에 대한 업데이트가 이루어진다. 이렇게 결정된 잡음 및/또는 업데이트된 잡음 정보는 잡음 제거 알고리듬(500)에 전달된다. 여기서, 잡음 제거 알고리듬(500)은 잡음 제거 장치의 구성부로서, 소프트웨어적으로 구현되거나 하드웨어적으로 하나의 모듈로 구현될 수 있다.

이에 따라 잡음 제거 알고리듬(500)은 음성 신호에 잡음 클러스터링부(460)에서 결정된 잡음이 혼재되어 있음을 알 수 있게 된다. 그러면 잡음 제거 알고리듬(500)은 빈 비교기(440)로부터 전달된 구간 판단 결과를 이용하여 잡음 구간에서 잡음이 혼재된 음성 신호로부터 그 결정된 잡음 종류에 해당하는 잡음을 차감한다. 즉, 잡음 제거 알고리듬(500)은 화자 방향의 마이크를 통해 최초로 입력된 신호로부터 결정된 잡음 종류에 해당하는 가장 가까운 잡음을 이용하여 차감함으로써 효과적으로 잡음을 제거한 음성신호를 출력할 수 있는 것이다. 이러한 차감 방법으로는 스펙트럼 차감법, 비너 필터링(Wiener filtering) 또는 MMSE-STSA(Minimum Mean Square Error-Short Time Spectral Amplitude) 방법 등이 사용될 수 있으며 이를 통해 음질 왜곡을 최소화하게 된다.

잔여 잡음 제거기(480)에서는 상기와 같이 잡음이 제거된 신호에는 잔여 잡음이 존재하므로 이 잔여 잡음을 제거함으로써 후처리 역할을 한다. 이렇게 잔여 잡음도 제거된 신호는 시간 영역 변환부(490)로 전달된다.

시간 영역 변환부(490)는 전달된 그 신호가 주파수 영역에서의 신호이므로 다시 시간 영역의 신호로 변환하는 역할을 한다.

도 5는 본 발명의 실시예에 따른 잡음 제거 장치에서의 잡음 제거 방법을 보여주는 흐름도로서, 도 5에서는 도 4에서와 마찬가지로 화자 방향의 마이크와 잡음 방향의 마이크가 일정 거리만큼 떨어져 장착되어 있는 경우를 전제로 한다.

도 5에 도시된 바와 같이 잡음 제거 단계는 크게 2채널 마이크를 통해 음성 신호가 입력되는 단계, 잡음이 혼재된 음성 신호에서 음성 신호 성분을 차감하는 단계, 잡음을 클러스터링하는 단계, 유사도를 산출하여 이를 이용한 잡음 제거 단계, 잔여 잡음 제거 단계 및 시간 영역으로의 변환 단계를 거쳐 잡음이 제거된 신호를 출력하는 단계로 이루어진다.

도 5를 참조하면, 잡음 제거 장치는 500단계에서 2개의 마이크를 통해 음성 신호가 입력되면, 각각의 입력 신호는 시간 영역에서의 신호이므로 505단계에서 주파수 영역으로 변환된다. 510단계에서 두 마이크 간의 거리를 고려한 만큼의 음성 신호 성분을 차감하기 위해 그 거리를 고려한 α를 결정한다. 이때, 두 마이크 간의 거리에 따른 음성 신호의 양은 미리 알 수 있으므로, 이에 따라 α가 결정된다. 그리고나서 520단계에서 잡음 방향 마이크를 통해 입력되는 잡음 방향 신호에서 α배만큼의 음성 신호 성분을 차감한다. 잡음 구간에서의 잡음 종류를 검출하기 위해 잡음이 혼재된 음성 신호에서 음성 신호 성분을 감쇠시키는 방법을 사용하는 것이다.

또한 잡음 구간에서의 잡음 종류를 검출하기 위해서는 현재 구간이 음성 구간인지 잡음 구간인지를 판별하는 동작이 요구된다. 이에 따라 505단계에서 각 신호가 주파수 영역에서의 신호로 변환되면, 잡음 제거 장치는 음성 신호 성분을 차감하는 동작을 수행하면서 515단계에서 음성 구간 또는 잡음 구간인지를 판단하게 된다. 구체적으로, 잡음 제거 장치는 각 주파수 빈(bin)마다 각 변환된 신호의 주파수 데이터 간의 크기 비교를 수행하고, 크기 비교를 카운트한 결과에 따라 현재 구간이 음성 구간 또는 잡음 구간인지를 판단한다. 이러한 구간 판단은 프레임 단위로 수행된다.

이어, 잡음 제거 장치는 525단계에서 구간 판단 결과와, 잡음 방향 신호에서 음성 신호 성분이 제거된 신호를 이용하여 잡음 클러스터링을 수행한다. 잡음 클러스터링은 잡음 구간에서도 하나의 잡음이 아닌 여러 종류의 잡음이 혼재되어 있을 수 있기 때문에 여러 가지 그룹으로 분류하는 역할을 하는 것이다. 이와 같이 잡음이 분류되면 잡음 제거 장치는 530단계에서 분류된 잡음과 이전에 저장해놓은 잡음 정보 간의 유사도를 산출한다. 잡음 제거 장치는 535단계에서 산출된 유사도 중 가장 높은 유사도를 가지는 잡음 정보를 이용하여 화자 방향 신호 즉, 잡음이 혼재된 음성 신호에서 그 잡음 정보에 해당하는 잡음을 제거한다. 이때, 잡음 제거 장치는 산출된 유사도를 근거로 잡음 신호의 종류를 판별한 후 잡음 정보를 업데이트한다.

그리고나서 잡음 제거 장치는 540단계에서 잔여 잡음을 제거하고, 545단계에서 주파수 영역에서의 신호를 시간 영역에서의 신호로 변환한 후 550단계에서 잡음이 제거된 신호를 출력하게 된다. 상기한 바와 같이 본 발명에서는 클러스터링을 통해 여러 그룹의 잡음으로 분류된 잡음 정보를 이용하며, 또한 그 잡음들 중 유사도를 기반으로 가장 가까운 잡음 정보를 찾을 수 있으며 이를 이용하여 잡음을 제거함으로써 음질 왜곡 또한 최소로 할 수 있는 이점이 있다.

상기와 같은 본 발명을 적용하여 잡음을 제거한다면, 도 6(a)에서와 같은 잡음 제거 전의 신호 파형은 도 6(b)에서와 같은 신호 파형을 출력하게 된다. 도 6(b)에서는 도 6(a)에 비해 잡음 제거 후의 신호 파형에서의 잡음 잔향이 상당히 제거되었음을 알 수 있다. 이와 같이 2개의 마이크만으로도 잔향이 심한 환경에서도 충분히 잡음이 제거된 신호를 얻을 수 있게 된다.

도 1은 2개의 마이크를 장착할 경우의 이동 통신 단말기의 예시도,

도 2는 각각의 마이크를 통해 입력되는 신호의 예시도,

도 3은 종래의 잡음 제거를 위한 장치의 내부 블록 구성도,

도 4는 본 발명의 실시예에 따른 잡음 제거 장치의 내부 블록 구성도,

도 5는 본 발명의 실시예에 따른 잡음 제거를 위한 동작 흐름도,

도 6은 본 발명의 실시예에 따른 잡음 제거 전/후의 신호 출력도.

Claims

화자에 가깝게 장착되는 제1마이크 및 상기 마이크와 일정 거리만큼 이격되어 장착되는 제2마이크를 적어도 두 개 구비하는 잡음 제거 장치에 있어서,

상기 각각의 마이크로부터 잡음이 혼재된 제1 및 제2음성 신호가 입력되면, 주파수 영역에서의 신호로 각각 변환하는 제1 및 제2주파수 영역 변환부와,

상기 각각의 변환된 제1 및 제2음성 신호를 이용하여 현재 구간이 음성 구간인지 잡음 구간인지를 판단하는 빈 비교기와,

상기 변환된 제2음성 신호로부터 음성 신호 성분을 차감하는 차감기와,

상기 빈 비교기에서의 판단 결과를 근거로 잡음 구간에서 상기 음성 신호 성분이 차감된 제2음성 신호에 대한 잡음 종류를 판단하는 잡음 클러스터링부와,

상기 변환된 제1음성 신호로부터 상기 잡음 종류에 해당하는 잡음을 제거하는 잡음 제거 알고리듬부와,

상기 잡음이 제거된 신호에서 잔여 잡음을 제거하는 잔여 잡음 제거기와,

상기 잔여 잡음이 제거된 신호를 시간 영역에서의 신호로 변환하는 시간 영역 변환부를 포함함을 특징으로 하는 잡음 제거 장치.
제1항에 있어서, 상기 차감기는,

상기 변환된 제2음성 신호로부터 상기 두 마이크 간의 거리를 고려한 음성 신호의 차이 비율에 해당하는 음성 신호 성분을 차감함을 특징으로 하는 잡음 제거 장치.
제1항에 있어서, 상기 빈 비교기는,

상기 제1음성 신호의 주파수 데이터가 마진값이 곱해진 제2음성 신호의 주파수 데이터보다 클 때마다 카운트값을 증가시키고, 상기 데이터 간에 주파수 빈(bin)마다 크기 비교를 수행한 후 비교 결과에 따른 카운트값을 이용하여 상기 현재 구간이 음성 구간인지 잡음 구간인지를 결정함을 특징으로 하는 잡음 제거 장치.
제1항에 있어서, 상기 잡음 클러스터링부는,

상기 잡음 구간에 대해 클러스터링을 통해 하나 이상의 잡음을 분류하고, 상기 분류된 잡음과 기준 잡음 간의 유사도를 산출하고, 상기 산출된 유사도가 가장 높은 값을 가지는 잡음을 결정함을 특징으로 하는 잡음 제거 장치.
제4항에 있어서, 상기 기준 잡음은,

이전 클러스터링을 통해 업데이트된 잡음인 것을 특징으로 하는 잡음 제거 장치.
삭제
화자에 가깝게 장착되는 제1마이크 및 상기 마이크와 일정 거리만큼 이격되어 장착되는 제2마이크를 적어도 두 개 구비하는 잡음 제거 장치에서 잡음을 제거하는 방법에 있어서,

상기 각각의 마이크로부터 잡음이 혼재된 제1 및 제2음성 신호가 입력되면 현재 구간이 음성 구간인지 잡음 구간인지를 판단하는 과정과,

상기 제2음성 신호에서 음성 신호 성분을 차감하는 과정과,

상기 판단 결과를 근거로 잡음 구간에서 상기 음성 신호 성분이 차감된 제2음성 신호에 대한 잡음 종류를 판단하는 과정과,

상기 제1음성 신호로부터 상기 잡음 종류에 해당하는 잡음을 제거하는 과정과,

상기 잡음이 제거된 신호에서 잔여 잡음을 제거하는 과정과,

상기 잔여 잡음이 제거된 신호를 시간 영역에서의 신호로 변환하는 과정을 포함함을 특징으로 하는 잡음을 제거하는 방법.
제7항에 있어서, 상기 음성 구간인지 잡음 구간인지를 판단하는 과정은,

상기 제1 및 제2음성 신호가 입력되면, 주파수 영역에서의 신호로 변환하는 과정과,

각각의 변환된 신호를 이용하여 구간 판단을 수행하는 과정임을 특징으로 하는 잡음을 제거하는 방법.
제7항에 있어서, 상기 음성 구간인지 잡음 구간인지의 판단은,

상기 제1음성 신호의 주파수 데이터가 마진값이 곱해진 제2음성 신호의 주파수 데이터보다 클 때마다 카운트값을 증가시키는 과정과,

상기 데이터 간에 주파수 빈(bin)마다 크기 비교를 수행한 후 비교 결과에 따른 카운트값을 이용하여 상기 현재 구간이 음성 구간인지 잡음 구간인지를 결정하는 과정임을 특징으로 하는 잡음을 제거하는 방법.
제7항에 있어서, 상기 잡음 종류를 판단하는 과정은,

상기 잡음 구간에 대해 클러스터링을 통해 하나 이상의 잡음을 분류하는 과정과,

상기 분류된 잡음과 기준 잡음 간의 유사도를 산출하는 과정과,

상기 산출된 유사도가 가장 높은 값을 가지는 잡음을 결정하는 과정임을 특징으로 하는 잡음을 제거하는 방법.
제10항에 있어서, 상기 기준 잡음은,

이전 클러스터링을 통해 업데이트된 잡음인 것을 특징으로 하는 잡음을 제거하는 방법.
삭제