KR20090050372A - 혼합 사운드로부터 잡음을 제거하는 방법 및 장치 - Google Patents

혼합 사운드로부터 잡음을 제거하는 방법 및 장치 Download PDF

Info

Publication number
KR20090050372A
KR20090050372A KR1020070116763A KR20070116763A KR20090050372A KR 20090050372 A KR20090050372 A KR 20090050372A KR 1020070116763 A KR1020070116763 A KR 1020070116763A KR 20070116763 A KR20070116763 A KR 20070116763A KR 20090050372 A KR20090050372 A KR 20090050372A
Authority
KR
South Korea
Prior art keywords
sound source
source signals
noise
signal
sound
Prior art date
Application number
KR1020070116763A
Other languages
English (en)
Other versions
KR101444100B1 (ko
Inventor
김규홍
오광철
정재훈
정소영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070116763A priority Critical patent/KR101444100B1/ko
Priority to US12/078,551 priority patent/US8693704B2/en
Publication of KR20090050372A publication Critical patent/KR20090050372A/ko
Application granted granted Critical
Publication of KR101444100B1 publication Critical patent/KR101444100B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/108Communication systems, e.g. where useful sound is kept and noise is cancelled
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/108Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081Earphones, e.g. for telephones, ear protectors or headsets

Abstract

본 발명은 혼합 사운드로부터 잡음을 제거하는 방법 및 장치에 관한 것으로, 본 발명에 따른 잡음 제거 방법은 목표 사운드와 잡음을 포함한 음원 신호들을 입력받고, 입력된 음원 신호들로부터 음원 신호들 간의 속성 차이를 나타내는 하나 이상의 특징 벡터를 추출하고, 추출된 특징 벡터에 기초하여 음원 신호들에 대한 잡음 비율을 고려한 감쇄 계수를 산출하며, 산출된 감쇄 계수에 따라 음원 신호들로부터 생성된 출력 신호의 강도를 조절함으로써, 음향 센서를 통해 입력된 혼합 사운드로부터 잡음 신호를 제거하여 선명한 목표 음원 신호를 얻을 수 있다.

Description

혼합 사운드로부터 잡음을 제거하는 방법 및 장치{Noise cancelling method and apparatus from the mixed sound}
본 발명은 혼합 사운드로부터 잡음을 제거하는 방법 및 장치에 관한 발명으로서, 다양한 음원이 포함된 혼합 사운드를 취득할 수 있는 복수 개의 마이크로폰을 구비한 디지털 녹음 장치에서 입력된 혼합 사운드로부터 목표 음원 신호가 아닌 간섭 잡음에 해당하는 음원 신호들을 제거하는 방법 및 장치에 관한 것이다.
휴대용 디지털 기기를 사용하여 전화 통화를 하거나 외부 음성을 녹음하거나 동영상을 취득하는 것이 일상화되는 시대가 도래하였다. CE(consumer electronics) 기기 및 휴대 전화 등 다양한 디지털 기기에서는 사운드를 취득하기 위한 수단으로서 마이크로폰(microphone)이 사용되는데, 단일 채널의 모노(mono) 사운드가 아닌 2 이상의 채널을 활용하는 스테레오(stereo) 사운드를 구현하기 위해서는 일반적으로 1 개의 마이크로폰이 아닌 다수의 마이크로폰들을 사용하게 된다.
한편, 휴대용 디지털 기기를 통해 음원을 녹음하거나 음성 신호를 입력받는 환경은 통상적으로 주변 간섭음이 없이 조용한 환경이기보다는 다양한 소음과 주변 간섭음이 모두 포함되어 있는 환경일 경우가 더 많을 것이다. 이를 위해 혼합 사운 드들로부터 사용자가 필요로 하는 특정 음원 신호만을 강화하거나, 역으로 불필요한 주변 간섭음을 제거하는 기술 등이 개발되고 있다.
본 발명이 해결하고자 하는 기술적 과제는 사용자의 음성과 같은 목표 사운드와 사용자의 주위에 위치한 다양한 음원으로부터 방사되는 간섭 잡음이 혼재된 혼합 사운드로부터 목표 사운드를 정확하게 취득할 수 없는 문제점을 해결하는 잡음 제거 방법 및 장치를 제공하는데 있다.
상기 기술적 과제를 달성하기 위하여, 본 발명에 따른 잡음 제거 방법은 목표 음원으로부터 동일한 거리에 위치하여 목표 사운드와 잡음을 포함한 음원 신호들을 입력받는 단계; 상기 입력된 음원 신호들로부터 상기 음원 신호들 간의 속성 차이를 나타내는 하나 이상의 특징 벡터를 추출하는 단계; 상기 추출된 특징 벡터에 기초하여 상기 음원 신호들에 대한 잡음 비율을 고려한 감쇄 계수를 산출하는 단계; 및 상기 산출된 감쇄 계수에 따라 상기 음원 신호들로부터 생성된 출력 신호의 강도를 조절함으로써 상기 잡음에 해당하는 음원 신호들을 제거하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기 기재된 잡음 제거 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 기술적 과제를 달성하기 위하여, 본 발명에 따른 잡음 제거 장치는 목표 음원으로부터 동일한 거리에 위치하여 목표 사운드와 잡음을 포함한 음원 신호들을 입력받는 복수 개의 음향 센서들; 상기 입력된 음원 신호들로부터 상기 음원 신호들 간의 속성 차이를 나타내는 하나 이상의 특징 벡터를 추출하는 특징 벡터 추출부; 상기 추출된 특징 벡터에 기초하여 상기 음원 신호들에 대한 잡음 비율을 고려한 감쇄 계수를 산출하는 감쇄 계수 산출부; 및 상기 산출된 감쇄 계수에 따라 상기 음원 신호들로부터 생성된 출력 신호의 강도를 조절함으로써 상기 잡음에 해당하는 음원 신호들을 제거하는 잡음 신호 제거부를 포함하는 것을 특징으로 한다.
이하에서는 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다. 실시예들을 설명함에 있어서, 음원(sound source)이란 사운드가 방사되어 나오는 소스(source)를 의미하는 용어로서 사용되고, 음압(sound pressure)이란, 음향 에너지가 미치는 힘을 압력의 물리량을 사용하여 표현한 용어로서 사용될 것이다.
도 1a 및 도 1b는 본 발명의 일 실시예에 따른 음향 센서의 구현 예를 도시한 도면으로서, 각각은 마이크로폰이 내장된 헤드셋과 마이크로폰이 내장된 안경을 예시하고 있다.
다양한 전자 부품들이 소형화됨에 따라, 하나의 디지털 기기에 전화, 음악, 동영상 및 게임 등과 같은 둘 이상의 기능이 집적되는 디지털 컨버전스(digital convergence) 제품들이 등장하게 되었다. 예를 들어, 휴대 전화에 음악 감상이 가능한 MP3 플레이어의 기능이 추가되거나 동영상 촬영이 가능한 디지털 캠코더 기능이 추가되어 디지털 복합 기기로서 진화하고 있는 것이다.
이러한 휴대 전화를 통한 통화시에 사용자의 양 손을 사용하지 않고 통화가 가능하게 하는 도구로서 통상적으로 핸즈-프리 헤드셋(hands-free headset)이 사용된다. 이러한 핸즈-프리 헤드셋은 모노 채널의 음성 신호를 송수신하는 것이 일반 적이고, 그로 인해 사용자의 한 쪽 귀에 부착할 수 있도록 제작된다. 한편, 이상에서 예시한 MP3 플레이어로서의 기능이 추가된 휴대 전화에서 사용 가능한 핸즈-프리 헤드셋은 단순히 통화를 위해 단일 채널의 음성 신호를 송수신하기 위해 사용되는 것이 아니라, 음악을 감상하거나 동영상 재생시 소리를 청취하는데에 사용될 수도 있을 것이다. 따라서, 이러한 음악 감상이나 동영상의 소리를 청취하고자 할 경우, 핸즈-프리 해드셋 또한 모노 채널이 아닌 스테레오 채널을 지원해야 할 것이며, 사용자의 한 쪽 귀가 아닌 양 쪽 귀에 모두 거치하는 완전한 음악 청취용 헤드셋의 형상을 가져야 할 것이다.
이상과 같은 관점에서 도 1a는 사용자의 양 쪽 귀에 부착할 수 있는 헤드셋을 제시하고 있으며, 이러한 핸즈-프리 헤드셋은 사운드를 청취할 수 있는 스피커와 외부로부터 사운드를 획득할 수 있는 마이크로폰을 모두 구비하고 있는 것으로 가정할 수 있다. 도시된 핸즈-프리 헤드셋의 좌/우 유닛에는 각각 1 개씩, 총 2 개의 마이크로폰이 구비되어 있는 것으로 가정한다. 이하에서는 핸즈-프리 헤드셋에 구비된 스피커 및 마이크로폰의 2 가지 구성 중에서 사운드를 획득할 수 있는 마이크로폰을 중심으로 기술하도록 하겠다.
일반적으로 도 1a에 도시된 것과 같이 소형화된 핸즈-프리 헤드셋은 사용자의 입으로부터 핸즈-프리 헤드셋에 구비된 마이크로폰까지의 거리가 멀기 때문에 단일 마이크로폰만을 이용하여서는 사용자가 발성한 음성을 명확하게 취득하는데 어려움이 있다. 따라서, 본 발명의 실시예에서는 도시된 핸즈-프리 헤드셋의 양 쪽 유닛에 구비된 마이크로폰들을 이용하여 사용자의 음성을 보다 명확하게 취득하고 자 한다.
공기 중에서 소리는 340m/sec의 속도로 전달된다고 알려져 있다. 따라서, 음원으로부터 보다 멀리 떨어진 곳에 음파가 도달하는데에는 더 많은 시간이 필요하다. 또한, 음원으로부터 각각 다른 방향으로 음파가 전달되더라도 이동 거리가 같다면 도달 시간 또한 동일할 것이다. 즉, 음원으로부터 동일한 거리만큼 떨어진 2 곳까지의 음파의 도달 시간은 동일할 것이고, 음원으로부터의 거리가 상이한 곳까지 도달한 음파의 도달 시간은 당연히 서로 상이할 것이다. 이러한 논리에 기초하여 다음의 도 2를 설명한다.
도 2는 본 발명이 해결하고자 하는 문제의 발생 상황과 본 발명의 일 실시예에 따른 음향 센서의 사용 환경을 예시한 도시한 도면이다. 도 2의 중앙에는 사용자가 위치해 있으며, 동심원은 설명의 편의를 위해 사용자로부터의 거리가 동일한 위치를 연결하여 시각적으로 도시한 것이다. 사용자는 양 귀에 도 1a에서 예시한 핸즈-프리 헤드셋(210)을 부착하고 있는 것으로 가정한다. 또한, 사용자의 주위에 위치한 4 개의 개별 음원들로부터 간섭 잡음이 발생하고 있으며, 사용자는 전화 통화를 위해 발성을 하고 있는 것을 가정한다. 사용자의 입으로부터 발성되는 음성 역시 하나의 음원에 해당하므로 사운드가 전달되고 있는 파형(220)을 시각적으로 도시하였다.
이상과 같은 상황 하에서 사용자가 부착하고 있는 핸즈-프리 헤드셋(210)에 구비된 마이크로폰에는 상기된 4 개의 음원으로부터 방사되는 간섭 잡음과 사용자의 입으로부터 방사되는 음성이 모두 입력될 수 있다. 사용자와 전화 통화를 하고 있을 상대방은 사용자 주위의 간섭 잡음을 배제하고 사용자의 음성만을 듣기를 원할 것이다. 따라서, 이하에서 설명한 본 발명의 다양한 실시예들은 복수 개의 마이크로폰을 통해 입력된 혼합 사운드로부터 목표 음원 신호만을 남기고 간섭 잡음을 제거하고자 한다. 이러한 문제 상황 하에서 이상의 도 1a에서 설명한 소리의 전달 원리에 따라 본 발명의 실시예에서 나타나는 사용 환경 상의 특징은 다음과 같다.
첫째, 사용자가 부착하고 있는 핸즈-프리 헤드셋(210)에 구비된 2 개의 마이크로폰들은 목표 음원(사용자의 입을 의미한다.)으로부터의 거리가 동일하다. 따라서, 목표 음원으로부터 음파가 도달하는 도달 시간이 서로 동일하다. 둘째, 사용자의 주변에 위치한 4 개의 음원들은 사용자가 부착하고 있는 핸즈-프리 헤드셋(210)에 구비된 2 개의 마이크로폰들까지의 거리가 상이하다. 따라서, 4 개의 음원들로부터 방사되는 간섭 잡음들이 2 개의 마이크로폰들에 도달하는 도달 시간이 각각 상이하다. 이상과 같은 특징들로부터 사용자가 부착하고 있는 핸즈-프리 헤드셋(210)은 2 개의 마이크로폰들에 음파가 도달하는 도달 시간의 차이를 이용하여 사용자가 발성하는 음성과 간섭 잡음을 구별할 수 있다는 사실을 알 수 있다. 즉, 음파의 도달 시간의 차이가 없다면 목표 사운드가 될 것이며, 음파의 도달 시간의 차이가 있다면 간섭 잡음이 될 것이다.
이러한 특징은 근본적으로 2 개의 마이크로폰들이 목표 음원으로부터 동일한 거리에 위치해 있다는 사실로부터 발생한다. 도 1b에는 본 발명의 일 실시예로서 2 개의 마이크로폰(110)을 안경 또는 선글라스 등에 부착하는 구성을 추가적으로 예시하고 있다. 따라서, 본 발명의 속하는 기술 분야에서 통상의 지식을 가진 자는 도 1a 및 도 1b에 예시된 핸즈-프리 헤드셋 또는 안경 이외에도 목표 음원으로부터 동일한 거리에 위치한 다양한 음향 센서들에 적용이 가능하다는 것을 용이하게 파악할 수 있다.
특히, 도 1a, 도 1b 및 도 2를 통해 예시한 상황에서 2 개의 마이크로폰들 사이에 사용자의 머리가 위치해 있다는 사실로 인해 이러한 목표 사운드와 간섭 잡음의 구별이 보다 명확해진다. 왜냐하면, 혼합 사운드를 취득하는 복수 개의 마이크로폰들이 각각 격리되어 있을수록 하나의 음원으로부터 방사되는 음파가 전달되는데 걸리는 도달 시간의 차이가 크게 되기 때문이다. 즉, 2 개의 마이크로폰들 사이에 사용자의 머리가 개입됨으로 인해서 사용자의 측면에서 방사되는 간섭 잡음에 대해서는 수신 채널(2 개의 마이크로폰을 의미한다.)간의 진폭 크기의 차이가 더욱 커진다.
이러한 특징으로부터 음원으로부터 마이크로폰들 간의 거리가 동일한 대칭 신호들을 목표 사운드로 간주하고, 음원으로부터 마이크로폰들 간의 거리가 상이한 비대칭 신호들은 간섭 잡음으로 간주할 수 있다. 따라서, 목표 사운드로 간주된 음원 신호를 상대적으로 유지 또는 강조하고, 간섭 잡음으로 간주된 음원 신호들을 상대적으로 감쇄하는 방법을 통해 혼합 사운드로부터 잡음을 제거할 수 있는 방법을 제안하고자 한다. 이하에서는 이상에서 설명한 목표 사운드와 간섭 잡음들 간의 차별적인 특징에 기초하여 혼합 사운드로부터 목표 음원 신호만을 남기고 잡음 신호를 제거하는 다양한 실시예들을 설명한다.
도 3은 본 발명의 일 실시예에 따른 잡음 제거 장치를 도시한 블럭도로서, 복수 개의 음향 센서들(310), 특징 벡터 추출부(320), 감쇄 계수 산출부(330) 및 잡음 신호 제거부(340)를 포함한다.
복수 개의 음향 센서들(310)은 주변으로부터 목표 사운드와 간섭 잡음이 포함된 혼합 사운드를 입력받는다. 음향 센서(sensor)란, 음원으로부터 방사되는 사운드를 취득할 수 있는 장치로서, 대표적인 예에는 마이크로폰이 있다.
특징 벡터 추출부(320)는 입력된 혼합 사운드에 대한 음원 신호들로부터 음원 신호들 간의 속성 차이를 나타내는 하나 이상의 특징 벡터(feature vector)를 추출한다. 여기서 음원 신호의 속성이란, 해당 음원 신호가 갖는 진폭(amplitude)이나 위상과 같은 음파적 특성을 의미한다. 이러한 속성은 음원으로부터 방사된 사운드가 음향 센서에 도달하기까지 걸리는 시간이나 도달 거리, 최초 방사된 사운드의 특성에 따라 달라질 수 있다. 특징 벡터란 음원 신호들 간의 속성 차이를 나타내는 일종의 지표 내기 기준으로서, 이상에서 설명한 음원 신호의 속성에 대응하여 설명하면, 특징 벡터란 음원 신호들 간의 진폭 비율 또는 위상의 차이가 될 수 있다.
특징 벡터 추출부(320)에서 특징 벡터를 추출하는 과정을 보다 상세하게 설명하면 다음과 같다.
음향 센서는 도 1a에서 설명한 핸즈-프리 헤드셋에서 예시한 바와 같이 편의상 좌/우의 2 개의 마이크로폰들이라고 가정한다. 우선, 마이크로폰들을 통해 입력된 2 개의 혼합 신호들을 개별 프레임(frame)으로 분리한다. 프레임이란 시간의 변화에 따라 음원 신호를 일정한 구간으로 분리한 단위 유닛(unit)을 의미하며, 일반 적으로 디지털 신호 처리를 위해 해당 시스템에 입력된 신호를 유한하게 제한하기 위해 프레임이라는 일정한 구간으로 분리하여 처리하게 된다. 이러한 프레임 분리 과정은 시간에 따라 연속적인 하나의 음원 신호를 프레임으로 분리하기 위해 사용되는 윈도우 함수(window function)라는 특수한 필터를 통해 구현된다. 이러한 윈도우 함수의 대표적인 예로서 해밍 윈도우(Hamming window)가 널리 알려져 있으며, 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 파악할 수 있는 것이다.
이상과 같이 프레임으로 분리된 음원 신호들은 연산의 편의를 위해 고속 푸리에 변환(fast Fourier transform)을 통해 시간 영역(time domain)에서 주파수 영역(frequency domain)으로 변환된다. 입력된 2 개의 혼합 신호들에 대하여 추출된 각 프레임에서의 주파수 성분은 다음의 수학식 1과 같이 표현된다.
Figure 112007082071773-PAT00001
여기서, n은 시간 영역에서의 프레임 인덱스(index)를 의미하고, k는 음원 신호를 시간-주파수 변환하였을 때의 단위 구간인 주파수 빈(bin)의 인덱스를 의미하며, wk는 k 번째 주파수 값을 의미한다. 즉, 수학식 1은 각각 오른쪽과 왼쪽 채널의 n 번째 프레임에서의 k 번째 주파수 성분(물리적으로 입력 신호의 에너지량을 의미한다.)을 의미하며, 복소수(complex value)로 정의된다.
채널(예시된 2 개의 마이크로폰들을 의미한다.) 간의 진폭과 위상 변화는 주 파수 성분마다 계산하여 특징 벡터로 표현할 수 있는데, 본 실시예에서는 다음의 수학식 2와 수학식 3을 예시한다.
Figure 112007082071773-PAT00002
수학식 2는 오른쪽과 왼쪽 채널의 에너지량을 의미하는 주파수 성분의 절대값의 비율을 산출하는 식으로서 f1(wk,n)은 2 개의 마이크로폰들을 통해 입력된 혼합 사운드에 대한 음원 신호들 간의 진폭 비율을 의미한다. 만약 입력된 혼합 신호에서 목표 음원 신호가 우세하다면 2 개의 혼합 신호들의 주파수 성분이 거의 비슷할 것이므로, 잡음 신호가 우세한 경우에 비해 수학식 2의 진폭 비율 f1(wk,n)은 상대적으로 1에 가까울 것이다.
수학식 2가 2 개의 진폭 비율의 최대값을 산출하도록 설계된 이유는 이후에 설명할 임계값과의 비교시 편의를 위해 산출 결과가 특정 범위를 갖도록 제한할 필요에 의해 제안된 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 이상의 수학식 2에서 제시한 바와는 표현을 달리하여 진폭 비율을 산출할 수 있는 다양한 수학식을 설계할 수 있을 것이다. 또한, 이러한 f1(wk,n)의 값은 진폭의 비율 뿐만 아니라, 로그 스케일(log scale)로 변환하여 로그 파워 스펙트럼(log power spectrum)의 차이로 계산할 수도 있을 것이다.
Figure 112007082071773-PAT00003
여기서, ∠는 복소수로 정의되는 오른쪽과 왼쪽 채널의 주파수 성분 XR 및 XL을 복소 평면에 도시하였을 때 나타나는 각도, 즉 양 신호의 위상을 의미한다. 따라서, 수학식 3은 2 개의 마이크로폰들에 입력된 혼합 사운드에 대한 음원 신호들의 위상 차이를 의미한다. 만약 입력된 혼합 신호에서 목표 음원 신호가 우세하다면 2 개의 혼합 신호들의 주파수 성분이 거의 비슷할 것이므로, 잡음 신호가 우세한 경우에 비해 수학식 3의 위상 차이 f2(wk,n)은 상대적으로 0에 가까울 것이다.
이상에서 수학식 2 및 수학식 3을 통해 특징 벡터로서 예시된 음원 신호들 간의 진폭 비율 및 위상 차이를 살펴보았다. 다음으로 산출된 특징 벡터를 통해 잡음을 제거하는 방법을 설명한다.
감쇄 계수 산출부(330)는 특징 벡터 추출부(320)를 통해 추출된 특징 벡터에 기초하여 음원 신호들에 대한 잡음 비율을 고려한 감쇄 계수를 산출한다. 여기서, 감쇄 계수란 음원 신호를 얼마만큼 감쇄시킬지를 결정하는 인자를 의미한다. 특정 주파수 성분에서 음원 신호는 잡음에 해당하는 신호가 우세할 수도 있고, 음성(목표 사운드를 의미한다.)에 해당하는 신호가 우세할 수도 있다. 본 발명의 실시예에서는 잡음에 해당하는 신호가 우세한 주파수 성분을 감쇄시키는 방법을 통해 간섭 잡음을 제거하는 방법을 제안한다. 이를 위해서 감쇄 계수 산출부(330)는 주파수 성분마다 감쇄 계수를 산출하게 된다. 만약 음원 신호가 사용자가 원하는 목표 사 운드에 가까운 신호라면 거의 감쇄를 시키지 않을 것이고, 음원 신호가 사용자가 원하지 않는 간섭 잡음에 가까운 신호라면 많이 감쇄를 시키게 될 것이다. 음원 신호가 목표 사운드에 해당하는 신호인지, 간섭 잡음에 해당하는 신호인지는 음원 신호에 포함된 잡음 비율을 특정 기준치와 비교함으로써 파악할 수 있을 것이다.
감쇄 계수 산출부(330)에서 음원 신호에 포함된 잡음 비율을 고려하여 감쇄 계수를 산출하는 과정을 도 4를 통해 보다 상세히 기술하면 다음과 같다.
도 4는 본 발명의 일 실시예에 따른 잡음 제거 장치에서 감쇄 계수 산출부(430)를 상세하게 도시한 블럭도로서, 비교부(431) 및 판단부(432)를 포함한다.
비교부(431)는 특징 벡터 추출부(미도시)를 통해 추출된 특징 벡터와 특정 임계값을 비교한다. 여기서, 특정 임계값이란 음원 신호에 포함된 목표 음원 신호와 잡음 신호의 포함 비율을 고려하여, 음원 신호가 목표 음원 신호와 잡음 신호 중 어느 쪽에 더 우세한 신호인지를 판단하기 위해 미리 설정된 기준값이다.
판단부(432)는 비교부(431)를 통한 비교 결과에 기초하여 음원 신호들에 포함된 목표 음원 신호와 잡음 신호 간의 상대적인 우세 정도를 판단한다. 앞서 설명한 바와 같이 음원 신호들에 포함된 목표 음원 신호와 잡음 신호 간의 상대적인 우세 정도는 특징 벡터와 특정 임계값을 비교함으로써 이루어지는데, 이러한 임계값은 특징 벡터의 종류에 따라 각각 다르게 설정될 수 있으며, 본 발명의 실시예가 사용되는 환경의 필요에 따라 적절하게 조절될 수 있을 것이다.
예를 들어, 특징 벡터가 음원 신호들 간의 진폭 비율인 경우에 해당 음원 신 호가 목표 음원 신호의 특성이 우세한지, 또는 잡음 신호의 특성이 우세한지를 결정함에 있어서 반드시 양 신호의 포함 비율이 50%가 될 필요는 없다. 만약 잡음 신호의 포함 비율이 60% 정도가 되더라도 용인할 수 있는 환경 하에서라면 이상에서 설명한 임계값을 60%에 대응하게 설정하면 될 것이다.
특징 벡터와 임계값은 단순히 특징 벡터의 절대값과 미리 설정된 임계값을 비교할 수도 있으며, 좀 더 복잡한 환경 변수들을 포함하여 비교 방법을 설계할 수도 있을 것이다. 다음의 수학식 4는 이러한 복잡한 환경 변수들을 고려하여 설계된 비교 수식을 예시하고 있다.
Figure 112007082071773-PAT00004
여기서, α(wk,n)는 n 번째 프레임에서의 k 번째 주파수 성분에 대한 감쇄 가중치(잡음 감쇄 계수를 의미한다.)를 의미하며, 물리적으로 2 개의 채널을 통해 입력된 음원 신호의 차이가 적다면 잡음 감쇄 계수는 1에 가까운 값이 될 것이고, 음원 신호의 차이가 크다면 잡음 감쇄 계수는 0에 가까운 값이 될 것이다. 이러한 잡음 감쇄 계수는 1 보다 작은 값을 갖게 되므로, 잡음 우세 신호에 있어서 음원 신호에 포함된 잡음 성분이 음성 성분(목표 사운드를 의미한다.)에 비해 상대적으로 감소하는 효과가 나타난다. 또한, α(wk,n)가 n 번째 프레임에서의 잡음 감쇄 계 수를 의미하므로, α(wk,n-1)는 α(wk,n)의 바로 직전 프레임에서의 잡음 감쇄 계수를 의미한다.
θ1(wk) 및 θ2(wk)는 각각 특징 벡터 f1(wk,n) 및 f2(wk,n)에 대한 임계값이다. ck는 잡음 감쇄 상수로서
Figure 112007082071773-PAT00005
와 같은 관계를 만족하며, 음원 신호에 포함된 잡음이 우세할수록 커진다. 또한, γ는 학습 계수로서
Figure 112007082071773-PAT00006
와 같은 관계를 만족하는 상수이고, 과거의 값을 현재의 추정치에 반영하는 비율을 의미한다. 학습 계수가 크면 과거의 값은 적게 반영하게 되는데, 예를 들어 학습 계수가 1인 경우, 과거의 값, 즉 직전 단계의 잡음 감쇄 계수 α(wk,n-1)가 소거되게 된다.
이상의 수학식 4는 진폭 비율에 관한 특징 벡터 f1(wk,n)과 위상 차이에 관한 특징 벡터 f2(wk,n) 각각을 이에 대응하는 임계값 θ1(wk) 및 θ2(wk)과 비교하는 4 가지 경우를 예시하고 있다. 가장 윗 쪽에 예시된 경우는 2 개의 특징 벡터들이 모두 임계값들보다 작은 경우로서, 음원 신호들의 진폭 차이나 위상 차이가 거의 없다는 것을 의미한다. 즉, 음원 신호가 목표 음원 신호에 근접한 신호라는 것을 의미한다. 반대로 가장 아랫 쪽에 예시된 경우는 음원 신호가 잡음 신호에 근접한 신호라는 것을 의미한다.
이러한 수학식 4는 2 가지 특징 벡터를 사용한 경우에 다양한 환경 변수를 고려하여 잡음 감쇄 계수를 설계하는 방법을 예시한 실시예이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 3 이상의 특징 벡터를 이용하여 감쇄 계수 산출 방법을 설계하는 방법을 제안할 수도 있을 것이다.
이상에서 감쇄 계수 산출부(430)를 통해 감쇄 계수를 산출하는 과정을 설명하였다. 이하에서는 다시 도 3으로 돌아가 산출된 감쇄 계수를 이용하여 잡음 신호를 제거하는 과정을 설명하겠다.
도 3의 잡음 신호 제거부(340)는 감쇄 계수 산출부(330)를 통해 산출된 감쇄 계수에 따라 음원 신호들로부터 유도된 출력 신호의 강도를 조절함으로써 음원 신호에 포함된 잡음 신호를 제거한다.
앞서 설명한 바와 같이 음향 센서들이 복수 개이므로 음향 센서들을 통해 입력된 음원 신호들도 이에 대응하는 수의 복수 개일 것이다. 따라서, 이러한 복수 개의 음원 신호들로부터 하나의 출력 신호를 생성하는 과정이 필요하다. 출력 신호 과정은 미리 설정된 특정 함수(이하, 출력 신호 생성 함수라고 한다.)에 따라 이루어질 수 있는데, 기본적으로 음원 신호들로부터 유도된 신호가 될 것이다. 간단하게는 복수 개의 음원 신호들의 평균을 내거나, 복수 개의 음원 신호들 중 어느 하나를 선정하여 출력 신호로 결정할 수 있을 것이다. 또한, 이러한 출력 신호 생성 함수는 본 발명의 다양한 실시예들이 구현되는 환경에 따라 적절히 수정되거나 보완될 수 있을 것이다.
이하에서는 잡음 신호 제거부(340)에서 감쇄 계수에 따라 출력 신호의 강도를 조절하는 방법을 도 5를 참조하여 보다 구체적으로 설명하겠다.
도 5는 본 발명의 일 실시예에 따른 잡음 제거 장치에서 잡음 신호 제거부(540)를 상세하게 도시한 블럭도로서, 출력 신호 생성부(541) 및 승산부(542)를 포함한다.
출력 신호 생성부(541)는 음향 센서들(미도시)을 통해 입력된 음원 신호들을 입력받아 특정 규칙에 따라 출력 신호를 생성한다. 여기서 특정 규칙이란 앞서 설명한 출력 신호 생성 함수를 의미한다. 본 실시예에서는 음향 센서로서 2 개의 마이크로폰을 사용하였다고 가정하였으므로 입력된 음원 신호들은 오른쪽 및 왼쪽의 2 개 채널에 대한 음원 신호가 된다. 따라서, 출력 신호 생성부(541)는 출력 신호 생성 함수에 2 개 채널에 대한 음원 신호를 입력하고, 그 결과로서 하나의 출력 신호를 얻는다.
승산부(542)는 출력 신호 생성부(541)를 통해 생성된 출력 신호에 감쇄 계수 산출부(미도시)를 통해 산출된 감쇄 계수를 승산함으로써 출력 신호로부터 잡음을 제거한다. 앞서 설명한 바와 같이 감쇄 계수는 음원 신호에 포함된 잡음의 포함 비율을 고려하여 산출되었으므로, 음원 신호에 산출된 감쇄 계수를 승산하면 잡음 신호가 제거되는 효과가 발생한다.
이상의 과정을 일반화된 출력 신호 생성 함수를 이용하여 표현하면 다음의 수학식 5와 같이 정의된다.
Figure 112007082071773-PAT00007
여기서,
Figure 112007082071773-PAT00008
는 잡음이 제거된 최종 출력 신호를 의미하고,
Figure 112007082071773-PAT00009
는 k 번째 주파수 성분에 대한 오른쪽 및 왼쪽의 음원 신호를 인자(parameter)로 입력받아 출력 신호를 생성하는 함수를 의미한다. 또한,
Figure 112007082071773-PAT00010
는 감쇄 계수를 의미한다.
앞서 간단히 설명한 바와 같이 출력 신호 생성 함수는 입력된 음원 신호들에 기초한다. 사용자가 발성한 음성과 같이 복수 개의 음향 센서들에 입력된 음원 신호들이 동일한 경우에는 복수 개의 음원 신호들 중 어느 하나를 선택하면 되지만, 간섭 잡음과 같이 입력된 음원 신호들이 상이한 경우에는 다음의 수학식 6과 같이 음원 신호들의 평균을 산출하여 출력 신호를 얻을 수 있다.
Figure 112007082071773-PAT00011
이러한 평균값은 채널 간의 신호의 합을 이용한 딜레이-앤드-섬 빔형성기(delay-and-sum beamformer)를 통해 얻을 수 있다.
일반적으로 2 개 이상의 마이크로폰들로 이루어진 마이크로폰 어레이(microphone array)는 배경 잡음과 혼합된 목표 신호를 고감도로 수신하기 위해 마이크로폰 어레이에 수신된 각각의 신호에 적절한 가중치를 주어 진폭을 향상시킴으로써 원하는 목표 신호와 간섭 잡음 신호의 방향이 다를 경우의 잡음을 공간적으로 줄일 수 있는 필터 역할을 하는데, 이러한 일종의 공간적 필터(spatial filter)를 빔 형성기(beamformer)이라고 한다. 이러한 빔 형성기를 이용한 다양한 활용 방법이 알려져 있으며, 각각의 마이크로폰에 도달하는 지연된 음원 신호를 합산하는 구조의 빔 형성기를 딜레이-앤드-섬 알고리즘 (delay-and-sum algorithm)이라고 한다. 즉, 채널 간에 도착 시간의 차이가 나는 음원 신호들을 입력받아 합산하는 빔 형성기의 출력값이 바로 출력 신호 생성 함수를 통해 얻어진 출력 신호가 된다.
이상과 같은 평균값을 이용하는 방법 이외에 또 다른 출력 신호 생성 함수를 예시하면 다음의 수학식 7과 같다.
Figure 112007082071773-PAT00012
수학식 7은 오른쪽 및 왼쪽의 2 개의 입력 신호들 중 더 작은 에너지 값을 갖는 신호를 출력 신호로서 선택하는 방법을 제안하고 있다. 일반적으로 사용자 자신이 발성한 음성은 2 개의 채널에 동등하게 입력되지만, 간섭 잡음의 경우 간섭 음원으로부터 가까운 거리에 위치한 채널에 더 많이 입력될 것이다. 따라서, 잡음 신호를 감쇄하기 위해서는 2 개의 입력 신호들 중에서 더 작은 에너지값을 갖는 음원 신호를 선택하는 것이 효과적일 것이다. 즉, 수학식 7은 잡음의 영향이 더 적은 신호를 출력 신호로서 선택하는 방법을 예시한 것이다.
이상에서 본 발명의 일 실시예에 따른 잡음 제거 장치의 주요 구성에 대하여 설명하였다. 본 발명의 일 실시예에 따른 잡음 제거 장치는 목표 음원으로부터 음 향 센서들까지의 거리가 동일함으로 인해 목표 음원의 방향을 산출해야 할 필요없이 효과적으로 간섭 잡음을 제거할 수 있는 효과가 나타난다. 또한, 음원 신호의 현재의 프레임을 디지털 신호 처리하기 위해 미래의 데이터가 필요하지 않기 때문에 실시간으로 잡음 제거가 이루어지며, 그 결과 지연 없는 빠른 신호 처리가 가능하다.
이하에서는 이상의 실시예에 기초한 2 가지 추가 실시예들을 설명하도록 하겠다.
도 6은 본 발명의 다른 실시예에 따라 목표 음원 신호의 존재 여부를 검출하는 구성이 포함된 잡음 제거 장치를 도시한 블럭도로서, 도 3에 도시한 블럭도에 검출부(650)를 추가한 것이다. 복수 개의 음향 센서들(610), 특징 벡터 추출부(620), 감쇄 계수 산출부(630) 및 잡음 신호 제거부(640)는 모두 도 3의 실시예를 통하여 설명한 것으로 여기에서는 검출부(650)를 중심으로 기술하도록 하겠다.
검출부(650)는 임의의 음성 탐지 방법을 이용하여 상기 음원 신호들로부터 상기 목표 음원 신호가 존재하지 않는 구간을 검출한다. 즉, 검출부(650)는 일련의 음원 신호에 사용자가 음성을 발성하는 구간과 간섭 잡음이 발생하는 구간이 혼재되어 있을 때, 사용자가 음성을 발성하는 구간만을 정확하게 검출하는 역할을 한다. 현재 음성 신호 프레임에 목표 음원 신호가 존재하는지 여부를 판단하기 위해서는 프레임의 에너지값(또는 음압이 될 수 있다.), 신호 대 잡음비(SNR; signal-to-noise ratio) 추정, 또는 음성 액티비티 탐지(VAD; voice activity detection) 등의 방법이 활용될 수 있으며, 이하에서는 VAD를 중심으로 설명하도록 하겠다.
VAD는 사용자가 발성하는 음성 구간과 발성하지 않는 묵음 구간을 식별하는 것을 의미하는데, 이러한 VAD를 활용하여 음원 신호에서 묵음 구간이 탐지되면 이 구간에 해당하는 음원 신호를 제거함으로써 사용자의 음성 이외의 간섭 잡음 제거 효과를 향상시킬 수 있다.
VAD를 구현하기 위하여 여러 가지 방법들이 공개되어 있으며, 그 중 골전도 마이크로폰(bone coduction microphone)이나 피부 진동 센서(skin vibration sensor) 등을 이용하는 방법 또한 최근 소개되고 있다. 특히, 골전도 마이크로폰이나 피부 진동 센서를 이용하는 방법은 사용자의 신체에 직접적으로 접촉하여 동작하기 때문에 외부 음원으로부터 방사된 간섭 잡음에 강인한 특성을 갖는다. 따라서, 본 실시예에 따른 잡음 제거 장치에 VAD를 활용함으로써 잡음 제거에 큰 성능 향상을 가져올 수 있다. VAD를 통해 목표 음원 신호가 존재하는 구간을 검출하는 방법은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 파악할 수 있는 것으로서, 여기서는 자세한 설명을 생략한다.
잡음 신호 제거부(640)는 검출부(650)를 통해 검출된 묵음 구간에 기초하여 출력 신호에 VAD 가중치를 승산함으로써 상기 음원 신호들 중 상기 목표 음원 신호가 존재하지 않는 구간에 해당하는 음원 신호를 제거한다. 이러한 과정을 반영하여 출력 신호를 생성하는 상기 수학식 7을 재작성하면 다음의 수학식 8과 같다.
Figure 112007082071773-PAT00013
여기서,
Figure 112007082071773-PAT00014
는 VAD 가중치를 의미하며, 0에서 1 사이의 값을 갖는다. 이러한 VAD 가중치는 현재 프레임에 목표 음원이 존재한다고 판단되면 1에 가까운
Figure 112007082071773-PAT00015
값이 될 것이고, 현재 프레임에 잡음만 존재한다고 판단되면 0에 가까운
Figure 112007082071773-PAT00016
값이 될 것이다.
본 실시예에 따른 잡음 제거 장치에서 검출부(650)를 통해 검출된 묵음 구간에 기초한 VAD 가중치는 잡음 신호 제거부(640)를 통해 출력 신호에 승산되므로, 목표 음원이 존재하는 구간에서는 신호 성분이 유지되며, 묵음 구간에 존재하던 간섭 잡음은 보다 효과적으로 제거되는 효과가 나타난다.
도 7은 본 발명의 또 다른 실시예에 따라 음향 반향을 제거하는 구성이 포함된 잡음 제거 장치를 도시한 블럭도로서, 도 3에 도시한 블럭도에 음향 반향 제거부(750)를 추가한 것이다. 복수 개의 음향 센서들(710), 특징 벡터 추출부(720), 감쇄 계수 산출부(730) 및 잡음 신호 제거부(740)는 모두 도 3의 실시예를 통하여 설명한 것으로 여기에서는 음향 반향 제거부(750)를 중심으로 기술하도록 하겠다.
음향 반향 제거부(750)는 복수 개의 음향 센서들(710)을 통해 잡음 신호 제거부(740)로부터 출력된 출력 신호가 입력될 때 발생하는 음향 반향을 제거한다. 일반적으로 마이크로폰이 스피커와 근접하게 배치되는 경우 스피커를 통해 출력된 소리가 마이크로폰에 입력되는 문제가 발생한다. 즉, 양방향 통화시 자신이 말한 음성이 자신의 스피커의 출력으로 다시 들리는 음향 반향(acoustic echo)이 발생하게 된다. 이 반향은 사용자에게 큰 불편을 주기 때문에 반향 신호를 제거해야만 하는데, 이를 음향 반향 제거(AEC; acoustic echo cancellation)라고 한다. AEC가 이루어지는 과정을 간단하게 설명하면 다음과 같다.
우선, 복수 개의 음향 센서들(710)에는 사용자의 음성 및 간섭 잡음 이외에 스피커로부터 방사되는 출력 사운드가 포함된 혼합 사운드가 입력되는 것으로 가정한다. 도 7의 음향 반향 제거부(750)로는 특정 필터를 사용할 수 있는데, 이러한 필터는 스피커(미도시)에 인가되는 출력 신호를 인자로 입력받아 복수 개의 음향 센서들(710)을 통해 입력된 음원 신호로부터 스피커의 출력 신호를 제거한다. 이러한 필터는 시간의 흐름에 따라 지속적으로 스피커에 인가되는 출력 신호를 피드백(feed-back)받아 음원 신호에 포함된 음향 방향(acoustic echo)을 제거할 수 있는 적응 필터(adaptive filter)로 구성될 수 있다.
이러한 AEC 방법에는 LMS(least mean square), NLMS(normalised least mean square), RLS(recursive least square) 등과 같은 다양한 알고리즘이 소개되어 있으며, 이상과 같은 방법들을 이용하여 AEC를 구현하는 방법은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려진 것으로서 여기에서는 자세한 설명을 생략한다.
본 실시예에 따른 잡음 제거 장치를 통해 마이크로폰과 스피커가 근접한 경 우에도 스피커로부터 방사된 출력 사운드로 인한 음향 방향과 같은 불필요한 잡음을 제거함과 동시에 목표 사운드가 아닌 간섭 잡음을 제거할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 잡음 제거 방법을 도시한 순서도로서, 다음의 단계들로 구성된다.
810 단계에서 목표 사운드와 잡음을 포함한 음원 신호들을 입력받는다. 이 단계는 이상의 도 3의 복수 개의 음향 센서들(310)에서 수행하는 음원 신호 입력 과정과 동일하므로 여기에서는 자세한 설명을 생략한다.
820 단계에서 입력받은 음원 신호들로부터 음원 신호들 간의 속성 차이를 나타내는 하나 이상의 특징 벡터를 추출한다. 이 단계는 이상의 도 3의 특징 벡터 추출부(320)에서 음원 신호들 간의 진폭 비율 또는 위상 차이 등과 같은 특징 벡터를 추출하는 과정과 동일하므로 여기에서는 자세한 설명을 생략한다.
830 단계에서 추출된 특징 벡터에 기초하여 음원 신호들에 대한 잡음 비율을 고려한 감쇄 계수를 산출한다. 이 과정은 이상의 도 3의 감쇄 계수 산출부(330)에서 음원 신호들에 포함된 잡음 비율에 따라 음원 신호들을 감쇄시키는 감쇄 계수를 산출하는 과정과 동일하므로 여기에서는 자세한 설명을 생략한다.
840 단계에서 산출된 감쇄 계수에 따라 음원 신호들로부터 생성된 출력 신호의 강도를 조절한다. 이 과정은 이상의 도 3의 잡음 신호 제거부(340)에서 감쇄 계수를 출력 신호에 승산함으로써 음원 신호에 포함된 잡음 신호를 제거하는 과정과 동일하므로 여기에서는 자세한 설명을 생략한다.
이상과 같은 본 발명의 또 다른 실시예에 따른 잡음 제거 방법은 목표 사운 드에 해당하는 음원 신호와 잡음에 해당하는 음원 신호의 속성 차이로 인해 특징 벡터에 기초하여 산출된 감쇄 계수를 통해 효과적으로 간섭 잡음을 제거할 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1a 및 도 1b는 본 발명의 일 실시예에 따른 음향 센서의 구현 예를 도시한 도면이다.
도 2는 본 발명이 해결하고자 하는 문제의 발생 상황과 본 발명의 일 실시예에 따른 음향 센서의 사용 환경을 예시한 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 잡음 제거 장치를 도시한 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 잡음 제거 장치에서 감쇄 계수 산출부를 상세하게 도시한 블럭도이다.
도 5는 본 발명의 일 실시예에 따른 잡음 제거 장치에서 잡음 신호 제거부를 상세하게 도시한 블럭도이다.
도 6은 본 발명의 다른 실시예에 따라 목표 음원 신호의 존재 여부를 검출하는 구성이 포함된 잡음 제거 장치를 도시한 블럭도이다.
도 7은 본 발명의 또 다른 실시예에 따라 음향 반향을 제거하는 구성이 포함된 잡음 제거 장치를 도시한 블럭도이다.
도 8은 본 발명의 또 다른 실시예에 따른 잡음 제거 방법을 도시한 순서도이다.

Claims (18)

  1. 목표 사운드와 잡음을 포함한 음원 신호들을 입력받는 단계;
    상기 입력된 음원 신호들로부터 상기 음원 신호들 간의 속성 차이를 나타내는 하나 이상의 특징 벡터를 추출하는 단계;
    상기 추출된 특징 벡터에 기초하여 상기 음원 신호들에 대한 잡음 비율을 고려한 감쇄 계수를 산출하는 단계; 및
    상기 산출된 감쇄 계수에 따라 상기 음원 신호들로부터 생성된 출력 신호의 강도를 조절함으로써 상기 잡음에 해당하는 음원 신호들을 제거하는 단계를 포함하는 것을 특징으로 하는 잡음 제거 방법.
  2. 제 1 항에 있어서,
    상기 특징 벡터는 상기 음원 신호들 간의 진폭 비율 또는 위상 차이 중 적어도 하나인 것을 특징으로 하는 잡음 제거 방법.
  3. 제 2 항에 있어서,
    상기 음원 신호들 간의 진폭 또는 위상이 유사할수록 상기 진폭 또는 위상이 상이한 경우에 비해 상대적으로 상기 감쇄 계수가 나타내는 감쇄 정도가 작은 값인 것을 특징으로 하는 잡음 제거 방법.
  4. 제 1 항에 있어서,
    상기 감쇄 계수를 산출하는 단계는
    상기 특징 벡터와 소정 임계값을 비교하는 단계; 및
    상기 비교 결과에 기초하여 상기 음원 신호들에 포함된 목표 음원 신호와 잡음 신호 간의 상대적인 우세 정도를 판단하여 상기 감쇄 계수를 결정하는 단계를 포함하는 것을 특징으로 하는 잡음 제거 방법.
  5. 제 1 항에 있어서,
    상기 잡음 신호를 제거하는 단계는
    소정 규칙에 따라 상기 음원 신호들로부터 출력 신호를 생성하는 단계; 및
    상기 생성된 출력 신호에 상기 산출된 감쇄 계수를 승산하는 단계를 포함하는 것을 특징으로 하는 잡음 제거 방법.
  6. 제 5 항에 있어서,
    상기 소정 규칙은 상기 출력 신호로서 상기 음원 신호들 중 다른 음원 신호들에 비해 상대적으로 더 작은 음향 에너지를 갖는 음원 신호를 선택하거나, 상기 음원 신호들의 평균값을 산출하는 것 중 어느 하나인 것을 특징으로 하는 잡음 제거 방법.
  7. 제 1 항에 있어서,
    소정의 음성 탐지 방법을 이용하여 상기 음원 신호들로부터 상기 목표 음원 신호의 존재하지 않는 구간을 검출하는 단계를 더 포함하고,
    상기 잡음 신호를 제거하는 단계는 상기 검출 결과에 따라 상기 구간에 해당하는 음원 신호를 제거하는 것을 특징으로 하는 잡음 제거 방법.
  8. 제 1 항에 있어서,
    상기 음향 센서들을 통해 상기 출력 신호가 입력될 때 발생하는 음향 반향을 소정의 음향 반향 제거 방법을 이용하여 제거하는 단계를 더 포함하는 것을 특징으로 하는 잡음 제거 방법.
  9. 제 1 항 내지 제 8 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  10. 목표 사운드와 잡음을 포함한 음원 신호들을 입력받는 복수 개의 음향 센서들;
    상기 입력된 음원 신호들로부터 상기 음원 신호들 간의 속성 차이를 나타내는 하나 이상의 특징 벡터를 추출하는 특징 벡터 추출부;
    상기 추출된 특징 벡터에 기초하여 상기 음원 신호들에 대한 잡음 비율을 고려한 감쇄 계수를 산출하는 감쇄 계수 산출부; 및
    상기 산출된 감쇄 계수에 따라 상기 음원 신호들로부터 생성된 출력 신호의 강도를 조절함으로써 상기 잡음에 해당하는 음원 신호들을 제거하는 잡음 신호 제거부를 포함하는 것을 특징으로 하는 잡음 제거 장치.
  11. 제 10 항에 있어서,
    상기 특징 벡터는 상기 음원 신호들 간의 진폭 비율 또는 위상 차이 중 적어도 하나이고,
    상기 음원 신호들 중 상기 진폭 또는 위상 중 적어도 하나가 유사 내지 동일한 신호를 상기 목표 사운드에 해당하는 음원 신호로서 추정하는 것을 특징으로 하는 잡음 제거 장치.
  12. 제 11 항에 있어서,
    상기 음원 신호들 간의 진폭 또는 위상이 유사할수록 상기 진폭 또는 위상이 상이한 경우에 비해 상대적으로 상기 감쇄 계수가 나타내는 감쇄 정도가 작은 값인 것을 특징으로 하는 잡음 제거 장치.
  13. 제 10 항에 있어서,
    상기 감쇄 계수 산출부는
    상기 특징 벡터와 소정 임계값을 비교하는 비교부; 및
    상기 비교 결과에 기초하여 상기 음원 신호들에 포함된 목표 음원 신호와 잡음 신호 간의 상대적인 우세 정도를 판단하여 상기 감쇄 계수를 결정하는 판단부를 포함하는 것을 특징으로 하는 잡음 제거 장치.
  14. 제 10 항에 있어서,
    상기 잡음 신호 제거부는
    소정 규칙에 따라 상기 음원 신호들로부터 출력 신호를 생성하는 출력 신호 생성부; 및
    상기 생성된 출력 신호에 상기 산출된 감쇄 계수를 승산하는 승산부를 포함하는 것을 특징으로 하는 잡음 제거 장치.
  15. 제 14 항에 있어서,
    상기 소정 규칙은 상기 출력 신호로서 상기 음원 신호들 중 다른 음원 신호들에 비해 상대적으로 더 작은 음향 에너지를 갖는 음원 신호를 선택하거나, 상기 음원 신호들의 평균값을 산출하는 것 중 어느 하나인 것을 특징으로 하는 잡음 제거 장치.
  16. 제 10 항에 있어서,
    소정의 음성 탐지 방법을 이용하여 상기 음원 신호들로부터 상기 목표 음원 신호의 존재하지 않는 구간을 검출하는 검출부를 더 포함하고,
    상기 잡음 신호 제거부는 상기 검출 결과에 따라 상기 구간에 해당하는 음원 신호를 제거하는 것을 특징으로 하는 잡음 제거 장치.
  17. 제 10 항에 있어서,
    상기 음향 센서들을 통해 상기 출력 신호가 입력될 때 발생하는 음향 반향을 소정의 음향 반향 제거 방법을 이용하여 제거하는 음향 반향 제거부를 더 포함하는 것을 특징으로 하는 잡음 제거 장치.
  18. 제 10 항에 있어서,
    상기 음향 센서들의 위치는 목표 음원을 기준으로 대칭을 이루고, 상기 음향 센서들로부터 상기 목표 음원까지의 거리가 동일하며, 상기 음향 센서들 간에 음향 간섭을 일으키는 물체가 위치하는 것을 특징으로 하는 잡음 제거 장치.
KR1020070116763A 2007-11-15 2007-11-15 혼합 사운드로부터 잡음을 제거하는 방법 및 장치 KR101444100B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070116763A KR101444100B1 (ko) 2007-11-15 2007-11-15 혼합 사운드로부터 잡음을 제거하는 방법 및 장치
US12/078,551 US8693704B2 (en) 2007-11-15 2008-04-01 Method and apparatus for canceling noise from mixed sound

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070116763A KR101444100B1 (ko) 2007-11-15 2007-11-15 혼합 사운드로부터 잡음을 제거하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090050372A true KR20090050372A (ko) 2009-05-20
KR101444100B1 KR101444100B1 (ko) 2014-09-26

Family

ID=40641990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070116763A KR101444100B1 (ko) 2007-11-15 2007-11-15 혼합 사운드로부터 잡음을 제거하는 방법 및 장치

Country Status (2)

Country Link
US (1) US8693704B2 (ko)
KR (1) KR101444100B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150056277A (ko) * 2013-11-15 2015-05-26 현대모비스 주식회사 핸즈프리 시스템을 위한 에코 제거 장치 및 방법
KR20160027351A (ko) * 2014-08-28 2016-03-10 주식회사 아이티매직 사운드 신호에서 진단 신호를 추출하는 방법 및 진단 장치
KR20160034192A (ko) * 2014-09-19 2016-03-29 현대자동차주식회사 사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량
US9369803B2 (en) 2012-05-22 2016-06-14 Samsung Electronics Co., Ltd. Apparatus and method for removing noise
KR20160071053A (ko) 2014-12-11 2016-06-21 현대자동차주식회사 차량의 액티브 노이즈 제거 방법, 시스템 및 컴퓨터 판독 가능한 기록매체
US9730010B2 (en) 2014-12-15 2017-08-08 Hyundai Motor Company Method for providing guidance to location of vehicle using smart glasses and apparatus for carrying out the same

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345890B2 (en) 2006-01-05 2013-01-01 Audience, Inc. System and method for utilizing inter-microphone level differences for speech enhancement
US8744844B2 (en) 2007-07-06 2014-06-03 Audience, Inc. System and method for adaptive intelligent noise suppression
US9185487B2 (en) 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
US8204252B1 (en) 2006-10-10 2012-06-19 Audience, Inc. System and method for providing close microphone adaptive array processing
US8194880B2 (en) 2006-01-30 2012-06-05 Audience, Inc. System and method for utilizing omni-directional microphones for speech enhancement
US8204253B1 (en) 2008-06-30 2012-06-19 Audience, Inc. Self calibration of audio device
US8150065B2 (en) 2006-05-25 2012-04-03 Audience, Inc. System and method for processing an audio signal
US8849231B1 (en) 2007-08-08 2014-09-30 Audience, Inc. System and method for adaptive power control
US8934641B2 (en) 2006-05-25 2015-01-13 Audience, Inc. Systems and methods for reconstructing decomposed audio signals
US8949120B1 (en) * 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
US8259926B1 (en) 2007-02-23 2012-09-04 Audience, Inc. System and method for 2-channel and 3-channel acoustic echo cancellation
US8189766B1 (en) 2007-07-26 2012-05-29 Audience, Inc. System and method for blind subband acoustic echo cancellation postfiltering
US8143620B1 (en) 2007-12-21 2012-03-27 Audience, Inc. System and method for adaptive classification of audio sources
US8180064B1 (en) 2007-12-21 2012-05-15 Audience, Inc. System and method for providing voice equalization
US8194882B2 (en) 2008-02-29 2012-06-05 Audience, Inc. System and method for providing single microphone noise suppression fallback
US8355511B2 (en) 2008-03-18 2013-01-15 Audience, Inc. System and method for envelope-based acoustic echo cancellation
US8774423B1 (en) 2008-06-30 2014-07-08 Audience, Inc. System and method for controlling adaptivity of signal modification using a phantom coefficient
US8521530B1 (en) 2008-06-30 2013-08-27 Audience, Inc. System and method for enhancing a monaural audio signal
US9008329B1 (en) 2010-01-26 2015-04-14 Audience, Inc. Noise reduction using multi-feature cluster tracker
US8718290B2 (en) 2010-01-26 2014-05-06 Audience, Inc. Adaptive noise reduction using level cues
TWI459828B (zh) * 2010-03-08 2014-11-01 Dolby Lab Licensing Corp 在多頻道音訊中決定語音相關頻道的音量降低比例的方法及系統
US8538035B2 (en) 2010-04-29 2013-09-17 Audience, Inc. Multi-microphone robust noise suppression
US8473287B2 (en) 2010-04-19 2013-06-25 Audience, Inc. Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system
US8781137B1 (en) 2010-04-27 2014-07-15 Audience, Inc. Wind noise detection and suppression
WO2011148860A1 (ja) * 2010-05-24 2011-12-01 日本電気株式会社 信号処理方法、情報処理装置、及び信号処理プログラム
US8447596B2 (en) 2010-07-12 2013-05-21 Audience, Inc. Monaural noise suppression based on computational auditory scene analysis
US8532987B2 (en) * 2010-08-24 2013-09-10 Lawrence Livermore National Security, Llc Speech masking and cancelling and voice obscuration
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
JP6156012B2 (ja) * 2013-09-20 2017-07-05 富士通株式会社 音声処理装置及び音声処理用コンピュータプログラム
DE112015003945T5 (de) 2014-08-28 2017-05-11 Knowles Electronics, Llc Mehrquellen-Rauschunterdrückung
KR20190109341A (ko) * 2019-09-06 2019-09-25 엘지전자 주식회사 노이즈 관리가 가능한 전자기기 및 이의 제어 방법
CN115938382B (zh) * 2023-03-15 2023-06-02 深圳市雅乐电子有限公司 降噪控制方法、装置、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5732143A (en) * 1992-10-29 1998-03-24 Andrea Electronics Corp. Noise cancellation apparatus
KR20000033530A (ko) * 1998-11-24 2000-06-15 김영환 음성 구간 검출과 스펙트럼 차감법을 이용한 차량 잡음제거방법
US7577262B2 (en) * 2002-11-18 2009-08-18 Panasonic Corporation Microphone device and audio player
KR100582119B1 (ko) * 2003-06-23 2006-05-24 미션텔레콤 주식회사 신호의 결합 및 제거기법을 이용한 간섭잡음 신호제거기
KR100744375B1 (ko) * 2005-07-11 2007-07-30 삼성전자주식회사 음성 처리 장치 및 방법
KR100820141B1 (ko) * 2005-12-08 2008-04-08 한국전자통신연구원 음성 구간 검출 장치 및 방법 그리고 음성 인식 시스템
US20080152167A1 (en) * 2006-12-22 2008-06-26 Step Communications Corporation Near-field vector signal enhancement
US20080175408A1 (en) * 2007-01-20 2008-07-24 Shridhar Mukund Proximity filter

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9369803B2 (en) 2012-05-22 2016-06-14 Samsung Electronics Co., Ltd. Apparatus and method for removing noise
KR20150056277A (ko) * 2013-11-15 2015-05-26 현대모비스 주식회사 핸즈프리 시스템을 위한 에코 제거 장치 및 방법
KR20160027351A (ko) * 2014-08-28 2016-03-10 주식회사 아이티매직 사운드 신호에서 진단 신호를 추출하는 방법 및 진단 장치
KR20160034192A (ko) * 2014-09-19 2016-03-29 현대자동차주식회사 사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량
US9747922B2 (en) 2014-09-19 2017-08-29 Hyundai Motor Company Sound signal processing method, and sound signal processing apparatus and vehicle equipped with the apparatus
KR20160071053A (ko) 2014-12-11 2016-06-21 현대자동차주식회사 차량의 액티브 노이즈 제거 방법, 시스템 및 컴퓨터 판독 가능한 기록매체
US9730010B2 (en) 2014-12-15 2017-08-08 Hyundai Motor Company Method for providing guidance to location of vehicle using smart glasses and apparatus for carrying out the same

Also Published As

Publication number Publication date
US8693704B2 (en) 2014-04-08
KR101444100B1 (ko) 2014-09-26
US20090129610A1 (en) 2009-05-21

Similar Documents

Publication Publication Date Title
KR101444100B1 (ko) 혼합 사운드로부터 잡음을 제거하는 방법 및 장치
US9966059B1 (en) Reconfigurale fixed beam former using given microphone array
KR101449433B1 (ko) 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치
CN110392912B (zh) 使用多个麦克风的自动噪声消除
US9792927B2 (en) Apparatuses and methods for multi-channel signal compression during desired voice activity detection
US10269369B2 (en) System and method of noise reduction for a mobile device
US9053697B2 (en) Systems, methods, devices, apparatus, and computer program products for audio equalization
JP4378170B2 (ja) 所望のゼロ点を有するカーディオイド・ビームに基づく音響装置、システム及び方法
KR102352927B1 (ko) 상관 기반 근접장 검출기
US9633670B2 (en) Dual stage noise reduction architecture for desired signal extraction
WO2019140755A1 (zh) 一种基于麦克风阵列的回声消除方法与系统
US11373665B2 (en) Voice isolation system
EP3422736B1 (en) Pop noise reduction in headsets having multiple microphones
AU2005266911A1 (en) Separation of target acoustic signals in a multi-transducer arrangement
AU2012205596A1 (en) Dynamic enhancement of audio (DAE) in headset systems
JP6250147B2 (ja) 補聴器システムの信号処理方法および補聴器システム
CA2798282A1 (en) Wind suppression/replacement component for use with electronic systems
US10937418B1 (en) Echo cancellation by acoustic playback estimation
WO2018148095A1 (en) Soft-talk audio capture for mobile devices
JP4544993B2 (ja) 単一チャンネルまたは多重チャンネル型の通信システム用エコー処理装置
US11205437B1 (en) Acoustic echo cancellation control
US11711647B1 (en) Voice detection using ear-based devices
US10204638B2 (en) Integrated sensor-array processor
Saito et al. Noise suppressing microphone array for highly noisy environments using power spectrum density estimation in beamspace
CN115868178A (zh) 用于语音活动检测的音频系统和方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170830

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 5