KR101449433B1 - 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치 - Google Patents

마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치 Download PDF

Info

Publication number
KR101449433B1
KR101449433B1 KR1020070123819A KR20070123819A KR101449433B1 KR 101449433 B1 KR101449433 B1 KR 101449433B1 KR 1020070123819 A KR1020070123819 A KR 1020070123819A KR 20070123819 A KR20070123819 A KR 20070123819A KR 101449433 B1 KR101449433 B1 KR 101449433B1
Authority
KR
South Korea
Prior art keywords
signal
frequency
phase difference
noise
target signal
Prior art date
Application number
KR1020070123819A
Other languages
English (en)
Other versions
KR20090056598A (ko
Inventor
김규홍
오광철
정재훈
정소영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070123819A priority Critical patent/KR101449433B1/ko
Priority to US12/076,281 priority patent/US8085949B2/en
Publication of KR20090056598A publication Critical patent/KR20090056598A/ko
Application granted granted Critical
Publication of KR101449433B1 publication Critical patent/KR101449433B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix

Abstract

본 발명은 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을 제거하는 방법 및 장치에 관한 것으로, 본 발명에 따른 잡음 제거 방법은 마이크로폰 어레이를 통해 획득한 입력 신호들로부터 기준 주파수보다 주파수가 높은 고주파수 신호와 상기 기준 주파수보다 주파수가 낮은 저주파수 신호를 각각 여과하고, 여과된 고주파수 신호로부터 잡음 신호를 빔 형성 방법을 이용하여 제거하여 고주파수 목표 신호를 획득하고, 여과된 저주파수 신호로부터 목표 신호의 위상 차이와 다른 위상 차이를 갖는 잡음 신호를 제거하여 저주파수 목표 신호를 획득하며, 획득된 고주파수 목표 신호와 저주파수 목표 신호를 합성함으로써, 소형 마이크로폰 어레이를 구비한 디지털 사운드 취득 기기에서 저주파수 대역에서 발생하는 신호 왜곡을 최소화하고, 불필요한 잡음을 정확하게 제거 또는 감쇄함으로써 목표 음원 신호만을 명확하게 획득하는 것이 가능하다.
마이크로폰, 잡음 제거, 위상 차이, 저주파

Description

마이크로폰을 통해 입력된 사운드 신호로부터 잡음을 제거하는 방법 및 장치{Noise cancelling method and apparatus from the sound signal through the microphone}
본 발명은 입력 사운드로부터 잡음을 제거하는 방법 및 장치에 관한 발명으로서, 마이크로폰 어레이를 구비한 소형 디지털 사운드 취득 장치를 통해 입력된 사운드로부터 간섭 잡음에 해당하는 음원 신호들을 제거하여 목표로 하는 음원으로부터 방사된 음원 신호만을 획득하는 방법 및 장치에 관한 것이다.
휴대용 디지털 기기를 사용하여 전화 통화를 하거나 외부 음성을 녹음하거나 동영상을 취득하는 것이 일상화되는 시대가 도래하였다. CE(consumer electronics) 기기, 휴대 전화 및 디지털 캠코더 등 다양한 디지털 기기에서는 사운드를 취득하기 위한 수단으로서 마이크로폰(microphone)이 사용되는데, 단일 채널의 모노(mono) 사운드가 아닌 2 이상의 채널을 활용하는 스테레오(stereo) 사운드를 구현하기 위해서는 일반적으로 다수의 마이크로폰들이 포함된 마이크로폰 어레이(microphone array)가 사용된다.
마이크로폰 어레이는 다수의 마이크로폰들을 조합하여 사운드 자체뿐만 아니 라 취득하려는 사운드의 방향이나 위치와 같은 지향성(directivity)에 관한 부가적인 성질을 얻을 수 있다. 지향성이라 함은 음원 신호가 어레이를 구성하는 다수의 마이크로폰들 각각에 도달하는 시간 차이를 이용하여 특정 방향에 위치한 음원으로부터 방사되는 음원 신호에 대한 감도를 크게 하는 것을 말한다. 따라서, 이러한 마이크로폰 어레이를 이용하여 음원 신호들을 취득함으로써 특정 방향으로부터 입력되는 음원 신호를 강조하거나 억제할 수 있다.
한편, 휴대용 디지털 기기를 통해 음원을 녹음하거나 음성 신호를 입력받는 환경은 통상적으로 주변 간섭음이 없이 조용한 환경이기보다는 다양한 소음과 주변 간섭음이 모두 포함되어 있는 환경일 경우가 더 많을 것이다. 이를 위해 혼합 사운드들로부터 사용자가 필요로 하는 특정 음원 신호만을 강화하거나, 역으로 불필요한 간섭 잡음을 제거하는 기술 등이 개발되고 있다. 최근 영상 통화나 음성 인식과 같이 사용자가 목표로 하는 음원 신호만을 보다 정확하게 취득하려는 요구가 증가하고 있다.
본 발명이 해결하고자 하는 기술적 과제는 마이크로폰 어레이를 구비한 디지털 사운드 취득 장치가 소형화됨에 따라 마이크로폰 어레이를 통해 취득한 사운드로부터 불필요한 잡음을 제대로 제거할 수 없는 문제점을 해결하고, 이러한 문제점으로 인해 목표로 하는 음원 신호를 정확하게 획득할 수 없었던 한계를 극복하는 잡음 제거 방법 및 장치를 제공하는데 있다.
상기 기술적 과제를 달성하기 위하여, 본 발명에 따른 잡음 제거 방법은 마이크로폰 어레이를 통해 획득한 입력 신호들로부터 기준 주파수보다 주파수가 높은 고주파수 신호와 상기 기준 주파수보다 주파수가 낮은 저주파수 신호를 각각 여과하는 단계; 빔 형성(beamforming) 방법을 이용하여 상기 여과된 고주파수 신호로부터 잡음 신호를 제거함으로써 고주파수 목표 신호를 획득하는 단계; 상기 여과된 저주파수 신호로부터 목표 신호의 위상 차이와 다른 위상 차이를 갖는 잡음 신호를 제거함으로써 저주파수 목표 신호를 획득하는 단계; 및 상기 획득된 고주파수 목표 신호와 상기 획득된 저주파수 목표 신호를 합성함으로써 잡음이 제거된 음원 신호를 획득하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기 기재된 잡음 제거 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 기술적 과제를 달성하기 위하여, 본 발명에 따른 잡음 제거 장치는 마이크로폰 어레이를 통해 획득한 입력 신호들로부터 기준 주파수보다 주파수가 높은 고주파수 신호와 상기 기준 주파수보다 주파수가 낮은 저주파수 신호를 각각 여과하는 필터부; 빔 형성 방법을 이용하여 상기 여과된 고주파수 신호로부터 잡음 신호를 제거함으로써 고주파수 목표 신호를 획득하는 고주파수 목표 신호 생성부; 상기 여과된 저주파수 신호로부터 목표 신호의 위상 차이와 다른 위상 차이를 갖는 잡음 신호를 제거함으로써 저주파수 목표 신호를 획득하는 저주파수 목표 신호 생성부; 및 상기 획득된 고주파수 목표 신호와 상기 획득된 저주파수 목표 신호를 합성함으로써 잡음이 제거된 음원 신호를 획득하는 신호 합성부를 포함하는 것을 특징으로 한다.
이하에서는 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다. 실시예들을 설명함에 있어서, 음원(sound source)이란 사운드가 방사되어 나오는 소스(source)를 의미하는 용어로서 사용되고, 음압(sound pressure)이란, 음향 에너지가 미치는 힘을 압력의 물리량을 사용하여 표현한 것이고, 음압장(sound pressure field)이란 음원을 중심으로 음압이 미치는 영역을 개념적으로 표현한 것이다.
도 1a 및 도 1b는 본 발명이 해결하고자 하는 문제 상황을 설명하기 위해 마이크로폰 어레이의 크기에 따른 빔 패턴(beam pattern)들을 예시한 도면이다. 여기서, 빔 패턴이란 마이크로폰 어레이를 통해 지향성을 갖는 음압장을 형성할 때, 마이크로폰 어레이를 중심으로 형성되는 전자기파의 전계강도(electric field strength)를 측정하여 그래프로 표시한 것을 말한다.
앞서 설명한 바와 같이 마이크로폰 어레이는 지향성과 같은 사운드의 방향 특성을 활용하기 위해 사용된다. 일반적으로 마이크로폰 어레이는 배경 잡음과 혼합된 목표 신호를 고감도로 수신하기 위해 마이크로폰 어레이에 수신된 각각의 신호에 적절한 가중치를 주어 진폭을 향상시킴으로써 원하는 목표 신호와 간섭 잡음 신호의 방향이 다를 경우의 잡음을 공간적으로 줄일 수 있는 필터의 역할을 수행하는데, 이러한 일종의 공간적 필터(spatial filter)를 빔 형성기(beamformer)라고 한다.
도 1a 및 도 1b는 이러한 빔 형성기를 이용하여 마이크로폰 어레이를 통해 특정 방향에 위치한 음원에서 방사되는 음원 신호를 취득하기 위한 지향성을 구현하였을 때 나타나는 빔 패턴을 예시한 도면으로서, 각각의 도면은 마이크로폰 어레이의 크기가 20cm인 경우와 3cm인 경우에 형성되는 빔 패턴을 도시하였다. 양 도면에서 그래프의 세로축은 마이크로폰 어레이를 통해 형성되는 어레이 응답(array response)을 나타내는 것이고, 그래프의 가로 방향의 2 개 축은 각각 주파수(frequency)와 마이크로폰 어레이를 중심으로 한 각도(angle)를 나타낸다. 양 그래프는 가로 방향의 각도 축에서 중앙의 0도를 기준으로 대칭을 이루고 있는 것을 볼 수 있다. 즉, 도 1a 및 도 1b는 주파수의 변화에 따라 마이크로폰 어레이를 통해 형성되는 빔 형성의 정도를 시각적으로 표현한 그래프이다.
양자를 비교하여 보면, 마이크로폰 어레이의 크기가 20cm인 도 1a의 예시 그래프에서는 가로 방향의 주파수 변화에 따라 큰 변화 없이 안정적으로 빔 형성이 이루어지는 것을 볼 수 있다. 즉, 주파수의 변화에 무관하게 일정한 어레이 응답 패턴이 형성되고 있다. 반면, 마이크로폰 어레이의 크기가 3cm인 도 1b의 예시 그래프에서는 가로 방향의 주파수가 약 500 Hz 이하에서부터 급격하게 빔 형성 성능이 저하되고 있는 것을 볼 수 있다. 그래프에서 0 Hz에서 500 Hz 사이의 구간에서 평평한 형태의 빔 패턴이 나타나고 있다.
이상의 도 1a 및 도 1b의 예시 그래프를 통해 확인할 수 있듯이, 일반적으로 마이크로폰 어레이의 크기(aperture size)와 입력 신호의 파장과는 매우 밀접한 관계가 있다고 알려져 있다. 특히, 마이크로폰 어레이의 크기가 작아질수록 입력 신호의 파장이 긴 저주파수 영역에 대한 빔 형성 성능이 저하된다. 또한, 마이크로폰 어레이의 크기가 작아질수록 이러한 빔 형성이 되지 않는 저주파수 영역이 더 넓어진다는 문제점이 발생한다. 예를 들어, 마이크로폰 어레이의 크기가 3cm일 때 빔 형성이 되지 않는 저주파수 영역이 0 Hz ~ 500 Hz 구간이라면, 만약 마이크로폰 어레이의 크기가 1cm일 때에는 이러한 저주파수 영역이 0 Hz ~ 700 Hz 구간으로 확장될 수 있다. 따라서, 빔 형성 방법을 이용하여 외부의 음성 신호와 특정 목표 음원 신호를 취득하려는 디지털 사운드 취득 장치에서 이러한 마이크로폰 어레이의 크기는 음원 취득 성능에 직접적인 영향을 미친다.
그런데, 일반 가정에서 사용하는 오디오 기기나 전문 녹음 시설에서 사용하는 녹음 장비와는 달리 사용자가 휴대하는 휴대 전화나 디지털 캠코더와 같은 소형 사운드 취득 기기 등에서는 그 장치의 크기가 작기 때문에 이러한 장치에 실장되는 마이크로폰 어레이의 크기도 필연적으로 작을 수 밖에 없다. 따라서, 소형 사운드 취득 기기에서 파장이 긴 저주파수 음원 신호에 대한 음원 취득 성능이 저하되게 된다. 그 결과, 소형 사운드 취득 기기를 통해 취득된 음원 신호를 가공하면 고주파수 영역에서 나타나지 않았던 신호의 왜곡이나 신호의 누락과 같은 문제들이 발생하게 된다.
이상과 같은 문제점을 인식하고, 이하에서 설명할 본 발명의 다양한 실시예들은 마이크로폰 어레이를 통해 획득한 입력 신호들의 주파수 대역을 고려하여, 입력 신호들을 고주파수 대역과 저주파수 대역으로 분리한 후, 저주파수 대역의 음원 신호의 신호가 왜곡되거나 누락되지 않도록 처리하는 장치 및 방법을 제시한다.
도 2는 본 발명의 일 실시예에 따른 잡음 제거 장치를 도시한 블럭도로서, 마이크로폰 어레이(200), 고역 통과 필터(HPF: High-Pass Filter)(211)와 저역 통과 필터(LPF: Low-Pass Filter)(212)로 구성된 필터부(210), 고주파수 목표 신호 생성부(221), 저주파수 목표 신호 생성부(222) 및 신호 합성부(230)을 포함한다.
마이크로폰 어레이(200)는 외부로부터 음원 신호를 획득한다. 음원의 방향이나 음원 신호의 크기 등 마이크로폰 어레이(200)를 조절하는 방법은 본 발명의 실시예가 구현되는 상황 및 목적에 따라 다양하게 설계될 수 있을 것이다.
필터부(210)는 마이크로폰 어레이를 통해 획득한 입력 신호들로부터 기준 주파수보다 주파수가 높은 고주파수 신호와 기준 주파수보다 주파수가 낮은 저주파수 신호를 각각 여과한다. 여기서, 기준 주파수란 입력 신호들을 각각 고주파수 신호와 저주파수 신호로 여과하기 위해 기준이 되는 주파수로서, 컷-오프(cut-off) 주파수라고도 한다. 고주파수 또는 저주파수라는 표현은 매우 상대적인 개념으로서, 입력 음원 신호 전체 중 어느 주파수를 기준으로 고주파수와 저주파수를 분리할 것 인지를 결정하여야 할 필요성이 있다.
앞서 설명한 바와 같이, 본 발명의 실시예들에서 입력 신호를 주파수 대역에 따라 분리하는 것은 저주파수 대역에서 빔 형성이 제대로 되지 않기 때문이다. 따라서, 기준 주파수를 결정하는 것은 빔 형성이 제대로 되지 않는 주파수의 시작 지점을 찾아 적어도 이러한 시작 지점보다 높거나 같아야 할 것이다. 따라서, 마이크로폰 어레이의 크기를 고려하여 마이크로폰 어레이를 통해 획득한 입력 신호를 빔 형성하였을 때 신호 왜곡이 발생하는 주파수보다 더 높거나 같은 주파수를 이상의 기준 주파수로 설정할 수 있을 것이다.
이러한 기준 주파수는 본 발명의 실시예들이 구현되는 실제 제품이나 환경에 따라 적절한 값으로 조절될 수 있을 것이며, 통상적으로 실험을 통하여 특정 값으로 미리 산출할 수도 있을 것이다. 또는, 이러한 기준 주파수를 미리 고정된 값으로 설정하지 않고, 마이크로폰 어레이의 크기를 고려하여 기준 주파수를 별도의 장치를 통해 설정할 수도 있을 것이다.
도 2에서 마이크로폰 어레이(200)를 통해 획득된 입력 신호는 고역 통과 필터(211)와 저역 통과 필터(212)를 통해 여과되고, 양 필터(211, 212)들은 각각 기준 주파수보다 주파수가 높은 고주파수 신호와 기준 주파수보다 주파수가 낮은 저주파수 신호를 통과시킨다.
마이크로폰 어레이(200)를 구성하는 개별 마이크로폰들의 개수를 M이라고 할 때, 마이크로폰 어레이(200)를 통해 획득된 입력 신호 X(t)는 다음의 수학식 1과 같이 표현될 수 있다.
Figure 112007086673179-pat00001
이 때, 고역 통과 필터(211) 및 저역 통과 필터(212)의 전달 함수를 각각
Figure 112007086673179-pat00002
및
Figure 112007086673179-pat00003
라고 하면, 각각의 필터들(211, 212)을 통과한 고주파수 신호 및 저주파수 신호는 다음의 수학식 2와 같이 정의된다.
Figure 112007086673179-pat00004
여기서,
Figure 112007086673179-pat00005
및
Figure 112007086673179-pat00006
는 마이크로폰 어레이를 구성하는 개별 마이크로폰들 중 i 번째 마이크로폰을 통해 획득된 입력 신호로부터 여과된 음원 신호를 나타낸다. 이하에서는 여과된 고주파수 신호와 저주파수 신호로부터 잡음 신호를 제거하고 사용자가 목표로 하는 음원 신호만을 추출하는 과정을 차례로 설명한다.
고주파수 목표 신호 생성부(221)는 빔 형성 방법을 이용하여 상기 여과된 고주파수 신호로부터 잡음 신호를 제거함으로써 고주파수 목표 신호를 획득한다. 앞서 설명한 바와 같이 빔 형성 방법은 마이크로폰 어레이를 통해 특정 방향에 위치한 음원으로부터 방사되는 음원 신호(목표 신호를 의미한다.)를 증폭시키거나 추출하기 위해 사용되며, 이를 위해 마이크로폰 어레이를 통해 형성되는 빔 패턴과 각각의 마이크로폰에 입력된 신호 정보를 이용한다. 이러한 신호 정보를 구하기 위해 고정 빔 형성(fixed beamforming) 방법 또는 적응 빔 형성(adaptive beamforming) 방법 등의 다양한 빔 형성 방법들이 소개되고 있으며, 각각의 빔 형성 방법들로서 입력 신호로부터 목표 신호를 추출하기 위한 다양한 알고리즘들이 개발되고 있다. 이하에서는 도 3a 및 도 3b를 참조하여 이러한 빔 형성 방법 중 적응 빔 형성 방법을 예시할 것이며, 그 중에서도 대표적인 적응 빔 형성 알고리즘으로 알려진 GCS(Generalized Sidelobe Canceller) 알고리즘을 소개할 것이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 잡음 제거 장치에서 고주파수 목표 신호 생성부를 상세하게 도시한 블럭도로서, GSC 알고리즘에 기초한 구성을 도시하였다. GSC 알고리즘은 마이크로폰 어레이를 통해 획득한 음원 신호로부터 잡음 신호를 제거함으로서 사용자가 원하는 목표 신호만을 추출하는 적응 필터링 방법으로서, 이러한 GSC 알고리즘은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 파악할 수 있는 것이다. (Lloyd J. Griffiths and Charles W. Jim, "An alternative approach to linearly constrained adaptive beamforming", IEEE Transaction on antennas and propagation, vol. AP-30, No. 1, January 1982.)
도 3a의 고주파수 목표 신호 생성부(300)는 목표 신호 강조부(311), 잡음 신호 강조부(312) 및 잡음 신호 제거부(320)를 포함한다.
목표 신호 강조부(311)는 고역 통과 필터(미도시)를 통해 생성된 고주파수 신호를 입력받아 이로부터 목표 신호를 강조한다. 목표 신호를 강조하기 위해서는 목표 신호를 방사하는 음원의 방향에 대해 지향성을 갖도록 지향성 조절 요소인 지 연값(delay) 등을 조절함으로써 이루어진다. 이러한 지향성 조절을 통해 목표 신호가 우세한 신호(target dominant signal)가 생성된다. 이러한 목표 신호 강조부(311)는 통상적으로 고정 빔 형성기(fixed beamformer)와 같은 빔 형성 수단으로 구현될 수 있다.
잡음 신호 강조부(312)는 고역 통과 필터(미도시)를 통해 생성된 고주파수 신호를 입력받아 이로부터 잡음 신호를 강조한다. 이 과정은 이상의 목표 신호 강조 과정과 유사하나, 신호 강조의 대상이 목표 음원으로부터 방사된 음원 신호가 아닌 잡음 신호라는 차이점이 있다. 이러한 잡음 신호 강조부(312)을 통해 잡음 신호가 우세한 신호(noise dominent signal)가 생성된다. 또한, 목표 신호가 아닌 잡음 신호를 강조하는 수단을 목표 블록커(target blocker)라고도 한다.
이상의 목표 신호 강조부(311) 및 잡음 신호 강조부(312)를 통해 생성되는 강조 신호를 각각 필터의 형태로 구현하면 다음의 수학식 3과 같이 표현된다.
Figure 112007086673179-pat00007
여기서, ya(k)는 목표 신호 강조부(311)를 통해 생성되는 목표 강조 신호이고, yb(k)는 잡음 신호 강조부(312)를 통해 생성되는 잡음 강조 신호이며, M은 마이크로폰 어레이를 구성하는 개별 마이크로폰의 개수이며, K는 마이크로폰 어레이의 채널의 필터 탭(tab)수이다. 또한, am ,l는 빔 포머의 전달 함수이고, bm ,l는 목표 블로커의 전달 함수이다.
수학식 3에서 양 출력 신호들은 FIR 필터의 형태로 표현되어 있지만, 이러한 빔 형성기의 구현 방법에는 이상의 FIR 필터 이외에도 주파수 영역(frequency domain)에서 신호 값을 승산(multiplication)하여 처리를 하는 등 다양한 방법이 이용 가능하다.
잡음 신호 제거부(320)는 목표 신호 강조부(311)를 통해 생성된 목표 강조 신호와 잡음 신호 강조부(312)를 통해 생성된 잡음 강조 신호를 이용하여 고주파수 목표 신호를 생성한다. 보다 상세한 과정은 도 3b를 참조하고 설명한다.
도 3b에서 잡음 신호 제거부(320)는 잡음 제거를 위한 감산부(322)와 적응 필터(adaptive filter)(321)를 포함한다. 감산부(322)는 목표 강조 신호로부터 잡음 강조 신호를 감산한다. 감산된 신호는 다시 적응 필터(321)를 통해 제거할 잡음 신호를 적절히 조절한다. 그 결과, 잡음 신호 제거부(320)는 잡음 신호가 제거되어 명료한 목표 신호만이 포함된 고주파수 목표 신호를 출력한다.
잡음 신호가 제거된 목표 신호를 생성하기 위해서는 우선 필터 계수를 결정해야 하는데, 이러한 필터 계수를 결정하기 위해 LMS(Least Mean Square), NLMS(Normalized Least Mean Square), RLS(Recursive Least Square) 등과 같은 다양한 비용 산출 방법을 사용할 수 있다. 대표적으로 알려진 LMS 알고리즘에 따라 비용 함수를 표현하면 다음의 수학식 4과 같이 정의된다.
Figure 112007086673179-pat00008
여기서, yGSC(n)는 목표 신호를 나타내고, ya(n) 및 yb(n)는 각각 목표 강조 신호와 잡음 강조 신호를 나타내며, f(n)(k)는 적응 필터(321)의 계수를 나타낸다. 이러한 적응 필터(321)의 계수를 보다 구체적으로 표현하면 다음의 수학식 5와 같다.
Figure 112007086673179-pat00009
여기서, μ는 수렴 속도에 관여하는 학습 계수를 나타내며, 0에서 1 사이의 값을 갖는다. 이러한 적응 필터(321)를 통과한 여과 신호와 목표 강조 신호를 감산한 결과 신호는 다음의 수학식 6과 같이 표현된다.
Figure 112007086673179-pat00010
수학식 6은 목표 강조 신호 ya(n)으로부터 잡음 강조 신호 yb(n)을 여과한 신호를 감산하는 결과가 목표 신호 yGSC(n)이 됨을 의미한다.
이상에서 도 2의 고주파수 목표 신호 생성부(221)의 구성과 목표 신호 생성 과정을 설명하였다. 다음으로, 저주파수 목표 신호 생성부(222)를 상세히 설명한다.
저주파수 목표 신호 생성부(222)는 저역 통과 필터(212)를 통해 여과된 저주파수 신호로부터 목표 신호의 위상 차이와 다른 위상 차이를 갖는 잡음 신호를 제거함으로써 저주파수 목표 신호를 획득한다. 통상의 빔 형성 방법이 음원 신호의 크기(amplitude)를 이용하는 것과는 달리, 저주파수 목표 신호 생성부(222)는 음원 신호의 위상(phase)의 차이를 이용한다.
우선, 저주파수 목표 신호 생성부(222)가 입력받은 저주파수 신호로부터 잡음 신호만을 제거하기 위해서는 입력 신호들의 주파수 성분별로 입력 신호들 간의 위상 차이를 산출한다. 입력 신호들에는 사용자가 목표로 하는 음원으로부터 방사된 목표 음원 신호도 포함되어 있을 것이고, 또한 사용자가 제거하고자 하는 잡음 신호도 포함되어 있을 것이다. 이들 중에서 목표 신호의 위상 차이를 알고 있다면, 산출된 위상 차이에 기초하여 목표 신호의 위상 차이에 해당하는 신호를 제외한 나머지 신호들을 제거함으로써, 목표 신호만을 획득할 수 있을 것이다. 왜냐하면, 목표 신호의 위상 차이와 일치하지 않거나 적어도 유사하지 않은 위상 차이를 갖는 음원 신호들은 잡음 신호에 해당하기 때문이다.
저주파수 목표 신호 생성부(222)는 입력 신호의 위상 차이를 산출하여 잡음 신호를 제거하기에 앞서, 미리 목표 신호의 위상 차이를 알고 있어야 할 것이다. 그런데, 휴대용 사운드 취득 기기를 통해 사운드를 획득하고자 할 경우, 목표 음원은 마이크로폰 어레이의 정면에 위치해 있는 것이 일반적일 것이다. 따라서, 이 경우 마이크로폰 어레이를 통해 획득한 입력 신호들은 개별 마이크로폰들에 도착한 시간이 거의 동일할 것이므로, 입력 신호들 간의 위상 차이가 거의 없을 것이다. 즉, 목표 음원이 마이크로폰 어레이의 정면에 위치한 경우, 입력 신호들 간의 위상 차이가 없는 신호를 제외하고 나머지 신호들을 제거하면 목표 신호만을 획득할 수 있을 것이다.
만약, 목표 음원이 마이크로폰 어레이의 정면에 위치하지 않은 경우에는 목표 음원이 위치한 방향으로부터 방사된 음원 신호가 마이크로폰 어레이에 도착하였을 때의 위상 차이를 미리 알고 있다면, 알려진 위상 차이에 해당하는 음원 신호를 제외한 나머지 음원 신호들을 제거함으로써 목표 신호만을 획득할 수 있다. 이상의 실시예들을 도 4를 참조하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 잡음 제거 장치에서 저주파수 목표 신호 생성부(400)를 상세하게 도시한 블럭도로서, 신호 변환부(411), 위상 차이 산출부(420) 및 잡음 신호 제거부(430)를 포함한다. 본 실시예에서는 입력 신호들 간의 위상 차이를 산출함에 있어서, 마이크로폰 어레이를 구성하는 다수의 채널들(개별 마이크로폰들을 의미한다.) 중에서 2 개의 채널을 선택하여 위상 차이 산출에 사용하는 것을 가정한다.
신호 변환부(411)는 입력된 저역 통과 신호에 대해 이산 푸리에 변환(DFT; Discrete Fourier Transform)을 수행한다. 입력된 저역 통과 신호는 시간 영역(time domain)의 신호로서, 주파수 성분별로 위상 차이를 산출하기 위해서는 저역 통과 신호를 주파수 영역의 신호로 변환하는 과정이 필요하다.
위상 차이 산출부(420)는 입력 신호들의 주파수 성분별로 신호 변환부(411)를 통해 변환된 입력 신호들 간의 위상 차이를 산출한다.
잡음 신호 제거부(430)는 위상 차이 산출부(420)를 통해 산출된 위상 차이가 없는 주파수 성분을 제외한 나머지 주파수 성분을 신호 변환부(411)를 통해 변환된 입력 신호로부터 제거한다. 이러한 제거 과정은 앞서 설명한 목표 음원이 마이크로폰 어레이의 정면에 위치하였다는 가정에 기초한 것이다. 만약 목표 음원이 마이크로폰 어레이의 정면에 위치하지 않고 특정 방향에 위치하였다면, 잡음 신호 제거부(430)는 위상 차이 산출부(420)를 통해 산출된 위상 차이와 미리 산출된 목표 신호에 대한 위상 차이를 비교하여 목표 신호에 대한 위상 차이와 다른 주파수 성분을 입력 신호로부터 제거함으로써 목표 신호를 획득할 수 있다.
또한, 잡음 신호를 제거함에 있어서, 단순히 잡음 신호 자체를 제거할 수도 있으나, 본 발명의 실시예들이 구현되는 환경에 따라 잡음 신호를 일정 수준으로 감쇄하는 방법을 사용할 수도 있을 것이다.
한편, 앞서 가정한 바와 같이 본 실시예에서는 다수의 입력 신호들 중에서 2 개의 신호를 선택하여 위상 차이를 산출하는데 사용하였다. 그런데, 이러한 2 개의 입력 신호를 선택함에 있어서, 마이크로폰 어레이를 구성하는 복수 개의 마이크로 폰들 중 양 끝단에 위치한 2 개의 마이크로폰들을 선택하는 것이 효과적일 수 있다. 왜냐하면 위상 차이를 산출하기 위해 사용하는 마이크로폰들 간의 거리가 멀수록 음원으로부터 방사된 음원 신호가 도달하는 시간 차이가 커질 것이고, 그 결과 위상 차이가 보다 뚜렷해지기 때문이다.
이상에서, 도 2의 저주파수 목표 신호 생성부(222)에서 저역 통과 신호를 입력받아 저주파수 목표 신호를 생성하는 과정을 설명하였다.
다음으로, 신호 합성부(230)는 고주파수 목표 신호 생성부(221)를 통해 획득한 고주파수 목표 신호와 저주파수 목표 신호 생성부(222)를 통해 획득한 저주파수 목표 신호를 합성함으로써 잡음이 제거된 음원 신호를 생성한다. 이 과정을 도 5를 참조하여 설명한다.
도 5는 본 발명의 일 실시예에 따른 잡음 제거 장치에서 신호 합성부(500)를 상세하게 도시한 블럭도로서, 윈도우 함수(window function)(510), 신호 변환부(520), 합산부(530), 역신호 변환부(520) 및 프레임 누적부(550)를 포함한다. 앞서 생성된 고주파수 목표 신호는 시간 영역의 신호인데 반해, 위상 차이를 이용해 생성된 저주파수 목표 신호는 주파수 영역의 신호이다. 따라서, 우선 고주파수 목표 신호를 주파수 영역의 신호로 변환할 필요가 있다.
윈도우 함수(510)는 시간에 따라 연속적인 하나의 음원 신호를 프레임(frame)이라는 단위(unit) 구간으로 나누어 처리하기 위해 사용하는 일종의 필터이다. 일반적으로 디지털 신호 처리에서는 해당 시스템에 신호를 입력하고 그 결과로서 생성되는 출력 신호를 표현하기 위해 컨벌루션(convolution)을 사용하는 데, 주어진 신호를 유한하게 제한하기 위해 윈도우 함수를 통해 개별 프레임 구간으로 나누어 처리하게 되는 것이다. 이러한 윈도우 함수의 대표적인 예로서 해밍 윈도우(Hamming window)가 널리 알려져 있으며, 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 파악할 수 있는 것이다.
신호 변환부(520)는 윈도우 함수(510)를 통해 분리된 프레임을 주파수 영역으로 변환한다. 이어서, 합산부(530)는 주파수 변환된 고주파수 목표 신호와 앞서 생성된 저주파수 목표 신호를 합산한다. 그 결과, 저주파수 영역과 고주파수 영역이 모두 포함된 신호가 생성된다. 생성된 신호는 주파수 영역의 신호이므로, 이를 다시 역신호 변환부(520)를 통해 역 이산 푸리에 변환(IDFT; Inverse Discrete Fourier Transform)을 수행하면, 시간 영역의 신호를 얻을 수 있다. 마지막으로, 프레임 누적부(550)를 통해 각각의 프레임들을 누적시켜 더하면 최종적으로 잡음 신호가 제거된 목표 신호를 얻을 수 있다.
이상에서 도 2의 잡음 제거 장치를 전체적으로 설명하였다. 본 실시예에 따르면 기준 주파수에 따라 고주파수 신호 및 저주파수 신호를 분리하고, 저주파수 신호들 간의 위상 차이를 이용하여 잡음 신호를 제거함으로써, 소형 마이크로폰 어레이를 구비한 디지털 사운드 취득 기기에서 저주파수 대역에서 발생하는 신호 왜곡을 최소화하고, 불필요한 잡음을 정확하게 제거 또는 감쇄함으로써 목표 음원 신호만을 명확하게 획득하는 것이 가능하다. 또한, 위상 차이를 이용한 잡음 신호 제거가 실시간으로 이루어지기 때문에 휴대용 디지털 기기에 널리 응용할 수 있다.
이하에서는 앞서 설명한 본 발명의 실시예들에 기초하여 추가적인 기능을 제 공하는 다양한 실시예들을 제시하겠다.
도 6은 본 발명의 다른 실시예에 따라 음원의 방향을 검출하는 수단이 포함된 잡음 제거 장치를 도시한 블럭도이다. 도 6의 실시예는 도 2의 실시예에 도시된 구성들 이외에 방향 검출부(640)를 더 포함하는 것으로서, 여기서는 방향 검출부(640)를 중심으로 차별적인 특징을 기술하겠다.
방향 검출부(640)는 마이크로폰 어레이(600)를 통해 획득된 입력 신호들이 방사되어 나오는 음원이 위치한 방향을 검출한다. 마이크로폰 어레이(600) 주위에 위치한 다양한 음원들로부터 입력된 음원 신호에 대하여 각각의 음원 방향을 구하기 위해서는 입력 신호들 간의 시간 지연을 이용하여 음원 신호들의 입력 방향을 검출한다. 즉, 방향 검출부(640)는 주위에 산재해 있는 음원들로부터 이득(gain)이나 음압(sound pressure)이 큰 지배적인 신호 특성을 가진 음원 신호를 찾아 음원 방향을 검출한다. 여기서 지배적인 신호 특성을 인지하는 방법은 해당 음원 신호에 대해 신호 대 잡음비(SNR; Signal to Noise Ratio)와 같은 객관적인 측정값을 통해 측정값이 상대적으로 큰 음원이 위치한 방향을 목표 음원 방향으로 특정함으로써 수행될 수 있다. 이러한 측정 방법에는 도착 시간 지연법(TDOA, time delay of arrival), 빔 형성(beam-forming) 방법, 고해상도 스펙트럼 추정 방법(spectral analysis) 등의 다양한 음원 위치 탐색 방법들이 소개되어 있다. 이하에서는 개요만을 간단히 설명하겠다.
도착 시간 지연법에 따르면, 우선 다수의 음원들로부터 마이크로폰 어레이(600)로 입력되는 혼합 사운드에 대하여 어레이를 구성하는 마이크로폰들을 2 개씩 짝(pair)을 지어 마이크로폰들 간의 시간 지연을 측정하고, 측정된 시간 지연으로부터 음원의 방향을 추정한다. 이어서, 방향 검출부(640)는 각각의 짝에서 추정된 음원 방향들이 교차하는 공간상의 지점에 음원이 존재한다고 추정하게 된다. 또 다른 방법으로 제시된 빔 형성 방법에 따르면 방향 검출부(640)는 특정 각도의 음원 신호에 지연을 주고 각도에 따라 공간 상의 신호들을 스캔(scan)하여 스캔된 신호값이 가장 큰 위치를 목표 음원 방향으로 선택함으로써 음원의 위치를 추정하게 된다. 이러한 다양한 위치 탐색 방법들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 파악할 수 있는 것이다.
이어서, 고주파수 목표 신호 생성부(621)는 방향 검출부(640)를 통해 검출된 방향에 기초하여 목표 음원의 방향과 다른 방향으로부터 방사된 음원 신호를 상기 잡음 신호로 간주하여 잡음 신호가 제거된 고주파수 목표 신호를 생성한다. 또한, 저주파수 목표 신호 생성부(622)는 방향 검출부(640)를 통해 검출된 방향에 기초하여 잡음 신호의 범위를 결정함으로써 잡음 신호가 제거된 저주파수 목표 신호를 생성한다. 이렇게 생성된 2 개의 신호들을 신호 합성부(630)를 통해 합성하는 과정은 도 2와 동일하다.
도 7은 본 발명의 또 다른 실시예에 따라 음향 반향을 제거하는 수단이 포함된 잡음 제거 장치를 도시한 블럭도이다. 도 7의 실시예는 도 2의 실시예에 도시된 구성들 이외에 음향 반향 제거부(750)를 더 포함하는 것으로서, 여기서는 음향 반향 제거부(750)를 중심으로 차별적인 특징을 기술하겠다.
음향 반향 제거부(750)는 마이크로폰 어레이(700)를 통해 잡음이 제거된 출 력 음원 신호가 입력될 때 발생하는 음향 반향을 소정의 음향 반향 제거 방법을 이용하여 제거한다. 일반적으로 마이크로폰이 스피커와 근접하게 배치되는 경우 스피커를 통해 출력된 소리가 마이크로폰에 입력되는 문제가 발생한다. 예를 들어, 양방향 통화시 자신이 발성한 음성이 전화기의 스피커의 출력으로 다시 들리는 음향 반향(acoustic echo)이 발생하게 된다. 이러한 반향은 사용자에게 큰 불편을 주기 때문에 반드시 제거되어야만 하는데, 이를 음향 반향 제거(AEC; acoustic echo cancellation)라고 한다. 음향 반향 제거가 이루어지는 과정을 간단하게 설명하면 다음과 같다.
우선, 마이크로폰 어레이(700)에는 목표 사운드 및 간섭 잡음 이외에 스피커로부터 방사되는 출력 사운드가 포함된 혼합 사운드가 입력되는 것으로 가정한다. 도 7의 음향 반향 제거부(750)로는 특정 필터를 사용할 수 있는데, 이러한 필터는 스피커(미도시)에 인가되는 출력 신호(최종적으로 생성된 잡음이 제거된 음원 신호를 의미한다.)를 인자로 입력받아 마이크로폰 어레이(700)을 통해 입력된 음원 신호로부터 스피커의 출력 신호를 제거한다. 이러한 필터는 시간의 흐름에 따라 지속적으로 스피커에 인가되는 출력 신호를 피드백(feed-back)받아 음원 신호에 포함된 음향 반향(acoustic echo)을 제거할 수 있는 적응 필터(adaptive filter)로 구성될 수 있다. 이러한 음향 반향 제거 방법에는 LMS, NLMS, RLS 등과 같은 다양한 알고리즘이 소개되어 있으며, 이상과 같은 방법들을 이용하여 음향 반향을 제거하는 방법은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 파악할 수 있다.
본 실시예에 따른 잡음 제거 장치를 통해 마이크로폰과 스피커가 근접한 경우에도 스피커로부터 방사된 출력 사운드로 인한 음향 반향과 같은 불필요한 잡음을 제거함과 동시에 잡음 신호를 제거함으로써, 보다 명확한 목표 신호를 획득할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 잡음 제거 방법을 도시한 흐름도이다.
810 단계에서 마이크로폰 어레이를 통해 획득한 입력 신호들로부터 기준 주파수보다 주파수가 높은 고주파수 신호와 상기 기준 주파수보다 주파수가 낮은 저주파수 신호를 각각 여과한다. 이러한 기준 주파수는 마이크로폰 어레이의 크기를 고려하여 입력 신호를 빔 형성하였을 때 신호 왜곡이 발생하는 주파수보다 더 높거나 같은 주파수로 설정될 수 있다. 810 단계에서는 이렇게 설정된 기준 주파수에 따라 고주파수 신호와 저주파수 신호를 각각 여과할 수 있다.
820 단계에서 빔 형성 방법을 이용하여 810 단계를 통해 여과된 고주파수 신호로부터 잡음 신호를 제거함으로써 고주파수 목표 신호를 획득한다. 여기서, 빔 형성 방법은 고정 빔 형성 방법 또는 적응 빔 형성 방법 등이 사용될 수 있으며, 구체적인 빔 형성 방법은 앞서 도 3a 및 도 3b를 통해 설명한 바와 같다.
830 단계에서 810 단계를 통해 여과된 저주파수 신호로부터 목표 신호의 위상 차이와 다른 위상 차이를 갖는 잡음 신호를 제거함으로써 저주파수 목표 신호를 획득한다. 이를 위해, 우선 입력 신호들의 주파수 성분별로 입력 신호들 간의 위상 차이를 산출하고, 산출된 위상 차이가 없는 주파수 성분을 제외한 나머지 주파수 성분을 입력 신호로부터 제거함으로써 저주파수 목표 신호를 획득할 수 있다. 만약, 목표 음원이 마이크로폰 어레이의 정면이 아닌 특정 방향에 위치한 경우, 산출된 위상 차이와 미리 산출된 목표 신호에 대한 위상 차이를 비교하여 목표 신호에 대한 위상 차이와 다른 주파수 성분을 입력 신호로부터 제거함으로써 저주파수 목표 신호를 획득할 수 있을 것이다.
또한, 820 단계 및 830 단계에 있어서, 입력 신호들이 방사되어 나오는 음원이 위치한 방향을 검출하여 각각 고주파수 목표 신호 및 저주파수 목표 신호 생성 과정에 활용할 수 있음은 당연하다.
마지막으로, 840 단계에서 820 단계 및 830 단계를 통해 각각 획득한 고주파수 목표 신호와 저주파수 목표 신호를 합성함으로써 잡음이 제거된 음원 신호를 획득한다. 한편, 840 단계를 통해 생성된 잡음이 제거된 음원 신호가 마이크로폰 어레이에 입력될 때 발생하는 음향 반향을 앞서 설명한 음향 반향 제거 방법을 이용하여 제거할 수도 있을 것이다.
이상의 실시예들에 따르면, 소형 마이크로폰 어레이를 구비한 디지털 사운드 취득 기기에서 저주파수 대역에서 발생하는 신호 왜곡을 최소화하고, 불필요한 잡음을 정확하게 제거 또는 감쇄함으로써 목표 음원 신호만을 명확하게 획득하는 것이 가능하다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한 다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1a 및 도 1b는 본 발명이 해결하고자 하는 문제 상황을 설명하기 위해 마이크로폰 어레이의 크기에 따른 빔 패턴을 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 잡음 제거 장치를 도시한 블럭도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 잡음 제거 장치에서 고주파수 목표 신호 생성부를 상세하게 도시한 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 잡음 제거 장치에서 저주파수 목표 신호 생성부를 상세하게 도시한 블럭도이다.
도 5는 본 발명의 일 실시예에 따른 잡음 제거 장치에서 신호 합성부를 상세하게 도시한 블럭도이다.
도 6은 본 발명의 다른 실시예에 따라 음원의 방향을 검출하는 수단이 포함된 잡음 제거 장치를 도시한 블럭도이다.
도 7은 본 발명의 또 다른 실시예에 따라 음향 반향을 제거하는 수단이 포함된 잡음 제거 장치를 도시한 블럭도이다.
도 8은 본 발명의 또 다른 실시예에 따른 잡음 제거 방법을 도시한 흐름도이다.

Claims (16)

  1. 마이크로폰 어레이(microphone array)의 크기를 고려하여 상기 마이크로폰 어레이를 통해 획득한 입력 신호를 빔 형성(beamforming)하였을 때 신호 왜곡이 발생하는 주파수보다 더 높거나 같은 주파수를 기준 주파수로 설정하는 단계;
    상기 마이크로폰 어레이를 통해 획득한 입력 신호들로부터 상기 기준 주파수보다 주파수가 높은 고주파수 신호와 상기 기준 주파수보다 주파수가 낮은 저주파수 신호를 각각 여과하는 단계;
    상기 여과된 고주파수 신호로부터 잡음 신호를 빔 형성 방법을 이용하여 제거함으로써 고주파수 목표 신호를 획득하는 단계;
    상기 여과된 저주파수 신호로부터 목표 신호의 위상 차이와 다른 위상 차이를 갖는 잡음 신호를 제거함으로써 저주파수 목표 신호를 획득하는 단계; 및
    상기 획득된 고주파수 목표 신호와 상기 획득된 저주파수 목표 신호를 합성함으로써 잡음이 제거된 음원 신호를 획득하는 단계를 포함하는 것을 특징으로 하는 잡음 제거 방법.
  2. 제 1 항에 있어서,
    상기 저주파수 목표 신호를 획득하는 단계는
    상기 입력 신호들의 주파수 성분별로 상기 입력 신호들 간의 위상 차이를 산출하는 단계; 및
    상기 산출된 위상 차이가 없는 주파수 성분을 제외한 나머지 주파수 성분을 상기 입력 신호로부터 제거하는 단계를 포함하는 것을 특징으로 하는 잡음 제거 방법.
  3. 제 1 항에 있어서,
    상기 저주파수 목표 신호를 획득하는 단계는
    상기 입력 신호들의 주파수 성분별로 상기 입력 신호들 간의 위상 차이를 산출하는 단계; 및
    상기 산출된 위상 차이와 미리 산출된 목표 신호에 대한 위상 차이를 비교하여 상기 목표 신호에 대한 위상 차이와 다른 주파수 성분을 상기 입력 신호로부터 제거하는 단계를 포함하는 것을 특징으로 하는 잡음 제거 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 빔 형성 방법은 고정 빔 형성 방법 또는 적응 빔 형성 방법 중 어느 하나인 것을 특징으로 하는 잡음 제거 방법.
  6. 제 1 항에 있어서,
    상기 입력 신호들이 방사되어 나오는 음원이 위치한 방향을 검출하는 단계를 더 포함하고,
    상기 고주파수 목표 신호를 획득하는 단계는 상기 검출된 방향에 기초하여 목표 음원의 방향과 다른 방향으로부터 방사된 음원 신호를 상기 잡음 신호로 간주하며,
    상기 저주파수 목표 신호를 획득하는 단계는 상기 검출된 방향에 기초하여 상기 잡음 신호의 범위를 결정하는 것을 특징으로 하는 잡음 제거 방법.
  7. 제 1 항에 있어서,
    상기 잡음이 제거된 음원 신호가 상기 마이크로폰 어레이에 입력될 때 발생하는 음향 반향을 소정의 음향 반향 제거 방법을 이용하여 제거하는 단계를 더 포함하는 것을 특징으로 하는 잡음 제거 방법.
  8. 제 1 항 내지 제 3 항 및 제 5 항 내지 제 7 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  9. 마이크로폰 어레이의 크기를 고려하여 상기 마이크로폰 어레이를 통해 획득한 입력 신호를 빔 형성하였을 때 신호 왜곡이 발생하는 주파수보다 더 높거나 같은 주파수를 기준 주파수로 설정하는 기준 주파수 설정부;
    상기 마이크로폰 어레이를 통해 획득한 입력 신호들로부터 상기 기준 주파수보다 주파수가 높은 고주파수 신호와 상기 기준 주파수보다 주파수가 낮은 저주파수 신호를 각각 여과하는 필터부;
    상기 여과된 고주파수 신호로부터 잡음 신호를 빔 형성 방법을 이용하여 제거함으로써 고주파수 목표 신호를 획득하는 고주파수 목표 신호 생성부;
    상기 여과된 저주파수 신호로부터 목표 신호의 위상 차이와 다른 위상 차이를 갖는 잡음 신호를 제거함으로써 저주파수 목표 신호를 획득하는 저주파수 목표 신호 생성부; 및
    상기 획득된 고주파수 목표 신호와 상기 획득된 저주파수 목표 신호를 합성함으로써 잡음이 제거된 음원 신호를 획득하는 신호 합성부를 포함하는 것을 특징으로 하는 잡음 제거 장치.
  10. 제 9 항에 있어서,
    상기 저주파수 목표 신호 생성부는
    상기 입력 신호들의 주파수 성분별로 상기 입력 신호들 간의 위상 차이를 산출하는 위상 차이 산출부; 및
    상기 산출된 위상 차이가 없는 주파수 성분을 제외한 나머지 주파수 성분을 상기 입력 신호로부터 제거하는 잡음 신호 제거부를 포함하는 것을 특징으로 하는 잡음 제거 장치.
  11. 제 9 항에 있어서,
    상기 저주파수 목표 신호 생성부는
    상기 입력 신호들의 주파수 성분별로 상기 입력 신호들 간의 위상 차이를 산 출하는 위상 차이 산출부; 및
    상기 산출된 위상 차이와 미리 산출된 목표 신호에 대한 위상 차이를 비교하여 상기 목표 신호에 대한 위상 차이와 다른 주파수 성분을 상기 입력 신호로부터 제거하는 잡음 신호 제거부를 포함하는 것을 특징으로 하는 잡음 제거 장치.
  12. 삭제
  13. 제 9 항에 있어서,
    상기 빔 형성 방법은 고정 빔 형성 방법 또는 적응 빔 형성 방법 중 어느 하나인 것을 특징으로 하는 잡음 제거 장치.
  14. 제 9 항에 있어서,
    상기 입력 신호들이 방사되어 나오는 음원이 위치한 방향을 검출하는 방향 검출부를 더 포함하고,
    상기 고주파수 목표 신호 생성부는 상기 검출된 방향에 기초하여 목표 음원 의 방향과 다른 방향으로부터 방사된 음원 신호를 상기 잡음 신호로 간주하며,
    상기 저주파수 목표 신호 생성부는 상기 검출된 방향에 기초하여 상기 잡음 신호의 범위를 결정하는 것을 특징으로 하는 잡음 제거 장치.
  15. 제 9 항에 있어서,
    상기 잡음이 제거된 음원 신호가 상기 마이크로폰 어레이에 입력될 때 발생하는 음향 반향을 소정의 음향 반향 제거 방법을 이용하여 제거하는 음향 반향 제거부를 더 포함하는 것을 특징으로 하는 잡음 제거 장치.
  16. 제 9 항에 있어서,
    상기 저주파수 목표 신호 생성부는 상기 마이크로폰 어레이를 구성하는 복수 개의 마이크로폰들 중 양 끝단에 위치한 2 개의 마이크로폰들을 통해 획득한 입력 신호들로부터 상기 위상 차이를 산출하는 것을 특징으로 하는 잡음 제거 장치.
KR1020070123819A 2007-11-30 2007-11-30 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치 KR101449433B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070123819A KR101449433B1 (ko) 2007-11-30 2007-11-30 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치
US12/076,281 US8085949B2 (en) 2007-11-30 2008-03-14 Method and apparatus for canceling noise from sound input through microphone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070123819A KR101449433B1 (ko) 2007-11-30 2007-11-30 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090056598A KR20090056598A (ko) 2009-06-03
KR101449433B1 true KR101449433B1 (ko) 2014-10-13

Family

ID=40675737

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070123819A KR101449433B1 (ko) 2007-11-30 2007-11-30 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치

Country Status (2)

Country Link
US (1) US8085949B2 (ko)
KR (1) KR101449433B1 (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9049503B2 (en) * 2009-03-17 2015-06-02 The Hong Kong Polytechnic University Method and system for beamforming using a microphone array
GB2473267A (en) * 2009-09-07 2011-03-09 Nokia Corp Processing audio signals to reduce noise
KR101253610B1 (ko) * 2009-09-28 2013-04-11 한국전자통신연구원 사용자 음성을 이용한 위치 추적 장치 및 그 방법
KR101253102B1 (ko) 2009-09-30 2013-04-10 한국전자통신연구원 음성인식을 위한 모델기반 왜곡 보상형 잡음 제거 장치 및 방법
KR101613684B1 (ko) 2009-12-09 2016-04-19 삼성전자주식회사 음향 신호 보강 처리 장치 및 방법
KR20110106715A (ko) * 2010-03-23 2011-09-29 삼성전자주식회사 후방 잡음 제거 장치 및 방법
US8861756B2 (en) * 2010-09-24 2014-10-14 LI Creative Technologies, Inc. Microphone array system
US9659574B2 (en) * 2011-10-19 2017-05-23 Koninklijke Philips N.V. Signal noise attenuation
JP2014219467A (ja) * 2013-05-02 2014-11-20 ソニー株式会社 音信号処理装置、および音信号処理方法、並びにプログラム
GB2542961B (en) 2014-05-29 2021-08-11 Cirrus Logic Int Semiconductor Ltd Microphone mixing for wind noise reduction
DK3278575T3 (da) * 2015-04-02 2021-08-16 Sivantos Pte Ltd Høreindretning
US9712866B2 (en) 2015-04-16 2017-07-18 Comigo Ltd. Cancelling TV audio disturbance by set-top boxes in conferences
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9530426B1 (en) * 2015-06-24 2016-12-27 Microsoft Technology Licensing, Llc Filtering sounds for conferencing applications
JP2017102085A (ja) * 2015-12-04 2017-06-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
JP7051876B6 (ja) 2017-01-27 2023-08-18 シュアー アクイジッション ホールディングス インコーポレイテッド アレイマイクロホンモジュール及びシステム
CN108156545B (zh) * 2018-02-11 2024-02-09 北京中电慧声科技有限公司 一种阵列麦克风
US11523212B2 (en) 2018-06-01 2022-12-06 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
JP6669219B2 (ja) * 2018-09-04 2020-03-18 沖電気工業株式会社 収音装置、プログラム及び方法
CN112889296A (zh) 2018-09-20 2021-06-01 舒尔获得控股公司 用于阵列麦克风的可调整的波瓣形状
US11109133B2 (en) 2018-09-21 2021-08-31 Shure Acquisition Holdings, Inc. Array microphone module and system
JP7158976B2 (ja) * 2018-09-28 2022-10-24 沖電気工業株式会社 収音装置、収音プログラム及び収音方法
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841421A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 具有抑制功能的波束形成麦克风瓣的自动对焦、区域内自动对焦、及自动配置
EP3942842A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
TW202101422A (zh) 2019-05-23 2021-01-01 美商舒爾獲得控股公司 可操縱揚聲器陣列、系統及其方法
US11303758B2 (en) * 2019-05-29 2022-04-12 Knowles Electronics, Llc System and method for generating an improved reference signal for acoustic echo cancellation
TW202105369A (zh) 2019-05-31 2021-02-01 美商舒爾獲得控股公司 整合語音及雜訊活動偵測之低延時自動混波器
CN112151058B (zh) * 2019-06-28 2023-09-15 大众问问(北京)信息科技有限公司 一种声音信号的处理方法、装置及设备
CN110364161A (zh) * 2019-08-22 2019-10-22 北京小米智能科技有限公司 响应语音信号的方法、电子设备、介质及系统
US11297426B2 (en) 2019-08-23 2022-04-05 Shure Acquisition Holdings, Inc. One-dimensional array microphone with improved directivity
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11514892B2 (en) * 2020-03-19 2022-11-29 International Business Machines Corporation Audio-spectral-masking-deep-neural-network crowd search
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN112785998B (zh) * 2020-12-29 2022-11-15 展讯通信（上海）有限公司 信号处理方法、设备及装置
WO2022165007A1 (en) 2021-01-28 2022-08-04 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990050597A (ko) * 1997-12-17 1999-07-05 전주범 텔레비전의 웨이브렛변환(wavelet tranform)에 의한 영상/음성노이즈제거장치
JP2002099297A (ja) * 2000-09-22 2002-04-05 Tokai Rika Co Ltd マイクロフォン装置
JP2004312754A (ja) 2003-04-03 2004-11-04 Gn Resound As 両耳信号増強システム
KR20070085193A (ko) * 2007-08-07 2007-08-27 한국정보통신대학교 산학협력단 잡음제거 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948428B2 (en) * 2006-09-05 2015-02-03 Gn Resound A/S Hearing aid with histogram based sound environment classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990050597A (ko) * 1997-12-17 1999-07-05 전주범 텔레비전의 웨이브렛변환(wavelet tranform)에 의한 영상/음성노이즈제거장치
JP2002099297A (ja) * 2000-09-22 2002-04-05 Tokai Rika Co Ltd マイクロフォン装置
JP2004312754A (ja) 2003-04-03 2004-11-04 Gn Resound As 両耳信号増強システム
KR20070085193A (ko) * 2007-08-07 2007-08-27 한국정보통신대학교 산학협력단 잡음제거 장치 및 방법

Also Published As

Publication number Publication date
KR20090056598A (ko) 2009-06-03
US20090141907A1 (en) 2009-06-04
US8085949B2 (en) 2011-12-27

Similar Documents

Publication Publication Date Title
KR101449433B1 (ko) 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치
KR101456866B1 (ko) 혼합 사운드로부터 목표 음원 신호를 추출하는 방법 및장치
KR101444100B1 (ko) 혼합 사운드로부터 잡음을 제거하는 방법 및 장치
US10229698B1 (en) Playback reference signal-assisted multi-microphone interference canceler
US9966059B1 (en) Reconfigurale fixed beam former using given microphone array
US10827263B2 (en) Adaptive beamforming
KR101210313B1 (ko) 음성 향상을 위해 마이크로폰 사이의 레벨 차이를 활용하는시스템 및 방법
JP5762956B2 (ja) ヌル処理雑音除去を利用した雑音抑制を提供するシステム及び方法
CN110085248B (zh) 个人通信中降噪和回波消除时的噪声估计
US8238569B2 (en) Method, medium, and apparatus for extracting target sound from mixed sound
US10657981B1 (en) Acoustic echo cancellation with loudspeaker canceling beamformer
US8942387B2 (en) Noise-reducing directional microphone array
RU2760097C2 (ru) Способ и устройство для захвата аудиоинформации с использованием формирования диаграммы направленности
JP2011511321A (ja) 高度に相関する混合のための強調ブラインド信号源分離アルゴリズム
CN111078185A (zh) 录制声音的方法及设备
KR20090037845A (ko) 혼합 신호로부터 목표 음원 신호를 추출하는 방법 및 장치
Thiergart et al. An informed MMSE filter based on multiple instantaneous direction-of-arrival estimates
KR102517939B1 (ko) 원거리 장 사운드 캡처링
US20190035382A1 (en) Adaptive post filtering
US11025324B1 (en) Initialization of adaptive blocking matrix filters in a beamforming array using a priori information
US10692514B2 (en) Single channel noise reduction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190812

Year of fee payment: 6