KR20110028104A - 뮤지컬 노이즈 제거 장치 및 그 방법 - Google Patents

뮤지컬 노이즈 제거 장치 및 그 방법 Download PDF

Info

Publication number
KR20110028104A
KR20110028104A KR1020090086037A KR20090086037A KR20110028104A KR 20110028104 A KR20110028104 A KR 20110028104A KR 1020090086037 A KR1020090086037 A KR 1020090086037A KR 20090086037 A KR20090086037 A KR 20090086037A KR 20110028104 A KR20110028104 A KR 20110028104A
Authority
KR
South Korea
Prior art keywords
noise
signal
voice
musical
musical noise
Prior art date
Application number
KR1020090086037A
Other languages
English (en)
Inventor
임형준
추이웨이웨이
엄기완
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090086037A priority Critical patent/KR20110028104A/ko
Publication of KR20110028104A publication Critical patent/KR20110028104A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain

Abstract

뮤지컬 노이즈 제거 장치 및 방법을 제공한다. 개시된 뮤지컬 노이즈 제거 장치는 입력된 음성 신호를 프레임 단위로 나누어 주파수 도메인 영역으로 변환하는 신호 변환부, 상기 주파수 도메인 영역으로 변환된 음성 신호의 노이즈를 억제시켜 강화 음성 신호를 출력하는 노이즈 억제부, 상기 신호 변환부로부터 입력되는 상기 음성 신호와 상기 노이즈 억제부로부터 입력되는 상기 강화 음성 신호로부터 뮤지컬 노이즈를 검출하는 뮤지컬 노이즈 검출부, 상기 신호 변환부로부터 입력되는 상기 음성 신호와 상기 노이즈 억제부로부터 입력되는 상기 강화 음성 신호의 파워비 및 신호대노이즈비를 계산하는 필터링 비율계산부, 상기 노이즈 억제부로부터 입력되는 상기 강화 음성 신호의 청각 인지 여부를 결정하는 마스킹 문턱값을 산출하는 마스킹 문턱값 산출부 및, 상기 필터링 비율계산부로부터 입력되는 상기 파워비와 상기 신호대노이즈비 및 상기 마스킹 문턱값 산출부로부터 입력되는 상기 마스킹 문턱값을 이용하여 상기 뮤지컬 노이즈 검출부로부터 입력되는 상기 뮤지컬 노이즈를 제거하는 뮤지컬 노이즈 제거부를 포함한다.
Figure P1020090086037
뮤지컬 노이즈, 마스킹 문턱값, 파워비, SNR

Description

뮤지컬 노이즈 제거 장치 및 그 방법{MUSICAL NOISE ELIMINATION APPARATUS AND METHOD OF THE SAME}
본 발명의 일부 실시예들은 뮤지컬 노이즈 제거 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 청각적으로 뮤지컬 노이즈를 인지하지 않게 하는 뮤지컬 노이즈 제거 장치 및 그 방법에 관한 것이다.
음성 신호의 고품질 추출을 위해 입력된 음성 신호를 처리하는 과정에서 음성 신호 스펙트럼을 강화하는 단계를 도입한다. 또한, 일반적으로 음성 신호는 노이즈에 오염되는 환경에 노출되므로, 음성 신호의 품질을 향상시키기 위해 노이즈를 필터링하는 단계도 함께 도입된다. 음성 신호 스펙트럼의 강화 단계와 노이즈 필터링 단계에 있어 이를 수행하는 방법들로 인해 음성 신호에서 많은 노이즈가 제거되므로 음성 신호의 품질이 크게 향상시킬 수 있으나, 오히려 이러한 각 단계의 수행 방법으로 인해 뮤지컬 노이즈라고 불리는 인공 노이즈가 도입되게 된다.
뮤지컬 노이즈는 귀에 거슬리는 기계음으로서, 이는 음성 신호 스펙트럼의 강화로 인해 가짜 노이즈 피크가 나타나게 되어 청각적으로 인식되는 신호이다. 뮤지컬 노이즈로 나타나는 노이즈 피크는 낮은 신호대노이즈비(SNR: Signal to Noise Ratio) 를 가지는 음성 신호에 있어 특히 음성 품질을 악화시킨다.
본 발명의 일부 실시예는, 청각적으로 뮤지컬 노이즈가 인식되지 않도록 하는 뮤지컬 노이즈 제거 장치 및 그 방법을 제공하기 위한 것이다.
또한 본 발명의 일부 실시예는, 뮤지컬 노이즈를 제거함으로써 음성 신호의 품질을 향상시키는 뮤지컬 노이즈 제거 장치 및 그 방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따르면, 입력된 음성 신호를 프레임 단위로 나누어 주파수 도메인 영역으로 변환하는 신호 변환부; 상기 주파수 도메인 영역으로 변환된 음성 신호의 노이즈를 억제시켜 강화 음성 신호를 출력하는 노이즈 억제부; 상기 신호 변환부로부터 입력되는 상기 음성 신호와 상기 노이즈 억제부로부터 입력되는 상기 강화 음성 신호로부터 뮤지컬 노이즈를 검출하는 뮤지컬 노이즈 검출부; 상기 신호 변환부로부터 입력되는 상기 음성 신호와 상기 노이즈 억제부로부터 입력되는 상기 강화 음성 신호의 파워비 및 신호대노이즈비를 계산하는 필터링 비율계산부; 상기 노이즈 억제부로부터 입력되는 상기 강화 음성 신호의 청각 인지 여부를 결정하는 마스킹 문턱값을 산출하는 마스킹 문턱값 산출부; 및 상기 필터링 비율계산부로부터 입력되는 상기 파워비와 상기 신호대노이즈비 및 상기 마스킹 문턱값 산출부로부터 입력되는 상기 마스킹 문턱값을 이용하여 상기 뮤지컬 노이즈 검출부로부터 입력되는 상기 뮤지컬 노이즈를 제거하는 뮤지컬 노이즈 제거부;를 포함하는 뮤지컬 노이즈 제거 장치가 제공된다.
본 발명의 다른 일 실시예에 따르면, 상기 뮤지컬 노이즈 제거 장치를 가지는 마이크로폰 어레이가 제공된다.
또한 본 발명의 일 실시예에 따르면, 입력된 음성 신호를 프레임 단위로 나누어 주파수 도메인 영역으로 변환하는 단계; 상기 주파수 도메인 영역으로 변환된 음성 신호의 노이즈를 억제하는 단계; 상기 음성 신호와 상기 강화 음성 신호로부터 뮤지컬 노이즈를 검출하는 단계; 상기 음성 신호와 상기 강화 음성 신호의 파워비 및 신호대노이즈비를 계산하는 단계; 상기 강화 음성 신호의 청각 인지 여부를 결정하는 마스킹 문턱값을 산출하는 단계; 및 상기 파워비와 상기 신호대노이즈비 및, 상기 마스킹 문턱값을 이용하여 상기 뮤지컬 노이즈를 제거하는 단계;를 포함하는 뮤지컬 노이즈 제거 방법이 제공된다.
본 발명의 다른 일 실시예에 따르면 뮤지컬 노이즈 제거 방법을 수행하기 위한 명령어를 수록한 컴퓨터 판독 가능 기록 매체가 제공된다.
본 발명의 일부 실시예에 따르면, 뮤지컬 노이즈 성분을 노이즈 마스킹 문턱값 아래로 시프팅시켜 청각적으로 인지가 되지 않게 함으로써 뮤지컬 노이즈를 제거할 수 있다.
또한 본 발명의 일부 실시예에 따르면, 뮤지컬 노이즈를 제거함으로써 고품질의 음성 신호를 제공할 수 있다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설 명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 뮤지컬 노이즈 제거 장치를 나타낸 도면이다.
도 1을 참조하면, 뮤지컬 노이즈 제거 장치는 신호 변환부(11), 노이즈 억제부(12), 뮤지컬 노이즈 검출부(13), 필터링 비율 계산부(14), 마스킹 문턱값 산출부(15) 및, 뮤지컬 노이즈 제거부(16)를 포함한다.
여기서, 신호 변환부(11), 노이즈 억제부(12)와 뮤지컬 노이즈 검출부(13)는 종래의 어떠한 형태의 소자도 동일 기능을 가지는 경우 본 발명의 일 실시예에 따른 뮤지컬 노이즈 제거 장치에 채용될 수 있음에 유의한다.
신호 변환부(11)는 입력 음성 신호를 프레임 단위로 나누어 시간 도메인 영역에서 주파수 도메인 영역으로 변환한다.
노이즈가 포함된 입력 음성 신호 y(t)는 연관되지 않은 노이즈 신호 n(t)를 클린 음성 신호 s(t)에 추가함으로써 생성된다.
Figure 112009056147534-PAT00001
주파수 도메인 처리를 위해 각 입력 음성 신호 y(t)는 길이 L을 가진 다중 중첩 프레임으로 분할된다. 그런 다음 입력 음성 신호 y(t)는 윈도우를 적용하여 크기 N을 가지는 FFT를 통해 주파수 도메인으로 전환된다. 입력 음성 신호 y(t)의 주파수 도메인에서의 표현은 다음과 같다.
Figure 112009056147534-PAT00002
여기서 S(w,l)과 N(w,l)은 주파수 l과 프레임 w에서의 클린 음성 신호와 노이즈를 각각 나타낸다.
노이즈 억제부(12)는 신호 변환부(11)를 통과하여 주파수 도메인 영역으로 변환된 상기 입력 음성 신호의 노이즈를 감소시켜 강화 음성 신호를 출력한다.
노이즈가 억제된 음성 신호
Figure 112009056147534-PAT00003
의 단시간 스펙트럼 진폭은 입력 음성 신호 Y(w,l)의 스펙트럼 진폭으로부터 측정된 노이즈 N(w,l)의 스펙트럼 진폭을 단순히 뺌으로써 얻을 수 있다. 파워 스펙트럼 차(subtraction)는 다음과 같다.
Figure 112009056147534-PAT00004
여기서,
Figure 112009056147534-PAT00005
은 스피치 휴지(pause) 동안 캡쳐된 측정된 노이즈 스펙트럼을 나타낸다. 다른 노이즈 제거 프로세스로는 다음과 같이 노이즈 제거 필터 H(w,l)로 필터링하는 방법도 있다. 다음과 같이 노이즈 제거 필터 H(w,l)의 필터 이득은 입력 음성 신호 스펙트럼과 노이즈 스펙트럼의 측정에 의존한다.
Figure 112009056147534-PAT00006
이 방법은 음성 휴지 동안 측정된 노이즈로부터 발생하는 측정된 노이즈 스 펙트럼 진폭과 실제 노이즈 스펙트럼 진폭간의 차이를 포함하게 되는데, 이러한 스펙트럼 차이는 시간과 주파수 도메인 내 무작위로 나타나고, 음성 왜곡을 야기하게 된다. 특히 5dB 이하의 낮은 SNR 주파수 환경에서, 이러한 스펙트럼 에러는 뮤지컬 노이즈라고 불리는 신경에 거슬리는 기계음을 도입한다. 뮤지컬 노이즈의 주된 특징은 이것들의 무작위 산포성(random isolation)과 좁은 대역(narrow bandwidth0이다. 노이즈 억제부(12)에서 출력되는 강화 음성 신호(enhanced speech signal)
Figure 112009056147534-PAT00007
의 품질은 뮤지컬 노이즈로 인해 열화된다.
따라서, 본 발명은 이러한 뮤지컬 노이즈 성분을 검출하고, 이를 감소시킴으로써 청각적으로 들리지 않게 하는 것이다.
신호 변환부(11)로부터 출력되는 상기 음성 신호 Y(w,l)와 노이즈 억제부(11)를 통과한 강화 음성 신호
Figure 112009056147534-PAT00008
은 뮤지컬 노이즈 검출부(13)로 입력된다.
뮤지컬 노이즈 검출부(13)는 상기 음성 신호와 상기 강화 음성 신호 성분로부터 뮤지컬 노이즈를 검출한다.
뮤지컬 노이즈의 검출에 대한 접근은 스펙트럼의 크기가 마스커(masker) 신호의 크리티컬값보다 작은 마스키(maskee) 신호의 성분은 들리지 않게 된다는 인간 인지 특성에 기반한다. 뮤지컬 노이즈 검출을 위한 크리티컬값 설정 시 강화 음성 신호
Figure 112009056147534-PAT00009
과 노이즈를 포함하는 음성 신호 Y(w,l)를 이용한다. 이러한 방식은 종래에 제안된 다양한 기술들이 있으며 본 발명에서는 뮤지컬 노이즈를 검출할 수 있는 어떠한 방법도 채용할 수 있다. 뮤지컬 노이즈 검출부(13)은 설정된 상기 크리티컬값을 강화 음성 신호
Figure 112009056147534-PAT00010
에 적용하여 특정 크리티컬값을 넘는 부분을 뮤지컬 노이즈로 검출할 수 있다. 뮤지컬 노이즈로 검출된 프레임 ㅣ과 주파수 w에서의 상기 강화음성신호의
Figure 112009056147534-PAT00011
의 값을 M(w,l)에 대입, 그렇지 않은 경우 해당 프레임 ㅣ과 주파수 w에서의 M(w,l)값은 0으로 한다.
필터링 비율계산부(14)는 상기 음성 신호 Y(w,l)와 상기 강화 음성 신호
Figure 112009056147534-PAT00012
의 파워비 및 신호대노이즈비를 계산한다. 즉, 상기 음성 신호(Y(w,l))과 상기 강화 음성 신호
Figure 112009056147534-PAT00013
로부터 다음의 수학식을 만족하는 파워비
Figure 112009056147534-PAT00014
를 계산한다
Figure 112009056147534-PAT00015
파워비
Figure 112009056147534-PAT00016
는 해당 프레임이 음성 메인 프레임인지 노이즈 메인 프레임인지 판단하는 좋은 지표가 된다. 만약 강화 음성 신호의 프레임이 주로 음성을 포함하면, 강화 음성 신호의 프레임과 상기 프레임에 대응하는 노이즈를 포함한 음성 신호의 프레임은 대략 동일한 파워를 가지므로,
Figure 112009056147534-PAT00017
이 된다. 반대로, 음성 신호 내 노이즈 메인 프레임의 경우 당해 프레임 내 노이즈 성분의 양이 노이즈 억제부에 의해 상당 부분 감소되기 때문에, 강화 음성 신호의 노이즈 메인 프레임의 파워는 낮은 파워를 가지게 되어
Figure 112009056147534-PAT00018
을 나타내게 된다.
도 2a는 0dB 를 가지는 화이트 노이즈(white noise)에 오염된 음성 신호의 그래프를 보인다. 제일 상부의 그래프는 프레임(w)별 주파수(frequency)의 분포를 보이는 그래프이고, 중간 그래프는 프레임(w)별 파워비를 보이는 그래프이며, 제일 하부의 그래프는 프레임별 SNR을 보인다. 도 2a의 중간 그래프에서 파워비가 가장 높은 부분은 150~200 프레임(w) 에 위치하는 것을 알 수 있으며, 이 부분이 음성 메인 프레임으로 구분될 수 있다. 반면 파워비가 0에 근접하는 부분은 노이즈 메인 프레임이 된다.
도 2b는 10dB 를 가지는 화이트 노이즈에 오염된 음성 신호의 그래프를 보인다. 제일 상부의 그래프는 프레임(w)별 주파수(frequency)의 분포를 보이는 그래프이고, 중간 그래프는 프레임(w)별 파워비를 보이는 그래프이며, 제일 하부의 그래프는 프레임별 SNR을 보인다. 도 2b의 중간 그래프에서 파워비는 도 2a의 파워비 그래프와 달리 산별적으로 분포하고 있으며 파워비가 1에 근접하는 피크 부분이 많이 보인다. 파워비가 1에 근접하는 부분이 음성 메인 프레임으로 구분되며, 0에 근접하는 부분은 노이즈 메인 프레임이 된다.
도 2a와 도 2b를 참조하면, 음성 메인 프레임은 노이즈 메인 프레임의 파워비보다 더 높으며, 이러한 파워비는 노이즈 레벨이 감소할수록 1에 접근한다.
뮤지컬 노이즈 검출부(13)로부터 출력되는 뮤지컬 노이즈 M(w,l)과 필터링 비율 검출부(14)로부터 계산된 파워비
Figure 112009056147534-PAT00019
및 SNR은 뮤지컬 노이즈 제거부(16)로 입력된다.
뮤지컬 노이즈 제거부(16)에서 뮤지컬 노이즈 제거를 하기 위해서는 다른 하나의 인수, 즉 마스킹 문턱값
Figure 112009056147534-PAT00020
도 필요하다.
마스킹 문턱값
Figure 112009056147534-PAT00021
은 마스킹 문턱값 산출부(15)에서 산출된다. 마스킹 문턱값
Figure 112009056147534-PAT00022
은 상기 강화 음성 신호
Figure 112009056147534-PAT00023
의 청각 인지 여부를 결정하는 값으로서 상기 강화 음성 신호
Figure 112009056147534-PAT00024
중 마스킹 문턱값을 넘어서는 부분을 제거함으로써 뮤지컬 노이즈에 해당할 수 있는 부분이 마스킹 문턱값 아래로 시프팅된다.
뮤지컬 노이즈 제거부(16)는 필터링 비율계산부(14)로부터 입력되는 상기 파워비
Figure 112009056147534-PAT00025
와 상기 신호대노이즈비 SNR 및, 마스킹 문턱값 산출부(15)로부터 입력되는 마스킹 문턱값
Figure 112009056147534-PAT00026
을 이용하여 상기 뮤지컬 노이즈M(w,l)를 제거한다.
뮤지컬 노이즈 M(w,l)을 제거한 음성 강화 신호
Figure 112009056147534-PAT00027
는 뮤지컬 노이즈 M(w,l)에 아래의 수학식을 적용하여 얻을 수 있다.
Figure 112009056147534-PAT00028
뮤지컬 노이즈 제거부(16)는 파워비의 문턱값
Figure 112009056147534-PAT00029
보다 작은 파워비
Figure 112009056147534-PAT00030
를 가지는 강화 음성 신호
Figure 112009056147534-PAT00031
프레임을 노이즈 메인 프레임으로, 상기 파워비의 문턱값
Figure 112009056147534-PAT00032
보다 큰 파워비
Figure 112009056147534-PAT00033
를 가지는 강화 음성 신호
Figure 112009056147534-PAT00034
프레임을 음성 메인 프레임으로 설정한다. 설정되는 상기 파워비의 문턱값
Figure 112009056147534-PAT00035
의 일 예는 0.005 정도이다.
상기 노이즈 메인 프레임에 제1보정값
Figure 112009056147534-PAT00036
을 적용하며 상기 음성 메인 프레임에 제2보정값
Figure 112009056147534-PAT00037
을 적용한다.
상기 제1보정값
Figure 112009056147534-PAT00038
은
Figure 112009056147534-PAT00039
크리티컬 대역 내 존재하는 뮤지컬 노이즈 성분의 최대값과 상기 크리티컬 대역 내의 상기 음성 강화 신호의 상기 마스킹 문턱값
Figure 112009056147534-PAT00040
의 차이이다. K는 크리티컬 대역 지수이며, 크리티컬 대역 지수를 표 1과 같이 나타낼 수 있다.
Figure 112009056147534-PAT00041
상기 제2보정값
Figure 112009056147534-PAT00042
은 상기 제1보정값에 이득
Figure 112009056147534-PAT00043
을 적용하여 계산한다. 이득
Figure 112009056147534-PAT00044
은 음성 메인 프레임에 사용되며 그 값은 상기 크리티컬 대역 지수 k에 의존한다. 상기 이득
Figure 112009056147534-PAT00045
은 상기 신호대노이즈비에 따라 결정되는 크리티컬 대역 지수 k를 이용하여 상기 크리티컬 대역 지수의 문턱값
Figure 112009056147534-PAT00046
보다 큰 크리티컬 대역 지수를 가지는 상기 음성 메인 프레임 내 노이즈 지배 성분에 제1이득
Figure 112009056147534-PAT00047
를, 상기 크리티컬 대역 지수의 문턱값
Figure 112009056147534-PAT00048
보다 작은 크리티컬 대역 지수를 가지는 상기 음성 메인 프레임 내 음성 지배 성분에 제2이득
Figure 112009056147534-PAT00049
을 적용하고, 상기 제1이득
Figure 112009056147534-PAT00050
은 상기 제2이득
Figure 112009056147534-PAT00051
보다 큰 값을 가진다. 실험을 통해 제시될 수 있는 일 예로, 제1 이득
Figure 112009056147534-PAT00052
은 0.6, 제2이득
Figure 112009056147534-PAT00053
은 0.01 을 구할 수 있다. 여기서 상기 크리티컬 대역 지수의 문턱값
Figure 112009056147534-PAT00054
은 음성 메인 프레임에 위치하는 음성 지배 성분이 있는 최대 크리티컬 대역 지수를 나타낸다.
Figure 112009056147534-PAT00055
사람의 청각 시스템에서 음성 지배 성분에서 멀리 떨어져 존재하는 노이즈 성분이 뮤지컬 노이즈가 된다. 즉, 음성 메인 프레임에서 뮤지컬 노이즈는 음성 성분이 없는 대역에 존재한다는 것을 말한다. 또한 그 크리티컬 대역은 해당 프레임의 SNR에 따라 다르게 나타난다. 표 2는 일 예로 당해 프레임의 SNR 중 최대 SNR 인 SNRmax와 Kthr 의 관계를 보인다.
Figure 112009056147534-PAT00056
뮤지컬 노이즈 제거부(16)에서 노이즈 메인 프레임에 존재하는 뮤지컬 노이즈 M(w,l)에
Figure 112009056147534-PAT00057
크리티컬 대역 내 최대 차
Figure 112009056147534-PAT00058
을 보정값으로 빼 줌으로써, 크리티컬 대역 내 모든 뮤지컬 노이즈 성분이 그 스펙트럼 형태를 유지하며 마스킹 문턱값
Figure 112009056147534-PAT00059
아래로 시프팅될 수 있어 스펙트럼 왜곡을 줄일 수 있고 청각적으로 인지되지 않게 된다. 또한, 음성 메인 프레임에서는 뮤지컬 노이즈 M(w,l)에
Figure 112009056147534-PAT00060
을 보정값으로 빼 줌으로써, 뮤지컬 노이즈가 역시 마스킹 문턱값에 근접한 값으로 시프팅됨으로써 들리지 않게 된다. 여기서, 이득 는 음성 메인 프레임 중 음성 지배 성분에는 작은 값으로 설정되고, 노이즈 지배 성분에는 큰 값으로 설정되어 음성 지배 성분의 스펙트럼 변화는 작게, 노이즈 지배 성분의 스펙트럼 변화는 크게 억제시킴으로써 뮤지컬 노이즈 M(w,l)을 효과적으로 제거하게 된다.
뮤지컬 노이즈 제거부(16)가 출력하는 뮤지컬 노이즈가 제거된 음성 신호
Figure 112009056147534-PAT00062
는 신호 역전환부(17)를 거쳐 주파수 도메인 영역에서 다시 시간 도메인 영역으로 전환되어 클린 음성 신호
Figure 112009056147534-PAT00063
를 출력한다.
본 발명의 일 실시예에 따른 뮤지컬 노이즈 제거 장치는 마이크로폰과 같은 음성 인식기에 적용가능하다. 마이크로폰에서는 일반 신호 보상 장치와 함께 본 발명의 일 실시예에 따른 뮤지컬 노이즈 제거 장치를 채용하여 출력되는 음성 신호의 품질을 향상시킬 수 있다.
도 3은 본 발명의 일 실시예에 따른 뮤지컬 노이즈 제거 방법을 보이는 플로우 차트이다.
도 3을 참조하면, 먼저 입력된 음성 신호를 프레임 단위로 나누어 주파수 도메인 영역으로 변환하고(S1), 상기 주파수 도메인 영역으로 변환된 음성 신호의 노이즈를 억제하는 처리 알고리즘을 실행한다(S2). 음성 신호의 주파수 도메인 영역으로의 변환은 윈도우잉과 FFT를 적용하며, 이에 대해서는 상술한 바와 같다. 또한, 노이즈를 억제하는 처리 알고리즘은 스펙트럼 진폭 필터링, 주파수 필터링 등의 다양한 방법을 적용할 수 있으며, 이에 대해서는 상술한 노이즈 억제부(12)에서 설명한 바와 같다.
주파수 도메인 영역으로 변환된 상기 음성 신호와 상기 강화 음성 신호로부터 뮤지컬 노이즈를 검출하는데(S3), 이는 상술한 뮤지컬 노이즈 검출부(13)에서 설명한 바와 동일한 처리 방법을 적용한다.
뮤지컬 노이즈 제거를 위해서는 파워비, 신호대노이즈비 및 마스킹 문턱값이 필요하므로, 상기 음성 신호와 상기 강화 음성 신호의 파워비 및 신호대노이즈비를 계산하고(S4), 상기 강화 음성 신호의 청각 인지 여부를 결정하는 마스킹 문턱값을 산출한다(S5).
마지막으로 상기 파워비와 상기 신호대노이즈비 및, 상기 마스킹 문턱값을 이용하여 상기 뮤지컬 노이즈를 제거한다(S6).
본 발명의 일 실시예에 따른 뮤지컬 노이즈 제거 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일 실시예에 따른 뮤지컬 노이즈 제거 장치를 도시한 개략도,
도 2a는 0dB의 화이트 노이즈로 오염된 음성 신호의 스펙트럼, 파워비, SNR을 보이는 그래프,
도 2b는 20dB의 화이트 노이즈로 오염된 음성 신호의 스펙트럼, 파워비, SNR을 보이는 그래프,
도 3은 본 발명의 일 실시예에 따른 뮤지컬 노이즈 제거 방법을 나타낸 플로우 차트.

Claims (13)

  1. 입력된 음성 신호를 프레임 단위로 나누어 주파수 도메인 영역으로 변환하는 신호 변환부;
    상기 주파수 도메인 영역으로 변환된 음성 신호의 노이즈를 억제시켜 강화 음성 신호를 출력하는 노이즈 억제부;
    상기 신호 변환부로부터 입력되는 상기 음성 신호와 상기 노이즈 억제부로부터 입력되는 상기 강화 음성 신호로부터 뮤지컬 노이즈를 검출하는 뮤지컬 노이즈 검출부;
    상기 신호 변환부로부터 입력되는 상기 음성 신호와 상기 노이즈 억제부로부터 입력되는 상기 강화 음성 신호의 파워비 및 신호대노이즈비를 계산하는 필터링 비율계산부;
    상기 노이즈 억제부로부터 입력되는 상기 강화 음성 신호의 청각 인지 여부를 결정하는 마스킹 문턱값을 산출하는 마스킹 문턱값 산출부; 및
    상기 필터링 비율계산부로부터 입력되는 상기 파워비와 상기 신호대노이즈비 및 상기 마스킹 문턱값 산출부로부터 입력되는 상기 마스킹 문턱값을 이용하여 상기 뮤지컬 노이즈 검출부로부터 입력되는 상기 뮤지컬 노이즈를 제거하는 뮤지컬 노이즈 제거부;
    를 포함하는 뮤지컬 노이즈 제거 장치.
  2. 제1항에 있어서,
    상기 필터링용 비율계산부는 상기 음성 신호(Y(w,l))과 상기 강화 음성 신호 (
    Figure 112009056147534-PAT00064
    )로부터 다음의 수학식을 만족하는 파워비(
    Figure 112009056147534-PAT00065
    )를 계산하는 뮤지컬 노이즈 제거장치.
    Figure 112009056147534-PAT00066
  3. 제1항에 있어서,
    상기 뮤지컬 노이즈 제거부는 상기 파워비의 문턱값보다 작은 파워비를 가지는 강화 음성 신호 프레임을 노이즈 메인 프레임으로, 상기 파워비의 문턱값보다 큰 파워비를 가지는 강화 음성 신호 프레임을 음성 메인 프레임으로 설정하고, 상기 노이즈 메인 프레임에 제1보정값을 적용하며 상기 음성 메인 프레임에 제2보정값을 적용하여 상기 뮤지컬 노이즈를 제거하는 뮤지컬 노이즈 제거장치.
  4. 제3항에 있어서,
    상기 제1보정값은 크리티컬 대역 내 존재하는 뮤지컬 노이즈 성분의 최대값과 상기 크리티컬 대역 내의 상기 음성 강화 신호의 상기 마스킹 문턱값의 차이이고,
    상기 제2보정값은 상기 제1보정값에 이득을 적용하여 계산하며, 상기 이득은 상기 신호대노이즈비에 따라 결정되는 크리티컬 대역 지수를 이용하여 상기 크리티컬 대역 지수의 문턱값보다 큰 크리티컬 대역 지수를 가지는 상기 음성 메인 프레임 내 노이즈 지배 성분에 제1이득을, 상기 크리티컬 대역 지수의 문턱값보다 작은 크리티컬 대역 지수를 가지는 상기 음성 메인 프레임 내 음성 지배 성분에 제2이득을 적용하고, 상기 제1이득은 상기 제2이득보다 큰 값을 가지는 뮤지컬 노이즈 제거 장치.
  5. 뮤지컬 노이즈 제거 장치를 가지는 마이크로폰 어레이에 있어서,
    상기 뮤지컬 노이즈 제거장치는:
    입력된 음성 신호를 프레임 단위로 나누어 주파수 도메인 영역으로 변환하는 신호 변환부;
    상기 주파수 도메인 영역으로 변환된 음성 신호의 노이즈를 억제시켜 강화 음성 신호를 출력하는 노이즈 억제부;
    상기 신호 변환부로부터 입력되는 상기 음성 신호와 상기 노이즈 억제부로부터 입력되는 상기 강화 음성 신호로부터 뮤지컬 노이즈를 검출하는 뮤지컬 노이즈 검출부;
    상기 신호 변환부로부터 입력되는 상기 음성 신호와 상기 노이즈 억제부로부터 입력되는 상기 강화 음성 신호의 파워비 및 신호대노이즈비를 계산하는 필터링 비율계산부;
    상기 노이즈 억제부로부터 입력되는 상기 강화 음성 신호의 청각 인지 여부를 결정하는 마스킹 문턱값을 산출하는 마스킹 문턱값 산출부; 및
    상기 필터링 비율계산부로부터 입력되는 상기 파워비와 상기 신호대노이즈비 및 상기 마스킹 문턱값 산출부로부터 입력되는 상기 마스킹 문턱값을 이용하여 상기 뮤지컬 노이즈 검출부로부터 입력되는 상기 뮤지컬 노이즈를 제거하는 뮤지컬 노이즈 제거부;
    를 포함하는 마이크로폰 어레이.
  6. 제5항에 있어서,
    상기 필터링용 비율계산부는 상기 음성 신호(Y(w,l))과 상기 강화 음성 신호(
    Figure 112009056147534-PAT00067
    )로부터 다음의 수학식을 만족하는 파워비(
    Figure 112009056147534-PAT00068
    )를 계산하는 마이크로폰 어레이.
    Figure 112009056147534-PAT00069
  7. 제5항에 있어서,
    상기 뮤지컬 노이즈 제거부는 상기 파워비의 문턱값보다 작은 파워비를 가지는 강화 음성 신호 프레임을 노이즈 메인 프레임으로, 상기 파워비의 문턱값보다 큰 파워비를 가지는 강화 음성 신호 프레임을 음성 메인 프레임으로 설정하고, 상기 노이즈 메인 프레임에 제1보정값을 적용하며 상기 음성 메인 프레임에 제2보정값을 적용하여 상기 뮤지컬 노이즈를 제거하는 마이크로폰 어레이.
  8. 제7항에 있어서,
    상기 제1보정값은 크리티컬 대역 내 존재하는 뮤지컬 노이즈 성분의 최대값과 상기 크리티컬 대역 내의 상기 음성 강화 신호의 상기 마스킹 문턱값의 차이이고,
    상기 제2보정값은 상기 제1보정값에 이득을 적용하여 계산하며, 상기 이득은 상기 신호대노이즈비에 따라 결정되는 크리티컬 대역 지수를 이용하여 상기 크리티컬 대역 지수의 문턱값보다 큰 크리티컬 대역 지수를 가지는 상기 음성 메인 프레임 내 노이즈 지배 성분에 제1이득을, 상기 크리티컬 대역 지수의 문턱값보다 작은 크리티컬 대역 지수를 가지는 상기 음성 메인 프레임 내 음성 지배 성분에 제2이득을 적용하고, 상기 제1이득은 상기 제2이득보다 큰 값을 가지는 마이크로폰 어레이.
  9. 입력된 음성 신호를 프레임 단위로 나누어 주파수 도메인 영역으로 변환하는 단계;
    상기 주파수 도메인 영역으로 변환된 음성 신호의 노이즈를 억제하는 단계;
    상기 음성 신호와 상기 강화 음성 신호로부터 뮤지컬 노이즈를 검출하는 단계;
    상기 음성 신호와 상기 강화 음성 신호의 파워비 및 신호대노이즈비를 계산하는 단계;
    상기 강화 음성 신호의 청각 인지 여부를 결정하는 마스킹 문턱값을 산출하는 단계; 및
    상기 파워비와 상기 신호대노이즈비 및, 상기 마스킹 문턱값을 이용하여 상기 뮤지컬 노이즈를 제거하는 단계;
    를 포함하는 뮤지컬 노이즈 제거 방법.
  10. 제9항에 있어서,
    상기 음성 신호(Y(w,l))과 상기 강화 음성 신호(
    Figure 112009056147534-PAT00070
    )로부터 다음의 수학식을 만족하는 파워비(
    Figure 112009056147534-PAT00071
    )를 계산하는 뮤지컬 노이즈 제거 방법.
    Figure 112009056147534-PAT00072
  11. 제9항에 있어서,
    상기 뮤지컬 노이즈 제거 단계에서, 상기 파워비의 문턱값보다 작은 파워비를 가지는 강화 음성 신호 프레임을 노이즈 메인 프레임으로, 상기 파워비의 문턱 값보다 큰 파워비를 가지는 강화 음성 신호 프레임을 음성 메인 프레임으로 설정하고, 상기 노이즈 메인 프레임에 제1보정값을 적용하며 상기 음성 메인 프레임에 제2보정값을 적용하여 상기 뮤지컬 노이즈를 제거하는 뮤지컬 노이즈 제거 방법.
  12. 제11항에 있어서,
    상기 제1보정값은 크리티컬 대역 내 존재하는 뮤지컬 노이즈 성분의 최대값과 상기 크리티컬 대역 내의 상기 음성 강화 신호의 상기 마스킹 문턱값의 차이이고,
    상기 제2보정값은 상기 제1보정값에 이득을 적용하여 계산하며, 상기 이득은 상기 신호대노이즈비에 따라 결정되는 크리티컬 대역 지수를 이용하여 상기 크리티컬 대역 지수의 문턱값보다 큰 크리티컬 대역 지수를 가지는 상기 음성 메인 프레임 내 노이즈 지배 성분에 제1이득을, 상기 크리티컬 대역 지수의 문턱값보다 작은 크리티컬 대역 지수를 가지는 상기 음성 메인 프레임 내 음성 지배 성분에 제2이득을 적용하고, 상기 제1이득은 상기 제2이득보다 큰 값을 가지는 뮤지컬 노이즈 제거 방법.
  13. 제9항 내지 제12항 중 어느 한 항의 뮤지컬 노이즈 제거방법을 수행하기 위한 명령어를 수록한 컴퓨터 판독 가능 기록 매체.
KR1020090086037A 2009-09-11 2009-09-11 뮤지컬 노이즈 제거 장치 및 그 방법 KR20110028104A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090086037A KR20110028104A (ko) 2009-09-11 2009-09-11 뮤지컬 노이즈 제거 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090086037A KR20110028104A (ko) 2009-09-11 2009-09-11 뮤지컬 노이즈 제거 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20110028104A true KR20110028104A (ko) 2011-03-17

Family

ID=43934603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090086037A KR20110028104A (ko) 2009-09-11 2009-09-11 뮤지컬 노이즈 제거 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20110028104A (ko)

Similar Documents

Publication Publication Date Title
JP4279357B2 (ja) 特に補聴器における雑音を低減する装置および方法
RU2469423C2 (ru) Повышение разборчивости речи с помощью четкости голоса
US8015002B2 (en) Dynamic noise reduction using linear model fitting
US10614788B2 (en) Two channel headset-based own voice enhancement
JP5071346B2 (ja) 雑音抑圧装置及び雑音抑圧方法
US8751220B2 (en) Multiple microphone based low complexity pitch detector
KR101624652B1 (ko) 잡음 환경의 입력신호로부터 잡음을 제거하는 방법 및 그 장치, 잡음 환경에서 음성 신호를 강화하는 방법 및 그 장치
RU2719543C1 (ru) Устройство и способ для определения предварительно определенной характеристики, относящейся к обработке искусственного ограничения частотной полосы аудиосигнала
JP5752324B2 (ja) 雑音の入った音声信号中のインパルス性干渉の単一チャネル抑制
KR20150032390A (ko) 음성 명료도 향상을 위한 음성 신호 처리 장치 및 방법
RU2725017C1 (ru) Устройство и способ для обработки аудиосигнала
US11183172B2 (en) Detection of fricatives in speech signals
JP5840087B2 (ja) 音声信号復元装置および音声信号復元方法
Shajeesh et al. Speech enhancement based on Savitzky-Golay smoothing filter
Jebara A perceptual approach to reduce musical noise phenomenon with wiener denoising technique
US9210507B2 (en) Microphone hiss mitigation
KR101993003B1 (ko) 잡음 제거 장치 및 방법
KR20110028104A (ko) 뮤지컬 노이즈 제거 장치 및 그 방법
JP5131149B2 (ja) 雑音抑圧装置及び雑音抑圧方法
Liu et al. An improved spectral subtraction method
Udrea et al. Reduction of background noise from affected speech using a spectral subtraction algorithm based on masking properties of the human ear
Aicha et al. Reduction of musical residual noise using perceptual tools with classic speech denoising techniques
Ma et al. A perceptual kalman filtering-based approach for speech enhancement
KR101086624B1 (ko) Ｓｔｆｄ용 헤드셋에서의 잡음 제거 시스템
US10109291B2 (en) Noise suppression device, noise suppression method, and computer program product

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application