KR101658001B1 - 강인한 음성 인식을 위한 실시간 타겟 음성 분리 방법 - Google Patents

강인한 음성 인식을 위한 실시간 타겟 음성 분리 방법 Download PDF

Info

Publication number
KR101658001B1
KR101658001B1 KR1020150037314A KR20150037314A KR101658001B1 KR 101658001 B1 KR101658001 B1 KR 101658001B1 KR 1020150037314 A KR1020150037314 A KR 1020150037314A KR 20150037314 A KR20150037314 A KR 20150037314A KR 101658001 B1 KR101658001 B1 KR 101658001B1
Authority
KR
South Korea
Prior art keywords
target
sound source
speech signal
target sound
input
Prior art date
Application number
KR1020150037314A
Other languages
English (en)
Inventor
박형민
김민욱
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020150037314A priority Critical patent/KR101658001B1/ko
Priority to US15/071,594 priority patent/US20160275954A1/en
Application granted granted Critical
Publication of KR101658001B1 publication Critical patent/KR101658001B1/ko
Priority to US16/181,798 priority patent/US10657958B2/en
Priority to US16/849,321 priority patent/US10991362B2/en
Priority to US17/215,501 priority patent/US11694707B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Abstract

본 발명은 강인한 음성 인식을 위한 타겟 음성 신호 분리 방법에 관한 것이다. 상기 타겟 음성 신호 분리 방법은, (a) 마이크로폰에 대한 타겟 음원의 도달 방향(Direction of Arrival)에 대한 정보를 제공받는 단계; (b) 상기 타겟 음원의 도달 방향에 대한 정보를 이용하여, 입력 신호들로부터 타겟 음성 신호를 제거하고 노이즈를 추정하기 위한 널포머(Nullformer)를 생성하는 단계; (c) 적응형 벡터(
Figure 112015026353953-pat00043
)를 이용한 타겟 음원의 실제 출력은 제1 채널로 설정하고, 널포머에 의한 더미 출력은 나머지 채널로 설정하는 단계; (d) 독립 성분 분석을 이용하여 타겟 음원의 실제 출력(real output)과 널포머를 이용한 더미 출력(dummy output)간의 의존성을 최소화시키기 위한 비용 함수를 설정하는 단계; (e) 상기 비용 함수를 이용하여 타겟 음원을 추정하는 단계; 를 구비하여, 상기 입력 신호들로부터 타겟 음성 신호를 분리해 낸다.

Description

강인한 음성 인식을 위한 실시간 타겟 음성 분리 방법{Online target-speech extraction method for robust automatic speech recognition}
본 발명은 음성 인식 시스템에서의 타겟 음성 분리를 위한 전처리 방법에 관한 것으로서, 더욱 구체적으로는, 타겟 음원의 도달 방향에 대한 정보를 이용하여 독립 성분 분석을 수행함으로써, 계산량을 감소시키면서 음성 인식의 성능을 향상시킬 수 있는 타겟 음성 분리 방법에 관한 것이다.
음성 인식 시스템(ASR System)에 있어서, 실제 상황은 대부분 노이즈가 많은 환경에 있기 때문에 노이즈에 강인한 특성(Noise robustness)을 갖는 것은 매우 중요하다. 음성 인식 시스템의 인식 성능의 감쇠는 주로 학습 환경과 실제 환경과의 차이로부터 기인하는 경우가 많다.
일반적으로, 음성 인식 시스템은 전처리 단계에서, 다수 개의 마이크로폰과 같은 입력 수단을 통해 제공된 입력 신호들로부터 관심 화자의 음성 신호인 깨끗한 타겟 음성 신호를 분리하게 되며, 분리된 타겟 음성 신호를 이용하여 음성 인식을 수행하게 된다. 이러한 음성 인식 시스템에 있어서, 입력 신호들로부터 타겟 음성 신호 분리를 위한 전처리 방법들이 다양하게 제안되고 있다.
종래의 독립 성분 분석(ICA)을 이용한 음성 시스템은, 마이크로폰의 개수에 대응되는 입력 신호들의 개수 만큼의 출력 신호들을 추출하고, 이들로부터 하나의 타겟 음성 신호를 선택하게 된다. 이 경우, 입력 신호 개수들에 해당되는 출력 신호들로부터 하나의 타겟 음성 신호를 선택하기 위하여, 각각의 출력신호들이 어느 방향에서 입사된 신호인지 확인하여야 되는 과정이 추가적으로 요구되어 계산량이 가중되고, 입사방향의 추정 에러로 인해 전체 성능을 하락시키는 문제점이 있다.
종래의 BSSA(Blind Spatial Subtraction Array) 방법은, 타겟 음성 신호 출력을 제거한 후, projection-back 방법을 사용한 ICA 에 의해 추정된 노이즈 파워 스펙트럼(noise power spectrum)을 빼는 것을 특징으로 한다. 이러한 BSSA 방법은, ICA 의 타겟 음성 신호 출력이 여전히 노이즈를 포함하고 있으며, 노이즈 파워 스펙트럼 추정이 완벽할 수 없기 때문에, 음성 인식의 성능을 떨어뜨리게 되는 문제점이 있다.
한편, 종래의 SBSE(Semi-blind source estimation ) 방법은, 소스 신호 또는 혼합 환경(mixing environment)에 대하여 방향정보와 같은 약간의 사전정보를 이용하는 것이다. 이 방법은, 알고 있는 정보들을 타겟 신호를 추정하기 위한 분리 매트릭스(separating matrix)의 생성에 적용함으로써, 보다 정확하게 타겟 음성 신호를 분리해낼 수 있다. 하지만, 이러한 SBSE 방법은 입력 혼합 벡터들의 추가적인 변환이 필요하므로 종래의 다른 방법들보다 계산량이 증대될 뿐만 아니라, 사전 정보들이 오류가 있는 경우 출력을 올바로 추출해내지 못하는 문제점이 있다.
한편, 종래의 실시간 독립 벡터 분석(Real-time IVA) 방법은, ICA의 주파수 빈들에 대한 permutation 문제를 주파수간 상관성을 고려한 통계모델을 이용하여 해결한 형태이다. 하지만 출력 신호들로부터 하나의 타겟 음성 신호를 선택해야 하므로 ICA와 같은 문제점이 존재한다.
미국공개특허 US2006/0015331A1 한국등록특허 제 10-0446626호 한국공개특허 제 10-2006-0044008호 한국등록특허 제 10-0647826호 한국등록특허 제 10-1395329호
전술한 문제점을 해결하기 위한 본 발명은 계산량을 감소시키면서 타겟 음성 신호를 정확하게 분리해낼 수 있는 방법을 제공하는 것을 목적으로 한다.
전술한 기술적 과제를 달성하기 위한 본 발명의 특징은, 적어도 둘 이상의 마이크로폰으로 입력된 입력 신호들로부터 타겟 음성 신호 분리 방법에 관한 것으로서, 상기 타겟 음성 신호 분리 방법은, (a) 마이크로폰에 대한 타겟 음원의 도달 방향(Direction of Arrival)에 대한 정보를 제공받는 단계; (b) 상기 타겟 음원의 도달 방향에 대한 정보를 이용하여, 입력 신호들로부터 타겟 음성 신호를 제거하고 노이즈를 추정하기 위한 널포머(Nullformer)를 생성하는 단계; (c) 적응형 벡터(
Figure 112015026353953-pat00001
)를 이용한 타겟 음원의 실제 출력은 제1 채널로 설정하고, 널포머에 의한 더미 출력은 나머지 채널로 설정하는 단계; (d) 독립 성분 분석을 이용하여 타겟 음원의 실제 출력(real output)과 널포머를 이용한 더미 출력(dummy output)간의 의존성을 최소화시키기 위한 비용 함수를 설정하는 단계; (e) 상기 비용 함수를 이용하여 타겟 음성 신호를 추정하는 단계; 를 구비하여, 상기 입력 신호들로부터 타겟 음성 신호를 분리해낸다.
전술한 특징에 따른 타겟 음성 신호 분리 방법에 있어서, 상기 타겟 음원의 도달 방향은 마이크로폰 어레이의 정면 방향의 수직선과 타겟 음원 사이에 형성된 이격 각도(
Figure 112015026353953-pat00002
)인 것이 바람직하다.
전술한 특징에 따른 타겟 음성 신호 분리 방법에 있어서, 상기 널포머는 "지연-차감 널포머(delay-and-subtract nullformer"로서, 마이크로폰으로부터 입력된 입력 신호로부터 타겟 음성 신호를 삭제하는 것이 바람직하다.
본 발명에 따른 타겟 음성 분리 방법은, 음성 인식 시스템에서 사전 정보로 제공될 수 있는 타겟 음성 도달 방향에 대한 정보를 이용하여 입력 신호들로부터 타겟 음성 신호를 분리해 낼 수 있도록 함으로써, 종래의 분리 방법들보다 전체 계산량을 감소시킬 수 있게 되어 처리 시간을 감소시킬 수 있게 된다.
또한, 본 발명에 따른 타겟 음성 분리 방법은, 타겟 음성 도달 방향에 대한 정보를 이용하여 입력 신호로부터 타겟 음성 신호는 제거하고 노이즈 신호만을 추출할 수 있는 널포머를 생성하고, 널포머를 독립 성분 분석(ICA)에 이용함으로써, 종래의 분리 방법들보다 타겟 음성 신호를 안정적으로 얻을 수 있게 된다.
도 1은 본 발명에 따른 강인한 음성 인식을 위한 타겟 음성 분리 방법을 설명하기 위하여, 다수 개의 마이크로폰들과 타겟 소스를 도시한 구성도이다.
도 2는 본 발명에 따른 방법과 종래의 방법인 실시간 FD ICA에 있어서, 하나의 데이터 프레임을 처리하기 위하여 요구되는 계산량을 비교하여 도시한 도표이다.
도 3은 본 발명에 따른 방법과 종래의 방법들의 성능을 비교하기 위하여 구성된 시뮬레이션 환경을 도시한 구성도이다.
도 4는 도 3의 시뮬레이션 환경하에서, 간섭 음원의 개수를 조절하면서 본 발명에 따른 방법('DC ICA'라고 표기됨), 제1 종래 방법('SBSE' 라고 표기됨), 제2 종래 방법('BSSA'라고 표기됨), 제3 종래 방법('RT IVA'라고 표기됨)을 각각 시뮬레이션한 결과 그래프들이다.
도 5는 도 3의 시뮬레이션 환경하에서, 다양한 종류의 노이즈 표본을 이용하여 본 발명에 따른 방법('DC ICA'라고 표기됨), 제1 종래 방법('SBSE' 라고 표기됨), 제2 종래 방법('BSSA'라고 표기됨), 제3 종래 방법('RT IVA'라고 표기됨)을 각각 시뮬레이션한 결과 그래프들이다.
본 발명에 따른 강인한 음성 인식을 위한 타겟 음성 신호 분리 방법 및 전술한 방법을 적용한 음성 인식 전처리 시스템에 관한 것으로서, 관심 화자 방향(target speaker direction)을 알고 있음을 전제로 하여 독립 성분 분석을 함으로써, 음성 인식의 전체 계산량을 감소시킴과 동시에 빠른 수렴을 수행할 수 있도록 한 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 강인한 음성 인식을 위한 전처리 방법에 대하여 구체적으로 설명한다.
본 발명은, 적어도 둘 이상의 마이크로폰으로 입력된 입력 신호들로부터 관심 화자인 타겟 음원에 대한 타겟 음성 신호를 추출하기 위한 음성 인식 시스템의 전처리 방법에 관한 것으로서, 상기 방법은, 마이크로폰에 대한 타겟 음원의 도달 방향(Direction of Arrival)에 대한 정보를 제공받는 단계; 상기 타겟 음원의 도달 방향에 대한 정보를 이용하여, 입력 신호들로부터 타겟 음성 신호를 제거하고 노이즈를 추정하기 위한 널포머(Nullformer)를 생성하는 단계; 적응형 벡터(
Figure 112015026353953-pat00003
)를 이용한 타겟 음원의 실제 출력은 제1 채널로 설정하고, 널포머에 의한 더미 출력은 나머지 채널로 설정하는 단계; 독립 성분 분석(Independent Component Analysis; 'ICA')하여 타겟 음원의 실제 출력(real output)과 널포머를 이용한 더미 출력(dummy output)간의 의존성을 최소화시키기 위한 비용 함수를 설정하는 단계; 상기 비용 함수를 이용하여 타겟 음성 신호를 추정하는 단계; 를 구비하여, 상기 입력 신호들로부터 타겟 음성 신호를 분리해 낸다.
본 발명의 바람직한 실시예에 따른 타겟 음성 신호 분리 방법은, 관심 화자 방향을 사전 정보로 제공받고, 이를 이용하여 다수 개(M개)의 마이크로폰으로 입력된 신호들로부터 관심 화자에 대한 음성 신호인 타겟 음성 신호를 추출하는 것을 특징으로 한다.
도 1은 본 발명에 따른 강인한 음성 인식을 위한 타겟 음성 분리 방법을 설명하기 위하여, 다수 개의 마이크로폰들과 타겟 소스를 도시한 구성도이다. 도 1을 참조하면, 다수 개의 마이크로폰(Mic.1, Mic.2,..., Mic.m, Mic.M)과 관심 화자인 타겟 음원(Target source)가 설정되어 있으며, 관심 화자 방향(target speaker direction), 즉 타겟 음원의 도달 방향은 마이크로폰 어레이의 정면 방향의 수직선과 타겟 음원과의 이격 각도인
Figure 112015026353953-pat00004
로 설정된다.
도 1에 있어서, m 번째 마이크로폰의 입력 신호는 수학식 1로 나타낼 수 있다.
Figure 112015026353953-pat00005
여기서, k는 주파수 빈의 번호를 나타내며 τ는 프레임(frame)의 번호를 나타내며,
Figure 112015026353953-pat00006
는 제1 채널을 구성하는 타겟 음성 신호의 시간-주파수 세그먼트를 나타내며,
Figure 112015026353953-pat00007
는 타겟 음성 신호를 제외한 나머지 신호, 즉 노이즈 추정 신호들에 대한 시간-주파수 세그먼트를 나타낸다.
Figure 112015026353953-pat00008
는 k번째 주파수 빈에서의 혼합 매트릭스(mixing matrix)를 나타낸다.
음성 인식 시스템에 있어서, 타겟 음원은 일반적으로 마이크로폰의 근처에 배치되며, 화자와 마이크로폰 사이의 음성 경로에는 반향 성분이 약화되는데, 이는 직접 경로 성분(direct-path components)가 우세하다는 것을 의미하게 된다. 만약, 음성 경로(acoustic paths)가 직접 경로들에 의해 근사화시키고, 마이크로폰들이 장애물없이 근접하다고 가정하여 마이크로폰들 사이의 상대적인 신호 감쇄를 무시할 수 있다면, 마이크로폰 신호들의 쌍에 대한 타겟 음원 성분들의 비율은 수학식 2에 의해 얻을 수 있게 된다.
Figure 112015026353953-pat00009
여기서,
Figure 112015026353953-pat00010
은 타겟 음원(target source)의 도달 방향(Direction of Arrival:'DOA')을 나타낸다. 따라서, 첫번째 및 m번째 마이크로폰으로부터 타겟 음원을 제거하기 위한 널포머인 "delay-and-subtract nullformer"는 수학식 3으로 나타낼 수 있다.
Figure 112015026353953-pat00011
학습 규칙을 유도하기 위하여, 널포머 출력들은 더미 출력(dummy output)들로 간주되며, 실제 타겟 음성 출력은 수학식 4에 의해 표현된다.
Figure 112015026353953-pat00012
여기서,
Figure 112015026353953-pat00013
는 실제 출력(real output)을 생성하기 위한 적응형 벡터(adaptive vector)를 나타낸다. 따라서, 실제 출력과 더미 출력은 수학식 5와 같이 매트릭스 형식으로 표현될 수 있다.
Figure 112015026353953-pat00014
여기서,
Figure 112015026353953-pat00015
,
Figure 112015026353953-pat00016
,
Figure 112015026353953-pat00017
이다.
더미 출력을 생성하기 위한 널포머 변수들을 고정시켜 잡음 추정(noise estimation)을 하게 된다. 그 결과, 본 발명은 주파수 빈들(frequency bins)에 대한 permutation 문제들을 해결할 수 있게 되고, IVA 방법과는 달리 다른 주파수빈들로부터 독립된 주파수 빈에서의
Figure 112015026353953-pat00018
의 추정은 빠른 수렴(fast convergence)를 제공할 수 있게 되어, 음성인식시스템을 위한 전처리 공정으로서의 타겟 음성 신호 추출의 성능을 향상시킬 수 있게 된다.
따라서, 하나의 주파수 빈에 있어서 실제 출력과 더미 출력 사이의 독립성을 최대화시킴으로써, 본 발명에 따른 방법은 실제 출력에서 원하는 타겟 음성 신호를 구할 수 있게 된다.
비용 함수에 있어서, 확률밀도함수인
Figure 112015026353953-pat00019
및
Figure 112015026353953-pat00020
의 사이의 Kullback-Leibler(KL) divergence에 의해,
Figure 112015026353953-pat00021
와 독립된 부분은 제거시키고, 비용 함수는 수학식 6과 같이 주어질 수 있다.
Figure 112015026353953-pat00022
여기서,
Figure 112015026353953-pat00023
는 벡터의 m번째 성분을 나타낸다. 비용함수를 최소화시키기 위하여, 자연 경사 알고리즘(the natural-gradient algorithm)은 수학식 7과 같이 나타낼 수 있다.
Figure 112015026353953-pat00024
여기서,
Figure 112015026353953-pat00025
이다. 따라서, 실시간 자연 경사 알고리즘(the online natural-gradient algorithm)은 a smoothed power estimate에 의한 nonholonomic constraint 및 정규화(nomalization)를 적용하여, 수학식 8과 같이 수정될 수 있다.
Figure 112015026353953-pat00026
이렇게 얻어지는 출력
Figure 112015026353953-pat00027
에 최소 왜곡 원칙(Minimal Distortion Principle;'MDP')을 적용하여 출력 신호의 scaling indeterminacy를 해소시키려면, 분리매트릭스의 역행렬의 대각성분을 구해야 하는데, 전술한 매트릭스의 역행렬
Figure 112015026353953-pat00028
는 구조적인 특징으로 인해 간단하게 타켓출력에 대한 factor
Figure 112015026353953-pat00029
만 계산하여 출력에 곱하면 된다.
다음, 추정된 타겟 음성 신호의 Time Domain 파형은 수학식 9에 의해 재구성될 수 있다.
Figure 112015026353953-pat00030
도 2는 본 발명에 따른 방법과 종래의 방법인 실시간 FD ICA에 있어서, 하나의 프레임의 첫번째 칼럼에 대한 값을 계산하기 위하여 요구되는 계산량을 비교하여 도시한 도표이다. 도 2에 있어서, M은 마이크로폰의 개수로서 입력 신호의 개수를 나타내며, K는 주파수 빈의 개수로서 주파수 resolution 을 의미하며, O(M) 및O(M 3 )는 매트릭스 역변환에 대한 연산량을 표시한다. 도 2를 통해서, 종래의 방법은 permutation 문제를 해결하고 타겟 음성 출력을 결정하기 위하여 본 발명보다 추가의 계산이 필요함을 알 수 있다.
도 3은 본 발명에 따른 방법과 종래의 방법들의 성능을 비교하기 위하여 구성된 시뮬레이션 환경을 도시한 구성도이다. 도 3을 참조하면, 3m×4m 의 크기의 방에 있어서, 두 개의 마이크로폰(Mic1, Mic2) 및 타겟 음원(T)이 마련되어 있으며, 3개의 간섭 음원(Interference 1, Interference 2, Interference 3) 이 마련되어 있다. 도 4는 도 3의 시뮬레이션 환경하에서, 간섭 음원의 개수를 조절하면서 본 발명에 따른 방법('DC ICA'라고 표기됨), 제1 종래 방법('SBSE' 라고 표기됨), 제2 종래 방법('BSSA'라고 표기됨), 제3 종래 방법('RT IVA'라고 표기됨)을 각각 시뮬레이션한 결과 그래프로서, (a)는 1개의 간섭 음원(Interference 1)이 존재하고 RT60=0.2 s 인 경우, (b)는 1개의 간섭 음원(Interference 1)이 존재하고 RT60=0.4 s 인 경우, (c)는 1개의 간섭 음원(Interference 1)이 존재하고 RT60=0.6 s 인 경우, (d)는 2개의 간섭 음원(Interference 1, Interference 2)이 존재하고 RT60=0.2 s 인 경우, (e)는 2개의 간섭 음원(Interference 1, Interference 2)이 존재하고 RT60=0.4 s 인 경우, (f)는 2개의 간섭 음원(Interference 1, Interference 2)이 존재하고 RT60=0.6 s 인 경우, (g)는 3개의 간섭 음원(Interference 1, Interference 2, Interference 3)이 존재하고 RT60=0.2 s 인 경우, (h)는 3개의 간섭 음원(Interference 1, Interference 2, Interference 3)이 존재하고 RT60=0.4 s 인 경우, (i)는 3개의 간섭 음원(Interference 1, Interference 2, Interference 3)이 존재하고 RT60=0.6 s 인 경우이며, 가로축은 입력 SNR(dB)이며, 세로축은 단어 정확성(%)을 나타낸다.
도 4를 통해, 본 발명에 따른 방법이 종래의 방법들보다 정확성이 우수함을 쉽게 파악할 수 있다.
도 5는 도 3의 시뮬레이션 환경하에서, 다양한 종류의 노이즈 표본을 이용하여 본 발명에 따른 방법('DC ICA'라고 표기됨), 제1 종래 방법('SBSE' 라고 표기됨), 제2 종래 방법('BSSA'라고 표기됨), 제3 종래 방법('RT IVA'라고 표기됨)을 각각 시뮬레이션한 결과 그래프로서, (a)는 지하철 노이즈(subway noise)이면서 RT60=0.2 s 인 경우, (b)는 지하철 노이즈(subway noise)이면서 RT60=0.4 s 인 경우, (c)는 지하철 노이즈(subway noise)이면서 RT60=0.6 s 인 경우, (d)는 차량 노이즈(Car noise)이면서 RT60=0.2 s 인 경우, (e)는 차량 노이즈(Car noise)이면서 RT60=0.4 s 인 경우, (f)는 차량 노이즈(Car noise)이면서 RT60=0.6 s 인 경우, (g)는 전시장 노이즈(Exhibition hall noise)이면서 RT60=0.2 s 인 경우, (h)는 전시장 노이즈(Exhibition hall noise)이면서 RT60=0.4 s 인 경우, (i)는 전시장 노이즈(Exhibition hall noise)이면서 RT60=0.6 s 인 경우이며, 가로축은 입력 SNR(dB)이며, 세로축은 단어 정확성(%)을 나타낸다.
도 5를 통해, 본 발명에 따른 방법이 모든 종류의 노이즈에 대해서도 종래의 방법들보다 정확성이 우수함을 쉽게 파악할 수 있다.
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명에 따른 타겟 음성 신호 분리 방법은 음성 인식 시스템의 전처리 방법으로 사용될 수 있다.

Claims (5)

  1. 강인한 음성 인식을 위하여, 적어도 둘 이상의 마이크로폰으로 입력된 입력 신호들로부터 타겟 음성 신호 분리 방법에 있어서,
    (a) 마이크로폰에 대한 타겟 음원의 도달 방향(Direction of Arrival)에 대한 정보를 제공받는 단계;
    (b) 상기 타겟 음원의 도달 방향에 대한 정보를 이용하여, 입력 신호들로부터 타겟 음성 신호를 제거하고 노이즈를 추정하기 위한 널포머(Nullformer)를 생성하는 단계;
    (c) 적응형 벡터(
    Figure 112016034501431-pat00031
    )를 이용한 타겟 음원의 실제 출력은 제1 채널로 설정하고, 널포머에 의한 더미 출력은 나머지 채널로 설정하는 단계;
    (d) 독립 성분 분석을 이용하여 타겟 음원의 실제 출력(real output)과 널포머를 이용한 더미 출력(dummy output)간의 의존성을 최소화시키기 위한 비용 함수를 설정하는 단계;
    (e) 상기 비용 함수를 이용하여 타겟 음성 신호를 추정하는 단계;
    를 구비하여 상기 입력 신호들로부터 타겟 음성 신호를 분리해내는 것을 특징으로 하며,
    상기 널포머는 마이크로폰으로부터 입력된 입력 신호로부터 타겟 음성 신호를 삭제하도록 구성된 것을 특징으로 하는 강인한 음성 인식을 위한 타겟 음성 신호 분리 방법.
  2. 제1항에 있어서, 상기 타겟 음원의 도달 방향은 마이크로폰의 수직선과 타겟 음원 사이에 형성된 이격 각도(
    Figure 112015026353953-pat00032
    )인 것을 특징으로 하는 강인한 음성 인식을 위한 타겟 음성 신호 분리 방법.
  3. 제1항에 있어서, 상기 널포머는 "지연-차감 널포머(delay-and-subtract nullformer)"인 것을 특징으로 하는 강인한 음성 인식을 위한 타겟 음성 신호 분리 방법.
  4. 제1항에 있어서, 첫번째 및 m 번째 마이크로폰으로부터 입력된 신호로부터 타겟 음성 신호를 제거하기 위한 널포머(
    Figure 112016034501431-pat00033
    )는 아래의 수학식에 의해 구해지는 것을 특징으로 하는 강인한 음성 인식을 위한 타겟 음성 신호 분리 방법.
    Figure 112016034501431-pat00034

    여기서,
    Figure 112016034501431-pat00035
    는 m번째 마이크로폰으로 입력된 입력 신호이며,
    Figure 112016034501431-pat00036
    은 타겟 음원의 도달 방향을 나타내며,
    Figure 112016034501431-pat00037
    는 각각 주파수 빈 및 프레임의 번호를 나타냄.
  5. 제1항에 있어서, 추정된 타겟 음성 신호의 시간 도메인 파형(
    Figure 112015026353953-pat00038
    )은 아래의 수학식으로 나타내는 것을 특징으로 하는 강인한 음성 인식을 위한 타겟 음성 신호 분리 방법.
    Figure 112015026353953-pat00039

    여기서,
    Figure 112015026353953-pat00040
    이며,
    Figure 112015026353953-pat00041
    는 타겟 음원에 대한 실제 출력(real output)을 생성하기 위한 적응형 벡터이며,
    Figure 112015026353953-pat00042
    는 각각 주파수 빈 및 프레임의 번호를 나타냄.
KR1020150037314A 2015-03-18 2015-03-18 강인한 음성 인식을 위한 실시간 타겟 음성 분리 방법 KR101658001B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150037314A KR101658001B1 (ko) 2015-03-18 2015-03-18 강인한 음성 인식을 위한 실시간 타겟 음성 분리 방법
US15/071,594 US20160275954A1 (en) 2015-03-18 2016-03-16 Online target-speech extraction method for robust automatic speech recognition
US16/181,798 US10657958B2 (en) 2015-03-18 2018-11-06 Online target-speech extraction method for robust automatic speech recognition
US16/849,321 US10991362B2 (en) 2015-03-18 2020-04-15 Online target-speech extraction method based on auxiliary function for robust automatic speech recognition
US17/215,501 US11694707B2 (en) 2015-03-18 2021-03-29 Online target-speech extraction method based on auxiliary function for robust automatic speech recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150037314A KR101658001B1 (ko) 2015-03-18 2015-03-18 강인한 음성 인식을 위한 실시간 타겟 음성 분리 방법

Publications (1)

Publication Number Publication Date
KR101658001B1 true KR101658001B1 (ko) 2016-09-21

Family

ID=56923920

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150037314A KR101658001B1 (ko) 2015-03-18 2015-03-18 강인한 음성 인식을 위한 실시간 타겟 음성 분리 방법

Country Status (2)

Country Link
US (1) US20160275954A1 (ko)
KR (1) KR101658001B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627425A (zh) * 2019-02-12 2020-09-04 阿里巴巴集团控股有限公司 一种语音识别方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017402614B2 (en) * 2017-03-10 2022-03-31 James Jordan Rosenberg System and method for relative enhancement of vocal utterances in an acoustically cluttered environment
CN112562706B (zh) * 2020-11-30 2023-05-05 哈尔滨工程大学 一种基于时间潜在域特定说话人信息的目标语音提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100446626B1 (ko) 2002-03-28 2004-09-04 삼성전자주식회사 음성신호에서 잡음을 제거하는 방법 및 장치
US20060015331A1 (en) 2004-07-15 2006-01-19 Hui Siew K Signal processing apparatus and method for reducing noise and interference in speech communication and speech recognition
KR20060044008A (ko) 2004-11-11 2006-05-16 주식회사 대우일렉트로닉스 다수의 화자 분별을 위한 음성 인식장치
KR100647826B1 (ko) 2005-06-02 2006-11-23 한국과학기술원 측정된 잡음을 고려한 암묵 반향제거 모델 및 그 유도방법
JP2008219458A (ja) * 2007-03-05 2008-09-18 Kobe Steel Ltd 音源分離装置，音源分離プログラム及び音源分離方法
KR101395329B1 (ko) 2008-01-23 2014-05-16 에스케이텔레콤 주식회사 두 개의 마이크로폰을 이용하여 잡음을 제거하는 방법 및이동통신 단말기

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8874439B2 (en) * 2006-03-01 2014-10-28 The Regents Of The University Of California Systems and methods for blind source signal separation
US8249867B2 (en) * 2007-12-11 2012-08-21 Electronics And Telecommunications Research Institute Microphone array based speech recognition system and target speech extracting method of the system
JP4906908B2 (ja) * 2009-11-30 2012-03-28 インターナショナル・ビジネス・マシーンズ・コーポレーション 目的音声抽出方法、目的音声抽出装置、及び目的音声抽出プログラム
KR102118411B1 (ko) * 2012-05-04 2020-06-03 액스모스 인코포레이티드 원신호 분리 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100446626B1 (ko) 2002-03-28 2004-09-04 삼성전자주식회사 음성신호에서 잡음을 제거하는 방법 및 장치
US20060015331A1 (en) 2004-07-15 2006-01-19 Hui Siew K Signal processing apparatus and method for reducing noise and interference in speech communication and speech recognition
KR20060044008A (ko) 2004-11-11 2006-05-16 주식회사 대우일렉트로닉스 다수의 화자 분별을 위한 음성 인식장치
KR100647826B1 (ko) 2005-06-02 2006-11-23 한국과학기술원 측정된 잡음을 고려한 암묵 반향제거 모델 및 그 유도방법
JP2008219458A (ja) * 2007-03-05 2008-09-18 Kobe Steel Ltd 音源分離装置，音源分離プログラム及び音源分離方法
KR101395329B1 (ko) 2008-01-23 2014-05-16 에스케이텔레콤 주식회사 두 개의 마이크로폰을 이용하여 잡음을 제거하는 방법 및이동통신 단말기

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627425A (zh) * 2019-02-12 2020-09-04 阿里巴巴集团控股有限公司 一种语音识别方法及系统
CN111627425B (zh) * 2019-02-12 2023-11-28 阿里巴巴集团控股有限公司 一种语音识别方法及系统

Also Published As

Publication number Publication date
US20160275954A1 (en) 2016-09-22

Similar Documents

Publication Publication Date Title
Erdogan et al. Improved mvdr beamforming using single-channel mask prediction networks.
US9668066B1 (en) Blind source separation systems
US10602267B2 (en) Sound signal processing apparatus and method for enhancing a sound signal
US9741360B1 (en) Speech enhancement for target speakers
CN109074816B (zh) 远场自动语音识别预处理
Schwartz et al. Multi-microphone speech dereverberation and noise reduction using relative early transfer functions
CN111418012B (zh) 用于处理音频信号的方法和音频处理设备
CN105989851B (zh) 音频源分离
JP4457221B2 (ja) 音源分離方法およびそのシステム、並びに音声認識方法およびそのシステム
Nesta et al. A flexible spatial blind source extraction framework for robust speech recognition in noisy environments
KR101658001B1 (ko) 강인한 음성 인식을 위한 실시간 타겟 음성 분리 방법
US10657958B2 (en) Online target-speech extraction method for robust automatic speech recognition
KR101802444B1 (ko) 독립 벡터 분석 및 반향 필터 재추정을 이용한 베이시안 특징 향상에 의한 강인한 음성 인식 장치 및 방법
Vu et al. Speech enhancement using beamforming and non negative matrix factorization for robust speech recognition in the CHiME-3 challenge
Mandel et al. Multichannel Spatial Clustering for Robust Far-Field Automatic Speech Recognition in Mismatched Conditions.
Talagala et al. Binaural localization of speech sources in the median plane using cepstral HRTF extraction
Zohny et al. Modelling interaural level and phase cues with Student's t-distribution for robust clustering in MESSL
Gergen et al. Source separation by feature-based clustering of microphones in ad hoc arrays
Kundegorski et al. Two-Microphone dereverberation for automatic speech recognition of Polish
Gul et al. Preserving the beamforming effect for spatial cue-based pseudo-binaural dereverberation of a single source
Wood et al. Blind Speech Separation with GCC-NMF.
JP5113096B2 (ja) 音源分離方法、装置およびプログラム
Gburrek et al. On source-microphone distance estimation using convolutional recurrent neural networks
Pasha et al. Clustered multi-channel dereverberation for ad-hoc microphone arrays
JP2007178590A (ja) 目的信号抽出装置、目的信号抽出方法、及び、プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 4