KR20210142268A - 강인음성인식을 위한 방향벡터 추정을 겸한 온라인 우도최대화를 이용한 빔포밍 방법 및 그 장치 - Google Patents

강인음성인식을 위한 방향벡터 추정을 겸한 온라인 우도최대화를 이용한 빔포밍 방법 및 그 장치 Download PDF

Info

Publication number
KR20210142268A
KR20210142268A KR1020200058882A KR20200058882A KR20210142268A KR 20210142268 A KR20210142268 A KR 20210142268A KR 1020200058882 A KR1020200058882 A KR 1020200058882A KR 20200058882 A KR20200058882 A KR 20200058882A KR 20210142268 A KR20210142268 A KR 20210142268A
Authority
KR
South Korea
Prior art keywords
current frame
covariance
beamforming
results
variance
Prior art date
Application number
KR1020200058882A
Other languages
English (en)
Inventor
박형민
조병준
Original Assignee
주식회사 엠피웨이브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠피웨이브 filed Critical 주식회사 엠피웨이브
Priority to KR1020200058882A priority Critical patent/KR20210142268A/ko
Priority to US17/921,074 priority patent/US20230178089A1/en
Priority to PCT/KR2021/005759 priority patent/WO2021235750A1/ko
Publication of KR20210142268A publication Critical patent/KR20210142268A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/0308—Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명의 실시예에 따른 타겟신호 추출장치는 방향 벡터 예측기 및 빔포밍기를 포함할 수 있다. 방향 벡터 예측기는 시간에 따른 주파수별 입력결과들에 따라 입력신호 공분산을 생성하고, 입력결과들에 상응하는 출력결과들에 따라 결정되는 분산에 기초하여 노이즈 공분산을 생성하며, 입력신호 공분산 및 노이즈 공분산에 기초하여 방향 벡터를 생성할 수 있다. 빔포밍기는 분산에 따라 결정되는 빔포밍 공분산 및 방향 벡터에 따라 빔포밍 가중치를 생성하고, 입력결과들 및 빔포밍 가중치에 기초하여 출력결과들을 제공할 수 있다.
본 발명에 따른 타겟신호 추출장치는 입력결과들에 상응하는 출력결과들에 따라 결정되는 분산에 기초하여 노이즈 공분산을 계산하여 방향 벡터를 생성하고, 빔포밍 가중치를 업데이트함으로써 타겟음원에 대한 추출성능을 높일 수 있다.

Description

강인음성인식을 위한 방향벡터 추정을 겸한 온라인 우도최대화를 이용한 빔포밍 방법 및 그 장치{A method for online maximum-likelihood distortionless response beamforming with steering vector estimation for robust speech recognition}
본 발명은 강인음성인식을 위한 방향벡터 추정을 겸한 온라인 우도최대화를 이용한 빔포밍 방법 및 그 장치에 관한 것이다.
마이크를 통해서 입력되는 소리 입력신호는 음성인식에 필요한 타겟 음성뿐만 아니라 음성인식에 방해가 되는 노이즈들이 포함될 수 있다. 소리 입력신호에서 노이즈를 제거하고, 원하는 타겟 음성만을 추출하여 음성인식의 성능을 높이기 위한 다양한 연구가 진행되고 있다.
(한국등록특허) 제10-1133308호 (등록일자, 2012.3.28)
본 발명이 이루고자 하는 기술적 과제는 입력결과들에 상응하는 출력결과들에 따라 결정되는 분산에 기초하여 노이즈 공분산을 계산하여 방향 벡터를 생성하고, 빔포밍 가중치를 업데이트함으로써 타겟음원에 대한 추출성능을 높일 수 있는 타겟신호 추출장치를 제공하는 것이다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 타겟신호 추출장치는 방향 벡터 예측기 및 빔포밍기를 포함할 수 있다. 방향 벡터 예측기는 시간에 따른 주파수별 입력결과들에 따라 입력신호 공분산을 생성하고, 상기 입력결과들에 상응하는 출력결과들에 따라 결정되는 분산에 기초하여 노이즈 공분산을 생성하며, 상기 입력신호 공분산 및 상기 노이즈 공분산에 기초하여 방향 벡터를 생성할 수 있다. 빔포밍기는 상기 분산에 따라 결정되는 빔포밍 공분산 및 상기 방향 벡터에 따라 빔포밍 가중치를 생성하고, 상기 입력결과들 및 상기 빔포밍 가중치에 기초하여 상기 출력결과들을 제공할 수 있다.
일 실시예에 있어서, 상기 노이즈 공분산 및 빔포밍 공분산의 분산은 출력 결과들에 기초하여 결정될 수 있다.
일 실시예에 있어서, 상기 노이즈 공분산 및 빔포밍 공분산의 초기값은 상기 입력결과들에 기초하여 결정될 수 있다.
일 실시예에 있어서, 상기 노이즈 공분산은 상기 분산 및 제1 상수값 중 큰 값에 따라 결정될 수 있다.
일 실시예에 있어서, 상기 노이즈 공분산은 상기 분산 및 상기 제1 상수값 중 큰 값에 따라 노말라이제이션(Normalization)될 수 있다.
일 실시예에 있어서, 상기 빔포밍 공분산은 상기 분산 및 제2 상수값 중 큰 값에 따라 결정될 수 있다.
일 실시예에 있어서, 상기 타겟신호 추출장치는 상기 빔포밍 가중치가 수렴할 때까지 상기 방향 벡터 예측기 및 상기 빔포밍기를 반복적으로 동작시킬 수 있다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 타겟신호 추출시스템은 방향 벡터 예측기 및 빔포밍기를 포함할 수 있다. 방향 벡터 예측기는 시간에 따른 주파수별 입력결과들에 따라 입력신호 공분산을 생성하고, 상기 입력결과들에 상응하는 출력결과들에 따라 결정되는 분산 및 미리 결정된 마스크에 기초하여 노이즈 공분산을 생성하며, 상기 입력신호 공분산 및 상기 노이즈 공분산에 기초하여 방향 벡터를 생성할 수 있다. 빔포밍기는 상기 분산에 따라 결정되는 빔포밍 공분산 및 상기 방향 벡터에 따라 빔포밍 가중치를 생성하고, 상기 입력결과들 및 상기 빔포밍 가중치에 기초하여 상기 출력결과들을 제공할 수 있다.
일 실시예에 있어서, 상기 노이즈 공분산 및 빔포밍 공분산의 초기값은 상기 입력결과들 및 상기 마스크의 곱에 따라 결정될 수 있다.
일 실시예에 있어서, 상기 노이즈 공분산의 입력결과들은 상기 입력 결과들과 상기 마스크의 곱으로 갱신될 수 있다.
일 실시예에 있어서 상기 마스크는 프레임 인덱스 및 주파수 인덱스 별로 계산될 수 있다.
일 실시예에 있어서, 상기 노이즈 공분산은 상기 분산 및 제1 상수값 중 큰 값에 따라 결정되고, 상기 노이즈 공분산은 상기 분산 및 상기 제1 상수값 중 큰 값에 따라 노말라이제이션(Normalization)될 수 있다.
일 실시예에 있어서, 상기 빔포밍 공분산은 상기 분산 및 제2 상수값 중 큰 값에 따라 결정되고, 상기 타겟신호 추출장치는 상기 빔포밍 가중치가 수렴할 때까지 상기 방향 벡터 예측기 및 상기 빔포밍기를 반복적으로 동작시킬 수 있다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 온라인 타겟신호 추출장치는 방향 벡터 예측기 및 빔포밍기를 포함할 수 있다. 방향 벡터 예측기는 이전프레임에 상응하는 이전프레임 입력신호 공분산 및 현재 프레임에 따른 주파수별 현재프레임 입력결과들에 기초하여 생성되는 현재프레임 입력신호 공분산을 생성하고, 상기 이전프레임에 상응하는 이전프레임 노이즈 공분산, 현재프레임에 상응하는 현재프레임 입력결과들 및 이전프레임에 상응하는 이전프레임 빔포밍 가중치에 따라 생성되는 현재프레임 분산 추정값에 기초하여 현재프레임 노이즈 공분산을 생성하며, 상기 현재프레임 입력신호 공분산, 상기 현재프레임 노이즈 공분산 및 이전프레임에 상응하는 이전프레임 방향 벡터에 기초하여 현재프레임 방향 벡터를 생성할 수 있다. 빔포밍기는 이전프레임에 상응하는 이전프레임 빔포밍 가중치, 현재프레임 입력결과들 및 이전프레임 출력결과들에 상응하는 이전프레임 분산에 따라 생성된 현재프레임 빔포밍 분산 추정값을 생성하고, 이전프레임에 상응하는 이전프레임 역 공분산, 현재프레임 입력결과들 및 상기 현재프레임 빔포밍 분산 추정값에 따라 생성된 현재프레임 빔포밍 역 공분산을 생성하고, 상기 현재프레임 방향 벡터 및 상기 현재프레임 빔포밍 역 공분산에 따라 현재프레임 빔포밍 가중치를 생성하고, 상기 현재프레임 입력결과들 및 상기 현재프레임 빔포밍 가중치에 기초하여 상기 현재프레임 출력결과들을 제공할 수 있다.
일 실시예에 있어서, 상기 현재프레임 노이즈 공분산은 현재프레임 분산 추정값에 의해 노말라이제이션(Normalization)될 수 있다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 온라인 타겟신호 추출시스템는 방향벡터 예측기 및 빔포밍기를 포함할 수 있다. 방향 벡터 예측기는 이전프레임에 상응하는 이전프레임 입력신호 공분산 및 현재 프레임에 따른 주파수별 현재프레임 입력결과들에 기초하여 생성되는 현재프레임 입력신호 공분산을 생성하고, 상기 이전프레임에 상응하는 이전프레임 노이즈 공분산, 현재프레임에 상응하는 현재프레임 입력결과들 및 미리 결정된 마스크에 따라 생성되는 현재프레임 분산 추정값을 통해 현재프레임 노이즈 공분산을 생성하며, 상기 현재프레임 입력신호 공분산, 상기 현재프레임 노이즈 공분산 및 이전프레임에 상응하는 이전프레임 방향 벡터에 기초하여 현재프레임 방향 벡터를 생성할 수 있다. 빔포밍기는 이전프레임에 상응하는 이전프레임 빔포밍 가중치, 현재프레임 입력결과들, 이전프레임 출력결과들에 상응하는 이전프레임 분산 및 미리 결정된 마스크를 통해 현재프레임 빔포밍 분산 추정값을 생성하고, 이전프레임에 상응하는 이전프레임 역 공분산, 현재프레임 입력결과들 및 상기 현재프레임 빔포밍 분산 추정값에 따라 현재프레임 빔포밍 역 공분산을 생성하고, 상기 현재프레임 방향 벡터 및 상기 현재프레임 빔포밍 역 공분산에 따라 현재프레임 빔포밍 가중치를 생성하고, 상기 현재프레임 입력결과들 및 상기 현재프레임 빔포밍 가중치에 기초하여 상기 현재프레임 출력결과들을 제공할 수 있다.
일 실시예에 있어서, 상기 현재프레임 노이즈 공분산은 상기 이전프레임 노이즈 공분산 및 상기 현재프레임 입력결과들 및 미리 결정된 마스크를 통해 생성된 현재프레임 분산 추정값에 기초하여 생성될 수 있다.
일 실시예에 있어서, 상기 현재프레임 빔포밍 분산 추정값은 상기 이전프레임 빔포밍 가중치, 상기 현재프레임 입력결과들, 상기 이전프레임 분산 및 미리 결정된 마스크에 기초하여 생성될 수 있다.
일 실시예에 있어서, 상기 가중된 공분산 및 상기 가중된 상관 벡터는 분산 및 제2 상수값 중 큰 값에 따라 결정될 수 있고, 상기 타겟신호 추출시스템은 상기 반향제거 필터 및 상기 빔포밍 가중치가 수렴할 때까지 상기 반향 제거기, 상기 방향 벡터 예측기 및 상기 빔포밍기를 반복적으로 동작시킬 수 있다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 타겟신호 추출장치는 반향 제거기, 반향 벡터 예측기 및 빔포밍기를 포함할 수 있다. 반향 제거기는 시간에 따른 주파수별 과거 입력결과들 및 반향제거된 입력결과들에 상응하는 출력결과들에 따라 결정되는 분산에 기초하여 가중된 공분산을 생성하고, 시간에 따른 주파수별 입력 결과들 및 과거 입력결과들 및 반향제거된 입력결과들에 상응하는 출력결과들에 따라 결정되는 분산에 기초하여 가중된 상관 벡터를 생성하며, 가중된 공분산 및 가중된 상관 벡터에 기초하여 반향 제거 필터를 생성할 수 있으며, 입력결과들, 과거 입력결과들 및 반향 제거 필터에 기초하여 반향 제거된 입력 결과들을 생성할 수 있다. 방향 벡터 예측기는 상기 반향 제거된 입력 결과들에 따라 입력 신호 공분산을 생성하고, 상기 입력결과들에 상응하는 출력결과들에 따라 결정되는 분산에 기초하여 노이즈 공분산을 생성하며, 상기 입력신호 공분산 및 상기 노이즈 공분산에 기초하여 방향 벡터를 생성할 수 있다. 빔포밍기는 상기 분산에 따라 결정되는 빔포밍 공분산 및 상기 방향 벡터에 따라 빔포밍 가중치를 생성하고, 상기 반향 제거된 입력 결과들 및 상기 빔포밍 가중치에 기초하여 상기 출력 결과들을 제공할 수 있다.
일 실시예에 있어서, 상기 가중된 공분산, 상기 가중된 상관 벡터, 상기 노이즈 공분산 및 상기 빔포밍 공분산은 상기 출력결과들에 기초하여 결정될 수 있다.
일 실시예에 있어서, 상기 가중된 공분산 및 상기 가중된 상관 벡터의 초기값은 상기 입력결과들에 기초하여 결정될 수 있다.
일 실시예에 있어서, 상기 가중된 공분산 및 상기 가중된 상관 벡터는 상기 분산 및 제2 상수값 중 큰 값에 따라 결정될 수 있다.
일 실시예에 있어서, 상기 노이즈 공분산 및 상기 빔포밍 공분산의 초기값은 상기 반향 제거된 입력결과들에 기초하여 결정될 수 있다.
일 실시예에 있어서, 상기 노이즈 공분산은 상기 분산 및 제1 상수값 중 큰 값에 따라 결정될 수 있다. 또한, 상기 노이즈 공분산은 상기 분산 및 상기 제1 상수값 중 큰 값에 따라 노말라이제이션(Normalization)될 수 있다.
일 실시예에 있어서, 상기 빔포밍 공분산은 상기 분산 및 상기 제2 상수값 중 큰 값에 따라 결정될 수 있다.
일 실시예에 있어서, 상기 타겟신호 추출장치는 상기 반향 제거 필터 및 상기 빔포밍 가중치가 수렴할 때까지 상기 반향 제거기, 상기 방향 벡터 예측기 및 상기 빔포밍기를 반복적으로 동작시킬 수 있다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 타겟신호 추출시스템은 반향 제거기, 방향벡터 예측기 및 빔포밍기를 포함할 수 있다. 상기 반향 제거기는 가중된 공분산 생성기, 가중된 상관 벡터 생성기, 반향제거 필터 생성기 및 반향 제거된 신호 생성기를 포함할 수 있다. 상기 반향 제거기는 시간에 따른 주파수별 과거 입력결과들 및 반향 제거된 입력결과들에 상응하는 출력결과들에 따라 결정되는 분산에 기초하여 가중된 공분산를 생성하고, 시간에 따른 주파수별 상기 입력결과들 및 상기 과거 입력결과들 및 상기 반향 제거된 입력결과들에 상응하는 출력결과들에 따라 결정되는 상기 분산에 기초하여 가중된 상관 벡터를 생성하며, 상기 가중된 공분산 및 상기 가중된 상관 벡터에 기초하여 반향 제거 필터를 생성할 수 있으며, 상기 입력결과들, 상기 과거 입력결과들 및 상기 반향 제거 필터에 기초하여 상기 반향 제거된 입력결과들을 생성할 수 있다. 상기 방향 벡터 예측기는 시간에 따른 주파수별 상기 반향 제거된 입력결과들에 따라 입력신호 공분산을 생성하고, 상기 입력결과들에 상응하는 상기 출력결과들에 따라 결정되는 분산 및 미리 결정된 마스크에 기초하여 노이즈 공분산(NC)을 생성하며, 상기 입력신호 공분산 및 상기 노이즈 공분산에 기초하여 방향 벡터를 생성할 수 있다. 상기 빔포밍기는 상기 반향 제거된 입력결과들, 상기 분산에 따라 결정되는 빔포밍 공분산 및 상기 방향 벡터에 따라 빔포밍 가중치를 생성하고, 상기 반향 제거된 입력결과들 및 상기 빔포밍 가중치에 기초하여 상기 출력결과들을 제공할 수 있다.
일 실시예에 있어서, 상기 노이즈 공분산 및 상기 빔포밍 공분산의 초기값은 상기 반향 제거된 입력결과들 및 상기 마스크의 곱에 따라 결정될 수 있다.
일 실시예에 있어서, 상기 노이즈 공분산의 반향 제거된 입력결과들은 상기 반향 제거된 입력결과들과 상기 마스크의 곱으로 갱신될 수 있다.
일 실시예에 있어서 상기 마스크는 프레임 인덱스 및 주파수 인덱스 별로 계산될 수 있다.
일 실시예에 있어서, 상기 노이즈 공분산은 상기 분산 및 제1 상수값 중 큰 값에 따라 결정되고, 상기 노이즈 공분산은 상기 분산 및 상기 제1 상수값 중 큰 값에 따라 노말라이제이션(Normalization)될 수 있다.
일 실시예에 있어서, 상기 빔포밍 공분산은 상기 분산 및 제2 상수값 중 큰 값에 따라 결정되고, 상기 타겟신호 추출시스템은 상기 반향 제거 필터 및 상기 빔포밍 가중치가 수렴할 때까지 상기 반향 제거기, 상기 방향 벡터 예측기 및 상기 빔포밍기를 반복적으로 동작시킬 수 있다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 온라인 타겟신호 추출장치는 반향 제거기, 방향 벡터 예측기 및 빔포밍기를 포함할 수 있다. 상기 반향 제거기는 이득 벡터 생성기, 가중된 역 공분산 생성기, 반향제거 필터 생성기 및 반향제거 신호 생성기를 포함할 수 있다.
상기 반향 제거기는 현재프레임에 상응하는 현재프레임 입력결과들, 현재프레임 과거 입력결과들 및 이전프레임에 상응하는 이전프레임 반향제거 필터에 기초하여 현재프레임 반향제거 출력 추정값을 생성하고, 이전프레임에 상응하는 이전프레임 분산 및 상기 현재프레임 반향제거 출력 추정값에 기초하여 현재프레임 반향제거 분산 추정값을 생성하고, 이전프레임에 상응하는 이전프레임 가중된 역 공분산, 상기 현재프레임 반향제거 출력 추정값 및 상기 현재프레임 과거 입력결과들에 기초하여 현재프레임 이득 벡터를 생성하며, 상기 이전프레임 가중된 역 공분산, 상기 현재프레임 과거 입력결과들 및 상기 현재프레임 이득 벡터에 기초하여 현재프레임 가중된 역 공분산를 생성하며, 상기 현재프레임 이득 벡터, 상기 현재프레임 과거 입력결과들 및 이전프레임에 상응하는 상기 이전프레임 반향 제거 필터에 기초하여 현재프레임에 상응하는 현재프레임 반향 제거 필터를 생성하고, 상기 현재프레임 입력결과들, 상기 현재프레임 과거 입력결과들 및 상기 현재프레임 반향 제거 필터에 기초하여 현재프레임 반향 제거된 입력결과들을 생성할 수 있다.
상기 방향 벡터 예측기는 이전프레임에 상응하는 이전프레임 입력신호 공분산 및 현재 프레임에 따른 주파수별 상기 현재프레임 반향 제거된 입력결과들에 기초하여 생성되는 현재프레임 입력신호 공분산을 생성하고, 상기 현재프레임 반향 제거된 입력결과들 및 상기 이전프레임 빔포밍 가중치에 기초하여 현재프레임 분산 추정값을 생성하고, 이전프레임에 상응하는 이전프레임 노이즈 공분산 및 상기 현재프레임 분산 추정값에 기초하여 현재프레임 노이즈 공분산을 생성하며, 상기 현재프레임 입력신호 공분산, 상기 현재프레임 노이즈 공분산 및 이전프레임 방향 벡터에 기초하여 현재프레임 방향 벡터를 생성할 수 있다.
상기 빔포밍기는 이전프레임 빔포밍 가중치, 상기 현재프레임 반향 제거된 입력결과들 및 상기 이전프레임 분산에 따라 현재프레임 빔포밍 분산 추정값을 생성하고, 이전프레임 역 공분산, 상기 현재프레임 반향 제거된 입력결과들 및 상기 현재프레임 빔포밍 분산 추정값에 기초하여 현재프레임 빔포밍 역 공분산을 생성하고, 상기 현재프레임 빔포밍 역 공분산 및 상기 현재프레임 방향 벡터에 따라 현재프레임 빔포밍 가중치를 생성하고, 상기 현재프레임 반향 제거된 입력결과들 및 상기 현재프레임 빔포밍 가중치에 기초하여 현재프레임 출력결과들을 제공할 수 있다.
일 실시예에 있어서, 상기 현재프레임 노이즈 공분산은 상기 현재프레임 분산 추정값에 의해 노말라이제이션(Normalization) 될 수 있다.
일 실시예에 있어서, 본 발명에 따른 온라인 타겟신호 추출장치는 상기 현재프레임 입력결과들에 상응하는 상기 현재프레임 출력결과들에 따라 결정되는 상기 현재프레임 분산 추정값에 기초하여 상기 현재프레임 이득 벡터를 생성하고, 상기 현재프레임 반향 제거 필터를 계산하여 상기 현재프레임 반향 제거된 입력결과들을 생성하고, 상기 현재 프레임 노이즈 공분산을 계산하여 상기 현재프레임 방향 벡터를 생성하고, 상기 현재프레임 빔포밍 가중치를 업데이트함으로써 타겟음원에 대한 추출성능을 높일 수 있다.
이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 온라인 타겟신호 추출시스템은 반향 제거기, 방향 벡터 예측기 및 빔포밍기를 포함할 수 있다. 상기 반향 제거기는 이득 벡터 생성기, 가중된 역 공분산 생성기, 반향제거 필터 생성기 및 반향제거 신호 생성기를 포함할 수 있다.
상기 반향 제거기는 현재프레임에 상응하는 현재프레임 입력결과들, 현재프레임 과거 입력결과들 및 이전프레임에 상응하는 이전프레임 반향제거 필터에 기초하여 현재프레임 반향제거 출력 추정값을 생성하고, 이전프레임에 상응하는 이전프레임 분산 및 상기 반향제거 출력 추정값에 기초하여 현재프레임 반향제거 분산 추정값을 생성하고, 이전프레임에 상응하는 이전프레임 가중된 역 공분산, 상기 현재프레임 반향제거 출력 추정값 및 상기 현재프레임 과거 입력결과들에 기초하여 현재프레임 이득 벡터를 생성하며, 상기 이전프레임 가중된 역 공분산, 상기 현재프레임 과거 입력결과들 및 상기 현재프레임 이득 벡터에 기초하여 현재프레임 가중된 역 공분산을 생성하며, 상기 현재프레임 이득 벡터, 상기 현재프레임 과거 입력결과들 및 이전프레임에 상응하는 상기 이전프레임 반향 제거 필터에 기초하여 현재프레임에 상응하는 현재프레임 반향 제거 필터를 생성하고, 상기 현재프레임 입력결과들, 상기 현재프레임 과거 입력결과들 및 상기 현재프레임 반향 제거 필터에 기초하여 현재프레임 반향 제거된 입력결과들을 생성할 수 있다.
상기 방향 벡터 예측기는 이전프레임에 상응하는 이전프레임 입력신호 공분산 및 현재 프레임에 따른 주파수별 상기 현재프레임 반향 제거된 입력결과들에 기초하여 생성되는 현재프레임 입력신호 공분산을 생성하고, 이전프레임에 상응하는 이전프레임 노이즈 공분산, 상기 현재프레임 반향 제거된 입력결과들 및 미리 결정된 마스크를 통해 생성된 현재프레임 분산 추정값에 기초하여 현재프레임 노이즈 공분산을 생성하며, 상기 현재프레임 입력신호 공분산, 상기 현재프레임 노이즈 공분산 및 이전프레임 방향 벡터에 기초하여 현재프레임 방향 벡터를 생성할 수 있다.
상기 빔포밍기는 이전프레임 빔포밍 가중치, 상기 현재프레임 반향 제거된 입력결과들, 상기 이전프레임 분산 및 상기 미리 결정된 마스크에 따라 현재프레임 빔포밍 분산 추정값을 생성하고, 이전프레임 역 공분산, 상기 현재프레임 반향 제거된 입력결과들 및 상기 현재프레임 빔포밍 분산 추정값에 따라 결정되는 현재프레임 빔포밍 역 공분산을 생성하고, 상기 현재프레임 방향 벡터 및 상기 현재프레임 빔포밍 역 공분산에 따라 현재프레임 빔포밍 가중치를 생성하고, 상기 현재프레임 반향 제거된 입력결과들 및 상기 현재프레임 빔포밍 가중치에 기초하여 현재프레임 출력결과들을 제공할 수 있다.
일 실시예에 있어서, 상기 현재프레임 노이즈 공분산은 상기 이전프레임 노이즈 공분산, 상기 현재프레임 반향 제거된 입력결과들 및 상기 미리 결정된 마스크를 통해 생성된 상기 현재프레임 분산 추정값에 기초하여 생성될 수 있다.
일 실시예에 있어서, 상기 현재프레임 빔포밍 분산 추정값은 상기 이전프레임 빔포밍 가중치, 상기 현재프레임 반향 제거된 입력결과들 및 상기 이전프레임 분산 및 상기 미리 결정된 마스크에 기초하여 생성될 수 있다.
위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이상과 같은 본 발명에 따르면 다음과 같은 효과가 있다.
본 발명에 따른 타겟신호 추출장치는 입력결과들에 상응하는 출력결과들에 따라 결정되는 분산에 기초하여 노이즈 공분산을 계산하여 방향 벡터를 생성하고, 빔포밍 가중치를 업데이트함으로써 타겟음원에 대한 추출성능을 높일 수 있다.
이 밖에도, 본 발명의 실시 예들을 통해 본 발명의 또 다른 특징 및 이점들이 새롭게 파악될 수도 있을 것이다.
도 1은 본 발명의 실시예들에 따른 타겟신호 추출장치를 나타내는 도면이다.
도 2는 도 1의 타겟신호 추출장치에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이다.
도 3은 도 1의 타겟신호 추출장치에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
도 4는 본 발명의 실시예들에 따른 타겟신호 추출시스템을 나타내는 도면이다.
도 5는 도 4의 타겟신호 추출시스템에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이다.
도 6은 도 4의 타겟신호 추출시스템에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
도 7은 본 발명의 실시예들에 따른 온라인 타겟신호 추출장치를 나타내는 도면이다.
도 8은 도 7의 온라인 타겟신호 추출장치에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이다.
도 9는 도 7의 온라인 타겟신호 추출장치에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
도 10은 본 발명의 실시예들에 따른 온라인 타겟신호 추출시스템을 나타내는 도면이다.
도 11은 도 10의 온라인 타겟신호 추출시스템에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이다.
도 12는 도 10의 온라인 타겟신호 추출시스템에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
도 13은 본 발명의 실시예들에 따른 타겟신호 추출장치의 일 예를 나타내는 도면이다.
도 14는 도 13의 타겟신호 추출장치에 포함되는 반향 제거기의 일 예를 나타내는 도면이다.
도 15는 도 13의 타겟신호 추출장치에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이다.
도 16은 도 13의 타겟신호 추출장치에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
도 17은 본 발명의 실시예들에 따른 타겟신호 추출시스템의 일 예를 나타내는 도면이다.
도 18는 도 17의 타겟신호 추출시스템에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이다.
도 19은 도 17의 타겟신호 추출시스템에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
도 20은 본 발명의 실시예들에 따른 온라인 타겟신호 추출장치의 일 예를 나타내는 도면이다.
도 21는 도 20의 온라인 타겟신호 추출장치에 포함되는 반향 제거기의 일 예를 나타내는 도면이다.
도 22는 도 20의 온라인 타겟신호 추출장치에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이다.
도 23은 도 20의 온라인 타겟신호 추출장치에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
도 24은 본 발명의 실시예들에 따른 온라인 타겟신호 추출시스템의 일 예를 나타내는 도면이다.
도 25는 도 24의 온라인 타겟신호 추출시스템에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이다.
도 26은 도 24의 온라인 타겟신호 추출시스템에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
본 명세서에서 각 도면의 구성 요소들에 참조번호를 부가함에 있어서 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
한편, 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한, 복수의 표현을 포함하는 것으로 이해되어야 하는 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.
"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부되는 도면을 참고하여 상기 문제점을 해결하기 위해 고안된 본 발명의 바람직한 실시예들에 대해 상세히 설명한다.
도 1은 본 발명의 실시예들에 따른 타겟신호 추출장치를 나타내는 도면이고, 도 2는 도 1의 타겟신호 추출장치에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이고, 도 3은 도 1의 타겟신호 추출장치에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
도 1 내지 3을 참조하면, 본 발명의 실시예에 따른 타겟신호 추출장치(10)는 방향 벡터 예측기(100) 및 빔포밍기(200)를 포함할 수 있다. 방향 벡터 예측기(100)는 입력신호 공분산 생성기(110), 노이즈 공분산 생성기(120) 및 벡터 생성기(130)를 포함할 수 있다. 방향 벡터 예측기(100)는 시간에 따른 주파수별 입력결과들(XS)에 따라 입력신호 공분산(IC)을 생성하고, 입력결과들(XS)에 상응하는 출력결과들(OR)에 따라 결정되는 분산에 기초하여 노이즈 공분산(NC)을 생성하며, 입력신호 공분산(IC) 및 노이즈 공분산(NC)에 기초하여 방향 벡터(HV)를 생성할 수 있다.
예를 들어, 입력신호 공분산 생성기(110)는 시간에 따른 주파수별 입력결과들(XS)에 따라 입력신호 공분산(IC)을 생성할 수 있다.
입력신호 공분산(IC)은 아래의 [수학식1]과 같이 나타낼 수 있다.
[수학식1]
Figure pat00001
여기서,
Figure pat00002
는 입력신호 공분산,
Figure pat00003
은 프레임 수, l은 프레임 인덱스, k는 주파수 인덱스,
Figure pat00004
는 입력결과들일 수 있다.
또한, 노이즈 공분산 생성기(120)는 입력결과들(XS)에 상응하는 출력결과들(OR)에 따라 결정되는 분산에 기초하여 노이즈 공분산(NC)을 생성할 수 있다.
노이즈 공분산(NC)은 아래의 [수학식2]와 같이 나타낼 수 있다.
[수학식2]
Figure pat00005
여기서,
Figure pat00006
는 노이즈 공분산,
Figure pat00007
는 분산,
Figure pat00008
는 제1 상수값,
Figure pat00009
은 프레임 수, l은 프레임 인덱스, k는 주파수 인덱스,
Figure pat00010
는 입력결과들일 수 있다.
또한, 벡터 생성기(130)는 입력신호 공분산(IC) 및 노이즈 공분산(NC)에 기초하여 방향 벡터(HV)를 생성할 수 있다.
방향 벡터(HV)는 아래의 [수학식3]과 같이 나타낼 수 있다.
[수학식3]
Figure pat00011
,
Figure pat00012
여기서,
Figure pat00013
는 타겟음원 공분산,
Figure pat00014
는 최대 고유값에 해당하는 고유 벡터 추출 함수,
Figure pat00015
는 방향 벡터일 수 있다.
빔포밍기(200)는 입력결과들(XS) 및 분산에 따라 결정되는 빔포밍 공분산(BC) 및 방향 벡터(HV)에 따라 빔포밍 가중치(BFW)를 생성하고, 입력결과들(XS) 및 빔포밍 가중치(BFW)에 기초하여 출력결과들(OR)을 제공할 수 있다.
예를 들어, 빔포밍기(200)는 빔포밍 가중치 생성기(210) 및 출력생성기(220)를 포함할 수 있다. 빔포밍 가중치 생성기(210)는 입력결과들(XS) 및 분산에 따라 결정되는 빔포밍 공분산(BC) 및 방향 벡터(HV)에 따라 빔포밍 가중치(BFW)를 생성할 수 있다.
빔포밍 공분산(BC)은 아래의 [수학식4]와 같이 나타낼 수 있다.
[수학식4]
Figure pat00016
여기서,
Figure pat00017
는 빔포밍 공분산,
Figure pat00018
는 제2 상수값일 수 있다.
빔포밍 가중치(BFW)는 아래의 [수학식5]와 같이 나타낼 수 있다.
[수학식5]
Figure pat00019
여기서,
Figure pat00020
는 빔포밍 가중치,
Figure pat00021
는 대각 로딩(Diagonal loading) 상수값,
Figure pat00022
는 단위 행렬일 수 있다.
출력생성기(220)는 입력결과들(XS) 및 빔포밍 가중치(BFW)에 기초하여 출력결과들(OR)을 제공할 수 있다.
출력결과들(OR)은 아래의 [수학식6]과 같이 나타낼 수 있다.
[수학식6]
Figure pat00023
,
Figure pat00024
여기서,
Figure pat00025
는 출력결과들,
Figure pat00026
는 분산일 수 있다.
일 실시예에 있어서, 노이즈 공분산(NC) 및 빔포밍 공분산(BC)의 분산은 출력결과들(OR)에 기초하여 결정될 수 있다. 예를 들어, 노이즈 공분산(NC) 및 빔포밍 공분산(BC)의 분산은 아래의 [수학식7]과 같이 나타낼 수 있다.
[수학식7]
Figure pat00027
여기서
Figure pat00028
는 출력결과들,
Figure pat00029
은 인접 프레임 수일 수 있다.
일 실시예에 있어서, 노이즈 공분산(NC) 및 빔포밍 공분산(BC)의 초기값은 입력결과들(XS)에 기초하여 결정될 수 있다. 예를 들어, 노이즈 공분산(NC) 및 빔포밍 공분산(BC)에서 사용되는 분산의 초기값은 아래의 [수학식8]과 같이 나타낼 수 있다.
[수학식8]
Figure pat00030
,
Figure pat00031
여기서,
Figure pat00032
및
Figure pat00033
는 입력결과들,
Figure pat00034
은 인접 프레임 수일 수 있다.
일 실시예에 있어서, 노이즈 공분산(NC)은 분산 및 제1 상수값 중 큰 값에 따라 결정될 수 있다. 또한, 노이즈 공분산(NC)은 분산 및 제1 상수값 중 큰 값에 따라 노말라이제이션(Normalization)될 수 있다. 예를 들어, 제1 상수값은 10^-6일 수 있다.
일 실시예에 있어서, 빔포밍 공분산(BC)은 분산 및 제2 상수값 중 큰 값에 따라 결정될 수 있다. 예를 들어, 제2 상수값은 10^-6일 수 있다.
일 실시예에 있어서, 타겟신호 추출장치(10)는 빔포밍 가중치(BFW)가 수렴할 때까지 방향 벡터 예측기(100) 및 빔포밍기(200)를 반복적으로 동작시킬 수 있다. 타겟신호 추출장치(10)는 방향 벡터 예측기(100)를 통해서 방향 벡터(HV)를 생성한 후, 빔포밍기(200)를 통해서 빔포밍 가중치(BFW)를 생성하는 동작을 반복할 수 있다. 본 발명에 따른 타겟신호 추출장치(10)는 입력결과들(XS)에 상응하는 출력결과들(OR)에 따라 결정되는 분산에 기초하여 노이즈 공분산(NC)을 계산하여 방향 벡터(HV)를 생성하고, 빔포밍 가중치(BFW)를 업데이트함으로써 타겟음원에 대한 추출성능을 높일 수 있다.
도 4는 본 발명의 실시예들에 따른 타겟신호 추출시스템을 나타내는 도면이고, 도 5는 도 4의 타겟신호 추출시스템에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이고, 도 6은 도 4의 타겟신호 추출시스템에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
도 4 내지 6을 참조하면, 본 발명의 실시예에 따른 타겟신호 추출시스템(11)은 방향 벡터 예측기(100) 및 빔포밍기(200)를 포함할 수 있다. 방향 벡터 예측기(100)는 입력신호 공분산 생성기(110), 노이즈 공분산 생성기(120) 및 벡터 생성기(130)를 포함할 수 있다. 방향 벡터 예측기(100)는 시간에 따른 주파수별 입력결과들(XS)에 따라 입력신호 공분산(IC)을 생성하고, 입력결과들(XS)에 상응하는 출력결과들(OR)에 따라 결정되는 분산 및 미리 결정된 마스크(MSK)에 기초하여 노이즈 공분산(NC)을 생성하며, 입력신호 공분산(IC) 및 노이즈 공분산(NC)에 기초하여 방향 벡터(HV)를 생성할 수 있다.
빔포밍기(200)는 입력결과들(XS) 및 분산에 따라 결정되는 빔포밍 공분산(BC) 및 방향 벡터(HV)에 따라 빔포밍 가중치(BFW)를 생성하고, 입력결과들(XS) 및 빔포밍 가중치(BFW)에 기초하여 출력결과들(OR)을 제공할 수 있다.
본 발명에 따른 타겟신호 추출시스템(11)은 도 1 내지 도 3에서 설명되는 [수학식1] 내지 [수학식6]의 내용이 동일하게 적용될 수 있다.
일 실시예에 있어서, 노이즈 공분산(NC) 및 빔포밍 공분산의 초기값은 입력결과들(XS) 및 마스크(MSK)의 곱에 따라 결정될 수 있다. 예를 들어, 노이즈 공분산(NC)에서 사용되는 분산의 초기값은 아래의 [수학식9]과 같이 나타낼 수 있다.
[수학식9]
Figure pat00035
,
Figure pat00036
여기서,
Figure pat00037
은 마스크일 수 있다.
일 실시예에 있어서, 노이즈 공분산(NC)의 입력결과들(XS)은 입력 결과들(XS)과 마스크(MSK)의 곱으로 갱신될 수 있다. 예를 들어, 노이즈 공분산(NC)에서 사용되는 입력결과들(XS)은 아래의 [수학식10]와 같이 갱신될 수 있다.
[수학식10]
Figure pat00038
여기서
Figure pat00039
은 마스크일 수 있다.
일 실시예에 있어서 마스크(MSK)는 프레임 인덱스 및 주파수 인덱스 별로 계산될 수 있다. 예를 들어, 신경망(Neural network) 혹은 분산도 (Diffuseness)에 기반하여 프레임 인덱스 및 주파수 인덱스 별 마스크가 계산될 수 있다.
일 실시예에 있어서, 노이즈 공분산(NC)은 분산 및 제1 상수값 중 큰 값에 따라 결정되고, 노이즈 공분산(NC)은 분산 및 제1 상수값 중 큰 값에 따라 노말라이제이션(Normalization)될 수 있다.
일 실시예에 있어서, 빔포밍 공분산(BC)은 분산 및 제2 상수값 중 큰 값에 따라 결정되고, 타겟신호 추출시스템(11)은 빔포밍 가중치(BFW)가 수렴할 때까지 방향 벡터 예측기(100) 및 빔포밍기(200)를 반복적으로 동작시킬 수 있다.
도 7은 본 발명의 실시예들에 따른 온라인 타겟신호 추출장치를 나타내는 도면이고, 도 8은 도 7의 온라인 타겟신호 추출장치에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이고, 도 9는 도 7의 온라인 타겟신호 추출장치에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
도 7 내지 9를 참조하면, 본 발명의 실시예에 따른 온라인 타겟신호 추출장치(20)는 방향 벡터 예측기(100) 및 빔포밍기(200)를 포함할 수 있다. 방향 벡터 예측기(100)는 입력신호 공분산 생성기(110), 노이즈 공분산 생성기(120) 및 벡터 생성기(130)를 포함할 수 있다. 방향 벡터 예측기(100)는 이전프레임에 상응하는 이전프레임 입력신호 공분산(P_IC) 및 현재 프레임에 따른 주파수별 현재프레임 입력결과들(C_XS)에 기초하여 생성되는 현재프레임 입력신호 공분산(C_IC)을 생성하고, 현재프레임 입력결과들(C_XS) 및 이전프레임 빔포밍 가중치(P_BFW)에 기초하여 현재프레임 분산 추정값을 생성하고, 이전프레임에 상응하는 이전프레임 노이즈 공분산(P_NC) 및 현재프레임 분산 추정값에 기초하여 현재프레임 노이즈 공분산(C_NC)을 생성하며, 현재프레임 입력신호 공분산(C_IC) 및 현재프레임 노이즈 공분산(C_NC) 및 이전프레임 방향 벡터(P_HV)에 기초하여 현재프레임 방향 벡터(C_HV)를 생성할 수 있다.
예를 들어, 입력신호 공분산 생성기(110)는 이전프레임에 상응하는 이전프레임 입력신호 공분산(P_IC) 및 현재 프레임에 따른 주파수별 현재프레임 입력결과들(C_XS)에 기초하여 생성되는 현재프레임 입력신호 공분산(C_IC)을 생성할 수 있다.
현재프레임 입력신호 공분산(C_IC)은 아래의 [수학식11]와 같이 나타낼 수 있다.
[수학식11]
Figure pat00040
여기서,
Figure pat00041
은 현재프레임 입력신호 공분산,
Figure pat00042
은 이전프레임 입력신호 공분산,
Figure pat00043
은 망각 인자, l은 프레임 인덱스, k는 주파수 인덱스,
Figure pat00044
는 입력결과들일 수 있다.
또한, 노이즈 공분산 생성기(120)는 이전프레임에 상응하는 이전프레임 노이즈 공분산(P_NC) 및 주파수별 현재프레임 입력결과들(C_XS)과 이전프레임에 입력결과들에 상응하는 이전프레임 빔포밍 가중치(P_BFW)에 따라 생성되는 현재프레임 분산 추정값에 기초하여 현재프레임 노이즈 공분산(C_NC)을 생성할 수 있다.
현재프레임 노이즈 공분산(C_NC)은 아래의 [수학식12]과 같이 나타낼 수 있다.
[수학식12]
Figure pat00045
,
Figure pat00046
여기서,
Figure pat00047
은 현재프레임 노이즈 공분산,
Figure pat00048
은 망각 인자,
Figure pat00049
은 이전프레임 노이즈 공분산,
Figure pat00050
는 현재프레임 분산 추정값,
Figure pat00051
는 현재프레임 추정 출력결과들,
Figure pat00052
는 이전프레임 빔포밍 가중치,
Figure pat00053
는 현재프레임 입력결과들,
Figure pat00054
는 제3 상수값일 수 있다.
또한, 벡터 생성기(130)는 현재프레임 입력신호 공분산(C_IC) 및 현재프레임 노이즈 공분산(C_NC)에 기초하여 현재프레임 방향 벡터(C_HV)를 생성할 수 있다.
현재프레임 방향 벡터(C_HV)는 아래의 [수학식13]과 같이 나타낼 수 있다.
[수학식13]
Figure pat00055
여기서,
Figure pat00056
는 현재프레임 방향 벡터,
Figure pat00057
는 이전프레임 방향 벡터,
Figure pat00058
는 현재프레임 타겟음원 공분산,
Figure pat00059
은 정규화된 현재프레임 방향 벡터,
Figure pat00060
은 정규화된 현재프레임 방향 벡터의 한 요소일 수 있다.
빔포밍기(200)는 이전프레임 빔포밍 가중치(P_BFW), 현재프레임 입력결과들(C_XS), 이전프레임 분산(P_V)에 따라 현재프레임 빔포밍 분산 추정값을 생성하고, 이전프레임 역 공분산(P_IBC), 현재프레임 입력결과들(C_XS), 현재프레임 빔포밍 분산 추정값에 기초하여 현재프레임 빔포밍 역 공분산(C_IBC)을 생성하고, 현재프레임 빔포밍 역 공분산(C_IBC) 및 현재프레임 방향 벡터(C_HV)에 따라 현재프레임 빔포밍 가중치(C_BFW)를 생성하고, 현재프레임 입력결과들(C_XS) 및 현재프레임 빔포밍 가중치(C_BFW)에 기초하여 현재프레임 출력결과들(C_OR)을 제공할 수 있다.
예를 들어, 빔포밍기(200)는 빔포밍 가중치 생성기(210) 및 출력생성기(220)를 포함할 수 있다. 빔포밍 가중치 생성기(210)는 현재프레임 입력결과들(C_XS), 이전프레임 빔포밍 가중치(P_BFW) 및 이전프레임 분산(P_V)에 따라 현재프레임 빔포밍 분산 추정값을 생성하고, 현재프레임 입력결과들(C_XS), 이전프레임 빔포밍 역 공분산(P_IBC) 및 현재프레임 빔포밍 분산 추정값을 통해 현재프레임 빔포밍 역 공분산(C_IBC)을 생성하고, 현재프레임 빔포밍 역 공분산(C_IBC) 및 현재프레임 방향 벡터(C_HV)에 따라 현재프레임 빔포밍 가중치(C_BFW)를 생성할 수 있다.
현재프레임 빔포밍 분산 추정값은 아래의 [수학식14]와 같이 나타낼 수 있다.
[수학식14]
Figure pat00061
여기서,
Figure pat00062
는 현재프레임 빔포밍 분산 추정값,
Figure pat00063
는 현재 프레임 추정 출력결과들,
Figure pat00064
는 이전프레임 분산,
Figure pat00065
는 가중치,
Figure pat00066
는 제4 상수값일 수 있다.
현재프레임 빔포밍 가중치(C_BFW)는 아래의 [수학식15]과 같이 나타낼 수 있다.
[수학식15]
Figure pat00067
,
Figure pat00068
여기서,
Figure pat00069
는 현재프레임 빔포밍 가중치,
Figure pat00070
는 이전프레임 빔포밍 역 공분산,
Figure pat00071
는 현재프레임 방향 벡터,
Figure pat00072
는 현재프레임 빔포밍 역 공분산일 수 있다.
출력생성기(220)는 현재프레임 입력결과들(C_XS) 및 현재프레임 빔포밍 가중치(C_BFW)에 기초하여 현재프레임 출력결과들(C_OR)을 제공할 수 있다.
출력결과들은 아래의 [수학식16]와 같이 나타낼 수 있다.
[수학식16]
Figure pat00073
,
Figure pat00074
여기서,
Figure pat00075
는 현재프레임 출력결과들,
Figure pat00076
는 현재프레임 분산일 수 있다.
일 실시예에 있어서, 현재프레임 노이즈 공분산(C_NC)은 현재프레임 분산 추정값에 의해 노말라이제이션(Normalization)될 수 있다. 본 발명에 따른 온라인 타겟신호 추출장치(20)는 현재프레임 입력결과들(C_XS)에 상응하는 현재프레임 출력결과들(C_OR)에 따라 결정되는 현재프레임 분산 추정값에 기초하여 현재 프레임 노이즈 공분산을 계산하여 현재프레임 방향 벡터(C_HV)를 생성하고, 현재프레임 빔포밍 가중치(C_BFW)를 업데이트함으로써 타겟음원에 대한 추출성능을 높일 수 있다.
도 10 내지 12는 본 발명의 실시예들에 따른 온라인 타겟신호 추출시스템을 나타내는 도면이고, 도 11은 도 10의 온라인 타겟신호 추출시스템에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이고, 도 12는 도 10의 온라인 타겟신호 추출시스템에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
도 10 내지 12를 참조하면, 온라인 타겟신호 추출시스템(21)은 방향 벡터 예측기(100) 및 빔포밍기(200)를 포함할 수 있다. 방향 벡터 예측기(100)는 입력신호 공분산 생성기(110), 노이즈 공분산 생성기(120) 및 벡터 생성기(130)를 포함할 수 있다. 방향 벡터 예측기(100)는 이전프레임에 상응하는 이전프레임 입력신호 공분산(P_IC) 및 현재 프레임에 따른 주파수별 현재프레임 입력결과들(C_XS)에 기초하여 생성되는 현재프레임 입력신호 공분산(C_IC)을 생성하고, 이전프레임에 상응하는 이전프레임 노이즈 공분산(P_NC), 현재프레임 입력결과들(C_XS) 및 미리 결정된 마스크를 통해 생성된 현재프레임 분산 추정값에 기초하여 현재프레임 노이즈 공분산(C_NC)를 생성하며, 현재프레임 입력신호 공분산(C_IC), 현재프레임 노이즈 공분산(C_NC) 및 이전프레임 방향 벡터(P_HV)에 기초하여 현재프레임 방향 벡터(C_HV)를 생성할 수 있다.
빔포밍기(200)는 이전프레임 빔포밍 가중치(P_BFW), 현재프레임 입력결과들(C_XS), 이전프레임 분산 및 미리 결정된 마스크에 따라 현재프레임 빔포밍 분산 추정값을 생성하고, 이전프레임 역 공분산(P_IBC), 현재프레임 입력결과들(C_XS) 및 현재프레임 빔포밍 분산 추정값에 따라 결정되는 현재프레임 빔포밍 역 공분산(C_IBC)을 생성하고, 현재프레임 방향 벡터(C_HV) 및 현재프레임 빔포밍 역 공분산(C_IBC)에 따라 현재프레임 빔포밍 가중치(C_BFW)를 생성하고, 현재프레임 입력결과들(C_XS) 및 현재프레임 빔포밍 가중치(C_BFW)에 기초하여 현재프레임 출력결과들(C_OR)을 제공할 수 있다.
본 발명에 따른 온라인 타겟신호 추출시스템(21)은 도 7 내지 도 9에서 설명되는 [수학식11] 및 [수학식13] 내지 [수학식15]의 내용이 동일하게 적용될 수 있다.
일 실시예에 있어서, 현재프레임 노이즈 공분산(C_NC)은 이전프레임 노이즈 공분산(P_NC), 현재프레임 입력결과들(C_XS) 및 미리 결정된 마스크를 통해 생성된 현재프레임 분산 추정값에 기초하여 생성될 수 있다. 예를 들어, 현재프레임 노이즈 공분산(C_NC)은 아래의 [수학식17]와 같이 나타낼 수 있다.
[수학식17]
Figure pat00077
,
Figure pat00078
여기서,
Figure pat00079
은 현재프레임 노이즈 공분산,
Figure pat00080
는 마스크,
Figure pat00081
은 망각 인자,
Figure pat00082
은 이전프레임 노이즈 공분산,
Figure pat00083
는 현재프레임 분산 추정값,
Figure pat00084
는 현재프레임 입력결과들의 요소,
Figure pat00085
는 제3 상수값일 수 있다.
일 실시예에 있어서, 현재프레임 빔포밍 분산 추정값은 이전프레임 빔포밍 가중치(P_BFW), 현재프레임 입력결과들(C_XS), 이전프레임 분산(P_V) 및 미리 결정된 마스크에 기초하여 생성될 수 있다. 예를 들어, 현재프레임 빔포밍 분산 추정값은 아래의 [수학식 18]와 같이 나타낼 수 있다.
[수학식 18]
Figure pat00086
여기서
Figure pat00087
는 현재 프레임 추정 출력결과들,
Figure pat00088
는 이전프레임 빔포밍 가중치,
Figure pat00089
는 현재프레임 입력결과들,
Figure pat00090
는 마스크,
Figure pat00091
는 현재프레임 빔포밍 분산 추정값,
Figure pat00092
는 이전프레임 분산,
Figure pat00093
는 가중치,
Figure pat00094
는 제4 상수값일 수 있다.
도 13 내지 16은 본 발명의 실시예들에 따른 타겟신호 추출장치의 예들을 나타내는 도면이고, 도 14는 도 13의 타겟신호 추출장치에 포함되는 반향 제거기의 일 예를 나타내는 도면이고, 도 15는 도 13의 타겟신호 추출장치에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이고, 도 16은 도 13의 타겟신호 추출장치에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
도 13 내지 16을 참조하면, 본 발명의 실시예에 따른 타겟신호 추출장치(30)는 반향 제거기(300), 방향 벡터 예측기(100) 및 빔포밍기(200)를 포함할 수 있다. 반향 제거기(300)는 가중된 공분산 생성기(310), 가중된 상관 벡터 생성기(320), 반향제거 필터 생성기(330) 및 반향 제거된 신호 생성기(340)을 포함할 수 있다. 반향 제거기(300)은 시간에 따른 주파수별 과거 입력결과들(XPS) 및 반향 제거된 입력결과들(DS)에 상응하는 출력결과들(OR)에 따라 결정되는 분산에 기초하여 가중된 공분산(WC)를 생성하고, 시간에 따른 주파수별 입력결과들(XS), 과거 입력결과들(XPS) 및 반향 제거된 입력결과들(DS)에 상응하는 출력결과들(OR)에 따라 결정되는 분산에 기초하여 가중된 상관 벡터(WV)를 생성하며, 가중된 공분산(WC) 및 가중된 상관 벡터(WV)에 기초하여 반향 제거 필터(DF)를 생성할 수 있으며, 입력결과들(XS), 과거 입력결과들(XPS) 및 반향 제거 필터(DF)에 기초하여 반향 제거된 입력결과들(DS)를 생성할 수 있다.
예를 들어, 가중된 공분산 생성기(310)는 과거 입력결과들(XPS) 및 분산에 따라 가중된 공분산(WC)를 생성할 수 있다.
가중된 공분산(WC)은 아래의 [수학식19]과 같이 나타낼 수 있다.
[수학식19]
Figure pat00095
,
Figure pat00096
여기서
Figure pat00097
는 가중된 공분산,
Figure pat00098
는 과거 입력결과들,
Figure pat00099
은 분산,
Figure pat00100
는 지연 프레임 수,
Figure pat00101
은 탭 수,
Figure pat00102
는 제2 상수값일 수 있다.
또한, 가중된 상관 벡터 생성기(320)는 시간에 따른 주파수별 입력결과들(XS), 과거 입력결과들 및 분산에 따라 가중된 상관 벡터(WV)를 생성할 수 있다.
가중된 상관 벡터(WV)는 아래의 [수학식20]와 같이 나타낼 수 있다.
[수학식20]
Figure pat00103
여기서
Figure pat00104
는 가중된 상관 벡터,
Figure pat00105
는 현재프레임 입력결과들일 수 있다.
또한, 반향제거 필터 생성기(330)는 가중된 공분산(WC) 및 가중된 상관 벡터(WV)에 기초하여 반향 제거 필터(DF)를 생성할 수 있다.
반향 제거 필터(DF)는 아래의 [수학식21]와 같이 나타낼 수 있다.
[수학식21]
Figure pat00106
여기서
Figure pat00107
는 반향 제거 필터일 수 있다.
또한, 반향 제거된 신호 생성기(340)은 입력결과들(XS), 과거 입력결과들(XPS) 및 반향 제거 필터(DF)에 기초하여 반향 제거된 입력결과들(DS)을 생성할 수 있다.
반향 제거된 입력결과들(DS)은 아래의 [수학식22]와 같이 나타낼 수 있다.
[수학식22]
Figure pat00108
여기서
Figure pat00109
는 반향 제거된 입력결과들일 수 있다.
방향 벡터 예측기(100)는 반향 제거된 입력결과들(DS)에 따라 입력신호 공분산(IC)을 생성하고, 입력결과들(XS)에 상응하는 출력결과들(OR)에 따라 결정되는 분산에 기초하여 노이즈 공분산(NC)을 생성하며, 입력신호 공분산(IC) 및 노이즈 공분산(NC)에 기초하여 방향 벡터(HV)를 생성할 수 있다.
예를 들어, 입력신호 공분산 생성기(110)는 반향 제거된 입력 결과들(DS)에 따라 입력신호 공분산(IC)를 생성할 수 있다.
입력신호 공분산(IC)은 아래의 [수학식23]와 같이 나타낼 수 있다.
[수학식23]
Figure pat00110
여기서,
Figure pat00111
는 입력신호 공분산,
Figure pat00112
은 프레임 수, l은 프레임 인덱스, k는 주파수 인덱스,
Figure pat00113
는 반향 제거된 입력결과들일 수 있다.
또한, 노이즈 공분산 생성기(120)는 반향 제거된 입력결과들(DS)에 상응하는 출력결과들(OR)에 따라 결정되는 분산에 기초하여 노이즈 공분산(NC)을 생성할 수 있다.
노이즈 공분산(NC)은 아래의 [수학식24]와 같이 나타낼 수 있다.
[수학식24]
Figure pat00114
여기서,
Figure pat00115
는 노이즈 공분산,
Figure pat00116
는 분산,
Figure pat00117
는 제1 상수값,
Figure pat00118
은 프레임 수, l은 프레임 인덱스, k는 주파수 인덱스,
Figure pat00119
는 반향 제거된 입력결과들일 수 있다.
또한, 벡터 생성기(130)는 입력 신호 공분산(IC) 및 노이즈 공분산(NC)에 기초하여 방향 벡터(HV)를 생성할 수 있다. 예를 들어, 방향 벡터(HV)는 도 1 내지 도3에서 설명되는 [수학식3]의 내용이 동일하게 적용될 수 있다.
빔포밍기(200)는 반향 제거된 입력결과들(DS), 분산에 따라 결정되는 빔포밍 공분산(BS) 및 방향 벡터(HV)에 따라 빔포밍 가중치(BFW)를 생성하고, 반향 제거된 입력결과들(DS) 및 빔포밍 가중치(BFW)에 기초하여 출력결과들(OR)을 제공할 수 있다.
예를 들어, 빔포밍기(200)는 빔포밍 가중치 생성기(210) 및 출력생성기(220)를 포함할 수 있다. 빔포밍 가중치 생성기(210)는 반향 제거된 입력결과들(DS), 분산에 따라 결정되는 빔포밍 공분산(BC) 및 방향 벡터(HV)에 따라 빔포밍 가중치(BFW)를 생성할 수 있다.
빔포밍 공분산(BC)은 아래의 [수학식25]과 같이 나타낼 수 있다.
[수학식25]
Figure pat00120
여기서
Figure pat00121
는 빔포밍 공분산,
Figure pat00122
는 제2 상수값일 수 있다.
빔포밍 가중치(BFW)는 아래의 [수학식26]과 같이 나타낼 수 있다.
[수학식26]
Figure pat00123
여기서,
Figure pat00124
는 빔포밍 가중치,
Figure pat00125
는 대각 로딩(Diagonal loading) 상수값,
Figure pat00126
는 단위 행렬일 수 있다.
출력생성기(220)는 반향 제거된 입력결과들(DS) 및 빔포밍 가중치(BFW)에 기초하여 출력결과들(OR)을 제공할 수 있다.
출력결과들(OR)은 아래의 [수학식27]과 같이 나타낼 수 있다.
[수학식27]
Figure pat00127
,
Figure pat00128
여기서,
Figure pat00129
는 출력결과들,
Figure pat00130
는 분산일 수 있다.
일 실시예에 있어서, 가중된 공분산(WC), 가중된 상관 벡터(WV) 및 노이즈 공분산(NC) 및 빔포밍 공분산(BC)은 출력결과들(OR)에 기초하여 결정될 수 있다. 예를 들어, 가중된 공분산(WC) 및 가중된 상관 벡터(WV)에서 사용된 분산은 도 1 내지 도 3에서 설명되는 [수학식7]의 내용이 동일하게 적용될 수 있다.
일 실시예에 있어서, 가중된 공분산(WC) 및 가중된 상관 벡터(WV)의 초기값은 입력결과들(XS)에 기초하여 결정될 수 있다. 예를 들어, 가중된 공분산(WC) 및 가중된 상관 벡터(WV)에서 사용되는 분산의 초기값은 아래의 [수학식28]과 같이 나타낼 수 있다.
[수학식28]
Figure pat00131
여기서,
Figure pat00132
는 인접 프레임 수,
Figure pat00133
은 입력결과들의 채널 수,
Figure pat00134
은 프레임 인덱스 일 수 있다.
일 실시예에 있어서, 가중된 공분산(WC) 및 가중된 상관 벡터(WV)는 분산 및 제2 상수값 중 큰 값에 따라 결정될 수 있다.
일 실시예에 있어서, 노이즈 공분산(NC) 및 빔포밍 공분산(BC)의 초기값은 반향 제거된 입력결과들(DS)에 기초하여 결정될 수 있다. 예를 들어, 노이즈 공분산(NC) 및 빔포밍 공분산(BC)에서 사용되는 분산의 초기값은 아래의 [수학식29]와 같이 나타낼 수 있다.
[수학식29]
Figure pat00135
,
Figure pat00136
여기서,
Figure pat00137
및
Figure pat00138
는 반향 제거된 입력결과들,
Figure pat00139
은 인접 프레임 수일 수 있다.
일 실시예에 있어서, 노이즈 공분산(NC)은 분산 및 제1 상수값 중 큰 값에 따라 결정될 수 있다. 또한, 노이즈 공분산(NC)은 분산 및 제1 상수값 중 큰 값에 따라 노말라이제이션(Normalization)될 수 있다.
일 실시예에 있어서, 빔포밍 공분산(BC)은 분산 및 제2 상수값 중 큰 값에 따라 결정될 수 있다.
일 실시예에 있어서, 타겟신호 추출장치(30)는 반향 제거 필터(DF) 및 빔포밍 가중치(BFW)가 수렴할 때까지 반향 제거기(300) 및 방향 벡터 예측기(100) 및 빔포밍기(200)를 반복적으로 동작시킬 수 있다. 타겟신호 추출장치(30)는 반향 제거기(300)을 통해서 반향 제거된 입력결과들(DS)를 생성하고, 방향 벡터 예측기(100)를 통해서 방향 벡터(HV)를 생성한 후, 빔포밍기(200)를 통해서 빔포밍 가중치(BFW)를 생성하는 동작을 반복할 수 있다. 본 발명에 따른 타겟신호 추출장치(30)는 입력결과들(XS)에 상응하는 출력결과들(OR)에 따라 결정되는 분산에 기초하여 가중된 공분산(WC) 및 가중된 상관 벡터(WV)를 통해 반향제거 필터(DF)를 계산하여 반향 제거된 입력결과들(DS)를 생성하고, 노이즈 공분산(NC)을 계산하여 방향 벡터(HV)를 생성하고, 빔포밍 가중치(BFW)를 업데이트함으로써 타겟음원에 대한 추출성능을 높일 수 있다.
도 17 내지 19는 본 발명의 실시예들에 따른 타겟신호 추출시스템의 예들을 나타내는 도면이고, 도 18은 도 17의 타겟신호 추출시스템에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이고, 도 19는 도 17의 타겟신호 추출시스템에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
도 17 내지 19를 참조하면, 본 발명의 실시예에 따른 타겟신호 추출시스템(31)은 반향 제거기(300), 방향벡터 예측기(100) 및 빔포밍기(200)를 포함할 수 있다. 반향 제거기(300)는 가중된 공분산 생성기(310), 가중된 상관 벡터 생성기(320), 반향제거 필터 생성기(330) 및 반향 제거된 신호 생성기(340)를 포함할 수 있다. 반향 제거기(300)는 시간에 따른 주파수별 과거 입력결과들(XPS) 및 반향 제거된 입력결과들(DS)에 상응하는 출력결과들(OR)에 따라 결정되는 분산에 기초하여 가중된 공분산(WC)를 생성하고, 시간에 따른 주파수별 입력결과들(XS), 과거 입력결과들(XPS) 및 반향 제거된 입력결과들(DS)에 상응하는 출력결과들(OR)에 따라 결정되는 분산에 기초하여 가중된 상관 벡터(WV)를 생성하며, 가중된 공분산(WC) 및 가중된 상관 벡터(WV)에 기초하여 반향 제거 필터(DF)를 생성할 수 있으며, 입력결과들(XS), 과거 입력결과들(XPS) 및 반향 제거 필터(DF)에 기초하여 반향 제거된 입력결과들(DS)을 생성할 수 있다. 방향 벡터 예측기(100)는 시간에 따른 주파수별 반향 제거된 입력결과들(DS)에 따라 입력신호 공분산(IC)을 생성하고, 반향 제거된 입력결과들(DS)에 상응하는 출력결과들(OR)에 따라 결정되는 분산 및 미리 결정된 마스크(MSK)에 기초하여 노이즈 공분산(NC)을 생성하며, 입력신호 공분산(IC) 및 노이즈 공분산(NC)에 기초하여 방향 벡터(HV)를 생성할 수 있다. 빔포밍기(200)는 반향 제거된 입력결과들(DS) 및 분산에 따라 결정되는 빔포밍 공분산(BC) 및 방향 벡터(HV)에 따라 빔포밍 가중치(BFW)를 생성하고, 반향 제거된 입력결과들(DS) 및 빔포밍 가중치(BFW)에 기초하여 출력결과들(OR)을 제공할 수 있다.
본 발명에 따른 타겟신호 추출시스템(31)은 도 13 내지 16에서 설명되는 [수학식19] 내지 [수학식23] 및 [수학식25] 내지 [수학식27]의 내용이 동일하게 적용될 수 있다.
일 실시예에 있어서, 노이즈 공분산(NC) 및 빔포밍 공분산(BC)의 초기값은 반향 제거된 입력결과들(DS) 및 마스크(MSK)의 곱에 따라 결정될 수 있다. 예를 들어, 노이즈 공분산(NC) 및 빔포밍 공분산(BC)에서 사용되는 분산의 초기값은 아래의 [수학식30]과 같이 나타낼 수 있다.
[수학식30]
Figure pat00140
,
Figure pat00141
여기서
Figure pat00142
은 마스크,
Figure pat00143
는 반향제거된 입력결과들,
Figure pat00144
은 입력결과들의 채널 수일 수 있다.
일 실시예에 있어서, 노이즈 공분산(NC)의 반향 제거된 입력결과들(DS)은 반향 제거된 입력결과들(DS)과 마스크(MSK)의 곱으로 갱신될 수 있다. 예를 들어, 노이즈 공분산(NC)에서 사용되는 반향 제거된 입력결과들(DS)은 아래의 [수학식31]와 같이 갱신될 수 있다.
[수학식31]
Figure pat00145
여기서
Figure pat00146
은 마스크일 수 있다.
일 실시예에 있어서 마스크(MSK)는 프레임 인덱스 및 주파수 인덱스 별로 계산될 수 있다. 예를 들어, 신경망(Neural network) 혹은 분산도 (Diffuseness)에 기반하여 프레임 인덱스 및 주파수 인덱스 별 마스크가 계산될 수 있다.
일 실시예에 있어서, 노이즈 공분산(NC)은 분산 및 제1 상수값 중 큰 값에 따라 결정되고, 노이즈 공분산(NC)은 분산 및 제1 상수값 중 큰 값에 따라 노말라이제이션(Normalization)될 수 있다.
일 실시예에 있어서, 빔포밍 공분산(BC)은 분산 및 제2 상수값 중 큰 값에 따라 결정되고, 타겟신호 추출시스템(31)은 반향 제거 필터(DF) 및 빔포밍 가중치(BFW)가 수렴할 때까지 반향 제거기(300) 및 방향 벡터 예측기(100) 및 빔포밍기(200)를 반복적으로 동작시킬 수 있다.
도 20 내지 23은 본 발명의 실시예들에 따른 온라인 타겟신호 추출장치의 예들을 나타내는 나타내는 도면이고, 도 21은 도 20의 온라인 타겟신호 추출장치에 포함되는 반향 제거기의 일 예를 나타내는 도면이고, 도 22는 도 20의 온라인 타겟신호 추출장치에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이고, 도 23은 도 20의 온라인 타겟신호 추출장치에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
도 20 내지 23을 참조하면, 본 발명의 실시예에 따른 온라인 타겟신호 추출장치(40)는 반향 제거기(300), 방향 벡터 예측기(100) 및 빔포밍기(200)를 포함할 수 있다. 반향 제거기(300)는 이득 벡터 생성기(350), 가중된 역 공분산 생성기(360), 반향제거 필터 생성기(330) 및 반향제거 신호 생성기(340)를 포함할 수 있다.
반향 제거기(300)는 현재프레임에 상응하는 현재프레임 입력결과들(C_XS), 현재프레임 과거 입력결과들(C_XPS) 및 이전프레임에 상응하는 이전프레임 반향제거 필터(P_DF)에 기초하여 현재프레임 반향제거 출력 추정값(C_EDS)을 생성하고, 이전프레임에 상응하는 이전프레임 분산(P_V) 및 현재프레임 반향제거 출력 추정값(C_EDS)에 기초하여 현재프레임 반향제거 분산 추정값을 생성하고, 이전프레임에 상응하는 이전프레임 가중된 역 공분산(P_IWC), 현재프레임 반향제거 출력 추정값(C_EDS) 및 현재프레임 과거 입력결과들(C_XPS)에 기초하여 현재프레임 이득 벡터(C_GV)를 생성하며, 이전프레임 가중된 역 공분산(P_IWC), 현재프레임 과거 입력결과들(C_XPS) 및 현재프레임 이득 벡터(C_GV)에 기초하여 현재프레임 가중된 역 공분산(C_IWC)를 생성하며, 현재프레임 이득 벡터(C_GV), 현재프레임 과거 입력결과들(C_XPS) 및 이전프레임에 상응하는 이전프레임 반향 제거 필터(P_DF)에 기초하여 현재프레임에 상응하는 현재프레임 반향 제거 필터(C_DF)를 생성하고, 현재프레임 입력결과들(C_XS), 현재프레임 과거 입력결과들(C_XPS) 및 현재프레임 반향 제거 필터(C_DF)에 기초하여 현재프레임 반향 제거된 입력결과들(C_DS)을 생성할 수 있다.
예를 들어, 이득 벡터 생성기(350)는 현재프레임 입력결과들(C_XS) 및 현재프레임 과거 입력결과들(C_XPS) 및 이전프레임 반향 제거 필터(P_DF)에 기초하여 현재프레임 반향제거 출력 추정값(C_EDS)을 생성할 수 있다.
현재프레임 반향제거 출력 추정값(C_EDS)은 아래의 [수학식32]와 같이 나타낼 수 있다.
[수학식32]
Figure pat00147
여기서,
Figure pat00148
는 현재프레임 반향제거 출력 추정값,
Figure pat00149
는 현재프레임 입력결과들,
Figure pat00150
는 이전프레임 반향 제거 필터,
Figure pat00151
는 현재프레임 과거 입력결과들일 수 있다.
또한, 이득 벡터 생성기(350)는 이전프레임 분산(P_V) 및 현재프레임 반향제거 출력 추정값(C_EDS)에 기초하여 현재프레임 반향제거 분산 추정값을 생성할 수 있다.
현재프레임 반향제거 분산 추정값은 아래의 [수학식33]과 같이 나타낼 수 있다.
[수학식33]
Figure pat00152
여기서,
Figure pat00153
는 현재프레임 반향제거 분산 추정값,
Figure pat00154
는 이전프레임 분산,
Figure pat00155
는 가중치,
Figure pat00156
는 제4 상수값일 수 있다.
또한, 이득 벡터 생성기(350)는 이전프레임 가중된 역 공분산(P_IWC), 현재프레임 과거 입력결과들(C_XPS) 및 현재프레임 분산 추정값에 기초하여 현재프레임 이득 벡터(C_GV)를 생성할 수 있다.
현재프레임 이득 벡터(C_GV)는 아래의 [수학식34]와 같이 나타낼 수 있다.
[수학식34]
Figure pat00157
여기서,
Figure pat00158
는 현재프레임 이득 벡터,
Figure pat00159
는 이전프레임 가중된 역 공분산(P_IWC),
Figure pat00160
는 현재프레임 과거 입력결과들일 수 있다.
가중된 역 공분산 생성기(360)는 이전프레임 가중된 역 공분산(P_IWC), 현재프레임 과거 입력결과들(P_XPS) 및 현재프레임 이득 벡터(C_GV)에 기초하여 현재프레임 가중된 역 공분산(C_IWC)를 생성할 수 있다.
현재프레임 가중된 역 공분산(C_IWC)은 아래의 [수학식35]과 같이 나타낼 수 있다.
[수학식35]
Figure pat00161
여기서,
Figure pat00162
는 현재프레임 가중된 역 공분산,
Figure pat00163
는 현재프레임 과거 입력결과들,
Figure pat00164
은 망각 인자일 수 있다.
반향제거 필터 생성기(330)는 이전프레임 반향 제거 필터(P_DF), 현재프레임 반향제거 출력 추정값(C_EDS) 및 현재프레임 과거 입력결과들(C_XPS)에 기초하여 현재프레임 반향 제거 필터(C_DF)를 생성할 수 있다.
현재프레임 반향 제거 필터(C_DF)는 아래의 [수학식36]과 같이 나타낼 수 있다.
[수학식36]
Figure pat00165
여기서,
Figure pat00166
는 현재프레임 반향 제거 필터,
Figure pat00167
는 이전프레임 반향 제거 필터,
Figure pat00168
는 현재프레임 이득 벡터,
Figure pat00169
는 현재프레임 반향제거 출력 추정값일 수 있다.
반향제거 신호 생성기(340)는 현재프레임 입력결과들(C_XS), 현재프레임 반향 제거 필터(C_DF) 및 현재프레임 과거 입력결과들(C_XPS)에 기초하여 현재프레임 반향 제거된 입력결과들(C_DS)를 생성할 수 있다.
현재프레임 반향 제거된 입력결과들(C_DS)는 아래의 [수학식37]과 같이 나타낼 수 있다.
[수학식37]
Figure pat00170
여기서,
Figure pat00171
는 현재프레임 반향 제거된 입력결과들,
Figure pat00172
는 현재프레임 반향 제거 필터일 수 있다.
방향 벡터 예측기(100)는 이전프레임에 상응하는 이전프레임 입력신호 공분산(P_IC) 및 현재 프레임에 따른 주파수별 현재프레임 반향 제거된 입력결과들(C_DS)에 기초하여 생성되는 현재프레임 입력신호 공분산(C_IC)을 생성하고, 현재프레임 반향 제거된 입력결과들(C_DS) 및 이전프레임 빔포밍 가중치(P_BFW)에 기초하여 현재프레임 분산 추정값을 생성하고, 이전프레임에 상응하는 이전프레임 노이즈 공분산(P_NC) 및 현재프레임 분산 추정값에 기초하여 현재프레임 노이즈 공분산(C_NC)을 생성하며, 현재프레임 입력신호 공분산(C_IC), 현재프레임 노이즈 공분산(C_NC) 및 이전프레임 방향 벡터(P_HV)에 기초하여 현재프레임 방향 벡터(C_HV)를 생성할 수 있다.
예를 들어, 입력신호 공분산 생성기(110)는 이전프레임에 상응하는 이전프레임 입력신호 공분산(P_IC) 및 현재 프레임에 따른 주파수별 현재프레임 반향 제거된 입력결과들(C_DS)에 기초하여 생성되는 현재프레임 입력신호 공분산(C_IC)을 생성할 수 있다.
현재프레임 입력신호 공분산(C_IC)은 아래의 [수학식37]와 같이 나타낼 수 있다.
[수학식37]
Figure pat00173
여기서,
Figure pat00174
은 현재프레임 입력신호 공분산,
Figure pat00175
은 이전프레임 입력신호 공분산,
Figure pat00176
은 망각 인자, l은 프레임 인덱스, k는 주파수 인덱스,
Figure pat00177
는 현재프레임 반향 제거된 입력결과들일 수 있다.
또한, 노이즈 공분산 생성기(120)는 이전프레임에 상응하는 이전프레임 노이즈 공분산(P_NC) 및 주파수별 현재프레임 반향 제거된 입력결과들(C_DS)과 이전프레임에 입력결과들에 상응하는 이전프레임 빔포밍 가중치(P_BFW)에 따라 생성되는 현재프레임 분산 추정값에 기초하여 현재프레임 노이즈 공분산(C_NC)을 생성할 수 있다.
현재프레임 노이즈 공분산(C_NC)은 아래의 [수학식38]과 같이 나타낼 수 있다.
[수학식38]
Figure pat00178
,
Figure pat00179
여기서,
Figure pat00180
은 현재프레임 노이즈 공분산,
Figure pat00181
은 망각 인자,
Figure pat00182
은 이전프레임 노이즈 공분산,
Figure pat00183
는 현재프레임 분산 추정값,
Figure pat00184
는 현재프레임 추정 출력결과들,
Figure pat00185
는 이전프레임 빔포밍 가중치,
Figure pat00186
는 현재프레임 반향 제거된 입력결과들,
Figure pat00187
는 제3 상수값일 수 있다.
또한, 벡터 생성기(130)는 현재프레임 입력신호 공분산(C_IC) 및 현재프레임 노이즈 공분산(C_NC)에 기초하여 현재프레임 방향 벡터(C_HV)를 생성할 수 있으며, 도 7 내지 9에서 설명되는 [수학식13]의 내용이 동일하게 적용될 수 있다.
빔포밍기(200)는 이전프레임 빔포밍 가중치(P_BFW), 현재프레임 반향 제거된 입력결과들(C_DS) 및 이전프레임 분산(P_V)에 따라 현재프레임 빔포밍 분산 추정값을 생성하고, 이전프레임 역 공분산(P_IBC), 현재프레임 반향 제거된 입력결과들(C_DS) 및 현재프레임 빔포밍 분산 추정값에 기초하여 현재프레임 빔포밍 역 공분산(C_IBC)을 생성하고, 현재프레임 빔포밍 역 공분산(C_IBC) 및 현재프레임 방향 벡터(C_HV)에 따라 현재프레임 빔포밍 가중치(C_BFW)를 생성하고, 현재프레임 반향 제거된 입력결과들(C_DS) 및 현재프레임 빔포밍 가중치(C_BFW)에 기초하여 현재프레임 출력결과들(C_OR)을 제공할 수 있다.
예를 들어, 빔포밍기(200)는 빔포밍 가중치 생성기(210) 및 출력생성기(220)를 포함할 수 있다. 빔포밍 가중치 생성기(210)는 현재프레임 반향 제거된 입력결과들(C_DS), 이전프레임 빔포밍 가중치(P_BFW) 및 이전프레임 분산(P_V)에 따라 현재프레임 빔포밍 분산 추정값을 생성하고, 현재프레임 반향 제거된 입력결과들(C_DS) 및 이전프레임 빔포밍 역 공분산(P_IBC) 및 현재프레임 빔포밍 분산 추정값을 통해 현재프레임 빔포밍 역 공분산(C_IBC)을 생성하고, 현재프레임 빔포밍 역 공분산(C_IBC) 및 현재프레임 방향 벡터(C_HV)에 따라 현재프레임 빔포밍 가중치(C_BFW)를 생성할 수 있다.
현재프레임 빔포밍 분산 추정값은 도 7 내지 9에서 설명되는 [수학식14]의 내용이 동일하게 적용될 수 있다.
현재프레임 빔포밍 가중치(C_BFW)는 아래의 [수학식39]과 같이 나타낼 수 있다.
[수학식39]
Figure pat00188
,
Figure pat00189
여기서,
Figure pat00190
는 현재프레임 빔포밍 가중치,
Figure pat00191
는 이전프레임 빔포밍 역 공분산,
Figure pat00192
는 현재프레임 방향 벡터,
Figure pat00193
는 현재프레임 빔포밍 역 공분산,
Figure pat00194
는 현재프레임 반향 제거된 입력결과들일 수 있다.
출력생성기(220)는 현재프레임 반향 제거된 입력결과들(C_DS) 및 현재프레임 빔포밍 가중치(C_BFW)에 기초하여 현재프레임 출력결과들(C_OR)을 제공할 수 있다.
출력결과들은 아래의 [수학식40]와 같이 나타낼 수 있다.
[수학식40]
Figure pat00195
여기서,
Figure pat00196
는 현재프레임 출력결과들,
Figure pat00197
는 현재프레임 분산,
Figure pat00198
는 현재프레임 반향 제거된 입력결과들일 수 있다.
일 실시예에 있어서, 현재프레임 노이즈 공분산(C_NC)은 현재프레임 분산 추정값에 의해 노말라이제이션(Normalization) 될 수 있다. 본 발명에 따른 온라인 타겟신호 추출장치(40)는 현재프레임 입력결과들(C_XS)에 상응하는 현재프레임 출력결과들(C_OR)에 따라 결정되는 현재프레임 분산 추정값에 기초하여 현재프레임 이득 벡터(C_GV)를 생성하고, 현재프레임 반향 제거 필터(C_DF)를 계산하여 현재프레임 반향 제거된 입력결과들(C_DS)을 생성하고, 현재 프레임 노이즈 공분산(C_NC)을 계산하여 현재프레임 방향 벡터(C_HV)를 생성하고, 현재프레임 빔포밍 가중치(C_BFW)를 업데이트함으로써 타겟음원에 대한 추출성능을 높일 수 있다.
도 24 내지 26은 본 발명의 실시예들에 따른 온라인 타겟신호 추출시스템을 나타내는 도면이고, 도 25는 도 24의 온라인 타겟신호 추출시스템에 포함되는 방향 벡터 예측기의 일 예를 나타내는 도면이고, 도 26은 도 24의 온라인 타겟신호 추출시스템에 포함되는 빔포밍기의 일 예를 나타내는 도면이다.
도 20 내지 26을 참조하면, 본 발명의 실시예에 따른 온라인 타겟신호 추출시스템(41)은 반향 제거기(300), 방향 벡터 예측기(100) 및 빔포밍기(200)를 포함할 수 있다. 반향 제거기(300)는 이득 벡터 생성기(350), 가중된 역 공분산 생성기(360), 반향제거 필터 생성기(330) 및 반향제거 신호 생성기(340)를 포함할 수 있다.
반향 제거기(300)는 현재프레임에 상응하는 현재프레임 입력결과들(C_XS), 현재프레임 과거 입력결과들(C_XPS) 및 이전프레임에 상응하는 이전프레임 반향제거 필터(P_DF)에 기초하여 현재프레임 반향제거 출력 추정값(C_EDS)을 생성하고, 이전프레임에 상응하는 이전프레임 분산(P_V) 및 반향제거 출력 추정값(C_EDS)에 기초하여 현재프레임 반향제거 분산 추정값을 생성하고, 이전프레임에 상응하는 이전프레임 가중된 역 공분산(P_IWC), 현재프레임 반향제거 출력 추정값(C_EDS) 및 현재프레임 과거 입력결과들(C_XPS)에 기초하여 현재프레임 이득 벡터(C_GV)를 생성하며, 이전프레임 가중된 역 공분산(P_IWC), 현재프레임 과거 입력결과들(C_XPS) 및 현재프레임 이득 벡터(C_GV)에 기초하여 현재프레임 가중된 역 공분산(C_IWC)을 생성하며, 현재프레임 이득 벡터(C_GV), 현재프레임 과거 입력결과들(C_XPS) 및 이전프레임에 상응하는 이전프레임 반향 제거 필터(P_DF)에 기초하여 현재프레임에 상응하는 현재프레임 반향 제거 필터(C_DF)를 생성하고, 현재프레임 입력결과들(C_XS), 현재프레임 과거 입력결과들(C_XPS) 및 현재프레임 반향 제거 필터(C_DF)에 기초하여 현재프레임 반향 제거된 입력결과들(C_DS)를 생성할 수 있다.
방향 벡터 예측기(100)는 이전프레임에 상응하는 이전프레임 입력신호 공분산(P_IC) 및 현재 프레임에 따른 주파수별 현재프레임 반향 제거된 입력결과들(C_DS)에 기초하여 생성되는 현재프레임 입력신호 공분산(C_IC)을 생성하고, 이전프레임에 상응하는 이전프레임 노이즈 공분산(P_NC), 현재프레임 반향 제거된 입력결과들(C_DS) 및 미리 결정된 마스크를 통해 생성된 현재프레임 분산 추정값에 기초하여 현재프레임 노이즈 공분산(C_NC)을 생성하며, 현재프레임 입력신호 공분산(C_IC), 현재프레임 노이즈 공분산(C_NC) 및 이전프레임 방향 벡터(P_HV)에 기초하여 현재프레임 방향 벡터(C_HV)를 생성할 수 있다.
빔포밍기(200)는 이전프레임 빔포밍 가중치(P_BFW) 및 현재프레임 반향 제거된 입력결과들(C_DS), 이전프레임 분산 및 미리 결정된 마스크에 따라 현재프레임 빔포밍 분산 추정값을 생성하고, 이전프레임 역 공분산(P_IBC), 현재프레임 반향 제거된 입력결과들(C_DS) 및 현재프레임 빔포밍 분산 추정값에 따라 결정되는 현재프레임 빔포밍 역 공분산(C_IBC)을 생성하고, 현재프레임 방향 벡터(C_HV) 및 현재프레임 빔포밍 역 공분산(C_IBC)에 따라 현재프레임 빔포밍 가중치(C_BFW)를 생성하고, 현재프레임 반향 제거된 입력결과들(C_DS) 및 현재프레임 빔포밍 가중치(C_BFW)에 기초하여 현재프레임 출력결과들(C_OR)을 제공할 수 있다.
본 발명에 따른 타겟신호 추출시스템(41)은 도 7내지 9에서 설명되는 [수학식13] 내지 [수학식14] 및 도 20 내지 23에서 설명되는 [수학식32] 내지 [수학식37] 및 [수학식39]의 내용이 동일하게 적용될 수 있다.
일 실시예에 있어서, 현재프레임 노이즈 공분산(C_NC)은 이전프레임 노이즈 공분산(P_NC) 및 현재프레임 반향 제거된 입력결과들(C_DS) 및 미리 결정된 마스크를 통해 생성된 현재프레임 분산 추정값에 기초하여 생성될 수 있다. 예를 들어, 현재프레임 노이즈 공분산(C_NC)은 아래의 [수학식41]와 같이 나타낼 수 있다.
[수학식41]
Figure pat00199
,
Figure pat00200
여기서,
Figure pat00201
은 현재프레임 노이즈 공분산,
Figure pat00202
는 마스크,
Figure pat00203
은 망각 인자,
Figure pat00204
은 이전프레임 노이즈 공분산,
Figure pat00205
는 현재프레임 분산 추정값,
Figure pat00206
는 현재프레임 반향 제거된 입력결과들,
Figure pat00207
는 제3 상수값일 수 있다.
일 실시예에 있어서, 현재프레임 빔포밍 분산 추정값은 이전프레임 빔포밍 가중치(P_BFW), 현재프레임 반향 제거된 입력결과들(C_DS), 이전프레임 분산(P_V) 및 미리 결정된 마스크에 기초하여 생성될 수 있다. 예를 들어, 현재프레임 빔포밍 분산 추정값은 아래의 [수학식 42]와 같이 나타낼 수 있다.
[수학식 42]
Figure pat00208
여기서
Figure pat00209
는 현재 프레임 추정 출력결과들,
Figure pat00210
는 이전프레임 빔포밍 가중치,
Figure pat00211
는 현재프레임 반향 제거된 입력결과들,
Figure pat00212
는 마스크,
Figure pat00213
는 현재프레임 빔포밍 분산 추정값,
Figure pat00214
는 이전프레임 분산,
Figure pat00215
는 가중치,
Figure pat00216
는 제4 상수값일 수 있다.
위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
10: 타겟신호 추출장치 100: 방향 벡터 예측기
200: 빔포밍기 110: 입력신호 공분산 생성기
120: 노이즈 공분산 생성기 130: 벡터 생성기
210: 빔포밍 가중치 생성기 220: 출력생성기
300: 반향 제거기 310: 가중된 공분산 생성기
320: 가중된 상관 벡터 생성기 330: 반향제거 필터 생성기
340: 반향 제거된 신호 생성기 350: 이득 벡터 생성기
360: 가중된 역 공분산 생성기

Claims (18)

  1. 시간에 따른 주파수별 입력결과들에 따라 입력신호 공분산을 생성하고, 상기 입력결과들에 상응하는 출력결과들에 따라 결정되는 분산에 기초하여 노이즈 공분산을 생성하며, 상기 입력신호 공분산 및 상기 노이즈 공분산에 기초하여 방향 벡터를 생성하는 방향 벡터 예측기; 및
    상기 분산에 따라 결정되는 빔포밍 공분산 및 상기 방향 벡터에 따라 빔포밍 가중치를 생성하고, 상기 입력결과들 및 상기 빔포밍 가중치에 기초하여 상기 출력결과들을 제공하는 빔포밍기를 포함하는 타겟신호 추출장치.
  2. 제1항에 있어서,
    상기 노이즈 공분산 및 빔포밍 공분산의 초기값은 상기 입력결과들에 기초하여 결정되는 것을 특징으로 하는 타겟신호 추출장치.
  3. 제2항에 있어서,
    상기 노이즈 공분산은 상기 분산 및 제1 상수값 중 큰 값에 따라 결정되는 것을 특징으로 하는 타겟신호 추출장치.
  4. 제3항에 있어서,
    상기 노이즈 공분산은 상기 분산 및 상기 제1 상수값 중 큰 값에 따라 노말라이제이션(Normalization)되는 것을 특징으로 하는 타겟신호 추출장치.
  5. 제4항에 있어서,
    상기 빔포밍 공분산은 상기 분산 및 제2 상수값 중 큰 값에 따라 결정되는 것을 특징으로 하는 타겟신호 추출장치.
  6. 제5항에 있어서,
    상기 타겟신호 추출장치는 상기 빔포밍 가중치가 수렴할 때까지 상기 방향 벡터 예측기 및 상기 빔포밍기를 반복적으로 동작시키는 것을 특징으로 하는 타겟신호 추출장치.
  7. 시간에 따른 주파수별 입력결과들에 따라 입력신호 공분산을 생성하고, 상기 입력결과들에 상응하는 출력결과들에 따라 결정되는 분산 및 미리 결정된 마스크에 기초하여 노이즈 공분산을 생성하며, 상기 입력신호 공분산 및 상기 노이즈 공분산에 기초하여 방향 벡터를 생성하는 방향 벡터 예측기; 및
    상기 분산에 따라 결정되는 빔포밍 공분산 및 상기 방향 벡터에 따라 빔포밍 가중치를 생성하고, 상기 입력결과들 및 상기 빔포밍 가중치에 기초하여 상기 출력결과들을 제공하는 빔포밍기를 포함하는 타겟신호 추출시스템.
  8. 제7항에 있어서,
    상기 노이즈 공분산의 초기값은 상기 입력결과들 및 상기 마스크의 곱에 따라 결정되는 것을 특징으로 하는 타겟신호 추출시스템.
  9. 제8항에 있어서,
    상기 노이즈 공분산은 상기 분산 및 제1 상수값 중 큰 값에 따라 결정되고,
    상기 노이즈 공분산은 상기 분산 및 상기 제1 상수값 중 큰 값에 따라 노말라이제이션(Normalization)되는 것을 특징으로 하는 타겟신호 추출시스템.
  10. 제9항에 있어서,
    상기 빔포밍 공분산은 상기 분산 및 제2 상수값 중 큰 값에 따라 결정되고,
    상기 타겟신호 추출장치는 상기 빔포밍 가중치가 수렴할 때까지 상기 방향 벡터 예측기 및 상기 빔포밍기를 반복적으로 동작시키는 것을 특징으로 하는 타겟신호 추출시스템.
  11. 이전프레임에 상응하는 이전프레임 입력신호 공분산 및 현재 프레임에 따른 주파수별 현재프레임 입력결과들에 기초하여 생성되는 현재프레임 입력신호 공분산을 생성하고, 상기 현재프레임 입력결과들 및 이전프레임 빔포밍 가중치에 기초하여 현재프레임 분산 추정값을 생성하고, 이전프레임에 상응하는 이전프레임 노이즈 공분산 및 현재프레임 분산 추정값에 기초하여 현재프레임 노이즈 공분산을 생성하며, 현재프레임 입력신호 공분산 및 현재프레임 노이즈 공분산 및 이전프레임 방향 벡터에 기초하여 현재프레임 방향 벡터를 생성하는 방향 벡터 예측기; 및
    상기 이전프레임 빔포밍 가중치, 상기 현재프레임 입력결과들, 이전프레임 분산에 따라 현재프레임 빔포밍 분산 추정값을 생성하고, 이전프레임 역 공분산, 상기 현재프레임 입력결과들, 상기 현재프레임 빔포밍 분산 추정값에 기초하여 현재프레임 빔포밍 역 공분산을 생성하고, 상기 현재프레임 빔포밍 역 공분산 및 상기 현재프레임 방향 벡터에 따라 현재프레임 빔포밍 가중치를 생성하고, 상기 현재프레임 입력결과들 및 상기 현재프레임 빔포밍 가중치에 기초하여 현재프레임 출력결과들을 제공하는 빔포밍기를 포함하는 온라인 타겟신호 추출장치.
  12. 제11항에 있어서,
    상기 현재프레임 노이즈 공분산은 현재프레임 분산 추정값에 의해 노말라이제이션(Normalization)되는 것을 특징으로 하는 온라인 타겟신호 추출장치.
  13. 이전프레임에 상응하는 이전프레임 입력신호 공분산 및 현재 프레임에 따른 주파수별 현재프레임 입력결과들에 기초하여 생성되는 현재프레임 입력신호 공분산을 생성하고, 상기 이전프레임에 상응하는 이전프레임 노이즈 공분산, 상기 현재프레임 입력결과들 및 미리 결정된 마스크를 통해 생성된 현재프레임 분산 추정값에 기초하여 현재프레임 노이즈 공분산을 생성하며, 상기 현재프레임 입력신호 공분산, 상기 현재프레임 노이즈 공분산 및 이전프레임 방향 벡터에 기초하여 현재프레임 방향 벡터를 생성하는 방향 벡터 예측기; 및
    이전프레임 빔포밍 가중치, 상기 현재프레임 입력결과들, 이전프레임 분산 및 상기 미리 결정된 마스크에 따라 현재프레임 빔포밍 분산 추정값을 생성하고, 이전프레임 역 공분산, 상기 현재프레임 입력결과들 및 상기 현재프레임 빔포밍 분산 추정값에 따라 결정되는 현재프레임 빔포밍 역 공분산을 생성하고, 상기 현재프레임 방향 벡터 및 상기 현재프레임 빔포밍 역 공분산에 따라 현재프레임 빔포밍 가중치를 생성하고, 상기 현재프레임 입력결과들 및 상기 현재프레임 빔포밍 가중치에 기초하여 현재프레임 출력결과들을 제공하는 빔포밍기를 포함하는 온라인 타겟신호 추출시스템.
  14. 시간에 따른 주파수별 과거 입력결과들, 입력결과들 및 출력결과들에 기초하여 반향 제거된 입력결과들을 제공하는 반향 제거기;
    상기 반향 제거된 입력결과들에 따라 입력신호 공분산을 생성하고, 상기 반향 제거된 입력결과들에 상응하는 출력결과들에 따라 결정되는 분산에 기초하여 노이즈 공분산을 생성하며, 상기 입력신호 공분산 및 상기 노이즈 공분산에 기초하여 방향 벡터를 생성하는 방향 벡터 예측기; 및
    상기 분산에 따라 결정되는 빔포밍 공분산 및 상기 방향 벡터에 따라 빔포밍 가중치를 생성하고, 상기 반향 제거된 입력결과들 및 상기 빔포밍 가중치에 기초하여 상기 출력결과들을 제공하는 빔포밍기를 포함하는 타겟신호 추출장치.
  15. 제14항에 있어서,
    상기 반향 제거기는,
    시간에 따른 주파수별 상기 과거 입력결과들 및 상기 반향 제거된 입력결과들에 상응하는 상기 출력결과들에 따라 결정되는 분산에 기초하여 가중된 공분산을 제공하는 가중된 공분산 생성기;
    상기 시간에 따른 주파수별 상기 입력결과들 및 상기 과거 입력결과들 및 상기 반향 제거된 입력결과들에 상응하는 상기 출력결과들에 따라 결정되는 분산에 기초하여 가중된 상관 벡터를 제공하는 가중된 상관 벡터 생성기;
    상기 가중된 공분산 및 상기 가중된 상관 벡터에 기초하여 반향 제거 필터를 생성하는 반향제거 필터 생성기; 및
    상기 입력결과들 및 상기 과거 입력결과들 및 상기 반향 제거 필터에 기초하여 상기 반향 제거된 입력결과들을 생성하는 반향 제거된 신호 생성기를 포함하는 것을 특징으로 하는 타겟신호 추출장치.
  16. 시간에 따른 주파수별 과거 입력결과들, 입력결과들 및 출력결과들에 기초하여 반향 제거된 입력결과들을 제공하는 반향 제거기;
    상기 반향 제거된 입력결과들에 따라 입력신호 공분산을 생성하고, 상기 반향 제거된 입력결과들에 상응하는 출력결과들에 따라 결정되는 분산 및 미리 결정된 마스크에 기초하여 노이즈 공분산을 생성하며, 상기 입력신호 공분산 및 노이즈 공분산에 기초하여 방향 벡터를 생성하는 방향 벡터 예측기; 및
    상기 반향 제거된 입력결과들 및 분산에 따라 결정되는 빔포밍 공분산 및 상기 방향 벡터에 따라 빔포밍 가중치를 생성하고, 상기 반향 제거된 입력결과들 및 상기 빔포밍 가중치에 기초하여 출력결과들을 제공하는 빔포밍기를 포함하는 타겟신호 추출 시스템.
  17. 현재프레임에 상응하는 현재프레임 입력결과들, 현재프레임 과거 입력결과들에 기초하여 반향 제거된 입력결과들을 생성하는 반향 제거기;
    이전프레임에 상응하는 이전프레임 입력신호 공분산 및 현재프레임의 상기 반향 제거된 입력결과들에 기초하여 생성되는 현재프레임 입력신호 공분산을 생성하고, 현재프레임의 상기 반향 제거된 입력결과들 및 이전프레임 빔포밍 가중치에 기초하여 현재프레임 분산 추정값을 생성하고, 상기 이전프레임에 상응하는 이전프레임 노이즈 공분산 및 현재프레임 분산 추정값에 기초하여 현재프레임 노이즈 공분산을 생성하며, 상기 현재프레임 입력신호 공분산, 상기 현재프레임 노이즈 공분산 및 이전프레임 방향 벡터에 기초하여 현재프레임 방향 벡터를 생성하는 방향 벡터 예측기; 및
    이전프레임 빔포밍 가중치, 현재프레임의 상기 반향 제거된 입력결과들 및 이전프레임 분산에 따라 현재프레임 빔포밍 분산 추정값을 생성하고, 이전프레임 역 공분산, 현재프레임의 상기 반향 제거된 입력결과들 및 현재프레임 빔포밍 분산 추정값에 기초하여 현재프레임 빔포밍 역 공분산을 생성하고, 상기 현재프레임 빔포밍 역 공분산 및 상기 현재프레임 방향 벡터에 따라 현재프레임 빔포밍 가중치를 생성하고, 현재프레임의 상기 반향 제거된 입력결과들 및 현재프레임 빔포밍 가중치에 기초하여 현재프레임 출력결과들을 제공하는 빔포밍기를 포함하는 온라인 타겟신호 추출장치.
  18. 제17항에 있어서,
    상기 온라인 타겟신호 추출장치는,
    상기 방향 벡터 예측기 및 상기 빔포밍기에 미리 결정된 마스크를 추가하여 상기 현재프레임 출력결과들을 제공하는 것을 특징으로 하는 온라인 타겟신호 추출장치.
KR1020200058882A 2020-05-18 2020-05-18 강인음성인식을 위한 방향벡터 추정을 겸한 온라인 우도최대화를 이용한 빔포밍 방법 및 그 장치 KR20210142268A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200058882A KR20210142268A (ko) 2020-05-18 2020-05-18 강인음성인식을 위한 방향벡터 추정을 겸한 온라인 우도최대화를 이용한 빔포밍 방법 및 그 장치
US17/921,074 US20230178089A1 (en) 2020-05-18 2021-05-07 Beamforming method using online likelihood maximization combined with steering vector estimation for robust speech recognition, and apparatus therefor
PCT/KR2021/005759 WO2021235750A1 (ko) 2020-05-18 2021-05-07 강인음성인식을 위한 방향벡터 추정을 겸한 온라인 우도최대화를 이용한 빔포밍 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200058882A KR20210142268A (ko) 2020-05-18 2020-05-18 강인음성인식을 위한 방향벡터 추정을 겸한 온라인 우도최대화를 이용한 빔포밍 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20210142268A true KR20210142268A (ko) 2021-11-25

Family

ID=78708776

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200058882A KR20210142268A (ko) 2020-05-18 2020-05-18 강인음성인식을 위한 방향벡터 추정을 겸한 온라인 우도최대화를 이용한 빔포밍 방법 및 그 장치

Country Status (3)

Country Link
US (1) US20230178089A1 (ko)
KR (1) KR20210142268A (ko)
WO (1) WO2021235750A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014797A1 (ko) * 2022-07-14 2024-01-18 서강대학교산학협력단 강인한 음성인식을 위한 타겟 마스크 및 독립성분분석 기반의 실시간 빔포밍 및 방향 벡터 추정 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101133308B1 (ko) 2011-02-14 2012-04-04 신두식 에코제거 기능을 갖는 마이크로폰

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8175291B2 (en) * 2007-12-19 2012-05-08 Qualcomm Incorporated Systems, methods, and apparatus for multi-microphone based speech enhancement
KR102048370B1 (ko) * 2017-12-19 2019-11-25 서강대학교 산학협력단 우도 최대화를 이용한 빔포밍 방법
KR102236471B1 (ko) * 2018-01-26 2021-04-05 서강대학교 산학협력단 재귀적 최소 제곱 기법을 이용한 온라인 cgmm에 기반한 방향 벡터 추정을 이용한 음원 방향 추정 방법
KR102076760B1 (ko) * 2018-09-19 2020-02-12 한양대학교 산학협력단 다채널 마이크를 이용한 칼만필터 기반의 다채널 입출력 비선형 음향학적 반향 제거 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101133308B1 (ko) 2011-02-14 2012-04-04 신두식 에코제거 기능을 갖는 마이크로폰

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014797A1 (ko) * 2022-07-14 2024-01-18 서강대학교산학협력단 강인한 음성인식을 위한 타겟 마스크 및 독립성분분석 기반의 실시간 빔포밍 및 방향 벡터 추정 방법

Also Published As

Publication number Publication date
US20230178089A1 (en) 2023-06-08
WO2021235750A1 (ko) 2021-11-25

Similar Documents

Publication Publication Date Title
CN109686381B (zh) 用于信号增强的信号处理器和相关方法
EP3542547B1 (en) Adaptive beamforming
EP2237271B1 (en) Method for determining a signal component for reducing noise in an input signal
JP5678023B2 (ja) 高度に相関する混合のための強調ブラインド信号源分離アルゴリズム
EP2238592B1 (en) Method for reducing noise in an input signal of a hearing device as well as a hearing device
EP2308044B1 (en) Audio processing
EP2439958B1 (en) A method of determining parameters in an adaptive audio processing algorithm and an audio processing system
EP2675073B1 (en) Adaptive equalizer, acoustic echo canceller device, and active noise control device
Rombouts et al. Acoustic feedback cancellation for long acoustic paths using a nonstationary source model
JP4689269B2 (ja) 静的スペクトルパワー依存型音響強調システム
US11373667B2 (en) Real-time single-channel speech enhancement in noisy and time-varying environments
KR20190091061A (ko) 재귀적 최소 제곱 기법을 이용한 온라인 cgmm에 기반한 방향 벡터 추정을 이용한 음원 방향 추정 방법
KR20100003530A (ko) 전자기기에서 음성 신호의 잡음 제거 장치 및 방법
Strasser et al. Sub-band feedback cancellation with variable step sizes for music signals in hearing aids
KR20210142268A (ko) 강인음성인식을 위한 방향벡터 추정을 겸한 온라인 우도최대화를 이용한 빔포밍 방법 및 그 장치
Lee et al. Sparsity promoting LMS for adaptive feedback cancellation
US20230060081A1 (en) Signal processing device, signal processing method, and program
Strasser et al. Correlation detection for adaptive feedback cancellation in hearing aids
Gupta et al. Analysis of optimized spectral subtraction method for single channel speech enhancement
Schmid et al. An expectation-maximization algorithm for multichannel adaptive speech dereverberation in the frequency-domain
EP3225037B1 (en) Method and apparatus for generating a directional sound signal from first and second sound signals
Rombouts et al. Generalized sidelobe canceller based combined acoustic feedback-and noise cancellation
US20100272274A1 (en) Methods and systems for robust approximations of impulse reponses in multichannel audio-communication systems
US10692514B2 (en) Single channel noise reduction
Braun et al. Low complexity online convolutional beamforming

Legal Events

Date Code Title Description
E902 Notification of reason for refusal