KR101704510B1 - 사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량 - Google Patents

사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량 Download PDF

Info

Publication number
KR101704510B1
KR101704510B1 KR1020150127576A KR20150127576A KR101704510B1 KR 101704510 B1 KR101704510 B1 KR 101704510B1 KR 1020150127576 A KR1020150127576 A KR 1020150127576A KR 20150127576 A KR20150127576 A KR 20150127576A KR 101704510 B1 KR101704510 B1 KR 101704510B1
Authority
KR
South Korea
Prior art keywords
signal
interest
unit
mask
spatial
Prior art date
Application number
KR1020150127576A
Other languages
English (en)
Other versions
KR20160034192A (ko
Inventor
황윤일
김비호
박형민
Original Assignee
현대자동차주식회사
기아자동차주식회사
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사, 서강대학교산학협력단 filed Critical 현대자동차주식회사
Publication of KR20160034192A publication Critical patent/KR20160034192A/ko
Application granted granted Critical
Publication of KR101704510B1 publication Critical patent/KR101704510B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Mechanical Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)

Abstract

사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량에 관한 것으로, 사운드 신호 처리 장치는 입력 신호에 공간 필터를 적용하여 공간 필터링을 수행하여 관심 신호를 포함하는 필터링된 신호를 획득하는 공간 필터링부 및 상기 관심 신호 및 상기 관심 신호의 잡음 간의 공간 선택율을 이용하여 획득한 마스크를 상기 필터링된 신호에 적용하여 출력 신호를 획득하는 마스크 적용부를 포함할 수 있다.

Description

사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량{Method for enhancement of speech of interest, an apparatus for enhancement of speech of interest and a vehicle equipped with the apparatus}
사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량에 관한 것이다.
차량은 도로나 선로에서 하나 또는 둘 이상의 차륜을 회전시켜 특정한 방향으로 이동 가능한 이동 수단의 일종으로, 예를 들어 삼륜 또는 사륜 자동차, 모터사이클 등의 이륜 자동차, 원동기장치자전거, 건설 기계, 자전거 및 선로를 주행하는 열차 등을 포함할 수 있다.
차량에는 운전자 또는 동승자를 포함하는 사용자의 조작을 보조하기 위하여 음성을 인식함으로써 차량의 각종 부품이나 장치를 음성으로 제어 가능하게 하는 음성 인식 장치가 설치될 수 있다. 음성 인식 장치는 사용자의 발화에 기인한 음성을 인식할 수 있는 장치이다.
음성 인식 장치의 마이크로폰 등과 같이 음성 명령을 입력 받는 장치는 사용자의 음성 명령뿐만 아니라 주변의 각종 소음, 일례로 엔진 소리나 동승자의 잡담 등 역시 함께 입력 받을 수 있다. 따라서 사용자의 음성 명령만을 정확하게 별도로 추출할 수 있어야 음성 인식의 성능이 개선될 수 있다.
여러 신호가 혼합된 사운드로부터 각각의 신호의 분리 성능을 개선하면서 관심 사운드를 최대한 복원할 수 있는 사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량을 제공하는 것을 해결하고자 하는 과제로 한다.
공간 필터링(Spatial filtering)을 이용하여 사운드를 인식하는 경우 상대적으로 적은 연산량으로 정확하게 관심 사운드를 획득할 수 있는 사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량을 제공하는 것을 또 다른 해결하고자 하는 과제로 한다.
상기와 같은 과제를 해결하기 위하여 사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량이 제공된다.
사운드 신호 처리 장치는 입력 신호에 공간 필터를 적용하여 공간 필터링을 수행하여 관심 신호를 포함하는 필터링된 신호를 획득하는 공간 필터링부 및 상기 관심 신호 및 상기 관심 신호의 잡음 간의 공간 선택율을 이용하여 획득한 마스크를 상기 필터링된 신호에 적용하여 출력 신호를 획득하는 마스크 적용부를 포함할 수 있다.
상기 마스크 적용부는 상기 공간 필터를 이용하여 상기 관심 신호에 대한 지향 패턴 및 상기 관심 신호의 잡음의 지향 패턴을 연산하여 획득할 수 있다.
상기 마스크 적용부는 상기 관심 신호의 지향 패턴 및 상기 잡음의 지향 패턴을 이용하여 상기 공간 선택율을 결정할 수 있다.
상기 공간 선택율은 상기 관심 신호의 지향 패턴 및 상기 잡음의 지향 패턴의 비를 포함할 수 있다.
상기 관심 신호에 대한 지향 패턴은 하기의 수학식 1에 따라 연산될 수 있다.
[수학식 1]
Figure 112015087663213-pat00001
여기서 k는 주파수 빈(frequency bin)의 인덱스, q는 단위 노멀 방향 벡터, N은 입력 신호의 개수, Wi(k)는 i번째 신호에 대한 공간 필터, ωk는 k번째 빈에 대응하는 주파수, pi는 i번째 신호의 센서의 위치를 나타내는 벡터, pR은 참조 센서의 위치를 나타내는 벡터, c는 음속일 수 있다.
상기 잡음은 상기 관심 신호 내의 주된 잡음일 수 있다.
상기 필터링된 신호는 비관심 신호를 더 포함할 수 있다.
상기 공간 필터는 상기 입력 신호로부터 관심 신호를 획득 가능한 관심 신호 추출 필터 및 상기 입력 신호로부터 비관심 신호를 획득 가능한 관심 신호 저지 필터를 포함할 수 있다.
상기 마스크 적용부는 상기 관심 신호 추출 필터를 이용하여 상기 관심 신호의 지향 패턴 및 상기 관심 신호의 잡음의 지향 패턴을 연산하고, 상기 관심 신호의 지향 패턴 및 상기 잡음의 지향 패턴을 기초로 상기 공간 선택율을 결정할 수 있다.
상기 마스크 적용부는 상기 필터링된 신호의 관심 신호 및 비관심 신호 사이의 비를 이용하여 상기 마스크를 획득할 수 있다.
상기 마스크는 하기의 수학식 2에 따라 연산될 수 있다.
[수학식 2]
Figure 112015087663213-pat00002
여기서 k는 주파수 빈의 인덱스, τ는 프레임 인덱스, M(k,τ)은 k 및 τ에서의 마스크, R(k)는 공간 선택율, SNR(k,τ)은 관심 신호 및 비관심 신호 사이의 비를 의미하고, FR(τ)는 프레임에서의 관심 신호 및 비관심 신호 사이의 비의 역수일 수 있다.
사운드 신호 처리 장치는 상기 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하는 변환부를 더 포함할 수 있다.
상기 변환부는 푸리에 변환, 고속 푸리에 변환 또는 단시간 푸리에 변환을 이용하여 상기 입력 신호를 변환할 수 있다.
사운드 신호 처리 장치는 상기 출력 신호를 주파수 도메인에서 시간 도메인으로 역변환하는 역변환부를 더 포함할 수 있다.
상기 공간 필터링부는 빔 포밍 기법, 독립 성분 분석 기법, 독립 벡터 분석 기법 및 최소 거듭제곱 무왜곡 응답 기법 중 적어도 하나를 이용하여 공간 필터링을 수행할 수 있다.
사운드 신호 처리 방법은 입력 신호에 공간 필터를 적용하여 공간 필터링을 수행함으로써 관심 신호를 포함하는 필터링된 신호를 획득하는 단계, 상기 관심 신호 및 상기 관심 신호의 잡음 간의 공간 선택율을 이용하여 마스크를 획득하는 단계 및 상기 마스크를 상기 필터링된 신호에 적용하여 출력 신호를 획득하는 단계를 포함할 수 있다.
상기 마스크를 획득하는 단계는 상기 공간 필터를 이용하여 상기 관심 신호에 대한 지향 패턴 및 상기 관심 신호의 잡음의 지향 패턴을 연산하는 단계를 포함할 수 있다.
상기 마스크를 획득하는 단계는 상기 관심 신호의 지향 패턴 및 상기 잡음의 지향 패턴을 이용하여 상기 공간 선택율을 결정하는 단계를 더 포함할 수 있다.
상기 필터링된 신호는 비관심 신호를 더 포함할 수 있다.
상기 공간 필터는 상기 입력 신호로부터 관심 신호를 획득 가능한 관심 신호 추출 필터 및 상기 입력 신호로부터 비관심 신호를 획득 가능한 관심 신호 저지 필터를 포함할 수 있다.
상기 마스크를 획득하는 단계는 상기 관심 신호 추출 필터를 이용하여 상기 관심 신호의 지향 패턴 및 상기 관심 신호의 잡음의 지향 패턴을 연산하는 단계 및 상기 관심 신호의 지향 패턴 및 상기 잡음의 지향 패턴을 기초로 상기 공간 선택율을 결정하는 단계를 포함할 수 있다.
사운드 신호 처리 방법은 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하는 단계 및 상기 출력 신호를 주파수 도메인에서 시간 도메인으로 역변환하는 단계를 더 포함할 수 있다.
차량은 음을 입력받고 입력된 음에 상응하는 입력 신호를 출력하는 입력부, 상기 입력 신호에 공간 필터를 적용하여 상기 관심 신호를 포함하는 필터링된 신호를 획득하고, 상기 필터링된 신호의 관심 신호 및 상기 관심 신호의 잡음 간의 공간 선택율을 이용하여 마스크를 획득하고 획득한 마스크를 상기 필터링된 신호에 적용하여 출력 신호를 획득하는 신호 처리부 및 상기 출력 신호를 출력하는 출력부를 포함할 수 있다.
차량은 상기 출력 신호를 이용하여 차량의 부품 및 장치를 제어하는 제어부를 더 포함할 수 있다.
상기 필터링된 신호는 관심 신호 및 비관심 신호를 포함하고, 상기 공간 필터는 관심 신호 추출 필터 및 관심 신호 저지 필터를 포함할 수 있다.
상기 신호 처리부는 상기 관심 신호 추출 필터를 이용하여 상기 관심 신호의 지향 패턴 및 상기 관심 신호의 잡음의 지향 패턴을 연산하고, 상기 관심 신호의 지향 패턴 및 상기 잡음의 지향 패턴을 기초로 상기 공간 선택율을 결정할 수 있다.
상기 신호 처리부는 상기 필터링된 신호의 관심 신호 및 비관심 신호 사이의 비를 더 이용하여 상기 마스크를 획득할 수 있다.
상술한 사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량에 의하면, 사용자의 음성 명령뿐만 아니라 주변의 각종 소음과 같이 여러 신호가 혼합된 입력 사운드로부터 각각의 신호를 더욱 정확하게 분리할 수 있게 되면서 동시에 사용자의 음성 명령과 같은 관심 사운드를 최대한 복원할 수 있게 되는 효과를 얻을 수 있다.
상술한 사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량에 의하면, 공간 필터링을 이용하여 사운드를 인식하는 경우 상대적으로 적은 연산으로도 정확하게 관심 사운드를 획득할 수 있게 되어 적은 리소스로도 높은 효율성을 획득할 수 있는 효과도 얻을 수 있다.
상술한 사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량에 의하면, 사용자의 음성 명령을 더욱 정확하게 인식할 수 있게 되어 사용자의 음성 명령에 따라 더욱 정확하게 차량 내의 각 부품 및 장치를 제어할 수 있게 된다.
따라서 상술한 사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량에 의하면, 차량 내의 각 부품이 사용자가 의도하는 바에 따라 제어될 수 있어 음성 인식 장치의 신뢰성이 증진되고, 사용자의 편의성이 개선되며, 또한 보다 안전한 차량 운전이 가능해지는 효과도 얻을 수 있다.
도 1은 사운드 신호 처리 장치의 일 실시예에 대한 구성도이다.
도 2는 공간 필터부에 입력되는 신호를 설명하기 위한 도면이다.
도 3은 공간 필터부 및 마스크 적용부를 설명하기 위한 구성도이다.
도 4는 차량 내부 공간의 일 실시예를 도시한 도면이다.
도 5는 차량의 일 실시예에 대한 구성도이다.
도 6은 사운드 신호 처리 방법의 일 실시예에 대한 흐름도이다.
이하 도 1 내지 도 3을 참조하여 사운드 신호 처리 장치의 일 실시예에 대해서 설명한다.
도 1은 사운드 신호 처리 장치의 일 실시예에 대한 구성도이고, 도 2는 공간 필터부에 입력되는 신호를 설명하기 위한 도면이다. 도 3은 공간 필터부 및 마스크 적용부를 설명하기 위한 구성도이다.
도 1에 도시된 바를 참조하면, 사운드 신호 처리 장치(1)는, 입력부(10) 및 출력부(60)와 연결되어 데이터(x(t) 또는 s(t))를 송신 또는 수신할 수 있다. 사운드 신호 처리 장치(1)는 입력부(10) 및 출력부(60) 중 적어도 하나와, 각종 케이블로 구현 가능한 유선 통신을 이용하여 데이터(x(t) 또는 s(t))를 송신 또는 수신할 수도 있고, 입력부(10) 및 출력부(60) 중 적어도 하나와, 블루투스(Bluetooth), 와이파이(Wi-Fi; Wireless Fidelity), 근거리 장 통신(NFC; Near Field Communication) 또는 이동 통신 표준을 이용하는 무선 통신 기술을 이용하여 데이터(x(t) 또는 s(t))를 송신 또는 수신할 수도 있다. 또한 입력부(10), 사운드 신호 처리 장치(1) 및 출력부(60)는 동일한 인쇄 회로 기판에 설치될 수 있으며, 이 경우 인쇄 회로 기판에 설치된 회로에 의해 입력부(10) 및 출력부(60)와 사운드 신호 처리 장치(1) 사이의 데이터 통신이 매개될 수 있다.
입력부(10)는 외부의 사운드를 수신하고, 수신한 사운드에 상응하는 전기적 신호(x(t))를 출력할 수 있다. 입력부(10)는 마이크로폰(microphone) 또는 이에 상응하는 부품에 의해 구현될 수 있다. 입력부(10)는 외부의 사운드의 주파수에 따라 진동하고, 진동에 상응하는 전기적 신호를 출력하는 트랜스듀서(transducer) 등을 포함할 수 있다. 또한 입력부(10)는 출력된 전기적 신호를 증폭하기 위한 증폭기 및 출력된 전기적 신호의 아날로그-디지털 변환을 수행하는 아날로그 디지털 변환기 중 적어도 하나를 더 포함할 수도 있다.
입력부(10)에서 입력되는 외부의 사운드는 사용자의 음성 명령 등과 같이 관심 있는 사운드를 포함하는 원 관심 사운드와 사용자 이외 다른 사람들의 음성 명령이나 잡담 또는 차량 엔진 사운드 등과 같이 관심이 없는 비관심 사운드를 포함할 수 있다. 입력부(10)는 서로 상이한 마이크로폰을 통해 원 관심 사운드와 비관심 사운드를 각각 별도로 입력 받을 수도 있다. 원 관심 사운드는 사용자의 음성 명령에 혼합된 차량 엔진 사운드, 팬 회전 사운드나 에어컨의 송풍 사운드 등과 같이 다양한 원인에 기인한 잡음(Noise)을 더 포함할 수도 있다.
실시예에 따라서, 입력부(10)는 도 2에 도시된 바와 같이 둘 이상의 제1 입력부 내지 제n 입력부(11 내지 13)를 포함할 수도 있다. 이 경우 입력부(10)는 복수의 마이크로폰 또는 이에 상응하는 부품에 의해 구현될 수도 있다. 각각의 입력부(11 내지 13)는 원 관심 사운드 및/또는 원 비관심 사운드를 수신할 수 있다. 복수의 입력부(11 내지 13) 중 어느 하나의 제1 입력부(11)에만 원 관심 사운드가 입력될 수도 있고, 복수의 입력부, 예를 들어 제1 입력부(11) 및 제2 입력부(12)에, 동시에 또는 이시에 원 관심 사운드가 입력될 수도 있다. 또한 하나의 입력부, 예를 들어 제1 입력부(11)가 원 관심 사운드 및 원 비관심 사운드가 혼합된 사운드를 수신할 수도 있다. 각각의 입력부(11 내지 13)는 대응되는 변환부(21 내지 23)으로 입력 신호(x1(t) 내지 xn(t))를 출력하여 전달할 수 있다.
출력부(60)는 사운드 신호 처리 장치(1)에서 출력되고 원 관심 사운드에 대응되는 역변환된 신호(s(t))를 수신하고, 수신한 역변환된 신호(s(t))에 상응하는 사운드를 외부에 출력하여 제공할 수 있다. 출력부(60)는 스피커 등의 장치에 의해 구현될 수도 있다. 실시예에 따라서 출력부(60)는 생략될 수 있다. 예를 들어 역변환부(50)에서 역변환된 신호(s(t))를 기초로 장치를 제어하기 위한 제어 신호를 생성하는 경우라면, 출력부(60)는 생략되고, 장치의 제어와 관련된 프로세서가 출력부(60)를 대체할 수도 있다. 여기서 장치는 차량에 설치되거나 또는 설치 가능한 차량 내의 각종 부품 및 장치를 포함할 수 있으며, 프로세서는 차량 내의 각종 부품 및 장치를 제어하는 기능을 수행하기 위한 것일 수 있다.
사운드 신호 처리 장치(1)는 도 1에 도시된 바와 같이 변환부(20), 공간 필터링부(30), 마스크 적용부(40) 및 역변환부(50)를 포함할 수 있다. 이들 중 일부는 설계자의 선택에 따라 생략될 수도 있다. 또한 이들 구성 이외에 다른 구성이 설계자의 선택에 따라 더 추가될 수도 있다. 이와 같은 추가 및 생략은 통상의 기술자가 고려할 수 있는 범위 내에서 수행될 수도 있다.
입력부(10)에서 획득된 입력 신호(x(t))는 시간 도메인(time-domain) 신호일 수도 있다. 변환부(20)는 시간 도메인의 입력 신호(x(t))를 전달받고, 전달받은 시간 도메인의 입력 신호(x(t))에서 주파수 도메인(frequency domain)의 신호(x(k,τ))로 변환할 수 있다. 여기서 k는 주파수 빈(frequency bin)의 인덱스(index)를 의미하고, τ는 프레임(frame)의 인덱스(index)를 의미한다. 변환부(20)가 획득한 신호(x(k,τ))는 공간 필터링부(30)로 전달될 수 있다. 변환부(20)는 실시예에 따라 생략될 수도 있다.
일 실시예에 의하면 변환부(20)는 푸리에 변환(Fourier Transform), 고속 푸리에 변환(FFT; Fast Fourier Transform) 또는 단시간 푸리에 변환(STFT; Short-Time Fourier Transform) 등과 같은 다양한 변환 기법을 이용하여 시간 도메인의 입력 신호(x(t))를 주파수 도메인의 신호(x(k,τ))로 변환할 수 있다. 이외에도 변환부(20)는 공지된 다양한 변환 기법을 이용하여 입력 신호(x(t))를 주파수 도메인의 신호(x(k,τ))로 변환할 수 있다.
도 2에 도시된 바와 같이 복수의 입력부(11 내지 13)가 마련되면, 사운드 신호 처리 장치(1)는 복수의 입력부(11 내지 13)에 대응하는 복수의 변환부(21 내지 23)를 포함할 수 있다. 제1 변환부 내지 제n 변환부(21 내지 23)는 제1 입력부 내지 제n 입력부(11 내지 13)로부터 출력되는 입력 신호(x1(t) 내지 xn(t))를 각각 별도로 변환하여 복수의 변환된 신호(x1(k,τ) 내지 xn(k,τ))를 획득하고, 획득한 신호(x1(k,τ) 내지 xn(k,τ))를 공간 필터부(30)로 전달할 수 있다.
공간 필터링부(30)는 변환된 신호(x1(k,τ) 내지 xn(k,τ))를 이용하여 필터링된 신호(YTE(k,τ) 또는 YTR(k,τ))를 획득하고, 획득한 필터링된 신호(YTE(k,τ) 또는 YTR(k,τ))를 마스크 적용부(40)로 전달할 수 있다.
구체적으로 공간 필터링부(30)는 입력부(10)에서 출력되는 입력 신호(x(t)) 또는 변환부(20)에 출력되는 변환된 신호(x(k,τ))에 공간 필터(spatial filter)를 적용하여 공간 필터링을 수행할 수 있으며, 공간 필터링 수행 결과 필터링된 신호를 획득할 수 있다. 여기서 필터링된 신호는 관심 신호(YTE(k,τ))를 포함할 수 있으며, 또한 비관심 신호(YTR(k,τ))를 더 포함할 수도 있다.
공간 필터링부(30)는 도 3에 도시된 바와 같이 관심 신호 추출 필터(31, target-extraction ?lter) 및 관심 신호 저지 필터(32, target rejection ?lter)를 포함할 수 있다. 공간 필터링부(30)는 입력된 신호(x1(k,τ) 내지 xn(k,τ))에 관심 신호 추출 필터(31)를 적용하여 관심 신호(YTE(k,τ))를 획득할 수 있다. 또한 공간 필터링부(30)는 입력된 신호(x1(k,τ) 내지 xn(k,τ))에 관심 신호 저지 필터(32)를 적용하여 비관심 신호(YTR(k,τ))를 획득할 수 있다.
공간 필터링부(30)는 실시예에 따라서 기존의 다양한 빔 포밍(beam-forming) 기법, 독립 성분 분석(ICA; Independent Component Analysis) 기법, 독립 벡터 분석(IVA; Independent Vector Analyis) 기법 및 최소 거듭제곱 무왜곡 응답(MPDR; Minimum power distortionless response) 기법 중 적어도 하나를 이용하여 공간 필터링을 수행하고, 공간 필터링 수행 결과 관심 신호(YTE(k,τ)) 또는 비관심 신호(YTR(k,τ))를 획득할 수 있다.
빔 포밍 기법은 수신하여 입력된 복수 채널의 신호 사이의 시간 차를 보정하고, 보정된 복수의 채널의 신호를 집속하여 출력 신호를 획득하는 방법이다. 빔 포밍 기법에 의하면 각각의 채널마다 서로 상이하게 지연시키거나 또는 지연시키지 않음으로써 외부의 사운드의 입사각 또는 입력부(10)의 트랜스듀서의 위치 등에 따라서 발생된 복수 채널의 시간 차이를 보정할 수 있다. 또한 빔 포밍 기법에 의하면 보정된 복수 채널의 신호 각각마다 가중치를 적용하거나 적용하지 않고 복수 채널의 신호를 집속할 수 있다. 여기서 복수의 채널 각각에 적용되는 가중치는 고정된 가중치일 수도 있고, 또는 신호에 따라 가변되는 가중치일 수도 있다.
독립 성분 분석 기법은 복수의 입력 신호들을 서로 독립성을 가진 복수의 신호들의 가중합으로 가정하고, 출력 신호 간에 독립성을 최대화하는 가중치를 반복적으로 학습 및 업데이트함으로써 블라인드 신호(blind signal)를 최적으로 분리하도록 하는 방법이다. 독립 성분 분석 기법의 알고리즘으로는 Infomax, FastICA 또는 JADE 등이 있을 수 있다
독립 벡터 분석 기법은 비 선형 함수를 유도할 때 주파수 간의 의존성을 반영함으로써 독립 성분 분석이 신호를 각 주파수 대역 별로 처리함에 기인한 신호의 출력 순서나 스케일이 지나치게 상이한 것을 방지하기 위한 것으로, 출력 신호 간에 독립성을 최대화하는 가중치를 주파수 영역에서 학습하도록 하는 기법이다.
최소 거듭 제곱 무왜곡 응답 기법은 일정한 제한(constraint)를 도입하여 더 일반화된 공간 필터를 도출하는 기법으로, 예를 들어 입력 신호, 방향 벡터 및 잡음 공분산(noise covariance)를 이용하여 입력 신호에 적용될 가중치인 공간 필터를 획득하고, 획득한 공간 필터를 입력 신호에 적용하여 출력 신호를 획득하도록 한다.
이상 설명한 공간 필터링부(30)에서 이용되는 빔 포밍 기법, 독립 성분 분석 기법, 독립 벡터 분석 기법 및 최소 거듭제곱 무왜곡 응답 기법은 통상의 기술자에게 자명한 것이므로, 설명 및 이해의 편의를 위해 구체적인 설명은 생략하도록 한다. 아울러 빔 포밍 기법, 독립 성분 분석 기법, 독립 벡터 분석 기법 및 최소 거듭제곱 무왜곡 응답 기법은 통상 알려진 방법에 의해 구현될 수도 있으나, 이외에도 통상의 기술자가 고려할 수 있는 범위 내에서 다양하게 변형된 방법에 의해 구현될 수도 있다.
또한 공간 필터링부(30)는 상술한 빔 포밍 기법, 독립 성분 분석 기법, 독립 벡터 분석 기법 및 최소 거듭제곱 무왜곡 응답 기법 외에도 통상의 기술자가 고려할 수 있는 다양한 방법을 이용하여 공간 필터링을 수행할 수 있다.
일 실시예에 의하면 공간 필터링부(30)는 하기의 수학식 1 및 수학식 2에 따라 관심 신호(YTE(k,τ)) 또는 비관심 신호(YTR(k,τ))를 획득할 수도 있다.
Figure 112015087663213-pat00003
Figure 112015087663213-pat00004
여기서 YTE(k,τ)는 관심 신호를 의미하고, k는 주파수 빈(frequency bin)의 인덱스(index)를 의미하고, τ는 프레임(frame)의 인덱스(index)를 의미한다. WTE(k)는 k 주파수 빈에서 공간 필터링에 의해 추정된 관심 신호 추출 필터의 계수들로 이루어진 벡터를 의미한다. 여기서 추정된 관심 신호 추출 필터는 상술한 빔 포밍 기법, 독립 성분 분석 기법, 독립 벡터 분석 기법 및 최소 거듭제곱 무왜곡 응답 기법 중 적어도 하나를 이용하여 추정된 것일 수 있다. Xk(k,τ)는 공간 필터부(30)에 입력된 신호를 의미한다. 또한 N은 입력 신호의 개수를 의미하고, X에 부가된 아래 첨자인 1 내지 N은 N개의 채널 각각으로 입력되는 입력 신호를 나타내기 위한 인덱스이다.
공간 필터링부(30)는 수학식 1 및 수학식 2 중 적어도 하나를 기초로 작성된 코드(code)에 의해 구현될 수 있다. 이와 같은 공간 필터링부(30)를 구현하기 위한 코드는 설계자에 따라 다양하게 작성될 수 있다.
공간 필터링부(30)는 도 2 및 도 3에 도시된 바와 같이 관심 신호(YTE(k,τ)) 또는 비관심 신호(YTR(k,τ))를 출력하여 마스크 적용부(40)에 전달할 수 있다. 또한 공간 필터링부(30)는 도 3에 도시된 바와 같이 상술한 다양한 기법에 따라 추정된 가중치(WTE(k))를 더 마스크 적용부(40)에 전달할 수 있다.
마스크 적용부(40)는, 공간 필터링부(30)에서 전달되는 관심 신호(YTE(k,τ))에 마스크(mask)를 적용하여, 출력 신호(s(k,τ))를 획득할 수 있다.
마스크 적용부(40)는 도 3에 도시된 바와 같이 합성부(41), 지향 패턴 연산부(42), 공간 선택율 연산부(43), 관심 신호 대 비관심 신호 관계 연산부(44) 및 마스크 획득부(45)를 포함할 수 있다.
합성부(41)는 관심 신호(YTE(k,τ))에 소프트 마스크 등과 같은 마스크(mask) 를 적용하여, 출력 신호(s(k,τ))를 생성할 수 있다. 이 경우 합성부(41)는 다음의 수학식 3을 기초로 작성된 코드에 의해 구현될 수 있다. 이와 같은 합성부(41)를 구현하기 위한 코드는 설계자에 따라 다양하게 작성될 수 있다.
Figure 112015087663213-pat00005
여기서 S(k,τ)는 획득한 출력 신호를 의미하며, M(k,τ)는 소프트 마스크(soft mask)의 가중치를 의미한다. YTE(k,τ)는 상술한 바와 같이 관심 신호를 의미한다.
다시 말해서 합성부(41)는 마스크(M(k,τ))와 관심 신호(YTE(k,τ))를 합성하여 출력 신호(s(k,τ))를 획득할 수 있다. 관심 신호(YTE(k,τ))는 공간 필터부(30)에서 전달된 것일 수 있다. 마스크(M(k,τ))는 마스크 획득부(45)에서 전달된 것일 수 있다.
일 실시예에 의하면 지향 패턴 연산부(42)는 필터의 방향성과 관련된 파라미터(parameter)를 연산할 수 있다. 여기서 필터의 방향과 관련된 파라미터는 지향 패턴(DTE(k,q), directivity pattern)을 포함할 수 있다. 지향 패턴(DTE(k,q))은 공간 필터부(30)에서 입력 신호(x1(t) 내지 xn(t))에 적용된 필터의 방향성에 관련된 데이터를 의미한다. 일 실시예에 의하면 지향 패턴(DTE(k,q))은 관심 신호(YTE(k,τ))에 적용된 관심 신호 추출 필터(31)의 방향성과 관련된 값의 집합을 포함할 수 있다.
예를 들어 지향 패턴은 다음의 수학식 4로 정의될 수 있다.
Figure 112015087663213-pat00006
여기서 DTE(k,q)는 q에 대하여 관심 신호(YTE(k,τ))와 관련된 지향 패턴을 의미한다. 또한 k는 주파수 빈의 인덱스, q는 단위 노멀 방향 벡터(unit-norm directional vector), i는 입력 신호의 인덱스, N은 입력 신호의 개수를 의미한다. WTEi(k)는 i번째 신호에 대한 공간 필터를 의미하고, ωk는 k번째 빈에 대응하는 주파수를 의미한다. pi는 i번째 신호가 입력된 입력부의 위치를 나타내는 벡터, pR은 참조 센서(reference sensor)와 같이 입력부의 위치 참조를 위해 이용되는 참조 입력부의 위치를 나타내는 벡터를 나타낸다. c는 음속을 의미한다.
상술한 지향 패턴(DTE(k,q))은 수학식 5와 같이 정의될 수도 있다.
Figure 112015087663213-pat00007
여기서 d는 i번째 신호가 입력된 입력부의 벡터와 참조 입력부의 벡터 사이의 거리를 의미하고, sinθ는 i번째 신호가 입력된 입력부의 벡터와 참조 입력부 사이의 벡터 사이의 각을 의미한다.
상술한 수학식 4 및 수학식 5 외에도 지향 패턴(DTE(k,q))는 다양한 방식으로 정의될 수 있다.
지향 패턴 연산부(42)는 상술한 수학식 4 또는 수학식 5에 따라 지향 패턴(DTE(k,q))의 연산을 수행할 수 있도록 작성 가능한 코드에 의해 구현될 수 있으며, 이와 같은 코드는 설계자에 따라 다양하게 작성될 수 있다.
지향 패턴 연산부(42)는, 단위 노멀 방향 벡터(q)를 이용하여 지향 패턴(DTE(k,q))를 연산함에 있어서 관심 신호에 대응하는 단위 노멀 방향 벡터(qT)를 이용하여 관심 신호(YTE(k,τ))의 지향 패턴(DTE(k,qT))를 연산하고, 관심 신호의 잡음에 대응하는 단위 노멀 방향 벡터(qN)을 이용하여 관심 신호(YTE(k,τ)) 내에 남아 있는 잡음의 지향 패턴(DTE(k,qN))을 각각 별도로 연산할 수도 있다.
지향 패턴 연산부(42)에서 연산된 지향 패턴(DTE(k,q)), 관심 신호(YTE(k,τ))의 지향 패턴(DTE(k,qT)) 또는 잡음의 지향 패턴(DTE(k,qN))은 공간 선택율 연산부(43)로 전달되어, 공간 선택율(R(k), spatial selectivity)과 같은 파라미터의 연산을 위해 제공될 수 있다.
공간 선택율 연산부(43)는 관심 신호(YTE(k,τ))의 지향 패턴(DTE(k,q)) 및 관심 신호 내에 포함된 잡음의 지향 패턴을 이용하여 공간 선택율(R(k))로 표현 가능한 파라미터를 획득할 수 있다. 여기서 공간 선택율(R(k))은 관심 신호의 지향 패턴 및 잡음의 지향 패턴의 비(ratio)를 포함할 수 있다. 보다 구체적으로 공간 선택율(R(k))은 다음의 수학식 6으로 정의될 수 있다.
Figure 112015087663213-pat00008
여기서 qT는 관심 신호에 대응하는 단위 노멀 방향 벡터를 나타내고, qN은 관심 신호의 잡음에 대응하는 단위 노멀 방향 벡터를 나타내며, DTE(k,qT)는 관심 신호(YTE(k,τ))의 지향 패턴을 나타내고, DTE(k,qN)는 관심 신호(YTE(k,τ)) 내에 남아 있는 잡음의 지향 패턴을 나타낸다. 여기서 잡음은 관심 신호 내의 지배적인 잡음일 수도 있다.
관심 신호에 대응하는 단위 노멀 방향 벡터(qT) 및 관심 신호의 잡음에 대응하는 단위 노멀 방향 벡터(qN)는 미리 선험적으로 알려진 값을 이용할 수도 있다. 예를 들어, 관심 신호에 대응하는 단위 노멀 방향 벡터(qT) 및 관심 신호의 잡음에 대응하는 단위 노멀 방향 벡터(qN)는, 빔 포밍 기법 등과 같은 공간 필터링 알고리즘에서 이용되는 단위 노멀 방향 벡터일 수도 있다. 만약 독립 성분 분석 기법 등을 이용하여 공간 필터링을 수행한 경우, 관심 신호에 대응하는 단위 노멀 방향 벡터(qT) 및 관심 신호의 잡음에 대응하는 단위 노멀 방향 벡터(qN)는, 추정된 필터의 지향 패턴의 하나 이상의 최소값에 상응하는 방향을 검출하여 추정될 수도 있다.
공간 선택율(R(k))은 관심 신호(YTE(k,τ)) 내에 잡음이 얼마나 제거되어 있는지를 나타내는 표식이 될 수 있다. 구체적으로 공간 선택율(R(k))이 큰 값을 갖는다면, 관심 신호(YTE(k,τ))에는 남아 있는 잡음이 충분히 제거되어 있다는 것을 의미할 수 있다. 반대로 공간 선택율(R(k))이 작은 값을 갖는다면 아직 잡음이 충분히 제거되어 있지 않다는 것을 의미하며, 따라서 보다 더 많은 잡음이 제거되어야 함을 의미할 수 있다.
공간 선택율 연산부(43)는 상술한 수학식 6에 따라 공간 선택율(R(k))을 연산할 수 있도록 작성 가능한 코드에 의해 구현될 수 있으며, 이와 같은 코드는 설계자에 따라 다양하게 작성될 수 있다.
공간 선택율 연산부(43)에서 연산된 공간 선택율(R(k))을 도 3에 도시된 바와 같이 마스크 획득부(45)로 전달될 수 있다.
한편 관심 신호 대 비관심 신호 관계 연산부(44)는 관심 신호(YTE(k,τ)) 및 비관심 신호(YTR(k,τ))를 전달받고, 전달받은 관심 신호(YTE(k,τ)) 및 비관심 신호(YTR(k,τ))를 이용하여 소정의 파라미터를 연산할 수 있다. 소정의 파라미터는 관심 신호 및 비관심 신호 사이의 관계에 대한 정보를 나타내는 것일 수 있다. 관심 신호 및 비관심 신호 사이의 관계에 대한 정보는 관심 신호 및 비관심 신호 사이의 비를 포함할 수 있다.
구체적으로 관심 신호 대 비관심 신호 사이의 비(SNR(k,τ))는 다음의 수학식 7과 같이 정의될 수 있다.
Figure 112015087663213-pat00009
여기서 SNR(k,τ)는 관심 신호 대 비관심 신호 사이의 비를 의미하고, YTE(k,τ)는 관심 신호, YTR(k,τ)는 비관심 신호를 의미한다. 한편 ε은 분모가 0이 되는 것을 방지하기 위한 값이다. ε은 작은 임의의 양수를 가질 수 있다.
또한 관심 신호 대 비관심 신호 관계 연산부(44)는 관심 신호 및 비관심 신호 사이의 비의 역수인 관심 신호 및 비관심 신호 사이의 역비(FR)를 연산하여 획득할 수도 있다. 관심 신호 및 비관심 신호 사이의 역비(FR)는 어느 하나의 프레임(τ)에서의 관심 신호 및 비관심 신호 사이의 역비(FR(τ))를 포함할 수 있다.
어느 하나의 프레임(τ)에서의 관심 신호 및 비관심 신호 사이의 역비(FR(τ))는 다음의 수학식 8에 의해 획득될 수 있다.
Figure 112015087663213-pat00010
수학식 8에서 τ 는 프레임 인덱스를 의미하고, FR(τ)는 프레임 τ에서의 관심 신호 대 비관심 신호 사이의 역비를 의미하며, YTE(k,τ)는 관심 신호, YTR(k,τ)는 비관심 신호를 의미한다.
원 관심 사운드와 비관심 사운드를 포함하는 사운드는 주파수를 넘어 의존성을 가질 수 있기 때문에, 어느 하나의 프레임에서의 시간-주파수 성분에 대한 관심 신호 또는 잡음의 우세성은 비슷한 경향을 보일 수 있다. 따라서 어느 하나의 프레임(τ)에서의 관심 신호 및 비관심 신호 사이의 역비(FR(τ))는 어느 하나의 프레임에서의 다른 주파수 빈 내의 정보를 고려하므로, 관심 신호 대 비관심 신호 사이의 비(SNR(k,τ)) 및 공간 선택율(R(k))에 의해 결정 가능한 관심 신호(YTE(k,τ)) 내의 잔여 잡음의 억제 정도를 제어하는데 이용될 수 있다.
관심 신호 대 비관심 신호 관계 연산부(44)는 상술한 수학식 7에 따라 관심 신호 대 비관심 신호 사이의 비(SNR(k,τ))를 획득하고, 또한 수학식 8에 따라 관심 신호 및 비관심 신호 사이의 역비(FR(τ))를 연산할 수 있도록 작성된 코드에 의해 구현될 수 있다. 이와 같은 코드는 설계자에 따라 다양하게 작성될 수 있다.
관심 신호 대 비관심 신호 관계 연산부(44)에서 획득된 관심 신호 대 비관심 신호 사이의 비(SNR(k,τ)) 및 관심 신호 및 비관심 신호 사이의 역비(FR(τ))는 마스크 획득부(45)로 전달될 수 있다.
마스크 획득부(45)는 여러 파라미터를 이용하여 마스크(M(k,τ))를 획득하고, 획득한 마스크(M(k,τ))를 합성부(41)로 전달할 수 있다.
일 실시예에 의하면 마스크 획득부(45)는 공간 선택율 연산부(43)에서 전달받은 공간 선택율(R(k))과, 관심 신호 대 비관심 신호 관계 연산부(44)에서 전달받은 관심 신호 대 비관심 신호 사이의 비(SNR(k,τ)) 및 관심 신호 및 비관심 신호 사이의 역비(FR(τ))를 이용하여 마스크(M(k,τ))를 획득할 수 있다.
마스크 획득부(45)는 하기의 수학식 9를 적용하도록 구현된 코드를 이용하여 마스크(M(k,τ))를 연산하여 획득할 수도 있다.
Figure 112015087663213-pat00011
수학식 9에서 M(k,τ)는 마스크를 의미하고, FR(τ)은 프레임 τ에서의 관심 신호 및 비관심 신호 사이의 역비를 의미하고, SNR(k,τ)은 관심 신호 대 비관심 신호 사이의 비를 의미한다. R(k)는 공간 선택율을 의미한다. 한편 α와 β는 각각 시그모이드 함수(sigmoid function)의 경사 및 공간 선택율(R(k))에 대한 로그값의 바이어스(bias)를 결정하는 파라미터를 의미한다. α와 β는 설계자 등의 임의적 선택에 따라 결정될 수 있다.
마스크 획득부(45)는 상술한 수학식 9에 따라 마스크(M(k,τ))를 연산하여 획득할 수 있도록 작성된 코드에 의해 구현될 수 있다. 이와 같은 코드는 설계자에 따라 다양하게 작성될 수 있다.
상술한 바와 같이 합성부(41)는 공간 필터부(30)에서 획득된 관심 신호(YTE(k,τ))와 마스크 획득부(45)에서 획득한 마스크(M(k,τ))를 합성하여 출력 신호(s(k,τ))를 획득할 수 있다. 이에 따라 마스크 적용부(40)는 관심 신호(YTE(k,τ))가 강화된 신호를 출력할 수 있게 된다.
출력 신호(s(k,τ))는 역변환부(50)로 전달될 수 있다.
역변환부(50)는 출력 신호(s(k,τ))를 역 변환하여 역 변환된 신호(s(t))를 획득할 수 있다. 역변환부(50)는 주파수 도메인의 신호를 시간 도메인의 신호로 역 변환할 수 있다. 역변환부(50)는 변환부(10)에서 이용된 변환 기법에 대응하는 역 변환 기법을 이용하여 역 변환된 신호(s(t))를 획득할 수 있다. 예를 들어 역변환부(50)는 역 푸리에 변환(Inverse Fourier Transform)이나 역 고속 푸리에 변환(Inverse Fast Fourier Transform) 등과 같은 기법을 이용하여 역 변환된 신호(s(t))를 획득할 수 있다.
따라서 최종적으로 사운드 신호 처리 장치(1)를 이용하여 입력된 원 사운드 중 원 관심 사운드가 강화되고 잡음도 제거된 신호를 획득할 수 있게 된다.
이상 설명한 사운드 신호 처리 장치(1)의 변환부(20), 공간 필터링부(30), 마스크 적용부(40) 및 역변환부(50)는 하나 또는 둘 이상의 프로세서에 의해 구현될 수 있다. 일 실시예에 의하면 하나의 프로세서를 이용하여 상술한 변환부(20), 공간 필터링부(30), 마스크 적용부(40) 및 역변환부(50)를 구현할 수 있다. 이 경우 프로세서는 상술한 변환부(20), 공간 필터링부(30), 마스크 적용부(40) 및 역변환부(50)의 기능을 수행하기 위해 소정의 코드를 포함하는 프로그램을 로딩 가능하거나 또는 소정의 코드에 의해 프로그래밍된 프로세서를 포함할 수 있다. 또한 다른 실시예에 의하면 복수의 프로세서를 이용하여 상술한 변환부(20), 공간 필터링부(30), 마스크 적용부(40) 및 역변환부(50)를 구현하는 것도 가능하다. 이 경우 변환부(20), 공간 필터링부(30), 마스크 적용부(40) 및 역변환부(50)는 각각에 대응하는 복수의 프로세서에 의해 구현될 수도 있다. 이 경우 복수의 프로세서는 각각 상술한 기능을 수행하기 위하여 별도로 소정의 코드로 이루어진 프로그램을 로딩하는 프로세서일 수도 있고, 또는 소정의 코드를 이용하여 프로그래밍된 프로세서일 수 있다.
이하 도 4 내지 도 5를 참조하여 사운드 신호 처리 장치가 설치된 차량의 일 실시예에 대해서 설명한다.
도 4는 차량 내부 공간의 일 실시예를 도시한 도면이다.
도 4에 도시된 바를 참조하면 차량(100) 내부에는 차량의 실내와 엔진룸을 구획하는 대시 보드(200)가 마련될 수 있다. 대시 보드(200)는 운전석(250) 및 조수석(251) 전면에 배치되며, 운전을 보조하기 위한 다양한 부품이 설치될 수 있다. 대시 보드(200)는 상부 패널(201), 센터페시아(220) 및 기어박스(230) 등을 포함할 수 있다. 대시 보드(200)의 상부 패널(201)은 윈드 쉴드(202)와 근접하며, 공조 장치(113)의 송풍구(113a), 글로브 박스 또는 각종 계기판(140) 등이 설치될 수 있다.
대시 보드(200)에는 내비게이션 장치(110)가 설치될 수 있다. 예를 들어 내비게이션 장치(110)는 센터페시아(220)의 상단에 설치될 수 있다. 내비게이션 장치(110)는 대시 보드(200)에 매립되어 설치될 수도 있고, 소정의 프레임으로 이루어진 거치 수단을 이용하여 상부 패널(201)의 상면에 설치될 수도 있다. 내비게이션 장치(110)의 하우징(111)에는 운전자 또는 동승자 등의 사용자로부터 음성을 입력받을 수 있는 하나 또는 둘 이상의 입력부(133, 134)가 마련될 수 있다. 입력부(133, 134)는 마이크로폰 등에 의해 구현될 수 있다.
대시 보드(200)의 센터페시아(220)는 상부 패널(201)과 연결될 수 DT다. 센터페시아(220)에는 차량을 제어하기 위한 물리 버튼이나 터치 패드 등의 입력 수단(221 및 222), 라디오 장치(115), 또는 컴팩트 디스크 플레이어 등과 같은 사운드 출력 장치(116) 등이 설치될 수 있다.
대시 보드(200) 내측에는 차량 내 각종 부품이나 장치를 제어하기 위한 프로세서(99)가 설치될 수 있다. 프로세서(99)는 적어도 하나의 반도체 칩, 스위치, 집적 회로, 저항기, 휘발성 또는 비휘발성 메모리 및 인쇄 회로 기판 중 적어도 하나를 이용하여 구현될 수 있다. 반도체 칩, 스위치, 집적 회로, 저항기 및 휘발성 또는 비휘발성 메모리 등은 인쇄 회로 기판에 배치될 수 있다.
차량(100)의 천정을 이루는 상부 프레임의 내측면에는 운전자 또는 동승자로부터 음성을 입력받기 위한 하나 또는 둘 이상의 입력부(131)가 마련될 수 있다. 입력부(131)는 마이크로폰 등을 이용하여 구현될 수 있다. 입력부(131)는 케이블 등을 이용하여 대시 보드(200) 내측이나 내비게이션 장치(110)에 마련된 프로세서(99)와 전기적으로 연결되어 수신한 음성 신호를 프로세서(99)로 전달할 수 있다. 또한 입력부(131, 132)는 블루투스(blue tooth) 또는 근거리 장 통신(NFC, Near Field Communication) 등과 같은 무선 통신망을 통하여 대시 보드(200) 내측이나 내비게이션 장치(110)에 마련된 프로세서(99)와 전기적으로 연결되어 입력부(131)가 수신한 음성 신호를 프로세서(99)로 전달할 수도 있다.
차량(100)의 상부 프레임의 내측면에는 썬 바이저(Sun Visor, 121, 122)가 설치될 수 있다. 썬 바이저(121, 122)에는 운전자 또는 동승자로부터 음성을 입력받기 위한 하나 또는 둘 이상의 입력부(132)가 마련될 수 있다. 썬 바이저(121, 122)의 입력부(132)는 마이크로폰 등에 의해 구현될 수 있다. 썬 바이저(121, 122)의 입력부(132)는 유선 또는 무선으로 대시 보드(200) 내측이나 내비게이션 장치(110)에 마련된 프로세서(99)와 전기적으로 연결될 수 있다.
차량 내부에는 차량의 도어(117)를 잠그기 위한 잠금 장치(112)가 마련될 수도 있다. 또한 차량(100)의 상부 프레임의 내측면에는 조명 장치(114)가 마련될 수도 있다.
도 5는 차량의 일 실시예에 대한 구성도이다.
도 5에 도시된 바를 참조하면 차량(100)은 차량 내 부품/장치(101), 프로세서(99) 및 저장부(157)를 포함할 수 있다. 차량 내 부품/장치(101)는 도 4를 통해 설명한 바와 같이 마이크로폰에 의해 구현된 입력부(131, 132), 입력부(133, 134)가 마련된 내비게이션 장치(110), 잠금 장치(112), 공조 장치(113), 조명 장치(114), 사운드 재생 장치(115) 또는 라디오 장치(116)를 포함할 수 있다. 차량 내 부품/장치(101)는 이들뿐만 아니라 다양한 부품 및 장치를 포함할 수 있다.
입력부(131 내지 134)는 운전자 또는 동승자의 음성을 수신하고, 수신한 음성에 상응하는 전기적 신호인 사운드 신호를 출력할 수 있다. 출력되는 사운드 신호는 아날로그 신호일 수 있으며, 이 경우 사운드 신호가 프로세서로 전달되기 전에 아날로그-디지털 변환기를 거쳐 디지털 신호로 변환될 수도 있다. 필요에 따라서 출력된 사운드 신호는 증폭기에 의해 증폭될 수도 있다. 출력된 사운드 신호는 프로세서(99)로 전달될 수 있다.
입력부(131, 132)는 도 10에 도시된 바와 같이 차량(100)의 상부 프레임의 내측면 또는 썬 바이저(121, 122)에 마련될 수 있다. 뿐만 아니라 입력부(131, 132)는 조향 핸들 등에도 설치될 수 있다. 이외에도 운전자 또는 동승자의 음성을 수신할 수 있는 다양한 위치에 입력부(131, 132)가 설치될 수 있다. 또한 마이크로폰(133, 134)은 상술한 바와 같이 내비게이션 장치(110)에 설치된 것일 수도 있다.
입력부(131 내지 134)를 통해 입력된 사운드 신호는 서로 상이한 기원을 갖는 복수의 사운드에 의해 유발된 신호를 포함할 수 있다. 예를 들어 운전자 및 동승자는 동시에 또는 순차적으로 동일하거나 또는 상이한 입력부(131 내지 134)를 통해 음성 명령을 입력할 수 있다. 또한 입력부(131 내지 134)에는 엔진 소리 창문을 통해 유입되는 바람 소리 또는 동승자의 잡담과 같이 음성 명령이 아닌 다른 소리도 입력될 수 있다. 따라서 입력부(131 내지 134)를 통해 입력된 사운드 신호에는 음성 명령인 원 관심 사운드에 대응하는 관심 사운드 신호 및 음성 명령이 아닌 다른 소리인 원 비관심 사운드에 대응하는 비관심 사운드 신호가 혼합될 수 있다.
프로세서(99)는 입력부(131 내지 134)를 통해 입력된 사운드 신호를 수신하고 수신한 사운드 신호를 처리하여 제어 명령을 생성한 후, 생성한 제어 명령을 이용하여 차량 내 부품/장치(101)를 제어할 수 있다.
프로세서(99)는 하나 또는 둘 이상의 반도체에 의해 구현될 수 있다.
프로세서(99)는 변환부(151), 공간 필터링부(152), 마스크 적용부(13), 역변환부(154), 음성/텍스트 변환부(155) 및 제어부(156)를 포함할 수 있다. 프로세서(99)의 변환부(151), 공간 필터링부(152), 마스크 적용부(13), 역변환부(154), 음성/텍스트 변환부(155) 및 제어부(156) 등은 물리적으로 구분되는 것일 수도 있고, 가상적으로 구분되는 것일 수도 있다. 변환부(151), 공간 필터링부(152), 마스크 적용부(13), 역변환부(154), 음성/텍스트 변환부(155) 및 제어부(156)가 물리적으로 구분되는 경우, 각각은 별도의 프로세서에 의해 구현된 것일 수도 있다. 변환부(151), 공간 필터링부(152), 마스크 적용부(13), 역변환부(154), 음성/텍스트 변환부(155) 및 제어부(156)가 가상적으로 구분되는 경우, 이들은 하나의 프로세서에 의해 구현될 수 있으며, 각각의 변환부(151), 공간 필터링부(152), 마스크 적용부(13), 역변환부(154), 음성/텍스트 변환부(155) 및 제어부(156)는 하나 이상의 코드로 작성된 프로그램으로 구현된 것일 수도 있다.
변환부(151)는 시간 도메인의 신호를 주파수 도메인의 신호로 변환할 수 있다. 변환부(151)는 푸리에 변환, 고속 푸리에 변환 또는 단시간 푸리에 변환 등과 같은 다양한 방법을 이용하여 시간 도메인의 신호를 주파수 도메인의 신호로 변환할 수 있다. 변환부(151)는 실시예에 따라 생략될 수도 있다.
공간 필터링부(152)는 입력부(131 내지 134)에서 입력된 신호 또는 변환부(151)에서 변환된 신호를 이용하여 필터링된 신호를 획득하고, 획득한 필터링된 신호를 마스크 적용부(153)로 전달할 수 있다.
일 실시예에 의하면 공간 필터링부(152)는 일반적인 빔 포밍 기법, 독립 성분 분석 기법, 독립 벡터 분석 기법 및 최소 거듭제곱 무왜곡 응답 기법 등의 다양한 기법을 이용하여 공간 필터링을 수행할 수 있다. 공간 필터링 수행 결과 공간 필터링부(152)는 관심 사운드 신호에 대응하는 관심 신호 또는 비관심 사운드 신호에 대응하는 비관심 신호를 획득할 수 있다.
공간 필터링부(152)는 상술한 수학식 1 및 수학식 2에 따라 관심 신호 또는 비관심 신호를 획득할 수 있다. 공간 필터링부(152)는 수학식 1 및 수학식 2 중 적어도 하나를 기초로 작성된 코드에 의해 구현될 수 있으며, 이와 같은 코드는 설계자에 따라 다양하게 작성될 수 있다.
마스크 적용부(153)는 관심 신호에 소프트 마스크 등과 같은 마스크를 적용하여 잡음이 제거되거나 또는 감소된 출력 신호를 획득하고, 획득한 출력 신호를 역변환부(154)로 전달할 수 있다.
마스크 적용부(153)는 먼저 필터의 방향성과 관련된 파라미터인 지향 패턴을 획득할 수 있다. 마스크 적용부(153)는 상술한 수학식 4 또는 수학식 5를 기초로 작성된 코드를 이용하여 지향 패턴을 획득할 수 있다. 실시예에 따라서 마스크 적용부(153)는 관심 신호의 지향 패턴 또는 잡음의 지향 패턴을 획득할 수도 있다. 마스크 적용부(153)는 상술한 공간 필터를 이용하여 관심 신호의 지향 패턴 및 관심 신호의 잡음의 지향 패턴을 획득할 수도 있다.
이어서 마스크 적용부(153)는 지향 패턴, 일례로 관심 신호의 지향 패턴 또는 잡음의 지향 패턴 등을 이용하여 잡음이 얼마나 제거되어 있는지를 나타내는 파라미터인 공간 선택율을 획득할 수 있다. 공간 선택율은 관심 신호의 지향 패턴 및 잡음의 지향 패턴 사이의 비율로 정의될 수도 있다. 마스크 적용부(153)는 수학식 6을 기초로 작성된 코드를 이용하여 공간 선택율을 연산할 수 있다. 이와 같은 코드는 설계자에 따라 다양하게 작성될 수 있다.
또한 마스크 적용부(153)는 관심 신호 대 비관심 신호 사이의 관계를 연산할 수 있다. 관심 신호 및 비관심 신호 사이의 관계는 관심 신호 및 비관심 신호 사이의 비율로 표현될 수 있다. 관심 신호 및 비관심 신호 사이의 관계는 수학식 7에 의해 연산될 수 있다. 마스크 적용부(153)는 수학식 7을 기초로 작성된 코드를 이용하여 관심 신호 및 비관심 신호 사이의 관계를 연산할 수 있다. 이와 같은 코드는 설계자에 따라 다양하게 작성될 수 있다.
마스크 적용부(153)는 관심 신호 및 비관심 신호 사이의 비의 역수인 관심 신호 및 비관심 신호 사이의 역비를 연산하여 획득할 수도 있다. 관심 신호 및 비관심 신호 사이의 역비는 상술한 수학식 8을 이용하여 획득될 수도 있다. 마스크 적용부(153)는 수학식 8을 기초로 작성된 코드를 이용하여 관심 신호 및 비관심 신호 사이의 역비를 연산할 수 있다. 이와 같은 코드는 설계자에 따라 다양하게 작성될 수 있다.
마스크 적용부(153)는 이상 획득된 공간 선택율과, 관심 신호 대 비관심 신호 사이의 비 및 관심 신호 및 비관심 신호 사이의 역비를 이용하여 관심 신호에 적용될 마스크를 획득할 수 있다. 이 경우 마스크는 상술한 수학식 9에 따라 획득된 것일 수 있다. 마스크 적용부(153)는 수학식 9을 기초로 작성되고 설계자에 따라 다양하게 작성될 수 있는 코드를 이용하여 마스크를 획득할 수 있다.
이어서 마스크 적용부(153)는 획득한 관심 신호 마스크를 관심 신호에 적용하여, 출력 신호를 생성할 수 있다. 이 경우 상술한 수학식 3을 기초로 작성된 코드를 이용하여 마스크 적용부(153)는 획득한 관심 신호 마스크를 관심 신호에 적용할 수 있다.
역변환부(154)는 역고속 푸리에 변환 등을 이용하여 마스크 적용부(153)에서 출력되는 마스크가 적용된 관심 신호를 역변환할 수 있다. 이에 따라 관심 신호에 대응하는 음성 신호가 획득될 수 있다. 역변환부(154)에서 출력된 신호는 음성/텍스트 변환부(155)를 거쳐 제어부(156)로 전달될 수도 있고, 음성/텍스트 변환부(155)를 거치지 않고 바로 제어부(156)로 전달될 수도 있다.
음성/텍스트 변환부(155)는 다양한 스피치-투-텍스트(STT; Speech-To-Text) 기법을 이용하여 음성 신호를 텍스트 신호로 변환할 수 있다. 텍스트 신호는 제어부(156)로 전달될 수 있다. 음성/텍스트 변환부(155)는 실시예에 따라서 생략될 수도 있다.
제어부(156)는, 역변환부(154)에서 출력되는 신호 또는 음성/텍스트 변환부(155)에서 출력되는 텍스트 신호를 이용하여, 사용자의 음성 명령에 상응하는 제어 명령을 생성하고, 생성된 제어 명령을 차량 내 부품 및 장치(101) 중 대응되는 제어 대상 부품 또는 장치에 전달하여 제어 대상 부품 또는 장치를 제어할 수 있다. 상술한 프로세서(99) 내의 사운드 신호 처리부(150)에 의해 관심 신호에 해당하는 음성 명령을 명확하게 분류되었으므로 제어부(156)는 사용자의 하나 또는 둘 이상의 음성 명령에 부합되는 하나 또는 둘 이상의 제어 명령을 생성할 수 있게 된다. 따라서 제어부(156)는 사용자가 원하는 바에 따라 보다 정확하게 차량 내의 각종 부품 및 장치(101)를 제어할 수 있게 된다.
저장부(157)는 프로세서(99) 또는 차량 내 각종 부품/장치(101)와 관련된 각종 설정이나 정보를 저장할 수 있다. 프로세서(99) 또는 차량 내 각종 부품/장치(101)는 저장부(157)에 저장된 설정이나 정보를 열람하여 소정의 동작을 수행할 수 있다.
이하 도 6을 참조하여 사운드 신호 처리 방법의 일 실시예에 대해서 설명한다. 도 6은 사운드 신호 처리 방법의 일 실시예에 대한 흐름도이다.
도 6에 도시된 바에 의하면 먼저 원 관심 사운드 및 원 비관심 사운드가 혼합된 혼합 신호가 하나 또는 둘 이상의 마이크로폰 등의 입력부를 통해 입력될 수 있다(s70). 여기서 혼합 신호가 아날로그 신호인 경우 혼합 신호는 아날로그 디지털 변환기에 의해 디지털 신호로 변환될 수 있다. 또한 필요에 따라서 혼합 신호는 증폭기에 의해 증폭될 수도 있다.
사운드 신호 처리를 위한 프로그램을 로딩 가능하거나 또는 사운드 신호 처리를 위해 프로그래밍된 프로세서는 신호를 용이하게 처리하기 위하여 시간 도메인의 혼합 신호를 주파수 도메인의 신호로 변환할 수 있다(s71). 실시예에 따라서 푸리에 변환, 고속 푸리에 변환 또는 단시간 푸리에 변환 등과 같은 다양한 방법을 이용하여 시간 도메인의 신호가 주파수 도메인의 신호로 변환될 수 있다.
프로세서는 주파수 도메인의 신호로 변환된 혼합 신호에 공간 필터를 적용하여(s72), 관심 신호 및 비관심 신호를 획득할 수 있다(s73). 이 경우 공간 필터의 적용은 일반적인 빔 포밍 기법, 독립 성분 분석 기법, 독립 벡터 분석 기법 및 최소 거듭제곱 무왜곡 응답 기법 등의 다양한 기법을 이용하여 수행될 수 있다. 상술한 수학식 1 및 수학식 2이 공간 필터의 적용을 위해 이용될 수도 있다.
관심 신호가 획득되면(s73), 공간 필터를 적용하여 관심 신호에 대한 지향 패턴(s74) 및 관심 신호의 잡음에 대한 지향 패턴이 연산될 수 있다(s75). 여기서 관심 신호의 지향 패턴 및 관심 신호의 잡음의 지향 패턴은 상술한 공간 필터를 이용하여 수행될 수도 있다. 각각의 지향 패턴은 상술한 수학식 4 또는 수학식 5를 이용하여 연산될 수 있다.
이어서 관심 신호의 지향 패턴 또는 잡음의 지향 패턴 등의 지향 패턴을 이용하여 잡음이 얼마나 제거되어 있는지를 나타내는 공간 선택율이 연산될 수 있다(s76). 공간 선택율은 관심 신호의 지향 패턴 및 잡음의 지향 패턴 사이의 비율로 정의될 수도 있다. 공간 선택율은 수학식 6을 이용하여 연산될 수 있다.
한편 상술한 단계 s73에서 관심 신호 및 비관심 신호가 획득되면, 관심 신호 및 비관심 신호를 이용하여 관심 신호 대 비관심 신호에 대한 파라미터가 획득될 수 있다(s77). 관심 신호 및 비관심 신호에 대한 파라미터는 관심 신호 및 비관심 신호 사이의 관계를 나타내는 정보를 포함할 수 있으며, 관심 신호 및 비관심 신호 사이의 관계를 나타내는 정보는 관심 신호 및 비관심 신호 사이의 비와, 관심 신호 및 비관심 신호 사이의 역비를 포함할 수 있다. 관심 신호 및 비관심 신호 사이의 비 및 관심 신호 및 비관심 신호 사이의 역비는 각각 수학식 7 및 수학식 8에 따라 획득될 수 있다.
공간 선택율, 관심 신호 및 비관심 신호 사이의 비 및 관심 신호 및 비관심 신호 사이의 역비가 획득되면, 이들을 이용하여 마스크가 획득될 수 있다(s78). 마스크는 상술한 수학식 9를 이용하여 획득된 것일 수 있다.
마스크가 획득되면 마스크는 관심 신호에 수학식 3에 기재된 바와 같이 적용될 수 있고(s79), 그 결과 출력 신호가 획득될 수 있다(s80).
획득된 출력 신호는 역변환되고(s81), 이에 따라 관심 신호에 대응하는 음성 신호가 획득될 수 있다.
1: 사운드 신호 처리 장치 10: 입력부
20: 변환부 30: 공간 필터링부
31: 관심 신호 추출 필터 32: 관심 신호 저지 필터
40: 마스크 적용부 41: 합성부
42: 지향 패턴 연산부 43: 공간 선택율 연산부
44: 관심 신호 대 비관심 신호 관계 연산부
45: 마스크 획득부 50: 역변환부
60: 출력부
100: 차량 101: 차량 내 부품 및 장치
110: 내비게이션 장치 150: 신호 처리부
151: 변환부 152: 공간필터링부
153: 마스크적용부 154: 역변환부
155: 음성/텍스트 변환부 156: 제어부
157: 저장부

Claims (27)

  1. 삭제
  2. 입력 신호에 공간 필터(spatial filter)를 적용하여 공간 필터링을 수행하여 관심 신호를 포함하는 필터링된 신호를 획득하는 공간 필터링부; 및
    상기 관심 신호 및 상기 관심 신호의 잡음 간의 공간 선택율(spatial selectivity)을 이용하여 획득한 마스크(mask)를 상기 필터링된 신호에 적용하여 출력 신호를 획득하는 마스크 적용부;를 포함하되,
    상기 마스크 적용부는 상기 공간 필터를 이용하여 상기 관심 신호에 대한 지향 패턴(directivity pattern) 및 상기 관심 신호의 잡음(noise)의 지향 패턴을 연산하는 사운드 신호 처리 장치.
  3. 제2항에 있어서,
    상기 마스크 적용부는 상기 관심 신호의 지향 패턴 및 상기 잡음의 지향 패턴을 이용하여 상기 공간 선택율을 결정하는 사운드 신호 처리 장치.
  4. 제3항에 있어서,
    상기 공간 선택율은 상기 관심 신호의 지향 패턴 및 상기 잡음의 지향 패턴의 비를 포함하는 사운드 신호 처리 장치.
  5. 제2항에 있어서,
    상기 관심 신호에 대한 지향 패턴은 하기의 수학식 1에 따라 연산되되, k는 주파수 빈(frequency bin)의 인덱스, q는 단위 노멀 방향 벡터, N은 입력 신호의 개수, Wi(k)는 i번째 신호에 대한 공간 필터, ωk는 k번째 빈에 대응하는 주파수, pi는 i번째 신호의 센서의 위치를 나타내는 벡터, pR은 참조 센서의 위치를 나타내는 벡터, c는 음속인 사운드 신호 처리 장치.
    [수학식 1]
    Figure 112015087663213-pat00012
  6. 제2항에 있어서,
    상기 잡음은 상기 관심 신호 내의 주된 잡음인 사운드 신호 처리 장치.
  7. 제2항에 있어서,
    상기 필터링된 신호는 비관심 신호를 더 포함하는 사운드 신호 처리 장치.
  8. 제7항에 있어서,
    상기 공간 필터는 상기 입력 신호로부터 관심 신호를 획득 가능한 관심 신호 추출 필터(target-extraction filter) 및 상기 입력 신호로부터 비관심 신호를 획득 가능한 관심 신호 저지 필터(target rejection filter)를 포함하는 사운드 신호 처리 장치.
  9. 입력 신호에 공간 필터(spatial filter)를 적용하여 공간 필터링을 수행하여 관심 신호를 포함하는 필터링된 신호를 획득하되, 상기 필터링된 신호는 비관심 신호를 더 포함하는 공간 필터링부; 및
    상기 관심 신호 및 상기 관심 신호의 잡음 간의 공간 선택율(spatial selectivity)을 이용하여 획득한 마스크(mask)를 상기 필터링된 신호에 적용하여 출력 신호를 획득하는 마스크 적용부;를 포함하되,
    상기 공간 필터는 상기 입력 신호로부터 관심 신호를 획득 가능한 관심 신호 추출 필터 및 상기 입력 신호로부터 비관심 신호를 획득 가능한 관심 신호 저지 필터를 포함하고,
    상기 마스크 적용부는 상기 관심 신호 추출 필터를 이용하여 상기 관심 신호의 지향 패턴 및 상기 관심 신호의 잡음의 지향 패턴을 연산하고, 상기 관심 신호의 지향 패턴 및 상기 잡음의 지향 패턴을 기초로 상기 공간 선택율을 결정하는 사운드 신호 처리 장치.
  10. 제7항에 있어서,
    상기 마스크 적용부는, 상기 필터링된 신호의 관심 신호 및 비관심 신호 사이의 비를 이용하여 상기 마스크를 획득하는 사운드 신호 처리 장치.
  11. 입력 신호에 공간 필터(spatial filter)를 적용하여 공간 필터링을 수행하여 관심 신호를 포함하는 필터링된 신호를 획득하는 공간 필터링부; 및
    상기 관심 신호 및 상기 관심 신호의 잡음 간의 공간 선택율(spatial selectivity)을 이용하여 획득한 마스크(mask)를 상기 필터링된 신호에 적용하여 출력 신호를 획득하는 마스크 적용부;를 포함하되,
    상기 마스크는 하기의 수학식 2에 따라 연산되되, k는 주파수 빈의 인덱스, τ는 프레임 인덱스, M(k,τ)은 k 및 τ에서의 마스크, R(k)는 공간 선택율, SNR(k,τ)은 관심 신호 및 비관심 신호 사이의 비를 의미하고, FR(τ)는 프레임에서의 관심 신호 및 비관심 신호 사이의 비의 역수인 사운드 신호 처리 장치.
    [수학식 2]
    Figure 112016113547237-pat00013
  12. 제2항에 있어서,
    상기 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하는 변환부;를 더 포함하는 사운드 신호 처리 장치.
  13. 제12항에 있어서,
    상기 변환부는 푸리에 변환(Fourier Transform), 고속 푸리에 변환(FFT; Fast Fourier Transform) 또는 단시간 푸리에 변환(STFT, Short-Time Fourier Transform)을 이용하여 상기 입력 신호를 변환하는 사운드 신호 처리 장치.
  14. 제12항에 있어서,
    상기 출력 신호를 주파수 도메인에서 시간 도메인으로 역변환하는 역변환부;를 더 포함하는 사운드 신호 처리 장치.
  15. 제2항에 있어서,
    상기 공간 필터링부는 빔 포밍 기법, 독립 성분 분석(ICA; Independent Component Analysis) 기법, 독립 벡터 분석(IVA; Independent Vector Analyis) 기법 및 최소 거듭제곱 무왜곡 응답(MPDR; Minimum power distortionless response) 기법 중 적어도 하나를 이용하여 공간 필터링을 수행하는 사운드 신호 처리 장치.
  16. 삭제
  17. 입력 신호에 공간 필터를 적용하여 공간 필터링을 수행함으로써 관심 신호를 포함하는 필터링된 신호를 획득하는 단계;
    상기 관심 신호 및 상기 관심 신호의 잡음 간의 공간 선택율을 이용하여 마스크를 획득하는 단계; 및
    상기 마스크를 상기 필터링된 신호에 적용하여 출력 신호를 획득하는 단계;를 포함하되,
    상기 마스크를 획득하는 단계는 상기 공간 필터를 이용하여 상기 관심 신호에 대한 지향 패턴 및 상기 관심 신호의 잡음의 지향 패턴을 연산하는 단계를 포함하는 사운드 신호 처리 방법.
  18. 제17항에 있어서,
    상기 마스크를 획득하는 단계는 상기 관심 신호의 지향 패턴 및 상기 잡음의 지향 패턴을 이용하여 상기 공간 선택율을 결정하는 단계를 더 포함하는 사운드 신호 처리 방법.
  19. 제17항에 있어서,
    상기 필터링된 신호는 비관심 신호를 더 포함하는 사운드 신호 처리 방법.
  20. 제19항에 있어서,
    상기 공간 필터는 상기 입력 신호로부터 관심 신호를 획득 가능한 관심 신호 추출 필터 및 상기 입력 신호로부터 비관심 신호를 획득 가능한 관심 신호 저지 필터를 포함하는 사운드 신호 처리 방법.
  21. 입력 신호에 공간 필터를 적용하여 공간 필터링을 수행함으로써 관심 신호를 포함하는 필터링된 신호를 획득하는 단계;
    상기 관심 신호 및 상기 관심 신호의 잡음 간의 공간 선택율을 이용하여 마스크를 획득하는 단계; 및
    상기 마스크를 상기 필터링된 신호에 적용하여 출력 신호를 획득하는 단계;를 포함하되,
    상기 공간 필터는 상기 입력 신호로부터 관심 신호를 획득 가능한 관심 신호 추출 필터 및 상기 입력 신호로부터 비관심 신호를 획득 가능한 관심 신호 저지 필터를 포함하고,
    상기 마스크를 획득하는 단계는 상기 관심 신호 추출 필터를 이용하여 상기 관심 신호의 지향 패턴 및 상기 관심 신호의 잡음의 지향 패턴을 연산하는 단계 및 상기 관심 신호의 지향 패턴 및 상기 잡음의 지향 패턴을 기초로 상기 공간 선택율을 결정하는 단계를 포함하는 사운드 신호 처리 방법.
  22. 제17항에 있어서,
    입력 신호를 시간 도메인에서 주파수 도메인으로 변환하는 단계; 및
    상기 출력 신호를 주파수 도메인에서 시간 도메인으로 역변환하는 단계;를 더 포함하는 사운드 신호 처리 방법.
  23. 음을 입력받고 입력된 음에 상응하는 입력 신호를 출력하는 입력부;
    상기 입력 신호에 공간 필터를 적용하여 관심 신호를 포함하는 필터링된 신호를 획득하고, 상기 필터링된 신호의 관심 신호 및 상기 관심 신호의 잡음 간의 공간 선택율을 이용하여 마스크를 획득하고 획득한 마스크를 상기 필터링된 신호에 적용하여 출력 신호를 획득하는 신호 처리부; 및
    상기 출력 신호를 출력하는 출력부;를 포함하되,
    상기 필터링된 신호는 관심 신호 및 비관심 신호를 포함하고,
    상기 공간 필터는 관심 신호 추출 필터 및 관심 신호 저지 필터를 포함하며,
    상기 신호 처리부는 상기 관심 신호 추출 필터를 이용하여 상기 관심 신호의 지향 패턴 및 상기 관심 신호의 잡음의 지향 패턴을 연산하고, 상기 관심 신호의 지향 패턴 및 상기 잡음의 지향 패턴을 기초로 상기 공간 선택율을 결정하는 차량.
  24. 제23항에 있어서,
    상기 출력 신호를 이용하여 차량의 부품 및 장치를 제어하는 제어부;를 더 포함하는 차량.
  25. 삭제
  26. 삭제
  27. 제23항에 있어서,
    상기 신호 처리부는 상기 필터링된 신호의 관심 신호 및 비관심 신호 사이의 비를 더 이용하여 상기 마스크를 획득하는 차량.
KR1020150127576A 2014-09-19 2015-09-09 사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량 KR101704510B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140125005 2014-09-19
KR20140125005 2014-09-19

Publications (2)

Publication Number Publication Date
KR20160034192A KR20160034192A (ko) 2016-03-29
KR101704510B1 true KR101704510B1 (ko) 2017-02-09

Family

ID=55526326

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150127576A KR101704510B1 (ko) 2014-09-19 2015-09-09 사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량

Country Status (3)

Country Link
US (1) US9747922B2 (ko)
KR (1) KR101704510B1 (ko)
CN (1) CN105810210B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170323628A1 (en) * 2016-05-05 2017-11-09 GM Global Technology Operations LLC Road noise masking system for a vehicle
GB2553571B (en) 2016-09-12 2020-03-04 Jaguar Land Rover Ltd Apparatus and method for privacy enhancement
US11133011B2 (en) * 2017-03-13 2021-09-28 Mitsubishi Electric Research Laboratories, Inc. System and method for multichannel end-to-end speech recognition
CN111739552A (zh) * 2020-08-28 2020-10-02 南京芯驰半导体科技有限公司 一种麦克风阵列波束成形的方法及系统
FR3121542A1 (fr) * 2021-04-01 2022-10-07 Orange Estimation d’un masque optimisé pour le traitement de données sonores acquises

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1206043B1 (en) * 2000-11-08 2009-12-23 Sony Deutschland GmbH Noise reduction in a stereo receiver
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
US7548853B2 (en) * 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
US7970564B2 (en) 2006-05-02 2011-06-28 Qualcomm Incorporated Enhancement techniques for blind source separation (BSS)
KR101456866B1 (ko) 2007-10-12 2014-11-03 삼성전자주식회사 혼합 사운드로부터 목표 음원 신호를 추출하는 방법 및장치
US8046219B2 (en) 2007-10-18 2011-10-25 Motorola Mobility, Inc. Robust two microphone noise suppression system
KR101444100B1 (ko) 2007-11-15 2014-09-26 삼성전자주식회사 혼합 사운드로부터 잡음을 제거하는 방법 및 장치
US8219409B2 (en) * 2008-03-31 2012-07-10 Ecole Polytechnique Federale De Lausanne Audio wave field encoding
JP5195652B2 (ja) 2008-06-11 2013-05-08 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム
JP5738020B2 (ja) 2010-03-11 2015-06-17 本田技研工業株式会社 音声認識装置及び音声認識方法
US9390713B2 (en) * 2013-09-10 2016-07-12 GM Global Technology Operations LLC Systems and methods for filtering sound in a defined space

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Rahil Mahdian Toroghi et al., ‘Multi-channel speech separation with soft time-frequency masking’, SAPA-SCALE conf., Portland, OR, USA, September 2012.*

Also Published As

Publication number Publication date
US20160086602A1 (en) 2016-03-24
KR20160034192A (ko) 2016-03-29
US9747922B2 (en) 2017-08-29
CN105810210B (zh) 2020-10-13
CN105810210A (zh) 2016-07-27

Similar Documents

Publication Publication Date Title
KR101704510B1 (ko) 사운드 신호 처리 방법, 사운드 신호 처리 장치 및 상기 사운드 신호 처리 장치가 설치된 차량
US5842162A (en) Method and recognizer for recognizing a sampled sound signal in noise
JP4333369B2 (ja) 雑音除去装置、及び音声認識装置、並びにカーナビゲーション装置
CN114127665A (zh) 多模态用户界面
US20200342891A1 (en) Systems and methods for aduio signal processing using spectral-spatial mask estimation
KR101630155B1 (ko) 잡음 제거 장치, 잡음 제거 방법, 잡음 제거 장치를 이용하는 음성 인식 장치 및 음성 인식 장치가 설치된 차량
CN110383798B (zh) 声学信号处理装置、声学信号处理方法和免提通话装置
CN111418012A (zh) 通过修改的广义特征值波束成形器在音频信号中进行话音增强
JP2016051038A (ja) ノイズゲート装置
CN110970049A (zh) 多人声识别方法、装置、设备及可读存储介质
US8199928B2 (en) System for processing an acoustic input signal to provide an output signal with reduced noise
CN113593612B (zh) 语音信号处理方法、设备、介质及计算机程序产品
KR101689332B1 (ko) 정보 기반 소리 음량 조절 장치 및 그 방법
WO2022256577A1 (en) A method of speech enhancement and a mobile computing device implementing the method
US7877252B2 (en) Automatic speech recognition method and apparatus, using non-linear envelope detection of signal power spectra
Maas et al. A two-channel acoustic front-end for robust automatic speech recognition in noisy and reverberant environments
CN104157288B (zh) 用多个话筒的语音识别
JP5451562B2 (ja) 音響処理システム及びこれを用いた機械
JP6794887B2 (ja) 音声処理用コンピュータプログラム、音声処理装置及び音声処理方法
EP3847645A1 (en) Determining a room response of a desired source in a reverberant environment
Ahn et al. Background noise reduction via dual-channel scheme for speech recognition in vehicular environment
JP2008070877A (ja) 音声信号前処理装置、音声信号処理装置、音声信号前処理方法、及び音声信号前処理用のプログラム
CN110675890B (zh) 声音信号处理装置以及声音信号处理方法
JP7013789B2 (ja) 音声処理用コンピュータプログラム、音声処理装置及び音声処理方法
JP6956929B2 (ja) 情報処理装置、制御方法、及び制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 4