WO2012057589A2 - 멀티 빔 음향시스템 - Google Patents

멀티 빔 음향시스템 Download PDF

Info

Publication number
WO2012057589A2
WO2012057589A2 PCT/KR2011/008213 KR2011008213W WO2012057589A2 WO 2012057589 A2 WO2012057589 A2 WO 2012057589A2 KR 2011008213 W KR2011008213 W KR 2011008213W WO 2012057589 A2 WO2012057589 A2 WO 2012057589A2
Authority
WO
WIPO (PCT)
Prior art keywords
signal
microphone array
input signal
beam forming
echo
Prior art date
Application number
PCT/KR2011/008213
Other languages
English (en)
French (fr)
Other versions
WO2012057589A3 (ko
Inventor
김세웅
Original Assignee
주식회사 마이티웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마이티웍스 filed Critical 주식회사 마이티웍스
Priority to JP2013536536A priority Critical patent/JP5913340B2/ja
Priority to US13/881,847 priority patent/US9521484B2/en
Publication of WO2012057589A2 publication Critical patent/WO2012057589A2/ko
Publication of WO2012057589A3 publication Critical patent/WO2012057589A3/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403Linear arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/25Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

멀티 빔 음향시스템이 개시된다. 상기 멀티 빔 음향시스템은 마이크 어레이로부터 입력되는 입력신호를 원하는 방향으로 조향(steering)하는 고정 빔 형성부, 상기 입력신호를 수신하고 수신된 상기 입력신호로부터 잡음 기준 신호를 획득하기 위한 블록킹 행렬부(blocking matrix), 상기 블록킹 행렬부로부터 출력되는 상기 잡음 기준 신호로부터 적응형 잡음 신호를 획득하기 위한 가변 빔 형성부, 및 상기 고정 빔 형성부로부터 출력된 신호에서 상기 적응형 잡음 신호를 제거한 목적신호를 출력하기 위한 제거수단을 포함하는 GSC(Generald sidelobe Canceller)를 포함하는 특징으로 하며, 상기 고정 빔 형성부는 적어도 두 개의 방향으로 상기 입력신호를 조향하는 것을 특징으로 할 수 있다.

Description

멀티 빔 음향시스템
본 발명은 복수 개의 빔을 형성하도록 설정된 마이크(마이크로폰) 어레이를 이용하여 음향 솔루션을 제공할 수 있는 시스템에 관한 것이다. 특히, 본 발명에 따른 멀티 빔 음향시스템은 차량 내부에 설치되어 차량 내에서의 효율적인 음향 솔루션을 제공할 수 있는 시스템에 관한 것이다.
최근에는 블루투스를 비롯한 다양한 기술의 발달로 차량 내 음향 솔루션(예컨대, 음성 통화 솔루션 등)가 편리해지고 활발히 사용되고 있다. 하지만 주행 중 차량 내부의 소음, 스피커의 사용에 따른 에코 등 여러 가지 문제로 인해 일반적인 휴대전화를 사용한 통화 품질의 수준에 미치지 못하고 환경 또한 열악하다. 그리고 음성 인식이 보편화 되면서 차량 내부에서도 상당한 수준의 음성인식성공률 또한 보장되기를 기대하고 있다.
차량 내에서의 통화 및 음성 인식을 위해서는 먼저, 마이크로폰을 이용하여 음성 신호를 입력받아야 한다. 이때, 단순히 마이크로폰 하나를 사용하여 이를 입력 받게 되면 원하는 신호의 SNR(Signal Noise Ratio)을 충분히 확보하지 못할 뿐 아니라, 주행중의 소음, 차량의 공간에 의한 왜곡 및 에코 등 음향 간섭 신호에 대하여 매우 취약한 문제점을 가질 수 있다.
또한, 차량 내의 통화 또는 음성인식 등과 같은 음향 솔루션에서는 운전자뿐만 아니라 다른 사람들의 음성도 수음할 필요가 있을 수 있다. 이러한 문제는 마이크로폰 배열을 이용, 빔을 형성하여 입력 SNR을 개선하고 음향 간섭 신호에 강인하도록 할 수 있다.
이러한 빔을 형성하기 위한 기술로 적응형 빔 형성장치(Adaptive beam former)에 대한 기술이 공개되어 있다. 이 중 광대역 LCMV(Linearly Constrained Minimum Variance) 적응 빔 형성장치는 1972년 Otis Lamont Frost III의 논문에서 공지된 바 있다.
이러한 적응형 빔 형성장치는 차량 내에서의 음향 솔루션에서도 자주 사용되고 있는데, 주로 음원 소스(예컨대, 화자) 또는 소음에 따라 빔의 방향을 적응적으로 변화시켜서 차량내에서 보다 효율적인 음향 솔루션을 제공하기 위해 사용되고 있다.
하지만, 종래의 적응형 빔 형성장치를 이용하여 빔을 형성하더라도 차량 내 여러 사람의 음성을 수음하기 위해서는 기존의 하나의 빔을 이용한 마이크로폰 어레이로는 여러 사람의 음성을 수음하기 힘들거나 그 성능이 낮게되는 문제점이 있다.
이를 위해 두 개 이상의 빔을 가지는 마이크로폰 어레이 시스템이 필요할 수 있다. 그리고 다양한 소음 및 간섭 신호들이 존재하므로 간섭 신호와 원하는 신호 간의 조향(steering) 또한 차이가 적어지게 되어, 더욱 정교한 빔 형성이 요구될 수 있다.
따라서, 본 발명이 이루고자 하는 기술적인 과제는 멀티 빔을 형성할 수 있는 마이크 어레이 및 이를 위한 적응 빔 형성장치를 제공하는 것이다.
또한, 전술한 바와 같은 차량 내의 환경에서 더욱 강인한 멀티 빔 음향시스템을 제공하며, 이를 위해 적응 알고리즘을 이용한 적응 빔 형성장치를 제공하는 것이다.
또한, 비교적 적은 연산량의 자가 조율(self-tuning) 알고리즘을 이용하여 비정상(non-stationary)적인 간섭 신호 및 에코에 강인한 빔 형성기를 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 멀티 빔 음향시스템은 차량 내부의 소정의 위치에 설치되며 복수 개의 마이크로폰으로 구현되어 입력신호를 수신하는 마이크 어레이(microphone array) 및 상기 마이크 어레이의 빔을 형성하기 위한 적응 빔 형성장치를 포함하며, 상기 적응 빔 형성장치는 상기 마이크 어레이에 서로 다른 방향으로 형성되는 적어도 두 개의 빔을 형성하는 것을 특징으로 할 수 있다.
상기 적응 빔 형성장치는 상기 마이크 어레이로부터 입력되는 상기 입력신호를 원하는 방향으로 조향(steering)하는 고정 빔 형성부, 상기 입력신호를 수신하고 수신된 상기 입력신호로부터 잡음 기준 신호를 획득하기 위한 블록킹 행렬부(blocking matrix), 상기 블록킹 행렬부로부터 출력되는 상기 잡음 기준 신호로부터 적응형 잡음 신호를 획득하기 위한 가변 빔 형성부, 및 상기 고정 빔 형성부로부터 출력된 신호에서 상기 적응형 잡음 신호를 제거한 목적신호를 출력하기 위한 제거수단을 포함하는 GSC(Generald sidelobe Canceller)를 포함하는 특징으로 하며, 상기 고정 빔 형성부는 적어도 두 개의 방향으로 상기 입력신호를 조향하는 것을 특징으로 할 수 있다.
상기 GSC는 적어도 두 개의 방향으로 상기 입력신호를 조향하기 위해, 다음 수학식과 같은 제약조건을 같도록 설계되는 것을 특징으로 할 수 있다.
Figure PCTKR2011008213-appb-I000001
여기서
Figure PCTKR2011008213-appb-I000002
는 i 번째 제약조건 행렬,
Figure PCTKR2011008213-appb-I000003
는 원하는 방향의 조향벡터,
Figure PCTKR2011008213-appb-I000004
는 가중치 벡터 행렬,
Figure PCTKR2011008213-appb-I000005
는 목적하는 충격응답을 나타낸다.
상기 가변 빔 형성부는 자가 조율(self-tuning) RLS(Recursive Least Squares) 알고리즘을 이용해 상기 적응형 잡음 신호들을 획득할 수 있다.
상기 마이크 어레이는 상기 차량에 설치된 좌석들 중 어느 두 개의 좌석들에 대응되도록 상기 소정의 위치에 설치되며, 상기 소정의 위치는 상기 어느 두 개의 좌석 사이의 특정 위치에서 상기 어느 두 개의 좌석 방향과 수직방향의 선 상에 위치하며, 상기 적어도 두 개의 빔 중 적어도 하나는 상기 수직방향의 선을 기준으로 어느 한 방향에 위치한 좌석의 위치에 상응하는 방향으로 형성되고, 상기 적어도 두 개의 빔 중 다른 적어도 하나는 상기 수직방향의 선을 기준으로 다른 한 방향에 위치한 좌석의 위치에 상응하는 방향으로 형성되는 것을 특징으로 할 수 있다.
상기 멀티 빔 음향시스템은 상기 차량의 AVN(Audio Video Navigation) 장치부터 출력된 음향신호에 기초한 에코(echo)신호가 상기 입력신호에 포함된 경우, 수신된 상기 입력신호에서 상기 에코신호를 제거하기 위한 에코 제거장치를 더 포함할 수 있다.
상기 에코 제거장치는 상기 AVN 장치로부터 상기 음향신호에 대한 정보를 수신하여 저장하고, 저장된 상기 음향신호에 대한 정보에 기초하여 상기 에코신호를 추정하고, 추정된 상기 에코신호를 상기 입력신호에서 제거할 수 있다.
상기 멀티 빔 음향시스템은 상기 차량에 설치된 좌석들 중 상기 어느 두 개의 좌석을 제외한 적어도 하나의 좌석에 대응되도록 설치되는 제 2 마이크 어레이를 더 포함할 수 있다.
상기 제 2 마이크 어레이는 상기 적응 빔 형성장치에 의해 적어도 하나의 빔이 형성되거나, 상기 멀티 빔 음향시스템에 더 포함된 제2적응 빔 형성장치에 의해 적어도 하나의 빔이 형성되는 것을 특징으로 할 수 있다.
상기 기술적 과제를 해결하기 위한 멀티 빔 음향 시스템은 차량 내부의 소정의 위치에 설치되며 복수 개의 마이크로폰으로 구현되어 입력신호를 수신하는 마이크 어레이의 빔을 형성하기 위한 적응 빔 형성장치 및 상기 마이크 어레이로부터 출력되는 출력신호에서 상기 차량의 AVN 장치로부터 출력되는 음향신호에 기초한 에코신호를 제거하기 위한 에코 제거장치를 포함하며, 상기 적응 빔 형성장치는 상기 마이크 어레이의 빔을 적어도 두 개 형성할 수 있다.
상기 입력신호는 상기 차량 내부 탑승자의 화자 신호 또는 음성명령 신호이며, 상기 멀티 빔 음향 시스템은 상기 적어도 두 개의 빔 중 적어도 하나를 통해 입력되는 상기 화자 신호 또는 상기 음성명령 신호에서 상기 에코신호를 제거한 에코제거 화자신호 또는 에코제거 음성명령 신호를 상기 AVN으로 출력하며, 상기 AVN은 상기 에코제거 화자신호를 상대방 통신장치로 송신하거나, 상기 에코제거 음성명령 신호에 따라 소정의 차량 장치를 제어하기 위한 제어신호를 출력할 수 있다.
상기 기술적 과제를 해결하기 위한 멀티 빔 음향 시스템은 마이크 어레이로부터 입력되는 입력신호를 원하는 방향으로 조향(steering)하는 고정 빔 형성부, 상기 입력신호를 수신하고 수신된 상기 입력신호로부터 잡음 기준 신호를 획득하기 위한 블록킹 행렬부(blocking matrix), 상기 블록킹 행렬부로부터 출력되는 상기 잡음 기준 신호로부터 적응형 잡음 신호를 획득하기 위한 가변 빔 형성부, 및 상기 고정 빔 형성부로부터 출력된 신호에서 상기 적응형 잡음 신호를 제거한 목적신호를 출력하기 위한 제거수단을 포함하는 GSC(Generald sidelobe Canceller)를 포함하는 특징으로 하며, 상기 고정 빔 형성부는 적어도 두 개의 방향으로 상기 입력신호를 조향하는 것을 특징으로 할 수 있다.
상기 GSC는 적어도 두 개의 방향으로 상기 입력신호를 조향하기 위해, 다음 수학식과 같은 제약조건을 같도록 설계되는 것을 특징으로 할 수 있다.
Figure PCTKR2011008213-appb-I000006
여기서
Figure PCTKR2011008213-appb-I000007
는 i 번째 제약조건 행렬,
Figure PCTKR2011008213-appb-I000008
는 원하는 방향의 조향벡터,
Figure PCTKR2011008213-appb-I000009
는 가중치 벡터 행렬,
Figure PCTKR2011008213-appb-I000010
는 목적하는 충격응답을 나타낸다.
본 발명에 따른 멀티 빔 음향시스템은 적응적으로 복수 개의 빔을 형성할 수 있으므로, 복수의 음원 소스에 대한 인식률이 높아질 수 있는 효과가 있다.
또한, 본 발명의 실시 예에 따른 멀티 빔 음향시스템이 차량에 적용되는 경우, 차량의 운전자뿐만 아니라 다른 탑승자의 음성도 효율적으로 수음할 수 있는 효과가 있다.
또한, 차량 내외의 소음 및 에코에 강인할 수 있으며 특히 에코 제거장치를 구비하는 경우, 더욱 소음 및 에코에 강인해질 수 있는 효과가 있다.
또한, 비교적 적은 연산량의 자가 조율 알고리즘을 이용하여 비교적 빠른 시간 내에 비정상적인 간섭신호 및 에코에 강인한 빔을 형성할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 멀티 빔 음향시스템이 차량에 설치되는 경우의 개념도를 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 멀티 빔 음향시스템의 개략적인 구성을 나타내는 도면이다.
도 3은 일반적인 멀티 빔 음향시스템의 광대역 빔 형성장치의 개념을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 적응 빔 형성장치의 개략적인 구성을 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따른 마이크 어레이와 상기 마이크 어레이에 의한 빔이 차량의 내부에 형성되는 것을 설명하기 위한 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다.
반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시 예에 따른 멀티 빔 음향시스템이 차량에 설치되는 경우의 개념도를 나타내는 도면이다. 또한, 도 2는 본 발명의 실시 예에 따른 멀티 빔 음향시스템의 개략적인 구성을 나타내는 도면이다.
먼저 도 1a 및 도 2를 참조하면, 본 발명의 실시 예에 따른 멀티 빔 음향시스템(1)을 구현하기 위해 마이크 어레이(microphone array, 200)가 도 1a에 도시된 바와 같이 설치될 수 있다. 상기 마이크 어레이(200)는 도 1a에 도시된 바와 같이 적어도 두 개의 빔을 형성할 수 있다. 본 명세서에서 빔이라 함은, 본 발명의 실시 예에 따른 적은 빔 형성장치(Adaptive Beam Former, 110)에 의해 형성되는 메인 로브(mainlobe)를 의미할 수 있다.
이처럼 본 발명의 실시 예에 따른 멀티 빔 음향시스템(1)은 후술할 바와 같은 기술적 사상에 의해 적어도 두 개의 빔을 형성할 수 있다. 이처럼 복수 개의 빔은 각각 차량의 운전자뿐만 아니라, 타 탑승자의 음성신호를 수음하기 용이하게 형성될 수 있다.
상기 마이크 어레이(200)는 복수 개의 좌석들에 대응되도록 설치될 수 있다. 상기 마이크 어레이(200)가 복수 개의 좌석들에 대응되도록 설치된다고 함은, 복수 개의 좌석들 각각의 위치에 상응하는 방향으로 빔이 형성되는 것을 의미할 수 있다. 예컨대, 상기 마이크 어레이(200)가 도 1a에 도시된 바와 같이 두 개의 빔을 형성하는 경우, 상기 두 개의 빔 각각은 차량에 설치된 운전자석 및 조수석의 위치에 상응하는 방향으로 형성될 수 있다.
본 발명의 일 실시 예에 의하면 상기 마이크 어레이(200)에 의해 형성되는 빔이 두 개인 경우에는 상기 두 개의 빔 각각은 상기 마이크 어레이(200)의 중심부를 기준으로 서로 다른 방향으로 형성되도록 구현될 수 있다. 이처럼 서로 다른 방향의 빔을 형성함으로써 빔 간에 미칠 수 있는 간섭의 영향을 줄일 수 있는 효과가 있다.
따라서, 상기 마이크 어레이(200)는 도 1a에 도시된 바와 같이 차량의 앞 좌석용 대시보드(dashboard)에 설치 또는 매립될 수 있으며, 상기 마이크 어레이(200)는 상기 마이크 어레이(200)의 소정의 지점(예컨대, 중심부)에서의 수직방향의 선을 기준으로 서로 다른 방향으로 적어도 두 개의 빔을 형성할 수 있다. 이때 서로 다른 방향 각각은 운전자석 및 조수석 방향이 될 수 있다.
도 1b 및 도 2를 참조하면, 본 발명의 실시 예에 따른 멀티 빔 음향시스템(1)은 제2마이크 어레이(200-1)를 더 포함할 수 있다. 상기 제2마이크 어레이(200-1)는 차량의 뒷 자석에 탑승한 탑승자들의 음성을 수음하기 위해 설치될 수 있다. 이를 위해 상기 제2마이크 어레이(200-1) 역시 본 발명의 실시 예에 따라 복수 개의 빔을 형성하도록 구현될 수도 있다. 구현 예에 따라서는, 상기 제2마이크 어레이(200-1)는 하나의 빔으로 적응적으로 빔 형성 방향이 변화되도록 구현될 수도 있으며, 이처럼 하나의 빔이 음원 소스의 위치에 따라 변화되는 기술적 사상은 종래에 공지되어 있으므로 상세한 설명은 생략하도록 한다.
상기 제2마이크 어레이(200-1)는 뒷좌석의 탑승자들의 음성을 수음하기 용이한 위치에 설치 또는 매립될 수 있다. 예컨대, 상기 제2마이크 어레이(200-1)는 도 1b에 도시된 바와 같이 운전석과 조수석 사이에 위치한 콘솔박스의 소정의 위치에 설치 또는 매립될 수 있다. 일반적으로 콘솔박스는 뒷 좌석의 중심 부근과 수직의 위치에 있으므로 이처럼 콘솔박스의 소정의 위치에 설치됨으로써, 전술한 바와 같이 상기 수직을 기준으로 서로 다른 방향을 갖는 적어도 두 개의 빔을 형성할 수 있다. 물론, 반드시 상기 콘솔박스의 소정의 위치에 상기 제2마이크 어레이(200-1)가 설치되어야 하는 것은 아니다. 상기 제2마이크 어레이(200-1)는 상기 콘솔박스에 별도로 설치될 수도 있지만, 뒷좌석용 멀티미디어 기기가 상기 콘솔박스 인근 또는 그 외의 위치에 설치되는 경우, 상기 멀티미디어 기기에 포함되어 구현될 수도 있다.
도 1c는 마이크 어레이(200)및 제2마이크 어레이(200-1)가 각각 2 개의 빔을 형성하는 경우를 나타내며, 상기 마이크 어레이(200)가 형성하는 빔은 운전석 및 조수석에 상응하도록 형성될 수 있고, 상기 제2마이크 어레이(200-1)가 형성하는 빔은 운전석 뒷 좌석 및 조수석 뒷 좌석에 상응하도록 형성될 수 있다. 이처럼 본 발명의 실시 예에 따른 멀티 빔 음향시스템(1)은 총 4개의 빔을 형성함으로써, 기존의 차량 내의 음향시스템이 운전석에 위치한 운전자의 음성을 수음하기 위해 주로 설치되는 것과는 달리, 차량에 탑승한 다른 탑승자들의 음성도 효율적으로 수음할 수 있게 되는 효과가 있다.
또한, 복수의 빔을 형성함으로써 하나의 빔을 형성하여 실시간으로 빔의 방향을 변화하는 것에 비해 실시간으로 연산할 데이터의 량이 적게 되는 효과가 있다.
도 2를 참조하면, 본 발명의 실시 예에 따른 멀티 빔 음향시스템(1)은 적응 빔 형성장치(110)를 포함할 수 있다. 상기 적응 빔 형성장치(110)는 소정의 제어장치(100)에 포함되도록 구현될 수 있다. 상기 제어장치(100)는 구현 예에 따라 도 2에 도시된 바와 같이 소정의 에코 제거장치(120)를 더 포함할 수 있다. 상기 제어장치(100)는 하나의 칩으로 구현될 수도 있고, 소정의 하드웨어와 유기적으로 결합하도록 구현되는 소프트웨어로 구현될 수도 있다.
상기 제어장치(100)는 소정의 AVN(Audio Video Navigation) 장치(300)와 연결될 수 있으며, 상기 제어장치(100)로부터 출력되는 신호(예컨대, 상기 마이크 어레이(200)를 통해 수음된 신호 등)가 상기 AVN 장치(300)를 통하여 소정의 기기(예컨대, 상대방 통화장치 또는 음성명령을 수행할 기기 등)로 전송될 수 있다. 또한, 상기 제어장치(100)는 상기 AVN 장치(300)로부터 외부로 전송될 신호 또는 스피커를 통해 출력될 음향신호에 대한 정보를 수신하고 이를 이용할 수 있다. 예컨대, 상기 제어장치(100)에 포함된 상기 에코 제거장치(120)는 상기 AVN 장치(300)로부터 외부로 전송될 신호 또는 차량의 내부로 출력될 음향신호에 대한 정보를 수신하고, 이를 이용해 상기 마이크 어레이(200)로부터 입력되는 입력신호에서 에코신호를 추정하여 추정된 에코신호를 상쇄할 수 있다.
상기 AVN 장치(300)는 본 발명의 실시 예에 따른 멀티 빔 음향시스템(1)이 차량에 설치되는 경우에는 차량에 설치된 오디오 시스템, 비디오 시스템, 네비게이션 시스템, 음성 통화 시스템 등 차량에서 제공되는 가능한 모든 종류의 음성 시스템을 의미할 수 있다. 또한, 상기 멀티 빔 음향시스템(1)이 차량이 아닌 곳에 사용되는 경우에는 상기 마이크 어레이(200)를 타 기기로 전송하거나, 외부에서 전송되어온 신호를 출력할 수 있는 모든 형태의 음향시스템을 포함하는 의미로 사용될 수 있다.
상기 에코 제거장치(120)는 상기 AVN 장치(300)에 포함된 스피커로부터 소정의 음향신호가 출력되고, 출력된 상기 음향신호가 다시 상기 마이크 어레이(200)를 통해 입력되는 입력신호에 포함되어 입력되는 경우, 상기 입력신호에 포함된 에코신호를 제거하는 기능을 수행할 수 있다. 즉, 상기 마이크 어레이(200)로부터 입력되는 입력신호는 상기 에코 제거장치(120)를 통해 에코신호가 제거되고, 에코신호가 제거된 에코제거 신호는 상기 AVN 장치(300)로 전송될 수 있다.
이를 위해 상기 에코 제거장치(120)는 상기 AVN 장치(300)로부터 상기 스피커를 통해 출력되는(될) 음향신호에 대한 정보를 수신하여 임시로 저장할 수 있다. 그리고 저장된 상기 음향신호에 대한 정보에 기초하여 상기 에코신호를 추정할 수 있으며, 추정된 상기 에코신호를 상기 마이크 어레이(200)를 통해 입력되는 입력신호에서 제거할 수 있다. 이처럼 상기 에코 제거장치(120)는 스피커를 통해 출력될 신호를 미리 저장하고 있다가 이를 이용하여 에코신호를 제거하는 기술적 사상을 이용할 수 있는데, 이러한 기술적 사상은 본 출원인이 출원한 2009년 11월 18일에 출원한 한국특허출원(출원번호 10-2009-0111323, "신호분리방법, 상기 신호 분리 방법을 이용한 통신 시스템 및 음성인식 시스템", 이하 '선출원)에 상세히 개시된 바 있다. 상기 선출원에 개시된 기술적 사상 및 내용은 본 명세서의 레퍼런스로 포함된다.
상기 에코 제거장치(120)는 선출원에 개시된 바와 같이 소정의 변형된 BSS(Blind Source Separation) 알고리즘을 이용하여 빠른 시간 내에 실시간으로 입력신호에서 에코신호를 분리할 수 있다. 또한 선출원에 개시된 변형된 BSS 알고리즘에 의하면 하나의 마이크를 통해서도 두 개의 신호를 분리할 수 있는데, 상기 에코 제거장치(120)는, 상기 마이크 어레이(200)로부터 입력된 입력신호가 상기 적응 빔 형성장치(110)를 통해 목적신호로 출력되면, 출력되는 목적신호를 선출원에서의 하나의 마이크를 통해 입력되는 입력신호로써 처리하여 상기 에코신호를 제거할 수도 있다. 물론, 상기 에코 제거장치(120)는 선출원에 개시된 기술적 사상 이외에도 공지의 다양한 방식으로 에코를 제거할 수도 있다.
예컨대, 상기 마이크 어레이(200)에 의해 형성되는 적어도 두 개의 빔 중 적어도 하나를 통해 차량의 탑승자의 음성신호가 수음될 때, 상기 음성신호는 통화를 위한 화자신호일 수도 있고, 음성인식 명령을 위한 음성명령 신호일 수도 있다. 그러면, 상기 화자신호 또는 음성인식 명령신호는 상기 적응 빔 형성장치(110)를 통해 상기 에코 제거장치(120)로 출력될 수 있고, 상기 에코 제거장치(120)에 의해 에코신호가 제거되어 상기 AVN 장치(300)로 출력될 수 있다. 그러면, 상기 AVN 장치(300)는 에코신호가 제거된 화자신호를 상대방 통신장치로 출력할 수도 있고, 음성인식명령의 대상이 되는 소정의 장치(예컨대, 네비게이션, 차량의 윈도우, 기타 차량의 장치 등)를 제거하기 위한 제어신호로 출력할 수 있다. 입력신호가 음성인식 명령인 경우, 음성신호를 인식하고 소정의 상기 제어신호로 변환하기 위한 소정의 음성인식 장치(미도시)가 상기 제어장치(100) 및/또는 상기 AVN 장치(300)에 포함될 수도 있다. 만약 상기 음성인식 장치(미도시)가 상기 AVN 장치(300)에 포함되어 구현되는 경우, 상기 에코 제거장치(120)를 통해 출력된 신호는 상기 음성인식 장치(미도시)로 입력되고, 상기 음성인식 장치(미도시)는 입력된 신호에 기초하여 상기 제어신호를 생성하고, 생성된 상기 제어신호를 소정의 차량 장치로 출력할 수 있다.
한편, 도 2에 도시된 바와 같이 상기 멀티 빔 음향시스템(1)은 제2마이크 어레이(200-1)를 더 포함할 수 있다. 상기 제2마이크 어레이(200-1)는 상기 제어장치(100)와 연결되어 상술한 바와 같은 기능을 수행할 수도 있지만, 별도의 제2제어장치(100-1)에 연결될 수도 있다. 상기 제2제어장치(100-1)은 상기 AVN 장치(300)에 연결될 수 있다.
상기 제2마이크 어레이(200-1)는 전술한 바와 같이 적어도 하나의 빔을 형성할 수 있다. 예컨대, 하나의 빔을 형성하는 경우에는 차량의 뒷 좌석 탑승자의 위치에 따라 적응적으로 빔의 방향이 변화될 수도 있고, 두 개 이상의 빔이 뒷 좌석의 탑승자가 탑승할 위치에 상응하도록 형성될 수도 있다.
한편, 상기 적응 빔 형성장치(110)의 기능은 도 3 및 도 4를 참조하여 설명하도록 한다.
도 3은 일반적인 멀티 빔 음향시스템의 광대역 빔 형성장치의 개념을 설명하기 위한 도면이고, 도 4는 본 발명의 실시 예에 따른 적응 빔 형성장치의 개략적인 구성을 나타내는 도면이다.
먼저 도 3을 참조하면, 도 3은 광대역 LCMV 적응 빔 형성장치의 구조를 나타내고 있다. 광대역 LCMV 적응 빔형성장치는 1972년 Otis Lamont Frost Ⅲ의 논문에서 그 시초를 찾을 수 있다. 도 3에서 알 수 있듯이, 협대역 빔 형성장치와 달리 광대역 빔 형성장치는 하나의 센서(마이크로폰) 당 여러 개의 시간지연(Delay) 탭이 붙어 있는 구조로 구현할 수 있다. 또한 원하는 방향 (Look-direction)의 등가회로로 표현하면, 각각의 등가 필터 탭들은 전체 회로의 충격 응답 (Impulse Response)으로 나타낼 수 있다.
만약, 도 3의 빔 형성장치가 K개의 센서와 J개의 지연(Delay) 탭으로 이루어져 있다고 가정할 수 있다. 이 경우 가중치(Weight)의 총 개수는 KJ개이며, J 개의 제약조건(Constraint)을 가져야 한다. 또한 가중치를 조절함에 있어서 남은 (KJ-J)개의 자유도(Degree of Freedom)을 이용하여 출력 파워를 최소화하게 된다.
이때, 입력 신호와 가중치 벡터는 다음과 같이 정의될 수 있다.
수학식 1
Figure PCTKR2011008213-appb-M000001
수학식 2
Figure PCTKR2011008213-appb-M000002
여기서 n은 표본 수(sample number)를 나타내고,
Figure PCTKR2011008213-appb-I000011
은 입력신호 벡터를 나타내며,
Figure PCTKR2011008213-appb-I000012
은 가중치 벡터를 나타낸다.
또한, 선형 제약조건 (Linear Constraint)는 다음과 같이 주어진다.
수학식 3
Figure PCTKR2011008213-appb-M000003
위 식에서
Figure PCTKR2011008213-appb-I000013
는 목적하는 충격 응답(Impulse Response)이며
Figure PCTKR2011008213-appb-I000014
부터
Figure PCTKR2011008213-appb-I000015
까지의 값으로 이루어진
Figure PCTKR2011008213-appb-I000016
벡터를 나타낼 수 있다. 도 3에서 보듯이 광대역 빔 형성장치는 이에 대응하는(equivalent) FIR(Finite Impulse Response) 필터로 모델링할 수 있으며, 이때 원하는 주파수 응답을 가지는 충격 응답을 설계할 수 있다. 따라서 충격 응답
Figure PCTKR2011008213-appb-I000017
는 빔형성 장치의 주파수 특성을 결정하는 설계 인자(Design Parameter)라고 할 수 있다. 제약조건 행렬(Constraint Matrix)
Figure PCTKR2011008213-appb-I000018
Figure PCTKR2011008213-appb-I000019
의 크기를 가지는 행렬이며, 수학식 4와 같이 정의될 수 있다.
수학식 4
Figure PCTKR2011008213-appb-M000004
수학식 4 에서
Figure PCTKR2011008213-appb-I000020
는 길이가
Figure PCTKR2011008213-appb-I000021
인 열벡터이며,
Figure PCTKR2011008213-appb-I000022
는 길이가
Figure PCTKR2011008213-appb-I000023
인 조향 벡터(Steering Vector)를 나타낸다. 따라서,
Figure PCTKR2011008213-appb-I000024
Figure PCTKR2011008213-appb-I000025
번째 그룹에 조향 벡터를 가지고 나머지 원소는 0을 가지는
Figure PCTKR2011008213-appb-I000026
길이의 열벡터가 된다.
일반적인 종래의 광대역 빔 형성장치는 빔 즉 메인 로브(mainlobe)를 하나만 가지도록 설계되며, 이때 제약조건 행렬은 다음 수식과 같을 수 있다.
수학식 5
Figure PCTKR2011008213-appb-M000005
여기서
Figure PCTKR2011008213-appb-I000027
는 원하는 방향의 조향벡터를 나타내며, 이 때 충격응답 (impulse response) f는 그 방향의 원하는 응답을 나타낸다. 또한 상기 광대역 빔 형성장치는 후술할 바와 같이 GSC로 구현될 수 있느데, 이때 GSC의 블록킹 행렬부(Blockng Matrix)
Figure PCTKR2011008213-appb-I000028
는 C의 null space로 정의되며, 그 크기는
Figure PCTKR2011008213-appb-I000029
로 정의될 수 있다. 또한, 가변 가중치 벡터 (adaptive weight vector)의 크기 또한
Figure PCTKR2011008213-appb-I000030
로 설계될 수 있다.
본 발명의 실시 예에 따른 적응 빔 형성장치(110) 역시 도 3에 도시된 광대역 LCMV 적응 빔 형성장치를 그 기본으로 하여 구현될 수 있다. 상기 적응 빔 형성장치(110)는 음성 대역에 적절한 주파수 응답을 가지도록 충격 응답
Figure PCTKR2011008213-appb-I000031
를 설계할 수 있다. 그러나 상술한 바와 같은 광대역 빔 형성장치는 자가 조율(Self-tuning) 적응 알고리즘을 사용하기가 어려우므로, 빔 형성장치의 가중치(Weight) 조절은 도 4에 도시된 바와 같은 GSC(Generalized Sidelobe Canceller)를 사용하여 구현될 수 있다.
[수학식 3]의 제약조건 행렬
Figure PCTKR2011008213-appb-I000032
의 직교 보수(orthogonal complement) 행렬을
Figure PCTKR2011008213-appb-I000033
라 할 수 있다. 그리고
Figure PCTKR2011008213-appb-I000034
행렬
Figure PCTKR2011008213-appb-I000035
Figure PCTKR2011008213-appb-I000036
벡터
Figure PCTKR2011008213-appb-I000037
를 다음 수식과 같이 정의할 수 있다.
수학식 6
Figure PCTKR2011008213-appb-M000006
수학식 7
Figure PCTKR2011008213-appb-M000007
수학식 6 및 7에 따라 가중치 벡터는 다음과 같이 나타낼 수 있다.
수학식 8
Figure PCTKR2011008213-appb-M000008
수학식 8과 수학식 3을 이용하면 다음과 같은 수식을 얻을 수 있다.
수학식 9
Figure PCTKR2011008213-appb-M000009
직교 보수의 정의에 의해
Figure PCTKR2011008213-appb-I000038
이고, 따라서 수학식 9는 다음과 같이 정리될 수 있다.
수학식 10
Figure PCTKR2011008213-appb-M000010
수학식 11을 이용하면 빔 형성 장치에 있어서 고정요소(fixed beamformer component)를 구할 수 있는데, 다음과 같은 수식으로 표현될 수 있다.
수학식 11
Figure PCTKR2011008213-appb-M000011
수학식 8과 수학식 11에 의해 가중치 벡터는 다음과 같이 표현될 수 있다.
수학식 12
Figure PCTKR2011008213-appb-M000012
수학식 12를 구현하면 GSC가 될 수 있으며, GSC의 구조는 도 4와 같을 수 있다.
도 4를 참조하면, 상기 GSC 즉 적응 빔 형성장치(110)는 상기 마이크 어레이(200)로부터 입력되는 상기 입력신호를 원하는 방향으로 조향(steering)하는 고정 빔 형성부(111), 상기 입력신호를 수신하고 수신된 상기 입력신호로부터 잡음 기준신호를 획득하기 위한 블록킹 행렬부(blocking matrix, 112), 상기 블록킹 행렬부(112)로부터 획득된 상기 잡음 기준신호로부터 적응형 잡음 신호를 획득하기 위한 가변 빔 형성부(113), 및 상기 고정 빔 형성부(113)로부터 출력된 신호(
Figure PCTKR2011008213-appb-I000039
)에서 상기 적응형 잡음 신호(
Figure PCTKR2011008213-appb-I000040
)를 제거한 목적신호를 출력하기 위한 제거수단(114)을 포함하는 GSC(Generald sidelobe Canceller)를 포함할 수 있다. 상기 도 4에 도시된 적응 빔 형성장치(110)는 종래의 GSC와 유사한 구조를 가지도록 구현될 수 있으며, 이러한 GSC의 기능 및 구조에 대해서는 널리 공지되어 있으므로 상세한 설명은 생략하도록 한다. 하지만,본 발명의 실시 예에 따른 적응 빔 형성장치(110)는 상기 고정 빔 형성부(111)가 적어도 두 개의 방향으로 상기 입력신호를 조향하도록 설정되는 것을 특징으로 한다.
또한, 상기 블록킹 행렬부(112)가 상기 잡음 기준신호를 생성하기 위해 생성하는 제약조건은 기존의 GSC가 수학식 3을 만족하도록 설정된다면, 본 발명의 실시 예에 따른 제약조건은 다음 수학식을 만족하도록 설정될 수 있다.
수학식 13
Figure PCTKR2011008213-appb-M000013
즉, 고정 빔 형성부(111)에 의해 획득되는 고정 가중치 벡터(fixed weight vector)와 볼록킹 행렬부(112)가 사용하는 블록킹 행렬(
Figure PCTKR2011008213-appb-I000041
)은 상기 적응 빔 형성장치(110)의 설계 값으로 미리 정해질 수 있는데, 이때 상기 고정 빔 형성부(111)에 의해 획득되는 고정 가중치 벡터는 본 발명의 실시 예에 따라 형성되는 복수 개의 빔에 대응되도록 설정될 수 있으며, 상기 블록킹 행렬(
Figure PCTKR2011008213-appb-I000042
)을 회득하기 위한 제약조건(C)는 수학식 13에 따 제약조건을 갖도록 설계될 수 있다.
종래의 빔 형성장치와 같은 경우, 제약조건 행렬 C의 크기는
Figure PCTKR2011008213-appb-I000043
와 같이 정의되나, 본 발명의 실시 예에 따른 복수 개의 빔(메인 로브(mainlobe))를 가지는 적응 빔 형성장치(110)의 경우
Figure PCTKR2011008213-appb-I000044
(N은 mainlobe의 개수)의 형태를 가진다. 따라서, 충격응답 벡터 의 크기도
Figure PCTKR2011008213-appb-I000045
에서
Figure PCTKR2011008213-appb-I000046
로 바뀌게 되며, 각각의 빔에 해당하는 충격응답이 수직으로 중첩(cascade)되어 있는 형태로 설계될 수 있다.
따라서, 상기 적응 빔 형성장치(110) 설계 값 또한 이에 맞춰 수정되어 설계되며, 특히 가변 가중치 벡터의 크기가
Figure PCTKR2011008213-appb-I000047
로 설계된다. 이에 따라, 가중치 벡터의 변환 행렬 (Transform matrix)에 해당하는 블록킹 행렬(
Figure PCTKR2011008213-appb-I000048
)의 크기 또한
Figure PCTKR2011008213-appb-I000049
로 설계될 수 있다. 이는 제약조건 행렬 C를 고유값 분해 (singular value decomposition) 한 후, 분해된 행렬에서 설계된 크기만큼을 취하되 고유 값이 큰 순서대로 취함으로써 설계될 수 있다.
일반적으로, 제약조건이 전혀 없는 GSC의 경우 가변 빔 형성부(113)의 자유도는 센서(마이크로폰)의 개수와 같으며, 제약조건이 존재하는 경우는 (센서(마이크로폰)의 개수-제약조건의 개수)가 된다. 이는 위에서 가변 가중치 벡터의 크기를 고려해보면 알 수 있다. 따라서, 제약 조건의 개수가 많아질수록 가변 빔 형성부(113)의 자유도가 감소하여 GSC의 성능이 떨어지게 되므로, 실질적으로 가능한 빔의 개수는 센서(마이크로폰)의 개수에 제한을 받게 된다. 만약 4개의 센서(마이크로폰)를 사용하여 상기 마이크 어레이(200)를 구현하는 경우, 실질적으로 의미 있는 빔의 개수는 1~2개 정도가 될 수 있다. 따라서, 상기 마이크 어레이(200)는 4 개 이상의 센서(마이크로폰)을 포함하는 것이 바람직할 수 있다.
한편, 본 발명의 실시 예에 따른 적응 빔 형성장치(110)에서는 상기 가변 빔 형성부(113)에 의해 획득되는 상기 적응형 잡음 신호 즉, 가변 가중치 벡트(Adaptive weight vector)를 조절하는 데에 있어 자가조율(Self-Tuning) RLS(Reculsive Least Squares)를 사용할 수 있다. 이러한 자가조율 RLS 알고리즘은 적응 알고리즘 중에도 빠른 적응 속도를 가지는 알고리즘이므로, 비정상(Non-stationary)적인 간섭 신호에도 강인할 뿐 아니라, 원하는 방향 (Look-direction)을 변경한 뒤에도 빠르게 적응할 수 있다.
상기 가변 빔 형성부(113)는 자가조율 RLS 알고리즘을 이용해 상기 가변 가중치 벡터를 획득할 수 있는데, 상기 자가조율 RLS 알고리즘은 최소 자승(Least Squares) 문제의 해(Solution)을 재귀적으로 풀어내는 알고리즘일 수 있다.
일반적인 최소 자승 문제의 경우를 살펴보면 다음과 같다.
다음과 같이 Data Matrix A와 원하는 신호(Desired signal)
Figure PCTKR2011008213-appb-I000050
를 정의할 수 있다.
수학식 14
Figure PCTKR2011008213-appb-M000014
수학식 15
Figure PCTKR2011008213-appb-M000015
또한, 일반적인 적응 신호처리에서 목표로 하는 최적 해는 다음 수학식과 같은 조건을 만족한다.
수학식 16
Figure PCTKR2011008213-appb-M000016
수학식 16과 같은 조건을 만족하는 최적 해를 구하기 위하여, 다음과 같이 최소 자승 문제 (Least squares problem)를 정의할 수 있다.
수학식 17
Figure PCTKR2011008213-appb-M000017
위와 같은 목적 함수 (Cost function)을 최소화하는 최소 자승 문제의 최적해는 일반적으로 다음과 같이 주어진다.
수학식 18
Figure PCTKR2011008213-appb-M000018
이를 Time-averaged autocorrelation matrix
Figure PCTKR2011008213-appb-I000051
와 Time-averaged cross-correlation vector
Figure PCTKR2011008213-appb-I000052
로 나타내면 다음과 같다.
수학식 19
Figure PCTKR2011008213-appb-M000019
위와 같은 해를 재귀적으로 풀어낸 것이 RLS 알고리즘이며, 그 신호처리과정은 다음과 같다.
수학식 20
Figure PCTKR2011008213-appb-M000020
여기서
Figure PCTKR2011008213-appb-I000053
은 priori error를 나타내고,
Figure PCTKR2011008213-appb-I000054
은 게인 벡터를 나타내며,
Figure PCTKR2011008213-appb-I000055
는 forgetting vector를 나타낸다.
따라서, 수학식 20에서
Figure PCTKR2011008213-appb-I000056
은 도 4의 블록킹 행렬부(112)의 출력 신호에 대응될 수 있고, 수학식 20을 이용하여 수학식 13의 제약조건을 갖는 본 발명의 실시 예에 따른 적응 빔 형성장치(110)의 가변 가중치 벡터를 재귀적으로 획득할 수 있다.
도 5는 본 발명의 실시 예에 따른 마이크 어레이와 상기 마이크 어레이에 의한 빔이 차량의 내부에 형성되는 것을 설명하기 위한 도면이다.
도 5를 참조하면, 본 발명의 실시 예에 따른 멀티 빔 음향시스템(1)은 적어도 하나의 마이크 어레이(200, 200-1)를 포함할 수 있다. 이 중 하나의 마이크 어레이(200)는 적어도 두 개의 빔을 형성할 수 있고, 그 중 하나는 운전석(S1)에 상응하는 방향으로 형성될 수 있으며, 다른 하나는 조수석(S2)에 상응하는 방향으로 형성될 수 있다. 이때 각각의 빔의 방향은 수학식 13의 제약조건에서 θ의 값을 설정함으로써 결정될 수 있다.
본 발명의 실시 예에 의하면, 상기 마이크 어레이(200)는 소정의 좌석들(예컨대, S1, S2)의 사이의 특정 지점(10)에서 수직방향의 선(11) 상에 위치할 수 있고, 상기 마이크 어레이(200)에 의해 생성되는 복수 개의 빔 중 어느 하나는 상기 수직방향의 선(11)을 기준으로 일 방향으로 형성될 수 있으며, 다른 빔 중 어느 하나는 타 방향으로 형성될 수 있다. 물론, 상기 마이크 어레이(200)가 소정의 좌석들(예컨대, S1, S2)의 사이의 특정 지점(10)에서 수직방향의 선(11) 상에 위치하는 것이 아니라 다른 곳에 위치하는 경우에는 상기 복수 개의 빔은 동일한 방향으로 형성될 수도 있다.
한편, 상기 멀티 빔 음향시스템(1)은 제2마이크 어레이(200-1)를 더 포함할 수 있는데, 상기 제2마이크 어레이(200-1) 역시 복수 개의 빔을 형성할 수도 있다. 또한, 구현 예에 따라 하나의 빔을 형성하고 적응적으로 빔의 방향을 변환하도록 구현될 수도 있다.
상기 제2마이크 어레이(200-1)가 복수 개의 빔을 형성하는 경우, 차량의 뒷 좌석에 탑승할 탑승자의 위치(예컨대, S3, S4, S5)에 따라 상기 복수 개의 빔이 형성될 수 있다.
도 5에서는 상기 마이크 어레이(200)와 상기 제2마이크 어레이(200-1)가 동일 선상에 위치하는 경우를 일 예로 도시하였지만, 반드시 도 5에서 도시된 바와 같이 구현될 필요가 없음은 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
본 발명의 실시 예에 따른 멀티 빔 음향시스템 제공방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 차량용 음향시스템에 적용될 수 있다.

Claims (13)

  1. 차량 내부의 소정의 위치에 설치되며 복수 개의 마이크로폰으로 구현되어 입력신호를 수신하는 마이크 어레이(microphone array); 및
    상기 마이크 어레이의 빔을 형성하기 위한 적응 빔 형성장치를 포함하며,
    상기 적응 빔 형성장치는,
    상기 마이크 어레이에 서로 다른 방향으로 형성되는 적어도 두 개의 빔을 형성하는 것을 특징으로 하는 멀티 빔 음향시스템.
  2. 제 1항에 있어서, 상기 적응 빔 형성장치는,
    상기 마이크 어레이로부터 입력되는 상기 입력신호를 원하는 방향으로 조향(steering)하는 고정 빔 형성부;
    상기 입력신호를 수신하고 수신된 상기 입력신호로부터 잡음 기준 신호를 획득하기 위한 블록킹 행렬부(blocking matrix);
    상기 블록킹 행렬부로부터 출력되는 상기 잡음 기준 신호로부터 적응형 잡음 신호를 획득하기 위한 가변 빔 형성부; 및
    상기 고정 빔 형성부로부터 출력된 신호에서 상기 적응형 잡음 신호를 제거한 목적신호를 출력하기 위한 제거수단을 포함하는 GSC(Generald sidelobe Canceller)를 포함하는 특징으로 하며
    상기 고정 빔 형성부는 적어도 두 개의 방향으로 상기 입력신호를 조향하는 것을 특징으로 하는 멀티 빔 음향시스템.
  3. 제 2항에 있어서, 상기 GSC는,
    적어도 두 개의 방향으로 상기 입력신호를 조향하기 위해,
    다음 수학식과 같은 제약조건을 같도록 설계되는 것을 특징으로 하는 멀티 빔 음향시스템.
    Figure PCTKR2011008213-appb-I000057
    여기서
    Figure PCTKR2011008213-appb-I000058
    는 i 번째 제약조건 행렬,
    Figure PCTKR2011008213-appb-I000059
    는 원하는 방향의 조향벡터,
    Figure PCTKR2011008213-appb-I000060
    는 가중치 벡터 행렬,
    Figure PCTKR2011008213-appb-I000061
    는 목적하는 충격응답을 나타낸다.
  4. 제 2항에 있어서, 상기 가변 빔 형성부는,
    자가 조율(self-tuning) RLS(Recursive Least Squares) 알고리즘을 이용해 상기 적응형 잡음 신호들을 획득하는 멀티 빔 음향시스템.
  5. 제 1항에 있어서, 상기 마이크 어레이는,
    상기 차량에 설치된 좌석들 중 어느 두 개의 좌석들에 대응되도록 상기 소정의 위치에 설치되며,
    상기 소정의 위치는,
    상기 어느 두 개의 좌석 사이의 특정 위치에서 상기 어느 두 개의 좌석 방향과 수직방향의 선 상에 위치하며,
    상기 적어도 두 개의 빔 중 적어도 하나는 상기 수직방향의 선을 기준으로 어느 한 방향에 위치한 좌석의 위치에 상응하는 방향으로 형성되고,
    상기 적어도 두 개의 빔 중 다른 적어도 하나는 상기 수직방향의 선을 기준으로 다른 한 방향에 위치한 좌석의 위치에 상응하는 방향으로 형성되는 것을 특징으로 하는 멀티 빔 음향시스템.
  6. 제 1항에 있어서, 상기 멀티 빔 음향시스템은,
    상기 차량의 AVN(Audio Video Navigation) 장치부터 출력된 음향신호에 기초한 에코(echo)신호가 상기 입력신호에 포함된 경우,
    수신된 상기 입력신호에서 상기 에코신호를 제거하기 위한 에코 제거장치를 더 포함하는 멀티 빔 음향시스템.
  7. 제 6항에 있어서, 상기 에코 제거장치는,
    상기 AVN 장치로부터 상기 음향신호에 대한 정보를 수신하여 저장하고,
    저장된 상기 음향신호에 대한 정보에 기초하여 상기 에코신호를 추정하고,
    추정된 상기 에코신호를 상기 입력신호에서 제거하는 멀티 빔 음향시스템.
  8. 제 5항에 있어서, 상기 멀티 빔 음향시스템은,
    상기 차량에 설치된 좌석들 중 상기 어느 두 개의 좌석을 제외한 적어도 하나의 좌석에 대응되도록 설치되는 제 2 마이크 어레이를 더 포함하는 멀티 빔 음향시스템.
  9. 제 8항에 있어서, 상기 제 2 마이크 어레이는,
    상기 적응 빔 형성장치에 의해 적어도 하나의 빔이 형성되거나,
    상기 멀티 빔 음향시스템에 더 포함된 제2적응 빔 형성장치에 의해 적어도 하나의 빔이 형성되는 것을 특징으로 하는 멀티 빔 음향시스템.
  10. 차량 내부의 소정의 위치에 설치되며 복수 개의 마이크로폰으로 구현되어 입력신호를 수신하는 마이크 어레이의 빔을 형성하기 위한 적응 빔 형성장치; 및
    상기 마이크 어레이로부터 출력되는 출력신호에서 상기 차량의 AVN 장치로부터 출력되는 음향신호에 기초한 에코신호를 제거하기 위한 에코 제거장치를 포함하며,
    상기 적응 빔 형성장치는,
    상기 마이크 어레이의 빔을 적어도 두 개 형성하는 멀티 빔 음향시스템.
  11. 제 10항에 있어서, 상기 입력신호는,
    상기 차량 내부 탑승자의 화자 신호 또는 음성명령 신호이며,
    상기 멀티 빔 음향 시스템은,
    상기 적어도 두 개의 빔 중 적어도 하나를 통해 입력되는 상기 화자 신호 또는 상기 음성명령 신호에서 상기 에코신호를 제거한 에코제거 화자신호 또는 에코제거 음성명령 신호를 상기 AVN으로 출력하며,
    상기 AVN은 상기 에코제거 화자신호를 상대방 통신장치로 송신하거나, 상기 에코제거 음성명령 신호에 따라 소정의 차량 장치를 제어하기 위한 제어신호를 출력하는 멀티 빔 음향시스템.
  12. 마이크 어레이로부터 입력되는 입력신호를 원하는 방향으로 조향(steering)하는 고정 빔 형성부;
    상기 입력신호를 수신하고 수신된 상기 입력신호로부터 잡음 기준 신호를 획득하기 위한 블록킹 행렬부(blocking matrix);
    상기 블록킹 행렬부로부터 출력되는 상기 잡음 기준 신호로부터 적응형 잡음 신호를 획득하기 위한 가변 빔 형성부; 및
    상기 고정 빔 형성부로부터 출력된 신호에서 상기 적응형 잡음 신호를 제거한 목적신호를 출력하기 위한 제거수단을 포함하는 GSC(Generald sidelobe Canceller)를 포함하는 특징으로 하며
    상기 고정 빔 형성부는 적어도 두 개의 방향으로 상기 입력신호를 조향하는 것을 특징으로 하는 멀티 빔 음향시스템.
  13. 제 2항에 있어서, 상기 GSC는,
    적어도 두 개의 방향으로 상기 입력신호를 조향하기 위해,
    다음 수학식과 같은 제약조건을 같도록 설계되는 것을 특징으로 하는 멀티 빔 음향시스템.
    Figure PCTKR2011008213-appb-I000062
    여기서
    Figure PCTKR2011008213-appb-I000063
    는 i 번째 제약조건 행렬,
    Figure PCTKR2011008213-appb-I000064
    는 원하는 방향의 조향벡터,
    Figure PCTKR2011008213-appb-I000065
    는 가중치 벡터 행렬,
    Figure PCTKR2011008213-appb-I000066
    는 목적하는 충격응답을 나타낸다.
PCT/KR2011/008213 2010-10-29 2011-10-31 멀티 빔 음향시스템 WO2012057589A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013536536A JP5913340B2 (ja) 2010-10-29 2011-10-31 マルチビーム音響システム
US13/881,847 US9521484B2 (en) 2010-10-29 2011-10-31 Multi-beam sound system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0106625 2010-10-29
KR1020100106625A KR101103794B1 (ko) 2010-10-29 2010-10-29 멀티 빔 음향시스템

Publications (2)

Publication Number Publication Date
WO2012057589A2 true WO2012057589A2 (ko) 2012-05-03
WO2012057589A3 WO2012057589A3 (ko) 2012-06-21

Family

ID=45613971

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/008213 WO2012057589A2 (ko) 2010-10-29 2011-10-31 멀티 빔 음향시스템

Country Status (4)

Country Link
US (1) US9521484B2 (ko)
JP (1) JP5913340B2 (ko)
KR (1) KR101103794B1 (ko)
WO (1) WO2012057589A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018038379A1 (ko) * 2016-08-26 2018-03-01 삼성전자 주식회사 음성 인식을 위한 전자 장치 및 이의 제어 방법
CN108132457A (zh) * 2017-12-22 2018-06-08 景晖 一种确定位置的语音来波方向估计方法和装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015220400A1 (de) 2014-12-11 2016-06-16 Hyundai Motor Company Sprachempfangssystem im fahrzeug mittels audio-beamforming und verfahren zum steuern desselben
WO2016093855A1 (en) * 2014-12-12 2016-06-16 Nuance Communications, Inc. System and method for generating a self-steering beamformer
WO2016123746A1 (en) * 2015-02-03 2016-08-11 SZ DJI Technology Co., Ltd. System and method for detecting aerial vehicle position and velocity via sound
JP6611474B2 (ja) * 2015-06-01 2019-11-27 クラリオン株式会社 集音装置、及び集音装置の制御方法
DE102015016380B4 (de) * 2015-12-16 2023-10-05 e.solutions GmbH Technik zum Unterdrücken akustischer Störsignale
CN106548783B (zh) * 2016-12-09 2020-07-14 西安Tcl软件开发有限公司 语音增强方法、装置及智能音箱、智能电视
WO2018167921A1 (ja) * 2017-03-16 2018-09-20 三菱電機株式会社 信号処理装置
CN110999317A (zh) 2017-08-10 2020-04-10 三菱电机株式会社 杂音去除装置以及杂音去除方法
CN108401208A (zh) * 2018-03-30 2018-08-14 斑马网络技术有限公司 带有收音场结构的车辆和车辆收音系统及其收音方法
JP7334406B2 (ja) * 2018-10-24 2023-08-29 ヤマハ株式会社 アレイマイクロフォンおよび収音方法
CN112216298B (zh) * 2019-07-12 2024-04-26 大众问问(北京)信息科技有限公司 双麦克风阵列声源定向方法、装置及设备
CN112216299B (zh) * 2019-07-12 2024-02-20 大众问问(北京)信息科技有限公司 双麦克风阵列波束形成方法、装置及设备
CN110751946A (zh) * 2019-11-01 2020-02-04 达闼科技成都有限公司 机器人及其语音识别装置和方法
US11902755B2 (en) * 2019-11-12 2024-02-13 Alibaba Group Holding Limited Linear differential directional microphone array
EP3843421A1 (en) * 2019-12-23 2021-06-30 Bombardier Transportation GmbH Vehicle onboard condition monitoring

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040079085A (ko) * 2003-03-06 2004-09-14 삼성전자주식회사 마이크로폰 어레이 구조, 이를 이용한 일정한 지향성을갖는 빔 형성방법 및 장치와 음원방향 추정방법 및 장치
KR20080073936A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 실제 잡음 환경의 특성을 반영한 빔포밍 장치 및 방법
KR20080087939A (ko) * 2007-03-28 2008-10-02 경상대학교산학협력단 마이크 어레이를 이용한 방향성 음원 필터링 시스템 및 그방법
JP2008304498A (ja) * 2007-06-05 2008-12-18 Yamaha Corp 音声検出装置、音声会議システムおよび遠隔会議システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3677143B2 (ja) * 1997-07-31 2005-07-27 株式会社東芝 音声処理方法および装置
JP3302300B2 (ja) * 1997-07-18 2002-07-15 株式会社東芝 信号処理装置および信号処理方法
JP3484112B2 (ja) * 1999-09-27 2004-01-06 株式会社東芝 雑音成分抑圧処理装置および雑音成分抑圧処理方法
US6748086B1 (en) * 2000-10-19 2004-06-08 Lear Corporation Cabin communication system without acoustic echo cancellation
JP2005084253A (ja) * 2003-09-05 2005-03-31 Matsushita Electric Ind Co Ltd 音響処理装置、方法、プログラム及び記憶媒体
EP1633121B1 (en) * 2004-09-03 2008-11-05 Harman Becker Automotive Systems GmbH Speech signal processing with combined adaptive noise reduction and adaptive echo compensation
WO2007018293A1 (ja) * 2005-08-11 2007-02-15 Asahi Kasei Kabushiki Kaisha 音源分離装置、音声認識装置、携帯電話機、音源分離方法、及び、プログラム
DE602006007322D1 (de) * 2006-04-25 2009-07-30 Harman Becker Automotive Sys Fahrzeugkommunikationssystem
JP2010091912A (ja) * 2008-10-10 2010-04-22 Equos Research Co Ltd 音声強調システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040079085A (ko) * 2003-03-06 2004-09-14 삼성전자주식회사 마이크로폰 어레이 구조, 이를 이용한 일정한 지향성을갖는 빔 형성방법 및 장치와 음원방향 추정방법 및 장치
KR20080073936A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 실제 잡음 환경의 특성을 반영한 빔포밍 장치 및 방법
KR20080087939A (ko) * 2007-03-28 2008-10-02 경상대학교산학협력단 마이크 어레이를 이용한 방향성 음원 필터링 시스템 및 그방법
JP2008304498A (ja) * 2007-06-05 2008-12-18 Yamaha Corp 音声検出装置、音声会議システムおよび遠隔会議システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018038379A1 (ko) * 2016-08-26 2018-03-01 삼성전자 주식회사 음성 인식을 위한 전자 장치 및 이의 제어 방법
US11087755B2 (en) 2016-08-26 2021-08-10 Samsung Electronics Co., Ltd. Electronic device for voice recognition, and control method therefor
CN108132457A (zh) * 2017-12-22 2018-06-08 景晖 一种确定位置的语音来波方向估计方法和装置

Also Published As

Publication number Publication date
JP5913340B2 (ja) 2016-04-27
JP2013546247A (ja) 2013-12-26
US20130216064A1 (en) 2013-08-22
KR101103794B1 (ko) 2012-01-06
WO2012057589A3 (ko) 2012-06-21
US9521484B2 (en) 2016-12-13

Similar Documents

Publication Publication Date Title
WO2012057589A2 (ko) 멀티 빔 음향시스템
US9002027B2 (en) Space-time noise reduction system for use in a vehicle and method of forming same
EP0836736B1 (en) Digital feed-forward active noise control system
EP3594937B1 (en) Signal processing device and method, and program
JP4096104B2 (ja) 雑音低減システム及び雑音低減方法
JP2007235943A (ja) 音声信号取得のためのハンドフリーシステム
US8363846B1 (en) Frequency domain signal processor for close talking differential microphone array
EP1879180A1 (en) Reduction of background noise in hands-free systems
US20170150256A1 (en) Audio enhancement
JP4957810B2 (ja) 音処理装置、音処理方法及び音処理プログラム
WO2019156339A1 (ko) 오디오 신호의 주파수의 변화에 따른 위상 변화율에 기반하여 노이즈가 감쇠된 오디오 신호를 생성하는 장치 및 방법
WO2019156338A1 (ko) 노이즈가 정제된 음성 신호를 획득하는 방법 및 이를 수행하는 전자 장치
US9136905B2 (en) Multi-receiving terminal echo cancellation method and system
WO2016056683A1 (ko) 전자 장치 및 이의 잔향 제거 방법
WO2015093842A1 (ko) 수중 음향신호의 공기 중 재현을 위한 다중 채널 신호처리 및 가공방법과 이를 이용한 정보전달장치
KR101587844B1 (ko) 마이크로폰의 신호 보상 장치 및 그 방법
WO2021025515A1 (en) Method for processing multi-channel audio signal on basis of neural network and electronic device
JP2010091912A (ja) 音声強調システム
US20220189450A1 (en) Audio processing system and audio processing device
JP3881300B2 (ja) 音声スイッチ方法、音声スイッチ及び音声スイッチプログラム、そのプログラムを記録した記録媒体
WO2018199367A1 (ko) 스테레오 채널 잡음 제거 장치 및 방법
CN109417666B (zh) 噪声去除装置、回声消除装置和异常音检测装置
Liao et al. Incorporating spatial information in binaural beamforming for noise suppression in hearing aids
WO2021132791A1 (ko) 지능적 컨텐츠 제공 방법 및 자율 주행 시스템
EP1261961B1 (en) Methods and systems for noise reduction for spatially displaced signal sources

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11836681

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2013536536

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13881847

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 14/08/2013)

122 Ep: pct application non-entry in european phase

Ref document number: 11836681

Country of ref document: EP

Kind code of ref document: A2