KR20130048075A - 다중 음원 위치추적장치 및 그 위치추적방법 - Google Patents

다중 음원 위치추적장치 및 그 위치추적방법 Download PDF

Info

Publication number
KR20130048075A
KR20130048075A KR1020110112998A KR20110112998A KR20130048075A KR 20130048075 A KR20130048075 A KR 20130048075A KR 1020110112998 A KR1020110112998 A KR 1020110112998A KR 20110112998 A KR20110112998 A KR 20110112998A KR 20130048075 A KR20130048075 A KR 20130048075A
Authority
KR
South Korea
Prior art keywords
sound source
candidate
candidates
extracting
sound
Prior art date
Application number
KR1020110112998A
Other languages
English (en)
Inventor
현경학
김진성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110112998A priority Critical patent/KR20130048075A/ko
Priority to EP12190449.4A priority patent/EP2590433B1/en
Priority to US13/665,143 priority patent/US9264806B2/en
Publication of KR20130048075A publication Critical patent/KR20130048075A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 다중 음원 위치추적장치 및 그 위치추적방법에 관한 것으로, 마이크 신호의 미리 설정된 프레임별로 음원후보를 찾는 작업을 반복하여 각 음원후보들을 수집한 다음 수집된 음원후보에 대해서만 빔포밍(Beamforming)을 통해 검증함으로써 적은 수의 마이크를 이용하면서도 다중 음원의 위치를 보다 신속하고 정확히 추적할 수 있다.

Description

다중 음원 위치추적장치 및 그 위치추적방법{APPARATUS FOR MULTIPLE SOUND SOURCE LOCALIZATION AND METHOD THE SAME}
본 발명은 다중 음원 위치추적장치 및 그 위치추적방법에 관한 것으로, 더욱 상세하게는 마이크로폰 어레이를 이용하여 다중 음원의 방향을 추정하는 다중 음원 위치추적장치 및 그 위치추적방법에 관한 것이다.
음성인식, 화자인식, 화상통화 등 다양한 음성기술이 적용되는 분야에서 몇 명의 화자 혹은 소음원이 존재하는지, 그리고 그 위치는 어디인지를 알아내는 것은 그 상황에 맞추어 음성증폭/감소 혹은 음원분리 등을 적용해야 하기 때문에 음성전처리에서도 중요한 분야이다.
이러한 음원 위치 추적에 대한 방법은 일반적으로 여러 개의 마이크를 공간상에 배치하고 각 마이크로 도달하는 신호의 차이를 이용하게 된다.
하지만 기존의 방법들은 음원 개수보다 많은 수의 마이크 개수를 요구하고 마이크를 설치해야 하는 위치에 대한 제약도 존재하게 된다.
이러한 제약은 결과적으로 제품에 적용하기 위해서는 제품 단가나 디자인 적인 측면에서 손해를 발생시키기 때문에 적은 수의 마이크에도 적용이 가능한 복수 음원 위치 추적 방법에 대한 개발이 필요하다.
본 발명의 일 측면은 적은 수의 마이크를 이용하면서도 다중 음원의 위치를 보다 신속하고 정확히 추적하는 다중 음원 위치추적장치 및 그 위치추적방법을 제공한다.
이를 위해 본 발명의 일 측면에 따른 다중 음원 위치추적장치는 복수의 마이크로폰이 선형으로 배치된 마이크로폰 어레이; 상기 마이크로폰 어레이로부터 수신된 마이크 신호에서 미리 설정된 프레임별로 음원후보를 각각 추출하고, 각 추출된 음원후보들을 대상으로 빔포밍을 통해 검증하며, 검증결과를 이용하여 실제 음원들의 위치를 추정하는 음원추적부;를 포함한다.
여기서, 상기 미리 설정된 프레임은 상기 마이크 신호의 데이터크기가 256, 512 또는 1024 비트 중 어느 하나인 것을 포함한다.
여기서, 상기 음원추적부는 상기 마이크로폰 어레이로부터 수신된 마이크 신호에서 미리 설정된 프레임별로 음원부호를 추출하는 음원후보추출부와, 상기 음원후보추출부에 의해 추출된 복수의 음원후보를 대상으로 빔포밍을 수행하고, 빔포밍 결과 상기 복수의 음원후보 중 신호세기가 미리 설정된 값 이상인 음원후보들을 선정하고, 선정된 음원후보들을 근거로 실제 음원들의 위치를 추정하는 음원후보검증부를 포함한다.
여기서, 상기 음원후보추출부는 상기 마이크로폰 어레이로부터 수신된 마이크신호에서 상기 각 프레임별로 음원위치 추적에 필요한 음성특징을 추출하는 음원특징추출부와, 상기 음원특징추출부에 의해 추출된 음원특징들을 근거로 음원후보들을 추출하고, 추출된 음원후보들 중 음원방향이 동일한 음원후보들을 그룹화한 복수의 음원부호군을 추출하는 음원후보군추출부를 포함한다.
본 발명의 다른 측면에 따른 다중 음원 위치추적방법은 복수의 마이크로폰이 선형으로 배치된 마이크로폰 어레이와 상기 마이크로폰 어레이로부터 수신된 마이크 신호에 따라 음원들의 위치를 인식하는 음원 추적부를 포함하는 다중 음원 위치추적장치의 제어방법에 있어서, 상기 마이크로폰 어레이로부터 마이크 신호를 수신하고; 상기 수신된 마이크 신호의 미리 설정된 프레임별로 음원후보를 각각 추출하고; 상기 각각 추출된 음원후보를 대상으로 빔포밍을 수행하고; 상기 빔포밍 결과를 이용하여 신호세기가 미리 설정된 값 이상인 음원후보를 선정하고; 상기 선정된 음원후보들을 근거로 실제 음원들의 위치를 추정하는; 것을 포함한다.
여기서, 상기 음원후보 추출에서 상기 미리 설정된 프레임은 상기 마이크 신호의 데이터크기가 256, 512 또는 1024 비트 중 어느 하나인 것을 포함한다.
여기서, 상기 음원후보 추출은, 상기 수신된 마이크 신호의 미리 설정된 프레임별로 음원특징을 각각 추출하고, 각각 추출된 음원특징을 근거로 각 음원후보를 추출하는 것을 포함한다.
여기서, 상기 음원후보 추출은 상기 수신된 마이크 신호의 미리 설정된 프레임별로 음원특징을 각각 추출하고, 각각 추출된 음원특징을 근거로 음원후보를 각각 추출하고, 상기 각각 추출된 음원후보들 중 음원방향이 동일한 음원후보들을 그룹화한 복수의 음원부호군을 추출하는 것을 포함한다.
이상에서 설명한 본 발명의 일 측면에 따르면, 마이크 신호의 미리 설정된 프레임별로 음원후보를 찾는 작업을 반복하여 각 음원후보들을 수집한 다음 수집된 음원후보에 대해서만 빔포밍(Beamforming)을 통해 검증함으로써 적은 수의 마이크를 이용하면서도 다중 음원의 위치를 보다 신속하고 정확히 추적할 수 있다.
도 1은 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 구성도이다.
도 2는 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 음원후보추출부의 제어블록도이다.
도 3은 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 음원후보추출부에서 각 단기 프레임별로 방위각 후보를 찾는 것을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 음원후보추출부에서 각 단기 프레임별로 찾은 방위각 후보들을 종합하여 방위각 후보군을 추출하는 것을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 음원후보검증부의 제어블록도이다.
도 6은 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 제어흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 설명한다.
도 1은 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 구성도이다.
도 1에 도시된 바와 같이, 다중 음원 위치추적장치는 마이크로폰 어레이(10)와, 음원추적부(20)를 포함한다.
마이크로폰 어레이(10)는 다수 개의 마이크로폰(11)으로 이루어지고, 각 마이크로폰(11)은 서로 같은 간격으로 선형으로 배치되어 음원신호를 입력받는다.
음원추적부(20)는 마이크로폰 어레이(10)로부터 수신된 마이크신호(X1~Xm)에서 단기(Short-Term) 구간별로 음원후보를 추출하고, 추출된 음원후보들을 대상으로 빔포밍을 통해 검증하며, 검증결과를 이용하여 실제 음원들의 위치를 추정한다.
음원추적부(20)는 음원후보추출부(30)와 음원후보검증부(40)를 포함한다.
음원후보추출부(30)는 복수의 음원후보를 추출한다.
음원후보검증부(40)는 음원후보추출부(30)에 의해 추출된 복수의 음원후보를 대상으로 빔포밍을 수행하여 복수의 음원후보의 신호세기가 미리 설정된 값 이상인 음원후보를 선정하는 방식으로 각 음원후보를 검증하고, 검증된 음원후보를 근거로 실제 음원들의 위치를 추정한다.
도 2는 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 음원후보추출부의 제어블록도이다.
도 2에 도시된 바와 같이, 음원후보추출부(30)는 음원특징추출부(31)와 음원후보군추출부(32)를 포함한다.
음원특징추출부(31)는 마이크로폰 어레이(10)로부터 수신된 마이크신호에서 음원위치 추적에 필요한 음성특징을 추출한다.
이 음원특징은 미리 설정된 알고리즘을 통해 추출한다. 이 알고리즘은 예를 들면, 음원특징 추출에 의해 흔히 사용되는 GCC-PHAT(generalized cross correlation phase transform) 기법일 수 있다. 일반적으로 음원의 위치를 찾기 위해서는 다른 위치에 존재하는 두 개 이상의 마이크 신호가 요구된다. 가장 일반적인 접근 방법은 각 마이크 신호로부터 도달되는 신호의 도달 시간 차이와 마이크 간격을 이용하여 각도를 추정하는 방법이 있으나, 여러 위치에서 음원이 존재하는 경우에는 시간 차이를 구하기가 어렵기 때문에 마이크 신호간의 상관관계(correlation)을 이용하여 신호의 지연(delay)를 구하는 방법이 일반적이다. 이런 상관관계(correlation)을 구하는 방법도 어떤 정규화 요소(Normalize Factor)를 이용하느냐에 따라 다양한 방법이 존재하는데 GCC-PHAT 기법은 각 주파수의 세기로 정규화하는 방식이다.
음원후보군추출부(32)는 음원특징추출부(31)에 의해 추출된 음원특징(
Figure pat00001
)으로부터 음원후보를 찾는 작업을 미리 설정된 단기 프레임별로 수행하고, 각각의 단기 프레임별로 추출된 음원후보들로부터 음원후보군을 추출한다. 이때, 동일한 음원후보는 그룹화하여 1개의 음원후보군으로 분류한다. 각 프레임에서 적어도 1번이라도 찾아진 음원후보는 해당 음원후보군으로 각각 추출한다.
이때, 미리 설정된 단기 프레임은 전체 신호 구간을 미리 설정된 신호데이터크기로 구분한 신호 구간이다.
도 3은 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 음원후보추출부에서 각 단기 프레임별로 방위각 후보를 찾는 것을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 마이크 신호 구간은 N개의 프레임으로 구분된다.
1개의 프레임은 신호데이터의 크기를 기준으로 결정된다. 예를 들면, 신호데이터가 256, 512 또는 1024 비트일 수 있다.
예를 들면, 마이크 신호 구간의 1블럭은 20개 프레임일 수 있다.
각 프레임에서 마이크 신호는 윈도윙(Windowing)과 고속푸리에 변환(Fast Fourier Transform ; FFT) 등의 신호 변환 과정을 통해 신호 변환된 후 음성특징 추출을 위한 알고리즘에 의해 음성특징이 추출되고, 이 추출된 음성특징을 근거로 음원후보(Θc1~Θcn)가 추출된다. 이때, 음원후보(Θc1~Θcn)는 음원특징이 있는 프레임에서의 경우 음원후보값이 나타나지만 음원특징이 없는 프레임에서의 경우 음원후보값이 0일 수 있다. 이 음원후보는 예를 들면 방위각 후보이다.
이와 같이, 상대적으로 짧은 시간 구간인 각 프레임별로 음원후보를 추출하기 위한 작업을 수행함으로써 매순간 음원이 존재할 가능성이 높은 곳의 음원후보를 보다 신속하고 정확하게 추출할 수 있고, 각 프레임에서는 가장 가능성이 높은 하나의 음원 위치만 후보로 추출함으로써 공간 에일리어싱(spatial aliasing)에도 비교적 강한 음원후보를 추출할 수 있다. 참고로, 추적하고자 하는 음원으로부터 마이크로폰 어레이(10)에 도달하는 음파 신호가 해당 신호의 가장 높은 주파수 성분의 반 파장 당 최소한 한 번은 샘플링 돼야 해당 음원의 방향이 정확히 추정될 수 있기 때문에 마이크간 거리는 해당 음원의 가장 높은 주파수 성분의 반 파장보다 짧아야 한다. 마이크간 거리가 이보다 길 경우 임의의 방향에서 각 마이크에 도달하는 신호들 간의 위상차가 정확하게 측정되지 않아 마치 한 개의 소리가 여러 개의 방향에서 전달되는 것처럼 추정되는데 이 현상을 공간 에일리어싱이라 한다.
도 4는 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 음원후보추출부에서 각 단기 프레임별로 찾은 방위각 후보들을 종합하여 방위각 후보군을 추출하는 것을 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 음원후보추출부(30)에 의해 각 프레임별로 추출된
음원후보인 방위각 후보는 수신 가능한 전체 방위각에서 해당 방위각이 추출된 횟수를 높이는 방식으로 음원후보별로 그룹화하여 음원후보군을 구성한다.
예를 들면, 도 4에는 4개의 음원후보군이 나타나 있으며, 그 음원후보군의 방위각은 각각 ??80도, -70도, 10도, 20도이다. 이 음원후보군(-80도, -70도, 10도, 20도)의 정보는 음원후보 검증부(40)로 전송된다. 이때, 전체 프레임에서 1번이라도 추출된 음원후보는 모두 음원후보군으로 인정한다. 즉, 음원후보군은 적어도 1번 추출된 음원후보이다.
도 5는 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 음원후보검증부의 제어블록도이다.
도 5에 도시된 바와 같이, 음원후보검증부(40)는 빔포머(beamformer)(41)를 포함한다.
빔포머(41)는 음원부호군추출부(32)에 의해 추출된 각 음원후보군(Θcg1~Θcgn)을 대상으로 빔포밍하여 각 음원후보군의 음원세기가 미리 설정된 값 이상의 음원후보군을 선정하고, 선정된 음원후보군들의 음원방향을 실제 음원들의 위치로 인식한다. 이때, 음원후보군 선정시, 음원세기가 미리 설정된 값 이상인 음원부호군이 예를 들면 4개인 경우, 음원세기가 높은 몇 개의 음원후보군만을 선정할 수 있다.
이 빔포머(41)는 1블록의 신호구간에 대하여 빔포밍할 수 있다.
이하에서는 빔포머(41)에서 수행되는 일반적인 빔포밍 기법에 대하여 설명한다.
빔포머(41)는 M개의 마이크폰(11)이 일렬로 배치된 마이크로폰 어레이(10)로부터 음원신호를 입력받는다.
빔포머(41)의 출력은 다음과 같이 정의된다.
Figure pat00002
식 [1]
여기서 xm(n)는 m번째 마이크 신호이고 τm은 m번째 마이크까지의 도래지연(delay of arrival ; DOA)을 나타낸다.
길이 L의 마이크 신호 프레임마다 이러한 빔포머(41)의 출력 에너지 E를 구하면 다음과 같다.
Figure pat00003
식 [2]
임의의 방향에 음원이 존재할 경우 해당 방향으로부터 각 마이크에 전달되는 신호의 지연(delay)이 곧 τm이 되며 위 식 [2]처럼 이를 보정하여 더해주면 빔포머(41)의 에너지 E는 최대값을 가지게 된다. 식 [2]를 다시 각 마이크 쌍별로 정리하면 다음과 같다.
Figure pat00004
식 [3]
식 [3]의 첫 번째 항은 각 마이크 신호의 자기 상관(auto-correlation)의 합이고 이는 여러 값의 τm에 대해 거의 일정한 값을 가지므로 상수로 처리하여 무시하고, 두 번째 항을 서로 다른 i번째 마이크와 j번째 마이크간의 상호 상관으로 표현하고 두 번째 항의 맨 앞에 "2"를 무시하면 빔포머(41)의 에너지(E)는 아래와 같이 서로 다른 마이크 신호간의 상호 상관들의 합에 비례하게 된다.
Figure pat00005
식 [4]
여기서 τ는 i번째 마이크와 j번째 마이크간의 상대적 지연인 τi-τj이며 이는 마이크 신호가 광의의 정상(Wide-Sense Stationary ; WSS)이라 가정하여 상호 상관(cross-correlation)값들이 마이크 신호 간 상대적 지연의 함수가 됨을 뜻한다. 주파수 영역에서 상호 상관은 다음과 같은 근사치로 표현된다.
Figure pat00006
식 [5]
위 식에서 Xi(k)는 i번째 마이크 신호 xi(n)의 이산 푸리에 변환(Discrete Fourier transform ; DFT)이며, Xi(k)Xj*(k)는 xi(n)와 xj(n)의 상호 스펙트럼(cross-spectrum)이고, (ㅇ)*는 복수켤레(complex conjugate)을 뜻한다. k는 DFT의 주파수 인덱스이며 L은 마이크 신호의 각 프레임 길이임과 동시에 DFT 사이즈이다.
하지만 식 [5]를 그대로 쓰면 상호 상관의 피크가 날카롭지(sharp) 못할 뿐 아니라 모든 주파수 성분이 서로 대등하게 적용되어 추적 대상이 아닌 주변소음이 대부분인 특정 주파수 성분도 상관 산출에 똑같이 기여하게 되어 음성과 같은 좁은 대역폭(bandwidth)을 갖는 음원의 검출이 다소 어려워진다.
따라서 다음과 같이 각 DFT의 절대값에 의한 정규화(normalization)로 백색화(whitening)해주고 신호 대 잡음비(Signal-to-Noise Ratio ; SNR)가 높은 스펙트럼에 보다 높은 가중치를 주는 스펙트럼 가중치(spectral weighting)을 적용한다.
Figure pat00007
식 [6]
위 식에서 주파수별 가중치인 w(k)는 현재 시간에서 구한 전체 마이크 신호의 파워 스펙트럼 밀도(power spectral density)의 평균인 Y(k)와 이전 시간에서 구한 Y(k) 값들의 평균인 YN(k)에 기반하여 다음과 같이 구한다.
Figure pat00008
식 [7]
여기서 β(0<β<1)는 이전 신호의 평균 스펙트럼(spectrum)보다 큰 값을 갖는 주파수 성분에 가중치를 주게 된다.
일정한 시간 주기(예를 들면, 200msec)동안 구한 Xi(k)Xj*(k)의 평균을 취하여 이를 식 [6]에 대입하여 각 마이크 쌍의 상호 상관을 구한다.
M개의 마이크로 구성된 마이크로폰 어레이(10)에는 모두 M*(M-1)/2개의 서로 다른 마이크 쌍이 존재하므로 M*(M-1)/2개의 상호 상관을 산출하고 이를 식 [4]에 대입하여 빔포머 에너지 E를 구한다.
이렇게 구한 빔포머(21)의 에너지 E는 각 마이크 쌍 간 지연차의 함수인데, i번째 마이크와 j번째 마이크 간 지연차인 τij는 M개의 마이크로폰 어레이(10)에서 해당 마이크 쌍의 사이간격 dij와 음원의 방향 θs로 다음과 같이 표현된다.
Figure pat00009
식 [8]
여기서 c는 음속이다. 빔포머(41)의 샘플링 주파수 fs와 마이크 간격 d가 정해지면 제1 빔포머(21)가 추적할 수 있는 방향의 개수 Nd은 다음의 식으로 유추할 수 있다.
Figure pat00010
식 [9]
마이크로폰 어레이(10)로 빔포밍을 할 경우 방향 추적 범위는 전방을 0˚로 했을 때 -90˚와 90˚ 사이에 국한되므로 180˚를 Nd로 나누면 빔포머(41)의 각도 분해능이 나온다. 이 Nd개의 방향에 대한 각 마이크 쌍의 지연차를 식 [8]로 구하고, 미리 산출된 상호 상관(식 [6])에 대입하여 식 [4]로 각 Nd개의 방향마다 빔포머(41)의 에너지 E를 구한다. 이 중 가장 큰 에너지 E를 가진 방향을 곧 매 시간 주기마다의 음원 방향으로 판단한다.
복수 개의 음원을 동시에 추적할 경우 한 개의 음원을 추적할 때와 마찬가지로 전 방향을 스캔하며 빔포머(41)의 에너지 E를 구하지만 이미 찾은 음원의 방향은 제외하고 나머지 방향을 스캔하여 이 중 에너지 E가 최대치가 되는 방향을 그 다음 음원의 방향이라고 판단한다.
도 6은 본 발명의 일실시예에 따른 다중 음원 위치추적장치의 제어흐름도이다.
도 6을 참조하면, 먼저, 음원추적부(20)는 마이크 신호를 수신한다(100).
각 마이크 신호를 수신한 후 음원추적부(20)는 수신된 각 마이크 신호를 윈도윙과 FFT를 통해 음성특징을 추출할 수 있는 신호로 신호 변환한다(102).
신호 변환 후 음원추적부(20)는 음성특징을 추출한다(104).
음성특징 추출 후 음원추적부(20)는 마이크 신호의 각 프레임별로 방위각 후보를 찾는다(106)
각 프레임별로 방위각 후보를 찾은 후 음원추적부(20)는 방위각 후보군을 추출한다(108).
방위각 후보군을 추출한 후 음원추적부(20)는 모든 프레임이 끝난 블록의 끝인지를 판단한다(110).
만약, 블록의 끝이 아니면, 음원추적부(20)는 작동모드 100으로 이동하여 이하의 작동모드를 수행한다.
한편, 모든 프레임에서의 음원후보 추출작업이 끝나 블록의 끝이면, 음원추적부(20)는 추출된 방위각 후보군을 대상으로 빔포밍을 수행한다(112).
빔포밍 수행 후 음원추적부(20)는 빔포밍결과를 이용하여 방위각을 선정한다. 이때, 방위각 후보군 중에서 신호세기가 미리 설정된 값 이상인 방위각 후보군을 선정한다.
방위각 후보군을 선정한 후 음원추적부(20)는 선정된 방위각 후보를 근거로 하여 실제 음원들의 위치를 인식한다(116).
10 : 마이크로폰 어레이 11 : 마이크로폰
20 : 음원추적부 30 : 음원후보추출부
40 : 음원후보검증부

Claims (8)

  1. 복수의 마이크로폰이 선형으로 배치된 마이크로폰 어레이;
    상기 마이크로폰 어레이로부터 수신된 마이크 신호에서 미리 설정된 프레임별로 음원후보를 각각 추출하고, 각 추출된 음원후보들을 대상으로 빔포밍을 통해 검증하며, 검증결과를 이용하여 실제 음원들의 위치를 추정하는 음원추적부;를 포함하는 다중 음원 위치추적장치.
  2. 제1항에 있어서,
    상기 미리 설정된 프레임은 상기 마이크 신호의 데이터크기가 256, 512 또는 1024 비트 중 어느 하나인 것을 포함하는 다중 음원 위치추적장치.
  3. 제2항에 있어서,
    상기 음원추적부는 상기 마이크로폰 어레이로부터 수신된 마이크 신호에서 미리 설정된 프레임별로 음원부호를 추출하는 음원후보추출부와, 상기 음원후보추출부에 의해 추출된 복수의 음원후보를 대상으로 빔포밍을 수행하고, 빔포밍 결과 상기 복수의 음원후보 중 신호세기가 미리 설정된 값 이상인 음원후보들을 선정하고, 선정된 음원후보들을 근거로 실제 음원들의 위치를 추정하는 음원후보검증부를 포함하는 다중 음원 위치추적장치.
  4. 제3항에 있어서,
    상기 음원후보추출부는 상기 마이크로폰 어레이로부터 수신된 마이크신호에서 상기 각 프레임별로 음원위치 추적에 필요한 음성특징을 추출하는 음원특징추출부와, 상기 음원특징추출부에 의해 추출된 음원특징들을 근거로 음원후보들을 추출하고, 추출된 음원후보들 중 음원방향이 동일한 음원후보들을 그룹화한 복수의 음원부호군을 추출하는 음원후보군추출부를 포함하는 다중 음원 위치추적장치.
  5. 복수의 마이크로폰이 선형으로 배치된 마이크로폰 어레이와 상기 마이크로폰 어레이로부터 수신된 마이크 신호에 따라 음원들의 위치를 인식하는 음원 추적부를 포함하는 다중 음원 위치추적장치의 제어방법에 있어서,
    상기 마이크로폰 어레이로부터 마이크 신호를 수신하고;
    상기 수신된 마이크 신호의 미리 설정된 프레임별로 음원후보를 각각 추출하고;
    상기 각각 추출된 음원후보를 대상으로 빔포밍을 수행하고;
    상기 빔포밍 결과를 이용하여 신호세기가 미리 설정된 값 이상인 음원후보를 선정하고,
    상기 선정된 음원후보들을 근거로 실제 음원들의 위치를 추정하는; 것을 포함하는 다중 음원 위치추적방법.
  6. 제5항에 있어서,
    상기 음원후보 추출에서 상기 미리 설정된 프레임은 상기 마이크 신호의 데이터크기가 256, 512 또는 1024 비트 중 어느 하나인 것을 포함하는 다중 음원 위치추적방법.
  7. 제6항에 있어서,
    상기 음원후보 추출은, 상기 수신된 마이크 신호의 미리 설정된 프레임별로 음원특징을 각각 추출하고, 각각 추출된 음원특징을 근거로 각 음원후보를 추출하는 것을 포함하는 다중 음원 위치추적방법.
  8. 제6항에 있어서,
    상기 음원후보 추출은 상기 수신된 마이크 신호의 미리 설정된 프레임별로 음원특징을 각각 추출하고, 각각 추출된 음원특징을 근거로 음원후보를 각각 추출하고, 상기 각각 추출된 음원후보들 중 음원방향이 동일한 음원후보들을 그룹화한 복수의 음원부호군을 추출하는 것을 포함하는 다중 음원 위치추적방법.
KR1020110112998A 2011-11-01 2011-11-01 다중 음원 위치추적장치 및 그 위치추적방법 KR20130048075A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110112998A KR20130048075A (ko) 2011-11-01 2011-11-01 다중 음원 위치추적장치 및 그 위치추적방법
EP12190449.4A EP2590433B1 (en) 2011-11-01 2012-10-29 Apparatus and method for tracking locations of plurality of sound sources
US13/665,143 US9264806B2 (en) 2011-11-01 2012-10-31 Apparatus and method for tracking locations of plurality of sound sources

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110112998A KR20130048075A (ko) 2011-11-01 2011-11-01 다중 음원 위치추적장치 및 그 위치추적방법

Publications (1)

Publication Number Publication Date
KR20130048075A true KR20130048075A (ko) 2013-05-09

Family

ID=47290605

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110112998A KR20130048075A (ko) 2011-11-01 2011-11-01 다중 음원 위치추적장치 및 그 위치추적방법

Country Status (3)

Country Link
US (1) US9264806B2 (ko)
EP (1) EP2590433B1 (ko)
KR (1) KR20130048075A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483022B1 (ko) * 2013-08-08 2015-01-19 국방과학연구소 다중표적 순간소음원의 방위탐지방법
KR20150137491A (ko) * 2014-05-29 2015-12-09 경희대학교 산학협력단 다중 음원 국지화 기법을 이용한 얼굴 검출 장치 및 방법
CN107544055A (zh) * 2016-06-23 2018-01-05 意法半导体股份有限公司 基于麦克风阵列的波束形成方法以及对应的装置
KR20200067300A (ko) * 2018-12-03 2020-06-12 삼성전자주식회사 음원 분리 장치 및 음원 분리 방법
US11510001B2 (en) 2020-02-10 2022-11-22 Samsung Electronics Co., Ltd. Electronic device and method for voice recording in electronic device

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5477357B2 (ja) * 2010-11-09 2014-04-23 株式会社デンソー 音場可視化システム
US9549253B2 (en) 2012-09-26 2017-01-17 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Sound source localization and isolation apparatuses, methods and systems
US9955277B1 (en) 2012-09-26 2018-04-24 Foundation For Research And Technology-Hellas (F.O.R.T.H.) Institute Of Computer Science (I.C.S.) Spatial sound characterization apparatuses, methods and systems
US9554203B1 (en) * 2012-09-26 2017-01-24 Foundation for Research and Technolgy—Hellas (FORTH) Institute of Computer Science (ICS) Sound source characterization apparatuses, methods and systems
US10136239B1 (en) 2012-09-26 2018-11-20 Foundation For Research And Technology—Hellas (F.O.R.T.H.) Capturing and reproducing spatial sound apparatuses, methods, and systems
US20160210957A1 (en) 2015-01-16 2016-07-21 Foundation For Research And Technology - Hellas (Forth) Foreground Signal Suppression Apparatuses, Methods, and Systems
US10175335B1 (en) 2012-09-26 2019-01-08 Foundation For Research And Technology-Hellas (Forth) Direction of arrival (DOA) estimation apparatuses, methods, and systems
US10149048B1 (en) 2012-09-26 2018-12-04 Foundation for Research and Technology—Hellas (F.O.R.T.H.) Institute of Computer Science (I.C.S.) Direction of arrival estimation and sound source enhancement in the presence of a reflective surface apparatuses, methods, and systems
CN103439689B (zh) * 2013-08-21 2015-12-23 大连理工大学 一种分布式麦克风阵列中麦克风位置估计系统
FR3011377B1 (fr) * 2013-10-01 2015-11-06 Aldebaran Robotics Procede de localisation d'une source sonore et robot humanoide utilisant un tel procede
US9432769B1 (en) * 2014-07-30 2016-08-30 Amazon Technologies, Inc. Method and system for beam selection in microphone array beamformers
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US9699549B2 (en) * 2015-03-31 2017-07-04 Asustek Computer Inc. Audio capturing enhancement method and audio capturing system using the same
US9734822B1 (en) 2015-06-01 2017-08-15 Amazon Technologies, Inc. Feedback based beamformed signal selection
CN106384510B (zh) * 2016-10-11 2019-10-08 擎翌(上海)智能科技有限公司 一种违法鸣笛抓拍系统
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US9980042B1 (en) * 2016-11-18 2018-05-22 Stages Llc Beamformer direction of arrival and orientation analysis system
US9980075B1 (en) 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
GB2557219A (en) * 2016-11-30 2018-06-20 Nokia Technologies Oy Distributed audio capture and mixing controlling
US10334360B2 (en) * 2017-06-12 2019-06-25 Revolabs, Inc Method for accurately calculating the direction of arrival of sound at a microphone array
US10914827B2 (en) * 2018-04-04 2021-02-09 Microsoft Technology Licensing, Llc Angle sensing for electronic device
CN108553028A (zh) * 2018-04-12 2018-09-21 深圳市沃特沃德股份有限公司 驱赶老鼠方法及扫地机器人
US10586538B2 (en) 2018-04-25 2020-03-10 Comcast Cable Comminications, LLC Microphone array beamforming control
WO2021003639A1 (zh) * 2019-07-08 2021-01-14 爱佩仪测量设备有限公司 一种基于时差定位的声音定位方法及设备
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices
CN110364161A (zh) * 2019-08-22 2019-10-22 北京小米智能科技有限公司 响应语音信号的方法、电子设备、介质及系统
KR20220013073A (ko) * 2020-07-24 2022-02-04 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN112485761B (zh) * 2021-02-03 2021-04-09 成都启英泰伦科技有限公司 一种基于双麦克风的声源定位方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060245601A1 (en) * 2005-04-27 2006-11-02 Francois Michaud Robust localization and tracking of simultaneously moving sound sources using beamforming and particle filtering
US8107321B2 (en) * 2007-06-01 2012-01-31 Technische Universitat Graz And Forschungsholding Tu Graz Gmbh Joint position-pitch estimation of acoustic sources for their tracking and separation
KR101483269B1 (ko) * 2008-05-06 2015-01-21 삼성전자주식회사 로봇의 음원 위치 탐색 방법 및 그 장치
US8724829B2 (en) * 2008-10-24 2014-05-13 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
KR20120059827A (ko) * 2010-12-01 2012-06-11 삼성전자주식회사 다중 음원 위치추적장치 및 그 위치추적방법
GB2495278A (en) * 2011-09-30 2013-04-10 Skype Processing received signals from a range of receiving angles to reduce interference

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483022B1 (ko) * 2013-08-08 2015-01-19 국방과학연구소 다중표적 순간소음원의 방위탐지방법
KR20150137491A (ko) * 2014-05-29 2015-12-09 경희대학교 산학협력단 다중 음원 국지화 기법을 이용한 얼굴 검출 장치 및 방법
CN107544055A (zh) * 2016-06-23 2018-01-05 意法半导体股份有限公司 基于麦克风阵列的波束形成方法以及对应的装置
KR20200067300A (ko) * 2018-12-03 2020-06-12 삼성전자주식회사 음원 분리 장치 및 음원 분리 방법
US11510001B2 (en) 2020-02-10 2022-11-22 Samsung Electronics Co., Ltd. Electronic device and method for voice recording in electronic device

Also Published As

Publication number Publication date
EP2590433A2 (en) 2013-05-08
US9264806B2 (en) 2016-02-16
EP2590433B1 (en) 2018-07-04
US20130108066A1 (en) 2013-05-02
EP2590433A3 (en) 2014-01-15

Similar Documents

Publication Publication Date Title
KR20130048075A (ko) 다중 음원 위치추적장치 및 그 위치추적방법
EP0795851B1 (en) Method and system for microphone array input type speech analysis
Mohan et al. Localization of multiple acoustic sources with small arrays using a coherence test
US9837099B1 (en) Method and system for beam selection in microphone array beamformers
JP4248445B2 (ja) マイクロホンアレイ方法及びシステム、並びにこれを用いた音声認識方法及び装置
US8184843B2 (en) Method and apparatus for sound source localization using microphones
CN111044973B (zh) 一种用于麦克风方阵的mvdr目标声源定向拾音方法
CN106023996B (zh) 基于十字形声阵列宽带波束形成的声识别方法
EP2530484B1 (en) Sound source localization apparatus and method
CN111239680B (zh) 一种基于差分阵列的波达方向估计方法
KR20120059827A (ko) 다중 음원 위치추적장치 및 그 위치추적방법
CN111429939B (zh) 一种双声源的声音信号分离方法和拾音器
CN106992010B (zh) 无直达声条件下的麦克风阵列语音增强装置
CN109188362A (zh) 一种麦克风阵列声源定位信号处理方法
KR20130014895A (ko) 음원 분리 기준 결정 장치와 방법 및 음원 분리 장치와 방법
CN109859749A (zh) 一种语音信号识别方法和装置
Imran et al. A methodology for sound source localization and tracking: Development of 3D microphone array for near-field and far-field applications
CN116559778B (zh) 一种基于深度学习的车辆鸣笛定位方法及系统
Lebarbenchon et al. Evaluation of an open-source implementation of the SRP-PHAT algorithm within the 2018 LOCATA challenge
Maazaoui et al. Adaptive blind source separation with HRTFs beamforming preprocessing
Sun et al. Indoor multiple sound source localization using a novel data selection scheme
Berdugo et al. Speakers’ direction finding using estimated time delays in the frequency domain
Bai et al. Acoustic source localization and deconvolution-based separation
Oualil et al. Joint detection and localization of multiple speakers using a probabilistic interpretation of the steered response power
CN114114163A (zh) 一种基于盲源分离的阵列雷达抗欺骗式干扰方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid