KR20110102466A - 입자 필터링을 이용한 음원 위치를 추정 - Google Patents
입자 필터링을 이용한 음원 위치를 추정 Download PDFInfo
- Publication number
- KR20110102466A KR20110102466A KR1020117016479A KR20117016479A KR20110102466A KR 20110102466 A KR20110102466 A KR 20110102466A KR 1020117016479 A KR1020117016479 A KR 1020117016479A KR 20117016479 A KR20117016479 A KR 20117016479A KR 20110102466 A KR20110102466 A KR 20110102466A
- Authority
- KR
- South Korea
- Prior art keywords
- sound source
- particle
- generating
- weight
- time instance
- Prior art date
Links
- 239000002245 particle Substances 0.000 title claims abstract description 227
- 238000001914 filtration Methods 0.000 title claims abstract description 56
- 238000012546 transfer Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000004044 response Effects 0.000 claims abstract description 47
- 238000005259 measurement Methods 0.000 claims abstract description 38
- 230000003044 adaptive effect Effects 0.000 claims description 43
- 230000001419 dependent effect Effects 0.000 claims 1
- 238000005314 correlation function Methods 0.000 description 18
- 238000009826 distribution Methods 0.000 description 17
- 239000000523 sample Substances 0.000 description 13
- 238000012952 Resampling Methods 0.000 description 12
- 238000005315 distribution function Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/803—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
- G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/02—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
- G01S3/14—Systems for determining direction or deviation from predetermined direction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/803—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics
- G01S3/8034—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics wherein the signals are derived simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Stereophonic System (AREA)
Abstract
음원 위치는 입자들의 세트가 음원 위치를 포함하는 상태 변수에 대한 확률 밀도 함수를 나타내는 입자 필터링에 이해 추정된다. 상기 방법은 음원으로부터 적어도 두 사운드 기록 지점들로의 추정된 음향 전달 함수들 사이의 상관에 응답하여 입자에 대한 가중치를 결정하는 단계를 포함한다. 가중치 갱신 함수는 특히 상기 상관으로부터 결정론적으로 결정될 수 있어서 상기 상관은 입자 필터링의 측정 함수에 대한 의사-우도 함수로서 이용될 수 있다. 음향 전달 함수들은 음원으로의 오디오 빔포밍으로부터 결정될 수 있다. 오디오 가중치는 비디오 가중치와 결합되어 다중 모달 입자 필터링 방식을 발생시킬 수 있다.
Description
본 발명은 입자 필터링(particle filtering)을 이용한 음원(sound source)의 위치 추정에 관한 것으로, 특히, 배타적이지 않게, 다중 모달(muti modal) 시청각 통신 애플리케이션을 위한 음원 위치를 추정하기 위한 추정에 관한 것이다.
음원의 위치의 지점의 검출은 많은 서비스들 및 애플리케이션들에 중요하다. 예를 들어, 시청각 원격 회로 애플리케이션에서, 예를 들어 추정된 화자(speaker) 지점을 이용하여 빔을 조향하는, 빔포밍 기술(beamforming technique)들을 통해 음성 신호를 향샹시킴으로써, 화자의 위치를 검출하여 개선된 성능이 달성될 수 있다. 다른 예로, 예를 들어 추정된 화자 지점에서 줌인(zoom in)함으로써 비디오가 향상될 수 있다.
따라서 음원 위치를 추정하기 위한 시스템들 및 알고리즘들이 개발되어 왔다. 특히, 음원 지점들을 추정하고 추적하는 입자 필터링 기술들을 이용하는 것이 제안되었다. 입자 필터링은 연속 시간의 인스턴스(instance)들에 대한 시스템의 현재 상태를 반영하는 상태 변수의 값을 추정하려는 것이다. 예를 들어, 입자 필터는 음원 지점을 나타내는 상태 변수의 값을 추정하려고 시도할 수 있다. 그러나, 입자 필터링이 단지 단일 값 또는 추정치를 고려하기보다는, 각각의 시간 순간에서 상태 변수에 대한 확률 밀도를 고려한다. 입자 필터링은 순차적인 방법에 기초하고 여기서 제공된(샘플) 시간 인스턴스에 대한 상태 변수 값은 이전의 (샘플) 시간 인스턴스에서의 상태 변수 값에 기초하여 결정된다. 어떤 하나의 시간 인스턴스에서의 상태 변수값은 자체의 확률 밀도 함수(그러므로 상태 변수값의 정보/추정에 있어서의 불확실성을 반영하는)에 의해 표현되므로, 이것을 원리적으로 이전 시간 인스턴스의 확률 밀도 함수로부터 상기 시간에서의 확률 밀도 함수를 결정하는 것을 포함한다.
그러나, 많은 시나리오들에서, 이것은 분석학적으로 실제적이지 않고, 이용 가능하지 않거나, 또는 심지어 가능하지 않다. 예를 들어, 비-가우시안 잡음을 갖는 비선형 시스템들의 경우, 이전의 시간 인스턴스에서의 확률 밀도 함수에 기초하여 제공된 시간 인스턴스에서 확률 밀도 함수를 계산하는 것은 실현 불가능하다. 입자 필터링은 각각의 입자가 상태 변수의 가능한 값을 나타내는 입자들의 세트에 의해 확률 밀도 함수를 나타냄으로써 이 문제를 해결한다. 그리고나서 제공된 시간 인스턴스에서의 확률 밀도 함수는 공지된 상태 변수 갱신 함수에 기초하여 이전의 시간 인스턴스의 각각의 입자의 갱신된 상태 변수를 계산함으로써 결정된다. 더욱이 입자의 갱신은 적절한 잡음 프로파일(noise profile)에 따라 잡음을 추가할 수 있다.
더욱이, 각각의 입자는 입자의 우도(likelihood) 측정치를 나타내는 연관된 가중치를 갖는다. 입자의 가중치는 시스템의 한 시간 인스턴스에서 다음 시간 인스턴스으로의 갱신 시에 변경된다. 그러므로, 측정 값은 상태 변수 값(예를 들어, 측정 함수에 의한)로부터 추정 또는 계산될 수 있다. 이 관계는 특히 공지되어 있는(또는 가정된) 잡음 프로파일과 연관되는 잡음 기여도(noise contribution)를 포함할 수 있다. 따라서, 입자의 가중치는 갱신의 함수로서 변형될 수 있다. 특히, 실제 생성된 측정치가 갱신된 상태 변수 값으로부터 발생할 확률이 상대적으로 높은 경우, 입자의 가중치는 상대적으로 이전에 가중치에 비해 증가된다. 역으로, 생성된 실제 측정치가 갱신된 상태 변수 값으로부터의 결과로부터 발생할 확률이 상대적으로 낮은 경우, 입자의 가중치는 이전 가중치에 비해 감소된다.
그러므로, 하나의 시간 인스턴스로부터 다음 시간 인스턴스로의 입자 갱신의 일부로서, 입자들의 가중치는 제공된 입자가 새로운 측정치를 발생시킬 가능성이 어느 정도 있는지를 반영하도록 수정된다. 그러므로, 가중치들은 개별 입자가 측정 값들을 발생시키는 실제 상태 값에 대응할 가능성을 반영하도록 계속해서 갱신한다.
그러므로, 입자 필터링에서 각각의 입자는 상태 변수의 확률 밀도 함수의 이산 샘플로 고려될 수 있다.
가중치들은 전형적으로 상태 변수에 대한 확률 밀도 함수로 수렴할 것이다. 그러나, 입자 필터링 방식은 종종 아주 많은 수의 가중치들이 매우 작은 값들을 가지게 되는 반면에 다른 값들이 큰 값들을 가지게 되어 가중치들이 악화되는 결과를 발생시킬 것이다. 즉, 입자 필터링의 결과로서 입자들의 비율이 비교적 낮은 정보가 집중될 수 있다. 이 문제를 처리하기 위해, 샘플 입자들의 더 균일한 분포를 제공하는 새로운 샘플들이 생성되는 재샘플링(resampling)이 수행될 수 있다. 이 방식은 중요도 샘플링 방식에 대응하여 확률 밀도 함수가 상대적으로 더 높은 값을 갖는 영역들에 더 많은 입자들이 집중되고 확률 밀도 함수가 더 낮은 값을 갖는 영역들에 더 적은 입자들이 있는 결과를 야기할 것이다.
특정한 예로서, 재샘플링은 입자당 평균 가중치를 계산하고나서 각각의 입자에 이 가중치가 할당된 채로 새로운 입자들의 세트를 생성함으로써 수행될 수 있다. 그러나, 이 새로운 입자들의 세트는 입자들의 이전의 가중치들을 반영하도록 분포될 것이다. 특정 예로서 각각의 입자는 (대략) 동일한 상태 변수 값을 갖는 다수의 입자들로 분리될 수 있고 새로운 샘플들의 수는 평균 가중치로 나누어진 입자들의 가중치로서 제공될 것이다. 더욱이 이로 인해 다수의 입자들이 입자들의 세트로부터 삭제되는(및 상기 평균 값으로 입자들에 대한 복제 입자들에 의해 대체되는) 결과가 발생할 것이다.
그러므로, 제공된 순간에 상태 변수에 대한 확률 밀도 함수는 입자들로 표현될 수 있고 특히 입자들의 분포(즉, 입자 상태 변수 값들의 중요도 샘플링) 및 입자들의 가중치의 조합으로 표현될 수 있다.
그리고나서 상대 변수 값에 대한 단일 추정치는 입자 값들의 합에 의해 각각의 값이 입자 가중치에 의해 가중된 채로 결정될 수 있다. 그러므로, 상태 변수는 이산의 샘플링된 확률 밀도 함수(각각의 샘플은 입자에 대응한다)의 적분(가중된 합산)으로부터 추정된다.
입자 필터링에 대한 더 많은 정보는 2002년 2월 M. Sanjeev Arulampalam 등의 "A Tutorial on Particle Filters for Online Nonliear/Non-Gaussian Bayesian Tracking", IEEE Transactions On Signal Processing에서 확인될 수 있다.
그러나, 입자 필터링에서의 문제는 입자들의 가중치들의 충분히 정확한 갱신이 충분히 신뢰성있는 결과를 획득하는데 필수적이라는 점이다. 실제로, 음원 위치의 경우, 입자 가중치들 및 분포의 적응도는 상태 변수 및 실제 음원 지점 사이의 관계를 정확하게 반영하는 적절한 측정치들 및 측정 함수들에 심하게 좌우된다. 그러나, 가장 최근에 적용된 측정 기술들 및 함수들은 차선의 결과들을 발생시키는 경향이 있다.
그러므로, 입자 필터링을 이용한 향상된 음원 위치 추정은 유용할 것이고 특히 유연성을 증가시키거나, 복잡성을 감소시키거나, 또는 정확성을 증가시키거나 및/또는 성능을 향상시키는 방법이 유용할 것이다.
따라서, 본 발명은 바람직하게도 상술한 단점들 중 하나 이상을 단독으로 또는 임의의 결합으로 경감시키거나, 완화시키거나 또는 제거하고자 한다.
본 발명의 양태에 따르면, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법을 제공하고, 상기 방법은: 임의의 시간 인스턴스에 대한 입자들의 세트를 생성하는 단계를 반복하는 단계로서, 입자들의 세트는 상기 시간 인스턴스에서의 음원 위치를 포함하는 상태 변수에 대한 확률 밀도 함수를 나타내는, 상기 반복 단계를 포함하고; 상기 생성하는 단계는, 입자들의 세트의 각각의 입자에 대하여: 이전의 시간 인스턴스에서의 입자의 상태 값에 응답하여 상기 시간 인스턴스에서의 입자에 대한 상태 값을 생성하는 단계, 및 상기 이전의 시간 인스턴스에서의 입자의 가중치 및 상기 시간 인스턴스에서의 측정치에 응답하여 상기 시간 인스턴스에서 입자에 대한 가중치를 생성하는 단계; 및 제 1 시간 인스턴스에서의 입자들의 세트에 대한 상태 변수들의 결합에 응답하여 상기 제 1 시간 인스턴스에 대한 음원 위치 추정치를 포함하는 상태 변수 추정치를 생성하는 단계로서, 입자들의 세트의 각각의 입자로부터의 기여도는 입자의 가중치에 좌우되는, 상기 생성 단계를 포함하고, 상기 시간 인스턴스에서 입자의 가중치를 생성하는 단계는 음원으로부터 상기 제 1 시간 인스턴스에 대한 적어도 두 사운드 기록 지점들로의 추정된 음향 전달 함수들 사이의 상관에 응답하여 가중치를 결정하는 단계를 포함한다.
본 발명은 음원 위치의 개선된 추정을 제공할 수 있고 특히 음원 위치를 추정하기 위한 효율적인/이거나 정확한 입자 필터링 방식을 허용할 수 있다. 더욱이, 실제적이고 낮은 복잡도 방식이 이용될 수 있다. 특히, 음향 데이터 또는 측정치들을 추정하거나 상기 음향 데이터 또는 측정치를 음원 위치 추정에 기초하여 입자 필터링으로 통합하기 위한 저 복잡성 및/또는 저 자원 수요 방식이 달성될 수 있다.
상태 변수는 특히 (예를 들어, 좌표들의 세트와 같은) 음원 위치를 나타내는 하나 이상의 변수들을 포함할 수 있다. 상태 변수는 일부 실시예들에서 음원 위치를 나타내지 않는 다른 변수들을 포함한다. 그러므로 상태 변수는 복수의 개별 변수들 또는 파라미터들을 포함할 수 있다. 상태 변수는 복수의 개별 파라미터들 또는 변수 값들을 포함할 수 있다. 예를 들어, 상태 값은 스칼라 또는 복수 값들의 벡터일 수 있다.
음향 전달 함수들은 특히 자체의 임펄스 응답(impulse response)들에 의해 표현될 수 있다.
본 발명의 선택적인 특징에 따르면, 가중치를 생성하는 단계는: 입자의 상태 값에 대응하는 지연에 대한 상관의 값에 응답하여 입자에 대한 가중치를 결정하는 단계를 포함한다.
이는 입자 필터링에 기초하여 음원 위치의 개선된 및/또는 용이한 추정을 제공할 수 있다. 특히, 본 발명은 입자 필터링에 대한 가중치를 갱신하는 것을 개선하는 것을 허용할 수 있다. 상관은 특히 입자 확률에 대한 측정치의 효과를 매우 유용하게 반영하는 것을 제공할 수 있다. 더욱이, 발명자들은 상태 변수에 의해 표현되는 지점에 대응하는 지연에 대한 상관의 값이 상태 변수에 의해 표현되는 지점의 확률과 매칭(matching)하는 음원의 실제 지점의 확률에 대한 신뢰성 있는 표시를 제공할 수 있음을 인식하였다.
본 발명의 선택적인 특징에 따르면, 가중치는 상관의 값에 대한 결정론적 관계를 갖는다.
이는 입자 필터링에 기초하여 음원 위치의 개선된 그리고/또는 용이한 추정을 제공할 수 있다. 특히, 본 발명은 입자 필터링에 대한 개선된 가중 갱신을 가능하게 할 수 있다. 상관은 특히 입자 확률에 대한 측정치의 효과를 매우 유용하게 반영하는 것을 제공할 수 있다. 더욱이, 발명자들은 상태 변수에 의해 표현되는 지점에 대응하는 지연에 대한 상관의 값이 상태 변수에 의해 표현되는 지점의 확률과 매칭하는 음원의 실제 지점의 확률에 대한 신뢰성 있는 표시를 제공할 수 있음을 인식하였다. 특히, 발명자들은 가중 갱신에 대한 측정 함수와 연관되는 불확실성 및/또는 잡음이 상이한 지연들에 대한 상관의 변형들에 의해 표현될 수 있음을 인식하였다. 그러므로, 잡음 및/또는 불확실성은 상관에 의해 표현될 수 있으나 다른 잡음 또는 통계학적 기여도가 고려되지 않는다.
본 발명의 선택적인 특징에 따르면, 결정론적 관계는 비선형이다.
상기 특징은 개선된 음원 위치 추정을 제공할 수 있고 결과적으로 특히 상관에 의한 측정치 값에서 잡음 및 불확실성의 개선된 표현을 발생시킨다. 특히, 상기 방식은 상관에 의해 측정 함수에 대한 확률 밀도 함수에 보다 근접한 표현을 가능하게 할 수 있다.
본 발명의 선택적인 특징에 따르면, 가중치를 생성하는 단계는, 상기 상관을, 이전의 시간 인스턴스에서의 입자의 가중치에 응답하여 시간 인스턴스에서의 입자에 대한 가중치를 관련시키는 가중치 갱신 함수에 대한 의사 우도 함수의 표시로 이용하는 단계를 포함한다.
이는 입자 필터링에 기초하여 음원 위치의 개선된 및/또는 용이한 추정을 제공할 수 있다. 특히, 본 발명은 입자 필터링에 대한 개선된 가중 갱신을 가능하게 할 수 있다. 상관은 특히 입자 확률에 대한 측정치의 효과를 매우 유용하게 반영하는 것을 제공할 수 있다. 더욱이, 발명자들은 상태 값에 의해 표현되는 지점에 대응하는 지연에 대한 상관의 값이 상태 값에 의해 표현되는 지점의 확률과 매칭하는 음원의 실제 지점의 확률에 대한 신뢰성 있는 표시를 제공할 수 있음을 인식하였다. 특히, 발명자들은 가중 갱신에 대한 측정 함수와 연관되는 불확실성 및/또는 잡음이 상이한 지연들에 대한 상관의 변형들에 의해 표현될 수 있음을 인식하였다. 그러므로, 잡음 및/또는 불확실성은 상관에 의해 표현될 수 있으나 다른 잡음 또는 통계학적 기여도가 고려되지 않는다.
본 발명의 선택적인 특징에 따르면, 음원 지점은 2차원 평면 내의 2차원 지점에 의해 표현된다.
본 발명은 예를 들어 결합된 오디오 및 비주얼 애플리케이션들, 예를 들어, 화상 회의를 포함하는 많은 애플리케이션들에 특히 적합할 수 있는 2차원들 내의 효율적인 그리고/또는 정확한 음원 위치를 제공할 수 있다.
본 발명의 선택적인 특징에 따르면, 상기 방법은 음원을 포함하는 환경을 커버하는 카메라로부터 적어도 하나의 이미지를 수신하는 단계를 추가로 포함하고, 상기 2차원 지점은 적어도 하나의 이미지 내의 지점이다.
본 발명은 비디오 애플리케이션과 같은 이미지 애플리케이션들 및 음원 위치 추정의 특히 정확한 통합을 제공할 수 있다. 특히, 본 발명은 오디오 및 비주얼 프로세싱의 특히 유용한 결합을 제공할 수 있고, 예를 들어 캡처된 이미지 내에 음원의 개선된 위치가 가능할 수 있다.
카메라는 사운드 기록 요소들에 의해 또한 커버되는 영역들을 제 1 및 제 2 사운드 기록 지점들에서 캡처하도록 위치될 수 있다. 예를 들어, 카메라는 사운드 기록 지점들에 있는 두 마이크로폰들 사이에 배치될 수 있다.
본 발명의 선택적인 특징에 따르면, 가중치를 생성하는 단계는 입자에 대한 이미지 도메인 측정치에 응답하여 제 1 가중치 기여도를 생성하는 단계, 및 상관에 응답하여 제 2 가중치 기여도를 생성하는 단계, 및 가중치를 제 1 가중치 및 제 2 가중치의 조합으로 생성하는 단계를 포함한다.
본 발명은 다중 모달(multi modal) 입자 필터링 방식에 기초하여 음원의 위치를 결정하기 위해 특히 유용한 방식을 제공할 수 있다.
본 발명의 선택적인 특징에 따르면, 상기 방법은: 상관에 응답하여 제 1 가중치 기여도에 대한 신뢰도 표시를 생성하는 단계; 및 신뢰도 표시에 응답하여 결합 내의 제 1 가중치 기여도의 기여도를 제 2 가중치 기여도에 대하여 조정하는 단계를 추가로 포함한다.
본 발명은 다중 모달 입자 필터링 방식에 기초하여 음원의 위치의 개선된 추정을 제공할 수 있고, 특히 오디오 도메인으로부터 및 비디오/비주얼 도메인으로부터의 기여도들의 개선된 통합을 제공할 수 있다.
본 발명의 선택적인 특징에 따르면, 음원 지점으로의 오디오 빔포밍을 실행하는 단계 및 오디오 빔포밍에 응답하여 전달 함수들을 추정하는 단계를 포함한다.
이는 특히 적절한 음향 전달 함수들을 추정하는 적절한 방식을 제공할 수 있고 개선된 성능 및/또는 감소된 복잡도를 가능하게 할 수 있다.
본 발명의 선택적인 특징에 따르면, 가중치를 생성하는 단계는 음원으로부터 적어도 두 사운드 기록 지점들 중 하나로의 추정된 음향 전달 함수 및 음원으로부터 제 1 시간 인스턴스에 대한 다른 사운드 기록 지점으로의 추정된 음향 전달 함수들 사이의 제 2 상관에 응답하여 가중치를 결정하는 단계를 포함하고; 다른 사운드 기록 지점은 적어도 두 사운드 기록 지점들 사이의 선에 대하여 오프셋(offset)된다.
상기 특징은 개선된 음원 위치 추정을 가능하게 할 수 있고 많은 실시예들에서 개선된 2차원 음원 위치를 허용할 수 있다.
본 발명의 선택적인 특징에 따르면, 가중치를 생성하는 단계는: 적어도 두 사운드 기록 지점들 중 제 1 위치에서 사운드 기록 요소로부터의 제 1 신호를 수신하는 단계; 적어도 두 사운드 기록 지점들 중 제 2 위치에서 사운드 기록 요소로부터의 제 2 신호를 수신하는 단계; 및 제 1 신호 및 제 2 신호에 응답하여 음향 전달 함수들을 추정하는 단계를 포함한다.
상기 특징은 개선된 음원 위치 추정을 허용할 수 있다.
본 발명의 선택적인 특정에 따르면, 가중치를 생성하는 단계는: 제 1 적응성 필터에서 제 1 신호를 필터링하여 제 1 필터링된 신호를 생성하는 단계; 제 2 적응성 필터에서 제 2 신호를 필터링하여 제 2 필터링된 신호를 생성하는 단계; 제 1 필터링된 신호 및 제 2 필터링된 신호를 합산하여 결합된 방향성 신호를 생성하는 단계; 및 제 1 적응성 필터 및 제 2 적응성 필터의 계수들을 설정하여 결합되는 방향성 신호의 음원 성분에 대한 전력 추정치가 최대화되는 결합된 방향성 신호를 생성하는 단계; 및 제 1 적응성 필터 및 제 2 적응성 필터의 계수들에 응답하여 음향 전달 함수들을 추정하는 단계를 포함한다.
상기 특징은 개선된 음원 위치 추정을 가능하게 할 수 있고 특히 적절한 상관 함수의 특히 유용한 결정을 제공할 수 있다. 상기 방식은 특히 입자들에 대한 가중치 갱신들을 결정하는데 적절한 상관 함수에 대한, 복잡도가 낮으면서도 정확한 결정을 가능하게 할 수 있다.
본 발명의 선택적 특징에 따르면, 가중치를 생성하는 단계는: 제 3 적응성 필터에서 결합된 방향성 신호를 필터링하여 제 3 필터링된 신호를 생성하는 단계로서, 제 3 적응성 필터의 전달 함수는 지연이 보상된 제 1 적응성 필터의 실질적인 복소 공액 전달 함수에 대응하는, 상기 생성 단계; 제 1 신호 및 제 3 필터링된 신호 사이의 차 신호(difference signal)를 결정하는 단계; 및 제 1 적응성 필터의 전달 함수를 적응시켜 차 신호를 감소시키는 단계를 포함한다.
상기 특징은 개선된 음원 위치 추정을 가능하게 할 수 있고 특히 적절한 상관 함수의 특히 유용한 결정을 제공할 수 있다. 상기 방식은 특히 입자들에 대한 가중치 갱신들을 결정하는데 적합한 상관 함수에 대한, 복잡도가 낮으면서도 정확한 결정을 가능하게 할 수 있다.
본 발명의 양태에 따르면, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 장치가 제공되고, 상기 장치는: 어떤 시간 인스턴스에 대하여 입자들의 세트를 생성하는 단계를 반복하기 위한 수단으로서, 입자들의 세트는 상기 시간 인스턴스에서의 음원 위치를 포함하는 상태 변수에 대한 확률 밀도 함수를 나타내고; 상기 생성하는 단계는 입자들의 세트의 각각의 입자에 대하여: 이전 시간 인스턴스에서의 입자의 상태 값에 응답하여 상기 시간 인스턴스에서 입자에 대한 상태 값을 생성하는 단계, 및 이전 시간 인스턴스에서의 입자의 가중치에 응답하여 상기 시간 인스턴스에서의 입자에 대한 가중치를 생성하는 단계를 포함하는, 상기 반복하기 위한 수단; 및 제 1 시간 인스턴스에서의 입자들의 세트에 대한 상태 변수들의 결합에 응답하여 제 1 시간 인스턴스에 대한 음원 위치 추정치를 포함하는 상태 변수 추정치를 생성하기 위한 수단을 포함하고, 상기 시간 인스턴스에서 입자에 대한 가중치를 생성하는 단계는 음원으로부터 제 1 시간 인스턴스에 대한 적어도 두 사운드 기록 지점들로의 추정된 음향 전달 함수들 사이의 상관에 응답하여 가중치를 결정하는 단계를 포함한다.
본 발명의 상기 및 다른 양태들, 특징들, 및 장점들은 이후에 설명되는 실시예(들)로부터 분명해지고 상기 실시예(들)로부터 명확해질 것이다.
상술한 바와 같이 본 발명에 의해 향상된 음원 위치 추정이 제공되어, 음원 위치 추정시 유연성이 증가하거나, 복잡성이 감소하거나, 또는 정확성이 증가하거나 성능이 향상된다.
도 1은 본 발명의 일부 실시예들에 따른 화상 회의 시스템의 예를 도시한 도면.
도 2는 도 1에 도시된 화상 회의 시스템에 의해 캡처되는 이미지의 예를 도시한 도면.
도 3은 본 발명의 일부 실시예들에 따른 화상 회의 장치의 예를 도시한 도면.
도 4는 본 발명의 일부 실시예들에 따른 음원 추정의 방법의 예를 도시한 도면.
도 5는 본 발명의 일부 실시예들에 따른 음원 추정에서 가중치들을 결정하는 방법의 예를 도시한 도면.
도 6은 본 발명의 일부 실시예들에 따른 음원 추정에 대한 가중치 갱신 함수의 예를 도시한 도면.
도 7은 본 발명의 일부 실시예들에 따른 음원 추정을 위한 가중치 갱신 함수의 예를 도시한 도면.
도 8은 본 발명의 일부 실시예들에 따른 음원 추정에서 가중치들을 결정하는 방법의 예를 도시한 도면.
도 9는 본 발명의 일부 실시예들에 따른 화상 회의 장치의 예를 도시한 도면.
도 2는 도 1에 도시된 화상 회의 시스템에 의해 캡처되는 이미지의 예를 도시한 도면.
도 3은 본 발명의 일부 실시예들에 따른 화상 회의 장치의 예를 도시한 도면.
도 4는 본 발명의 일부 실시예들에 따른 음원 추정의 방법의 예를 도시한 도면.
도 5는 본 발명의 일부 실시예들에 따른 음원 추정에서 가중치들을 결정하는 방법의 예를 도시한 도면.
도 6은 본 발명의 일부 실시예들에 따른 음원 추정에 대한 가중치 갱신 함수의 예를 도시한 도면.
도 7은 본 발명의 일부 실시예들에 따른 음원 추정을 위한 가중치 갱신 함수의 예를 도시한 도면.
도 8은 본 발명의 일부 실시예들에 따른 음원 추정에서 가중치들을 결정하는 방법의 예를 도시한 도면.
도 9는 본 발명의 일부 실시예들에 따른 화상 회의 장치의 예를 도시한 도면.
본 발명의 실시예들은, 도면들을 통해, 단지 예로 설명될 것이다:
다음의 설명은 비디오 입력을 추가로 수신하는 화상 회의 시스템용 음원 위치 추정에 적용 가능한 본 발명의 실시예들에 초점을 맞춘다. 그러나, 본 발명은 이 적용에 제한되지 않고 많은 다른 애플리케이션들 및 시스템들에 적용될 수 있음이 인식될 것이다.
다음의 설명은 특히 도 1에 도시되는 바와 같은 화상 회의 시스템에 초점을 맞출 것이다. 도 1은 화상 회의 섹션에 참여 중인 단일 이용자(101)가 오디오를 캡처하기 위한 (마이크로폰들(105, 107)의 형태들인) 사운드 기록 요소들의 쌍 및 비디오를 캡처하기 위한 카메라(109) 이 둘 모두를 이용하는 화상 회의 장치(103)에 의해서 캡처되는 시나리오를 도시한다. 화상 회의 장치(103)는 통신 시스템(도시되지 않음)에 연결됨으로써 이용자가 멀리 있는 이용자들과 화상 회의 세션에 참여하는 것을 가능하게 한다. 화상 회의 애플리케이션은 특히 비디오 화상 회의 애플리케이션일 수 있다.
그러므로, 상기 시스템에서, 화상 회의 장치(103)는 마이크로폰들(105, 107) 및 카메라(109)에 의해 캡처되는 신호들로부터 오디오 및 비디오 이 둘 모두를 포함하는 시청각 신호를 생성한다. 그 후에 상기 시청각 신호는 통신 시스템(도시되지 않음)을 통해 멀리 있는 이용자들과 통신될 수 있다.
상기 예에서, 마이크로폰들(105, 107)은 서로 상대적으로 근접한 사운드 기록 지점들에 위치된다. 많은 실시예들에서, 이 거리는 유용하게도 음원(본 예에서 화자(speaker)(101))까지의 거리의 1/10 미만일 수 있고/있거나 51cm 미만일 수 있다. 이로 인해 많은 시나리오들에서 마이크로폰들에 의해 캡처되는 오디오가 다음에 설명되는 프로세싱을 용이하게 하고/하거나 개선할 수 있는 평면 음향 파(planar sound wave)들로부터 기원하는 것으로 고려되는 것이 가능하다. 특히, 이는 음원 추정을 용이하게 하고/하거나 개선할 수 있다.
상기 예에서, 카메라(109)는 두 마이크로폰들(105, 107) 사이에 위치되고 특히 마이크로폰들(105, 107) 사이의 실질적으로 가운데, 그리고 두 사운드 기록 지점들에 의해 규정되는 축 상에 위치된다.
상기 시스템에서, 화상 회의 장치(103)는 특정 예에서 스피커(101)의 위치에 있는 음원 위치를 추정하도록 구성된다. 그러므로, 화상 회의 장치(103)는 화자로부터 기원하는 사운드의 위치를 검출하고 추적하려고 할 것이다. 더욱이, 본 예에서, 음원의 위치는 2차원 평면에서 검출, 즉 3차원 음원 위치 추정이라기 보다는 2차원 음원 위치 추정이 수행된다. 본 예에서, 2차원 평면은 카메라(109)에 의해 촬영된 이미지에 의해 규정되는 평면에 대응하는 것으로 간주될 수 있는 평면이다.
도 2는 카메라(109)에 의해 캡처될 수 있는 이미지의 예를 도시한다. 상기 이미지는 예를 들어 비디오 신호의 단일 이미지/프레임일 수 있다. 스피커(101)에 의해 구성되는 음원의 이미지의 위치는 이 경우에 이미지 지점(x, y)로 규정될 수 있고, 여기서 x는 수평의 이미지 지점을 나타내고 y는 수직의 이미지 지점을 나타낸다.
도 1의 화상 회의 장치(103)는 음원/화자(101)의 이미지(즉, 좌표들(x, y)) 내에서 위치를 결정하도록 시도한다. 이때 추정되는 음원 위치는 화상 회의 장치(103)의 동작을 최적화하는데 이용될 수 있고 특히 음원(예를 들어 화자(101))에 대하여 오디오 빔포밍들을 조향하거나 줌인하는데 이용될 수 있다.
다른 실시예들에서, 다른 음원 위치들은 기술된 원리들 및 방법들에 따라 추정될 수 있음이 인식될 것이다. 또한, 기술된 방식은 다른 기준 프레임워크(reference framework)들을 이용하여 음원 위치들을 결정하는데 이용될 수 있고 특히 다은 2차원 또는 3차원 기준 좌표 시스템들이 이용될 수 있음이 인식될 것이다. 예를 들어, 실제 공간의 2차원 또는 3차원 지점은 다른 예들에서 결정될 수 있다.
화상 회의 장치(103)는 특히 이미지 내의 화자(101)의 위치를 연속해서 추정하고 추적하기 위한 입자 필터링 방법을 이용한다. 도 3은 화상 회의 장치(103)의 요소들을 더 자세하게 도시한다. 특히, 화상 회의 장치(103)는 입자 필터 알고리즘을 실행하도록 구성되는 입자 필터 프로세서(301)를 포함한다. 입자 필터 프로세서(301)는 입자 필터 프로세서(301)로부터 수신되는 입자 데이터에 기초하여 화자 지점의 추정치를 생성하도록 구성되는 지점 추정 프로세서(303)에 연결된다.
더욱이 화상 회의 장치(103)는 두 개의 마이크로폰들(105, 107)로부터 신호들을 수신하고 입자 필터 프로세서(301)에 연결되는 오디오 프로세서(305)를 포함한다. 화상 회의 장치(103)는 또한 카메라(109)로부터 신호를 수신하고 입자 필터 프로세서(301)에 연결되는 비디오 프로세서(307)를 포함한다. 입자 필터 프로세서(301)에 의해 수행되는 입자 필터링은 마이크로폰들(105, 107)에 의해 수행되는 오디오 측정치들 및 선택적으로 카메라(109)에 의해 수행되는 비디오 측정치들에 기초한다.
도 4는 음원 위치를 결정하기 위한 입자 필터링의 방법의 예를 도시한다. 상기 방법은 특히 화상 회의(103)에 의해 구현되고 화자(101)의 이미지 지점을 추정하는데 이용된다.
상기 방법은 단계 401에서 개시되며 여기서 알고리즘이 개시된다. 특히, 입자들의 세트는 상태 변수로 생성된다. 상태 변수는 시스템의 기본(정확한) 상태를 나타내고 특정 예에서 화자의 (정확한) 이미지 지점(예를 들어 (x, y) 좌표)에 있다. 그러나, 상태 변수(지점)에 대한 단일 추정 값을 유지하고 추적하는 대신, 입자 필터링 방식은 상태 변수에 대한 확률 분포 함수의 이산 표현을 나타내는 수(N)를 유지한다. 각각의 입자들은 입자에 의해 표현되는 상태 변수의 값을 나타내는 상태 값을 갖는다(상태 값이 이미지에서 특정 지점에 대응하는 특정한 경우). 더욱이, 입자는 개별 입자가 모든 입자들에 기초하여 단일 추정 상태 값에 대한 결정을 행할 기여도를 나타내는 연관된 가중치를 갖는다. 특히, 상태 값(특정한 예에서 이미지 내의 지점)은 모든 입자들의 상대 변수들의 가중 합에 의해 결정된다. 확률 밀도 함수는 각각의 입자의 개별 가중치와 함께 입자들의 분포(재샘플링에 의해 높은 확률을 갖는 영역들로 집중될 수 있는)로 표현된다.
단계 401에서, 입자 필터 프로세서(301)는 초기 입자들을 나타내기 위하여 N개의 입자들의 세트를 드로잉(drawing)함으로써 입자 필터링을 개시한다. 상기 입자들은 적절한 분포에 따라 그려진다. 예를 들어, 일부 실시예들에서, 초기 입자들은 상태 변수에 대한 실제 확률 분포 함수에 대해 이용 가능하지 않은 정보에 대응하는 균일한 분포에 기초하여 그려질 수 있다. 다른 실시예들에서, 추정된 또는 예상된 분포가 이용될 수 있다. 예를 들어, 특정한 예에서, 화자(101)가 이미지의 중심으로 위치될 것이고 따라서 입자들이 이미지의 중심 방향으로 더 높은 확률을 갖는 분포에 따라 그려질 가능성이 있다. 그러므로, 이미지 내의 입자 지점들의 산개(scattering)는 스크린의 중심으로 집중도 또는 밀도가 증가하면서 생성될 수 있다. 특정한 예에서, 각각의 입자에는 동일한 초기 명목 가중치가 제공된다(다른 실시예들에서, 비균질 분포가 가변하는 가중치들에 의해 부분적으로 또는 완전하게 표현될 수 있음이 인식될 것이다).
그러므로, 단계 401에서, 입자 필터 프로세서(301)는 음원 위치를 포함하는(또는 특정한 예에서 음원 위치로 구성되는) 상태 변수에 대한 확률 밀도 함수를 나타내는 입자들의 초기 세트를 계속해서 생성한다.
그리고나서 입자 필터 프로세서(301)는 이전의(샘플) 시간 인스턴스에서의 값들에 기초하여 후속(샘플) 시간 인스턴스에 대한 입자 값들 및 가중치들을 계산함으로써 입자들을 반복해서 계속 전개시킨다. 특히, 상태 변수 갱신 함수는 (적어도 부분적으로) 공지되어 있는 것으로 취해진다:
여기서 X는 상태 변수를 나타내고, T는 현재 (샘플) 시간 인스턴스를 나타내고, T-1은 이전의(샘플) 시간 인스턴스를 나타내고 nu는 잡음을 나타낸다. 특정한 예에서, 화자는 이동하고 있지 않으므로 상태 변수 갱신 함수는 단순하게:
로 고려될 수 있음이 가정될 수 있고,
여기서, n은 잡음을 나타내는(예를 들어 화자들(101)의 이동들의 불확실성에 대응하는) 적절한 분포를 갖는다. 잡음은 특히 비-가우시안일 수 있다(예를 들어, 잡음은 이용자가 이미지의 중심으로 이동할 확률이 증가하는 것을 나타낼 수 있다).
그러므로, 단계 401 이후에 단계 403이 오며, 여기서 입자들 각각의 상태 값들 각각은 이전의 시간 인스턴스에서의 상태 값들에 따라 결정된다. 특히, 입자 필터 프로세서(301)는 상기 식을 모든 입자들에 적용하여 현재 시간 인스턴스(T)에서 갱신된 입자들의 세트를 생성할 수 있다.
단계 403 이후에 단계 405가 오며 여기서 가중치들은 갱신된 입자들의 세트에서 생성된 입자들 각각에 대하여 갱신된다. 입자의 가중치는 이전의 시간 인스턴스에서의 입자의 가중치에 화자의 지점을 반영하는 측정치를 더한 것으로부터 생성된다. 특히, 입자의 가중치는 상태 변수가 입자의 상태 값을 갖는 시스템으로부터 측정치가 발생할 수 있는 가능성에 좌우된다. 그러므로, 입자에 대한 갱신된 가중치는:
으로 결정될 수 있고,
여기서 nm은 측정치와 연관되는 잡음 및 불확실성을 나타낸다. 상이한 실시예들 및 애플리케이션들에서 상이한 측정 함수들(g)이 이용될 수 있음이 인식될 것이다. 그러나, 많은 시나리오들에서, 상태 변수로부터 측정치가 발생할 수 있는 확률에 의해 이전의 시간 인스턴스의 가중치를 단순하게 스케일링(scaling)하는 것이 적절하다:
여기서 UT는 시간 인스턴스(T)에서의 측정치를 나타낸다.
도 1의 시스템에서, 입자에 대한 갱신된 가중치는:
로 계산되고,
여기서 qT는 확률 값 
의 합리적인 가정을 제공할 수 있다. 상기 방식은 이후에 더 상세하게 기술될 것이다.
개별 입자들로의 가중치들의 적용 이후에 가중치들의 정규화가 수행될 수 있다.
단계 405의 예 이후에는 단일 추정 상태 값이 계산되는 단계 407가 온다. 그러므로 상태 변수에 대한 확률 밀도 함수의 이산 샘플링을 나타내는 입자들에 기초하여, 단일 추정 상태 변수 값이 계산된다. 그러므로, 입자들의 상태 값들은 단일 추정치를 생성하기 위해, 각각의 입자로부터의 기여도가 입자의 가중치에 좌우되는 상태로, 결합된다.
특히, 화자(101)에 대한 단일 이미지 지점은 추정 프로세서(303)에 의해, 입자들의 가중치에 의해 가중되는 입자들의 이미지 지점들의 가중 합으로 생성된다. 그러므로, 평균 추정 지점은 이미지 지점에 대한 확률 밀도 함수의 이산 통합(합산)에 의해 결정된다. 이 음원 위치 추정은 그 후에 화상 회의 장치의 프로세싱을 최적화하는데 이용될 수 있다.
입자 필터링에서 입자 분포는 많은 경우들에서 변질되어 일부 입자들은 매우 높은 가중 값들을 갖고 반면에 다른 입자들은 매우 작은 가중 값들로 감소하는 경향이 있을 수 있다. 그러므로 입자들의 분포는, 많은 입자들이 상태 변수의 기본 확률 분포 함수에 대한 정보를 상대적으로 적게 제공하는 분포인 경향이 종종 있을 것이다.
따라서, 입자 필터 프로세서(301)에 의해 이용되는 필터링 알고리즘은 입자들의 재샘플링(resampling)을 위한 수단을 포함함으로써 입자들의 분포(또는 가중치들)는 현저한 입자들의 더 높은 집중도를 제공하지만 확률 분포 함수의 기본 표현을 변경시키지 않도록 수정된다.
그러므로, 단계 407 이후에 단계 409로 진행하고, 여기서 재샘플링이 필요한지가 결정된다. 만일 필요하지 않다면 방법은 단계 413으로 진행하여 여기서 시스템은 다음 샘플을 선택하도록 진행한다. 그리고나서 상기 방법은 단계 403으로 복귀하여 다음 샘플 시간 인스턴스에 대한 입자 필터링 단계를 반복하도록 진행한다. 재샘플링이 필요한 경우, 상기 방법은 단계 415로 진행되고 여기서 재샘플링은 상기 방법인 단계들 413 및 403으로 진행되어 다음 샘플 시간 인스턴스에 대한 필터링을 반복하기 전에 수행된다.
재샘플링이 필요한지를 결정하기 위한 임의의 적절한 기준이 본 발명을 손상시키지 않고 이용될 수 있음이 인식될 것이다. 예를 들어, 입자들의 재샘플링은 가중치들의 변화량이 소정의 임계값을 초과하는 경우 수행될 수 있다.
또한 재샘플링의 상이한 방식들은 당업계에 공지되어 있고 임의의 적절한 방법은 본 발명을 손상시키지 않고 이용될 수 있음이 인식될 것이다.
예를 들어, 일부 실시예들에서, 누적 확률 분포 함수(cumulative probability distribution function)는 입자들에 의해 표현되는 확률 분포 함수로부터 생성될 수 있다. 이때 적절한 수 N의 입자들은 누적 확률 분포 함수를 이용함으로써 유도되어 일정한 분포로부터 누적 확률 분포 함수 및 그에 따른 확률 분포 함수를 반영하는 분포로 변환된다. 그리고나서 그 결과에 따른 입자들의 각각에는 동일한 가중치가 제공될 것이므로 재샘플링 직후의 입자들의 세트는 자신들의 가중치 외에 입자들의 분포에 의해 상태 변수의 확률 분포 함수를 나타낸다.
다른 예로서, 재샘플링은 소정의 임계값 이하의 모든 입자들을 제거할 수 있고 더 높은 가중치를 갖는 입자들을 가중치를 반영하는 다수의 입자들로 분리할 수 있다. 예를 들어, 높은 가중치를 갖는 입자는 동일한(또는 매우 유사한) 상태 값들 및 M에 의해 분리된 이전의 가중치와 동일한 가중치를 갖는 M개의 입자들로 분리될 수 있다.
상기 방법에서, 시간 인스턴스에서 입자에 대한 가중치는 음원으로부터 두 마이크로폰들(105, 107)에 의해 나타내는 적어도 두 사운드 기록 지점들로의 추정된 음향 전달 함수들 사이에서 제 1 시간 인스턴스에 대한 상관에 응답하여 결정된다.
특히, 도 5는 단계 405를 더 상세하게 설명한다. 단계 405는 단계 501에서 개시되고 여기서 화자(101)로부터 제 1 마이크로폰(105)의 기록 지점으로의 제 1 음향 전달 할수가 결정된다.
상기 예에서, 음향 전달 함수는 제 1 마이크로폰(105)에 의해 측정되는 오디오 신호로부터 추정되고 특히 음향 전달 함수는 제 1 마이크로폰(105)에 의해 캡처되는 화자(101)로부터의 음성 신호에 기초하여 추정된다. 전달 함수는 특히 음향 경로의 임펄스 응답에 의해 표현된다.
현재의 음향 전달 함수를 추정하는데 임의의 적절한 방법이 이용될 수 있음이 인식될 것이다. 예를 들어, 일부 실시예들에서 화자(101)는 화자의 입(예를 들어, 헤드셋에 장착된)에 위치되는 마이크로폰에 대고 추가로 발성할 수 있고 음향 전달 함수는 이 마이크로폰에서 기록된 오디오 신호 및 제 1 마이크로폰(105)에 의해 기록된 오디오 신호의 비교에 의해 추정될 수 있다.
단계 501 이후에 단계 503이 오고 여기서 화자로부터 제 2 마이크로폰(107)의 기록 지점으로의 제 2 음향 전달 함수가 결정된다. 제 1 음향 전달 함수에 대해서와 동일한 방식이 이용될 수 있다.
따라서 두 전달 함수들은 화자(101)로부터 두 마이크로폰들(105, 107)로의 음향 경로들 내의 상대적인 변화량들을 나타낸다. 특히, 각각의 전달 함수는 상대적인 지연, 그에 따른 화자(101)로부터 마이크로폰들(105, 107) 각각으로의 경로 길이를 반영하는 정보를 포함할 수 있다. 그러므로 음향 전달 함수들은 화자(101)의 위치에 좌우된다.
단계 503 이후에 단계 505가 오며 여기서 두 음향 전달 함수들 사이의 상관이 결정된다. 특히, 상관 함수는:
로 결정될 수 있다.
그러므로, 상관 함수는 전달 함수들이 소정의 상대 지연 오프셋에 대해 얼마나 잘 매칭하는지를 나타낸다. 소정의 지연 오프셋은 두 마이크로폰들(105, 107)로부터 스피커(101)로의 경로들 사이의 경로 길이 오프셋에 대응할 수 있다. 잡음, 반사들, 추정 에러들, 양자화 에러들 등이 없으면, 상관 함수는 단일 디락 펄스(Dirac pulse)에 대응할 것이다. 그러나, 실제의 시나리오에서, 잡음원, 반사들, 추정 부정확성들, 간섭, 양자화 등의 결과로 실제 상관 함수는 실질적으로 확산된다. 그러므로, 본 발명의 발명자들은 소정의 지연에 대한 상관 값은 두 마이크로폰들(105, 107)로부터 (지배적인) 음원으로의 경로들 사이의 경로 차가 상대적인 지연 차에 대응할 가능성을 표시하는 것으로 인지될 수 있음을 인식하였다. 더욱이 발명자들은 입자 필터링 갱신을 위한 가중치 갱신이 이 인지된 (의사) 우도 함수에 기초할 수 있음을 인식하였다.
그러므로, 도 1의 시스템에서, 음향 전달 함수들 사이의 상관은 가중치를 갱신하는데 이용되고 특히 확률 값 
을 나타내는 것으로 고려될 수 있는 값을 생성하는데 이용될 수 있다. 그러므로, 상기 시스템에서, 두 기록 지점들(즉, 두 마이크로폰들(105, 107))에서 캡처된 신호들에 응답하여 생성되는 음향 전달 함수들은 가중치를 갱신하기 위한 측정으로 이용될 수 있고, 특히 상관 함수는 소정의 시간 인스턴스에서의 입자에 대한 가중치를 이전의 시간 인스턴스에서의 입자의 가중치와 관련시키는 가중치 갱신 함수에 대한 의사 우도 함수로 직접 또는 간접으로 이용될 수 있다.
특히, 이미지 내의 소정의 지점(x, y)의 경우, 두 마이크로폰들(105, 107)로부터의 경로 길이들 사이의 대응하는 상대적인 지연 오프셋들이 단순한 기하학적 구조(화자는 소정의 거리로 떨어져 있다고 가정한다)를 이용하여 용이하게 결정될 수 있다. 두 마이크로폰들(105, 107) 사이의 거리가 음원까지의 거리에 비해 매우 작으면, 마이크로폰들에 도달하는 음파는 실질적으로 평면 음파로 인지될 수 있고, 화자(101)까지의 거리에 따른 상대 지연의 변화량은 무시될 수 있다는 것이 인식될 것이다. 즉, 많은 실시예들에서, 화자까지의 거리가 무시될 수 있고 지연은 소정의 이미지 지점에 대해 직접적으로 결정될 수 있다. 그러므로, 소정의 변수 값에 대해, 즉 제공된 이미지 지점(x, y)에 대해, 대응하는 지연이 계산될 수 있다. 그 후에 이 지연에 대한 (정규화된) 상관 값이 획득될 수 있다. 그리고나서 입자에 대한 이전의 가중치는 예를 들어 이 상관 값의 절대값만큼 직접적으로 스케일링되어 새로 갱신된 가중치가 생성될 수 있다. 그러므로, 상기 갱신은 음향 전달 함수들 사이의 측정된 상관이 상기 이미지 지점에 대응하는 지연과 매칭할 가능성을 반영할 것이다.
도 5의 특정한 예에서, 단계 505 이후에 단계 507이 오고 여기서 가중 측정 함수는 상관으로부터 결정된다. 특히, 일부 실시예들에서, (선택적으로 정규화된) 상관 함수에 대응하는 이전의 가중치의 스케일링은 측정 함수로서 직접적으로 이용될 수 있다.
그러나, 다른 실시예들에서 결정론적(즉, 비 통계학적) 함수가 상관 함수에 적용될 수 있다. 예를 들어, 비선형 연산이 상관 함수에 적용될 수 있다. 비선형 함수는 특히 상관 함수 내의 변화량들을 증가시킬 수 있고 적절한 비선형 함수들은 예를 들어:
를 포함할 수 있고,
여기서 K는 전형적으로 2, 3, 또는 4로 선택될 수 있다.
그와 같은 비선형 관계는 많은 실시예들에서 적절한 측정 확률 함수에 더욱 정확한 근사치를 제공하는 측정 함수를 제공하는 것으로 밝혀졌으며 따라서 개선된 연산 및 음원 위치 추정을 제공하는 것으로 밝혀졌다.
도 6은 지연 지점의 함수로서의 가중치 갱신 함수에 대한 스케일링 값의 예를 도시한다. 특정한 예에서, 스케링링 값은 이미지 지점에 대응하는 지연에 대한 상관 값에 대응한다.
도 7은 도 6의 예에 대응하는, 그러나 비선형 연산을 적용한 이후의, 디스플레이 지점의 함수로서의 가중치 갱신 함수에 대한 스케일링 값의 예를 도시한다.
단계 507 이후에 단계 509가 오고 여기서 입자에 대한 가중 값이 결정된다. 특히, 입자에 대한 새로운 가중치는:
로부터 결정되고,
여기서 qT는 입자의 이미지 지점(x, y)에 대응하는 지연에 대해 결정되는 측정 함수의 스케일링이다.
이전에 설명된 예에서, 두 마이크로폰들(105, 107)로부터의 단일 상관이 이용되었다. 더우기, 마이크로폰들(105, 107)의 축은 이미지의 X축에 따라 정렬되는 것으로 가정되었으므로 따라서 대응하는 전달 함수들 사이의 상대적인 지연들은 y 지점에 좌우된다(근사적으로). 그러므로, 도 6 및 도 7에서 예시되는 바와 같이, 대응하는 스케일링 팩터(scaling factor)는 상이한 y 지점들에 대해 일정한데, 왜냐하면 상관 기능은 x 축에 따라 정렬되고 y 축에 대해서 일정하기 때문이다. 즉, 상관 기능 및 그에 따른 가중치 갱신 함수는 1차원이다.
그러나, 다른 실시예들에서 제 1 및 제 2 마이크로폰(105, 107)의 축 외부에 위치될 수 있는(즉, 이것들과 동일 선상이 아닌) 제 3 마이크로폰이 포함될 수 있다. 예를 들어, 제 3 마이크로폰은 카메라의 상부에 위치될 수 있다. 이 경우, 제 2 상관 함수는 제 3 마이크로폰에 대해, 그리고 예를 들어 제 1 마이크로폰(105)에 대해 결정될 수 있다. 그리고나서 가중치 갱신 함수는 양 상관 함수들로부터 결정론적으로 결정될 수 있다. 특히, 소정의 이미지 지점의 경우 제 1 및 제 2 마이크로폰들(105, 107) 사이의 대응하는 지연이 결정될 수 있고 그 후에 제 1 상관 함수로부터 결정되는 이 지연에 대응하는 상관 값이 계산될 수 있다. 둘째로, 소정의 이미지 위치에 대해, 제 1 및 제 3 마이크로폰들 사이의 대응하는 지연이 결정될 수 있고, 제 2 상관으로부터 결정되는 이 지연에 대응하는 상관 값이 계산될 수 있다. 그리고나서 이 지점을 표현하는 입자에 대한 스케일링 팩터는 이 두 값들을 결합함으로써(단지 이 값들을 승산함으로써) 결정될 수 있다.
이전의 예에서, 가중치들은 오디오 측정치(상관에 의해 표현되는)에 기초하여 배타적으로 갱신되었다. 그러나, 다른 실시예들에서, 카메라로부터 입력되는 비디오는 또한 가중치 함수들을 갱신할 때 고려된다.
도 8은 단계 405의 예를 그와 같은 예에 대하여 도시한다. 상기 예에서, 가중치 갱신은 이전에 설명된 바와 같이 오디오 가중치들을 결정하기 위해 도 5의 단계들 501 내지 509를 우선 실행하는 것을 포함한다.
그러나, 본 예에서, 단계 509 이후에 단계 801이 오고 여기서 비디오 가중치는 카메라에 의해 제공되는 이미지에 기초하여 계산된다. 그러므로, 단계 801에서 입자의 제공된 이미지 지점이 카메라에 의해 캡처되는 이미지로 발생할 가능성이 있다는 우도를 반영하는 제 2 가중치 기여도가 생성된다. 그러므로, 비디오 가중치는 이미지 도메인 측정치에 응답하여 결정된다.
단계 801 이후에 단계 803이 오고 여기서 오디오 가중치 및 비디오 가중치는 입자에 대한 단일 가중치로 결합된다.
오디오 가중치 및 비디오 가중치의 결정들은 동시에 수행될 수 있음이 인식될 것이다.
상기 예에서, 상기 결합은 두 가중치 기여도들의 상대적인 가중을 포함한다. 특히, 상기 가중은 상관 값에 기초하여 생성되는 오디오 가중치에 대한 신뢰도 표시를 반영할 수 있다. 예를 들어, 상관이 디락 임펄스와 유사할수록, 신뢰도가 더 높은 것으로 간주될 수 있다(간섭, 잡음, 및 반사들 같이 불확실한 또는 미지의 효과들의 영향이 덜 현저할 가능성이 있기 때문이다). 다른 예로, 임펄스 응답의 지속기간(예를 들어, 소정의 임계치에 의해 규정되는)은 신뢰도 표시로서 이용될 수 있거나 또는 상관의 변화량이 이용될 수 있다. 상기 예에서, 오디오 가중치 기여도의 가중은 증가된 신뢰도 값에 대해 증가할 것이다.
일부 실시예들에서, 신뢰도 값은 또한 비디오 가중치에 대하여 결정될 수 있고 두 가중치 기여도들의 가중은 신뢰도 표시들의 상대적인 가중치에 좌우될 수 있다.
일부 시나리오들에서, 하위 경계는 가중치들 중 하나 또는 둘 모두에 적용될 수 있다. 예를 들어, 가중치들의 결합은 두 개의 가중치 기여도들의 승산에 기초하여 계산될 수 있고, 예를 들어 가중치들에 대한 오프셋을 도입하는 것은 가중치 기여도들 중 하나가 심지어 영(0)일지라도 그 결과적인 가중치가 영보다 더 클 수 있다는 것을 보장할 수 있다. 특정한 예로서, 결합된 가중치는:
로 계산될 수 있다.
임의의 적절한 방법이 음향 전달 함수들을 추정하는데 이용될 수 있음이 인식될 것이다.
이미지 도메인 측정치에 기초하여 가중치를 결정하기 위하여 임의의 적절한 방식이 이용될 수 있음이 인식될 것이다. 예를 들어, 적절한 방법은 2002년 9월에, Tech.Rep., Katholieke Universiteit Leuven 및 Swiss Federal Institute of Technology의, Katja Nummiaro, Esther Koller-Meier, 및 Luc van Gool의 "An Adaptive Color-Based Particle Filter"에 기술되어 있다.
이 방식에서, 이미지 패치(image patch)는 프로세싱될 정보의 양을 감소시키고/시키거나 필수 정보를 추출함으로써 신뢰성을 증가시키기 위해 다른 표현으로 변환된다. 그와 같은 표현의 예는 컬러-히스토그램(color-histogram)이다. 이 컬러-히스토그램 공간에서, 각각의 이미지 패치는 단일 지점에 의해 표현된다(히스토그램은 원점에서 상기 지점까지의 벡터이다). 이 공간은 원하는 이미지 패치(예를 들어, 추적되는 물체)와 임의의 다른 이미지 패치를, 자신들의 컬러 디스크립션(color discription)들에 기초하여 컬러 히스토그램 공간 내의 대응하는 지점들 사이의 거리를 계산함으로써 양적으로 비교하는 것을 가능하게 한다. 단일 유클리드 거리(Euclidian distance)를 포함하여 이용될 수 있는 많은 거리 메트릭(metric)들이 존재한다. 바타차리야 거리(Bhattacharyya distance)와 같이 공지되어 있는 다른 거리 메트릭이 특히 편리한데, 왜냐하면 이의 정규화 출력은 입자 필터에 대한 정상 분포 가중치를 계산하는데 이용될 수 있기 때문이다.
많은 실시예들에서, 음향 전달 함수들은 음향 빔포임의 일부로서 추정될 수 있다. 특히, 음향 빔포밍 방식은 오디오 빔을 화자(101)(환경에서 지배적인 음원으로 취해진다)로 지향시키는데 이용될 수 있다. 그 후에 개별 마이크로폰 신호들의 상대적인 필터링 또는 가중은 음향 전달 함수들에 대한 추정치로 이용될 수 있다.
임의의 적절한 빔포밍 알고리즘이 이용될 수 있음이 인식될 것이다. 특정한 예에서, 음향 전달 함수들은 도 9의 빔포머(beamformer)에 의해 예시되는 빔포밍 방법에 의해 결정된다.
도 9의 빔폼 유닛(900)은 두 입력 신호들(u1, u2)을 수신하고, 이 신호들을 프로세싱하여 오디오 빔포밍을 생성한다. 종래에, 입력 신호들(u1, u2)은 전방향 마이크로폰들(105, 107)로부터 수신되지만, 또한 (적어도) 두 방향성 사운드 센서들에 의해 제공될 수 있다.
빔 포및 유닛(900)에서, 제 1 입력 신호(u1)는 제 1 적응성 필터(901)에 공급되고, 제 1 적응성 필터(901)는 제 1 필터링된 신호를 생성한다. 제 2 입력 신호(u2)는 제 2 적응성 필터(903)에 공급되고 제 2 적응성 필터(903)는 제 2 필터링된 신호를 생성한다. 제 1 및 제 2 필터링된 신호들은 그 후에 합산 유닛(905)에서 합산되어 결합된 방향성 신호가 생성된다. 결합된 방향성 신호는 방향 감응성을 갖는 사운드 센서로 수신된 오디오 신호에 대응한다. 특히, 제 1 및 제 2 적응성 필터들(901, 903)의 필터 계수들을 변경함으로써, 오디오 빔의 방향이 원하는 방향으로 지향될 수 있다.
필터 계수들은 결합된 방향성 신호의 원하는 음원 성분에 대한 전력 추정치가 최대화되도록 갱신된다. 상기 예에서, 필터 계수들은 원하는 음원(화자(101))으로부터의 신호가 지배적이고 따라서 원하는 사운드 성분이 결합된 방향성 신호의 지배적인 음원 성분으로 가정될 때 갱신된다. 따라서, 필터 계수들은 전체 결합된 방향성 신호에 대한 전력 측정치가 최대가 되도록 갱신된다. 적절한 전력 측정치는 예를 들어 결합된 방향성 신호의 샘플들의 제곱으로(또는 절대 값을 취함으로써) 그리고 상기 결과를 적절한 저역 통과 필터에 의해 필터링함으로써 획득될 수 있다.
더욱이 적응성 필터(901, 903)의 전달 함수들의 합 에너지가 미리 결정된 주파수들에서 일정하게 유지된다는 제한을 두고 필터 계수들의 적응이 행해진다.
특정한 예에서, 필터 계수들(901, 903)은 직접적으로 적응되지 않는다. 대신, 빔 포밍 유닛(900)은 더욱이 결합된 방향성 신호를 필터링하여 제 3 필터링된 신호를 생성하기 위한 제 3 적응성 필터(907) 및 결합된 방향성 신호를 필터링하여 제 4 필터링된 신호를 생성하기 위한 제 4 방향성 필터(909)를 포함한다.
제 3 필터링된 신호는 제 1 감산 유닛(911)에 공급되어 제 3 필터링된 신호 및 제 1 입력 신호(u1)(지연기(913)에 의해 지연된다) 사이에서 제 1의 차 신호(difference signal)가 생성된다. 제 4 필터링된 신호는 제 2 감산 유닛(915)에 공급되어 제 4 필터링된 신호 및 제 2 입력 신호(u2)(지연기(917)에 의해 지연된다) 사이에서 제 2의 차 신호가 생성된다.
상기 시스템에서, 적응성 필터들(907, 909)의 필터 계수들은 원하는 음원으로부터 지배적인 신호가 존재할 때 적응됨으로써 차 신호들(x1, x2)이 감소하고 특히 최소화된다. 이렇게 하기 위한 적절한 알고리즘은 널리 공지되어 있는 정규화된 최소 평균 제곱 알고리즘(Normalized Least Mean Squares algorithm)이다. 예를 들어 N 샘플들의 각각의 데이터 블록들 이후에 주기적으로, 시간 역전(time reversed) 필터 계수들(907)은 필터(901)로 카피되고 시간 역전 계수들(909)은 필터(903)으로 카피된다. 이렇게 함으로써, 원하는 음원으로부터의 지배적인 신호가 존재할 때 출력 신호(z)의 전력이 빔 포밍 유닛(900)으로부터 최대화된다.
주파수 도메인에서, 제 3 적응성 필터(907)의 전달 함수는 제 1 적응성 필터(901)의 전달 함수의 복수 공액에 대응하고 제 4 적응성 필터(909)의 전달 함수는 제 2 적응성 필터(903)의 전달 함수의 복소 공액에 대응한다.
더 상세하게, 빔 포밍 유닛(900)의 동작은 연속 시간 신호들의 푸리에 변환들인 주파수 도메인 양들을 이용하는 신호 모델을 참조하여 설명될 수 있다. 마이크로폰 신호들 각각이 원하는 소스 성분, 반향 신호 성분, 및 잡음으로부터의 신호 성분을 포함하는 것이 가정된다.
상기 모델에 따르면, 마이크로폰 신호들의 벡터 
(여기서 위첨자 t는 전치를 나타낸다)는
에 의해 제공된다.
여기서 s(·)는 원하는 소스 신호이고, h(·)는 직접 사운드 경로 및 가능하면 일부 초기 반사들을 포함하는 소스로부터 마이크로폰들까지의 음향 임펄스 응답들의 벡터이고, d(·)는 반향(reverberation)이고, n(.)은 마이크로폰들 각각에 대하여 동일한 변화량을 갖는 비상관된 잡음이다. 원하는 신호, 반향 및 잡음이 상호 비상관되어 있다고 가정하면, 입력되는 교차 전력 공간 밀도는,
에 의해 제공되고,
여기서 
, 
및 
은 소스 신호, 반향 및 잡음 각각의 변화량들이고, 
는 항등 행렬이고, 위첨자 h는 복소 공액 전치를 나타내고 *는 복소 공액을 나타낸다.
반향은 확산하는 (구체에서 등방성인) 사운드 필드로 모델링된다. 이것이 간소화된 이론적인 모델일지라도, 많은 애플리케이션들에서 유용한 모델일 수 있음이 입증되었고 빔 포밍 유닛(900) 내에서 이용되는 알고리즘의 연산 및 성능에 대한 통찰력을 제공하는데 유용하다.
전방향 마이크로폰들의 경우, 반향의 코히어런스 매트릭스(coherence matrix)는,
에 의해 제공되고,
여기서 d는 마이크로폰들 사이의 거리이고 c는 사운드의 속도이다.
기술된 신호 모델들을 이용함으로써, 빔 포밍 유닛(900)의 결합된 방향성 출력 신호(z)는 필터 및 마이크로폰 신호들에 대한 연산에 의해 제공된다:
시간 도메인에서, 제 1 및 제 2 적응성 필터들(901, 903)에 대한 필터 계수들은 특히 각각 제 3 및 제 4 적응성 필터들(907, 909)의 필터 계수들의 시간 역전 카피들이다. 그러므로, 주파수 도메인에서 제 1 및 제 2 적응성 필터들(901, 903)에 대한 필터 계수들은 각각 제 3 및 제 4 적응성 필터들(907, 909)의 필터 계수들의 복소 공액 버전들이다. 일반적으로, 지연은 신호 프로세싱 및 그에 따른 제 3 및 제 4 적응성 필터들(907, 909)의 인과 관계(causality)가 상기 예에서 이 지연을 고려하도록 위상 보상되는 것을 보장하기 위해 도입될 것이다. 또한, 입력 신호들(u1, u2)은 차 신호들의 생성 이전에 지연기들(913, 917)에서 지연된다. 지연기들(913, 917)의 지연(·)은 일반적으로 적응성 필터들(901, 903, 907, 909)의 길이와 동일하도록 설정된다.
도 9의 적응성 빔 포밍 유닛(900)은, 필터 전달 함수들의 합산된 전력이 모든 주파수들에 대한 유니티(unity)와 같다는 제한 하에(이는 수학적으로 
로 표현될 수 있다), 결합된 방향성 출력 신호(z)의 전력을 최대화한다. 그러므로, 차 신호들(x1, x2)을 최소화하도록 필터 계수들을 설정함으로써, 결합된 출력 신호(z)의 전력이 최대화됨으로써, 오디오 빔의 지배적인 오디오 신호로의 적응이 제공된다.
신호 모델을 이용하고 상기 제한을 적용하면, 결합된 방향성 출력 신호(z)는:
로 제공된다.
원하는 소스 단독의 경우(즉, 반향 및 잡음이 부재하는 경우), 최적의 계수들은:
로 제공되고,
여기서 
는 임의의 전역 통과 항이다.
이 식은 최적의 필터 계수들이 각각의 마이크로폰들(공통의 미지의 진폭 및 위상 팩터를 무시하는)에 대한 원하는 소스의 공액 전달 함수들과 동일하다는 것을 나타낸다. 실제 필터들의 제한된 필터 길이로 인해, 빔 포밍 유닛은 실제로 단지 시간 도메인 임펄스 응답들의 제 1 부분(전형적으로 방향 필드 및 가능하면 일부 초기의 반사들을 포함하는 부분)을 추정할 것이다.
따라서, 필터 계수들은 음향 전달 함수들의 매우 유용한 추정치를 제공하고 따라서 특정한 예에서 제 1 음향 전달 함수는 제 1 적응성 필터(901)의 계수들에 대응하는 임펄스 응답을 갖는 것으로 결정되고 따라서 제 2 음향 전달 함수는 제 2 적응성 필터(903)의 필터 계수들에 대응하는 임펄스 응답을 갖는 것으로 결정된다. 그러므로, 상관 함수는 제 1 적응성 필터(901) 및 제 2 적응성 필터(903)의 필터 계수들 사이의 상관으로 유용하게 결정된다.
명확성을 위해 상기 설명은 본 발명의 실시예들을 상이한 기능 유닛들 및 프로세서들을 참조하여 기술했음이 인식될 것이다. 그러나, 상이한 기능 유닛들 또는 프로세서들 사이의 기능의 임의의 적절한 분포는 본 발명을 손상시키지 않고 이용될 수 있다는 것이 인식될 것이다. 예를 들어, 개별 프로세서들 또는 제어기들에 의해 수행되는 것으로 예시되는 기능은 동일한 프로세서 또는 제어기들에 의해 수행될 수 있다. 그러므로, 특정한 기능 유닛들에 대한 언급들은 엄격한 논리 또는 물리적 구조 또는 조직을 나타낸다고 보다는 단지 설명된 기능을 제공하기 위한 적절한 수단을 언급하는 것으로 이해되어야 한다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 결합을 포함하는 임의의 적절한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서들 및/또는 디지털 신호 프로세서들 상에서 운영되는 컴퓨터 소프트웨어로 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 구성요소들은 물리적, 기능적, 그리고 논리적으로 임의의 적절한 방식으로 구현된다. 실제로 상기 기능은 단일 유닛으로, 복수의 유닛들로, 또는 다른 기능 유닛들의 일부로 구현될 수 있다. 이와 같으므로, 본 발명은 단일 유닛으로 구현될 수 있거나 또는 상이한 유닛들 및 프로세서들 사이에 물리적 그리고 기능적으로 분배될 수 있다.
본 발명이 일부 실시예들과 관련하여 설명되었을지라도, 본 발명은 본원에 진술되는 특정 형태로 제한되지 않도록 의도된다. 오히려, 본 발명의 범위는 첨부 청구항들에 의해서만 제한된다. 추가적으로, 특징이 특정 실시예들과 관련하여 기술되는 것처럼 보일 수 있을지라도, 당업자들은 기술된 실시예들의 다양한 특징들이 본 발명에 따라 결합될 수 있음을 인식할 것이다. 청구항들에서, 용어 "포함하는(comprising)"은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.
더욱이, 개별적으로 기재될지라도, 복수의 수단들, 요소들 또는 방법 단계들은 예를 들어 단일 유닛 또는 프로세서에 의해 구현될 수 있다. 추가로, 개별 특징들이 상이한 청구항들에 포함될 수 있을지라도, 이것들은 가능하면 유용하게 결합될 수 있고, 상이한 청구항들 내에 포함되는 것이 특징들의 결합이 실현 불가능하고/하거나 유용하지 않음을 의미하지 않는다. 또한 특징이 청구항들의 하나의 범주 내에 포함되는 것은 이 범주로의 제한을 의미하지 않고 상기 특징이 오히려 적절할 때 다른 청구항 범주에 마찬가지로 적용 가능하다는 것을 나타낸다. 더욱이, 청구항들 내의 특징들의 순서는 특징들이 반드시 작동되어야만 하는 임의의 지정된 순서를 의미하지 않고 특히 방법 청구항 내의 개별 단계들의 순서는 상기 단계들이 이 순서로 수행되어야만 한다는 것을 의미하지 않는다. 오히려, 상기 단계들은 임의의 적절한 순서로 수행될 수 있다. 게다가, 단수를 언급하는 것이 복수를 배제하지 않는다. 그러므로 "a", "an", "first", "second" 등의 언급들이 복수를 제외하지 않는다. 청구항들 내의 참조 부호들은 단지 명확한 예가 임의의 방식으로 청구항들의 범위를 제한하는 것으로 해석되지 않는 것으로 제공된다.
101 : 이용자 103 : 화상 회의 장치
301 : 입자 필터 프로세서 90 : 빔 포밍 유닛
301 : 입자 필터 프로세서 90 : 빔 포밍 유닛
Claims (15)
- 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법에 있어서:
시간 인스턴스에 대한 입자들의 세트를 생성하는 단계를 반복하는 단계로서, 상기 입자들의 세트는 상기 시간 인스턴스에서의 상기 음원 위치를 포함하는 상태 변수에 대한 확률 밀도 함수를 나타내는, 상기 반복 단계를 포함하고;
상기 생성하는 단계는, 상기 입자들의 세트의 각각의 입자에 대하여:
이전의 시간 인스턴스에서의 입자의 상태 값에 응답하여 상기 시간 인스턴스에서의 입자에 대한 상태 값을 생성하는 단계(403),
상기 이전의 시간 인스턴스에서의 입자의 가중치 및 상기 시간 인스턴스에서의 측정치에 응답하여 상기 시간 인스턴스에서 입자에 대한 가중치를 생성하는 단계(405); 및
제 1 시간 인스턴스에서의 상기 입자들의 세트에 대한 상태 값들의 결합에 응답하여 상기 제 1 시간 인스턴스에 대한 음원 위치 추정치를 포함하는 상태 변수 추정치를 생성하는 단계(407)로서, 상기 입자들의 세트의 각각의 입자로부터의 기여도는 입자의 가중치에 좌우되는, 상기 생성 단계(407)를 포함하고;
상기 시간 인스턴스에서 상기 입자의 가중치를 생성하는 단계(405)는 상기 음원으로부터 상기 제 1 시간 인스턴스에 대한 적어도 두 사운드 기록 지점들로의 추정된 음향 전달 함수들 사이의 상관에 응답하여 가중치를 결정하는 단계를 포함하는, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법. - 제 1 항에 있어서,
상기 가중치를 생성하는 단계(405)는:
상기 입자의 상태 값에 대응하는 지연에 대한 상관의 값에 응답하여 상기 입자에 대한 가중치를 결정하는 단계를 포함하는, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법. - 제 2 항에 있어서,
상기 가중치는 상기 상관의 값에 대한 결정론적 관계(deterministic relationship)를 갖는, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법. - 제 3 항에 있어서,
상기 결정론적 관계는 비선형인, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법. - 제 1 항에 있어서,
상기 가중치를 생성하는 단계(405)는, 상기 상관을, 상기 이전의 시간 인스턴스에서의 상기 입자의 가중치에 응답하여 상기 시간 인스턴스에서의 입자에 대한 가중치를 관련시키는 가중치 갱신 함수에 대한 의사 우도 함수(pseudo likelihood function)의 표시로 이용하는 단계를 포함하는, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법. - 제 1 항에 있어서,
상기 음원 지점은 2차원 평면 내의 2차원 지점에 의해 표현되는, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법. - 제 6 항에 있어서,
상기 음원을 포함하는 환경을 커버하는 카메라로부터 적어도 하나의 이미지를 수신하는 단계를 추가로 포함하고,
상기 2차원 지점은 적어도 하나의 이미지 내의 지점인, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법. - 제 7 항에 있어서,
상기 가중치를 생성하는 단계(405)는 상기 입자에 대한 이미지 도메인 측정치에 응답하여 제 1 가중치 기여도를 생성하는 단계, 상관에 응답하여 제 2 가중치 기여도를 생성하는 단계, 및 상기 가중치를 제 1 가중치 및 제 2 가중치의 결합으로 생성하는 단계를 포함하는, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법. - 제 8 항에 있어서,
상기 상관에 응답하여 상기 제 1 가중치 기여도에 대한 신뢰도 표시를 생성하는 단계; 및
상기 신뢰도 표시에 응답하여 상기 결합 내의 상기 제 1 가중치 기여도의 기여도를 상기 제 2 가중치 기여도에 대하여 조정하는 단계를 추가로 포함하는, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법. - 제 1 항에 있어서,
상기 음원 지점으로의 오디오 빔포밍(audio beamforming)을 실행하는 단계 및 상기 오디오 빔포밍에 응답하여 상기 전달 함수들을 추정하는 단계를 포함하는, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법. - 제 1 항에 있어서,
상기 가중치를 생성하는 단계(405)는 상기 음원으로부터 적어도 두 사운드 기록 지점들 중 하나로의 추정된 음향 전달 함수 및 상기 음원으로부터 상기 제 1 시간 인스턴스에 대한 다른 사운드 기록 지점으로의 추정된 음향 전달 함수 사이의 제 2 상관에 응답하여 상기 가중치를 결정하는 단계를 포함하고; 상기 다른 사운드 기록 지점은 상기 적어도 두 사운드 기록 지점들 사이의 선에 대하여 오프셋(offset)되는, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법. - 제 1 항에 있어서,
상기 가중치를 생성하는 단계(405)는:
상기 적어도 두 사운드 기록 지점들 중 제 1 위치에서 사운드 기록 요소로부터의 제 1 신호를 수신하는 단계;
상기 적어도 두 사운드 기록 지점들 중 제 2 위치에서 사운드 기록 요소로부터의 제 2 신호를 수신하는 단계; 및
상기 제 1 신호 및 상기 제 2 신호에 응답하여 상기 음향 전달 함수들을 추정하는 단계를 포함하는, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법. - 제 1 항에 있어서,
상기 가중치를 생성하는 단계(405)는:
제 1 적응성 필터(901)에서 상기 제 1 신호를 필터링하여 제 1 필터링된 신호를 생성하는 단계;
제 2 적응성 필터(903)에서 상기 제 2 신호를 필터링하여 제 2 필터링된 신호를 생성하는 단계;
상기 제 1 필터링된 신호 및 상기 제 2 필터링된 신호를 합산하여 결합된 방향성 신호를 생성하는 단계; 및
상기 제 1 적응성 필터(901) 및 상기 제 2 적응성 필터(903)의 계수들을 설정하여 상기 결합된 방향성 신호를 생성하여 상기 결합된 방향성 신호의 음원 성분에 대한 전력 추정치가 최대화되는 단계; 및
상기 제 1 적응성 필터(901) 및 상기 제 2 적응성 필터(903)의 계수들에 응답하여 상기 음향 전달 함수들을 추정하는 단계를 포함하는, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법. - 제 13 항에 있어서,
상기 가중치를 생성하는 단계(405)는:
제 3 적응성 필터(907)에서 상기 결합된 방향성 신호를 필터링하여 제 3 필터링된 신호를 생성하는 단계로서, 상기 제 3 적응성 필터(907)의 전달 함수는 지연이 보상된 상기 제 1 적응성 필터(901)의 실질적인 복소 공액 전달 함수에 대응하는, 상기 제 3 필터링된 신호 생성 단계;
상기 제 1 신호 및 상기 제 3 필터링된 신호 사이의 차 신호(difference signal)를 결정하는 단계; 및
상기 제 1 적응성 필터(901)의 전달 함수를 적응시켜 상기 차 신호를 감소시키는 단계를 포함하는, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 방법. - 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 장치에 있어서:
시간 인스턴스에 대하여 입자들의 세트를 생성하는 단계를 반복하기 위한 수단(301)으로서, 상기 입자들의 세트는 상기 시간 인스턴스에서의 음원 위치를 포함하는 상태 변수에 대한 확률 밀도 함수를 나타내고;
상기 생성하는 단계는 입자들의 세트의 각각의 입자에 대하여:
이전 시간 인스턴스에서의 입자의 상태 값에 응답하여 상기 시간 인스턴스에서 입자에 대한 상태 변수를 생성하는 단계(403), 및
상기 이전 시간 인스턴스에서의 입자의 가중치에 응답하여 상기 시간 인스턴스에서의 입자에 대한 가중치를 생성하는 단계(405)를 포함하는, 상기 반복하기 위한 수단(301); 및
제 1 시간 인스턴스에서의 입자들의 세트에 대한 상태 값들의 결합에 응답하여 상기 제 1 시간 인스턴스에 대한 음원 위치 추정치를 포함하는 상태 변수 추정치를 생성하기 위한 수단(303)을 포함하고,
상기 시간 인스턴스에서 입자에 대한 가중치를 생성하는 단계(405)는 상기 음원으로부터 상기 제 1 시간 인스턴스에 대한 적어도 두 사운드 기록 지점들로의 추정된 음향 전달 함수들 사이의 상관에 응답하여 가중치를 결정하는 단계를 포함하는, 입자 필터링에 의해 음원에 대한 음원 위치를 추정하는 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP08171826.4 | 2008-12-16 | ||
| EP08171826 | 2008-12-16 | ||
| PCT/IB2009/055678 WO2010070556A2 (en) | 2008-12-16 | 2009-12-11 | Estimating a sound source location using particle filtering |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110102466A true KR20110102466A (ko) | 2011-09-16 |
| KR101659712B1 KR101659712B1 (ko) | 2016-09-30 |
Family
ID=42269169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020117016479A KR101659712B1 (ko) | 2008-12-16 | 2009-12-11 | 입자 필터링을 이용한 음원 위치를 추정 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US8403105B2 (ko) |
| EP (1) | EP2380033B1 (ko) |
| JP (1) | JP5608678B2 (ko) |
| KR (1) | KR101659712B1 (ko) |
| CN (1) | CN102257401B (ko) |
| RU (1) | RU2511672C2 (ko) |
| WO (1) | WO2010070556A2 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014119835A1 (ko) * | 2013-01-31 | 2014-08-07 | 엘지전자 주식회사 | 이동 단말기, 및 그 동작방법 |
| KR20190108236A (ko) * | 2018-03-14 | 2019-09-24 | 한국과학기술원 | 반사 인지를 통한 음원 위치 추적 방법 및 시스템 |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9084001B2 (en) | 2011-07-18 | 2015-07-14 | At&T Intellectual Property I, Lp | Method and apparatus for multi-experience metadata translation of media content with metadata |
| US8943396B2 (en) | 2011-07-18 | 2015-01-27 | At&T Intellectual Property I, Lp | Method and apparatus for multi-experience adaptation of media content |
| US20130028443A1 (en) * | 2011-07-28 | 2013-01-31 | Apple Inc. | Devices with enhanced audio |
| US8942412B2 (en) | 2011-08-11 | 2015-01-27 | At&T Intellectual Property I, Lp | Method and apparatus for controlling multi-experience translation of media content |
| US9237362B2 (en) | 2011-08-11 | 2016-01-12 | At&T Intellectual Property I, Lp | Method and apparatus for multi-experience translation of media content with sensor sharing |
| CN102621542B (zh) * | 2012-04-02 | 2014-10-22 | 中国人民解放军海军航空工程学院 | 基于多模粒子滤波和数据关联的机动微弱目标检测前跟踪方法 |
| US9075572B2 (en) | 2012-05-02 | 2015-07-07 | Google Technology Holdings LLC | Media enhancement dock |
| US8886526B2 (en) * | 2012-05-04 | 2014-11-11 | Sony Computer Entertainment Inc. | Source separation using independent component analysis with mixed multi-variate probability density function |
| US9685171B1 (en) * | 2012-11-20 | 2017-06-20 | Amazon Technologies, Inc. | Multiple-stage adaptive filtering of audio signals |
| EP2747451A1 (en) | 2012-12-21 | 2014-06-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Filter and method for informed spatial filtering using multiple instantaneous direction-of-arrivial estimates |
| US9338420B2 (en) * | 2013-02-15 | 2016-05-10 | Qualcomm Incorporated | Video analysis assisted generation of multi-channel audio data |
| US9395723B2 (en) | 2013-09-30 | 2016-07-19 | Five Elements Robotics, Inc. | Self-propelled robot assistant |
| US20160084937A1 (en) * | 2014-09-22 | 2016-03-24 | Invensense Inc. | Systems and methods for determining position information using acoustic sensing |
| TWI579835B (zh) * | 2015-03-19 | 2017-04-21 | 絡達科技股份有限公司 | 音效增益方法 |
| EP3151534A1 (en) * | 2015-09-29 | 2017-04-05 | Thomson Licensing | Method of refocusing images captured by a plenoptic camera and audio based refocusing image system |
| CN105590021B (zh) * | 2015-11-06 | 2018-06-12 | 上海交通大学 | 基于麦克风阵列的动态数量声源跟踪方法 |
| CN106772245A (zh) * | 2015-11-19 | 2017-05-31 | 华为技术有限公司 | 声源定位方法和装置 |
| US10024712B2 (en) * | 2016-04-19 | 2018-07-17 | Harman International Industries, Incorporated | Acoustic presence detector |
| CN106093848B (zh) * | 2016-05-25 | 2019-01-11 | 深圳市豪恩声学股份有限公司 | 声音定向方法及装置 |
| US10229698B1 (en) * | 2017-06-21 | 2019-03-12 | Amazon Technologies, Inc. | Playback reference signal-assisted multi-microphone interference canceler |
| WO2019044157A1 (ja) * | 2017-08-30 | 2019-03-07 | パナソニックＩｐマネジメント株式会社 | 収音装置、収音方法、及びプログラム |
| CN109212480B (zh) * | 2018-09-05 | 2020-07-28 | 浙江理工大学 | 一种基于分布式辅助粒子滤波的声源跟踪方法 |
| US10957299B2 (en) * | 2019-04-09 | 2021-03-23 | Facebook Technologies, Llc | Acoustic transfer function personalization using sound scene analysis and beamforming |
| CN110334322B (zh) * | 2019-06-26 | 2023-03-14 | 电子科技大学 | 一种粒子滤波器的粒子数自适应方法 |
| WO2021067919A1 (en) | 2019-10-04 | 2021-04-08 | Woods Hole Oceanographic Institution | Doppler shift navigation system and method of using same |
| CN117496997B (zh) * | 2023-12-27 | 2024-04-05 | 湘江实验室 | 基于惩罚机制的声源检测方法、装置及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040220769A1 (en) * | 2003-05-02 | 2004-11-04 | Yong Rui | System and process for tracking an object state using a particle filter sensor fusion technique |
| US7249001B2 (en) * | 2005-05-09 | 2007-07-24 | Commissariat A L'energie Atomique | Process for estimating the motion phase of an object |
| US7542825B2 (en) * | 2003-11-28 | 2009-06-02 | Denso Corporation | Sensor fusion system and vehicle control system therewith |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100779409B1 (ko) | 1998-11-11 | 2007-11-26 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 향상된 신호 위치 측정 장치 |
| US20060245601A1 (en) * | 2005-04-27 | 2006-11-02 | Francois Michaud | Robust localization and tracking of simultaneously moving sound sources using beamforming and particle filtering |
| US7773771B2 (en) * | 2006-03-15 | 2010-08-10 | Honeywell International Inc. | Video data tracker |
| WO2007129731A1 (ja) * | 2006-05-10 | 2007-11-15 | Honda Motor Co., Ltd. | 音源追跡システム、方法、およびロボット |
| CN101512528A (zh) | 2006-09-29 | 2009-08-19 | 汤姆森特许公司 | 动态状态估计 |
| US8233353B2 (en) * | 2007-01-26 | 2012-07-31 | Microsoft Corporation | Multi-sensor sound source localization |
| EP1992959A3 (en) * | 2007-05-18 | 2011-02-09 | Ono Sokki Co., Ltd. | Sound source search method, sound source search device, and sound source search program storage medium |
-
2009
- 2009-12-11 EP EP09793610.8A patent/EP2380033B1/en active Active
- 2009-12-11 US US13/133,839 patent/US8403105B2/en active Active
- 2009-12-11 CN CN200980150679.XA patent/CN102257401B/zh active Active
- 2009-12-11 RU RU2011129602/28A patent/RU2511672C2/ru active
- 2009-12-11 WO PCT/IB2009/055678 patent/WO2010070556A2/en active Application Filing
- 2009-12-11 JP JP2011541675A patent/JP5608678B2/ja active Active
- 2009-12-11 KR KR1020117016479A patent/KR101659712B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040220769A1 (en) * | 2003-05-02 | 2004-11-04 | Yong Rui | System and process for tracking an object state using a particle filter sensor fusion technique |
| US7542825B2 (en) * | 2003-11-28 | 2009-06-02 | Denso Corporation | Sensor fusion system and vehicle control system therewith |
| US7249001B2 (en) * | 2005-05-09 | 2007-07-24 | Commissariat A L'energie Atomique | Process for estimating the motion phase of an object |
Non-Patent Citations (1)
| Title |
|---|
| Zotkin D N et al. Joint Audio-Visual Tracking Using Particle Filters. Eurasip Journal Of Applied Signal Processing. 2002.Nov, vol.2002, no.11, pp.1154-1164. * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014119835A1 (ko) * | 2013-01-31 | 2014-08-07 | 엘지전자 주식회사 | 이동 단말기, 및 그 동작방법 |
| US9380262B2 (en) | 2013-01-31 | 2016-06-28 | Lg Electronics Inc. | Mobile terminal and method for operating same |
| KR20190108236A (ko) * | 2018-03-14 | 2019-09-24 | 한국과학기술원 | 반사 인지를 통한 음원 위치 추적 방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2380033B1 (en) | 2017-05-17 |
| WO2010070556A3 (en) | 2011-01-06 |
| RU2011129602A (ru) | 2013-01-27 |
| EP2380033A2 (en) | 2011-10-26 |
| JP5608678B2 (ja) | 2014-10-15 |
| RU2511672C2 (ru) | 2014-04-10 |
| CN102257401A (zh) | 2011-11-23 |
| CN102257401B (zh) | 2014-04-02 |
| US20110232989A1 (en) | 2011-09-29 |
| JP2012512413A (ja) | 2012-05-31 |
| KR101659712B1 (ko) | 2016-09-30 |
| US8403105B2 (en) | 2013-03-26 |
| WO2010070556A2 (en) | 2010-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101659712B1 (ko) | 입자 필터링을 이용한 음원 위치를 추정 | |
| JP7158806B2 (ja) | オーディオ認識方法、ターゲットオーディオを位置決める方法、それらの装置、およびデバイスとコンピュータプログラム | |
| US9689959B2 (en) | Method, apparatus and computer program product for determining the location of a plurality of speech sources | |
| TWI530201B (zh) | 經由自抵達方向估值提取幾何資訊之聲音擷取技術 | |
| JP6129316B2 (ja) | 情報に基づく多チャネル音声存在確率推定を提供するための装置および方法 | |
| Huang et al. | Microphone arrays for video camera steering | |
| Seewald et al. | Combining srp-phat and two kinects for 3d sound source localization | |
| JP6265903B2 (ja) | 信号雑音減衰 | |
| CN113470685B (zh) | 语音增强模型的训练方法和装置及语音增强方法和装置 | |
| JPWO2018003158A1 (ja) | 相関関数生成装置、相関関数生成方法、相関関数生成プログラムおよび波源方向推定装置 | |
| Hosseini et al. | Time difference of arrival estimation of sound source using cross correlation and modified maximum likelihood weighting function | |
| JP3862685B2 (ja) | 音源方向推定装置、信号の時間遅延推定装置及びコンピュータプログラム | |
| Lin et al. | Nonnegative deconvolution for time of arrival estimation | |
| Yousefian et al. | A hybrid coherence model for noise reduction in reverberant environments | |
| Cai et al. | Accelerated steered response power method for sound source localization using orthogonal linear array | |
| Grondin et al. | A study of the complexity and accuracy of direction of arrival estimation methods based on GCC-PHAT for a pair of close microphones | |
| Jing et al. | Acoustic source tracking based on adaptive distributed particle filter in distributed microphone networks | |
| Huang et al. | Source localization | |
| Garcia-Barrios et al. | Exploiting spatial diversity for increasing the robustness of sound source localization systems against reverberation | |
| FR3132960A1 (fr) | Localisation d’une source acoustique en mouvement | |
| TWI262433B (en) | Voice locating system | |
| WO2023088156A1 (zh) | 一种声速矫正方法以及装置 | |
| Ramamurthy | Experimental evaluation of modified phase transform for sound source detection | |
| Alrabadi et al. | Locating an Acoustic Source Using a Mutual Information Beamformer | |
| Nadakudity | Object Tracking from Audio and Video data using Linear Prediction method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190910 Year of fee payment: 4 |