KR20110047870A - 다중음원 위치 추적장치 및 그 방법 - Google Patents

다중음원 위치 추적장치 및 그 방법 Download PDF

Info

Publication number
KR20110047870A
KR20110047870A KR1020090104665A KR20090104665A KR20110047870A KR 20110047870 A KR20110047870 A KR 20110047870A KR 1020090104665 A KR1020090104665 A KR 1020090104665A KR 20090104665 A KR20090104665 A KR 20090104665A KR 20110047870 A KR20110047870 A KR 20110047870A
Authority
KR
South Korea
Prior art keywords
sound source
target sound
correlation coefficient
microphone
target
Prior art date
Application number
KR1020090104665A
Other languages
English (en)
Other versions
KR101612704B1 (ko
Inventor
신기훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090104665A priority Critical patent/KR101612704B1/ko
Priority to US12/911,836 priority patent/US8773952B2/en
Publication of KR20110047870A publication Critical patent/KR20110047870A/ko
Application granted granted Critical
Publication of KR101612704B1 publication Critical patent/KR101612704B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8006—Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements

Abstract

복수 음원에 대해 음원 위치를 한꺼번에 추적할 수 있는 다중음원 위치 추적장치 및 그 방법을 개시한다. 마이크로폰에 어레이에 입력된 음원 신호를 독립적인 음원 신호로 분리하고, 그 음원 분리된 음원 신호와 마이크로폰에 입력된 음원 신호 사이의 상관 계수를 추정하고, 추정된 상관 계수를 분석하여 음원의 위치를 추적한다.
다중 음원, 음원 분리, 음원 위치 추적

Description

다중음원 위치 추적장치 및 그 방법{Apparatus and Method To Track Position For Multiple Sound Source}
본 발명은 다수의 음원 위치를 한꺼번에 추적할 수 있는 다중음원 위치 추적장치 및 그 방법에 관한 것이다.
음원 위치를 추적하는 기술은 가전제품 뿐만 아니라 가사를 지원하는 서비스 로봇, 음원 추적하여 침입자를 감시하는 감시 카메라, 다자 영상 회의에 쓰이는 비디오 카메라 등과 같은 기기에 사용한다.
다수의 마이크로폰을 직렬이나 병렬로 배치하여 마이크로폰 어레이를 구성하고 이 마이크로폰 어레이에 입력된 신호를 분석하여 음원 위치를 파악하려는 연구 개발에 많은 노력을 기울이고 있다.
임의의 음원 위치로부터 각 마이크로폰까지 음파 전달 경로의 차이에 기인한 음파 도착 시간 차이에 따라 각 마이크로폰의 입력 신호를 보상해 주어 이를 더한 신호의 파워가 최대치가 되는 각도를 찾아내어 음원 위치를 파악하는 것을 고려할 수 있다.
기존의 음원 위치 추적은 주변에 음원이 한 개 존재하여 단일의 음원을 추적하는 것을 전재로 하거나 다수의 음원 중 두드러지게 높은 음압 레벨을 갖는 음원 한 개를 추적하는 것을 전재로 하기 때문에 실제 환경에 적용하기가 힘들다. 예를 들어 가정에 수많은 잡음(TV, 진공 청소기, 세탁기, 초인종, 식구간 대화, 외부소음)이 존재하는 상황에서 서비스 로봇이 주인의 음성을 명료하게 알아듣고 명령을 정확히 수행하려면 복수 음원을 한꺼번에 추적할 수 있는 기술이 필요하다.
화자의 음성과 같은 목표 음원의 위치를 실시간으로 추적하고 많은 잡음이 존재하는 환경에서 사용자 명령을 정확하게 수행하려면 마이크로폰 어레이에 수신된 신호에서 각 음원을 분리하여 이들의 음원 위치를 파악하는 것이 필요하다.
기존의 음원 위치 추적은 음원 추적을 위해 전(全) 방위에 대해 검색하고 시간 영역에서 주파수 영역으로 변환하고 이를 역변환하는 과정이 요구되므로 음원 추적 시 계산량이 많아진다.
본 발명의 일 측면은 다수 음원의 위치를 동시에 추적하는 다중음원 위치 추적장치 및 그 방법을 제공하는 것이다.
본 발명의 다른 측면은 많은 잡음이 있는 환경에서 목표 음원의 위치를 정확하게 추적할 수 있는 다중음원 위치 추적장치 및 그 방법을 제공하는 것이다.
본 발명의 다른 측면은 음원 추적을 위한 계산량을 줄일 수 있는 다중음원 위치 추적장치 및 그 방법을 제공하는 것이다.
본 발명의 실시 예에 따른 다중음원 위치 추적장치는, 복수 음원의 음원 신호를 입력받는 마이크로폰 어레이; 상기 마이크로폰 어레이에 입력된 음원 신호를 독립적인 음원 신호로 분리하는 음원 분리부; 상기 음원 분리된 음원 신호의 패턴을 분석하여 음원 추적하기 위한 목표 음원을 선택하는 목표 음원 선택부; 상기 마이크로폰 어레이에 입력된 음원 신호와 상기 음원 분리된 음원 신호 사이의 상관 계수를 추정하고, 추정된 상관 계수로 상관계수 매트릭스를 생성하는 상관계수 추정부; 상기 추정된 상관 계수를 이용하여 상기 선택된 목표 음원의 음원 위치를 추정하는 음원위치 추정부;를 포함한다.
또한, 상기 음원 분리부는 브라인드 소스 세퍼레이션(blind source separation; BBS) 기술을 이용하여 음원 분리한다.
또한, 상기 브라인드 소스 세퍼레이션 기술은 인디펜던트 콤포넌트 아날리시스(independent component analysis; ICA)와 지오메트릭 소스 세퍼레이션(geometric source separation; GSS) 중 어느 하나이다.
또한, 상기 목표음원 선택부는 음원 분리된 음원 신호의 패턴과 사전 설정된 목표 음원의 신호 패턴을 매칭하여 목표 음원을 선택한다.
또한, 상기 목표음원 선택부는 선택된 목표 음원을 식별하기 위한 인덱스를 생성한다.
또한, 상기 상관계수 추정부는 상기 마이크로폰 어레이에 입력된 음원 신호와 상기 음원 분리된 음원 신호를 크로스 코릴레이션 하여 상관 계수를 얻는다.
또한, 상기 음원위치 추정부는 위치 추적하려는 목표 음원이 복수이면, 복수 목표 음원에 대해 동시에 위치 추적한다.
또한, 상기 음원위치 추정부는 어느 하나의 목표 음원에 대해 전체 상관 계수를 크기에 따라 재배열하고, 재배열된 설정 개수의 상관 계수를 이용하여 추정한 목표 음원의 글로벌 좌표로 목표 음원의 위치를 추적한다.
또한, 상기 마이크로폰 어레이가 원형의 등간격으로 배치된 복수 마이크로폰을 포함하고, 상기 음원위치 추정부는 (식7)을 이용하여 i번째 목표 음원의 글로벌 좌표(ψi)를 추정한다.
ψi = ωj + φi (식7)
여기서, ωj는 마이크로폰 어레이의 기준 위치에 대해 가장 큰 상관 계수에 대응하는 j번째 마이크로폰의 글로벌 좌표이고, φi는 j번째 마이크로폰에 대한 i번째 목표 음원의 로컬 좌표이며, ψi는 마이크로폰 어레이의 기준 위치에 대한 i번째 목표 음원의 상대적인 각도이고, 상기 j번째 마이크로폰의 글로벌 좌표(ωj)는 상기 마이크로폰 어레이의 기준 위치에 대해 가장 큰 상관 계수에 대응하는 j번째 마이크로폰의 상대적인 각도이고, 상기 i번째 목표 음원의 로컬 좌표(φi)는 가장 큰 상관계수에 대응하는 마이크로폰에 대해 상대적인 i번째 목표 음원의 각도이다.
또한, 상기 i번째 목표 음원의 로컬 좌표는 (식10)을 이용하여 추정한다.
φi= sign(φi)× θ/2 × (r'i2-r'i3)/(r'i1-r'i3), 0≤ φi ≤θ/2 (식 10)
여기서 sign(φi)는 i번째 목표 음원의 로컬 좌표(φi)의 부호이고, r'i1는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 가장 큰 상관 계수이고, r'i2는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 두 번째로 큰 상관 계수이고, r'i3는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 세 번째로 큰 상관 계수이다.
또한, 상기 i번째 목표 음원의 로컬 좌표(φi)는 가장 큰 상관 계수(r'i1)에 대응하는 마이크로폰에 대해 글로벌 좌표(ψi)와 같은 방향에 목표 음원이 위치하면 양수이고, 가장 큰 상관 계수(r'i1)에 대응하는 마이크로폰에 대해 글로벌 좌표(ψi)와 반대 방향에 목표 음원이 위치하면 음수가 된다.
또한, 상기 i번째 목표 음원의 로컬 좌표(φi)의 절대값은 (식8)의 관계에 따른 상관계수(r'i2)의 선형 함수로 정의된다.
r'i2 =r'i3 , if ㅣφiㅣ=0
r'i2 =r'i1 , if ㅣφiㅣ=θ/2 (식8)
여기서 θ는 등간격으로 배치된 마이크로폰들의 사이 각도이다.
또한, 상기 마이크로폰 어레이가 직선의 등간격으로 배치된 복수 마이크로폰을 포함하고, 상기 음원위치 추정부는 (식11)을 이용하여 i번째 목표 음원의 글로 벌 좌표(Di)를 추정한다.
Di = mj + li (식11)
여기서 mj 는 마이크로폰 어레이의 기준위치에 대해 가장 큰 상관 계수에 대응하는 j번째 마이크로폰의 글로벌 좌표이고, li는 j번째 마이크로폰에 대한 i번째 목표 음원의 로컬 좌표이며, Di는 마이크로폰 어레이의 기준 위치에 대한 i번째 목표 음원이 떨어진 거리이고, 상기 j번째 마이크로폰의 글로벌 좌표(mj)는 마이크로폰 어레이의 기준 위치에 대해 가장 큰 상관계수에 대응하는 j번째 마이크로폰이 떨어진 거리를 의미하고, 상기 i번째 목표 음원의 로컬 좌표(li)는 i번째 목표 음원이 가장 큰 상관계수에 대응하는 마이크로폰에서 떨어진 거리를 의미한다.
또한, 상기 i번째 목표 음원의 로컬 좌표는 (식12)을 이용하여 추정한다.
li= sign(li)× d/2 × (r'i2-r'i3)/(r'i1-r'i3), 0≤ li ≤d/2 (식12)
여기서 sign(li)는 i번째 목표 음원의 로컬 좌표(li)의 부호이고, r'i1는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 가장 큰 상관 계수이고, r'i2는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 두 번째로 큰 상관 계수이고, r'i3는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 세 번째로 큰 상관 계수이다.
또한, 상기 i번째 목표 음원의 로컬 좌표(li)는 가장 큰 상관 계수(r'i1)에 대응하는 마이크로폰에 대해 글로벌 좌표(Di)와 같은 방향에 목표 음원이 위치하면 양수이고, 가장 큰 상관 계수(r'i1)에 대응하는 마이크로폰에 대해 글로벌 좌표(Di)와 반대 방향에 우측에 목표 음원이 위치하면 음수가 된다.
또한, 상기 음원위치 추정부는 상기 마이크로폰 어레이의 양쪽인 좌측 또는 우측에 목표 음원이 위치하면 목표 음원이 좌측과 우측 중 어느 한쪽에 위치하는 것으로 대략적으로 위치 추정한다.
본 발명의 실시 예에 따른 다중음원 위치 추적방법은, 마이크로폰 어레이에 입력된 음원 신호에서 독립적인 음원 신호를 분리하고; 상기 음원 분리된 음원 신호의 패턴을 분석하여 음원 추적하기 위한 목표 음원을 선택하며; 상기 음원 분리된 음원 신호와 상기 마이크로폰 어레이에 입력된 음원 신호 사이의 상관 계수를 추정하고, 추정된 상관 계수로 상관계수 매트릭스를 생성하고; 상기 추정된 상관 계수를 이용하여 상기 선택된 목표 음원의 음원 위치를 추정하는 것을 포함한다.
또한, 상기 음원 신호의 분리는 인디펜던트 콤포넌트 아날리시스(independent component analysis; ICA)와 지오메트릭 소스 세퍼레이션(geometric source separation; GSS) 중 어느 하나를 이용한다.
또한, 상기 목표 음원의 선택은 음원 분리된 음원 신호의 패턴과 사전 설정된 목표 음원의 신호 패턴을 매칭하여 목표 음원을 선택한다.
또한, 상기 상관계수의 추정은 상기 마이크로폰 어레이에 입력된 음원 신호와 상기 음원 분리된 음원 신호를 크로스 코릴레이션 하여 상관 계수를 얻는다.
또한, 상기 음원위치의 추정은 어느 하나의 목표 음원에 대해 전체 상관 계수를 크기에 따라 재배열하고, 재배열된 설정 개수의 상관 계수를 이용하여 추정한 목표 음원의 글로벌 좌표로 목표 음원의 위치를 추적한다.
또한, 상기 마이크로폰 어레이가 원형의 등간격으로 배치된 복수 마이크로폰을 포함하는 경우, (식7)과 (식10)을 이용하여 i번째 목표 음원의 글로벌 좌표(ψi)와 i번째 목표 음원의 로컬 좌표(φi)를 각각 추정한다.
ψi = ωj + φi (식7)
φi= sign(φi)× θ/2 × (r'i2-r'i3)/(r'i1-r'i3), 0≤ φi ≤θ/2 (식10)
여기서, ωj는 마이크로폰 어레이의 기준 위치에 대해 가장 큰 상관 계수에 대응하는 j번째 마이크로폰의 글로벌 좌표이고, φi는 j번째 마이크로폰에 대한 i번째 목표 음원의 로컬 좌표이며, ψi는 마이크로폰 어레이의 기준 위치에 대한 i번째 목표 음원의 상대적인 각도이고, sign(φi)는 i번째 목표 음원의 로컬 좌표(φi)의 부호이고, r'i1는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 가장 큰 상관 계수이고, r'i2는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 두 번째로 큰 상관 계수이고, r'i3는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 세 번째로 큰 상관 계수이다.
또한, 상기 마이크로폰 어레이가 직선의 등간격으로 배치된 복수 마이크로폰을 포함하는 경우, (식11)과 (식12)를 이용하여 i번째 목표 음원의 글로벌 좌표(Di)와 i번째 목표 음원의 로컬 좌표(li)를 각각 추정한다.
Di = mj + li (식11)
li= sign(li)× d/2 × (r'i2-r'i3)/(r'i1-r'i3), 0≤ li ≤d/2 (식12)
여기서 mj 는 마이크로폰 어레이의 기준위치에 대해 가장 큰 상관 계수에 대응하는 j번째 마이크로폰의 글로벌 좌표이고, li는 j번째 마이크로폰에 대한 i번째 목표 음원의 로컬 좌표이며, Di는 마이크로폰 어레이의 기준 위치에 대한 i번째 목표 음원이 떨어진 거리이고, sign(li)는 i번째 목표 음원의 로컬 좌표(li)의 부호이고, r'i1는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 가장 큰 상관 계수이고, r'i2는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 두 번째로 큰 상관 계수이고, r'i3는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 세 번째로 큰 상관 계수이다.
이와 같은 실시 예에 따르면 마이크로폰 어레이 주변에 많은 잡음이 존재하는 상황에서 복수 음원의 위치를 동시에 추적함과 아울러 정확하게 위치 추적할 수 있고 위치 추적을 위한 계산량이 줄어든다.
이하 본 발명의 일 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
실내나 실외 환경에서는 대부분의 경우 화자를 포함하여 여러 가지 음원에서 발생된 소리에 의한 영향을 고려해야 한다. 예를 들어 다양한 가전제품(TV, 에어콘, 세탁기, 전화)이나 사무기기(프린터, 팩시밀리)들이 갖춰진 가정이나 사무실과 같은 실내 환경 또는 바람이나 차량 소음이 있는 실외 환경에서는 다수의 음원을 동시에 추적할 필요가 있다.
도 1는 본 발명의 실시 예에 따른 원형의 마이크로폰 어레이 주변에 다수 음원이 위치한 경우의 예를 나타낸 도면이고, 도 2는 본 발명의 실시 예에 따른 다중 음원의 위치 추적장치의 블록도이다.
도 1에 도시한 바와 같이, 마이크로폰 어레이(10)는 원형의 등간격으로 배치된 다수의 마이크로폰(11)을 포함한다. 마이크로폰 어레이(10)는 가전제품이나 가사를 지원하는 서비스 로봇, 음원 추적하여 침입자를 감시하는 감시 카메라, 다자 영상 회의에 쓰이는 비디오 카메라 등에 적용 가능하다.
마이크로폰 어레이(10) 주변에 N개 음원(SS1,...,SSi,...,SSN)이 위치하는 상황을 가정하면, 각 마이크로폰(11)에 적어도 하나의 음원에서 발생된 음원 신호가 입력된다.
N개 음원(SS1,...,SSi,...,SSN)에서 음원 추적하려는 적어도 하나의 목표 음원이 설정된 경우, 마이크로폰 어레이(10)에 입력된 음원 신호에 적어도 하나의 목 표 음원 뿐만 아니라 다른 음원에서 발생된 음원 신호가 섞여 있을 수 있으므로, 음원 분리하여 목표 음원을 알아내고 그 목표 음원에 대해 음원 위치를 추적하는 것이 요구된다. 여기서 목표 음원은 단일 음원이거나 복수 음원일 수 있다.
도 2를 참고하여, 실시 예에 따른 다중음원 위치 추적장치(1)는 마이크로폰 어레이(10), 게인조절 및 신호변환부(12), 음원 분리부(20), 목표음원 선택부(30, 상관계수 추정부(40), 음원위치 추정부(50)를 포함한다.
마이크로폰 어레이(10)에 입력된 음원 신호가 게인조절 및 신호변환부(12)를 거쳐 음원 분리부(20)와 상관계수 추정부(40)에 각각 제공된다. 게인조절 및 신호변환부(12)는 마이크로폰 어레이(10)에 입력된 음원 신호의 게인을 조절하여 음원 세기를 적절하게 변경함과 아울러 입력 음원 신호를 샘플링하여 디지털 신호로 변환한다. 이에 따라 음원 분리부(20)와 상관계수 추정부(40)에 샘플링된 N개 음원 신호(x1, x2, ... , xN)가 각각 제공된다.
제공받은 음원 신호에 목표 음원(예를 들어 화자의 음성) 뿐만 아니라 다른 음원에서 발생된 음원 신호인 잡음이 섞여 있을 수 있으므로 음원 분리부(20)가 독립적인 음원 신호로 분리하고, 음원 분리된 N개 음원 신호(s1, s2, ... , sN)를 목표음원 선택부(30)와 상관계수 추정부(40)에 각각 제공한다. 이러한 음원 분리는 인디펜던트 콤포넌트 아날리시스(independent component analysis; ICA)나 지오메트릭 소스 세퍼레이션(geometric source separation; GSS)과 같은 브라인드 소스 세퍼레이션(blind source separation; BBS) 기술을 이용한다.
목표음원 선택부(30)는 적어도 하나의 목표 음원에 대한 신호 패턴을 사전 설정해 두고 있으며, 이 목표 음원의 신호 패턴과 음원 분리부(20)로부터 제공받은 음원 분리된 음원 신호의 패턴을 매칭시키고, 그 매칭 결과 상호 유사성이 일정 수준이상이면 목표 음원으로 정하는 방법으로 목표 음원을 알아냄으로서 입력 음원들에서 목표음원을 선택할 수 있다. 그런 다음 목표음원 선택부(30)가 선택된 목표 음원을 식별하기 위한 인덱스(id)를 만들어 음원 위치 추정부(50)에 제공한다. 인덱스(id)는 음원 분리된 음원 신호들 중 어느 음원 신호가 목표음원인지를 지시하며, 그 인덱스(id)가 지시하는 목표음원은 단일 음원이거나 복수 음원일 수 있다.
상관계수 추정부(40)는 게인조절 및 신호변환부(12)에 의해 게인 조절되고 샘플링된 N개 음원 신호(x1, x2, ... , xN)와 음원 분리부(20)에 의해 음원 분리된 N개 음원 신호(s1, s2, ... , sN)를 제공받고, 이들의 상관계수를 추정하여 상관계수 매트릭스(RSX)를 만들고, 그런 다음 상관계수 매트릭스(RSX)를 음원위치 추정부(50)에 제공한다. 이하 상관계수 매트릭스(RSX)를 만드는 과정을 자세하게 설명한다.
게인 조절되고 샘플링된 N개 음원 신호(x1, x2, ... , xN)와 음원 분리된 N개 음원 신호(s1, s2, ... , sN)에 대해 다음 (식1)과 (식2)로 정의한다.
Figure 112009067039840-PAT00001
(식1)
Figure 112009067039840-PAT00002
(식2)
상관계수 추정부(4)가 (식1)과 (식2)에 의해 정의된 신호들에 대해 다음 (식3)을 이용하여 크로스 코릴레이션(cross-correlation)을 수행한다.
Figure 112009067039840-PAT00003
(식3)
여기서, rij는 음원 분리된 i번째 음원신호(si)와 샘플링된 j번째 마이크로폰의 음원신호(xj)의 상관계수, E{ }는 기대값이고, *는 신호가 복소수(complex)인 경우 공액 복소수(complex conjugate)을 의미한다.
(식3)에 의해 얻어지는 상관계수들로 만드는 상관계수 매트릭스(RSX)를 나타내면 (식4)와 같다.
Figure 112009067039840-PAT00004
(식4)
음원위치 추정부(50)는 상관계수 매트릭스(RSX)을 분석하여 목표 음원의 글로벌 좌표(ψi)를 추정한다. 이 목표 음원의 글로벌 좌표(ψi)로 음원 위치를 추적 할 수 있다.
이하 목표 음원의 글로벌 좌표ψi)를 추정하는 과정을 자세하게 설명한다.
마이크로폰 어레이(10) 주변에 단일 음원이 있는 경우, 단일 음원과 가장 가까운 마이크로폰(11)에 입력된 신호에 대응한 상관계수가 가장 클 것이다. 마찬가지로 마이크로폰 어레이(10) 주변에 복수 음원이 있는 경우, 음원 분리된 하나의 목표 음원의 신호와 크로스 코릴레이션 하여 얻은 가장 큰 상관계수는, 비록 각 마이크로폰(11)에 복수 음원에서 발생된 신호가 섞여 있더라도, 그 하나의 목표 음원과 가장 가까운 마이크로폰(11)에 대응될 것이다. 목표 음원의 각도가 특정 마이크로폰(11)의 각도와 일치하면 그 하나의 목표 음원과 특정 마이크로폰(11) 간 크로스 코릴레이션 하여 얻은 상관계수가 전체 상관계수 중에서 가장 클 것이며, 그 하나의 목표 음원이 가장 가까운 특정 마이크로폰(11)의 정면에 위치하고 다른 외부 요인을 배제한다고 하면 그 특정 마이크로폰(11)의 좌측과 우측에 위치한 2개의 마이크로폰에 대하여 크로스 코릴레이션 하여 얻은 상관계수가 같을 것이다. 그 하나의 목표 음원이 가장 가까운 마이크로폰의 정면에서 벗어나서 좌측 또는 우측 마이크로폰 중 어느 한쪽으로 치우치면 그 치우친 마이크로폰에 대하여 크로스 코릴레이션 하여 얻은 상관계수가 두 번째로 큰 값이 되고 다른 쪽 마이크로폰에 대하여 크로스 코릴레이션 하여 얻은 상관계수가 세 번째로 큰 값이 될 것이다.
그 하나의 목표 음원이 2개 마이크로폰의 중간 위치에서 한쪽으로 치우치면 그 하나의 목표 음원의 각도가 바뀜에 따라 그 치우친 방향에 위치한 새로운 마이 크로폰이 그 하나의 목표 음원과 가장 가까운 마이크로폰으로 변경된다.
음원위치 추정부(50)는 하나의 목표 음원에서 떨어진 거리가 가까운 3개 마이크로폰을 알아내고, 그 3개 마이크로폰에 대응하여 크로스 코릴레이션하여 얻은 상관계수를 이용하여 그 하나의 목표 음원의 각도를 추정할 수 있다.
그 하나의 목표 음원이 2개 마이크로폰의 중간에 위치하여 그 마이크로폰들의 사이각 절반에 그 하나의 목표 음원의 각도가 일치하는 경우 2개 마이크로폰에 대하여 크로스 코릴레이션 하여 얻은 상관계수들이 모두 최대치가 될 것이다. 이 2개 마이크로폰 한쪽에 각각 위치하는 다른 2개 마이크로폰의 상관 계수는 최대치 보다 작은 차순위 상관계수가 되는데, 이들 차순위 2개 상관계수가 동일하면 그 중 어느 하나를 선택한다.
이렇게 목표 음원의 위치 추정할 때 상관계수 매트릭스(RSX)의 전체 상관계수 중 큰 값 순서로 3개 상관계수를 이용하므로 계산량을 줄일 수 있다.
이를 고려하여 음원위치 추정부(50)는 상관계수 매트릭스(RSX) 중 하나의 목표음원에 대해 전체 마이크로폰 간 크로스 코릴레이션 하여 얻은 상관계수에 대해 크기 순으로 재배열한다.
예를 들어 상관계수 매트릭스(RSX) 중 N개 음원 신호(s1, s2, ... , sN)의 i번째 음원 신호(si)의 로우(row)에 해당하는 상관계수들(ri1, ri2, ... , riN)에 대해 크기 순으로 배열한다.
ㅣriσ(1)ㅣ >ㅣriσ(2)ㅣ> ... >ㅣriσ(N)ㅣ (식5)
여기서 σ(1)은 N개 중 가장 큰 값에 부여되는 번호이고, σ(N)은 N개 중 가장 작은 값에 부여되는 번호이다.
(식5)에서 재배열된 i번째 음원신호(si)의 로우(row)에 속하는 상관계수들을 간략하게 표현하면 (식6)과 같다
r'i1 > r'i2 > ... > r'iN (식6)
설명의 편의상 i번째 음원 신호(si)가 원형으로 배치된 마이크로폰 어레이(10) 주변에 위치한 복수 음원 중 어느 하나의 목표 음원에 대응하는 경우를 예시적으로 설명하며, 이를 도 3 및 도 4에 따라 설명한다.
가장 큰 상관계수(r'i1)에 대응하는 제1마이크로폰(11-1)(11-2)에 대해 상대적인 목표 음원(si)의 각도를 로컬 좌표(φi)로 정의하며, 마이크로폰 어레이(10)의 기준 위치에 대해 상대적인 제1마이크로폰(11-1)(11-2)의 각도를 마이크로폰 좌표(ωj)로 정의하며, 마이크로폰 어레이(10)의 기준 위치에 대해 상대적인 목표 음원(si)의 각도를 목표 음원의 글로벌 좌표(ψi)로 정의한다. 이를 정리하면 (식7)과 같다.
ψi = ωj + φi (식7)
(식7)에 의해 목표 음원(si)의 위치는 글로벌 좌표(ψi)로부터 알아낼 수 있 다.
도 3을 참고하여, 재배열한 상관계수 중 3개 상관계수(r'i1 , r'i2 , r'i3)에 3개 마이크로폰(11-1, 11-2, 11-8)이 각각 대응되는 것으로, 가장 큰 상관계수(r'i1)에 대응하는 제1마이크로폰(11-1)의 정면이 사전 설정된 마이크로폰 어레이(10)의 기준위치와 일치하여 마이크로폰 좌표(ωi)가 0 이므로, 그 목표 음원(si)의 글로벌 좌표(ψi)가 로컬 좌표(φi)와 같은 경우이다. 목표 음원(si)이 제1마이크로폰(11-1)의 좌측에 위치하는 경우, 그 목표 음원(si)의 로컬 좌표(φi)는 양수가 되고, 제1마이크로폰(11-1)를 기준으로 양측에 위치한 2개 마이크로폰(11-2)(11-8) 중 목표 음원(si)과 상대적으로 가까운 제2마이크로폰(11-2)의 상관계수가 제3마이크로폰(11-8)의 상관계수보다 크다. 이 경우 (식7)을 이용하여 목표 음원(si)의 글로벌 좌표(ψi)는 마이크로폰 좌표(ωi)와 양수의 로컬 좌표(φi)를 합산하여 얻는다.
도 4를 참고하여, 재배열한 상관계수 중 3개 상관계수(r'i1 , r'i2 , r'i3)에 3개 마이크로폰(11-2, 11-1, 11-3)이 각각 대응되는 것으로, 가장 큰 상관계수(r'i1)에 대응하는 제1마이크로폰(11-2)의 정면이 사전 설정된 마이크로폰 어레이(10)의 기준위치와 일치하지 않은 경우이다. 목표 음원(si)이 제1마이크로폰(11-2)의 우측에 위치하는 경우, 그 목표 음원(si)의 로컬 좌표(φi)는 음수가 되고, 제1마이크로 폰(11-2)를 기준으로 양측에 위치한 2개 마이크로폰(11-1)(11-3) 중 목표 음원(si)과 상대적으로 가까운 제2마이크로폰(11-1)의 상관계수가 제3마이크로폰(11-3)의 상관계수보다 크다. 이 경우 (식7)을 이용하여 목표 음원(si)의 글로벌 좌표(ψi)는 마이크로폰 좌표(ωi)와 음수의 로컬 좌표(φi)를 합산하여 얻는다.
3개의 상관계수(r'i1 , r'i2 , r'i3)와 목표 음원의 로컬 좌표(φi)의 절대값(ㅣφiㅣ) 사이에 (식8)과 같은 관계가 있다.
r'i2 =r'i3 , if ㅣφiㅣ=0
r'i2 =r'i1 , if ㅣφiㅣ=θ/2 (식8)
목표 음원의 로컬 좌표 절대값(ㅣφiㅣ)은 (식9)과 같이 상관계수(r'i2)의 선형 함수로 정의하고, 도 5의 그래프로 나타낼 수 있다.
ㅣφiㅣ= θ/2 × (r'i2-r'i3)/(r'i1-r'i3) (식9)
따라서 목표 음원의 로컬 좌표 절대값(ㅣφiㅣ)은 등간격으로 배치된 마이크로폰들의 사이 각도(θ)와, 음원 분리된 목표 음원에 가까운 3개의 마이크로폰에 대응하는 상관계수(r'i1 , r'i2 , r'i3)로부터 얻을 수 있다.
또한 가장 큰 상관계수에 대응하는 마이크로폰의 좌측에 두 번째로 큰 상관 계수에 대응하는 마이크로폰이 위치하면 목표 음원의 로컬 좌표(φi)의 부호가 양수이고, 가장 큰 상관계수에 대응하는 마이크로폰의 우측에 두 번째로 큰 상관 계수 에 대응하는 마이크로폰이 위치하면 목표 음원의 로컬 좌표(φi)의 부호가 음수이므로, 이를 이용하여 목표 음원의 로컬 좌표(φi)의 부호를 알 수 있다.
이를 정리하면 (식10)과 같다.
φi= sign(φi)× θ/2 × (r'i2-r'i3)/(r'i1-r'i3), 0≤ φi ≤θ/2 (식10)
여기서 sign(φi)는 목표 음원의 로컬 좌표(φi)의 부호이다. 마이크론 어레이(10)의 각 마이크로폰 좌표(ωj)는 사전에 설정되어 알 수 있다.
(식10)을 이용하여 목표 음원의 로컬 좌표(φi)를 추정하고 나서 (식7)을 이용하여 목표 음원의 글로벌 좌표(ψi)를 추정할 수 있다. 이렇게 추정된 목표 음원의 글로벌 좌표(ψi)로부터 목표 음원의 위치를 추정할 수 있다.
한편, 마이크로폰 어레이(10) 주변에 복수 음원이 존재하고 그 중 음원 추적하려는 목표 음원이 복수로 설정된 경우에도, 상술한 바와 같이 어느 하나의 목표 음원에 대해 3개의 상관 계수를 이용하여 음원 위치 추정하는 동작과 병행하여 다른 목표 음원에 대해 3개의 상관 계수를 이용하여 음원 위치 추정하는 동작을 수행할 수 있다.
후술하겠지만 음원위치 추정부(50)는 도 7에 도시한 바와 같이 직선으로 배치된 마이크로폰 어레이(10A)에 대해서 적어도 하나의 목표 음원에 대응하여 음원 의 글로벌 좌표(Di)를 추정하고, 이로부터 그 목표 음원의 위치를 추적할 수 있다.
이하 도 6을 참조하여 실시 예에 따른 다중음원 위치 추정방법을 설명한다.
원형으로 등간격 배치된 N개 마이크로폰으로 구성된 마이크로폰 어레이(10)에 음원 신호를 입력받고, 게인조절 및 신호변환부(12)가 입력된 음원 신호에 대해 게인 조절하고 샘플링하고, 그 샘플링된 N개 음원 신호()를 음원 분리부(20)와 상관계수 추정부(40)에 각각 제공한다(101).
음원 분리부(20)가 샘플링된 N개 음원 신호()를 독립적인 음원 신호로 분리하고, 음원 분리된 N개 음원 신호()를 목표음원 선택부(30)와 상관계수 추정부(40)에 각각 제공한다. 여기서 음원 분리는 인디펜던트 콤포넌트 아날리시스(independent component analysis; ICA)나 지오메트릭 소스 세퍼레이션(geometric source separation; GSS)과 같은 브라인드 소스 세퍼레이션(blind source separation; BBS) 기술을 이용한다(102).
목표음원 선택부(30)는 사전 설정된 목표 음원에 대한 신호 패턴과 음원 분리부(20)로부터 제공받은 음원 분리된 음원 신호(S)의 패턴을 매칭시키고, 그 매칭 결과에 따라 목표 음원을 알아냄으로서 입력 음원들에서 목표음원을 선택한다. 그런 다음 목표음원 선택부(30)가 선택된 목표 음원을 식별하기 위한 인덱스(id)를 만들어 음원 위치 추정부(50)에 제공한다(103).
상관계수 추정부(40)는 (식3)을 이용하여 음원 분리된 N개 음원신호(S)와 샘플링된 N개 음원 신호(X)를 크로스 코릴레이션 하여 상관 계수를 얻고, (식4)와 같 은 상관계수 매트릭스(RSX)를 생성하여 음원위치 추정부(50)에 제공한다(104).
음원위치 추정부(50)는 제공받은 인덱스(id)을 이용하여 음원 추적하려는 목표 음원을 파악하고, 해당 목표 음원에 대응하는 상관계수 매트릭스(RSX)를 구성하는 상관 계수를 크기에 따라 재배열한다. 재배열 동작은 인덱스(id)를 이용하여 파악된 목표 음원별로 독립적으로 수행한다(105).
그런 다음 음원위치 추정부(50)는 재배열된 상관 계수 중 크기가 큰 순으로 3개 상관 계수를 뽑고, 그 크기 순서에 따라 재배열된 상관계수의 번호를 차례로 부여한다. 즉 가장 큰 상관계수에 대응하여 제1마이크로폰으로 정하고, 두 번째와 세 번째 크기의 상관계수에 대응하여 제2 및 제3마이크로폰을 각각 정한다. 그런 다음 3개 상관 계수를 이용하여 (식10)에 의해 목표 음원의 로컬 좌표(φi)를 추정한다(106).
그런 다음 음원위치 추정부(50)는 추정된 목표 음원의 로컬 좌표(φi)를 이용하여 (식7)에 의해 목표 음원의 글로벌 좌표(ψi)를 추정한다. 여기서 음원 추적하려는 목표 음원이 복수로 설정된 경우에도, 상술한 바와 같이 어느 하나의 목표 음원에 대해 3개의 상관 계수를 이용하여 음원 위치 추정하는 동작과 병행하여 다른 목표 음원에 대해 3개의 상관 계수를 이용하여 음원 위치 추정하는 동작을 수행할 수 있다(107).
도 7에 도시한 바와 같이 일정 간격(d)으로 설치되고 직선으로 배치되는 복 수 마이크로폰(11)으로 마이크로폰 어레이(10A)을 구성하여 복수 목표 음원에 대해 동시에 음원 추적하는 것을 고려할 수 있다.
목표 음원의 위치에 따라 제1영역(L)과 제2영역(A)(B)으로 구분된다. 제1영역(L)에 음원 추적하려는 목표 음원이 위치하면 앞서 설명한 바와 같이 크기가 큰 3개 상관 계수를 이용하여 음원 추적할 수 있다.
마이크로폰 어레이(10A)의 양쪽인 좌측 또는 우측 일부에 해당하는 제2영역(A)(B)에 목표 음원이 위치하면 2개의 상관 계수만을 이용할 수 있다. 좌측 제2영역(A)에 목표 음원이 위치하면 가장 가까운 마이크로폰의 상관 계수(r'ia)와 그 우측 마이크로폰의 상관계수만을 이용할 수 있다. 또한 우측 제2영역(B)에 목표 음원이 위치하면 가장 가까운 마이크로폰의 상관 계수(r'ib)와 그 좌측 마이크로폰의 상관계수만을 이용할 수 있다. 즉 목표 음원과 가장 가까운 마이크로폰과 그 한쪽에 위치한 마이크로폰을 파악할 수 있으나 가장 가까운 마이크로폰의 다른 쪽에 위치한 마이크로폰이 없기 때문에, 앞서 설명한 방법으로 음원 추적하는 것이 적절하지 않다. 이 경우에는 그 목표 음원이 제2영역(A)(B) 안에 위치하는 것으로 대략적으로 위치 추적한다.
한편 제2영역(A)(B)에서 제1영역(L)으로 음원 위치가 변경되면 본래와 같이 3개 상관 계수를 이용하여 제1영역(L)에 존재하는 음원 위치를 추적하도록 한다.
이하 제1영역(L)에 목표 음원이 있는 경우를 예시적으로 설명한다.
마이크로폰 어레이(10)가 직선으로 배치된 경우 원형 배치된 경우와 같이 도 2의 장치에 하드웨어의 구성 추가 없이 구현이 가능하므로, 이하 동일 부호를 인용하여 설명한다. 또한, 마이크로폰 어레이(10), 게인조절 및 신호변환부(12), 음원 분리부(20), 목표음원 선택부(30), 상관계수 추정부(40)에 대한 동작은 실질적으로 동일하므로 간략하게 설명하고, 음원위치 추정부(50)에 중점을 두고 설명한다.
음원위치 추정부(50)는 목표음원 선택부(30)로부터 선택된 목표 음원을 식별하기 위한 인덱스(id)를 제공받고 상관계수 추정부(40)로부터 상관계수 매트릭스(RSX)를 제공받는다. 그런 다음 음원위치 추정부(50)는 매트릭스(RSX) 중 하나의 목표음원에 대해 전체 마이크로폰 간 크로스 코릴레이션 하여 얻은 상관계수에 대해 크기 순으로 재배열한다.
도 7을 참고하여, 재배열한 상관계수 중 3개 상관계수(r'i1 , r'i2 , r'i3)에 3개 마이크로폰(11-1, 11-2, 11-8)이 각각 대응되고, 가장 큰 상관계수(r'i1)에 대응하는 제1마이크로폰(11-1)의 정면 좌측에 목표 음원(si)이 위치한 경우의 예이다.
(식11)에 의해 목표 음원(si)의 글로벌 좌표(Di)를 얻는다.
Di = mj + li (식11)
여기서 mj 는 마이크로폰 어레이(10A)의 기준 위치에 대해 가장 큰 상관계수(r'i1)에 대응하는 제1마이크로폰(11-1)이 떨어진 거리를 의미하는 마이크로폰 좌표이고, li 는 가장 큰 상관계수(r'i1)에 대응하는 제1마이크로폰(11-1)에서 떨어 진 거리를 의미하는 목표 음원(si)의 로컬 좌표이다.
도 7과 같이, 목표 음원(si)이 제1마이크로폰(11-1)의 좌측에 위치하는 경우, 그 목표 음원(si)의 로컬 좌표(li)는 양수가 되고, 제1마이크로폰(11-1)를 기준으로 양측에 위치한 2개 마이크로폰(11-2)(11-3) 중 목표 음원(si)과 상대적으로 가까운 제2마이크로폰(11-2)의 상관계수(r'i2)가 제3마이크로폰(11-3)의 상관계수(r'i3) 보다 크다. 이 경우 (식11)을 이용하여 목표 음원(si)의 글로벌 좌표(Di)는 마이크로폰 좌표(mi)와 양수의 로컬 좌표(li)를 합산하여 얻는다.
목표 음원(si)이 제1마이크로폰(11-1)의 우측에 위치하는 경우, 그 목표 음원(si)의 로컬 좌표(li)는 음수가 될 것이고, 이 경우 (식11)을 이용하여 목표 음원(si)의 글로벌 좌표(Di)는 마이크로폰 좌표(mi)와 음수의 로컬 좌표(li)를 합산하여 얻게 될 것이다.
3개의 상관계수(r'i1 , r'i2 , r'i3)와 목표 음원의 로컬 좌표(ㅣi) 사이에 (식12)와 같은 관계가 있다.
r'i2 =r'i3 , if ㅣliㅣ=0
r'i2 =r'i1 , if ㅣliㅣ=d/2
li= sign(li)× d/2 × (r'i2-r'i3)/(r'i1-r'i3), 0≤ li ≤d/2 (식12)
여기서 sign(li)는 목표 음원의 로컬 좌표(li)의 부호이다. 마이크론 어레이(10A)의 각 마이크로폰 좌표(mj)는 사전에 설정되므로 이를 파악할 수 있다.
(식12)을 이용하여 목표 음원의 로컬 좌표(li)를 추정하고 나서 (식11)을 이용하여 목표 음원의 글로벌 좌표(Di)를 추정할 수 있다. 이렇게 추정된 목표 음원의 글로벌 좌표(Di)로부터 목표 음원의 위치를 추정할 수 있다.
한편, 마이크로폰 어레이(10A) 주변에 복수 음원이 존재하고 그 중 음원 추적하려는 목표 음원이 복수로 설정된 경우에도, 상술한 바와 같이 어느 하나의 목표 음원에 대해 3개의 상관 계수를 이용하여 음원 위치 추정하는 동작과 병행하여 다른 목표 음원에 대해 3개의 상관 계수를 이용하여 음원 위치 추정하는 동작을 수행할 수 있다.
이하 도 8을 참조하여 실시 예에 따른 다중음원 위치 추정방법을 설명한다.
직선으로 등간격 배치된 N개 마이크로폰으로 구성된 마이크로폰 어레이(10A)에 음원 신호를 입력받고, 게인조절 및 신호변환부(12)가 입력된 음원 신호에 대해 게인 조절하고 샘플링하고, 그 샘플링된 N개 음원 신호()를 음원 분리부(20)와 상관계수 추정부(40)에 각각 제공한다(201).
음원 분리부(20)가 샘플링된 N개 음원 신호()를 독립적인 음원 신호로 분리하고, 음원 분리된 N개 음원 신호()를 목표음원 선택부(30)와 상관계수 추정부(40)에 각각 제공한다. 여기서 음원 분리는 인디펜던트 콤포넌트 아날리시 스(independent component analysis; ICA)나 지오메트릭 소스 세퍼레이션(geometric source separation; GSS)과 같은 브라인드 소스 세퍼레이션(blind source separation; BBS) 기술을 이용한다(202).
목표음원 선택부(30)는 사전 설정된 목표 음원에 대한 신호 패턴과 음원 분리부(20)로부터 제공받은 음원 분리된 음원 신호(S)의 패턴을 매칭시키고, 그 매칭 결과에 따라 목표 음원을 알아냄으로서 입력 음원들에서 목표음원을 선택한다. 그런 다음 목표음원 선택부(30)가 선택된 목표 음원을 식별하기 위한 인덱스(id)를 만들어 음원 위치 추정부(50)에 제공한다(203).
상관계수 추정부(40)는 (식3)을 이용하여 음원 분리된 N개 음원신호(S)와 샘플링된 N개 음원 신호(X)를 크로스 코릴레이션 하여 상관 계수를 얻고, (식4)와 같은 상관계수 매트릭스(RSX)를 생성하여 음원위치 추정부(50)에 제공한다(204).
음원위치 추정부(50)는 제공받은 인덱스(id)을 이용하여 음원 추적하려는 목표 음원을 파악하고, 해당 목표 음원에 대응하는 상관계수 매트릭스(RSX)를 구성하는 상관 계수를 크기에 따라 재배열한다. 재배열 동작은 인덱스(id)를 이용하여 파악된 목표 음원별로 독립적으로 수행한다(205).
그런 다음 음원위치 추정부(50)는 재배열된 상관 계수 중 크기가 큰 순으로 3개 상관 계수를 뽑고, 그 크기 순서에 따라 재배열된 상관계수의 번호를 차례로 부여한다. 즉 가장 큰 상관계수에 대응하여 제1마이크로폰으로 정하고, 두 번째와 세 번째 크기의 상관계수에 대응하여 제2 및 제3마이크로폰을 각각 정한다. 그런 다음 3개 상관 계수를 이용하여 (식12)에 의해 목표 음원의 로컬 좌표(li)를 추정한다(206).
그런 다음 음원위치 추정부(50)는 추정된 목표 음원의 로컬 좌표(li)를 이용하여 (식11)에 의해 목표 음원의 글로벌 좌표(Di)를 추정한다. 여기서 음원 추적하려는 목표 음원이 복수로 설정된 경우에도, 상술한 바와 같이 어느 하나의 목표 음원에 대해 3개의 상관 계수를 이용하여 음원 위치 추정하는 동작과 병행하여 다른 목표 음원에 대해 3개의 상관 계수를 이용하여 음원 위치 추정하는 동작을 수행할 수 있다. 또한 제1영역(L)의 좌측 또는 우측 일부에 해당하는 제2영역(A)(B)에 음원 추적하려는 목표 음원이 위치하면 앞서 설명한 방법으로 음원 추적하는 것이 적절하지 않으므로, 이 경우에는 그 목표 음원이 제2영역(A)(B) 안에 위치하는 것으로 대략적으로 위치 추적한다(207).
도 1은 본 발명의 실시 예에 따른 원형의 마이크로폰 어레이 주변에 다수 음원이 위치한 경우의 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 다중 음원 위치 추적 장치의 블록도이다.
도 3 및 도 4는 본 발명의 실시 예에 따른 목표 음원의 음원 위치를 추적하는 것으로, 로컬 좌표가 양수 또는 음수인 각각의 경우의 예이다.
도 5는 본 발명의 실시 예에 따른 로컬 좌표를 설명하기 위한 그래프이다.
도 6은 본 발명의 실시 예에 따른 다중음원 위치 추정방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 직선으로 배치한 마이크로폰 어레이를 이용하여 다중 음원의 위치 추정하는 것을 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 다중음원 위치 추정방법을 설명하기 위한 흐름도이다.
*도면의 주요부분에 대한 부호 설명*
1 : 다중음원 위치 추적장치
10 : 마이크로폰 어레이
20 : 음원 분리부
30 : 목표음원 선택부
40 : 상관계수 추정부
50 : 음원위치 추정부

Claims (23)

  1. 복수 음원의 음원 신호를 입력받는 마이크로폰 어레이;
    상기 마이크로폰 어레이에 입력된 음원 신호를 독립적인 음원 신호로 분리하는 음원 분리부;
    상기 음원 분리된 음원 신호의 패턴을 분석하여 음원 추적하기 위한 목표 음원을 선택하는 목표 음원 선택부;
    상기 마이크로폰 어레이에 입력된 음원 신호와 상기 음원 분리된 음원 신호 사이의 상관 계수를 추정하고, 추정된 상관 계수로 상관계수 매트릭스를 생성하는 상관계수 추정부;
    상기 추정된 상관 계수를 이용하여 상기 선택된 목표 음원의 음원 위치를 추정하는 음원위치 추정부; 를 포함하는 다중음원 위치 추적장치.
  2. 제1항에 있어서,
    상기 음원 분리부는 브라인드 소스 세퍼레이션(blind source separation; BBS) 기술을 이용하여 음원 분리하는 다중음원 위치 추적장치.
  3. 제2항에 있어서,
    상기 브라인드 소스 세퍼레이션 기술은 인디펜던트 콤포넌트 아날리시스(independent component analysis; ICA)와 지오메트릭 소스 세퍼레이션(geometric source separation; GSS) 중 어느 하나인 다중음원 위치 추적장치.
  4. 제1항에 있어서,
    상기 목표음원 선택부는 음원 분리된 음원 신호의 패턴과 사전 설정된 목표 음원의 신호 패턴을 매칭하여 목표 음원을 선택하는 다중음원 위치 추적장치.
  5. 제4항에 있어서,
    상기 목표음원 선택부는 선택된 목표 음원을 식별하기 위한 인덱스를 생성하는 다중음원 위치 추적장치.
  6. 제1항에 있어서,
    상기 상관계수 추정부는 상기 마이크로폰 어레이에 입력된 음원 신호와 상기 음원 분리된 음원 신호를 크로스 코릴레이션 하여 상관 계수를 얻는 다중음원 위치 추적장치.
  7. 제1항에 있어서,
    상기 음원위치 추정부는 위치 추적하려는 목표 음원이 복수이면, 복수 목표 음원에 대해 동시에 위치 추적하는 다중음원 위치 추적장치.
  8. 제1항에 있어서,
    상기 음원위치 추정부는 어느 하나의 목표 음원에 대해 전체 상관 계수를 크기에 따라 재배열하고, 재배열된 설정 개수의 상관 계수를 이용하여 추정한 목표 음원의 글로벌 좌표로 목표 음원의 위치를 추적하는 다중음원 위치 추적장치.
  9. 제1항에 있어서,
    상기 마이크로폰 어레이가 원형의 등간격으로 배치된 복수 마이크로폰을 포함하고, 상기 음원위치 추정부는 (식7)을 이용하여 i번째 목표 음원의 글로벌 좌표(ψi)를 추정하는 다중음원 위치 추적장치.
    ψi = ωj + φi (식7)
    여기서, ωj는 마이크로폰 어레이의 기준 위치에 대해 가장 큰 상관 계수에 대응하는 j번째 마이크로폰의 글로벌 좌표이고, φi는 j번째 마이크로폰에 대한 i번째 목표 음원의 로컬 좌표이며, ψi는 마이크로폰 어레이의 기준 위치에 대한 i번째 목표 음원의 상대적인 각도이고, 상기 j번째 마이크로폰의 글로벌 좌표(ωj)는 상기 마이크로폰 어레이의 기준 위치에 대해 가장 큰 상관 계수에 대응하는 j번째 마이크로폰의 상대적인 각도이고, 상기 i번째 목표 음원의 로컬 좌표(φi)는 가장 큰 상관계수에 대응하는 마이크로폰에 대해 상대적인 i번째 목표 음원의 각도이다.
  10. 제9항에 있어서,
    상기 i번째 목표 음원의 로컬 좌표는 (식10)을 이용하여 추정하는 다중음원 위치 추적장치.
    φi= sign(φi)× θ/2 × (r'i2-r'i3)/(r'i1-r'i3), 0≤ φi ≤θ/2 (식10)
    여기서 sign(φi)는 i번째 목표 음원의 로컬 좌표(φi)의 부호이고, r'i1는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 가장 큰 상관 계수이고, r'i2는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 두 번째로 큰 상관 계수이고, r'i3는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 세 번째로 큰 상관 계수이다.
  11. 제10항에 있어서,
    상기 i번째 목표 음원의 로컬 좌표(φi)는 가장 큰 상관 계수(r'i1)에 대응하는 마이크로폰에 대해 글로벌 좌표(ψi)와 같은 방향에 목표 음원이 위치하면 양수이고, 가장 큰 상관 계수(r'i1)에 대응하는 마이크로폰에 대해 글로벌 좌표(ψi)와 반대 방향에 목표 음원이 위치하면 음수가 되는 다중음원 위치 추적장치.
  12. 제11항에 있어서,
    상기 i번째 목표 음원의 로컬 좌표(φi)의 절대값은 (식8)의 관계에 따른 상관계수(r'i2)의 선형 함수로 정의되는 다중음원 위치 추적장치.
    r'i2 =r'i3 , if ㅣφiㅣ=0
    r'i2 =r'i1 , if ㅣφiㅣ=θ/2 (식8)
    여기서 θ는 등간격으로 배치된 마이크로폰들의 사이 각도이다.
  13. 제1항에 있어서,
    상기 마이크로폰 어레이가 직선의 등간격으로 배치된 복수 마이크로폰을 포함하고,
    상기 음원위치 추정부는 (식11)을 이용하여 i번째 목표 음원의 글로벌 좌표(Di)를 추정하는 다중음원 위치 추적장치.
    Di = mj + li (식11)
    여기서 mj 는 마이크로폰 어레이의 기준위치에 대해 가장 큰 상관 계수에 대응하는 j번째 마이크로폰의 글로벌 좌표이고, li는 j번째 마이크로폰에 대한 i번째 목표 음원의 로컬 좌표이며, Di는 마이크로폰 어레이의 기준 위치에 대한 i번째 목표 음원이 떨어진 거리이고, 상기 j번째 마이크로폰의 글로벌 좌표(mj)는 마이크로폰 어레이의 기준 위치에 대해 가장 큰 상관계수에 대응하는 j번째 마이크로폰이 떨어진 거리를 의미하고, 상기 i번째 목표 음원의 로컬 좌표(li)는 i번째 목표 음원이 가장 큰 상관계수에 대응하는 마이크로폰에서 떨어진 거리를 의미한다.
  14. 제13항에 있어서,
    상기 i번째 목표 음원의 로컬 좌표는 (식12)을 이용하여 추정하는 다중음원 위치 추적장치.
    li= sign(li)× d/2 × (r'i2-r'i3)/(r'i1-r'i3), 0≤ li ≤d/2 (식12)
    여기서 sign(li)는 i번째 목표 음원의 로컬 좌표(li)의 부호이고, r'i1는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 가장 큰 상관 계수이고, r'i2는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 두 번째로 큰 상관 계수이고, r'i3는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 세 번째로 큰 상관 계수이다.
  15. 제14항에 있어서,
    상기 상기 i번째 목표 음원의 로컬 좌표(li)는 가장 큰 상관 계수(r'i1)에 대응하는 마이크로폰에 대해 글로벌 좌표(Di)와 같은 방향에 목표 음원이 위치하면 양수이고, 가장 큰 상관 계수(r'i1)에 대응하는 마이크로폰에 대해 글로벌 좌표(Di)와 반대 방향에 우측에 목표 음원이 위치하면 음수가 되는 다중음원 위치 추적장치.
  16. 제13항에 있어서,
    상기 음원위치 추정부는 상기 마이크로폰 어레이의 양쪽인 좌측 또는 우측에 목표 음원이 위치하면 목표 음원이 좌측과 우측 중 어느 한쪽에 위치하는 것으로 대략적으로 위치 추정하는 다중음원 위치 추적장치.
  17. 마이크로폰 어레이에 입력된 음원 신호에서 독립적인 음원 신호를 분리하고;
    상기 음원 분리된 음원 신호의 패턴을 분석하여 음원 추적하기 위한 목표 음원을 선택하며;
    상기 음원 분리된 음원 신호와 상기 마이크로폰 어레이에 입력된 음원 신호 사이의 상관 계수를 추정하고, 추정된 상관 계수로 상관계수 매트릭스를 생성하고;
    상기 추정된 상관 계수를 이용하여 상기 선택된 목표 음원의 음원 위치를 추정하는 것을 포함하는 다중음원 위치 추적 방법.
  18. 제17항에 있어서,
    상기 음원 신호의 분리는 인디펜던트 콤포넌트 아날리시스(independent component analysis; ICA)와 지오메트릭 소스 세퍼레이션(geometric source separation; GSS) 중 어느 하나를 이용하는 다중음원 위치 추적방법.
  19. 제17항에 있어서,
    상기 목표 음원의 선택은 음원 분리된 음원 신호의 패턴과 사전 설정된 목표 음원의 신호 패턴을 매칭하여 목표 음원을 선택하는 다중음원 위치 추적방법.
  20. 제17항에 있어서,
    상기 상관계수의 추정은 상기 마이크로폰 어레이에 입력된 음원 신호와 상기 음원 분리된 음원 신호를 크로스 코릴레이션 하여 상관 계수를 얻는 다중음원 위치 추적방법.
  21. 제17항에 있어서,
    상기 음원위치의 추정은 어느 하나의 목표 음원에 대해 전체 상관 계수를 크기에 따라 재배열하고, 재배열된 설정 개수의 상관 계수를 이용하여 추정한 목표 음원의 글로벌 좌표로 목표 음원의 위치를 추적하는 다중음원 위치 추적방법.
  22. 제17항에 있어서,
    상기 마이크로폰 어레이가 원형의 등간격으로 배치된 복수 마이크로폰을 포함하는 경우,
    (식7)과 (식10)을 이용하여 i번째 목표 음원의 글로벌 좌표(ψi)과 i번째 목표 음원의 로컬 좌표(φi)를 각각 추정하는 다중음원 위치 추적방법.
    ψi = ωj + φi (식7)
    φi= sign(φi)× θ/2 × (r'i2-r'i3)/(r'i1-r'i3), 0≤ φi ≤θ/2 (식10)
    여기서, ωj는 마이크로폰 어레이의 기준 위치에 대해 가장 큰 상관 계수에 대응하는 j번째 마이크로폰의 글로벌 좌표이고, φi는 j번째 마이크로폰에 대한 i번째 목표 음원의 로컬 좌표이며, ψi는 마이크로폰 어레이의 기준 위치에 대한 i번째 목표 음원의 상대적인 각도이고, sign(φi)는 i번째 목표 음원의 로컬 좌표(φi)의 부호이고, r'i1는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 가장 큰 상관 계수이고, r'i2는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 두 번째로 큰 상관 계수이고, r'i3는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 세 번째로 큰 상관 계수이다.
  23. 제17항에 있어서,
    상기 마이크로폰 어레이가 직선의 등간격으로 배치된 복수 마이크로폰을 포함하는 경우,
    (식11)과 (식12)를 이용하여 i번째 목표 음원의 글로벌 좌표(Di)와 i번째 목 표 음원의 로컬 좌표(li)를 각각 추정하는 다중음원 위치 추적방법.
    Di = mj + li (식11)
    li= sign(li)× d/2 × (r'i2-r'i3)/(r'i1-r'i3), 0≤ li ≤d/2 (식12)
    여기서 mj 는 마이크로폰 어레이의 기준위치에 대해 가장 큰 상관 계수에 대응하는 j번째 마이크로폰의 글로벌 좌표이고, li는 j번째 마이크로폰에 대한 i번째 목표 음원의 로컬 좌표이며, Di는 마이크로폰 어레이의 기준 위치에 대한 i번째 목표 음원이 떨어진 거리이고, sign(li)는 i번째 목표 음원의 로컬 좌표(li)의 부호이고, r'i1는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 가장 큰 상관 계수이고, r'i2는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 두 번째로 큰 상관 계수이고, r'i3는 i번째 목표 음원에 대해 크기에 따라 재배열한 상관 계수 중 세 번째로 큰 상관 계수이다.
KR1020090104665A 2009-10-30 2009-10-30 다중음원 위치 추적장치 및 그 방법 KR101612704B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090104665A KR101612704B1 (ko) 2009-10-30 2009-10-30 다중음원 위치 추적장치 및 그 방법
US12/911,836 US8773952B2 (en) 2009-10-30 2010-10-26 Apparatus and method to track positions of multiple sound sources

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090104665A KR101612704B1 (ko) 2009-10-30 2009-10-30 다중음원 위치 추적장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110047870A true KR20110047870A (ko) 2011-05-09
KR101612704B1 KR101612704B1 (ko) 2016-04-18

Family

ID=43925315

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090104665A KR101612704B1 (ko) 2009-10-30 2009-10-30 다중음원 위치 추적장치 및 그 방법

Country Status (2)

Country Link
US (1) US8773952B2 (ko)
KR (1) KR101612704B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384510A (zh) * 2016-10-11 2017-02-08 擎翌(上海)智能科技有限公司 一种违法鸣笛抓拍系统
US10750281B2 (en) 2018-12-03 2020-08-18 Samsung Electronics Co., Ltd. Sound source separation apparatus and sound source separation method
KR20230144428A (ko) 2022-04-07 2023-10-16 주식회사 동부코리아통신 Ｃｃｔｖ용 음원위치추적 관리 알고리즘

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013064860A1 (en) * 2011-10-31 2013-05-10 Nokia Corporation Audio scene rendering by aligning series of time-varying feature data
JP5862679B2 (ja) * 2011-11-24 2016-02-16 トヨタ自動車株式会社 音源検出装置
US9307335B2 (en) * 2012-07-31 2016-04-05 Japan Science And Technology Agency Device for estimating placement of physical objects
CN102901949B (zh) * 2012-10-13 2014-04-16 天津大学 一种二维空间分布式声音相对定位方法及装置
JP2014143678A (ja) * 2012-12-27 2014-08-07 Panasonic Corp 音声処理システム及び音声処理方法
US10102850B1 (en) * 2013-02-25 2018-10-16 Amazon Technologies, Inc. Direction based end-pointing for speech recognition
RU2635286C2 (ru) * 2013-03-19 2017-11-09 Конинклейке Филипс Н.В. Способ и устройство для определения позиции микрофона
US9466296B2 (en) * 2013-12-16 2016-10-11 Intel Corporation Initiation of action upon recognition of a partial voice command
CN103852156B (zh) * 2014-03-28 2016-08-17 南京理工大学 一种基于传声器阵列的环境噪声方位分布测量装置
US11943838B2 (en) 2014-05-21 2024-03-26 Pismo Labs Technology Limited Using a plurality of SIM cards at an electronic device
CN110177367B (zh) * 2014-05-21 2021-12-07 柏思科技有限公司 无线通信装置处多个sim卡的使用
US9800973B1 (en) * 2016-05-10 2017-10-24 X Development Llc Sound source estimation based on simulated sound sensor array responses
GB2557219A (en) * 2016-11-30 2018-06-20 Nokia Technologies Oy Distributed audio capture and mixing controlling
CN107300689A (zh) * 2017-06-28 2017-10-27 南京理工大学 一种低空无人飞行器声源方位探测系统
CN109342998B (zh) * 2018-12-06 2020-06-09 吉林大学 一种基于仿生学的位置指纹室内定位系统及方法
CN110068797B (zh) * 2019-04-23 2021-02-02 浙江大华技术股份有限公司 一种校准麦克风阵列的方法、声源定位方法及相关设备
US11565426B2 (en) * 2019-07-19 2023-01-31 Lg Electronics Inc. Movable robot and method for tracking position of speaker by movable robot
US11622258B2 (en) 2020-05-18 2023-04-04 Pismo Labs Technology Limited Method and system for providing communication services using a plurality of remote subscriber identity modules
TWI785511B (zh) * 2021-02-26 2022-12-01 圓展科技股份有限公司 應用於視訊傳輸的目標追蹤方法
CN113126028B (zh) * 2021-04-13 2022-09-02 上海盈蓓德智能科技有限公司 一种基于多个麦克风阵列的噪声源定位方法
CN114355292B (zh) * 2021-12-28 2022-09-23 华南理工大学 一种无线耳机及其麦克风定位方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6898612B1 (en) 1998-11-12 2005-05-24 Sarnoff Corporation Method and system for on-line blind source separation
US6879952B2 (en) * 2000-04-26 2005-04-12 Microsoft Corporation Sound source separation using convolutional mixing and a priori sound source knowledge
US7613310B2 (en) * 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
DE602004027774D1 (de) 2003-09-02 2010-07-29 Nippon Telegraph & Telephone Signaltrennverfahren, Signaltrenneinrichtung,und Signaltrennprogramm
US20060245601A1 (en) 2005-04-27 2006-11-02 Francois Michaud Robust localization and tracking of simultaneously moving sound sources using beamforming and particle filtering
WO2007018293A1 (ja) * 2005-08-11 2007-02-15 Asahi Kasei Kabushiki Kaisha 音源分離装置、音声認識装置、携帯電話機、音源分離方法、及び、プログラム
JP5195652B2 (ja) 2008-06-11 2013-05-08 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384510A (zh) * 2016-10-11 2017-02-08 擎翌(上海)智能科技有限公司 一种违法鸣笛抓拍系统
CN106384510B (zh) * 2016-10-11 2019-10-08 擎翌(上海)智能科技有限公司 一种违法鸣笛抓拍系统
US10750281B2 (en) 2018-12-03 2020-08-18 Samsung Electronics Co., Ltd. Sound source separation apparatus and sound source separation method
KR20230144428A (ko) 2022-04-07 2023-10-16 주식회사 동부코리아통신 Ｃｃｔｖ용 음원위치추적 관리 알고리즘

Also Published As

Publication number Publication date
US8773952B2 (en) 2014-07-08
KR101612704B1 (ko) 2016-04-18
US20110103191A1 (en) 2011-05-05

Similar Documents

Publication Publication Date Title
KR20110047870A (ko) 다중음원 위치 추적장치 및 그 방법
JP5452158B2 (ja) 音響監視システム、及び音声集音システム
CN108370471A (zh) 分布式音频捕获和混合
JP5231139B2 (ja) 音源抽出装置
CN111445920B (zh) 一种多声源的语音信号实时分离方法、装置和拾音器
EP3549354A2 (en) Distributed audio capture and mixing controlling
KR20090051614A (ko) 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치
WO2006137732A1 (en) System and method for extracting acoustic signals from signals emitted by a plurality of sources
EP2519831A1 (en) Method and system for determining the direction between a detection point and an acoustic source
GB2563670A (en) Sound source distance estimation
Seewald et al. Combining srp-phat and two kinects for 3d sound source localization
KR20090128221A (ko) 음원 위치 추정 방법 및 그 방법에 따른 시스템
CN112363112B (zh) 一种基于线性麦克风阵列的声源定位方法及装置
Klein et al. Direction-of-arrival estimation using a microphone array with the multichannel cross-correlation method
US11823698B2 (en) Audio cropping
Nakano et al. Automatic estimation of position and orientation of an acoustic source by a microphone array network
ÇATALBAŞ et al. 3D moving sound source localization via conventional microphones
Deadman et al. Simulating Realistically-Spatialised Simultaneous Speech Using Video-Driven Speaker Detection and the CHiME-5 Dataset.
JP2002062900A (ja) 収音装置及び受信装置
CN111157949A (zh) 一种语音识别及声源定位方法
Pasha et al. Forming ad-hoc microphone arrays through clustering of acoustic room impulse responses
KR20200036820A (ko) 레이더 기반 음성 인식 서비스 장치 및 방법
Suzuki et al. Influence of different impulse response measurement signals on music-based sound source localization
CN111383655B (zh) 一种波束形成方法、装置及计算机可读存储介质
KR20200036203A (ko) 레이더 기반 음성 인식 서비스 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee