KR20100052177A - 도착시간지연 특성행렬을 이용한 음원 위치 측정 장치 및 음원 위치 측정 방법 - Google Patents

도착시간지연 특성행렬을 이용한 음원 위치 측정 장치 및 음원 위치 측정 방법 Download PDF

Info

Publication number
KR20100052177A
KR20100052177A KR1020080111081A KR20080111081A KR20100052177A KR 20100052177 A KR20100052177 A KR 20100052177A KR 1020080111081 A KR1020080111081 A KR 1020080111081A KR 20080111081 A KR20080111081 A KR 20080111081A KR 20100052177 A KR20100052177 A KR 20100052177A
Authority
KR
South Korea
Prior art keywords
time delay
arrival time
characteristic matrix
sound source
microphone
Prior art date
Application number
KR1020080111081A
Other languages
English (en)
Other versions
KR101022309B1 (ko
Inventor
김진성
유범재
김도익
김의현
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020080111081A priority Critical patent/KR101022309B1/ko
Publication of KR20100052177A publication Critical patent/KR20100052177A/ko
Application granted granted Critical
Publication of KR101022309B1 publication Critical patent/KR101022309B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Optimization (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은 도착시간지연 특성행렬을 이용하여, 측정된 도착시간지연 값에 대한 화자의 방위값 및 고각을 추출함으로써, 간단하면서도 공간상의 음원 위치 측정 성능을 높일 수 있는 음원 위치 측정 방법 및 장치를 제공한다.
본 발명은 상기 도착시간지연 특성행렬에 마이크로폰 별 가중치를 부여하여, 마이크로폰의 고장 또는 성능 저하 상황 등의 비정상 상황에 대하여 능동적으로 대처하여 공간상의 음원 위치를 측정하는 음원 위치 측정 방법 및 장치를 제공한다.
음원 위치 측정, 도착시간지연 특성행렬, 가중치 특성행렬

Description

도착시간지연 특성행렬을 이용한 음원 위치 측정 장치 및 음원 위치 측정 방법{A localization device and a localization method for sound source using a time delay of arrival-based feature matrix}
본 발명은 음원 위치 측정 장치 및 음원 위치 측정 방법에 관한 것으로, 특히 도착시간지연 특성 행렬을 이용하여 음원 위치를 측정하고, 마이크로폰의 고장 또는 성능 저하 시에 도착시간지연 특성 행렬에 가중치를 부여하여 음원 위치를 측정하는 방법 및 장치에 관한 것이다.
과학기술의 발전과 더불어 인간의 삶이 풍요로워 짐에 따라, 인간의 삶의 질 향상에 관련된 시스템의 연구가 다양하게 이루어지고 있다. 오래전부터 개발되었고 계속 개선되고 있는 텔레비전, 냉장고 등의 가전기기를 포함하여, 현대의 휴대폰, 산업 및 서비스 로봇 등 매우 다양한 시스템이 우리의 삶 속에 깊이 자리 잡고 있다.
이러한 다양한 기기들을 보다 더 편리하게 이용하기 위해서는 인간과 기기들의 상호 작용의 방법이 다양하게 개발되어야 한다. 인간의 음성을 이용하여 기기들을 제어할 수 있으면, 보다 더 편리하게 할 수 있다.
인간의 음성을 이용하여 기기들과의 상호 작용을 하기 위해서는 화자 즉 음원의 위치를 측정하는 것이 필수적이다.
음원의 위치측정(SoundSource Localization)이란, 음원에서 발생하는 음파를 마이크로폰으로 측정하고, 측정된 신호를 이용하여 음원의 거리, 고도와 방위각을 측정해 내는 것으로 정의된다.
종래 음원의 위치를 측정하는 방법의 일예는 시스템이 간단한 반면 공간상의 위치측정 능력이 떨어지고 많은 수의 마이크로폰을 필요로 하기 때문에 효율적이지 못하거나, 또 다른 일예는 음원의 위치를 계산하기 위하여 비선형 수식을 풀어야 하기 때문에 정확한 음원 위치를 추정하기가 어렵고, 따라서 좀 더 많은 수의 도착시간지연추정치를 이용하게 되며 응답 속도가 느리게 된다.
또한 종래의 음원 위치 측정 장치는 시스템의 비정상 상태가 전개되었을 때, 마이크로폰의 고장과 성능저하를 고려하여 능동적으로 대처하는 공간상의 음원 위치 측정 시스템은 논의되지 못하고 있다.
본 발명은 상기와 같은 종래의 음원 위치 측정 장치의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 시스템은 간단하면서도 공간상의 음원 위치 측정 성능을 높일 수 있는 음원 위치 측정 방법 및 장치를 제공하는 것이다.
또한 본 발명은 음성 기반 상호 작용을 위하여 공간상의 음원 위치 측정 시스템 동작 중에 발생되는, 음원 위치에 따른 성능저하 마이크로폰 및 임의의 고장 마이크로폰에 대하여 능동적으로 대처하여 공간상의 음원 위치를 측정하는 시스템을 제공하는데 목적이 있다.
상기 목적을 달성하기 위하여, 본 발명은 도착시간지연 특성행렬을 이용하여, 측정된 도착시간지연 값에 대한 화자의 방위값 및 고각을 추출함으로써, 간단하면서도 공간상의 음원 위치 측정 성능을 높일 수 있는 음원 위치 측정 방법 및 장치를 제공한다.
본 발명의 다른 실시 형태에 의하면, 본 발명은 상기 도착시간지연 특성행렬에 마이크로폰 별 가중치를 부여하여, 마이크로폰의 고장 또는 성능 저하 상황 등의 비정상 상황에 대하여 능동적으로 대처하여 공간상의 음원 위치를 측정하는 음원 위치 측정 방법 및 장치를 제공한다.
여기서 도착시간지연 특성행렬이라 함은 마이크로폰 각각에 대한 음파의 도착시간지연 값을 성분으로하는 행렬 형태의 데이터베이스를 의미하고, 마이크로폰 가중행렬이라 함은 고장 및 저효율 마이크로폰에 대응하기 위하여 마이크로폰의 가중치를 성분으로하는 특성행렬을 의미한다.
상기에서 설명한 본 발명에 따른 음원 위치 측정 방법 및 음원 위치 측정 장치의 효과를 설명하면 다음과 같다.
본 발명에 의하면 도착시간지연 특성행렬을 이용하여 화자의 위치를 측정하면, 측정된 도착시간지연 값으로 방위각 및 고각을 검출할 때마다 비선형 방정식을 이용하지 않고 기 저장된 도착시간지연 특성행렬을 이용하여 방위각 및 고각을 검출할 수 있어, 시스템이 간단해지고 응답 속도가 빨라지는 장점이 있다.
또한 본 발명에 의하면 도착시간지연 특성행렬에 마이크로폰 별 가중치를 부여하여, 마이크로폰의 고장 또는 성능 저하 상황 등의 비정상 상황에 대하여 능동적으로 대처하여 공간상의 음원 위치를 측정할 수 있다.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
도 1은 본 발명의 실시예에 따른 음원 위치 측정 방법의 순서도를 나타낸다.
도 1을 참조하면, 음원 위치 측정 방법은 복수의 마이크로폰 배열에 대하여 기 측정된 도착시간지연의 값들로 구성된 행렬 형태의 데이터베이스인 도착시간지연 특성행렬이 저장되는 단계(S11), 복수의 마이크로폰으로 음성 신호가 입력되는 단계(S12), 상기 복수의 마이크로폰으로 입력된 음성 신호의 도착시간지연을 측정하는 단계(S13) 및 도착시간지연 특성 행렬을 이용하여, 상기 측정된 도착시간지연에 대한 상기 입력된 음성 신호의 화자의 방위각 및 고각을 추출하여(S14) 음원 위치를 측정하는 단계(S15)를 포함한다.
마이크로폰으로 음성 신호를 입력받아 화자의 위치를 측정할 때, 도착시간 지연 특성행렬을 이용하는 것이 본 발명의 실시예의 일 특징이다. 도착시간지연 특성행렬이란, 임의의 위치에서 발생된 입력신호에 대하여, 목적에 맞게 배열된 마이크로폰 쌍마다 발생한 도착시간지연 값을 성분으로 구성된 행렬로써 일종의 데이터베이스를 의미한다. 본 발명에 의한 도착시간지연 특성행렬을 이용하여 화자의 위치를 측정하면, 측정된 도착시간지연 값으로 방위각 및 고각을 검출할 때마다 비선형 방정식을 이용하지 않고 기 저장된 도착시간지연 특성행렬을 이용하여 방위각 및 고각을 검출할 수 있어, 시스템이 간단해지고 응답 속도가 빨라지는 장점이 있다.
도 2는 본 발명에서 음원의 위치 측정을 위하여, 탐지하는 방위각(θ1) 및 고각(θ2)을 나타낸다.
마이크1(mic1) 및 마이크2(mic2)와 음원과 이루는 수평 각도를 방위각(θ1)이라고 하며, 수직 각도를 고각(θ2)이라고 한다.
즉, 마이크1(mic1) 및 마이크2(mic2) 사이의 소정 기준선과 음원에서 마이크1(mic1) 및 마이크2(mic2)이 이루는 평면으로 내린 지점이 이루는 각도를 방위각이라고 하며, 마이크1(mic1) 및 마이크2(mic2)이 이루는 수평면과 음원이 이루는 각도를 고각이라고 할 수 있다.
예를 들면, 로봇에 마이크1(mic1) 및 마이크2(mic2)이 부착되어 있고, 음원에서 음성 신호가 발생하여 입력될 때, 음원을 향하여 로봇이 바라보도록 하고자 한다면, 정면을 기준선으로 하여 음원을 향하여 수평 방향으로 고개를 돌리는 각도가 방위각이라 할 수 있고, 기준 수평면에서 음원을 향하여 올려다 보거나 내려다 보는 각도가 고각이라고 할 수 있다.
먼저 복수의 마이크로폰에 대하여 음원으로부터의 도착시간지연에 대한 방위각의 특성행렬 및 고각의 특성행렬을 생성하여, 음원 위치 시스템에 기 저장한다(S11).
도착시간지연 특성행렬(a time delay of arrival(TDOA)-based feature matrix)은 마이크로폰과 음원과의 관계에서, 모든 방위각의 위치의 음원에서 발생된 음성 신호가 각각의 마이크로폰에 도착할 때 발생되는 마이크로폰 사이의 도착시간지연(TDOA)을 데이터베이스화한 것을 행과 열의 행렬 형태로 데이터베이스화한 것을 의미한다.
도착시간지연은 각각의 마이크와 음원의 거리에서 속력을 나눈 값으로 계산할 수 있다.
도 3은 본 발명에 따른 도착시간지연 특성행렬의 일실시예를 도시한다. 도 3 은 방위각에 대한 도착시간지연 특성행렬이거나, 고각에 대한 도착시간지연 특성행렬일 수 있다.
도착시간지연 특성행렬은 방위각과 고각에 대한 것으로 두 종류가 있다. 도 3은 방위각에 대한 특성행렬을 도시한다. 특성행렬의 행의 순서는 방위각 또는 고각 순서를 나타내고, 열은 방위각 검지 또는 고각 검지에 적합한 선택된 마이크로폰 쌍의 순서를 의미한다. 도착시간지연 특성행렬의 행은 음원의 방위각 또는 고각을 의미하고, 열은 방위각 또는 고각 구분에 적절하게 지정된 마이크로폰 쌍의 순서를 의미한다. 도착시간지연 특성행렬의 각 성분은 각 방위각 또는 고각에 대한 해당 마이크로폰 쌍의 도착시간지연값을 나타낸다. 이는 실시예에 불과하며, 행과 열을 변환하여 행렬을 구성할 수 있음은 물론이다.
예를 들면, 도 3의 2행2열의 734usec 값은 방위각 20도의 위치의 음원에서 음성 신호가 발생되었을때 마이크로폰 4번과 2번에서 측정될 수 있는 도착시간지연의 예상값을 의미한다.
특성행렬의 열에 해당하는 마이크로폰의 쌍은 어떻게 정해지는지 살펴본다. 음원의 위치 측정이 목적이 방위각 검지인지 고각 검지인지에 따라 적합한 마이크로폰을 선택한다면, 특성행렬을 이용하여 음원의 위치측정을 실행할 수 있다. 방위각 검지에 대한 도착시간지연 특성행렬의 경우를 살펴보면, 방위각 검지가 목적이기 때문에 음원의 거리와 고각에는 도착시간지연의 변화가 적고, 방위각에 따라 민감하게 변하는 마이크로폰 쌍을 선택하여야 한다.
도 4a는 정면을 기준으로 한 2개의 마이크로폰 쌍에 대한 방위각과 거리의 도착시간지연 변화율을 나타내고, 도 4b는 정면을 기준으로 한 2개의 마이크로폰 쌍에 대한 방위각과 고각의 도착시간지연 변화율을 나타낸다.
도 4a 및 도 4b를 참조하면, 기 선택된 마이크로폰 쌍에 대하여, 음원의 거리가 6m까지 변하고, 고각이 위아래로 (+70cm ~ -70cm)까지 변하더라도 도착시간지연의 변화율은 미비하지만, 방위각 10도에 대한 도착시간지연 변화율은 크고 확연히 구별됨을 확인할 수 있다. 이러한 마이크로폰 쌍은 방위각 검지에 적합하다. 본 발명은 이러한 도착시간지연 분포를 이용하여 방위각 검지에 적합한 마이크로폰 쌍을 지정하여 도착시간지연 특성행렬을 정의할 수 있다.
이는 방위각에 대한 특성행렬을 정의할 때 그러하고, 고각에 대한 특성행렬을 정의할 때는 방위각에는 도착시간지연의 변화가 적고, 고각에 따라 민감하게 변하는 마이크로폰 쌍을 선택하여 정의할 수 있다. 예를 들면 수직 방향으로 배치된 마이크로폰을 선택하면 고각의 변화에 대해 좀 더 민감하게 변화할 수 있다.
정리하면, 마이크로폰의 배치에 따라 마이크로폰 쌍의 도착시간지연은 수평 방향으로의 변화에 더 민감하게 도착시간지연이 발생할 수도 있고, 수직방향으로의 변화에 더 민감하게 도착시간지연이 발생할 수도 있다. 수평 방향으로의 변화에 더 민감하게 도착시간지연이 발생하는 마이크로폰 쌍은 방위각 검지에 이용하고, 수직 방향으로의 변화에 더 민감하게 도착시간지연이 발생하는 마이크로폰 쌍은 고각 검지에 이용할 수 있다.
상기와 같이 생성된 도착시간지연 특성행렬은 본 발명의 음원 위치 측정 시스템에 저장된다(S11).
복수의 마이크로폰으로 음성 신호가 입력되는데(S12), 복수의 마이크로폰 배열은 음원의 위치 측정을 위한 기본적인 작업으로서 음원 측정 시스템의 목적에 적합하게 설계되어야 한다. 본 발명의 권리범위는 마이크로폰 배열 및 개수에 제한되지 아니한다.
상기 복수의 마이크로폰으로 입력된 음성 신호는 잡음과 음성이 섞여 있다고 할 것이므로, 입력된 음성 신호에서 잡음을 제거하고, 음성을 추출하는 단계를 더 포함할 수 있다.
복수의 마이크로폰에 대하여 상기 음성의 도착시간지연 값을 구한다(S13). 이때 다양한 방법에 의하여 도착시간지연 값을 구할 수 있으나, 일실시예를 들어 설명한다.
주변 잡음 및 음향 반향 등의 장애 요소들의 영향을 최소화하여 가급적 음원 위치 추정 오차를 최소화할 수 있는 다양한 알고리즘이 있는데, 그 중 주파수 영역에서 두 신호의 상관성(cross-correlation)을 이용하여 추정하는 일반화된 상호상관(GCC:Ceneralized Cross-Correlation)방법이 있다. 일반화된 상호상관 방법은 가중함수에 따라 여러가지 알고리즘으로 세분화되는데, 상호파워스펙트럼 방법으로 가능하다.
i번째 마이크로폰으로 입력된 신호를 Xi(k)이라 할 때, k는 k번째 주파수를 나타낸다. 상호파워스펙트럼 계수는 고속푸리에변환(FFT : Fast Fourier Transform)과 역고속푸리에변환(IFFT : Inverse Fast Fourier Transform)을 이용하여 다음 수학식 1과 같이 정의될 수 있다.
Figure 112008077639521-PAT00001
CSP 계수를 구하여 최대값을 갖는 n을 검출하여 도착시간지연 τ를 다음 수학식 2에 의해 추정한다.
Figure 112008077639521-PAT00002
상기 수학식 1 및 2의 과정을 정리하면, 도 5와 같이 나타낼 수 있다.
본 발명은 도착시간지연을 추출해내는 실시예에 의하여 권리범위가 제한되지 아니하며, 다양한 방법에 의해 도착시간지연을 추출할 수 있다.
도착시간지연 특성 행렬을 이용하여, 상기 측정된 도착시간지연에 대한 상기 입력된 음성 신호의 화자의 방위각 및 고각을 추출할 수 있다(S14).
즉, 도착시간지연 특성행렬에서 측정된 마이크로폰간의 도착시간지연과 가장 유사한 값들을 가지는 방위각을 음원의 방위각으로 추출하고, 마이크로폰간의 도착시간지연과 가장 유사한 값들을 가지는 고각을 음원의 고각으로 추출한다.
예를 들면, 마이크로폰 4번과 2번 사이에 측정된 도착시간지연 값이 734usec이라면, 도 3의 도착시간지연 특성행렬을 이용하여 음원의 방위각은 20도가 되는 것으로 판단하는 것이다. 이와 같이 도착시간지연값을 측정한 후 매번 복잡한 비선형 수식 및 근사 수식을 이용하지 않고도 특성 행렬을 이용하여 간단하게 방위각을 추출할 수 있다.
상기 추출된 방위각 및 고각으로 화자의 위치를 인지하게 된다(S15).
본 발명의 음성 위치 측정 방법을 로봇에 이용하는 경우, 음원에서 음성 신호가 발생되어 로봇의 복수의 마이크로폰에 입력되는 경우, 탐지된 방위각으로 수평 방향의 각도를 인지하고, 탐지된 고각으로 수직 방향의 각도를 인지하게 된다. 음원의 수평 방향 및 수직 방향을 인지한 로봇은 인지된 음원의 방향으로 바라보도록 제어할 수도 있다.
도 6은 화자의 위치를 측정하는 실시예를 도시한다. 이때 고각은 상, 중, 하로 분류하여 인지하도록 하였다((a) 내지 (h)).
도 7은 본 발명의 다른 실시예에 따른 음원 위치 측정 방법의 순서도를 나타낸다.
도 1의 실시예를 기본으로 하여 화자의 위치를 측정할 때, 마이크로폰의 고장이 발생하는 경우, 이를 탐지하여 결함 정도에 따라 동작 불능 및 부분 동작 가능을 판단하여, 각 마이크로폰에 대한 가중치를 부여하여 도착시간지연 특성행렬을 정정한 후, 정정된 도착시간지연 특성행렬을 이용하여 화자의 위치를 측정하는 것을 특징으로 한다.
더욱 상세하게는 인간과 원할한 의사 소통을 위해 화자의 위치를 측정할 때, 로봇에 사용하던 여러 개의 마이크 채널 가운데 음원 위치에 따라 효율이 떨어지는 마이크로폰 및 고장난 마이크로폰이 발생되는 경우, 결함 허용 정도를 고려하여, 화자의 위치 측정을 수행하는 장치이다. 동작이 불가능한 상태이면, 동작을 시행하 지 않고, 동작이 불가능한 상태가 아닌 즉, 결함에도 불구하고 동작 가능한 경우에는 고장 및 저효율의 마이크로폰을 제거하거나 비중을 낮추어 적용할 수 있다. 즉 마이크로폰의 성능 상황에 따라 능동적으로 대처하는 것이다. 따라서 음원 위치 측정 성능의 신뢰성을 높일 수 있게 된다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 음원 위치 측정 방법은 복수의 마이크로폰 배열에 대하여 기 측정된 도착시간지연의 값들로 구성된 행렬 형태의 데이터베이스인 도착시간지연 특성행렬이 저장되는 단계(S71), 상기 복수의 마이크로폰으로 음성 신호가 입력되는 단계(S72), 상기 복수의 마이크로폰으로 입력된 음성 신호의 도착시간지연을 측정하는 단계(S73), 상기 마이크로폰에 대한 고장 또는 성능 저하 여부를 탐지하여(S74), 고장 또는 성능 저하된 마이크로폰을 구분하기 위한 마이크로폰의 가중치를 성분으로 하는 가중치 특성행렬을 생성하는 단계(S75) 및 상기 가중치 특성행렬을 이용하여 상기 도착시간지연 특성행렬에 가중치를 적용하고, 가중치 적용된 도착시간지연 특성행렬을 이용하여 상기 측정된 도착시간지연에 대한 상기 입력된 음성 신호의 화자의 방위각 및 고각을 추출((S76)하여 음원 위치를 측정하는 단계를 포함한다.
S71 단계 내지 S73 단계는 상기의 실시예에서 설명한 바 있으며, 본 실시예에 적용할 수 있다.
상기 마이크로폰에 대한 고장 또는 성능 저하 여부를 탐지하는 단계(S74)는 복수의 마이크로폰 중에서 비정상 작동 즉 동작 불능 및/또는 부분 동작만 가능한 마이크로폰이 존재하는지 탐지하는 단계이다. 부분 동작만 가능한 마이크로폰이라 함은 성능이 저하되어 화자 방향에 의해 왜곡될 가능성이 있는 마이크로폰을 의미한다. 부분 동작만 가능한 마이크로폰을 판단하기 위한 방법의 실시예는 입력되는 음성 신호의 강도차를 비교한 뒤 상대적으로 크기가 작은 경우, 성능이 저하된 마이크로폰으로 판단하는 방법이 있다. 이때 마이크로폰의 상황에 따라 고장난 마이크로폰만 존재할 수도 있고, 성능 저하된 마이크로폰만 존재할 수도 있으며, 고장난 마이크로폰과 성능 저하된 마이크로폰이 모두 존재할 수도 있다.
상기 단계에서 동작 불능 및/또는 부분 동작 가능한 마이크로폰이 탐지되면, 예를 들면 k번째의 저효율 마이크로폰 mk와 l번째의 고장난 마이크로폰 ml을 가지고, 도 8과 같은 가중치 특성행렬(Fkl)을 생성한다(S75). 도 8은 본 발명에 의한 가중치 특성행렬의 실시예를 도시한다. 이때, 가중치 특성행렬은 비정상 마이크로폰을 탐지하여, 탐지되는 경우에 따라 직접 시스템에서 가중치 특성행렬을 생성할 수도 있고, 기 저장된 여러 가지 경우의 수에 따른 가중치 특성행렬 중 현재의 비정상 상황에 적합한 가중치 특성행렬을 선택하여 결정할 수도 있다.
저효율 마이크로폰에 해당하는 k번째는 도 8과 같이 가중치를 0.4로 작게하고, 고장난 마이크로폰 l 번째에 대하여서는 가중치가 0(zero)가 되도록 구성한다.
상기 결정된 가중치 특성행렬(Fkl)은 다음 수학식 3에 의하여 도착시간지연 특성행렬(T)에 적용되어, 가변 도착시간지연 특성행렬(Vkl)을 생성한다.
Figure 112008077639521-PAT00003
상기 수학식 3에 의해 계산된 가변 도착시간지연 특성행렬은 결과적으로, 정상 작동시 가중치 특성행렬이 단위행렬이되어 T가 될 것이고, 비정상 상황 시에는 k 와 l 번째 마이크로폰의 가중치가 조절된 마이크로폰 가중치 특성행렬(Fkl)과 도착시간지연 특성행렬(T)이 곱해진 가변 도착시간지연 특성행렬이 될 것이다.
가중치가 조절된 상기 가변 도착시간지연 특성행렬을 이용하여 측정된 도착시간지연에 대한 화자의 방위각 및 고각을 추출한다(S77).
도 9는 본 발명에 의한 음원 위치 측정 장치의 실시예의 구성을 도시한다.
도 9를 참조하면, 음원 위치 측정 장치의 실시예는 음성 신호가 입력되는 복수의 마이크로폰(910), 상기 복수의 마이크로폰으로 입력된 음성 신호에서 음성을 검출하는 음성 추출부(920), 상기 복수의 마이크로폰 별로 도착시간지연을 측정하는 도착시간지연 측정부(930) 및 복수의 마이크로폰 배열에 대하여 기 측정된 도착시간지연의 값들로 구성된 행렬 형태의 데이터베이스인 도착시간지연 특성행렬을 이용하여, 상기 측정된 도착시간지연에 대한 상기 입력된 음성 신호의 화자의 방위각 및 고각을 추출하여 음원 위치를 측정하는 음원 위치 추출부(940)를 포함한다.
도 10은 본 발명에 의한 음원 위치 측정 장치의 다른 실시예의 구성을 도시한다.
도 10을 참조하면, 음원 위치 측정 장치의 실시예는 음성 신호가 입력되는 복수의 마이크로폰, 상기 복수의 마이크로폰으로 입력된 음성 신호에서 음성을 검 출하는 음성 추출부, 상기 복수의 마이크로폰 별로 도착시간지연을 측정하는 도착시간지연 측정부, 상기 마이크로폰에 대한 비정상 작동 여부를 탐지하는 탐지부, 상기 탐지부에서 탐지된 비정상 작동 마이크로폰을 구분하기 위한 가중치를 성분으로 하는 가중치 특성행렬을 결정하고, 결정된 가중치 특성 행렬을 복수의 마이크로폰 배열에 대하여 기 측정된 도착시간지연의 값들로 구성된 행렬 형태의 데이터베이스인 도착시간지연 특성행렬에 적용하는 특성행렬 정정부 및 상기 특성행렬 정정부에서 가중치 적용된 도착시간지연 특성행렬을 이용하여 상기 측정된 도착시간지연에 대한 상기 입력된 음성 신호의 화자의 방위각 및 고각을 추출하여 음원 위치를 측정하는 음원 위치 추출부를 포함한다.
신호의 흐름에 따라 음원 위치 측정 장치의 구성의 실시예를 살펴보기로 한다.
음성과 비음성을 포함한 아날로그 신호(Signal) Xa t 를 마이크로폰(101)을 통하여 입력받고, 디지털 신호 Xd t 로 변환시켜 고속푸리에변환부(Fast Fourier Transform : FFT)(103) 과정을 통하여 주파수 영역의 신호 Xf 를 구한다. 이때 마이크로폰 보정부(Microphone Calibration)(102) 과정을 통해 미리 구해진 증폭도(Gain) gi 을 채널별로 입력하여 정확한 입력 신호를 입력받는 데 지장이 없도록 할 수 있다. 이 신호는 음성검출부(Voice Activity Detection)(104) 과정을 통하여 음성 신호 Xy f 를 분별해 내고, 도착시간지연 측정부(Time Delay Of Arrival Estimation)(107) 과정을 통하여 마이크로폰별 도착시간지연 τ를 구한다. 정상적인 상황이라면, 추출된 도착시간지연 τ 값을 가지고, 마이크로폰 배열에 의해 미리 구해진 도착시간지연 특성행렬 T와 비교하여 방위각 및 고각을 찾을 수 있다. 그러나 비정상 상황을 대비하여, 마이크로폰 가중행렬 선택과정을 포함하였다. 성능 저하 탑지부(105)는 상기 구한 음성 신호 Xy f 를 가지고 강도차(Interaural Level Difference)를 비교한 뒤 상대적으로 크기가 작아, 화자 방향에 의해 왜곡될 가능성이 높은 k 번째의 저효율 마이크로폰 mk 를 구분해 낸다. 그리고 고장과 같은 비정상 상황 시, 고장 탐지부(106)은 일반적인 고장 검출 및 진단 방법들을 이용하여, 고장난 l 번째 마이크로폰 ml 을 찾아낸다. 가중치 특성행렬 결정부(110)는 이렇게 구하여진 저효율 마이크로폰 mk 와 고장난 마이크로폰 ml을 가지고 도 8과 같은 마이크로폰 가중치 특성행렬 Fkl 를 결정한다. 즉 저효율 마이크로폰에 해당하는 k 번째는 도 8과 같이 가중치를 0.4로 작게하고, 고장난 마이크로폰 l 번째에 대하여서는 가중치가 0(zero)가 되도록 구성한다. 이때, 가중치 특성행렬은 비정상 마이크로폰을 탐지하여, 탐지되는 경우에 따라 직접 시스템에서 가중치 특성행렬을 생성할 수도 있고, 기 저장된 여러 가지 경우의 수에 따른 가중치 특성행렬 중 현재의 비정상 상황에 적합한 가중치 특성행렬을 선택하여 결정할 수도 있다.
가변 도착시간지연 특성행렬 결정부(111)는 상기 가중치 특성행렬 생성부(110)에서 결정된 가중치 특성행렬을 상기 도착시간지연 특성행렬 데이터베이스(109)의 도착시간지연 특성행렬(T)에 적용하여 도착시간지연 특성행렬을 정정하여 가변 도착시간지연 특성행렬(Vkl)을 생성한다.
즉 수학식 3에 의해 계산된 가변 도착시간지연 특성행렬 Vkl은 결과적으로, 정상 상황시 마이크로폰 가중행렬 Fkl이 단위행렬이 되어 T가 될 것이고, 비정상 상황 시에는 k 와 l 번째 마이크로폰의 가중치가 조절된 마이크로폰 가중행렬 Fk 와 T가 곱해진 Vkl이 될 것이다.
상기 도착시간지연 특성행렬 데이터베이스(109), 상기 가중치 특성행렬 결정부(110) 및 상기 가변 도착시간지연 특성행렬 결정부(111)는 특성행렬 정정부(108)로 정의한다.
마지막으로 화자위치 추출부(112)는 음원의 음성신호로부터 구한 τ 와 가변 도착시간지연 특성행렬(Vkl)을 비교하여 방위각 및 고각을 구하게 된다. 이때, 절대 오차의 최소합(Minimum Sum of Absolute Error : MSAE) 과정을 통하여 간편하게 τ 와 가변 도착시간지연 특성행렬(Vkl)을 비교할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술사상을 한정하기 위한 것이 아니라 설명하기 위한 것에 불과하고, 이러한 실시예에 의하여 본 발명의 기술사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 실시예에 따른 음원 위치 측정 방법의 순서도를 나타낸다.
도 2는 본 발명에서 음원의 위치 측정을 위하여, 탐지하는 방위각(θ1) 및 고각(θ2)을 나타낸다.
도 3은 본 발명에 따른 도착시간지연 특성행렬의 일실시예를 도시한다.
도 4a는 정면을 기준으로 한 2개의 마이크로폰 쌍에 대한 방위각과 거리의 도착시간지연 변화율을 나타내고, 도 4b는 정면을 기준으로 한 2개의 마이크로폰 쌍에 대한 방위각과 고각의 도착시간지연 변화율을 나타낸다.
도 5는 도착시간지연의 검출을 위한 실시예인 상호파워스펙트럼을 도시한다.
도 6은 화자의 위치를 측정하는 실시예를 도시한다.
도 7은 본 발명의 다른 실시예에 따른 음원 위치 측정 방법의 순서도를 나타낸다.
도 8은 본 발명에 의한 가중치 특성행렬의 실시예를 도시한다.
도 9는 본 발명에 의한 음원 위치 측정 장치의 실시예의 구성을 도시한다.
도 10은 본 발명에 의한 음원 위치 측정 장치의 다른 실시예의 구성을 도시한다.

Claims (7)

  1. 복수의 마이크로폰 배열에 대하여 기 측정된 도착시간지연의 값들로 구성된 행렬 형태의 데이터베이스인 도착시간지연 특성행렬이 저장되는 단계;
    상기 복수의 마이크로폰으로 음성 신호가 입력되는 단계;
    상기 복수의 마이크로폰으로 입력된 음성 신호의 도착시간지연을 측정하는 단계;
    상기 도착시간지연 특성 행렬을 이용하여, 상기 측정된 도착시간지연에 대한 상기 입력된 음성 신호의 화자의 방위각 및 고각을 추출하여 음원 위치를 측정하는 단계를 포함하는 것을 특징으로 하는 도착시간지연 특성행렬을 이용한 음원 위치 측정 방법.
  2. 복수의 마이크로폰 배열에 대하여 기 측정된 도착시간지연의 값들로 구성된 행렬 형태의 데이터베이스인 도착시간지연 특성행렬이 저장되는 단계;
    상기 복수의 마이크로폰으로 음성 신호가 입력되는 단계;
    상기 복수의 마이크로폰으로 입력된 음성 신호의 도착시간지연을 측정하는 단계;
    상기 마이크로폰에 대한 고장 또는 성능 저하 여부를 탐지하여, 고장 또는 성능 저하된 마이크로폰을 구분하기 위한 마이크로폰의 가중치를 성분으로 하는 가중치 특성행렬을 생성하는 단계;
    상기 가중치 특성행렬을 이용하여 상기 도착시간지연 특성행렬에 가중치를 적용하고, 가중치 적용된 도착시간지연 특성행렬을 이용하여 상기 측정된 도착시간지연에 대한 상기 입력된 음성 신호의 화자의 방위각 및 고각을 추출하여 음원 위치를 측정하는 단계를 포함하는 것을 특징으로 하는 도착시간지연 특성행렬을 이용한 음원 위치 측정 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 도착시간지연 특성행렬은 방위각에 대한 도착시간지연 특성 행렬 및 고각에 대한 도착시간지연 특성행렬을 포함하는 것을 특징으로 하는 도착시간지연 특성행렬을 이용한 음원 위치 측정 방법.
  4. 음성 신호가 입력되는 복수의 마이크로폰;
    상기 복수의 마이크로폰으로 입력된 음성 신호에서 음성을 검출하는 음성 추출부;
    상기 복수의 마이크로폰 별로 도착시간지연을 측정하는 도착시간지연 측정부; 및
    복수의 마이크로폰 배열에 대하여 기 측정된 도착시간지연의 값들로 구성된 행렬 형태의 데이터베이스인 도착시간지연 특성행렬을 이용하여, 상기 측정된 도착시간지연에 대한 상기 입력된 음성 신호의 화자의 방위각 및 고각을 추출하여 음원 위치를 측정하는 음원 위치 추출부를 포함하는 것을 특징으로 하는 도착시간지연 특성행렬을 이용한 음원 위치 측정 장치.
  5. 음성 신호가 입력되는 복수의 마이크로폰;
    상기 복수의 마이크로폰으로 입력된 음성 신호에서 음성을 검출하는 음성 추출부;
    상기 복수의 마이크로폰 별로 도착시간지연을 측정하는 도착시간지연 측정부;
    상기 마이크로폰에 대한 비정상 작동 여부를 탐지하는 탐지부;
    상기 탐지부에서 탐지된 비정상 작동 마이크로폰을 구분하기 위한 가중치를 성분으로 하는 가중치 특성행렬을 결정하고, 결정된 가중치 특성 행렬을 복수의 마이크로폰 배열에 대하여 기 측정된 도착시간지연의 값들로 구성된 행렬 형태의 데이터베이스인 도착시간지연 특성행렬에 적용하는 특성행렬 정정부; 및
    상기 특성행렬 정정부에서 가중치 적용된 도착시간지연 특성행렬을 이용하여 상기 측정된 도착시간지연에 대한 상기 입력된 음성 신호의 화자의 방위각 및 고각을 추출하여 음원 위치를 측정하는 음원 위치 추출부를 포함하는 것을 특징으로 하는 도착시간지연 특성행렬을 이용한 음원 위치 측정 장치.
  6. 제4항 또는 제5항에 있어서,
    상기 도착시간지연 특성행렬은 방위각에 대한 도착시간지연 특성 행렬 및 고각에 대한 도착시간지연 특성행렬을 포함하는 것을 특징으로 하는 도착시간지연 특 성행렬을 이용한 음원 위치 측정 장치.
  7. 제6항에 있어서, 상기 특성행렬 정정부는
    상기 도착시간지연 특성행렬이 저장되는 도착시간지연 특성행렬 데이터베이스;
    상기 비정상 작동 마이크로폰을 구분하기 위한 가중치를 성분으로 하는 가중치 특성행렬을 결정하는 가중치 특성행렬 결정부; 및
    상기 생성된 가중치 특성 행렬을 도착시간지연 특성행렬에 적용하여 가변 도착시간지연 특성행렬을 결정하는 가변 도착시간지연 특성행렬 결정부를 포함하는 것을 특징으로 하는 도착시간지연 특성행렬을 이용한 음원 위치 측정 장치.
KR1020080111081A 2008-11-10 2008-11-10 도착시간지연 특성행렬을 이용한 음원 위치 측정 장치 및 음원 위치 측정 방법 KR101022309B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080111081A KR101022309B1 (ko) 2008-11-10 2008-11-10 도착시간지연 특성행렬을 이용한 음원 위치 측정 장치 및 음원 위치 측정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080111081A KR101022309B1 (ko) 2008-11-10 2008-11-10 도착시간지연 특성행렬을 이용한 음원 위치 측정 장치 및 음원 위치 측정 방법

Publications (2)

Publication Number Publication Date
KR20100052177A true KR20100052177A (ko) 2010-05-19
KR101022309B1 KR101022309B1 (ko) 2011-03-21

Family

ID=42277593

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080111081A KR101022309B1 (ko) 2008-11-10 2008-11-10 도착시간지연 특성행렬을 이용한 음원 위치 측정 장치 및 음원 위치 측정 방법

Country Status (1)

Country Link
KR (1) KR101022309B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257616A (zh) * 2017-12-05 2018-07-06 苏州车萝卜汽车电子科技有限公司 人机对话的检测方法以及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257616A (zh) * 2017-12-05 2018-07-06 苏州车萝卜汽车电子科技有限公司 人机对话的检测方法以及装置

Also Published As

Publication number Publication date
KR101022309B1 (ko) 2011-03-21

Similar Documents

Publication Publication Date Title
US10602267B2 (en) Sound signal processing apparatus and method for enhancing a sound signal
KR101489046B1 (ko) 복수의 확성기 및 마이크로폰 어레이 측정 장치 및 방법
KR20190087438A (ko) 다수의 마이크로폰을 이용한 자동 노이즈 캔슬링
CN110770827B (zh) 基于相关性的近场检测器
US20130039504A1 (en) Methods and apparatuses for echo cancelation with beamforming microphone arrays
US8150688B2 (en) Voice recognizing apparatus, voice recognizing method, voice recognizing program, interference reducing apparatus, interference reducing method, and interference reducing program
US11635341B2 (en) Internal failure detection of an external failure detection system for industrial plants
BR112019013555A2 (pt) Aparelho para captura de áudio, método de captura de áudio e produto de programa de computador
CN110307893B (zh) 远程检查噪声监测系统中的传声器状况
WO2020116054A1 (ja) 信号処理装置及び信号処理方法
EP4361810A3 (en) Platform selection for performing requested actions in audio-based computing environments
KR20210070586A (ko) Cnn을 이용한 음향 처리방법
CN111599366B (zh) 一种车载多音区语音处理的方法和相关装置
US10070220B2 (en) Method for equalization of microphone sensitivities
Thiergart et al. Power-based signal-to-diffuse ratio estimation using noisy directional microphones
KR101022309B1 (ko) 도착시간지연 특성행렬을 이용한 음원 위치 측정 장치 및 음원 위치 측정 방법
EP2715305A1 (en) Direct field acoustic testing system, controls, and method
CN108713323B (zh) 估计到达方向的方法和装置
Zheng et al. BSS for improved interference estimation for blind speech signal extraction with two microphones
Kuhne et al. Robust source localization in reverberant environments based on weighted fuzzy clustering
CN109417666B (zh) 噪声去除装置、回声消除装置和异常音检测装置
RU170249U1 (ru) Устройство для температурно-инвариантной аудиовизуальной локализации источника голоса
WO2015182936A1 (ko) 시간 지연 추정 장치 및 그것의 시간 지연 추정 방법
Pasha et al. Forming ad-hoc microphone arrays through clustering of acoustic room impulse responses
Wei et al. Angle–of–Arrival (AoA) Factorization in Multipath Channels

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150303

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160302

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170302

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180302

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190226

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 10