KR20030077797A - 직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의3차원 방향을 검출하는 방법 - Google Patents

직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의3차원 방향을 검출하는 방법 Download PDF

Info

Publication number
KR20030077797A
KR20030077797A KR1020020016692A KR20020016692A KR20030077797A KR 20030077797 A KR20030077797 A KR 20030077797A KR 1020020016692 A KR1020020016692 A KR 1020020016692A KR 20020016692 A KR20020016692 A KR 20020016692A KR 20030077797 A KR20030077797 A KR 20030077797A
Authority
KR
South Korea
Prior art keywords
microphone
voice signal
microphone array
sound source
array
Prior art date
Application number
KR1020020016692A
Other languages
English (en)
Other versions
KR100499124B1 (ko
Inventor
전선도
김재우
김상룡
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2002-0016692A priority Critical patent/KR100499124B1/ko
Priority to US10/395,104 priority patent/US7158645B2/en
Priority to EP03251959A priority patent/EP1349419B1/en
Priority to JP2003086679A priority patent/JP4191518B2/ja
Priority to DE60303338T priority patent/DE60303338T2/de
Publication of KR20030077797A publication Critical patent/KR20030077797A/ko
Application granted granted Critical
Publication of KR100499124B1 publication Critical patent/KR100499124B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

음원의 3차원 방향을 검출하는 직교 원형 마이크 어레이 시스템으로서,
상기 음원으로부터 음성 신호를 수신하는 지향성 마이크; 상기 음원으로부터 음성 신호를 수신하는 소정수의 마이크가 상기 지향성 마이크 둘레에 배열된 제 1 마이크 어레이; 상기 제 1 마이크 어레이에 직교하도록, 상기 음원으로부터 음성 신호를 수신하는 소정수의 마이크가 상기 지향성 마이크 둘레에 배열된 제 2 마이크 어레이; 상기 제 1 및 제 2 마이크 어레이로부터 신호들을 수신하여, 상기 신호가 음성신호인지를 식별하고, 음원의 위치를 추정하는 방향 검출부; 상기 방향 검출부에서 추정된 상기 음원의 위치에 따라서 상기 제 1 마이크 어레이, 제 2 마이크 어레이 및 상기 지향성 마이크의 방향을 변경하는 회전 제어부; 및 상기 지향성 마이크로부터 수신한 음성신호 및 상기 제 1 및 제 2 마이크 어레이로부터 수신한 음성신호에 대해 연산을 수행하고, 연산된 음성신호를 출력하는 음성신호 처리부를 포함하는 것을 특징으로 하는 직교 원형 마이크 어레이 시스템 및 화자의 3차원 위치 추정 방법이 개시된다.

Description

직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의 3차원 방향을 검출하는 방법{Orthogonal circular microphone array system and method for detecting 3 dimensional direction of sound source using thereof}
본 발명은 음원의 3차원 방향을 검출하는 시스템 및 방법에 관한 것이다.
본 발명의 이해를 돕기 위해서, 이하에서는 본 발명의 방향 추정의 대상인 음원을 화자로 지칭하여 예시적으로 설명한다.
현재 일반적으로 사용되고 있는 마이크는 음향 신호를 모든 방향에서 수신하는 특성을 지닌다. 이러한 무지향성 마이크(omnidirectional microphone)로 칭해지는 일반적인 마이크는 수신하고자 하는 음성 신호 이외에 주변의 잡음과 반향등을 모두 수신하게 되어 소망하는 음성 신호가 왜곡되는 문제가 있는데, 이러한 일반적인 마이크의 문제점을 해결하기 위해서 사용될 수 있는 것이 지향성 마이크(directional microphone)이다.
지향성 마이크는 마이크가 향하는 축으로부터 일정한 각(지향각)내로 수신되는 음향만을 수신하는 특성을 가지므로, 화자가 지향성 마이크의 지향각내에서 마이크를 향해서 말을 하게되면, 화자의 음성이 주위 잡음에 비해 크게 마이크를 통하여 수신되고 지향각 내에 존재하지 않는 잡음은 수신되지 않는다.
이러한 지향성 마이크는 최근 원격회의(teleconference)에서 종종 사용된다. 그러나, 지향성 마이크를 원격회의에 사용하는 경우에 지향성 마이크의 특성 때문에 화자는 마이크의 지향각 내에서 마이크를 향하여 말해야하는 제약이 있다. 즉, 화자는 자신의 자리에 앉아서 말하는 경우에도 설치된 마이크의 지향각을 벗어나는 방향으로 말할 수 없고, 지향각을 벗어나 회의실내를 이동하며 말할 수 없게되므로화자가 자유롭게 말할 수 없는 불편함을 초래한다.
상술한 문제점을 해결하기 위해서 마이크를 일정한 간격으로 배열하여 일정한 공간에서 이동하는 화자의 음성 신호를 수신하는 마이크 어레이 시스템이 고안되었다.
도 1(a) 에 도시된 바와 같은 평면형 마이크 어레이 시스템은 수음하고자 하는 공간의 일 측면에 설치되어 전방의 이동하는 화자의 음성을 수신하게 된다. 즉, 평면형 마이크 어레이 시스템은 전방 180° 가량의 범위내에서 이동하는 화자의 음성을 수신할 수 있게 된다. 따라서, 마이크 어레이 시스템의 뒤쪽으로 화자가 이동하는 경우에는 화자의 음성을 수신할 수 없게되는 제한이 여전히 존재하게 된다.
평면형 마이크 어레이 시스템의 상술한 제한을 극복한 원형 마이크 어레이가 도 1(b)에 도시되어 있다. 원형 마이크 어레이 시스템은 마이크가 설치된 평면내에서 그 중심으로부터 360°범위내에서 이동하는 화자의 음성을 수신할 수 있게 된다. 그러나, 원형 마이크 어레이는 마이크가 설치된 평면을 XY 평면이라고 했을 때, XY 평면상의 화자의 위치는 고려하지만, Z 축상의 화자의 위치는 고려하지 않고, 모든 방향에서 발생되는 신호를 수신하게 되어, 화자의 위치와 관련이 없는 Z 축상의 방향에서 발생하는 잡음 및 반향까지 수신하게 되어 음성의 왜곡을 발생시키는 문제점이 여전히 존재한다.
본 발명의 목적은 평면적으로 움직이는 화자의 위치뿐만 아니라 화자의 3차원 공간상의 움직임까지 고려하여, 화자가 어느 방향에서 발음하든지 화자의 음성을 수신할 수 있는 마이크 어레이 시스템 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 수신되는 화자의 음성을 최대화하고, 화자의 음성을 제외한 주변의 잡음 및 반향을 최소화하여 화자의 음성을 명확하게 인식할 수 있도록 함으로써, 음성 인식의 성능을 향상시킬 수 있는 마이크 어레이 시스템 및 방법을 제공하는 것이다.
도 1a 및 1b 는 종래 기술의 마이크 어레이 시스템의 구조를 도시한 도이다.
도 2a 는 본 발명의 직교 원형 마이크 어레이의 구조를, 도 2b 는 마이크 어레이의 구현예를, 도 2c 는 마이크 어레이상에 마이크를 배치할 때의 고려사항을 각각 도시한 도이다.
도 3 은 본 발명의 직교 원형 마이크 어레이 시스템을 구성을 도시한 블록도이다.
도 4 는 본 발명에 따라 음원의 3차원 방향을 검출하는 방법을 도시한 흐름도이다.
도 5a 는 본 발명에 따라서 음원의 방향을 추정하기 위해 음원의 각도를 분석하는 예를, 도 5b 는 최종 결정된 화자의 위치를 각각 도시하는 도이다.
도 6 은 본 발명에 따른 시스템이 적용되는 환경을 도시하는 도이다.
도 7 은 음원으로부터 수신한 음성 신호를 분리하여 음질 향상을 달성하는 blind separation 회로를 도시한 도이다.
전술한 목적을 달성하기 위해서, 본 발명은 음원의 3차원 방향을 검출하는 직교 원형 마이크 어레이 시스템으로서, 상기 음원으로부터 음성 신호를 수신하는 지향성 마이크; 상기 음원으로부터 음성 신호를 수신하는 소정수의 마이크가 상기 지향성 마이크 둘레에 배열된 제 1 마이크 어레이; 상기 제 1 마이크 어레이에 직교하도록, 상기 음원으로부터 음성 신호를 수신하는 소정수의 마이크가 상기 지향성 마이크 둘레에 배열된 제 2 마이크 어레이; 상기 제 1 및 제 2 마이크 어레이로부터 신호들을 수신하여, 상기 신호가 음성신호인지를 식별하고, 음원의 위치를 추정하는 방향 검출부; 상기 방향 검출부에서 추정된 상기 음원의 위치에 따라서 상기 제 1 마이크 어레이, 제 2 마이크 어레이 및 상기 지향성 마이크의 방향을 변경하는 회전 제어부; 및 상기 지향성 마이크로부터 수신한 음성신호 및 상기 제 1 및 제 2 마이크 어레이로부터 수신한 음성신호에 대해 연산을 수행하고, 연산된 음성신호를 출력하는 음성신호 처리부를 포함하는 것을 특징으로 하는 직교 원형 마이크 어레이 시스템을 제공한다.
또한, (a) 제 1 마이크 어레이로부터 입력되는 신호들로부터 음성신호를 식별하는 단계; (b) 상기 제 1 마이크 어레이에 설치된 마이크로 음성신호가 수신되는 각에 따라서 음원의 방향을 추정하고, 상기 제 1 마이크 어레이와 직교하는 상기 제 2 마이크 어레이에 설치된 마이크들이 추정된 방향으로 향하도록 상기 제 2 마이크 어레이를 회전시키는 단계; (c) 상기 제 2 마이크 어레이에 설치된 마이크들에 음성신호가 입력되는 각에 따라서 상기 음원의 방향을 추정하는 단계; (d) 상기 초지향성 마이크를 (b) 및 (c) 단계에서 추정된 음원의 방향으로 이동시켜 음성 신호를 수신하고, 수신된 음성신호를 출력하는 단계; (e) 음원의 위치 변화 및 음원의 음성발화가 종료되었는지를 검출하는 단계를 포함하는 음원의 3 차원 방향을 검출하는 방법을 제공한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 2(a)은 본 발명의 직교 원형 마이크 어레이 구조를 도시한 도이고, 도 2(b) 는 도 2(a)의 직교 원형 마이크 어레이 구조를 로봇에 구현한 예이다.
본 발명에서, 위도형 마이크 어레이(201)와 경도형 마이크 어레이(202)는 물리적으로 서로 직교되도록 배치되어, 도 2(a)에 도시된 바와 같이 3차원적으로 구형의 구조를 갖게되며, 마이크 어레이 시스템은 도 2 (b) 에 도시된 바와 같이 로봇이나 인형등 다양한 형태로 구현이 가능하다.
각 원형 마이크 어레이(201,202)는 본 발명에 이용될 지향성 마이크의 지향각 및 마이크 어레이가 구현될 물체의 크기를 고려하여 소정수의 마이크가 원형으로 배열되어 구성된다. 도 2(c)에 도시된 바와 같이, XY 또는 YZ 평면중 일 평면의 화자의 위치를 추정하는 마이크 어레이 구조에 부착되는 지향성 마이크의 지향각()이 90°라고 가정하고, 원형 마이크 어레이 구조의 반지름이 R 이라고 할때, 4개의 지향성 마이크가 설치된 경우에 표시된 화자는 마이크의 지향각 밖에 위치하게 되므로 화자의 음성은 마이크 어레이에 부착된 마이크에 의해서 수신되지 않게 된다.
그러나, 마이크의 지향각이 90°보다 크거나(지향각이인 경우), 마이크 어레이의 반지름이 더 작을 때(반지름이 r 인 경우)에는 동일한 위치의 화자가 발음하는 음성이 마이크 어레이에 부착된 마이크에 수신된다. 도시한 바와 같이 어레이에 부착되는 마이크의 지향각도, 화자와의 거리, 어레이가 구현될 물체의 크기를 고려하여, 마이크 어레이를 구성하여야 한다. 마이크 어레이는 지향성 마이크의 지향각도(σ)에 따라서 최소개의 마이크를 구비하면 전체 360°범위내에 존재하는 화자의 위치를 검출할 수 있게 되지만, 어레이가 구현된 물체와 화자간에 일정한 거리가 유지될 것이 요구된다.
도 2 에 도시된 것과 같은 마이크 어레이 시스템에서 위도형 마이크 어레이(201)는 화자의 XY 평면상의 2차원 위치를 추정할 수 있도록 XY 평면상에서 화자로부터 음성을 수신하고, 경도형 마이크 어레이(202)는 XY 평면상에서 화자의 2차원 위치가 추정되면, 화자의 3 차원 위치를 추정할 수 있도록, 추정된 2 차원 위치를 향해 회전하여 화자로부터 음성을 수신하게 된다.
도 3 을 참조하여, 직교 원형 마이크 어레이를 이용하여 화자의 위치를 추정하고, 화자의 음성을 수신하는 본 발명의 시스템 구조를 설명한다.
본 발명의 시스템은 화자의 음성을 XY 평면상에서 2차원적으로 수신하는 위도형 마이크 어레이(201), 추정된 화자의 2차원적 위치로 향하여 화자의 음성을 YZ 평면상에서 3차원적으로 수신하는 경도형 마이크 어레이(202), 마이크 어레이들(201, 202)로부터 수신한 신호로부터 화자의 위치를 추정하고, 그에 따른 제어신호를 출력하는 방향 검출부(304), 위도형 마이크 어레이(201)로부터 입력되는 음성 신호와 경도형 마이크 어레이(202)로부터 입력되는 음성 신호를 선택적으로 방향 검출부(304)로 전달하는 스위치(303), 추정된 화자의 위치로부터 음성을 수신하는 초지향성 마이크(308), 초지향성 마이크(308) 및 경도형 어레이 마이크로부터 수신한 음질을 개선하는 음성 처리부(305), 경도형 마이크 어레이(202)의 회전방향 및 각도를 제어하는 제 1 회전 제어부(306) 및 초지향성 마이크의 회전 방향 및 각도를 제어하는 제 2 회전 제어부(307)를 포함한다.
또한, 방향 검출부(304)는 위도형 마이크 어레이(201) 및 경도형 마이크 어레이(202)에서 수신한 신호들로부터 음성신호를 식별하는 음성 식별부(3041), 음성 식별부(3041)로부터 수신한 음성신호로부터, 위도형 및 경도형 마이크 어레이로부터 입력되는 음성신호의 수신각에 따라서 음원의 방향을 추정하는 음원 방향 추정부(3042), 및 음원 방향 추정부(3042)에서 추정된 방향으로 경도형 마이크 어레이(202)를 회전시키도록 제어신호를 출력하고, 스위치(303)로 언제 입력되는 마이크 어레이 신호를 전환할지를 결정하는 제어신호를 출력하며, 음성 처리부(305)로 음질 개선된 음성신호를 언제 출력할지를 결정하는 제어신호를 출력하는 제어신호 생성부(3043)를 포함한다.
이하, 도 3 및 도 4를 참조하여, 본 발명의 화자의 위치 추정 방법을 설명한다.
본 발명의 마이크 어레이 시스템에 전원이 인가되면, 먼저 위도형 마이크 어레이(201)가 작동되어 주변 환경으로부터 신호를 수신하게 된다(제 400 단계). 위도형 마이크 어레이(201)에 설치된 지향성 마이크들은 지향각도 내에서 입력되는 신호를 수신하고, 수신된 아날로그 신호들은 A/D 변환기(310)를 통해서 디지털 신호로 변환되어 스위치(303)로 출력된다. 최초 동작시에 스위치(303)는 위도형 마이크 어레이(201)로부터 입력되는 신호를 방향 검출부(304)로 전달하게 된다.
방향 검출부(304)에 포함된 음성 식별부(3041)는 스위치(303)를 통해서 입력된 디지털 신호들중에 음성 신호가 존재하는 지의 여부를 식별하게 된다(제 410 단계). 음성 식별부(3041)가 현재 마이크(301)에서 입력된 신호들 중 음성구간만을 정확하게 검출하여, 음성 처리부(305)를 통해서 음성인식기(미도시 됨)로 입력하는 일은, 마이크 어레이를 통해 사람의 음성을 되도록 깨끗하게 받아들여 음성 인식 성능을 향상시키는 것이 본 발명의 목적이라는 점에 비추어 음성인식의 성능과 관련하여 대단히 중요하다.
음성 식별은 크게 음성이 없는 구간이 계속 되다가 음성이 들어오기 시작하면 이 순간을 어떻게 정확하게 파악해서 음성신호의 시작 순간을 알려주는가와, 음성이 계속되다가 음성이 없는 구간이 시작되면 어떻게 이를 정확하게 파악하여 음성신호가 종료되는 순간을 알려줄 것인가 하는 기능으로 분류될 수 있고, 다음과같은 기술이 공지되어 있다.
먼저, 음성신호의 종료 순간을 알려주는 기능을 구현하면서, 마이크를 통해 들어오는 신호들을 일정한 Frame구간 (예; 30 ms)에 맞추어 분할하고, 이 신호들의 에너지를 계산한 후 이 에너지 값이 이전의 에너지 값에 비해 현저히 적어지기 시작하면, 더 이상 음성신호가 발생되고 있지 아니한 것으로 판단하여 음성신호의 종료 순간으로 처리하는 방법이 공지되어 있다. 단, 이때 에너지가 현저히 적어진 것을 판별하는 임계값으로 하나의 고정된 값으로 사용하게되면 크게 발음된 음성과 작게 발음된 음성의 차이를 무시할 수 있으므로 이전의 음성구간을 관찰하여 그 임계값을 적응적으로 변화시키고, 이 임계값을 활용하여 현재 들어온 신호가 음성인지 아닌지를 검출하는 방법이 제안되었다.(Robust end-of-utterance detection for real-time speech recognition applications Hariharan, R.; Hakkinen, J.; Laurila, K. Acoustics, Speech, and Signal Processing, 2001. Proceedings. 2001 IEEE International Conference on , Volume: 1 , 2001 Page(s): 249 -252 vol.1 참조)
또 다른 방법으로는 음성 인식과 연관되어 사용할 경우로, 사전에 OOV(Out-Of-Vocabulary)에 해당하는 어휘에 대해서 Garbage 모델을 구성하고, 실제 사용할 때 마이크를 통해 들어온 신호가 이 모델에 얼마나 적합한지 여부를 따져 Garbage인지/음성신호인지를 판별하는 방법이 공지 되어있다. 이 방법은 간단하게 음성이 아닌 소리에 대해 미리 학습을 통해 비음성 모델 (Garbage model)을 구성하고 현재 들어온 신호가 이 비음성 모델에 얼마나 적합한지 여부를 따져 음성/비음성구간을 결정하는 방법이다. 잡음음성과 잡음이 섞이지 않은 음성사이의 관계를 신경망이나 선형회귀분석을 사용하여 추정한 후, 변환에 의해서 잡음을 제거하는 방법을 사용하기도 한다.(On-line garbage modeling with discriminant analysis for utterance verification, Caminero, J.; De La Torre, D.; Villarrubia, L.; Martin, C.; Hernandez, L. Spoken Language, 1996. ICSLP 96. Proceedings., Fourth International Conference on , Volume: 4 , 1996 Page(s): 2111 ~ 2114 vol.4 참조)
전술한 방법등을 이용하여, 음성 식별부(3041)는 위도형 마이크 어레이(201)를 통해서 일정 레벨 이상의 음성 신호 값이 입력되지 않으면 현재 음성이 입력되지 않는 것으로 간주하고, 위도형 마이크 어레이(201)에 설치된 마이크(301) 중 일부, 예컨대 n 개의 마이크로부터 일정 레벨 이상의 음성 신호값이 검출되고, 다른 마이크들로부터는 신호값이 입력되지 않는 경우에는 음성신호가 검출되는 것으로 판단하고 화자가 (n+1)*σ(지향각)내에 존재하는 것으로 판단하고, 입력된 신호를 음원 방향 추정부(3042)로 출력한다.
도 5(a) 및 도 5(b)를 참조하여 화자의 방향을 추정하는 방법을 설명한다.
화자로부터 본 발명의 마이크 어레이로 입력되는 음성 신호는 마이크 어레이(201,202)에 설치된 각 마이크(301,302)에 도달할 때, 제일 먼저 음성 신호가 도착한 마이크에 비해서 일정한 지연시간을 갖고 수신되는데, 이 지연 시간은 마이크의 지향각(σ)과 화자의 위치 즉, 음성 신호가 입력되는 각(θ)에 따라서 결정된다.
본 실시예에서는 지향성 마이크의 특성을 고려하여 음이 일정한 신호 레벨 미만으로 수신되는 마이크의 경우에는, 화자가 각 해당 마이크의 지향각 내에 없다고 판단하고, 이런 해당 마이크들이 담당하는 각도는 화자의 위치 추정 각도에서 제외된다.
음원 방향 추정부(3042) 화자의 위치를 추정하기 위해서, 먼저 도 5(a) 에 도시된 바와 같이 하나의 지향성 마이크를 기준으로 선택하고, 어레이의 중심으로부터 기준이 되는 지향성 마이크를 잇는 가상의 선(기준선)으로부터 화자의 음성이 수신되는 각도(θ)를 측정한다. 기준이 되는 마이크 이외의 마이크에 대해서는 기준선과 평행한 가상의 선으로부터 마이크로 수신되는 각도를 측정하게 된다. 만약, 어레이가 구현된 물체가 음원의 크기보다 상당히 크지 않다면, 음성을 수신하는 각 마이크에서의 음성 수신 각도 θ는 실질적으로 동일할 수 있다.
일정 레벨 이상의 음이 수신되는 마이크에 있어서 수신된 모든 음을 합하고 이를 FFT 변환을 통해서 주파수 영역으로 변환한 후, 이를 다시 θ의 영역으로 변환하였을 때, 최대의 전력값을 갖는 θ가 화자가 위치하는 방향을 나타나게 된다.
시간 영역에서 일정한 지연시간을 갖고 n 번째 마이크에 입력되는 수신 음성 신호를라하고, 각각의 마이크의 음성 신호값을 합한 출력신호를 y(t) 라 했을 때, y(t) 는 다음과 같은 식에 의해서 얻어진다.
y(t) 를 주파수 영역으로 변환하여 얻어진 Y(f)는 다음과 같다.
이때, c 는 음원으로부터 음성이 전달되는 매질에서의 음속도를,δ는 어레이에 설치된 마이크간의 간격을, M 은 어레이에 설치된 마이크의 개수를, θ는 마이크에 수신되는 음성 신호의 입사각을 각각 나타내며,이 성립된다.
주파수 영역으로 변환된 Y(f) 를 변수 θ에 의해서 표현하고, 즉 Y(f) 를 다시 θ의 영역으로 변환하고, θ의 영역에서 수신된 음성신호의 에너지를 구하면 다음과 같다.
단, θ는 0 내지 π의 값을 갖으며, Y(f) 를 다시 θ의 영역으로 변환할 때, 주파수 영역에서 음의 최대값을 θ의 영역 0˚로, 주파수 영역에서 0˚는 θ의 영역에서로, 주파수 영역에서 양의 최대값을 θ의 영역에서로 매핑되도록 주파수 영역을 θ의 영역으로 변환하게 된다.
어레이 마이크의 출력인 P(θ,k;m) 에 의해 θ에 따른 출력 에너지의 크기를 알 수 있고, 최대 출력시의 θ를 결정할 수 있어, 수신되는 음성에서 음성 직성 강도를 알 수 있다. 이 식을 모든 주파수 k 에 대해 총합하게 되면 전력 스펙트럼 값 P(θ;m) 은 다음과 같다.
결론적으로 모든 주파수 영역에서 최대 에너지를 갖는 화자의 방향을라고 했을 때,와 같이 화자의 방향을 결정할 수 있게 된다(제 420 단계).
상술한 바와 같이 위도형 마이크 어레이(201)로부터 입력된 음성 신호로부터 화자의 위도 방향의 2 차원 위치가 추정되면, 음원 방향 추정부(3042)는 제어신호 생성부(3043)로 검출된 화자의 방향()을 출력하고, 제어신호 생성부(3043)는 제 1 회전 제어부(306)에 화자의 방향인만큼 경도형 마이크 어레이(202)가 회전하도록 제어 신호를 출력한다. 제 1 회전 제어부(306)는 경도형 마이크 어레이(202)를만큼 회전하여 경도형 마이크 어레이(202)가 2차원상의 화자를 정면으로 향하도록 배치된다. 경도형 마이크 어레이(202)를 화자의 방향으로 회전시키는 경우에, 경도형 마이크 어레이(202)만이 회전하는 것도 가능하나 위도형마이크 어레이(201)와 경도형 마이크 어레이(202)가 함께 회전하는 것이 바람직하다. 이 경우에는 위도형 마이크 어레이(201)와 경도형 마이크 어레이(202)가 공통적으로 사용하는 마이크가 화자를 향하게 되면 알맞게 회전이 되었다고 판단할 수 있다(제 430 단계).
한편, 경도형 마이크 어레이(202)의 회전이 종료되면, 제어신호 생성부(3043)는 스위치(303)로 제어신호를 출력하여, 경도형 마이크 어레이(202)로부터 입력되는 화자의 음성 신호를 음성 식별부(3041)로 전달한다. 방향 검출부(304)는 경도형 마이크 어레이(202)로부터 입력되는 음성 신호를 이용하여 제 420 단계에서 수행된 것과 동일한 방법으로 화자의 3 차원 공간상의 위치를 추정하게 되어 결과적인 화자의 3차원 공간에서의 위치는 도 5(b)에 도시된 것과 같이 결정된다.
화자의 3 차원 방향이 결정되면, 제어신호 생성부(3043)는 제 2 회전 제어부(307)에 제어신호를 출력하여, 초지향성 마이크(308)를 화자의 3 차원 방향을 직접적으로 향하도록 회전시킨다(제 450 단계).
초지향성 마이크(308)를 통해서 수신된 화자의 음성 신호는 A/D 변환기(309)를 통해서 디지털 신호로 변환된 후, 음성 처리부(305)로 입력된다. 입력된 초지향성 마이크 신호는 음성 처리부(305)에서 경도형 마이크 어레이로부터 수신된 화자의 음성신호와 함께 음질 개선 과정에 적용 할 수 있다(제 460 단계).
본 발명이 적용되는 환경을 도시한 도 6 및 음질 개선 과정을 도시한 도 7을 참조하여 제 460 단계의 음질 개선 과정을 설명한다.
도 6 에 도시된 바와 같이, 본 발명의 시스템에는 마이크 어레이를 통해서 화자의 음성 신호 뿐 아니라, 벽과 같은 반사체로부터 수신되는 반향 신호 및 기계와 같은 잡음원으로부터 발생된 잡음이 수신된다. 본 발명에서는 초지향성 마이크(308)의 감지된 신호와 어레이 마이크로 처리된 음성 신호들을 함께 처리하여 음질 개선의 효과를 최대한으로 할 수 있다.
아울러, 본 발명에서는 일단 화자의 방향을 결정하고, 화자의 방향으로 초지향성 마이크(308)를 향하도록 하여 초지향성 마이크(308)에서 화자의 음성신호를 수신하게 되면, 경도형 마이크 어레이(202) 또는 위도형 마이크 어레이(201)에서 수신된 잡음이나 반향이 음성 처리부(305)로 입력되는 것을 막기 위해 초지향성 마이크(308)로부터 수신된 신호만을 처리하는 것도 가능하다. 다만, 화자가 위치를 갑자기 변경한 경우에, 상술한 단계들을 다시 수행하여 화자의 변경된 위치를 결정하는데 시간이 필요하고, 그 기간동안에는 화자의 음성이 처리되지 않는 경우가 발생할 수 있다.
이러한 경우에 대비하여, 본 발명의 시스템은 도 7 에 도시된 바와 같은 Blind Separation 회로에 위도형 마이크 어레이(201) 또는 경도형 마이크 어레이(202)로부터 수신된 화자의 음성신호와 초지향성 마이크(308)로부터 수신한 음성신호를 입력하여, 각 마이크에서 입력된 화자의 음성신호와 배경의 잡음신호를 분리하여 수신된 음성 신호의 음질을 향상시킬 수 있는 효과가 있다.
도 7 에 도시된 바와 같이 마이크 어레이들에서 수신된 신호뿐만 아니라 초지향성 마이크(308)에서 수신된 음성 신호를, 지연시간을 가지고 화자의 음성신호를 수신하는 어레이 마이크의 지연시간까지 지연시켜 합산하고, 이를 처리하게 된다.
도 7 에 도시된 회로의 동작을 살펴보면, 음성 처리부(305)는 Blind Separation에 회로에 마이크 어레이로부터 입력되는 신호와 초지향성 마이크로부터 입력되는 신호를 입력한다. 이 두 입력 신호에는 화자의 음성 성분과 배경 잡음 성분 두 가지가 존재하게 된다. 이를 도 7 의 Blind Separation에 회로에 입력시키면 잡음 성분과 화자의 음성 성분을 분리하여와를 출력하게 된다. 출력되는와는 다음 수식과 같다.
상기 식을 결정하는,이며, 웨이트(w) 는 ML(Maximum Likelihood) 추정법에 따르는 것으로 신호의 서로 다른 신호 성분들이 통계적으로 분리되게 학습되어진 값이 사용된다. 이때,는 비선형적인 Sigmoid 함수를 의미하고, μ는 수렴 상수로서 웨이트가 최적의 값을 추정해 나가는 정도를 결정한다.
화자의 음성이 출력되는 동안에 음원 방향 추정부(3042)는 위도형 마이크 어레이(201) 및 경도형 마이크 어레이(202)에서 수신되는 화자의 음성으로부터 화자의 위치가 변경되었는지를 체크한다. 만약, 화자의 위치가 변경되면 제 420 단계로 진행하여 다시 화자의 XY 평면상의 위치와 YZ 평면상의 위치를 추정하게 된다. 다만, 본 발명의 실시예에 따라서 화자의 YZ 평면상의 위치만이 변경되었다면 제 440 단계로 바로 진행하는 것도 가능하다(제 470 단계).
화자의 위치가 변경되지 않았을 경우에는, 음성 식별부(3041)는 제 410 단계에서 수행한 방법과 유사한 방법을 이용하여 화자의 음성 발화가 종료되었는지를 검출한다. 만약, 화자의 음성 발화가 종료되지 않았다면, 다시 화자의 위치가 변경되었는지를 검출하게 된다(제 480 단계).
본 발명에 따르면, 지향성 마이크가 원형으로 일정한 간격으로 배치된 위도형 마이크 어레이와 경도형 마이크 어레이를 서로 직교하도록 배치함으로써, 평면적으로 움직이는 화자의 위치뿐만 아니라 화자의 3차원 공간상의 움직임까지 고려할 수 있게 되어, 화자가 어느 방향에서 발음하든지 화자의 음성을 수신할 수 있는 효과가 있다.
아울러, 3차원적인 화자의 위치가 결정되면, 초지향성 마이크를 화자의 방향으로 향하게 하여 화자의 음성 신호를 수신함으로써, 수신되는 화자의 음성을 최대화하고 화자가 발음할 때 발생하는 반향이나 주변 잡음의 영향을 최소화하여 화자의 음성을 명확하게 인식할 수 있도록 함으로써, 음성 인식의 성능을 향상시킬 수 있다.
또한, 초지향성 마이크로부터 수신되는 화자의 음성 신호 뿐만 아니라 위도형 마이크 어레이 또는 경도형 마이크 어레이로부터 수신된 후 각 마이크마다 일정한 지연간격으로 지연되어 합해진 신호를 초지향성 마이크로부터 수신된 신호와 함께 출력함으로써 출력효율을 높일 수 있는 효과가 있다.
지금까지 기술된 본 발명의 바람직한 실시예는 예시적인 것이며, 이에 대한 모든 변형 및 변경은 아래에 명기한 특허청구범위에 속하는 것으로 이해되어야 한다.

Claims (16)

  1. 음원의 3차원 방향을 검출하는 직교 원형 마이크 어레이 시스템으로서,
    상기 음원으로부터 음성 신호를 수신하는 지향성 마이크;
    상기 음원으로부터 음성 신호를 수신하는 소정수의 마이크가 상기 지향성 마이크 둘레에 배열된 제 1 마이크 어레이;
    상기 제 1 마이크 어레이에 직교하도록, 상기 음원으로부터 음성 신호를 수신하는 소정수의 마이크가 상기 지향성 마이크 둘레에 배열된 제 2 마이크 어레이;
    상기 제 1 및 제 2 마이크 어레이로부터 신호들을 수신하여, 상기 신호가 음성신호인지를 식별하고, 음원의 위치를 추정하는 방향 검출부;
    상기 방향 검출부에서 추정된 상기 음원의 위치에 따라서 상기 제 1 마이크 어레이, 제 2 마이크 어레이 및 상기 지향성 마이크의 방향을 변경하는 회전 제어부; 및
    상기 지향성 마이크로부터 수신한 음성신호 및 상기 제 1 및 제 2 마이크 어레이로부터 수신한 음성신호에 대해 연산을 수행하고, 연산된 음성신호를 출력하는 음성신호 처리부를 포함하는 것을 특징으로 하는 직교 원형 마이크 어레이 시스템.
  2. 제 1 항에 있어서,
    상기 제 1 및 제 2 마이크 어레이 중 적어도 하나는 원형인 것을 특징으로 하는 직교 원형 마이크 어레이 시스템.
  3. 제 1 항에 있어서,
    상기 제 1 및 제 2 마이크 어레이에 설치된 마이크는 서로 일정한 간격을 유지하는 것을 특징으로 하는 직교 원형 마이크 어레이 시스템.
  4. 제 1 항에 있어서,
    상기 제 1 및 제 2 마이크 어레이에 설치된 마이크는 지향성 마이크인 것을 특징으로 하는 직교 원형 마이크 어레이 시스템.
  5. 제 1 항에 있어서,
    상기 방향 검출부로 입력되는 음성 신호로서 상기 제 1 마이크 어레이로부터 입력되는 수신 신호 또는 상기 제 2 어레이 마이크로부터 입력되는 수신 신호를 상기 방향 검출부의 제어 신호에 따라서 선택하는 스위치를 더 포함하는 것을 특징으로 하는 직교 원형 마이크 어레이 시스템.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 방향 검출부는
    상기 제 1 및 제 2 마이크 어레이로부터 수신한 신호들로부터 음성신호를 식별하는 음성신호 식별부;
    상기 음성신호 식별부로부터 수신한 음성신호로부터, 상기 제 1 및 제 2 마이크 어레이에 설치된 마이크에서 수신되는 음성신호의 수신각에 따라서 음원의 방향을 추정하는 음원 방향 추정부; 및
    상기 음원 방향 추정부에서 추정된 방향으로 상기 제 1 및 제 2 마이크 어레이를 회전시키도록 제어신호를 출력하는 제어신호 생성부를 포함하는 것을 특징으로 하는 직교 원형 마이크 어레이 시스템.
  7. 제 6 항에 있어서, 상기 음원 방향 추정부는
    상기 제 1 또는 제 2 마이크 어레이에 설치된 마이크에 입력되는 소정 레벨 이상의 음성 신호의 출력값을 합산하고 주파수 영역으로 변환한 후, 주파수 영역으로 변환된 상기 음성신호의 출력값의 합을 음성신호의 상기 마이크에서의 수신각을 변수로하여 변환하고, 최고의 전력값을 나타내는 각을 음원의 방향으로 추정하는 것을 특징으로 하는 직교 원형 마이크 어레이 시스템.
  8. 제 7 항에 있어서, 상기 소정 레벨 이상의 음성신호의 출력값의 합 y(t) 는어레이 마이크의 개수가 M 이고, c 가 매질내에서의 음속도이며, 어레이의 중심으로부터 상기 마이크까지의 거리가 r 일때,
    인 것을 특징으로 하는 마이크 어레이 시스템.
  9. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 음성신호 처리부는
    상기 제 1 및 제 2 마이크 어레이에 설치된 마이크들의 각각으로부터 수신되어 상기 방향 검출부를 통해서 출력된 음성신호를 상기 각 마이크간의 위치적 차이에 의해서 발생된 최대 지연 시간까지 지연시켜 합산하고, 상기 초지향성 마이크로부터 수신된 음성 신호를 상기 최대 지연 시간만큼 지연시켜 상기 합산된 값에 합산하여 소망하는 음성신호의 음질을 개선하는 것을 특징으로 하는 직교 원형 마이크 어레이 시스템.
  10. 소정수의 마이크가 배열된 제 1 및 제 2 마이크 어레이, 및 지향성 마이크를 이용하여 음원의 3 차원 방향을 검출하는 방법으로서,
    (a) 제 1 마이크 어레이로부터 입력되는 신호들로부터 음성신호를 식별하는 단계;
    (b) 상기 제 1 마이크 어레이에 설치된 마이크로 음성신호가 수신되는 각에 따라서 음원의 방향을 추정하고, 상기 제 1 마이크 어레이와 직교하는 상기 제 2마이크 어레이에 설치된 마이크들이 추정된 방향으로 향하도록 상기 제 2 마이크 어레이를 회전시키는 단계;
    (c) 상기 제 2 마이크 어레이에 설치된 마이크들에 음성신호가 입력되는 각에 따라서 상기 음원의 방향을 추정하는 단계;
    (d) 상기 지향성 마이크를 (b) 및 (c) 단계에서 추정된 음원의 방향으로 이동시켜 음성 신호를 수신하고, 수신된 음성신호를 출력하는 단계;
    (e) 음원의 위치 변화 및 음원의 음성발화가 종료되었는지를 검출하는 단계를 포함하는 것을 특징으로 하는 음원의 3 차원 방향 검출 방법.
  11. 제 10 항에 있어서,
    상기 제 1 및 제 2 마이크 어레이 중 적어도 하나는 원형인 것을 특징으로 하는 음원의 3 차원 방향 검출 방법.
  12. 제 10 항에 있어서,
    상기 제 1 및 제 2 마이크 어레이에 설치된 마이크는 서로 일정한 간격을 유지하는 것을 특징으로 하는 음원의 3 차원 방향 검출 방법.
  13. 제 10 항에 있어서,
    상기 제 1 및 제 2 마이크 어레이에 설치된 마이크는 지향성 마이크인 것을 특징으로 하는 음원의 3 차원 방향 검출 방법.
  14. 제 10 항 내지 제 13 항 중 어느 한 항에 있어서, 상기 (b) 및 (c) 단계는
    상기 제 1 또는 제 2 마이크 어레이에 설치된 마이크에 입력되는 소정 레벨 이상의 음성신호의 출력값을 합산하고 주파수 영역으로 변환한 후, 주파수 영역으로 변환된 상기 음성신호의 출력값의 합을 음성신호의 상기 마이크에서의 수신각을 변수로하여 변환하고, 최고의 전력값을 나타내는 각을 음원의 방향으로 추정하는 것을 특징으로 하는 음원의 3 차원 방향 검출 방법.
  15. 제 14 항에 있어서, 상기 소정 레벨 이상의 음성신호의 출력값의 합 y(t) 는 어레이 마이크의 개수가 M 이고, c 가 매질내에서의 음속도이며, 어레이의 중심으로부터 상기 마이크까지의 거리가 r 일때,
    인 것을 특징으로 하는 음원의 3 차원 방향 검출 방법.
  16. 제 10 항 내지 제 13 항 중 어느 한 항에 있어서, 상기 (d) 단계는
    상기 제 1 및 제 2 마이크 어레이에 설치된 마이크들의 각각으로부터 수신되어 상기 방향 검출부를 통해서 출력된 음성신호를 상기 각 마이크간의 위치적 차이에 의해서 발생된 최대 지연 시간만큼 지연시켜 합산하고, 상기 초지향 마이크로부터 수신된 음성 신호를 상기 최대 지연 시간만큼 지연시켜 상기 합산된 값에 합산하여 소망하는 음성신호의 음질을 개선하는 단계를 포함하는 것을 특징으로 하는 음원의 3 차원 방향 검출 방법.
KR10-2002-0016692A 2002-03-27 2002-03-27 직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의3차원 방향을 검출하는 방법 KR100499124B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR10-2002-0016692A KR100499124B1 (ko) 2002-03-27 2002-03-27 직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의3차원 방향을 검출하는 방법
US10/395,104 US7158645B2 (en) 2002-03-27 2003-03-25 Orthogonal circular microphone array system and method for detecting three-dimensional direction of sound source using the same
EP03251959A EP1349419B1 (en) 2002-03-27 2003-03-27 Orthogonal circular microphone array system and method for detecting three-dimensional direction of sound source using the same
JP2003086679A JP4191518B2 (ja) 2002-03-27 2003-03-27 直交円形マイクアレイシステム及びこれを用いた音源の３次元方向検出方法
DE60303338T DE60303338T2 (de) 2002-03-27 2003-03-27 Orthogonales und kreisförmiges Gruppensystem von Mikrofonen und Verfahren zur Erkennung der dreidimensionalen Richtung einer Schallquelle mit diesem System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0016692A KR100499124B1 (ko) 2002-03-27 2002-03-27 직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의3차원 방향을 검출하는 방법

Publications (2)

Publication Number Publication Date
KR20030077797A true KR20030077797A (ko) 2003-10-04
KR100499124B1 KR100499124B1 (ko) 2005-07-04

Family

ID=36089199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0016692A KR100499124B1 (ko) 2002-03-27 2002-03-27 직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의3차원 방향을 검출하는 방법

Country Status (5)

Country Link
US (1) US7158645B2 (ko)
EP (1) EP1349419B1 (ko)
JP (1) JP4191518B2 (ko)
KR (1) KR100499124B1 (ko)
DE (1) DE60303338T2 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100589446B1 (ko) * 2004-06-29 2006-06-14 학교법인연세대학교 음원의 위치정보를 포함하는 오디오 부호화/복호화 방법및 장치
KR100827080B1 (ko) * 2007-01-09 2008-05-06 삼성전자주식회사 사용자 인식 기반의 빔 포밍 장치 및 방법
KR100873000B1 (ko) * 2007-03-28 2008-12-09 경상대학교산학협력단 마이크 어레이를 이용한 방향성 음원 필터링 시스템 및 그방법
KR100877914B1 (ko) * 2007-01-25 2009-01-12 한국과학기술연구원 음원위치-지연시간차 상관관계 역 추정에 의한 음원 방향검지 시스템 및 방법
WO2009048291A1 (en) * 2007-10-10 2009-04-16 The Industry & Academic Cooperation In Chungnam National University (Iac) Enhanced sound source localization system and method by using a movable microphone array
KR100936587B1 (ko) 2007-12-10 2010-01-13 한국항공우주연구원 3차원 마이크로폰 어레이 구조
KR20110064397A (ko) * 2009-12-08 2011-06-15 삼성전자주식회사 휴대용 단말기에서 블로우 방향을 인식하기 위한 장치 및 방법
US8369550B2 (en) 2009-11-30 2013-02-05 Korea Institute Of Science And Technology Artificial ear and method for detecting the direction of a sound source using the same
KR101345774B1 (ko) * 2012-12-12 2014-01-06 한국과학기술연구원 회전형 마이크로폰 어레이를 이용한 3차원 음원의 방향 검지 장치 및 방법
CN107743712A (zh) * 2015-04-10 2018-02-27 弗劳恩霍夫应用研究促进协会 差分声音再现
KR20200020233A (ko) * 2018-08-16 2020-02-26 국방과학연구소 구형 마이크로폰 어레이를 이용한 음원의 입사 방향 추정방법
CN113056925A (zh) * 2018-08-06 2021-06-29 阿里巴巴集团控股有限公司 声源位置检测的方法和装置
CN113126028A (zh) * 2021-04-13 2021-07-16 上海盈蓓德智能科技有限公司 一种基于多个麦克风阵列的噪声源定位方法

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724822B2 (en) 2003-05-09 2014-05-13 Nuance Communications, Inc. Noisy environment communication enhancement system
US7643641B2 (en) * 2003-05-09 2010-01-05 Nuance Communications, Inc. System for communication enhancement in a noisy environment
JP4797330B2 (ja) * 2004-03-08 2011-10-19 日本電気株式会社 ロボット
US20050271221A1 (en) * 2004-05-05 2005-12-08 Southwest Research Institute Airborne collection of acoustic data using an unmanned aerial vehicle
JP4873913B2 (ja) * 2004-12-17 2012-02-08 学校法人早稲田大学 音源分離システムおよび音源分離方法、並びに音響信号取得装置
ATE456906T1 (de) * 2005-03-30 2010-02-15 Audiogravity Holdings Ltd Vorrichtung zur unterdrückung von windgeräuschen
JP2006311104A (ja) * 2005-04-27 2006-11-09 Star Micronics Co Ltd マイクロホンシステム
DE102007016433A1 (de) * 2007-01-11 2008-07-17 Rheinmetall Defence Electronics Gmbh Mikrofonanordnungen in kleinen akustischen Antennen
US7953233B2 (en) * 2007-03-20 2011-05-31 National Semiconductor Corporation Synchronous detection and calibration system and method for differential acoustic sensors
US8098842B2 (en) * 2007-03-29 2012-01-17 Microsoft Corp. Enhanced beamforming for arrays of directional microphones
JP4332753B2 (ja) * 2007-06-13 2009-09-16 ソニー株式会社 音声レコーダ
US8526632B2 (en) * 2007-06-28 2013-09-03 Microsoft Corporation Microphone array for a camera speakerphone
US8330787B2 (en) 2007-06-29 2012-12-11 Microsoft Corporation Capture device movement compensation for speaker indexing
JP5228407B2 (ja) * 2007-09-04 2013-07-03 ヤマハ株式会社 放収音装置
JP5034819B2 (ja) * 2007-09-21 2012-09-26 ヤマハ株式会社 放収音装置
JP5293305B2 (ja) * 2008-03-27 2013-09-18 ヤマハ株式会社 音声処理装置
US8189807B2 (en) * 2008-06-27 2012-05-29 Microsoft Corporation Satellite microphone array for video conferencing
KR101021800B1 (ko) 2009-03-27 2011-03-17 서강대학교산학협력단 음향 채널 추정에 기반한 음원 위치 탐지 방법
KR101090182B1 (ko) 2009-11-17 2011-12-06 경희대학교 산학협력단 음원 방향의 동적 탐지 장치 및 방법
JP5423370B2 (ja) * 2009-12-10 2014-02-19 船井電機株式会社 音源探査装置
EP2410769B1 (en) * 2010-07-23 2014-10-22 Sony Ericsson Mobile Communications AB Method for determining an acoustic property of an environment
TW201208335A (en) * 2010-08-10 2012-02-16 Hon Hai Prec Ind Co Ltd Electronic device
EP2509337B1 (en) * 2011-04-06 2014-09-24 Sony Ericsson Mobile Communications AB Accelerometer vector controlled noise cancelling method
GB2494849A (en) * 2011-04-14 2013-03-27 Orbitsound Ltd Microphone assembly
US9031259B2 (en) * 2011-09-15 2015-05-12 JVC Kenwood Corporation Noise reduction apparatus, audio input apparatus, wireless communication apparatus, and noise reduction method
JP6179081B2 (ja) * 2011-09-15 2017-08-16 株式会社Ｊｖｃケンウッド ノイズ低減装置、音声入力装置、無線通信装置、およびノイズ低減方法
JP5958218B2 (ja) * 2011-09-15 2016-07-27 株式会社Ｊｖｃケンウッド ノイズ低減装置、音声入力装置、無線通信装置、およびノイズ低減方法
US9502050B2 (en) 2012-06-10 2016-11-22 Nuance Communications, Inc. Noise dependent signal processing for in-car communication systems with multiple acoustic zones
CN103634721A (zh) 2012-08-20 2014-03-12 联想(北京)有限公司 一种数据处理方法以及一种电子设备
KR101987966B1 (ko) * 2012-09-03 2019-06-11 현대모비스 주식회사 차량용 어레이 마이크의 음성 인식 향상 시스템 및 그 방법
US9805738B2 (en) 2012-09-04 2017-10-31 Nuance Communications, Inc. Formant dependent speech signal enhancement
US9613633B2 (en) 2012-10-30 2017-04-04 Nuance Communications, Inc. Speech enhancement
CN103152672B (zh) * 2013-04-03 2015-04-15 南京工程学院 一种微麦克风阵列接收信号压缩编码及信号恢复方法
KR101502788B1 (ko) 2013-08-21 2015-03-16 한국과학기술원 복수개의 3차원 인텐시티 프로브를 이용한 음원위치추정시스템
CN104768099B (zh) * 2014-01-02 2018-02-13 中国科学院声学研究所 用于圆环形阵的模态波束形成器及频域宽带实现方法
KR101673579B1 (ko) * 2014-04-30 2016-11-07 광주과학기술원 이동체의 위치감지장치, 이동체의 위치감지방법, 조명장치, 공조장치, 보안장치, 및 주차장관리장치
US10009676B2 (en) 2014-11-03 2018-06-26 Storz Endoskop Produktions Gmbh Voice control system with multiple microphone arrays
US9788109B2 (en) 2015-09-09 2017-10-10 Microsoft Technology Licensing, Llc Microphone placement for sound source direction estimation
CN105551495A (zh) * 2015-12-15 2016-05-04 青岛海尔智能技术研发有限公司 一种声音滤噪装置及方法
JP6485370B2 (ja) * 2016-01-14 2019-03-20 トヨタ自動車株式会社 ロボット
JP6529451B2 (ja) * 2016-02-23 2019-06-12 日本電信電話株式会社 音源定位装置、方法、及びプログラム
US10492000B2 (en) 2016-04-08 2019-11-26 Google Llc Cylindrical microphone array for efficient recording of 3D sound fields
US10531210B2 (en) * 2016-09-29 2020-01-07 Walmart Apollo, Llc Systems, devices, and methods for detecting spills using audio sensors
KR20180037543A (ko) * 2016-10-04 2018-04-12 삼성전자주식회사 음성 인식 전자 장치
US10276161B2 (en) * 2016-12-27 2019-04-30 Google Llc Contextual hotwords
US10535360B1 (en) * 2017-05-25 2020-01-14 Tp Lab, Inc. Phone stand using a plurality of directional speakers
CN107422305B (zh) * 2017-06-06 2020-03-13 歌尔股份有限公司 一种麦克风阵列声源定位方法和装置
PL236718B1 (pl) * 2017-07-20 2021-02-08 Politechnika Gdanska Sonda natężeniowa wraz z układem korekcji
JP6879144B2 (ja) * 2017-09-22 2021-06-02 沖電気工業株式会社 機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム
CN108172236B (zh) * 2018-01-12 2021-08-20 歌尔科技有限公司 一种拾音降噪方法以及智能电子设备
WO2019169616A1 (zh) * 2018-03-09 2019-09-12 深圳市汇顶科技股份有限公司 语音信号处理方法及装置
US10847162B2 (en) * 2018-05-07 2020-11-24 Microsoft Technology Licensing, Llc Multi-modal speech localization
CN110491376B (zh) * 2018-05-11 2022-05-10 北京国双科技有限公司 一种语音处理方法及装置
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
CN112292870A (zh) 2018-08-14 2021-01-29 阿里巴巴集团控股有限公司 音频信号处理装置及方法
JP6908636B2 (ja) * 2019-01-30 2021-07-28 富士ソフト株式会社 ロボットおよびロボットの音声処理方法
CN111050266B (zh) * 2019-12-20 2021-07-30 朱凤邹 一种基于耳机检测动作进行功能控制的方法及系统
US11514892B2 (en) * 2020-03-19 2022-11-29 International Business Machines Corporation Audio-spectral-masking-deep-neural-network crowd search
US11425496B2 (en) * 2020-05-01 2022-08-23 International Business Machines Corporation Two-dimensional sound localization with transformation layer
CN112630730B (zh) * 2020-11-13 2024-04-02 清华大学苏州汽车研究院（相城） 一种基于tdoa多声源定位的虚假声源消除方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4003016A (en) 1975-10-06 1977-01-11 The United States Of America As Represented By The Secretary Of The Navy Digital beamforming system
JPS6090499A (ja) 1983-10-24 1985-05-21 Nippon Telegr & Teleph Corp <Ntt> 集音装置
US4696043A (en) * 1984-08-24 1987-09-22 Victor Company Of Japan, Ltd. Microphone apparatus having a variable directivity pattern
AU6792194A (en) 1993-05-03 1994-11-21 University Of British Columbia, The Tracking platform system
US5581620A (en) * 1994-04-21 1996-12-03 Brown University Research Foundation Methods and apparatus for adaptive beamforming
US5490599A (en) * 1994-12-23 1996-02-13 Tohidi; Fred F. Long multi-position microphone support stand
JP3797751B2 (ja) * 1996-11-27 2006-07-19 富士通株式会社 マイクロホンシステム
US6041127A (en) * 1997-04-03 2000-03-21 Lucent Technologies Inc. Steerable and variable first-order differential microphone array
JP3344647B2 (ja) * 1998-02-18 2002-11-11 富士通株式会社 マイクロホンアレイ装置
KR100387271B1 (ko) * 1998-08-06 2003-08-21 주식회사 싸이시스 수동식음원원격측정시스템및그방법
US6845163B1 (en) * 1999-12-21 2005-01-18 At&T Corp Microphone array for preserving soundfield perceptual cues
AU2001251213A1 (en) * 2000-03-31 2001-10-15 Clarity, L.L.C. Method and apparatus for voice signal extraction
JP2002008189A (ja) * 2000-06-22 2002-01-11 Matsushita Electric Ind Co Ltd 車両検出装置および車両検出方法
AU2000267447A1 (en) 2000-07-03 2002-01-14 Nanyang Technological University Microphone array system
KR20020066475A (ko) * 2001-02-12 2002-08-19 이성태 음원의 입사각 결정 시스템 및 그 방법

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100589446B1 (ko) * 2004-06-29 2006-06-14 학교법인연세대학교 음원의 위치정보를 포함하는 오디오 부호화/복호화 방법및 장치
KR100827080B1 (ko) * 2007-01-09 2008-05-06 삼성전자주식회사 사용자 인식 기반의 빔 포밍 장치 및 방법
KR100877914B1 (ko) * 2007-01-25 2009-01-12 한국과학기술연구원 음원위치-지연시간차 상관관계 역 추정에 의한 음원 방향검지 시스템 및 방법
KR100873000B1 (ko) * 2007-03-28 2008-12-09 경상대학교산학협력단 마이크 어레이를 이용한 방향성 음원 필터링 시스템 및 그방법
WO2009048291A1 (en) * 2007-10-10 2009-04-16 The Industry & Academic Cooperation In Chungnam National University (Iac) Enhanced sound source localization system and method by using a movable microphone array
KR100921368B1 (ko) * 2007-10-10 2009-10-14 충남대학교산학협력단 이동형 마이크로폰 어레이를 이용한 소음원 위치 판별정밀도 개선 시스템 및 방법
KR100936587B1 (ko) 2007-12-10 2010-01-13 한국항공우주연구원 3차원 마이크로폰 어레이 구조
US8369550B2 (en) 2009-11-30 2013-02-05 Korea Institute Of Science And Technology Artificial ear and method for detecting the direction of a sound source using the same
KR20110064397A (ko) * 2009-12-08 2011-06-15 삼성전자주식회사 휴대용 단말기에서 블로우 방향을 인식하기 위한 장치 및 방법
KR101345774B1 (ko) * 2012-12-12 2014-01-06 한국과학기술연구원 회전형 마이크로폰 어레이를 이용한 3차원 음원의 방향 검지 장치 및 방법
CN107743712A (zh) * 2015-04-10 2018-02-27 弗劳恩霍夫应用研究促进协会 差分声音再现
US10516937B2 (en) 2015-04-10 2019-12-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Differential sound reproduction
CN107743712B (zh) * 2015-04-10 2021-10-22 弗劳恩霍夫应用研究促进协会 差分声音再现
CN113056925A (zh) * 2018-08-06 2021-06-29 阿里巴巴集团控股有限公司 声源位置检测的方法和装置
KR20200020233A (ko) * 2018-08-16 2020-02-26 국방과학연구소 구형 마이크로폰 어레이를 이용한 음원의 입사 방향 추정방법
CN113126028A (zh) * 2021-04-13 2021-07-16 上海盈蓓德智能科技有限公司 一种基于多个麦克风阵列的噪声源定位方法

Also Published As

Publication number Publication date
JP2003304589A (ja) 2003-10-24
EP1349419A2 (en) 2003-10-01
JP4191518B2 (ja) 2008-12-03
DE60303338T2 (de) 2006-10-12
EP1349419B1 (en) 2006-01-25
EP1349419A3 (en) 2003-11-05
DE60303338D1 (de) 2006-04-13
US7158645B2 (en) 2007-01-02
KR100499124B1 (ko) 2005-07-04
US20030185410A1 (en) 2003-10-02

Similar Documents

Publication Publication Date Title
KR100499124B1 (ko) 직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의3차원 방향을 검출하는 방법
US11601764B2 (en) Audio analysis and processing system
CN111370014B (zh) 多流目标-语音检测和信道融合的系统和方法
Ishi et al. Evaluation of a MUSIC-based real-time sound localization of multiple sound sources in real noisy environments
EP1983799B1 (en) Acoustic localization of a speaker
CN110140359B (zh) 使用波束形成的音频捕获
Ince et al. Assessment of general applicability of ego noise estimation
TW202147862A (zh) 強烈雜訊干擾存在下穩健的揚聲器定位系統與方法
Löllmann et al. Microphone array signal processing for robot audition
Marti et al. Real time speaker localization and detection system for camera steering in multiparticipant videoconferencing environments
Lleida et al. Robust continuous speech recognition system based on a microphone array
Zhao et al. A robust real-time sound source localization system for olivia robot
Okuno et al. Robot audition: Missing feature theory approach and active audition
Hu et al. Robust speaker's location detection in a vehicle environment using GMM models
Ince et al. Whole body motion noise cancellation of a robot for improved automatic speech recognition
Novoa et al. Robustness over time-varying channels in DNN-hmm ASR based human-robot interaction.
Takahashi et al. Improvement in listening capability for humanoid robot hrp-2
Sawada et al. Improvement of speech recognition performance for spoken-oriented robot dialog system using end-fire array
JP2002031674A (ja) 発音体指向性補正方法およびその装置
Braun et al. Directional interference suppression using a spatial relative transfer function feature
Nishiura et al. Speech enhancement by multiple beamforming with reflection signal equalization
Sasaki et al. A predefined command recognition system using a ceiling microphone array in noisy housing environments
Nakano et al. Directional acoustic source's position and orientation estimation approach by a microphone array network
Potamitis et al. Multi-speaker DOA tracking using interactive multiple models and probabilistic data association.
Ogawa et al. Ears of the robot: Noise reduction using four-line ultra-micro omni-directional microphones mounted on a robot head

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee