KR20200088119A - 회절 인지를 통한 비가시선 음원 위치 추적 방법 및 시스템 - Google Patents

회절 인지를 통한 비가시선 음원 위치 추적 방법 및 시스템 Download PDF

Info

Publication number
KR20200088119A
KR20200088119A KR1020190004707A KR20190004707A KR20200088119A KR 20200088119 A KR20200088119 A KR 20200088119A KR 1020190004707 A KR1020190004707 A KR 1020190004707A KR 20190004707 A KR20190004707 A KR 20190004707A KR 20200088119 A KR20200088119 A KR 20200088119A
Authority
KR
South Korea
Prior art keywords
acoustic
sound source
rays
diffracted
location
Prior art date
Application number
KR1020190004707A
Other languages
English (en)
Other versions
KR102174598B1 (ko
Inventor
윤성의
안인규
이도헌
최정우
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020190004707A priority Critical patent/KR102174598B1/ko
Priority to US16/509,742 priority patent/US11353581B2/en
Publication of KR20200088119A publication Critical patent/KR20200088119A/ko
Application granted granted Critical
Publication of KR102174598B1 publication Critical patent/KR102174598B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G01H3/10—Amplitude; Power
    • G01H3/12—Amplitude; Power by electric means
    • G01H3/125—Amplitude; Power by electric means for representing acoustic field distribution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H7/00—Measuring reverberation time ; room acoustic measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G01N29/0663—Imaging by acoustic holography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/46—Indirect determination of position data
    • G01S2015/465—Indirect determination of position data by Trilateration, i.e. two transducers determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the transducers, the position data of the target is determined
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

다양한 실시예들에 따른 회절 인지를 통한 비가시선 음원 위치 추적 방법 및 시스템은, 실내 공간을 재구성하고, 실내 공간으로부터 수집되는 오디오 신호를 기반으로, 실내 공간으로 음향 광선들을 발생시키고, 음향 광선들 중 어느 하나가 회절되는 지점을 기반으로 비가시선 음원의 위치로 추정하도록 구성될 수 있다.

Description

회절 인지를 통한 비가시선 음원 위치 추적 방법 및 시스템{SYSTEM AND METHOD FOR LOCALIZATION FOR NON-LINE OF SIGHT SOUND SOURCE USING DIFFRACTION AWARE}
다양한 실시예들은 회절 인지를 통한 비가시선(non-line of sight; NLOS) 음원 위치 추적 방법 및 시스템에 관한 것이다.
일상생활에서 로봇의 사용이 증가함에 따라 로봇과 인간의 소리를 이용한 상호 작용의 수요는 증가하고 있다. 특히, 스마트 스피커 제품의 인기는 음향 관련 연구에서 커다란 도전을 가져왔다. 이러한 애플리케이션에서의 큰 이슈 중 하나는 실제 환경에서 정확한 음원의 위치를 찾는 것이다. 실제 환경에서 음원의 위치를 찾는 것은 소리 위치 추적(sound source localization)으로 알려져 있다.
지난 20년간 소리 위치 추적/탐색은 소리(즉, 음원)의 들려오는 방향을 찾기 위한 연구가 진행되어 왔다. 예를 들면, 두 개의 마이크 쌍의 도착 시간 차이(Time Difference of Arrival, TDOA)를 기반으로 소리의 위치를 추적하는 방법들이 있다. TDOA를 기반으로 소리의 위치를 추적하는 방법들은 소리가 들려온 방향을 찾는 데는 성공적이지만, 정확한 음원의 3D 위치를 찾는데 어려움이 있다.
최근의 소리 위치 추적 방법(sound source localization; SSL)은 음원의 3D 위치를 찾기 위한 시도를 하고 있으나, 측정 장치의 여러 위치와 각도에 대한 센서 데이터의 축적이 필요하다. 결과적으로, 정적인 음원에서 연속적인 소리 신호가 발생하는 상황을 가정하며, 음원과 마이크 사이에 장애물이 없는 상황에서만 동작 가능한 한계가 존재한다.
따라서, 음원과 마이크 사이에 장애물이 존재하는 실제 환경에서 3D 공간 상에서의 음원의 위치를 추적하는 기술이 요구된다.
다양한 실시예들에 따른 컴퓨터에 의해 실행되는 반사 인지를 통한 음원 위치 추적 방법은, 실내 공간을 나타내는 3D 장면(scene)을 대상으로, 로봇에 장착된 마이크 어레이를 통해 입력되는 오디오 신호를 수집하는 단계, 수집된 상기 오디오 신호를 대상으로, 반사 인지 음향 광선 추적법(Reflection-aware acoustic ray tracing)을 통해 음향 광선(acoustic rays)을 생성하는 단계, 및 생성된 상기 음향 광선을 기반으로 음원의 3D 위치를 추정하는 단계를 포함하고, 상기 입력되는 오디오 신호는, 음원으로부터 출력되는 직접음(direct acoustic ray) 및 상기 음원으로부터 출력되어 공간 상의 오브젝트(object)에 의해 반사되는 간접음(indirect acoustic ray)을 포함할 수 있다.
다양한 실시예들에 따른 반사 인지를 통한 음원 위치 추적 시스템은, 실내 공간을 나타내는 3D 장면(scene)을 대상으로, 로봇에 장착된 마이크 어레이를 통해 입력되는 오디오 신호를 수집하는 신호 수집부, 수집된 상기 오디오 신호를 대상으로, 반사 인지 음향 광선 추적법(Reflection-aware acoustic ray tracing)을 통해 음향 광선(acoustic rays)을 생성하는 음향 광선 생성부, 및 생성된 상기 음향 광선을 기반으로 음원의 3D 위치를 추정하는 위치 추정부를 포함하고, 상기 입력되는 오디오 신호는, 음원으로부터 출력되는 직접음(direct acoustic ray) 및 상기 음원으로부터 출력되어 공간 상의 오브젝트(object)에 의해 반사되는 간접음(reflected acoustic ray)을 포함할 수 있다.
다양한 실시예들에 따른 컴퓨터에 의해 실행되는 회절 인지를 통한 비가시선 음원 위치 추적 방법은, 실내 공간을 재구성하는 단계, 상기 실내 공간으로부터 수집되는 오디오 신호를 기반으로, 상기 실내 공간으로 음향 광선들을 발생시키는 단계, 및 상기 음향 광선들 중 어느 하나가 회절되는 지점을 기반으로 비가시선 음원의 위치로 추정하는 단계를 포함할 수 있다.
다양한 실시예들에 따른 회절 인지를 통한 비가시선 음원 위치 추적 방법은, 실내 공간을 재구성하는 프로세서, 상기 실내 공간으로부터 오디오 신호를 수집하는 신호 수집부, 상기 오디오 신호를 기반으로 상기 실내 공간으로 음향 광선들을 발생시키는 음향 광성 생성부, 및 상기 음향 광선들 중 어느 하나가 회절되는 지점을 기반으로 비가시선 음원의 위치로 추정하는 위치 추정부를 포함할 수 있다.
다양한 실시예들에 따르면, 음원 위치 추정 시스템이 실내 공간에서 음원의 위치를 보다 정확하게 추정할 수 있다. 이 때 음원 위치 추정 시스템은 음원과 음원 위치 추정 시스템 사이에 장애물이 있더라도, 음원의 위치를 추적할 수 있다. 즉 음원 위치 추정 시스템은 실내 공간에서 음향 광선들의 회절을 추적함으로써, 비가시선 음원의 위치를 추정할 수 있다.
도 1은 다양한 실시예들에 따른 반사 인지를 통한 음원 위치 추정 시스템의 내부 구성을 도시하는 블록도이다.
도 2a는 다양한 실시예들에 따른 반사 인지를 통한 음원 위치 추정 방법을 도시하는 순서도이다.
도 2b는 도 2a의 음원 위치 추정 단계를 도시하는 순서도이다.
도 3은 다양한 실시예들에서 음원 및 음원 위치 추정 시스템을 포함하는 3차원 공간을 나타내는 3D 장면(scene)을 도시하는 도면이다.
도 4는 다양한 실시예들에서 음향 광선의 생성 및 추적을 설명하기 위해 제공되는 도면이다.
도 5는 다양한 실시예들에서 음향 전달 경로의 음향 광선에 해당하는 파티클들(particles)을 대상으로 가중치가 부여되는 동작을 설명하기 위해 제공되는 도면이다.
도 6은 다양한 실시예들에 따른 회절 인지를 통한 비가시선 음원 위치 추정 시스템의 내부 구성을 도시하는 블록도이다.
도 7a는 다양한 실시예들에 따른 회절 인지를 통한 비가시선 음원 위치 추정 방법을 도시하는 순서도이다.
도 7b는 도 7a의 비가시선 음원 위치 추정 단계를 도시하는 순서도이다.
도 8은 다양한 실시예들에서 실내 공간의 3D 모델 재구성을 설명하기 위해 제공되는 도면이다.
도 9, 도 10a, 도 10b 및 도 10c는 다양한 실시예들에서 비가시선 음원의 위치 추정을 설명하기 위한 제공되는 도면이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
다양한 실시예들은 반사 인지를 통한 음원/소리 위치 추적 기술에 관한 것으로서, 특히, 단일 프레임 안에 발생하는 간헐적인 음원을 연속적으로 탐지하고, 직접음뿐만 아니라, 간접음을 고려하여 3차원 음원의 위치를 추정(즉 추적)하는 기술에 관한 것이다. 예를 들면, 다양한 실시예들은 실내 공간을 나타내는 3D 장면(scene), 즉 3D 영상에서 캡쳐된 특정 3D 장면에서, 로봇의 마이크로 어레이를 통해 수신되는 오디오 신호의 전파 및 반사 경로를 추적하여 3D 장면에서의 음원의 3차원 위치를 추정하는 기술에 관한 것이다.
다양한 실시예들에서 직접음(direct acoustic ray)은 사람 등의 말소리, 발자국 등의 음원이 장애물 등에 부딪히지 않고 곧바로 측정 장치인 음원 위치 추정 시스템의 마이크 어레이로 입력되는 오디오 신호를 나타낼 수 있다.
다양한 실시예들에서, 간접음(indirect acoustic ray)은 사람 등의 말소리, 발자국 등의 음원이 실내 공간 상의 벽, 천장 등의 장애물에 부딪혀 회절, 흡수, 반사되어 음원 위치 추정 시스템의 마이크 어레이(microphone array)로 입력되는 오디오 신호를 나타낼 수 있다.
도 1은 다양한 실시예들에 따른 반사 인지를 통한 음원 위치 추정 시스템의 내부 구성을 도시하는 블록도이다.
도 1을 참조하면, 다양한 실시예들에 따른 음원 위치 추정 시스템(100)은 메모리(110), 버스(120), 네트워크 인터페이스(130), 및 프로세서(140)를 포함할 수 있다. 메모리(110)는 운영체제(111) 및 서비스 제공 루틴(112)를 포함할 수 있다. 프로세서(140)는 신호 수집부(141), 음향 광선 생성부(142), 및 위치 추정부(143)를 포함할 수 있다. 어떤 실시예들에서 음원 위치 추정 시스템(100)은 도 1의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들면, 음원 위치 추정 시스템(100)은 디스플레이나 트랜시버(transceiver)와 같은 적어도 하나의 다른 구성 요소를 더 포함할 수도 있다.
메모리(110)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(110)에는 운영체제(111)와 서비스 제공 루틴(112)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(110)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(130)를 통해 메모리(110)에 로딩될 수도 있다.
버스(120)는 음원 위치 추정 시스템(100)의 구성요소들 간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(120)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
네트워크 인터페이스(130)는 음원 위치 추정 시스템(100)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(130)는 음원 위치 추정 시스템(100)을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.
프로세서(140)는 기본적인 산술, 로직 및 음원 위치 추정 시스템(100)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(110) 또는 네트워크 인터페이스(130)에 의해, 그리고 버스(120)를 통해 프로세서(140)로 제공될 수 있다. 프로세서(140)는 신호 수집부(141), 음향 광선 생성부(142), 및 위치 추정부(143)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리(110)와 같은 기록 장치에 저장될 수 있다. 신호 수집부(141)는 실내 공간으로부터 오디오 신호를 수집할 수 있다. 음향 광선 생성부(142)는 오디오 신호를 기반으로, 실내 공간으로 음향 광선(acoustic ray)들을 발생시킬 수 있다. 위치 추정부(143)는 음향 광선들을 추적하여, 음원의 위치를 추정할 수 있다.
도 2a는 다양한 실시예들에 따른 반사 인지를 통한 음원 위치 추정 방법을 도시하는 순서도이다.
도 2a를 참조하면, 음원 위치 추정 시스템(100)은 210 단계에서 실내 공간으로부터 오디오 신호를 수집할 수 있다. 신호 수집부(141)는 실내 공간에 배치된 마이크 어레이를 통해 입력되는 오디오 신호를 수집할 수 있다. 예컨대, 실내 공간은 벽과 천장을 통해 음향 신호를 확산 및 반사시키는 오브젝트(object, 즉 음향 물질)을 포함할 수 있다. 일 예로, 신호 수집부(141)는 로봇 등의 음원 위치 추정 시스템(100)의 마이크 어레이(microphone array)를 통해 캡쳐된 3D 장면(scene)에서 직접음 및 간접음(즉 음원으로부터 출력되어 반사된 음향 신호)을 수집할 수 있다. 이 때 음원으로부터 출력되는 오리지널 음향 신호로서, 예컨대, 박수 소리 등이 이용될 수 있다.
음원 위치 추정 시스템(100)은 220 단계에서 오디오 신호를 기반으로, 실내 공간으로 음향 광선(acoustic ray)들을 발생시킬 수 있다. 음향 광선 생성부(142)는 반사 인지 음향 광선 추적법(Reflection-aware acoustic ray tracing)을 통해 음향 광선들을 생성할 수 있다. 일 예로, 음원에서 발생한 직접음과 벽과 천장의 반사에 의해 야기된 간접음을 모두 고려하며 정반사를 모델링하기 위해, 음향 광선 생성부(142)는 실내 환경을 삼각형 기반의 3D 메시 맵(mesh map)으로 재구성한 후, 반사 인지 음향 광선 추적법, 특히, 역-음향 광선 추적법을 적용하여 음향 신호의 전파 경로(즉 전달 경로)를 파악하기 위한 음향 광선을 생성할 수 있다. 예를 들면, 음향 광선 생성부(142)는 TDOA(Time Difference Of Arrival) 알고리즘을 기반으로. 오디오 신호의 방향, 크기 및 주파수를 측정할 수 있다. 그리고 음향 광선 생성부(142)는 오디오 신호의 방향, 크기 및 주파수에 기초하여. 음향 광선들을 생성할 수 있다. 일 예로, 음향 광선 생성부(142)는 오디오 신호의 방향의 역방향으로 음향 광선들을 발생시킬 수 있다.
음원 위치 추정 시스템(100)은 230 단계에서 음향 광선들을 추적하여, 음원의 위치를 추정할 수 있다. 위치 추정부(143)는 음향 광선들을 기반으로 음원의 3D 위치를 추정할 수 있다. 일 예로, 실내 환경을 삼각형 기반의 3D 메시 맵으로 재구성한 다음 음향 광선들이 생성된 경우, 음향 신호들을 전달하는 경로들(즉 음향 전달 경로들)이 하나의 음원에서 전파되었다고 가정할 수 있다. 그러면, 해당 경로들이 수렴되는 위치가 음원의 위치로 결정될 수 있으며, 위치 추정부(143)는 음향 신호들을 대상으로 몬테-카를로 위치추정 알고리즘(Monte Carlo localization Algorithm)을 이용하여 상기 수렴되는 위치(즉 수렴 지점)을 찾을 수 있다. 음향 전달 경로들 각각의 수렴 지점, 즉 각 음향 경로에 해당하는 음향 광선의 수렴 지점은, 삼각형 기반의 메시 맵(mesh map)으로 표현되는 3차원 공간 상에서의 특정 지점을 나타낼 수 있다.
도 2b는 도 2a의 음원 위치 추정 단계를 도시하는 순서도이다.
도 2b를 참조하면, 음원 위치 추정 시스템(100)은 231 단계에서 음향 광선들 각각에 해당하는 음향 경로에 대응하여 복수 개의 파티클(particle)들을 샘플링(sampling)할 수 있다. 위치 추정부(143)는 반사 인지 음향 광선 추적법(Reflection-aware acoustic ray tracing)을 통해 음향 광선들 각각에 해당하는 음향 경로를 대상으로 복수 개의 파티클이 하나의 세트(set)에 포함되도록 샘플링을 수행할 수 있다.
음원 위치 추정 시스템(100)은 232 단계에서 파티클들에 대하여 가중치를 부여할 수 있다. 위치 추정부(143)는 파티클을 대상으로, 특정 음향 광선에 가까울수록 상대적으로 높은 가중치를 부여할 수 있다.
음원 위치 추정 시스템(100)은 233 단계에서 파티클들 각각에 부여된 가중치를 기반으로, 파티클들을 리샘플링(resampling)할 수 있다. 위치 추정부(143)는 파티클마다 부여된 가중치에 기초하여 미리 지정된 기준 가중치보다 작은 기준치의 파티클을 제거하는 리샘플링을 수행할 수 있다. 리샘플링이 완료되면, 위치 추정부(143)는 다차원 스케터(scatter) 데이터에 대한 일차원적 척도인 일반화된 분산(GV)을 계산할 수 있다. 계산된 분산(GV)이 미리 지정된 수렴 임계값보다 작으면 입자의 평균 위치를 음원의 위치로 결정(즉 추정)할 수 있다. 여기서, 상기 분산(GV)는 위의 비특허문헌 [3]T. W. Anderson, Ed., An Introduction to Multivariate Statistical Analysis, Wiley, 1984.에 제시된 파티클의 공분산 행렬의 행렬식을 기반으로 계산될 수 있다.
도 3은 다양한 실시예들에서 음원 및 음원 위치 추정 시스템을 포함하는 3차원 공간을 나타내는 3D 장면(scene)을 도시하는 도면이다.
도 3을 참조하면, 로봇인 음원 위치 추정 시스템(100)은 마이크 어레이(301)를 통해 음원(sound source)으로부터 출력되는 소리인 직접음 및 간접음을 수집할 수 있다. 예컨대, 마이크 어레이(301)는 cube-shaped microphone array를 포함할 수 있다. 직접음 및 간접음이 수집되면, 음향 광선 생성부(142)는 수집된 직접음 및 간접음에 해당하는 오디오 신호(즉 음향 신호)를 대상으로 TDOA 알고리즘을 기반으로 오디오 신호의 방향, 크기, 및 주파수를 측정할 수 있다. 그리고 음향 광선 생성부(142)는 측정된 오디오 신호의 상기 방향, 크기 및 주파수를 기반으로 반사 인지 음향 광선 추적법을 이용하여 음향 광선(Acoustic rays)을 생성할 수 있다. 이때, 보다 정확한 음향 광선을 생성하기 위해, 오디오 신호의 전파에 따른 에너지의 감소, 지도 정보의 오차 보정 등이 수행될 수 있으며, 모든 연산이 실시간으로 동작할 수 있다. 그리고 반사 인지 음향 광선 추적법을 수행하기 위해서는 3D 공간의 정보가 필요하므로, SLAM 모듈에서 생성된 삼각형 기반의 메시 맵과 로봇인 음원 위치 추정 시스템(100)의 위치를 기반으로 상기 반사 인지 음향 광선 추적법이 적용될 수 있다. 예를 들면, 메시 맵은 적어도 하나의 메시 요소(mesh element)로 구성될 수 있다. 여기서, 반사 인지 음향 광선 추적법은 역-음향 광선 추적법으로서, 음향 광선 생성부(142)는 측정된 상기 오디오 신호의 방향에 기초하여 상기 수집된 오디오 신호의 방향을 반전시켜 반대 방향에 해당하는 음향 광선을 생성할 수 있다. 그러면, 3D 공간에서 각 음향 광선에 해당하는 음향 전달 경로들, 즉 반사된 음향 신호에 해당하는 음향 전달 경로들(303) 및 직접음에 해당하는 음향 전달 경로들(304)의 수렴 지점을 계산함으로써, 음원의 3D 위치(305)가 결정될 수 있다.
아래의 표 1은 음원의 위치를 추정/추적하기 위해서 후술되는 수학식들에서 사용되는 표기법을 나타낼 수 있다.
Figure pat00001
이하에서는 반사 인지 음향 광선 추적법(Reflection-aware acoustic ray tracing)을 이용하여 음원으로부터 출력된 직접음뿐만 아니라 반사되는 간접음을 처리하면서 음향 전달 경로를 생성(즉 음향 광선을 생성)하고 추적하는 동작에 대해 상세히 설명하기로 한다.
도 4는 다양한 실시예들에서 음향 광선의 생성 및 추적을 설명하기 위해 제공되는 도면이다.
위의 도 3에서 설명한 바와 같이, 재구성된 3D 장면(scene)에서 음향 광선에 해당하는 음향 전달 경로를 생성하기 위해서는 수신되는 오디오 신호의 방향을 알아야 할 수 있다. 이때, 방향을 계산하기 위해 TDOA 기반의 SSL(sound source localization) 알고리즘이 이용될 수 있다.
음향 광선 생성부(142)는 각 호출(invocation) 마다 먼저 캡쳐된 오디오 신호를 N개의 수신된 신호로 이산하는 TDOA 모듈을 실행할 수 있다. 이때, n번째 수신되는 오디오 신호는 튜플
Figure pat00002
로 표현될 수 있다. 여기서, 단위 벡터
Figure pat00003
는 오디오 신호가 수신되는 방향을 나타내고,
Figure pat00004
는 수신되는 오디오 신호의 가장 높은 에너지를 나타내는 대표 주파수에 해당할 수 있다.
Figure pat00005
는 마이크 어레이에 의해 수집된 오디오 신호의 압력에 해당하는 에너지 값을 나타낼 수 있다. 그러면, 음향 광선 생성부(142)는 수집된 오디오 신호의 방향, 주파수, 크기(즉 에너지값)과 광선 길이
Figure pat00006
를 갖는 파라메트릭 방정식(parametric equation)에 기초하여 음향 광선
Figure pat00007
을 생성할 수 있다. 즉 상기 튜플
Figure pat00008
및 파라메트릭 방정식에 기초하여 생성된 음향 광선
Figure pat00009
은 하기 [수학식 1]과 같이 표현될 수 있다.
Figure pat00010
여기서,
Figure pat00011
는 마이크 어레이의 원점을 나타내고,
Figure pat00012
는 수신된 오디오 신호를 대상으로 방향을 반전시킨 오디오 신호의 방향성을 나타내는 단위 벡터를 나타낼 수 있다. 즉
Figure pat00013
는 마이크 어레이로 수신되는 오디오 신호의 반전된 방향인 방향성 단위 벡터로서,
Figure pat00014
에 해당할 수 있다. 음향 광선의 위 첨자
Figure pat00015
는 마이크 어레이로부터의 음향 전달 경로를 따라 반사되는 수 또는 반사 순서를 나타낼 수 있다. 예컨대,
Figure pat00016
는 반사가 없으므로 마이크 어레이로부터 반사없이 직접 수신된 직접음에 해당하는 음향 광선을 나타내고, 직접 광선으로 표현될 수 있으며, ㅣ은 음향 광선의 길이를 나타낼 수 있다. 다양한 수의 반사, 즉
Figure pat00017
에 해당하는 모든 음향 광선들은 k차 반사를 갖는 간접음에 해당하는 음향 광선으로서, 간접 음향 광선으로 표현될 수 있다. 이처럼, 음향 광선이 생성되면, 생성된 음향 광선은 3D 공간에서 전파되고 장애물에 부딪혀 반사된 광선에 해당할 수 있다. 전파 및 반사된 음향 광선을 추적하기 위해 음향 광선의 에너지가 증폭될 수 있다.
생성된 음향 광선
Figure pat00018
이 3D 장면(scene)에 포함된 장애물(벽, 천장 등의)의 표면에 충돌하면, 충돌 표면의 유형에 따라 반사, 흡수 또는 회절이 발생할 수 있다. 이때, 2KHz 보다 높은 고주파 오디오 신호가 음원임을 가정하고, 흡수 및 반사만 지원함을 가정하고 음원의 위치를 추정할 수 있다. 즉 반사 및 확산성 음향 물질이 존재함을 가정하고, 반사된 음향 광선(즉 전반산된 음향 광선)을 생성할 수 있다. 확산 반사의 경우, 실시간 로봇 애플리케이션에 적합하지 않은 몬테 카를로 시뮬레이션과 같은 값비싼 역 시뮬레이션 방법을 요구하며, 방(room) 등의 실내 공간에는 많은 확산 물질이 존재하는 것에 반해, 확산 물질로부터 반사된 각각의 개별 오디오 신호는 음원으로부터 생성된 오디오 신호의 에너지의 높은 부분을 운반하지 않을 수 있다. 즉 TDOA 기반으로 고 에너지 지향성 데이터를 선택 시 확산된 물질에 의해 반사된 대부분의 오디오 신호는 자동적으로 무시되며, 고 에너지를 갖는 신호는 대부분 전반사 물질에 의해 발생하므로, 확산 반사는 고려하지 않고 전반사만 고려해도 음원의 3D 위치를 정확히 추정 가능할 수 있다.
실내 공간 내 모든 물질(즉 장애물)이 정반사 물질일 필요는 없으며, 일부 물질이 천장의 텍스쳐 물질과 같은 반사(specular) 방향 근처에서 높은 에너지 반사율을 보일 때, 해당 방향을 향한 음향 광선을 발생시킨 방향으로 결정하고, 광선들의 음원의 위치를 식별할 수 있다. 결과적으로 음향 광선이 충돌된 장애물에서 반사가 발생한 것으로 결정하고, 충돌 포인트에서 반사된 광선을 생성할 수 있다. 이 때 이전의 음향 광선
Figure pat00019
과 특정 광선 길이에서 장애물의 표면에 부딪힐 때마다 방향이용하여 새로운 반사 음향 광선
Figure pat00020
이 생성될 수 있다. 음향 전달 경로에 해당하는 음향 광선을 생성하는 동안, 오디오 신호들 중 n번째 수신된 오디오 신호에 해당하는 음향 광선을 나타내는 시퀀스
Figure pat00021
가 유지될 수 있다. 상기 시퀀스
Figure pat00022
를 기반으로 음원의 위치가 추정될 수 있다.
도 5는 다양한 실시예들에서 음향 전달 경로의 음향 광선에 해당하는 파티클들(particles)을 대상으로 가중치가 부여되는 동작을 설명하기 위해 제공되는 도면이다.
마이크 어레이를 통해 수집된 신호를 대상으로, 직접음 및 간접음(즉 반사된 오디오 신호)에 해당하는 음향 광선(즉 직접 음향 광선, 반사 음향 광선)을 생성할 수 있으며, 생성된 음향 광선에 해당하는 음향 전달 경로를 기반으로 3D 공간 상에서 음원의 위치를 추정할 수 있다. 이때, 명확성을 위해 모든 오디오 신호는 단일 음원에서 출력되는 것임을 가정할 수 있다. 음향 광선들이 교차하는 지점을 찾으며, 해당 교차 지점을 음원의 위치로 결정할 수 있으나, 실제 환경에서는 마이크로폰, 키넥트(kinect) 등과 같이 오디오 및 비디오 신호를 수집하는 다양한 센서에 의한 잡음(noise)이 각 신호에 포함되어 존재하므로, 단순 교차 지점 이외에 많은 음향 광선이 수렴되는 지점을 찾아 음원의 위치로 결정할 수 있다. 즉 수렴되는 영역을 찾고, 찾아진 수렴 영역이 미리 지정된 기준 영역 이하로 충분히 작아지면, 해당 영역을 음원이 존재하는 영역으로 처리함으로써, 음원의 위치를 결정할 수 있다. 예컨대, 위치 추정부(143)는 파티클을 기반으로 몬테 카를로 위치 추정 기법을 이용하여 수렴 위치를 결정할 수 있으며, 수렴 위치 결정을 위해 샘플링, 가중치 계산, 리샘플링이 수행될 수 있다.
먼저, 위치 추정부(143)는 생성된 N개의 음향 전달 경로
Figure pat00023
에 해당하는 음향 광선을 대상으로 샘플링을 수행할 수 있다. 각각의 샘플링 반복 단계 t에서 W개의 파티클 세트
Figure pat00024
가 존재하고, 상기 파티클 세트는 음원의 가상적인 위치로 사용되고, 3D 공간의 초기 단계에서 무작위로 퍼져 나갈 수 있다. 예컨대, 위치 추정부(143)는 복수의 파티클들을 대상으로, 특정 파티클이 파티클 주변의 음향 광선에 얼마나 가깝게 위치하는지 여부를 인코딩(encoding)할 수 있다. 이때, 더욱 높은 정확도를 얻기 위해 음향 광선에 가까운 파티클을 더 많이 생성하고자 할 수 있다. 초기 반복 이외의 각 반복 t마다 새로운 파티클 세트
Figure pat00025
가 이전 파티클들로부터 점진적으로 생성될 수 있다. 예컨대, 새로운 파티클
Figure pat00026
은 하기 [수학식 2] 및 [수학식 3]과 같이 표현되는 임의의 단위 방향
Figure pat00027
에서 이전 파티클
Figure pat00028
을 오프셋
Figure pat00029
로 오프셋하여 생성될 수 있다.
Figure pat00030
Figure pat00031
여기서,
Figure pat00032
는 정규 분포를 나타내고, 평균은 0이고, 표준 편차는 환경의 크기에 의해 결정될 수 있다. 7m×7m 방(room)이 실내 공간인 경우, 1m은 분산
Figure pat00033
으로 설정될 수 있다.
도 5를 참조하면, 예컨대, 위치 추정부(143)는 음향 광선에 속하는 i번째 파티클의 가능성(likelyhood)을 계산할 수 있다. 이때, 위치 추정부(143)는 특정 파티클이 다른 파티클보다 음향 광선에 가깝게 위치할수록 더 높은 가중치를 할당함으로써, 음향 광선에 속하는 파티클마다 가중치를 부여할 수 있다. 이때, 음향 전달 경로
Figure pat00034
를 기반으로 가능성(likelyhood)
Figure pat00035
은 하기 [수학식 4]와 같이 표현될 수 있다.
Figure pat00036
여기서, 가중치 함수 w는 파티클
Figure pat00037
와 음향 광선
Figure pat00038
사이에서 정의될 수 있다. 그리고 n번째 음향 전달 경로
Figure pat00039
의 k차 반사 음향 광선과
Figure pat00040
은 모든 파티클의 가능성(likelyhood)에 대한 정규화 인자를 나타낼 수 있다. 즉 각 파티클 별로 해당 파티클이 속하는 음향 광선에 기초하여 계산된 가중치 중 최대 가중치가 대표 가중치고 결정되고, 모든 음향 전달 경로와 함께 대표 가중치가 누적될 수 있다.
예를 들면, 도 5를 참조하면, 음향 전달 경로
Figure pat00041
에 해당하는 2개의 음향 광선
Figure pat00042
및
Figure pat00043
이 존재하는 경우, 파티클
Figure pat00044
이 음향 전달 경로
Figure pat00045
에서 음향 광선
Figure pat00046
보다
Figure pat00047
에 더 가까운 경우, 음향 광선
Figure pat00048
에 기초하여
Figure pat00049
이 음향 전달 경로
Figure pat00050
의 대표 가중치로 부여될 수 있다. 가중치 함수
Figure pat00051
는 하기 [수학식 5]와 같이 표현될 수 있다.
Figure pat00052
여기서,
Figure pat00053
는 광선
Figure pat00054
에 대한 파티클
Figure pat00055
에 수직한 풋(foot, 즉 지점)을 반환하고,
Figure pat00056
는 정규 분포의 확률밀도함수(pdf)를 나타낼 수 있다.
Figure pat00057
는 파티클의 공분산 행렬의 행렬식에 따라 설정될 수 있다. 결과적으로, 다른 파티클들이 더 많이 분포되어 있으므로, 음향 광선에 가까운 파티클에 상대적으로 더 높은 가중치가 부여될 수 있다.
Figure pat00058
는 무관한 경우를 배제하기 위해 수직한 풋(foot)이 음향 광선
Figure pat00059
의 외부에 존재할 때(예컨대, 도 5의
Figure pat00060
인 경우), 0을 반환하고, 그렇지 않으면 1을 반환하는 필터 함수를 나타낼 수 있다.
이처럼, 샘플링된 각 파티클들
Figure pat00061
을 대상으로 가중치가 부여되면, 부여된 가중치는 다음 단계
Figure pat00062
에서 업데이트된 파티클 세트를 찾는데, 즉 계산하기 위해 이용될 수 있다. 이때, 미리 지정된 기준 가중치보다 작은, 즉 낮은 가중치를 갖는 파티클은 제거될 수 있다. 그러면, 기준 가중치보다 높은 가중치가 부여된 파티클 근처에 추가적으로 새로운 파티클이 생성될 수 있다. 이처럼, 기존 파티클(즉 t 단계에서의 파티클) 주변에 t+1 단계에서 새로운 파티클이 생성되는 과정에서 기준 가중치보다 작은 파티클이 제거되는 리샘플링이 수행될 수 있다. 예컨대, 위의 비특허 문헌 [5] S. Thrun, W. Burgard, and D. Fox, Probabilistic robotics, MIT press, 2005.에 제시된 리샘플링(resampling) 기법이 이용될 수 있다.
리샘플링이 완료되면, 위치 추정부(143)는 리샘플링된 파티클이 추정된 음원을 정의하기에 충분히 수렴했는지 여부를 확인할 수 있다. 예컨대, 다차원 스케터(scatter)에 대한 일차원적인 척도인 일반화된 분산(GV)을 계산할 수 있다. 그리고 위치 추정부(143)는 계산된 분산(GV)이 미리 지정된 수렴 임계값에 기초하여 음원의 위치를 추정할 수 있다. 예컨대, 계산된 분산이
Figure pat00063
보다 작으면 파티클의 평균 위치를 음원의 위치로 추정할 수 있다. 상기 분산(GV)는 추정에 대한 척도로 이용될 수 있으며, 추정된 음원의 위치에 해당하는 영역을 시각화하기 위해 95% 신뢰 타원(ellipsis) 디스크를 도시하는 공분산 행렬로서 이용될 수도 있다.
다양한 실시예들에 따르면, 음원으로부터 출력되는 직접음 및 벽, 천장 등의 오브젝트(object)를 통해 반사된 간접음을 고려하여 단일 프레임 안에서 발생하는 간헐적인 음원을 연속적으로 탐지함으로써, 실내 공간에서 3차원 음원(즉, 오디오 신호)의 위치를 보다 정확하게 추정할 수 있다. 또한 로봇 입장에서 주변에 위치하는 오브젝트(예컨대, 사물, 사람 등)에 의해 발생하는 소리(예컨대, 음성, 발자국 등)를 통해 해당 음원의 3D 위치를 정확하게 추정함에 따라, 다수의 사람이 있는 실내 환경에서 특정 사람과 로봇이 대화 할 때, 로봇이 어떠한 사람이 이야기를 하고 있는지를 보다 정확히 판단하도록 할 수 있다. 아울러, 로봇의 시각 센서(예컨대, 카메라, RGB-D 카메라, 레이저 스캐너 등)가 감지하지 못하는 지역에서 특정 소리가 들려도 해당 소리의 위치 추정이 가능할 수 있다.
음원은 장애물에 가려져 청자에게 직접적으로 보이지 않는 비가시선 위치에 놓일 수 있다. 이러한 경우, 소리의 직경로는 차단되며, 음원 도착 시간차(TDOA)를 이용한 방법들은 효과적으로 작동하지 않을 수 있다. 이러한 이유로, 간접음 효과(indirect sound effects)를 모델링할 필요가 있으며, 이를 위한 가장 널리 쓰이는 방법은 광선 추적법으로 소리의 전파를 모델링하는 방법이다. 이는 소리의 직사 전파를 가정하고, 광선 추적법을 이용해 고차 반사를 계산하는 방법이다. 이는 고주파 소리에서는 잘 작동하나, 장애물(크기와 파장이 같은 차수인 것)로부터 발생하는, 산란의 일종인 회절과 같은 저주파 현상을 모델링하지 못하는 문제가 있다. 실제로, 굴절은 음파 전파의 기본 모드로서 건물 내부에서 자주 발생한다(예: 음원이 장애물 뒤에 있거나 벽에 의해 숨겨진 경우). 이러한 현상은 인간의 음성, 산업용 기계, 환기, 냉방 장치와 같은 저주파 발생원에서 더욱 두드러진다.
따라서, 다양한 실시예들은 회절 인지를 통한 비가시선 음원 위치 추적 기술에 관한 것으로, 특히 비가시선 음원으로부터 발생되는 회절 효과를 고려하여 비가시선 음원의 위치를 추적하는 기술에 관한 것이다. 예를 들면, 다양한 실시예들은 광선 추적법을 기반으로, 균일 회절론(Uniform Theory of Diffraction; UTD)을 사용하여 비가시선 음원의 위치를 추적하는 기술에 관한 것이다. 이는 정적인 비가시선 음원의 위치 뿐 아니라 동적인 비가시선 음원의 위치를 추적하는 데 동일하게 적용될 수 있다.
도 6은 다양한 실시예들에 따른 회절 인지를 통한 비가시선 음원 위치 추정 시스템의 내부 구성을 도시하는 블록도이다.
도 6을 참조하면, 다양한 실시예들에 따른 음원 위치 추정 시스템(600)은 메모리(610), 버스(620), 네트워크 인터페이스(630), 및 프로세서(640)를 포함할 수 있다. 메모리(610)는 운영체제(611) 및 서비스 제공 루틴(612)를 포함할 수 있다. 프로세서(640)는 신호 수집부(641), 음향 광선 생성부(642), 및 위치 추정부(643)를 포함할 수 있다. 어떤 실시예들에서 음원 위치 추정 시스템(600)은 도 6의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들면, 음원 위치 추정 시스템(600)은 디스플레이나 트랜시버(transceiver)와 같은 적어도 하나의 다른 구성 요소를 더 포함할 수도 있다. 여기서, 음원 위치 추정 시스템(600)의 구성 요소는 도 1의 음원 위치 추정 시스템(100)의 구성 요소와 동일 또는 유사할 수 있으며, 중복되는 설명은 이하 생략한다.
도 7a는 다양한 실시예들에 따른 회절 인지를 통한 비가시선 음원 위치 추정 방법을 도시하는 순서도이다.
도 7a를 참조하면, 음원 위치 추정 시스템(600)은 700 단계에서 실내 공간을 재구성할 수 있다. 음원 위치 추정 시스템(600)은 실내 공간을 3D 모델로 재구성할 수 있다. 프로세서(640)는 실내 공간을 복수 개의 메시(mesh) 요소들과 적어도 하나의 쐐기(wedgh)로 재구성할 수 있다. 프로세서(640)는 메시 요소들을 재구성한 다음, 메시 요소들 중 어느 두 개 사이에서 쐐기를 추출할 수 있다. 예를 들면, 메시 요소들 중 어느 두 개 사이의 각도가 미리 정해진 각도 미만이면, 프로세서(640)가 쐐기를 추출할 수 있다.
음원 위치 추정 시스템(600)은 710 단계에서 실내 공간으로부터 오디오 신호를 수집할 수 있다. 신호 수집부(641)는 실내 공간에 배치된 마이크 어레이를 통해 입력되는 오디오 신호를 수집할 수 있다. 이 때 오디오 신호는 비가시선 음원으로부터 출력될 수 있다.
음원 위치 추정 시스템(600)은 720 단계에서 오디오 신호를 기반으로, 실내 공간으로 음향 광선들을 발생시킬 수 있다. 예를 들면, 음향 광선 생성부(642)는 TDOA(Time Difference Of Arrival) 알고리즘을 기반으로, 오디오 신호의 방향, 크기 또는 주파수 중 적어도 어느 하나를 측정할 수 있다. 그리고 음향 광선 생성부(642)는 오디오 신호의 방향, 크기 및 주파수에 기초하여. 음향 광선들을 생성할 수 있다. 일 예로, 음향 광선 생성부(642)는 오디오 신호의 방향의 역방향으로 음향 광선들을 발생시킬 수 있다. 이에 따라, 음향 광선들은 높은 확률로 비가시선 음원(902)에 근접하게 진행될 수 있다.
음원 위치 추정 시스템(600)은 730 단계에서 음향 광선들을 추적하여, 비가시선 음원의 위치를 추정할 수 있다. 음원 위치 추정 시스템(600)은 음향 광선들 중 어느 하나가 회절되는 지점을 비가시선 음원의 위치로 추정할 수 있다. 음향 광선들 중 적어도 어느 하나가 쐐기의 주변 영역에서 회절되면, 위치 추정부(643)는 쐐기의 위치를 기반으로 비가시선 음원의 위치를 추정할 수 있다. 그리고 음향 광선들 중 적어도 어느 하나가 메시 요소에서 반사되면, 위치 추정부(643)는 반사된 음향 광선이 수렴되는 위치를 기반으로, 비가시선 음원의 위치를 추정할 수 있다. 즉 위치 추정부(643)는, 회절된 음향 광선과 반사된 음향 광선이 수렴되는 위치를 기반으로, 비가시선 음원의 위치를 추정할 수 있다. 예를 들면, 위치 추정부(643)는 음향 신호들을 대상으로 몬테-카를로 위치추정 알고리즘(Monte Carlo localization Algorithm)을 이용하여 상기 수렴되는 위치(즉 수렴 지점)을 찾을 수 있다.
도 7b는 도 7a의 비가시선 음원 위치 추정 단계를 도시하는 순서도이다.
도 7b를 참조하면, 음원 위치 추정 시스템(600)은 731 단계에서 음향 광선들 각각에 해당하는 음향 경로에 대응하여 복수 개의 파티클(particle)들을 샘플링(sampling)할 수 있다. 위치 추정부(643)는 음향 광선들 각각에 해당하는 음향 경로를 대상으로 복수 개의 파티클이 하나의 세트(set)에 포함되도록 샘플링을 수행할 수 있다.
음원 위치 추정 시스템(600)은 732 단계에서 파티클들에 대하여 가중치를 부여할 수 있다. 위치 추정부(643)는 회절되는 음향 경로 또는 반사되는 음향 경로 중 적어도 어느 하나와 거리를 기반으로 가중치를 부여할 수 있다. 예를 들면, 위치 추정부(643)는 파티클들에 대하여, 회절되는 음향 경로 또는 반사되는 음향 경로 중 적어도 어느 하나와 가까울수록 높은 가중치를 부여할 수 있다.
음원 위치 추정 시스템(600)은 733 단계에서 파티클들 각각에 부여된 가중치를 기반으로, 파티클들을 리샘플링(resampling)할 수 있다. 위치 추정부(643)는 파티클마다 부여된 가중치에 기초하여 미리 지정된 기준 가중치보다 작은 기준치의 파티클을 제거하는 리샘플링을 수행할 수 있다. 리샘플링이 완료되면, 위치 추정부(643)는 다차원 스케터(scatter) 데이터에 대한 일차원적 척도인 일반화된 분산(GV)을 계산할 수 있다. 계산된 분산(GV)이 미리 지정된 수렴 임계값보다 작으면 입자의 평균 위치를 음원의 위치로 결정(즉 추정)할 수 있다. 여기서, 상기 분산(GV)는 위의 비특허문헌 [3]T. W. Anderson, Ed., An Introduction to Multivariate Statistical Analysis, Wiley, 1984.에 제시된 파티클의 공분산 행렬의 행렬식을 기반으로 계산될 수 있다.
도 8은 다양한 실시예들에서 실내 공간의 3D 모델 재구성을 설명하기 위해 제공되는 도면이다.
도 8을 참조하면, 다양한 실시예들에 따른 음원 위치 추정 시스템(600)은 실내 환경을 3D 모델로 재구성할 수 있다. 예를 들면, 음원 위치 추정 시스템(600)은, 도 8의 (a)에 도시된 바와 같이 키넥트(kinect)와 레이저 스캐너를 통하여 실내 환경과 관련된 RGB-D 스트림을 추출할 수 있다. 그리고 음원 위치 추정 시스템(600)은, 도 8의 (b)에 도시된 바와 같이 SLAM 모듈을 통하여 검출된 깊이 정보와 RGB-D 스트림에 기반하여, 실내 환경과 관련된 3D 포인트 클라우드를 발생시킬 수 있다. 이 후 음원 위치 추정 시스템(600)은, 도 8의 (c)에 도시된 바와 같이 3D 포인트 클라우드로부터 실내 환경을 삼각형 기반의 3D 메시 맵(mesh map)으로 재구성할 수 있다. 이 때 실내 환경의 메시 맵은 복수 개의 메시 요소(mesh element)(801)들을 포함할 수 있다. 또한 음원 위치 추정 시스템(600)은 메시 요소(801)들로부터 적어도 하나의 쐐기(803)를 추출할 수 있다. 여기서, 음원 위치 추정 시스템(600)은 메시 요소(801)들 중 어느 두 개 사이에서 쐐기(803)를 추출할 수 있다. 예를 들면, 메시 요소(801)들 중 어느 두 개 사이의 각도가 미리 정해진 각도
Figure pat00064
미만이면, 음원 위치 추정 시스템(600)이 쐐기(803)를 추출할 수 있다. 이를 통해, 음원 위치 추정 시스템(600)이 실내 환경을 복수 개의 메시 요소(801)들과 적어도 하나의 쐐기(803)로 재구성할 수 있다.
도 9, 도 10a, 도 10b 및 도 10c는 다양한 실시예들에서 비가시선 음원의 위치 추정을 설명하기 위한 제공되는 도면이다.
도 9를 참조하면, 다양한 실시예들에 따른 음원 위치 추정 시스템(600)은 실내 공간의 메시 맵, 실내 공간에서 음원 위치 추정 시스템(600)의 위치 및 마이크 어레이(901)를 통하여 실내 공간으로부터 수집되는 오디오 신호를 기반으로, 비가시선 음원(902)의 위치를 추적할 수 있다. 이 때 음원 위치 추정 시스템(600)은 마이크 어레이(901)를 통하여 비가시선 음원(902)에서 출력되는 오디오 신호를 수집할 수 있다. 여기서, 오디오 신호는 직접 광선(direct ray), 반사 광선(reflection ray) 또는 회절 광선(diffraction ray) 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 마이크 어레이(901)는 cube-shaped microphone array를 포함할 수 있다. 그리고 실내 공간에서 음원 위치 추정 시스템(600)과 비가시선 음원(902) 사이에, 장애물(903)이 있을 수 있다. 여기서, 음원 위치 추정 시스템(600)은 TDOA(Time Difference Of Arrival) 알고리즘을 기반으로, 오디오 신호의 방향, 크기 또는 주파수 중 적어도 어느 하나를 측정할 수 있다.
다양한 실시예들에 따르면, 음원 위치 추정 시스템(600)은 오디오 신호를 기반으로 실내 공간으로 음향 광선(acoustic ray)들을 발생시킬 수 있다. 이 때 음원 위치 추정 시스템(600)은 역-음향 광선 추적법을 적용하여, 오디오 신호를 기반으로 음향 광선들을 생성할 수 있다. 여기서, 음원 위치 추정 시스템(600)은 오디오 신호의 방향, 크기 및 주파수에 기초하여. 음향 광선들을 생성할 수 있다. 일 예로, 음원 위치 추정 시스템(600)은 오디오 신호의 방향의 역방향으로 음향 광선들을 발생시킬 수 있다. 음원 위치 추정 시스템(600)은 음향 광선들을 직접 광선으로 출력할 수 있다. 이에 따라, 음향 광선들은 높은 확률로 비가시선 음원에 근접하게 진행될 수 있다.
다양한 실시예들에 따르면, 음원 위치 추정 시스템(600)은 음향 광선들을 추적할 수 있다. 이 때 음향 광선들은 직접 광선(direct ray), 반사 광선(reflection ray) 또는 회절 광선(diffraction ray) 중 적어도 어느 하나를 포함할 수 있다. 반사 광선은 직접 광선이 실내 공간에서 반사됨에 따라 발생되고, 회절 광선은 직접 광선이 실내 공간에서 회절됨에 따라 발생될 수 있다. 여기서, 음원 위치 추정 시스템(600)은 음향 광선들 각각의 진행 경로, 반사 지점 또는 회절 지점 중 적어도 어느 하나를 추적할 수 있다. 이를 통해, 음원 위치 추정 시스템(600)이 비가시선 음원(902)의 위치(905)를 추정할 수 있다. 여기서, 음원 위치 추정 시스템(600)은 비가시선 음원(902)의 주변 영역에서 비가시선 음원(902)의 위치(905)를 추정할 수 있다. 이 때 음원 위치 추정 시스템(600)은, 음향 광선들이 수렴되는 위치를 기반으로, 비가시선 음원(902)의 위치(905)를 추정할 수 있다.
음향 광선들 중 적어도 어느 하나는, 도 10a에 도시된 바와 같이 메시 요소(801)들 중 어느 두개 사이의 쐐기(803)에서 회절될 수 있다. 한편, 음향 광선들 중 적어도 어느 하나는 메시 요소(801)들에서 반사될 수 있다. 바꿔 말하면, 비가시선 음원(902)으로부터 출력된 오디오 신호는 메시 요소(801)들 중 적어도 어느 하나에서 반사되거나 쐐기(803)에서 회절되어, 마이크 어레이(901)로 입사될 수 있다. 이 때 균일 회절론(UTD)에 따르면, 쐐기(803)가 구형파를 생성하는 가상의 음원으로 가정될 수 있다.
예를 들면, 각각의 음향 광선은
Figure pat00065
으로 표현될 수 있다. 여기서, n은 각각의 음향 광선에 대한 식별자를 나타내고, k는 각각의 음향 광선에 대한 진행 경로의 차수를 나타내며, 각각의 음향 광선이 반사되거나 회절됨에 따라 증가될 수 있다. 일 예로, 어떤 음향 광선이
Figure pat00066
으로 표현될 수 있다. 여기서,
Figure pat00067
은 음원 위치 추정 시스템(600)으로부터 출력된 직접 광선을 나타내고,
Figure pat00068
은 음원 위치 추정 시스템(600)으로부터 출력된 다음 일 차로 반사되거나 회절된 반사 광선 또는 회절 광선을 나타낼 수 있다. 이 때 j-1 차의 음향 광선이 회절되어, j 차의 음향 광선, 즉
Figure pat00069
개의 회절 광선들을 발생시킬 수 있다.
예를 들면, 음원 위치 추정 시스템(600)은 음향 광선들과 쐐기(803)의 근접도를 기반으로, 음향 광선들 중 적어도 어느 하나가 쐐기(803)에서 회절되는 지를 판단할 수 있다. 음원 위치 추정 시스템(600)은 각각의 음향 광선과 각각의 음향 광선으로부터 쐐기(803)에 의해 이상적으로 발생되는 회절 광선 사이의 각도
Figure pat00070
에 따라, 각각의 음향 광선에 대한 회절률
Figure pat00071
를 결정할 수 있다. 일 예로, 회절률은
Figure pat00072
이며, cos 함수는 각도
Figure pat00073
를 정규화 하는데 사용될 수 있다. 이를 위해, j-1 차의 음향 광선으로부터 이상적으로 발생되는 회절 광선의 점
Figure pat00074
이 쐐기(803), 즉 메시 요소(801)들 사이의 모서리에서 정의될 수 있다. 도 10b에 도시된 바와 같이 점
Figure pat00075
은 j-1 차의 음향 광선의 점
Figure pat00076
에 가장 가까운 위치에 놓일 수 있다. j-1 차의 음향 광선의 회절률
Figure pat00077
가 미리 정해진 임계값을 초과하면, j-1 차의 음향 광선이 쐐기(803)에서 회절된 것으로 판단할 수 있다. 이를 통해, j 차의 음향 광선, 즉 회절 광선들이 발생될 수 있다.
예를 들면, 음원 위치 추정 시스템(600)은 회절 광선들의 방출 방향을 계산할 수 있다. 이 때 균일 회절론(UDT)은 페르마 정리를 기반으로 하고 있으므로, 회절 광선들은 도 10c에 도시된 바와 같이 원뿔 표면을 따라 발생될 수 있다. 여기서, 일반적으로 오디오 신호는 음원으로부터 청자까지 최단 경로로 이동하므로, 균일 회절론(UDT)의 원뿔 표면은 모든 경우의 최단 경로를 포함할 수 있다. 따라서, 회절 광선들의 방출 방향은 원뿔에서 생성되는 단위 벡터로서, 하기 [수학식 6]과 같이 로컬 도메인 상에서 계산될 수 있다.
Figure pat00078
여기서,
Figure pat00079
는
Figure pat00080
개의 회절 광선들 중 p 번째 회절 광선의 단위 벡터를 나타내며,
Figure pat00081
는 쐐기(803)의 인접한 메시 요소(801)들 사이의 각도를 나타내며,
Figure pat00082
는 회절 광선들과 쐐기(805), 즉 메시 요소(801)들 사이의 모서리 간의 각도와 동일한 값인, 원뿔의 각도를 나타내고,
Figure pat00083
는 원뿔 밑면 상의 연속하는 두 개의 회절 광선들 사이의 오프셋 각도, 예컨대
Figure pat00084
과
Figure pat00085
를 나타낼 수 있다.
그리고 음원 위치 추정 시스템(600)은 좌표
Figure pat00086
)를 정렬하여, 로컬 공간(local space)에서 회절 광선들의 방출 방향을 실제 공간(world space)으로 변환할 수 있다. 여기서,
Figure pat00087
는 쐐기(803), 즉 메시 요소(801)들 사이의 모서리를 따라 연장되며,
Figure pat00088
는 쐐기(803)의 중점, 즉 메시 요소(801)들 사이의 공간 상에서 중점을 통과하도록 연장될 수 있다. 이를 통해, 음원 위치 추정 시스템(600)은 방출 방향을 기반으로, 쐐기(803)에 정의된 점
Figure pat00089
으로부터 시작하는 회절 광선(
Figure pat00090
)들을 계산할 수 있다. 이 때 음원 위치 추정 시스템(600)은 쐐기(803)를 기반으로 정의되는 그림자 영역(shadow region)(903)에 대응하여 회절 광선들을 계산할 수 있다. 바꿔 말하면, 음원 위치 추정 시스템(600)은 비가시적인 그림자 영역(903)을 제외한 나머지 영역, 즉 가시적인 조명 영역(illuminated region)에 대응하여 회절 광선들을 계산하지 않을 수 있다.
음향 광선들은 높은 확률로 비가시선 음원(902)에 근접하게 진행될 수 있다. 이는, 음향 광선들이 비가시선 음원(902)으로부터 출력되는 오디오 신호를 기반으로 생성되기 때문이다. 즉 음향 광선들 중 적어도 일부가 비가시선 음원(902)으로 수렴될 수 있다. 따라서, 음원 위치 추정 시스템(600)은 음향 광선들 중 적어도 일부가 수렴되는 위치를 비가시선 음원(902)의 위치(905)로 추정할 수 있다. 이 때 음원 위치 추정 시스템(600)은 회절 광선과 반사 광선이 수렴되는 위치를 기반으로, 비가시선 음원(902)의 위치(905)를 추정할 수 있다. 예를 들면, 음원 위치 추정 시스템(600)은 몬테-카를로 위치추정 알고리즘(Monte Carlo localization Algorithm)을 이용하여 상기 수렴되는 위치(즉 수렴 지점)을 찾을 수 있다.
다양한 실시예들에 따르면, 음원 위치 추정 시스템(600)이 실내 공간에서 음원(902)의 위치(905)를 보다 정확하게 추정할 수 있다. 이 때 음원 위치 추정 시스템(600)은 음원(902)과 음원 위치 추정 시스템(600) 사이에 장애물(903)이 있더라도, 음원(902)의 위치(905)를 추적할 수 있다. 즉 음원 위치 추정 시스템(600)은 실내 공간에서 음향 광선들의 회절을 추적함으로써, 비가시선 음원(902)의 위치(905)를 추정할 수 있다. 아울러, 음원 위치 추정 시스템(600)은 실내 공간에서 음향 광선들의 반사 뿐 아니라 회절을 추적함으로써, 비가시선 음원(902)의 위치(905)를 보다 정확하게 추정할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
본 문서의 다양한 실시예들에 관해 설명되었으나, 본 문서의 다양한 실시예들의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로, 본 문서의 다양한 실시예들의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위 뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 컴퓨터에 의해 실행되는 회절 인지를 통한 비가시선 음원 위치 추적 방법에 있어서,
    실내 공간을 재구성하는 단계;
    상기 실내 공간으로부터 수집되는 오디오 신호를 기반으로, 상기 실내 공간으로 음향 광선들을 발생시키는 단계; 및
    상기 음향 광선들 중 어느 하나가 회절되는 지점을 기반으로 비가시선 음원의 위치로 추정하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서, 상기 재구성 단계는,
    상기 실내 공간을 복수 개의 메시 요소들과 적어도 하나의 쐐기(wedge)로 재구성하는 단계를 포함하는 방법.
  3. 제 2 항에 있어서, 상기 추정 단계는,
    상기 음향 광선들 중 적어도 어느 하나가 상기 쐐기의 주변 영역에서 회절되면, 상기 쐐기의 위치를 기반으로 상기 비가시선 음원의 위치를 추정하는 단계를 포함하는 방법.
  4. 제 2 항에 있어서, 상기 재구성 단계는,
    상기 메시 요소들 중 어느 두 개 사이에서 상기 쐐기를 추출하는 단계를 포함하는 방법.
  5. 제 3 항에 있어서, 상기 추정 단계는,
    상기 음향 광선들 중 적어도 어느 하나가 상기 메시 요소에서 반사되면, 상기 반사된 음향 광선이 수렴되는 위치를 기반으로 상기 비가시선 음원의 위치를 추정하는 단계를 더 포함하는 방법.
  6. 제 5 항에 있어서, 상기 추정 단계는,
    상기 회절된 음향 광선과 반사된 음향 광선이 수렴되는 위치를 기반으로 상기 비가시선 음원의 위치를 추정하는 방법.
  7. 제 4 항에 있어서, 상기 추출 단계는,
    상기 메시 요소들 중 어느 두 개 사이의 각도가 미리 정해진 각도 미만이면, 상기 쐐기를 추출하는 단계를 포함하는 방법.
  8. 제 1 항에 있어서, 상기 발생 단계는,
    상기 오디오 신호의 방향의 역방향으로 상기 음향 광선들을 발생시키는 단계를 포함하는 방법.
  9. 제 1 항에 있어서, 상기 추정 단계는,
    상기 음향 광선들 각각에 해당하는 음향 경로에 대응하여 복수 개의 파티클들을 샘플링하는 단계;
    상기 음향 광선들 중 적어도 어느 하나가 회절되면, 상기 샘플링 파티클들에 대하여 상기 회절되는 음향 광선과 거리를 기반으로 가중치를 부여하는 단계;
    상기 가중치를 기반으로 상기 샘플링 파티클들을 리샘플링하는 단계; 및
    상기 리샘플링된 파티클들을 기반으로 상기 비가시선 음원의 위치를 추정하는 단계를 포함하는 방법.
  10. 제 9 항에 있어서, 상기 부여 단계는,
    상기 샘플링된 파티클들에 대하여 상기 회절되는 음향 광선과 가까울수록 높은 가중치를 부여하는 단계를 포함하는 방법.
  11. 회절 인지를 통한 비가시선 음원 위치 추적 방법에 있어서,
    실내 공간을 재구성하는 프로세서;
    상기 실내 공간으로부터 오디오 신호를 수집하는 신호 수집부;
    상기 오디오 신호를 기반으로 상기 실내 공간으로 음향 광선들을 발생시키는 음향 광성 생성부; 및
    상기 음향 광선들 중 어느 하나가 회절되는 지점을 기반으로 비가시선 음원의 위치로 추정하는 위치 추정부를 포함하는 시스템.
  12. 제 11 항에 있어서, 상기 프로세서는,
    상기 실내 공간을 복수 개의 메시 요소들과 적어도 하나의 쐐기(wedge)로 재구성하는 시스템.
  13. 제 12 항에 있어서, 상기 위치 추정부는,
    상기 음향 광선들 중 적어도 어느 하나가 상기 쐐기의 주변 영역에서 회절되면, 상기 쐐기의 위치를 기반으로 상기 비가시선 음원의 위치를 추정하는 시스템.
  14. 제 12 항에 있어서, 상기 프로세서는,
    상기 메시 요소들 중 어느 두 개 사이에서 상기 쐐기를 추출하는 시스템.
  15. 제 13 항에 있어서, 상기 위치 추정부는,
    상기 음향 광선들 중 적어도 어느 하나가 상기 메시 요소에서 반사되면, 상기 반사된 음향 광선이 수렴되는 위치를 기반으로 상기 비가시선 음원의 위치를 추정하는 시스템.
  16. 제 15 항에 있어서, 상기 위치 추정부는,
    상기 회절된 음향 광선과 반사된 음향 광선이 수렴되는 위치를 기반으로 상기 비가시선 음원의 위치를 추정하는 시스템.
  17. 제 14 항에 있어서, 상기 프로세서는,
    상기 메시 요소들 중 어느 두 개 사이의 각도가 미리 정해진 각도 미만이면, 상기 쐐기를 추출하는 시스템.
  18. 제 11 항에 있어서, 상기 음향 광선 생성부는,
    상기 오디오 신호의 방향의 역방향으로 상기 음향 광선들을 발생시키는 시스템.
  19. 제 11 항에 있어서, 상기 위치 추정부는,
    상기 음향 광선들 각각에 해당하는 음향 경로에 대응하여 복수 개의 파티클들을 샘플링하고,
    상기 음향 광선들 중 적어도 어느 하나가 회절되면, 상기 샘플링 파티클들에 대하여 상기 회절되는 음향 광선과 거리를 기반으로 가중치를 부여하고,
    상기 가중치를 기반으로 상기 샘플링 파티클들을 리샘플링하고,
    상기 리샘플링된 파티클들을 기반으로 상기 비가시선 음원의 위치를 추정하는 시스템.
  20. 제 9 항에 있어서, 상기 위치 추정부는,
    상기 샘플링된 파티클들에 대하여 상기 회절되는 음향 광선과 가까울수록 높은 가중치를 부여하는 시스템.
KR1020190004707A 2019-01-14 2019-01-14 회절 인지를 통한 비가시선 음원 위치 추적 방법 및 시스템 KR102174598B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190004707A KR102174598B1 (ko) 2019-01-14 2019-01-14 회절 인지를 통한 비가시선 음원 위치 추적 방법 및 시스템
US16/509,742 US11353581B2 (en) 2019-01-14 2019-07-12 System and method for localization for non-line of sight sound source

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190004707A KR102174598B1 (ko) 2019-01-14 2019-01-14 회절 인지를 통한 비가시선 음원 위치 추적 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200088119A true KR20200088119A (ko) 2020-07-22
KR102174598B1 KR102174598B1 (ko) 2020-11-05

Family

ID=71517426

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190004707A KR102174598B1 (ko) 2019-01-14 2019-01-14 회절 인지를 통한 비가시선 음원 위치 추적 방법 및 시스템

Country Status (2)

Country Link
US (1) US11353581B2 (ko)
KR (1) KR102174598B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115825867A (zh) * 2023-02-14 2023-03-21 杭州兆华电子股份有限公司 一种非视距声源定位方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3696811A4 (en) * 2017-10-11 2020-11-25 Sony Corporation VOICE ENTRY DEVICE, ASSOCIATED PROCESS AND PROGRAM
KR20200144366A (ko) * 2019-06-18 2020-12-29 엘지전자 주식회사 로봇을 위한 기동어 인식 모델의 생성
JP7191793B2 (ja) * 2019-08-30 2022-12-19 株式会社東芝 信号処理装置、信号処理方法、及びプログラム
EP3797938B1 (en) * 2019-09-27 2024-01-03 Tata Consultancy Services Limited Attention shifting of a robot in a group conversation using audio-visual perception based speaker localization
US11064294B1 (en) * 2020-01-10 2021-07-13 Synaptics Incorporated Multiple-source tracking and voice activity detections for planar microphone arrays
CN112699543A (zh) * 2020-12-23 2021-04-23 青岛理工大学 一种自由声场的声线立体角仿真模拟方法及系统
CN113484865B (zh) * 2021-07-02 2022-10-11 张振军 一种基于声学传感器阵列的非视域声源目标探测与定位方法
US11823707B2 (en) 2022-01-10 2023-11-21 Synaptics Incorporated Sensitivity mode for an audio spotting system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100371793B1 (ko) * 2001-03-26 2003-02-12 이성태 음원의 위치 결정 방법
JP5997007B2 (ja) * 2012-10-31 2016-09-21 日本電信電話株式会社 音源位置推定装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0301093D0 (en) * 2003-01-17 2003-02-19 1 Ltd Set-up method for array-type sound systems
EP2119306A4 (en) * 2007-03-01 2012-04-25 Jerry Mahabub SOUND SPECIALIZATION AND ENVIRONMENT SIMULATION
EP2410769B1 (en) * 2010-07-23 2014-10-22 Sony Ericsson Mobile Communications AB Method for determining an acoustic property of an environment
US9398393B2 (en) * 2012-12-11 2016-07-19 The University Of North Carolina At Chapel Hill Aural proxies and directionally-varying reverberation for interactive sound propagation in virtual environments
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
US9977644B2 (en) * 2014-07-29 2018-05-22 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for conducting interactive sound propagation and rendering for a plurality of sound sources in a virtual environment scene
CN104535964B (zh) * 2014-12-24 2017-01-25 大连大学 基于低频衍射时延差的头盔式麦克风阵列声源定位方法
US20180146285A1 (en) * 2016-11-18 2018-05-24 Stages Pcs, Llc Audio Gateway System
US10248744B2 (en) * 2017-02-16 2019-04-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for acoustic classification and optimization for multi-modal rendering of real-world scenes
US9940922B1 (en) * 2017-08-24 2018-04-10 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for utilizing ray-parameterized reverberation filters to facilitate interactive sound rendering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100371793B1 (ko) * 2001-03-26 2003-02-12 이성태 음원의 위치 결정 방법
JP5997007B2 (ja) * 2012-10-31 2016-09-21 日本電信電話株式会社 音源位置推定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Inkyu An, Doheon Lee, Jung-woo Choi, Dinesh Manocha, and Sung-eui Yoon, "Diffraction-aware sound localization for a non-line-of-sight source," arXiv preprint arXiv:1809.07524, 2018.(2018. 09. 20.) 사본 1부.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115825867A (zh) * 2023-02-14 2023-03-21 杭州兆华电子股份有限公司 一种非视距声源定位方法

Also Published As

Publication number Publication date
US20200225344A1 (en) 2020-07-16
KR102174598B1 (ko) 2020-11-05
US11353581B2 (en) 2022-06-07

Similar Documents

Publication Publication Date Title
KR102174598B1 (ko) 회절 인지를 통한 비가시선 음원 위치 추적 방법 및 시스템
Wabnitz et al. Room acoustics simulation for multichannel microphone arrays
US10679407B2 (en) Methods, systems, and computer readable media for modeling interactive diffuse reflections and higher-order diffraction in virtual environment scenes
Shih et al. Occupancy estimation using ultrasonic chirps
Schissler et al. Interactive sound propagation and rendering for large multi-source scenes
An et al. Reflection-aware sound source localization
Vorländer Computer simulations in room acoustics: Concepts and uncertainties
US9977644B2 (en) Methods, systems, and computer readable media for conducting interactive sound propagation and rendering for a plurality of sound sources in a virtual environment scene
Ba et al. L1 regularized room modeling with compact microphone arrays
US20110317522A1 (en) Sound source localization based on reflections and room estimation
JP6330200B2 (ja) 音源位置推定装置、移動体および移動体の制御方法
US9069065B1 (en) Audio source localization
An et al. Diffraction-aware sound localization for a non-line-of-sight source
An et al. Diffraction-and reflection-aware multiple sound source localization
Tervo et al. Estimation of reflective surfaces from continuous signals
Schröder et al. Real-time hybrid simulation method including edge diffraction
Antonacci et al. Two-dimensional beam tracing from visibility diagrams for real-time acoustic rendering
Charalampous et al. Sound propagation in 3D spaces using computer graphics techniques
Gala et al. Multi-sound-source localization using machine learning for small autonomous unmanned vehicles with a self-rotating bi-microphone array
Saqib et al. A framework for spatial map generation using acoustic echoes for robotic platforms
CN111812586A (zh) 一种采用听音定位技术实时监测目标物体运动轨迹的方法
KR102105752B1 (ko) 반사 인지를 통한 음원 위치 추적 방법 및 시스템
Brunetto et al. The Audio-Visual BatVision Dataset for Research on Sight and Sound
Kapralos et al. Acoustical diffraction modeling utilizing the Huygens-Fresnel principle
Kapralos et al. Sonel mapping: a probabilistic acoustical modeling method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right