KR102244175B1 - 드론 비행 제어 - Google Patents

드론 비행 제어 Download PDF

Info

Publication number
KR102244175B1
KR102244175B1 KR1020187021574A KR20187021574A KR102244175B1 KR 102244175 B1 KR102244175 B1 KR 102244175B1 KR 1020187021574 A KR1020187021574 A KR 1020187021574A KR 20187021574 A KR20187021574 A KR 20187021574A KR 102244175 B1 KR102244175 B1 KR 102244175B1
Authority
KR
South Korea
Prior art keywords
drone
audio signals
interest
rotor
noise
Prior art date
Application number
KR1020187021574A
Other languages
English (en)
Other versions
KR20180108618A (ko
Inventor
에릭 비제르
래훈 김
카스티요 리카르도 데 헤수스 베르날
슈화 장
라구베르 페리
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20180108618A publication Critical patent/KR20180108618A/ko
Application granted granted Critical
Publication of KR102244175B1 publication Critical patent/KR102244175B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/005—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/02—Non-electrical signal transmission systems, e.g. optical systems using infrasonic, sonic or ultrasonic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/24—Structural combinations of separate transducers or of two parts of the same transducer and responsive respectively to two or more frequency ranges
    • H04R1/245—Structural combinations of separate transducers or of two parts of the same transducer and responsive respectively to two or more frequency ranges of microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • B64C2201/146—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Selective Calling Equipment (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

드론 시스템 및 방법. 오디오 신호들은 드론 상의 로케이션에 대하여 포지셔닝된 하나 이상의 마이크로폰들을 통해 수신되고, 오디오 신호들 중 하나 이상은 관심있는 것으로 식별된다. 그 후, 드론의 비행 특성들은 관심있는 오디오 신호들에 기초하여 제어된다.

Description

드론 비행 제어
본 출원은 2016 년 1 월 28 일자로 출원된 미국 가출원 제 62/288,351 호의 이점을 청구하며, 그 전체 내용은 참조에 의해 본원에 통합된다.
본 개시는 드론 (drone) 들을 제어하는 기법들에 관한 것이다.
때때로 드론이라고 불리는 무인 항공기들은 점점 더 저렴해지고 더 유능해졌으며, 그 사용이 폭발적으로 증가하였다. 드론들은 택배 배달, 환경 모니터링 및 교통 통제에 사용하기 위해 홍보되고 있지만, 주로 비디오 또는 스틸 사진 이미지들을 캡처하는데 사용된다. 현재까지, 드론으로 오디오 신호들을 캡처하는 것은 매우 어려웠다. 그 이유 중 일부는, 드론들이 통상적으로 사운드의 소스와 상당한 거리를 두고 동작한다는 것이다. 또한, 드론에 의해 캡처된 임의의 오디오 신호는 모터들 및 로터들의 잡음에 의해, 그리고 바람의 난기류로 인해 열화된다. 한 가지 해결책은, (예컨대, 원격 조종기 상의) 별도의 마이크로폰을 통해 오디오 신호들을 캡처한 다음, 캡처된 오디오 신호를 드론에 의해 캡처된 비디오에 추가하는 것이다. 그러나, 드론과 마이크로폰 사이의 레이턴시 문제들로 인해, 오디오 신호와 비디오를 동기화하는 것은 어려울 수 있다.
일부 예들에서, 본 개시는 오디오 소스들로부터 수신된 오디오 신호들을 통해 드론의 비행 특성들을 제어하기 위한 기법들을 기술한다.
일 예에서, 방법은 드론 상의 로케이션에 대하여 포지셔닝된 하나 이상의 마이크로폰들을 통해 오디오 신호들을 수신하는 단계, 관심있는 오디오 신호들을 식별하는 단계, 및 관심있는 오디오 신호들에 기초하여 드론의 비행 특성들을 제어하는 단계를 포함한다.
다른 예에서, 비휘발성 컴퓨터 판독가능 저장 매체는 실행될 경우, 하나 이상의 프로세서들로 하여금, 드론 상의 로케이션에 대하여 포지셔닝된 하나 이상의 마이크로폰들을 통해 오디오 신호들을 수신하게 하고, 관심있는 오디오 신호들을 식별하게 하고, 그리고 관심있는 오디오 신호들에 기초하여 드론의 비행 특성들을 제어하게 한다.
또 다른 예에서, 드론 원격 조종기는 적어도 하나의 프로세스, 수신기, 송신기 및 명령들을 저장한 비휘발성 컴퓨터 판독가능 저장 매체를 포함하며, 명령들은 적어도 하나의 프로세서에 의해, 드론에 의해 수신된 오디오 신호들을 나타내는 오디오 신호 정보를 수신하고, 오디오 신호 정보에 기초하여, 관심있는 하나 이상의 오디오 신호들을 식별하고, 그리고 관심있는 오디오 신호들에 기초하여 드론의 비행 특성들을 제어하도록 실행가능하다.
또 다른 예에서, 드론은 프로세서, 복수의 마이크로폰들, 수신기, 송신기 및 명령들을 저장한 비휘발성 컴퓨터 판독가능 저장 매체를 포함하며, 명령들은 프로세서에 의해, 마이크로폰들을 통해 오디오 신호들을 수신하고, 관심있는 오디오 신호들을 식별하고, 그리고 관심있는 오디오 신호들에 기초하여 드론의 비행 특성들을 제어하도록 실행가능하다.
하나 이상의 예들의 상세들이 첨부 도면들 및 하기의 설명에 개시된다. 다른 특징들, 목적들, 및 이점들은 그 설명 및 도면들로부터, 그리고 청구항들로부터 명백할 것이다.
도 1 은 본 개시의 하나 이상의 기법들에 따라, 드론의 비행 특성들을 제어하는 드론 비행 제어 시스템을 도시한다.
도 2 는 본 개시의 하나 이상의 기법들에 따라, 드론의 비행 특성들을 제어하기 위한 기법을 예시하는 흐름도이다.
도 3 은 본 개시의 하나 이상의 기법들에 따라, 도 1 의 드론에 대한 하나의 예시적인 접근법에 대한 개념도이다.
도 4 는 본 개시의 하나 이상의 기법들에 따라, 도 1 의 드론 원격 조종기에 대한 하나의 예시적인 접근법에 대한 개념도이다.
도 5 는 본 개시의 하나 이상의 기법들에 따라, 도 1 의 드론에 대한 다른 예시적인 접근법에 대한 개념도이다.
도 6 은 본 개시의 하나 이상의 기법들에 따라, 오디오 소스로부터 수신된 오디오 신호의 품질을 증가시키기 위해 드론의 비행 특성들을 제어하기 위한 기법을 예시하는 흐름도이다.
도 7 은 본 개시의 하나 이상의 기법들에 따라, 수신된 오디오 신호에서 잡음 소스들의 기여도를 감소시키기 위해 드론의 비행 특성들을 제어하기 위한 기법을 예시하는 흐름도이다.
도 8 은 본 개시의 하나 이상의 기법들에 따라, 좌측 및 우측 채널들을 갖는 드론 오디오 신호의 스테레오 레코딩을 도시하는 예시적인 스펙트로그램이다.
도 9 는 본 개시의 하나 이상의 기법들에 따라, 오디오 신호의 드론에 의한 스테레오 레코딩의 좌측 및 우측 채널들 사이의 예시적인 위상차 플롯을 나타낸다.
도 10 은 본 개시의 하나 이상의 기법들에 따라, 로터 잡음을 비정상의 고조파 간섭으로서 나타내는 스펙트로그램이다.
도 11 은 본 개시의 하나 이상의 기법들에 따라, 로터 잡음의 영향을 감소시키기 위한 기법을 예시하는 흐름도이다.
도 12 는 본 개시의 하나 이상의 기법들에 따라, 도 10 의 오디오 스펙트럼을 워핑하는 것을 나타내는 스펙트로그램이다.
도 13 은 본 개시의 하나 이상의 기법들에 따라, 도 11 의 기법의 적용 후에 도 10 의 오디오 스펙트럼을 나타내는 스펙트로그램이다.
도 14 는 본 개시의 하나 이상의 기법들에 따라, 트래킹되고 있는 타겟에 의해 생성된 오디오 신호들의 신호 품질을 향상시키는 기법을 나타내는 흐름도이다.
도 15 는 본 개시의 하나 이상의 기법들에 따라, 도 1 의 드론에 마이크로폰들을 추가하기 위한 하나의 예시적인 접근법의 개념도이다.
도 16 는 본 개시의 하나 이상의 기법들에 따라, 로터들 또는 카메라에 대한 드론 상의 마이크로폰들의 배치를 도시하는 개념도이다.
또한, 도 17a 내지 도 17c, 도 18a 내지 도 18c, 도 19a 및 19b 는 본 개시의 하나 이상의 기법들에 따라, 드론 (12) 의 다양한 구성들에 따라 신호 품질을 유지하기 위한 드론 (12) 의 움직임을 도시한다.
도 20a 및 도 20b 는 본 개시의 하나 이상의 기법들에 따라, 다중 채널 오디오 신호 출력 및 공유 저주파수 채널을 갖는 다중-포커스 네스트형 포물선 구조 (600) 를 도시한다.
도 21a 및 도 21b 는 본 개시의 하나 이상의 기법들에 따라, 다중-마이크로폰 오디오 신호 캡처를 위한 육각형-형상의 포물선 반사면 (700) 을 도시한다.
드론에 대한 비행 제어는 양방향 원격측정 링크들을 통해 비행된 GPS (Global Positioning Satellite) 가능 자동조종 시스템들로부터, 원격 조종기에 반응하는 기본 안정화 시스템까지의 모든 범위에 이른다. 본 개시는 드론의 부근에서 수신된 오디오 신호들에 기초하여 드론의 비행 특성들을 제어하기 위한 시스템 및 방법을 설명한다. 각각의 오디오 신호는 하나 이상의 오디오 소스들에 의해 생성될 수도 있다. 드론들은 로터 잡음부터 바람 잡음까지의 범위인, 다수의 자체 생성된 잡음 소스들을 갖는다. 본 개시에서, 자체 생성된 잡음의 영향을 감소시키고 관심있는 오디오 신호들의 신호대 잡음비를 증가시키기 위한 다수의 방법이 설명된다. 예를 들어, 하나 이상의 마이크로폰들을 갖는 드론은 자체 생성된 잡음을 고려하여 특정 오디오 소스들로부터의 오디오 신호 품질을 향상시키도록 포지셔닝될 수도 있다. 다른 예에서, 드론 상의 마이크로폰들은 자체 생성된 잡음과 관련하여 오디오 신호 품질을 향상시키기 위해 드론 상의 잡음 소스들에 대하여 포지셔닝된다.
또한, 드론 부근에서 수신된 오디오 신호들의 오디오 신호 품질을 향상시키기 위해 마이크로폰들을 포지셔닝하기 위한 시스템 및 방법이 설명된다. 하나의 예시적인 접근법에서, 오디오 소스가 식별되고, 그 오디오 소스로부터 수신된 오디오 신호는 드론의 일부 상의 자체 생성된 잡음을 고려하여 오디오 소스로부터의 오디오 신호의 오디오 신호 품질을 향상시키도록 수정된다. 이러한 하나의 예시적인 접근법에서, 오디오 소스로부터 나오는 오디오 신호에 대하여 도달 방향 (DOA) 이 결정되고, 오디오 소스로부터 캡처된 오디오 신호를 향상시키기 위해 빔 포밍이 사용된다. 일부 예시적인 접근법들에서, 위상차 플롯은 사용자에게 오디오 소스들의 선택을 제시하는데 사용되고, 사용자는 위상차 플롯으로부터의 오디오 소스를 관심있는 타겟으로서 선택한다. 이러한 일부 예시적인 접근법들에서, 드론은 관심있는 타겟에 대한 자신의 배향 또는 위치를 변경하여 타겟으로부터의 오디오 신호를 드론의 자체 생성된 잡음으로부터 분리하도록 지향된다. 위상차 플롯은 관심있는 신호의 도달 방향을 디스플레이하는 한 가지 방식이다. 다른 시간 도메인 또는 주파수 도메인 접근법들은 자체 생성된 잡음의 존재시 오디오 신호들의 DOA들을 결정하고 디스플레이하기 위해 또한 사용될 수도 있다.
도 1 은 본 개시의 하나 이상의 기법들에 따라, 드론의 비행 특성들을 제어하는 드론 비행 제어 시스템을 도시한다. 도 1 의 예시적인 접근법에서, 드론 비행 제어 시스템 (10) 은 통신 링크 (16) 를 통해 드론 원격 조종기 (14) 에 통신가능하게 접속된 드론 (12) 을 포함한다. 하나의 예시적인 접근법에서, 통신 링크 (16) 는 무선 통신 링크이다.
도 1 의 예시적인 접근법에서, 드론 (12) 은 하나 이상의 로터들 (20), 하나 이상의 마이크로폰들 (22) 및 하나 이상의 카메라들 (24) 을 포함한다. 이러한 하나의 예시적인 접근법에서, 카메라들 (24) 및 마이크로폰들 (22) 에 의해 캡처된 이미지들, 비디오 및 오디오는 이미지들, 비디오 및 오디오가 드론 원격 조종기 (14) 에서 보여지고 들려질 수도 있도록, 링크 (16) 를 통해 드론 원격 조종기 (14) 로 송신될 수도 있다. 하나의 예시적인 접근법에서, 드론 원격 조종기 (14) 는 디스플레이 (30), 스피커들 (32) 및 입력/출력 (I/O) 인터페이스 (34) 를 포함한다. 이러한 하나의 예시적인 접근법에서, 디스플레이 (30) 는 터치스크린 디스플레이이다.
하나의 예시적인 접근법에서, 마라톤을 뛰는 주자는 자신의 경주에 대한 비디오를 원한다. 주자 (즉, 도 1 의 관심있는 타겟 (타겟 (18)) 는 주기적으로 소리를 지르거나 또는 주기적으로 경적을 울리는 비퍼 (beeper) 와 같은 사운드 생성 디바이스를 작동시킴으로써 오디오 신호들을 방출한다. 하나의 예시적인 접근법에서, 오디오 신호들은 드론 (12) 에 의해 캡처되고 트래킹된다. 이러한 하나의 예시적인 접근법에서, 타겟 (18) 에 의해 또는 타겟 (18) 의 부근에서 방출되는 오디오 신호들 (19) 은 드론 (12) 에 의해 수신되고, 처리되어 드론 (12) 의 비행 특성들을 제어하는데 사용된다. 일부 예들에서, 주자에 대응하는 오디오 신호가 식별되고 드론 상의 마이크로폰이 주자에 대하여 포지셔닝되어 캡처되는 오디오 신호들의 품질을 향상시키고 관심있는 오디오 신호들에 대한 주변 잡음의 영향을 감소시킨다.
다른 그러한 예에서, 타겟 (18) 에 의해 또는 타겟 (18) 의 부근에서 방출되는 오디오 신호들 (19) 은 드론 (12) 에 의해 수신되고, 처리되어 링크 (16) 를 통해 드론 원격 조종기 (14) 로 송신된다. 그 후, 드론 원격 조종기 (14) 는 수신된 오디오 신호들을 사용하여 드론 (12) 의 비행 특성들을 제어하는데 사용되는 명령들을 개발한다. 일부 이러한 예들에서, 사용자는 캡처된 오디오 신호들의 표현에서 관심있는 오디오 신호를 식별하고, 드론 상의 마이크로폰은 관심있는 신호의 생성기에 대하여 포지셔닝되어 오디오 신호들의 품질을 향상시키거나 관심있는 신호에 대한 주변 잡음의 영향을 감소시킨다.
하나의 예시적인 접근법에서, 마이크로폰 (22) 은 로터들 (20) 아래에 로케이팅되며, 차단물 및 차폐물에 의해 직접적인 로터 잡음으로부터 보호된다. 다른 예시적인 접근법에서, 마이크로폰들 (22) 은 카메라(들) (24) 에 인접하여 배치된다. 또 다른 예시적인 접근법에서, 마이크로폰들 (22) 은 드론 (12) 의 바디 위 아래에 로케이팅되고, 방음재 및 차폐물에 의해 보호된다. 또 다른 예시적인 접근법에서, 카메라 (24) 가 관심있는 타겟을 포인팅할 때 마이크로폰들 (22) 이 (로터들 (20) 과 같은) 드론 (12) 의 잡음 소스로부터 최대 분리를 위해 포지셔닝되도록, 카메라 (24) 가 마이크로폰들 (22) 에 대하여 배치된다.
하나의 예시적인 접근법에서, 카메라들 (24) 중 하나 이상은 스위블 (swivel) 에 연결되고, 드론 바디에 독립적으로 회전할 수 있다. 이러한 하나의 예시적인 접근법에서, 하나 이상의 마이크로폰들 (22) 은 하나 이상의 카메라들 (24) 의 각각에 부착되고 카메라들과 함께 회전한다.
하나의 예시적인 접근법에서, 더 많은 마이크로폰들 (22) 중 3 개의 마이크로폰들이 오디오 소스를 3 차원으로 배치하도록 포지셔닝된다. 이러한 예시적인 실시형태에서, 마이크로폰들 (22) 은 마이크로폰들 (22) 중 하나 이상이 드론 바디에 대하여 위치를 변경할 수 있도록, 위치된다.
통신 링크 (16) 는 수신된 오디오 신호 데이터를 드론 (12)으로부터 드론 원격 조종기 (14) 로 이동시킬 수 있는 임의의 유형의 매체 또는 디바이스를 포함할 수도 있다. 일 예에서, 링크 (16) 는 소스 디바이스 (12) 가 수신된 오디오 신호 데이터를 직접 드론 원격 조종기 (14) 로 실시간으로 송신할 수 있게 하는 통신 매체를 포함할 수도 있다. 수신된 오디오 신호 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되고, 드론 원격 조종기 (14) 에 송신될 수도 있다. 통신 매체는 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적인 송신 라인들과 같은 임의의 무선 또는 유선 통신 매체를 포함할 수도 있다. 하나의 접근법에서, 통신 매체는 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷 기반 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들 또는 드론 (12) 과 드론 원격 조종기 (14) 사이의 통신을 용이하게 하는데 유용할 수도 있는 다른 임의의 장비를 포함할 수도 있다.
도 2 는 본 개시의 하나 이상의 기법들에 따라, 드론의 비행 특성들을 제어하기 위한 기법을 예시하는 흐름도이다. 도 2 의 흐름도에서, 오디오 신호들이 수신되고, 일부 예들에서, 오디오 레코딩 디바이스에 의해 레코딩된다 (100). 수신된 오디오 신호들은 분석되고, 수신된 오디오 신호들 중 하나 이상은 관심있는 오디오 신호들로서 식별된다 (102). 그 후, 드론 (12) 의 비행 특성들은 관심있는 오디오 신호들을 통해 제어된다 (104). 일부 예시적인 접근법들에서, 오디오 레코딩 디바이스는 드론 (12) 이고, 수신된 오디오 신호는 마이크로폰들 (22) 에 의해 캡처된다. 다른 예시적인 접근법들에서, 오디오 레코딩 디바이스는 드론 원격 조종기 (14) 이며, 수신된 오디오 신호는 드론 원격 조종기 (14) 에 연결된 마이크로폰들을 통해 캡처된다. 또 다른 예시적인 접근법들에서, 오디오 신호는 드론 (12) 또는 드론 원격 조종기 (14) 로부터 떨어진 마이크로폰들에 의해 캡처되고, 드론 (12) 또는 드론 원격 조종기 (14) 에 의해 레코딩된다.
하나의 예시적인 접근법에서, 드론 (12) 는 마이크로폰 (22) 에 도달하는 사운드가 그 도달 방향을 변경하도록, 마이크로폰들 (22) 을 주기적으로 이동시킨다 (106). 하나의 예시적인 접근법에서, 마이크로폰의 로케이션은 드론의 바디에 대하여 마이크로폰 (22) 을 회전시킴으로써 변경된다. 다른 예시적인 접근법들에서, 오디오 소스들에 대한 마이크로폰의 로케이션은 드론 (12) 을 공간에서 이동 시키거나 드론 (12) 을 회전시킴으로써 변경된다. 관심있는 임의의 오디오 신호들이 존재하는지를 결정하기 위해 검사가 수행되며 (108), 만약 그렇다면, 제어는 102 로 이동하여, 수신된 오디오 신호들이 분석되고, 수신된 오디오 신호들 중 하나 이상은 관심있는 오디오 신호들로서 식별된다.
도 3 은 본 개시의 하나 이상의 기법들에 따라, 도 1 의 드론에 대한 하나의 예시적인 접근법에 대한 개념도이다. 도 3 의 예시적인 접근법에서, 드론 (12) 은 메모리 (42), 하나 이상의 마이크로폰들 (22), 수신기 (44) 및 송신기 (46) 에 접속된 하나 이상의 프로세서들 (40) 을 포함한다. 이러한 하나의 예시적인 접근법에서, 드론 (12) 은 링크 (16) 를 통해 수신기 (44) 및 송신기 (46) 를 경유하여 드론 원격 조종기 (14) 과 통신한다. 하나의 예시적인 접근법에서, 마이크로폰들 (22) 은 드론의 바디에 접속된다. 다른 예시적인 접근법들에서, 마이크로폰들 (22) 은 드론 (12) 과는 별개의 로케이션들에 배치되고, 수신된 오디오 신호를 나타내는 신호를 유선 또는 무선 통신 링크 (48) 를 통해 드론 (12) 에 송신한다.
도 4 는 본 개시의 하나 이상의 기법들에 따라, 도 1 의 드론 원격 조종기에 대한 하나의 예시적인 접근법에 대한 개념도이다. 도 4 의 예시적인 접근법에서, 드론 원격 조종기 (14) 는 디스플레이 (30), 하나 이상의 스피커들 (32), 입력/출력 인터페이스 (34), 메모리 (52), 수신기 (54) 및 송신기 (56) 에 접속된 하나 이상의 프로세서들 (50) 을 포함한다. 이러한 하나의 예시적인 접근법에서, 드론 원격 조종기 (14) 는 또한 유선 또는 무선 링크를 통해 하나 이상의 마이크로폰들 (58) 에 부착된다. 이러한 하나의 예시적인 접근법에서, 드론 (12) 은 링크 (16) 를 통해 수신기 (54) 및 송신기 (56) 를 경유하여 드론 원격 조종기 (14) 와 통신한다. 하나의 예시적인 접근법에서, 마이크로폰들 (58) 은 드론 원격 조종기 (14) 의 바디에 접속된다. 다른 예시적인 접근법들에서, 마이크로폰들 (58) 은 드론 원격 조종기 (14) 과는 별개의 로케이션들에 배치되고, 수신된 오디오 신호를 나타내는 신호를 유선 또는 무선 통신 링크 (60) 를 통해 드론 원격 조종기 (14) 에 송신한다.
하나의 예시적인 접근법에서, 마이크로폰들 (22) 은 타겟 (18) 으로부터 오디오 신호를 수신하고, 프로세서들 (40) 중 하나 이상은 수신된 오디오 신호를 나타내는 데이터를 메모리 (42) 에 저장한다. 이러한 하나의 예시적인 접근법에서, 메모리 (42) 에 저장된 데이터는 분석되고 향상되며, 향상된 데이터를 나타내는 데이터는 드론 원격 조종기 (14) 에 송신된다. 이러한 하나의 예시적인 접근법에서, 프로세서 (50) 는 오디오 신호 데이터를 수신하고, 수신된 오디오 신호 데이터를 메모리 (52) 에 저장한다. 그 후에, 프로세서 (50) 는 향상된 오디오 신호 데이터를 나타내는 데이터를 디스플레이 (30) 상에 디스플레이하고, 관심있는 오디오 신호들을 선택하는 사용자 입력을 사용자 인터페이스 (예를 들어, I/O 인터페이스 (34)) 를 통해 수신하고, 선택된 관심있는 오디오 신호들의 표시를 드론 (12) 에 송신한다. 다른 이러한 예시적인 접근법에서, 디스플레이 (30) 는 터치스크린 디스플레이이다. 드론 원격 조종기 (14) 는 향상된 오디오 신호 데이터를 나타내는 데이터를 터치스크린 디스플레이 (30) 내에 디스플레이하고, 관심있는 오디오 신호들을 선택하는 사용자 입력을 터치스크린 디스플레이 (30) 를 통해 수신하고, 선택된 관심있는 오디오 신호들의 표시를 드론 (12) 에 송신한다.
다른 예시적인 접근법에서, 드론 (12) 의 프로세서들 (40) 중 하나 이상은 수신된 오디오 신호들 전부 또는 일부를 링크 (16) 를 통해 드론 원격 조종기 (14) 로 포워딩한다. 드론 원격 조종기 (14) 의 프로세서 (50) 는 수신된 오디오 신호들을 메모리 (52) 에 저장하고, 데이터를 디스플레이 (30) 상에 디스플레이하기 전에 데이터를 분석하고 향상시킨다. 이러한 하나의 예시적인 접근법에서, 드론 원격 조종기 (14) 는 향상된 오디오 신호 데이터를 나타내는 데이터를 디스플레이 (30) 상에 디스플레이하고, 관심있는 오디오 신호들을 선택하는 사용자 입력을 사용자 인터페이스 (예를 들어, I/O 인터페이스 (34)) 를 통해 수신하고, 선택된 관심있는 오디오 신호들의 표시를 드론 (12) 에 송신한다. 다른 이러한 예시적인 접근법에서, 상술한 바와 같이, 디스플레이 (30) 는 터치스크린 디스플레이이다. 드론 원격 조종기 (14) 는 향상된 오디오 신호 데이터를 나타내는 데이터를 터치스크린 디스플레이 (30) 내에 디스플레이하고, 관심있는 오디오 신호들을 선택하는 사용자 입력을 터치스크린 디스플레이 (30) 를 통해 수신하고, 선택된 관심있는 오디오 신호들의 표시를 드론 (12) 에 송신한다.
또 다른 예시적인 접근법에서, 마이크로폰들 (22) 에서 수신된 오디오 신호들을 나타내는 데이터는 마이크로폰들 (58) 에서 수신된 오디오 신호들과 결합되어 시스템 (10) 의 오디오 환경을 나타내는 오디오 신호들에 도달한다. 이러한 하나의 예시적인 접근법에서, 드론 원격 조종기 (14) 의 하나 이상의 프로세서들 (50) 은 마이크로폰들 (22) 에 의해 수신된 오디오 신호들을 나타내는 데이터 및 마이크로폰들 (58) 에 의해 수신된 오디오 신호들을 나타내는 데이터를 수신하고, 프로세싱하고, 그리고 메모리 (52) 에 저장한다. 이러한 하나의 예시적인 접근법에서, 드론 원격 조종기 (14) 는 결합된 오디오 신호들을 나타내는 데이터를 디스플레이 (30) 내에 디스플레이하고, 관심있는 오디오 신호들을 선택하는 사용자 입력을 사용자 인터페이스 (예를 들어, I/O 인터페이스 (34)) 를 통해 수신하고, 선택된 관심있는 오디오 신호들의 표시를 드론 (12) 에 송신한다. 다른 이러한 예시적인 접근법에서, 상술한 바와 같이, 디스플레이 (30) 는 터치스크린 디스플레이이다. 이러한 접근법에서, 드론 조종기 (14) 는 결합된 오디오 신호들을 나타내는 데이터를 터치스크린 디스플레이 (30) 내에 디스플레이하고, 관심있는 오디오 신호들을 터치스크린 디스플레이 (30) 상에서 선택하는 사용자 입력을 터치스크린 디스플레이 (30) 를 통해 수신하고, 선택된 관심있는 오디오 신호들의 표시를 드론 (12) 에 송신한다.
도 5 는 본 개시의 하나 이상의 기법들에 따라, 도 1 의 드론에 대한 다른 예시적인 접근법에 대한 개념도이다. 도 5 의 예시적인 접근법에서, 드론 (12) 은 메모리 (42) 에, 하나 이상의 마이크로폰들 (22) 에, 하나 이상의 카메라들 (24) 에, 수신기 (44) 에 그리고 송신기 (46) 에 접속된 하나 이상의 프로세서들 (40) 을 포함한다. 이러한 하나의 예시적인 접근법에서, 드론 (12) 은 링크 (16) 를 통해 수신기 (44) 및 송신기 (46) 를 경유하여 드론 원격 조종기 (14) 과 통신한다. 하나의 예시적인 접근법에서, 마이크로폰들 (22) 은 드론 (12) 의 바디에 접속된다. 다른 예시적인 접근법들에서, 마이크로폰들 (22) 은 드론 (12) 과는 별개의 로케이션들에 배치되고, 수신된 오디오 신호를 나타내는 신호를 유선 또는 무선 통신 링크 (48) 를 통해 드론 (12) 에 송신한다. 또 다른 예시적인 접근법에서, 마이크로폰들 (22) 은 카메라들 (24) 에 고정된 관계로 장착되며, 일부 그러한 접근법들에서, 마이크로폰들 (22) 및 카메라들 (24) 은 드론 (12) 과 연관된 오디오 소스들에 대한 마이크로폰들 (22) 의 배치를 변경하기 위해, 드론 (12) 의 바디에 대하여 회전한다.
도 2 의 논의에서 전술된 바와 같이, 시스템 (10) 은 드론 (12), 드론 원격 조종기 (14) 및/또는 다른 사운드 캡처 디바이스에 의해 수신된 오디오 신호들에 따라 드론 (12) 의 비행 특성들을 제어할 수도 있다. 도 6 은 본 개시의 하나 이상의 기법들에 따라, 오디오 소스로부터 수신된 오디오 신호의 품질을 증가시키기 위해 드론의 비행 특성들을 제어하기 위한 기법을 예시하는 흐름도이다. 하나의 예시적인 접근법에서, 이는 잡음 소스들로부터의 오디오 신호들의 존재시 관심있는 타겟으로부터 오디오 신호들을 더 잘 캡처하도록, 임의의 잡음 소스들 및 관심있는 타겟에 대하여 드론을 포지셔닝하는 것을 수반한다.
도 6 의 흐름도에서, 드론 원격 조종기 (14) 의 프로세서 (50) 는 수신된 오디오 신호들의 도달 방향 (DOA) 플롯을 디스플레이 (30) 상에 표시한다 (120). 사용자는 원하는 오디오 소스로부터 수신된 오디오 신호와 연관된 DOA 플롯 상의 오디오 신호를 식별하고 (122), 원하는 오디오 소스 (124) 로부터 수신된 오디오 신호의 품질을 증가시키도록 드론 (12) 을 배향시킬 것을 시스템에 명령한다 (124). 이러한 하나의 예시적인 접근법에서, 드론 원격 조종기 (14) 의 프로세서 (50) 는 원하는 오디오 소스로부터 수신된 오디오 신호의 신호대 잡음비를 증가시키도록 드론 (12) 을 배향한다. 다른 하나의 예시적인 접근법에서, 드론 원격 조종기 (14) 의 프로세서 (50) 는 원하는 오디오 소스로부터 수신된 오디오 신호의 크기를 증가시키거나 또는 DOA 가 잡음 소스의 DOA 영역 내에 들어가는 것을 회피하도록, 드론 (14) 을 배향한다. 다른 품질 측정들이 또한, 드론 (12) 을 배향하기 위해 사용될 수 있다. 하나의 예시적인 접근법에서, 드론 원격 조종기 (14) 의 프로세서 (50) 는 드론 (12) 의 프로세서 (40) 에 원하는 오디오 소스로부터의 오디오 신호의 품질을 증가시킬 것을 지시하고, 프로세서 (40) 는 드론 (12) 의 적절한 배향들을 결정한다.
하나의 예시적인 접근법에서, 마이크로폰들 (22) 은 드론 (12) 상의 포인트에 대하여 마이크로폰을 이동시키게 하는 메커니즘을 통해 드론 (12) 에 장착된다. 하나의 접근법에서, 마이크로폰들은 로터들 (20) 을 통해 인출된 평면에 대략 평행한 플래터 상에 로케이팅된다. 이러한 하나의 접근법에서, 플래터는 드론 (12) 상의 포인트들에 대한 마이크로폰들 (22) 의 배향을 변경시키도록 회전될 수 있다. 이러한 하나의 접근법에서, 카메라 (24) 는 또한 플래터에 장착되고, 드론 (12) 의 배향, 자세 또는 로케이션을 변경하지 않고 회전될 수 있다. 이러한 하나의 접근법에서, 시스템 (10) 은 드론 (12) 의 움직임들 및 드론 (12) 아래의 플래터에 부착된 마이크로폰들 (22) 의 움직임들을 통해 오디오 소스에 대하여 드론 (12) 을 배향한다.
하나의 예시적인 접근법에서, 마이크로폰들 (22) 및/또는 카메라들 (24) 은 드론 (12) 의 바디에 대하여 다차원들로 움직임을 허용하는, 드론 (12) 아래에 매달린 메커니즘에 장착된다. 이러한 하나의 접근법에서, 시스템 (10) 은 드론 (12) 의 움직임들 및 드론 (12) 아래에 매달린 마이크로폰들 (12) 의 움직임들을 통해 오디오 소스에 대하여 드론 (22) 을 배향한다.
도 7 은 본 개시의 하나 이상의 기법들에 따라, 수신된 오디오 신호에서 잡음 소스들의 기여도를 감소시키기 위해 드론의 비행 특성들을 제어하기 위한 기법을 예시하는 흐름도이다. 도 7 의 흐름도에서, 드론 원격 조종기 (14) 의 프로세서 (50) 는 수신된 오디오 신호들의 도달 방향 (DOA) 플롯을 디스플레이 (30) 상에 디스플레이한다 (140). (사용자로부터의 입력으로 또는 입력 없이) 시스템 (10) 은 잡음 소스들로부터 기인하는 DOA 플롯 상의 수신된 오디오 신호들 중 하나 이상을 식별하고 (142), 관심있는 오브젝트들로부터 수신된 오디오 신호들에 대한 잡음 소스들의 영향을 최소화하도록 드론을 배향시킬 것을 드론 (12) 에 명령한다 (144). 하나의 예시적인 접근법에서, 프로세서들 (40 및/또는 50) 은 공통 잡음 소스들 (예를 들어, 로터 잡음 및 바람 잡음) 로부터의 오디오 신호 기여들을 식별하고, 하나 이상의 다른 오디오 소스들을 원하는 오디오 소스들로서 취급한다. 그 후에, 드론 (12) 은 원하는 오디오 소스들로부터 수신된 오디오 신호들을 향상하도록 배향된다. 이러한 하나의 예시적인 접근법에서, 시스템 (10) 은 가장 높은 전력의 비-잡음 소스를 원하는 신호로 간주한다. 다른 예시적인 접근법에서, 원하는 오디오 소스들로부터의 오디오 신호들은 오디오 소스를 원하는 오디오 소스로서 식별하는데 사용될 수 있는 특성을 가지며, 시스템 (10) 은 그 특성을 갖는 오디오 신호들을 모니터링한다. 그러한 하나의 예시적인 접근법에서, 관심있는 오디오 신호들의 데이터 사전 (dictionary) 은 관심있는 타겟들로부터의 오디오 신호들을 식별하는데 사용된다. 도 6 과 관련하여 전술한 것과 같은 기법들은, 선택된 잡음 소스의 수신된 오디오 신호들에 대한 기여를 감소시키는데 효과적이다.
도 8 은 본 개시의 하나 이상의 기법들에 따라, 좌측 및 우측 채널들을 갖는 드론 오디오 신호의 스테레오 레코딩을 도시하는 예시적인 스펙트로그램이다. 도 8 에 도시된 예에서, 스펙트로그램 (200) 은 좌측 채널 (202) 및 우측 채널 (204) 을 포함한다. 로터 잡음 (전형적인 드론 (12) 에서 전체 잡음에 대한 큰 기여자) 는 스펙트로그램 (200) 에서 시간에 따라 상대적으로 변하지 않는 것으로 도시된다. 바람 잡음은 스펙트로그램에서 일관된 낮은 주파수로 존재한다. 관심있는 오디오 신호들은 도 8 에서의 컬럼들로 도시된 오디오 신호들인 경향이 있다.
도 9 는 본 개시의 하나 이상의 기법들에 따라, 오디오 신호의 드론에 의한 스테레오 레코딩의 좌측 및 우측 채널들 사이의 예시적인 위상차 플롯을 나타낸다. 도 9 에 도시된 예에서, 위상차 플롯 (220) 은 3 개의 로터들 (20) 로부터의 로터 잡음 기여 (222) 및 음성의 인스턴스들의 기여들 (224) 을 포함한다. 하나의 예시적인 접근법에서, 널 필터링은 로터 잡음 기여들 (22) 을 필터링하기 위해 사용될 수도 있다. 특정 음성 기여 (224) 는 위상차 플롯 (220) 에서 원으로 표시된다.
도 8 의 스펙트로그램 (200) 및 도 9 의 위상차 플롯 (220) 에서, 일반적인 캡처된 오디오 신호로부터 관심있는 오디오 신호들을 분리하는 것이 가능하다. 도 8 및 도 9 에 도시된 예에서, 적어도 2 개의 마이크로폰들 (22) 또는 마이크로폰들 (58) 로, 일관된 DOA 범위 및 시간의 연속적인 활성화를 갖는 시간 및 주파수 포인트들을 식별할 수 있다. 이들 연속하는 부분들은 트래킹되고 0 으로 설정된다; 드론 (12) 은 그 밖의 모든 것을 레코딩한다. 도 8 및 도 9 에 도시된 예에서, 드론 로터들 (20) 의 로터 잡음 기여들 (222) 을 필터링하고, 나머지 레코딩된 음성 (224) 을 캡처할 수도 있다. 하나의 그러한 예시적인 접근법에서, 잡음 소스에 대응하는 영역 외부로 관심있는 신호를 이동시키기 위해, 마이크로폰들의 포지셔닝을 변경할 수도 있다.
도 10 은 본 개시의 하나 이상의 기법들에 따라, 로터 잡음을 비정상의 고조파 간섭으로서 나타내는 스펙트로그램이다. 도 10 에 도시된 예에서, 스펙트로그램 (300) 은 시간에 따른 주파수의 함수로서 오디오 신호를 디스플레이한다. 도 10 에 도시된 예에서, 로터 잡음은 (도 10 의 검은 선 (302) 에 의해 도시된 바와 같은) 주파수 f0 를 갖는다. 하나의 예시적인 접근법에서, 시스템 (10) 은 f0 주위의 스펙트럼을 워핑하고 결과적인 잡음 기여를 필터링함으로써 로터 잡음의 영향을 감소시킨다.
도 11 은 본 개시의 하나 이상의 기법들에 따라, 로터 잡음의 영향을 감소시키기 위한 기법을 예시하는 흐름도이다. 도 10 에서 증명되는 바와 같이, 이 예에서 로터 잡음은 (도 10 에서 검은 선 (302) 으로 도시된 바와 같은) 주파수 f0 를 중심으로 한다. 시스템 (10) 은 각 프레임에서 로터 잡음에 대한 주파수 f0 를 결정한다 (400). 하나의 예시적인 접근법에서, 시스템 (10) 은 로터 속도로부터 로터 잡음의 주파수 f0 를 결정한다 (주파수 f0 가 로터 속도의 함수이기 때문임). 다른 예시적인 접근법에서, 시스템 (10) 은 스펙트럼 분석을 이용하여 주파수 f0 를 결정한다. 즉, 로터 잡음의 연속적인 스펙트럼 피크들 사이의 주파수 갭을 발견하는 것이다. 대부분의 접근법들에서, 이는 로터 속도가 용이하게 액세스가능한 경우에만 실행된다.
그 후에, 시스템 (10) 은 주파수 f0 에 따라 오디오 신호의 스펙트럼을 워핑한다 (402). 하나의 예시적인 접근법에서, 시스템 (10) 은 드론의 전형적인 로터 속도에 상응할 수도 있는 공칭 주파수
Figure 112018073759161-pct00001
를 정의하고, 스케일
Figure 112018073759161-pct00002
로 크기 스펙트럼을 재샘플링함으로써 스펙트럼을 워핑하여, 프레임에서의 스펙트럼의 길이가 (N/2+1) 로부터
Figure 112018073759161-pct00003
(N/2+1) 로 변화하게 하며, 여기서, N 은 고속 푸리에 변환 (FFT) 의 크기이다. 하나의 예시적인 접근법에서, 재샘플링은, 예를 들어, 2 차 보간 (quadratic interpolation) 에 의해 수행된다. 워핑된 주파수 영역에서, 시스템 (10) 은 로터 잡음의 기여를 식별하고 제거하며 (404), 스펙트럼을 탈워핑 (unwarp) 한다 (406). 하나의 예시적인 접근법에서, 시스템 (10) 은 워핑된 스펙트럼을 스케일
Figure 112018073759161-pct00004
로 재샘플링함으로써 스펙트럼을 탈워핑한다.
도 12 는 본 개시의 하나 이상의 기법들에 따라, 도 10 의 오디오 스펙트럼을 워핑하는 것을 나타내는 스펙트로그램이다. 도 12 에 도시된 예에서, 오디오 스펙트럼 (300) 은 주파수 f0 (302) 및 공칭 주파수
Figure 112018073759161-pct00005
의 함수에 따라 워핑된다.
도 13 은 본 개시의 하나 이상의 기법들에 따라, 도 11 의 기법의 적용 후에 도 10 의 오디오 스펙트럼을 나타내는 스펙트로그램이다. 도 13 에 도시된 예에서, 시스템 (10) 은 도 12 의 오디오 스펙트럼 (340) 을 수정하여 로터 잡음을 감소시키거나 제거한다. 그 후에, 시스템 (10) 은 결과적인 필터링된 워핑된 스펙트럼을 도 11 의 설명에서 기술된 바와 같은 주파수 f0 (302) 및 공칭 주파수
Figure 112018073759161-pct00006
의 함수에 따라 탈워핑한다. 도 13 의 스펙트로그램 (360) 은 시스템 (10) 이 워핑된 오디오 스펙트럼 (340) 을 필터링하고 탈워핑한 후에, 오디오 신호의 스펙트럼을 도시한다.
도 9 로 리턴하여, 사운드 방출들에 의해 타겟 (18) 을 트래킹하려고 시도할 때, 로터 잡음 DOA 영역들을 회피하는 것이 바람직하다. 원하는 오디오 신호들이 로터 잡음 DOA 영역들로 크로스오버할 수도 있기 때문에, 드론 (12) 또는 드론 원격 조종기 (14) 가 드론 (12) 을 자동으로 포지셔닝하는 것이 유용하며, 따라서 트래킹된 타겟들 (18) 로부터 캡처된 오디오 신호들이 로터 잡음 DOA 라인들 외부에 체류한다. 일 접근법에서, 사용자는 DOA 플롯 (220) 에서 관심있는 오디오 신호들을 선택한다. 예를 들어, 도 9 에 도시된 예에서, (원 내부의) 최우측 음성 컴포넌트 (224) 를 트래킹하는 것이 바람직할 수도 있다.
하나의 예시적인 접근법에서, 사용자는 트래킹될 특정 오디오 신호 컴포넌트를 식별한다. 이러한 하나의 접근법에서, 사용자는 관심있는 오디오 신호 컴포넌트를 (도 9 에 도시된 것과 같이) 스마트폰의 터치스크린 상에 원으로 표시한다. 하나의 예시적인 접근법에서, 드론 (12) 은 이 정보를 수신하고, 오디오 소스에 대한 신호대 잡음비와 같은 품질 메트릭을 최대화하도록 드론을 포지셔닝한다. 일부 접근법들에서, 이는 드론이 자신의 마이크로폰들 (22) 을 로터 (20) 에 특정한 배향으로 배치하도록 회전하는 것을 요구할 수도 있다. 다른 예시적인 접근법들에서, 드론 (12) 은 타겟 (18) 에 더 인접하게 이동하거나, 타겟 (18) 과 드론 (12) 사이의 오브젝트들을 피하도록 높이를 변경해야할 수도 있다. 하나의 예시적인 접근법에서, 드론 (12) 은 원하는 오디오 신호 또는 신호들이 로터 DOA 라인들에 의해 점유된 위상차 플롯의 영역들로 넘어가게 하는, 오브젝트 (18) 로부터의 배향, 자세 및 거리를 유지하려고 시도한다. 하나의 예시적인 접근법에서, 시스템 (10) 은 원하는 오디오 신호 또는 신호들의 DOA 픽업 영역이 로터 DOA 영역들과 같은 특정 위상차 플롯 영역들 외부에 있게함으로써, 수신된 오디오 신호 품질을 최대화한다. 그러한 하나의 예시적인 접근법에서, 드론 (12) 은 관심있는 타겟으로부터 수신된 오디오 신호들 중 하나의 크기를 측정하고, 최종의 미리 정의된 시간 주기에 걸쳐 측정된 크기에 기초하여 평균 크기를 결정하고, 평균 크기가 값들의 범위 내에 있도록 관심있는 오브젝트에 대한 위치를 유지함으로써 관심있는 타겟을 뒤따른다. 하나의 이러한 접근법에서, 드론은 관심있는 타겟으로부터의 오디오 신호 및 다른 오디오 소스들로부터의 오디오 신호들의 DOA들의 분리를 유지하면서, 이를 수행한다. 하나의 예시적인 접근법에서, 드론 원격 조종기는 계산들의 일부 또는 전부를 수행하고, 드론 (12) 에 의해 사용되는 명령들을 송신하여 위치 및 배향을 변경시킨다.
도 14 는 본 개시의 하나 이상의 기법들에 따라, 트래킹되고 있는 타겟에 의해 생성된 오디오 신호들의 신호 품질을 향상시키는 기법을 나타내는 흐름도이다. 도 14 의 예시적인 접근법에서, 타겟 (18) 은 예를 들어, 말하는 것 또는 소리치는 것에 의해, 또는 잡음 소스를 사용하는 것에 의해 오디오 신호를 생성한다 (500). 생성된 오디오 신호에 대응하는 DOA 신호는 드론 원격 조종기 (14) 의 디스플레이 (30) 상에 디스플레이되고, 사용자는 타겟에 의해 생성된 오디오 신호에 대응하는 DOA 신호 영역을 선택한다 (502). 그 후, 드론 원격 조종기 (14) 는 선택된 DOA 영역을 잡음 소스들의 DOA 영역들로부터 멀어지게 하도록 위치 및 배향을 유지할 것을 드론에 명령한다 (504). 하나의 예시적인 접근법에서, 드론 (12) 은 타겟 (18) 에 의해 생성된 오디오 신호의 평균 크기와 일치하는 거리를 유지하면서, 타겟 (18) 을 뒤따른다.
하나의 예시적인 접근법에서, 생성된 오디오 신호는 사람의 청력 범위 밖에 있다. 하나의 이러한 접근법에서, 20 Hz 이하의 오디오 신호를 드론 (12) 이 뒤따른다. 또 다른 이러한 접근법에서, 20 kHz 이상의 오디오 신호를 드론 (12) 이 뒤따른다.
하나의 예시적인 접근법에서, 드론 (12) 은 카메라 (24) 에 의해 캡처된 이미지 및 마이크로폰들 (22) 에 의해 캡처된 오디오 신호 양자를 사용하여 타겟 (18) 을 트래킹한다. 하나의 이러한 접근법에서, 타겟 (18) 에 대한 거리, 배향 및 자세를 결정하기 위해 칼만 필터와 같은 센서 기여들을 결합하는 기법이 사용된다.
하나의 예시적인 접근법에서, 각각의 드론 (12) 은 관심있는 오디오 소스들의 사전을 보유한다. 드론 (12) 에 의해 수신된 오디오 신호들은 임의의 소스들이 식별되었는지를 결정하기 위해 오디오 소스들의 사전에 대하여 분석된다. 하나의 그러한 예시적인 접근법에서, 하나 이상의 오디오 소스들이 식별된다면, 그 DOA 는 드론 원격 조종기 (14) 에 전송된 메시지에서 강조된다. 다른 이러한 접근법에서, 우선순위가 각각의 오디오 소스에 할당되고, 드론 (12) 은 상술한 기법들을 사용하여 검출된 최고 우선순위 오디오 소스로부터의 오디오 신호들을 자동으로 향상시키고 강조한다. 하나의 예시적인 접근법에서, 사용자들은 템플릿을 통해 새로운 대표 오디오 소스들을 추가할 수 있다.
도 15 는 본 개시의 하나 이상의 기법들에 따라, 도 1 의 드론에 마이크로폰들을 추가하기 위한 하나의 예시적인 접근법의 개념도이다. 도 15 의 예시적인 접근법에서, 마이크로폰들 (22) 은 본 개시의 하나 이상의 기법들에 따라, 로터들 (20) 의 난기류 (27) 를 회피하기 위해 드론 (12) 의 바디 아래에 장착된다.
도 16 은 로터들 (20) 및 카메라 (24) 에 대한 드론 상의 마이크로폰들의 고정된 배치를 나타내는 개념도이다. 하나의 예시적인 접근법에서, 마이크로폰들 (22) 은 본 개시의 하나 이상의 기법들에 따라, 로터들 (20) 과의 상호작용을 감소시키도록 배치된다.
또한, 도 17a 내지 도 17c, 도 18a 내지 도 18c, 도 19a 및 19b 는 본 개시의 하나 이상의 기법들에 따라, 드론 (12) 의 다양한 구성들에 따라 신호 품질을 유지하기 위한 드론 (12) 의 움직임을 도시한다. 도 17a 는 타겟을 대면하는 고정 위치 카메라 (24) 를 갖는 도 16 의 드론과 같은 드론 (12) 의 포지셔닝을 도시한다. 점선들은 타겟으로부터 드론 (12) 의 각 마이크로폰 (22) 까지의 사운드의 직접적인 경로를 도시한다. 잡음은 타겟 사운드와 오버랩된다. 도 17b 는 도 17a 의 드론 (12) 과 동일한 위치에 있지만 타겟까지 일정한 각도에서 카메라 (24) 를 갖는 도 17a 의 드론 (12) 의 포지셔닝을 도시한다. 다시 한 번, 점선들은 타겟으로부터 드론 (12) 의 각각의 마이크로폰 (22) 까지의 사운드의 직접적인 경로를 도시한다. 도 17b 의 드론 (12) 의 회전은 타겟을 카메라의 뷰 밖으로 이동시키는 것을 희생하여, 로터 잡음으로부터의 타겟 사운드의 최대 분리를 보장한다. 도 17c 는 타겟에 대하여 드론이 회전하고 이동한 후에 도 17a 의 드론 (12) 의 포지셔닝을 도시한다. 점선들은 다시, 타겟으로부터 드론 (12) 의 각 마이크로폰 (22) 까지의 사운드의 직접적인 경로를 도시한다. 도 17c 의 드론 (12) 의 회전은 로터 잡음으로부터 타겟 사운드의 최대 분리를 보장하고, 드론 (12) 의 이동은 타겟이 카메라의 뷰에서 유지되도록 보장한다.
도 18a 내지 도 18c 의 예시적인 접근법에서, 카메라 (24) 및 2 개의 마이크로폰들 (22) 은 보조 디바이스 (800) 상의 드론 아래에 매달려 있다. 하나의 예시적인 접근법에서, 보조 디바이스 (800) 는 드론 바디와 독립적으로 회전한다. 그러한 하나의 예시적인 접근법에서, 2 개의 마이크로폰들 (22) 은 보조 디바이스 (800) 의 일 측에 부착되고, 그 디바이스와 함께 회전한다. 도 18a 는 타겟에 대면하는 카메라 (24) 를 갖는 드론 (12) 의 포지셔닝을 도시한다. 점선들은 타겟으로부터 드론 (12) 의 각 마이크로폰 (22) 까지의 사운드의 직접적인 경로를 도시한다. 잡음은 타겟 사운드와 오버랩된다. 도 18b 는 도 18a 의 드론 (12) 과 동일한 위치에 있지만 타겟까지 일정한 각도에서 카메라 (24) 를 갖는 도 18a 의 드론 (12) 의 포지셔닝을 도시한다. 도 18b 의 드론 (12) 의 회전은 타겟을 카메라의 뷰 밖으로 이동시키는 것을 희생하여, 로터 잡음으로부터의 타겟 사운드의 최대 분리를 보장한다. 도 18c 는 타겟에 대하여 드론이 회전하고 이동한 후에 도 18a 의 드론 (12) 의 포지셔닝을 도시한다. 도 18c 의 드론 (12) 의 회전은 로터 잡음으로부터 타겟 사운드의 최대 분리를 보장하고, 드론 (12) 의 이동은 타겟이 카메라의 뷰에서 유지되도록 보장한다.
도 19a 의 예시적인 접근법에서, 카메라 (24) 및 2 개의 마이크로폰들 (22) 은 도 16 의 드론 (12) 에서와 같이 포지셔닝되지만, 카메라 (24) 는 드론 (12) 의 바디를 중심으로 상이한 위치들로 이동한다. 하나의 이러한 접근법에서, 카메라 (24) 는 드론 (12) 의 바디의 전부 또는 일부를 중심으로 원호로 회전한다. 도 19a 는 타겟에 대면하는 카메라 (24) 를 갖는 드론 (12) 의 포지셔닝을 도시한다. 점선들은 타겟으로부터 드론 (12) 의 각 마이크로폰 (22) 까지의 사운드의 직접적인 경로를 도시한다. 잡음은 타겟 사운드와 오버랩된다. 도 19b 는 로터 잡음으로부터 타겟 사운드의 최대 분리 및 타겟의 뷰를 유지하기 위한 카메라 (24) 의 재포지셔닝을 보장하도록, 도 19a 의 드론 (12) 의 포지셔닝을 도시한다. 도 19b 의 드론 (12) 의 회전은 로터 잡음으로부터 타겟 사운드의 최대 분리를 보장하고, 드론 (12) 의 바디 상의 카메라 (24) 의 움직임은 타겟이 카메라의 뷰에서 유지되도록 보장한다.
하나의 예시적인 접근법에서, 드론 (12) 은 다른 소스들 및 자체 생성된 잡음으로부터의 간섭을 최소화하기 위해 기존의 오디오 소스들에 대하여 마이크로폰들을 포지셔닝한다. 그 후에, 드론 (12) 은 선택된 오디오 소스로부터의 오디오 신호를 추가로 향상시키기 위해 빔 포밍 기술을 사용한다.
일부 상황들에서, 관심있는 오디오 소스로부터의 오디오 신호는 자체 생성된 잡음의 소스의 DOA 에 있는 경우, 손실될 수도 있다. 이를 막기 위해, 일부 예시적인 접근법들에서, 드론 (12) 은 자체 생성된 잡음 소스들에 대하여 주기적으로 마이크로폰들 (22) 을 회전시킬 수도 있다. 자체 생성된 잡음 소스들에 대하여 마이크로폰들 (22) 이동시킬 수 없는 상황들에서, 드론 (12) 은 마이크로폰들 (22) 의 배향을 변경하거나 관심있는 오디오 소스들로의 다중 경로를 제공하기 위해, 주기적으로 자체적으로 회전하거나 로케이션을 변경할 수도 있거나 또는 이들 양자를 수행할 수도 있다.
도 20a 및 도 20b 는 본 개시의 하나 이상의 기법들에 따라, 다중 채널 오디오 신호 출력 및 공유 저주파수 채널을 갖는 다중-포커스 네스트형 포물선 구조 (600) 를 도시한다. 포물선 구조 (600) 는 드론 (12) 의 잡음으로부터 다중 채널 마이크로폰을 차폐하기 위해 사용되는 차폐물 (602) 을 포함한다. 일부 예시적인 접근법들에서, 포물선 구조 (600) 및 차폐물 (602) 은 상술한 임의의 드론 (12) 설계들에서 마이크로폰 (22) 으로서 효과적으로 사용된다. 다른 예시적인 접근법들에서, 포물선 구조 (600) 는 차폐물 (603) 없이 상술한 임의의 드론 (12) 설계들에서 마이크로폰 (22) 으로서 효과적으로 사용된다.
도 21a 및 도 21b 는 본 개시의 하나 이상의 기법들에 따라, 다중-마이크로폰 오디오 신호 캡처를 위한 육각형-형상의 포물선 반사면 (700) 을 도시한다. 하나 이상의 타겟들 (18) 은 반사면 (700) 에 의해 트래킹된다. 하나의 예시적인 접근법에서, 표면 (700) 은 공유 저주파수 채널 (702) 을 포함한다. 일부 예시적인 접근법들에서, 각각의 마이크로폰 (22) 은 다중 마이크로폰 오디오 신호 캡처에 사용되는 포물선 반사면 (700) 을 포함한다.
예에 의존하여, 본 명세서에서 설명된 기법들의 임의의 특정 작동들 또는 이벤트들은 상이한 시퀀스로 수행될 수 있고, 전체적으로 부가되거나 병합되거나 또는 제거될 수도 있음 (예를 들어, 설명된 모든 작동들 또는 이벤트들이 그 기법들의 실시를 위해 필수적인 것은 아님) 이 인식되어야 한다. 더욱이, 특정 예들에 있어서, 작동들 또는 이벤트들은 순차적인 것보다는, 예를 들어, 다중-스레딩된 프로세싱, 인터럽트 프로세싱, 또는 다중의 프로세서들을 통해 동시에 수행될 수도 있다.
하나 이상의 예들에 있어서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현된다면, 그 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상으로 저장 또는 전송되고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체는, 예를 들어, 통신 프로토콜에 따라 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 데이터 저장 매체 또는 통신 매체와 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체를 포함할 수도 있다. 이러한 방식으로, 컴퓨터 판독가능 매체는 일반적으로 (1) 비-일시적인 유형의 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 캐리어파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체는 본 개시에서 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 컴퓨터 프로그램 제품이 컴퓨터 판독가능 매체를 포함할 수도 있다.
한정이 아닌 예로서, 그러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 커넥션이 컴퓨터 판독가능 매체로 적절히 명명된다. 예를 들어, 동축 케이블, 광섬유 케이블, 꼬임쌍선, 디지털 가입자 라인 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 명령들이 송신된다면, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의에 포함된다. 하지만, 컴퓨터 판독가능 저장 매체 및 데이터 저장 매체는 커넥션들, 캐리어파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않지만 대신 비-일시적인 유형의 저장 매체들로 지향됨을 이해해야 한다. 본 명세서에서 사용된 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 통상적으로 데이터를 자기적으로 재생하지만 디스크 (disc) 는 레이저들을 이용하여 데이터를 광학적으로 재생한다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 등가의 집적된 또는 별도의 로직 회로와 같은 하나 이상의 프로세서들에 의해 실행될 수도 있다. 이에 따라, 본 명세서에서 사용된 바와 같은 용어 "프로세서" 는 본 명세서에서 설명된 기법들의 구현에 적합한 전술한 구조 또는 임의의 다른 구조 중 임의의 구조를 지칭할 수도 있다. 추가적으로, 일부 양태들에 있어서, 본 명세서에서 설명된 기능은 인코딩 및 디코딩을 위해 구성되고 결합된 코덱에서 통합된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공될 수도 있다. 또한, 그 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예를 들어, 칩 세트) 를 포함하여 매우 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들 또는 유닛들이 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 설명되지만, 반드시 상이한 하드웨어 유닛들에 의한 실현을 요구하지는 않는다. 오히려, 상기 설명된 바와 같이, 다양한 유닛들은 적절한 소프트웨어 및/또는 펌웨어와 함께 상기 설명된 바와 같은 하나 이상의 프로세서들을 포함하여 코덱 하드웨어 유닛으로 결합되거나 또는 상호운용식 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.
다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.

Claims (30)

  1. 드론을 제어하기 위한 방법으로서,
    프로세서에서, 상기 드론 상의 로케이션에 대하여 포지셔닝된 복수의 마이크로폰들을 통해 오디오 신호들을 수신하는 단계로서, 상기 오디오 신호들은 상기 드론 외부의 소스로부터 발산하는 오디오 신호들뿐만 아니라 로터 잡음 또는 바람 잡음을 포함하는, 상기 오디오 신호들을 수신하는 단계;
    상기 프로세서에 의해, 수신된 상기 오디오 신호들로부터 관심있는 오디오 신호들을 식별하는 단계;
    상기 프로세서에 의해, 상기 관심있는 오디오 신호들의 신호대 잡음비가 증가되도록, 상기 관심있는 오디오 신호들의 도달 방향들 (DOAs) 을 변경하기 위해 상기 관심있는 오디오 신호들에 기초하여 상기 드론의 비행 특성들을 제어하는 단계로서, 상기 드론의 비행 특성들을 제어하는 단계는: 상기 드론의 위치 및 배향을 변경하는 단계, 및 상기 복수의 마이크로폰들의 위치들 및 배향들을 변경하는 단계를 포함하고,
    상기 DOAs 는 복수의 채널들 간의 위상차 신호들을 조사함으로써 상기 신호대 잡음비가 증가되도록 변경되고,
    상기 복수의 마이크로폰들의 각각은 상기 복수의 채널들의 각각에 커플링되고, 그리고
    상기 복수의 채널들 간의 상기 위상차 신호들은 동일한 DOA 를 갖는, 상기 드론의 비행 특성들을 제어하는 단계; 및
    상기 동일한 DOA 를 갖는 상기 위상차 신호들에 널 필터를 적용하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 관심있는 오디오 신호들을 식별하는 단계는 관심있는 타겟으로부터 수신된 오디오 신호들을 선택하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  3. 제 2 항에 있어서,
    상기 드론의 비행 특성들을 제어하는 단계는 상기 로터 잡음 또는 상기 바람 잡음으로부터의 상기 오디오 신호들의 존재시 상기 관심있는 타겟으로부터의 오디오 신호들을 더 잘 캡처하도록, 상기 로터 잡음 또는 상기 바람 잡음 및 상기 관심있는 타겟에 대하여 상기 드론을 포지셔닝하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  4. 제 2 항에 있어서,
    선택된 상기 오디오 신호들은 트래킹되고 있는 오브젝트로부터 수신된 오디오 신호들이고,
    상기 드론의 비행 특성들을 제어하는 단계는 선택된 상기 오디오 신호들 중 하나 이상의 도달 방향 (DOA) 을 결정하는 단계, 및 하나 이상의 선택된 상기 오디오 신호들의 상기 DOA 에 기초하여 상기 드론을 포지셔닝하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  5. 제 2 항에 있어서,
    선택된 상기 오디오 신호들은 트래킹되고 있는 오브젝트로부터 수신된 오디오 신호들이고,
    상기 드론의 비행 특성들을 제어하는 단계는 선택된 상기 오디오 신호들 중 하나 이상의 도달 방향 (DOA) 을 결정하는 단계, 및 상기 트래킹되고 있는 오브젝트로부터의 상기 오디오 신호들의 DOA 를 상기 로터 잡음 또는 상기 바람 잡음으로부터의 상기 오디오 신호들의 DOA 로부터 분리시키도록, 상기 로터 잡음 또는 상기 바람 잡음 및 상기 관심있는 타겟에 대하여 상기 드론을 포지셔닝하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  6. 제 5 항에 있어서,
    상기 드론은 상기 로터 잡음을 생성하는 로터를 포함하고, 상기 복수의 마이크로폰들 중 하나 이상은 상기 로터에 대하여 포지셔닝되며,
    상기 드론을 포지셔닝하는 단계는 선택된 상기 오디오 신호들의 상기 DOA 에 대하여 상기 마이크로폰들 및 상기 로터를 배향하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  7. 제 5 항에 있어서,
    상기 드론은 상기 로터 잡음을 생성하는 로터를 포함하고, 상기 복수의 마이크로폰들 중 하나 이상은 상기 로터에 대하여 포지셔닝되며,
    상기 드론을 포지셔닝하는 단계는 상기 로터에 대하여 상기 마이크로폰들을 이동시키는 단계를 포함하는, 드론을 제어하기 위한 방법.
  8. 제 5 항에 있어서,
    상기 드론은 상기 로터 잡음을 생성하는 로터를 포함하고, 상기 복수의 마이크로폰들 중 하나 이상은 상기 로터에 대하여 포지셔닝되며,
    상기 드론을 포지셔닝하는 단계는 빔 포밍을 통해 선택된 상기 오디오 신호들의 캡처를 향상시키는 단계를 포함하는, 드론을 제어하기 위한 방법.
  9. 제 2 항에 있어서,
    선택된 상기 오디오 신호들은 트래킹되고 있는 오브젝트로부터 수신된 오디오 신호들이고,
    상기 드론의 비행 특성들을 제어하는 단계는 선택된 상기 오디오 신호들에 기초하여 상기 트래킹되고 있는 오브젝트를 뒤따르는 단계를 포함하는, 드론을 제어하기 위한 방법.
  10. 제 2 항에 있어서,
    상기 오디오 신호들을 수신하는 단계는 선택된 상기 오디오 신호들에 빔 포밍을 수행하도록 상기 복수의 마이크로폰들 중 2 이상을 포지셔닝하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  11. 제 10 항에 있어서,
    상기 드론의 비행 특성들을 제어하는 단계는 선택된 상기 오디오 신호들에 기초하여 상기 관심있는 타겟을 뒤따르는 단계를 포함하는, 드론을 제어하기 위한 방법.
  12. 제 11 항에 있어서,
    상기 관심있는 타겟을 뒤따르는 단계는,
    선택된 상기 오디오 신호들 중 하나의 크기를 측정하는 단계;
    최종의 미리 정의된 시간 주기에 걸쳐 측정된 크기에 기초하여 평균 크기를 결정하는 단계; 및
    상기 평균 크기를 값들의 범위 내에 있도록, 관심있는 오브젝트에 대한 상기 드론의 위치를 유지하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  13. 제 1 항에 있어서,
    상기 오디오 신호들은 관심있는 오브젝트로부터 수신된 하나 이상의 오디오 신호들을 포함하고,
    상기 관심있는 오디오 신호들을 식별하는 단계는 상기 드론의 송신기를 통해, 수신된 상기 오디오 신호들 중 하나 이상을 나타내는 데이터를 송신하는 단계를 포함하고,
    상기 드론의 비행 특성들을 제어하는 단계는, 상기 드론의 수신기에서, 비행 제어 커맨드들을 수신하는 단계를 포함하며,
    상기 비행 제어 커맨드들은 상기 관심있는 오브젝트로부터 수신된 상기 오디오 신호들 중 하나 이상을 선택하고, 선택된 상기 오디오 신호들에 기초하여 상기 관심있는 오브젝트를 트래킹하는 것을 상기 드론에 명령하는, 드론을 제어하기 위한 방법.
  14. 제 13 항에 있어서,
    상기 관심있는 오브젝트를 트래킹하는 것은,
    상기 관심있는 오브젝트로부터 수신된 선택된 상기 오디오 신호들 중 하나의 크기를 측정하는 단계;
    최종의 미리 정의된 시간 주기에 걸쳐 측정된 크기에 기초하여 평균 크기를 결정하는 단계; 및
    상기 평균 크기를 값들의 범위 내에 있도록, 상기 관심있는 오브젝트에 대한 상기 드론의 위치를 유지하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  15. 제 13 항에 있어서,
    상기 비행 제어 커맨드들을 수신하는 단계는, 상기 로터 잡음 또는 상기 바람 잡음으로부터 오디오 신호들의 존재시 상기 관심있는 오브젝트로부터의 오디오 신호들을 더 잘 캡처하도록, 상기 로터 잡음 또는 상기 바람 잡음 및 상기 관심있는 오브젝트에 대하여 상기 드론을 포지셔닝하는 비행 커맨드들을 수신하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  16. 제 13 항에 있어서,
    수신된 상기 오디오 신호들은 상기 로터 잡음을 생성하는 로터로부터 수신된 오디오 신호들을 포함하고,
    상기 비행 제어 커맨드들을 수신하는 단계는, 선택된 상기 오디오 신호들의 DOA 를 상기 로터로부터 수신된 오디오 신호들의 DOA들로부터 분리하는데 필요한 드론 움직임들을 식별하는 커맨드를 수신하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  17. 제 16 항에 있어서,
    상기 드론은 상기 로터를 포함하고, 상기 복수의 마이크로폰들 중 하나 이상은 상기 로터에 대하여 포지셔닝되며,
    상기 비행 제어 커맨드들을 수신하는 단계는 선택된 상기 오디오 신호들의 DOA 에 대하여 상기 마이크로폰들 및 상기 로터를 배향하는 커맨드를 수신하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  18. 제 16 항에 있어서,
    상기 드론은 상기 로터를 포함하고,
    상기 비행 제어 커맨드들을 수신하는 단계는 상기 로터에 대하여 상기 마이크로폰을 이동시키는 커맨드를 수신하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  19. 제 1 항에 있어서,
    상기 관심있는 오디오 신호들을 식별하는 단계는,
    상기 프로세서에 의해, 상기 로터 잡음 또는 상기 바람 잡음이 아닌 하나 이상의 오디오 소스들을 결정하는 단계;
    상기 로터 잡음 또는 상기 바람 잡음이 아닌 상기 하나 이상의 오디오 소스들부터 오디오 소스를 선택하는 단계; 및
    선택된 상기 오디오 소스로부터 기인하는 상기 오디오 신호들을 식별하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  20. 제 19 항에 있어서,
    선택된 상기 오디오 소스는 트래킹되고 있는 오브젝트이고,
    상기 드론의 비행 특성들을 제어하는 단계는 상기 트래킹되고 있는 오브젝트로부터의 오디오 신호들의 DOA 를 상기 로터 잡음 또는 상기 바람 잡음으로부터의 오디오 신호들의 DOA들로부터 멀어지게 하도록, 상기 드론을 포지셔닝하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  21. 제 20 항에 있어서,
    상기 트래킹되고 있는 오브젝트를 뒤따르도록 상기 드론을 포지셔닝하는 단계는,
    상기 오브젝트로부터의 오디오 신호의 크기를 측정하는 단계;
    최종의 미리 정의된 시간 주기에 걸쳐 측정된 상기 오브젝트로부터의 상기 오디오 신호의 크기의 함수에 따라 상기 오브젝트로부터의 상기 오디오 신호의 평균 크기를 결정하는 단계; 및
    상기 평균 크기를 일정하게 하도록, 상기 트래킹되고 있는 오브젝트에 대한 상기 드론의 위치를 유지하는 단계를 포함하는, 드론을 제어하기 위한 방법.
  22. 명령들을 저장하는 드론을 제어하기 위한 비휘발성 컴퓨터 판독가능 저장 매체로서, 상기 명령들은, 실행될 경우, 하나 이상의 프로세서들로 하여금:
    상기 드론 상의 로케이션에 대하여 포지셔닝된 하나 이상의 마이크로폰들을 통해 오디오 신호들을 수신하는 것으로서, 상기 오디오 신호들은 상기 드론 외부의 소스로부터 발산하는 오디오 신호들뿐만 아니라 로터 잡음 또는 바람 잡음을 포함하는, 상기 오디오 신호들을 수신하는 것을 수행하게 하고;
    수신된 상기 오디오 신호들로부터 관심있는 오디오 신호들을 식별하게 하고;
    상기 관심있는 오디오 신호들의 신호대 잡음비가 증가되도록, 상기 관심있는 오디오 신호들의 도달 방향들 (DOAs) 을 변경하기 위해 상기 관심있는 오디오 신호들에 기초하여 상기 드론의 비행 특성들을 제어하는 것으로서, 상기 드론의 비행 특성들을 제어하게 하는 것은: 상기 드론의 위치 및 배향을 변경하는 것, 및 상기 복수의 마이크로폰들의 위치들 및 배향들을 변경하는 것을 포함하고,
    상기 DOAs 는 복수의 채널들 간의 위상차 신호들을 조사함으로써 상기 신호대 잡음비가 증가되도록 변경되고,
    상기 복수의 마이크로폰들의 각각은 상기 복수의 채널들의 각각에 커플링되고, 그리고
    상기 복수의 채널들 간의 상기 위상차 신호들은 동일한 DOA 를 갖는, 상기 드론의 비행 특성들을 제어하는 것을 수행하게 하고; 그리고
    상기 동일한 DOA 를 갖는 상기 위상차 신호들에 널 필터를 적용하게 하는, 비휘발성 컴퓨터 판독가능 저장 매체.
  23. 복수의 마이크로폰들을 포함하는 드론을 제어하기 위한 드론 원격 조종기로서,
    적어도 하나의 프로세서;
    수신기;
    송신기; 및
    명령들을 저장하는 비휘발성 컴퓨터 판독가능 저장 매체로서, 상기 명령들은, 상기 적어도 하나의 프로세서에 의해:
    드론에 의해 수신된 오디오 신호들을 나타내는 오디오 신호 정보를 수신하는 것으로서, 상기 오디오 신호 정보는 상기 드론 외부의 소스로부터 발산하는 오디오 신호들뿐만 아니라 로터 잡음 또는 바람 잡음을 포함하는, 상기 오디오 신호 정보를 수신하는 것을 수행하고;
    상기 오디오 신호 정보에 기초하여, 수신된 상기 오디오 신호들로부터 하나 이상의 관심있는 오디오 신호들을 식별하고;
    상기 관심있는 오디오 신호들의 신호대 잡음비가 증가되도록, 상기 관심있는 오디오 신호들의 도달 방향들 (DOAs) 을 변경하기 위해 상기 관심있는 오디오 신호들에 기초하여 상기 드론의 비행 특성들을 제어하는 것으로서, 상기 드론의 비행 특성들을 제어하는 것은: 상기 드론의 위치 및 배향을 변경하는 것, 및 상기 복수의 마이크로폰들의 위치들 및 배향들을 변경하는 것을 포함하고,
    상기 DOAs 는 복수의 채널들 간의 위상차 신호들을 조사함으로써 상기 신호대 잡음비가 증가되도록 변경되고,
    상기 복수의 마이크로폰들의 각각은 상기 복수의 채널들의 각각에 커플링되고, 그리고
    상기 복수의 채널들 간의 상기 위상차 신호들은 동일한 DOA 를 갖는, 상기 드론의 비행 특성들을 제어하는 것을 수행하고; 그리고
    상기 동일한 DOA 를 갖는 상기 위상차 신호들에 널 필터를 적용하도록 실행가능한, 상기 비휘발성 컴퓨터 판독가능 저장 매체를 포함하는, 드론 원격 조종기.
  24. 제 23 항에 있어서,
    상기 드론 원격 조종기는 디스플레이 및 입력 인터페이스를 더 포함하고,
    상기 명령들은 적어도 하나의 프로세서에 의해, 상기 디스플레이 상에, 수신된 상기 오디오 신호 정보에 대응하는 위상차 플롯을 디스플레이하고, 그리고 상기 입력 인터페이스를 통해, 하나 이상의 관심있는 오디오 신호들의 표시를 수신하도록 실행가능한 명령들을 더 포함하는, 드론 원격 조종기.
  25. 제 23 항에 있어서,
    상기 오디오 신호 정보는 상기 로터 잡음을 생성하는 로터로부터 수신된 오디오 신호들 및 상기 드론에 의해 관심있는 타겟으로부터 수신된 오디오 신호들을 나타내는 타겟 오디오 신호 정보를 포함하고,
    상기 드론 원격 조종기는 디스플레이 및 입력 인터페이스를 더 포함하고,
    상기 명령들은 적어도 하나의 프로세서에 의해, 상기 디스플레이 상에, 상기 오디오 신호 정보의 애스펙트들을 나타내는 이미지를 디스플레이하도록 실행가능한 명령들을 더 포함하며,
    상기 적어도 하나의 프로세서에 의해, 상기 오디오 신호 정보에 기초하여, 하나 이상의 관심있는 오디오 신호들을 식별하도록 실행가능한 명령들은, 상기 입력 인터페이스를 통해, 상기 드론에 의해 상기 관심있는 타겟으로부터 수신된 상기 오디오 신호들 중 하나 이상의 표현들을 포함하는, 상기 이미지의 일부를 식별하는 입력을 수신하기 위한 명령들을 포함하며, 그리고
    상기 적어도 하나의 프로세서에 의해, 상기 관심있는 오디오 신호들에 기초하여 상기 드론의 비행 특성들을 제어하도록 실행가능한 명령들은, 비행 커맨드들을 형성하기 위한 명령들을 포함하고, 상기 비행 커맨드들은 드론에 의해 수신될 경우, 상기 로터로부터의 상기 오디오 신호들의 존재시 상기 관심있는 타겟으로부터 오디오 신호들을 더 잘 캡처하도록, 상기 로터 및 상기 관심있는 타겟에 대하여 상기 드론을 배향시키는 것을 상기 드론에 명령하는, 드론 원격 조종기.
  26. 드론으로서,
    프로세서;
    복수의 마이크로폰들;
    수신기;
    송신기; 및
    명령들을 저장하는 비휘발성 컴퓨터 판독가능 저장 매체로서, 상기 명령들은, 상기 프로세서에 의해:
    상기 마이크로폰들을 통해 오디오 신호들을 수신하는 것으로서, 상기 오디오 신호들은 드론 외부의 소스로부터 발산하는 오디오 신호들뿐만 아니라 로터 잡음 또는 바람 잡음을 포함하는, 상기 오디오 신호들을 수신하는 것을 수행하고;
    수신된 상기 오디오 신호들로부터 관심있는 오디오 신호들을 식별하고;
    상기 관심있는 오디오 신호들의 신호대 잡음비가 증가되도록, 상기 관심있는 오디오 신호들의 도달 방향들 (DOAs) 을 변경하기 위해 상기 관심있는 오디오 신호들에 기초하여 상기 드론의 비행 특성들을 제어하는 것으로서, 상기 드론의 비행 특성들을 제어하는 것은: 상기 드론의 위치 및 배향을 변경하는 것, 및 상기 복수의 마이크로폰들의 위치들 및 배향들을 변경하는 것을 포함하고,
    상기 DOAs 는 복수의 채널들 간의 위상차 신호들을 조사함으로써 상기 신호대 잡음비가 증가되도록 변경되고,
    상기 복수의 마이크로폰들의 각각은 상기 복수의 채널들의 각각에 커플링되고, 그리고
    상기 복수의 채널들 간의 상기 위상차 신호들은 동일한 DOA 를 갖는, 상기 드론의 비행 특성들을 제어하는 것을 수행하고; 그리고
    상기 동일한 DOA 를 갖는 상기 위상차 신호들에 널 필터를 적용하도록 실행가능한, 상기 비휘발성 컴퓨터 판독가능 저장 매체를 포함하는, 드론.
  27. 제 26 항에 있어서,
    상기 마이크로폰들 중 하나 이상은 상기 프로세서의 제어 하에 상기 드론을 중심으로 이동가능한, 드론.
  28. 제 26 항에 있어서,
    상기 드론은 카메라를 더 포함하고,
    상기 마이크로폰들은 상기 카메라가 관심있는 타겟을 포인팅하는 경우, 로터로부터의 최대 분리를 위해, 상기 카메라에 대하여 그리고 상기 로터 잡음을 생성하는 상기 로터에 대하여 포지셔닝되는, 드론.
  29. 삭제
  30. 삭제
KR1020187021574A 2016-01-28 2016-11-21 드론 비행 제어 KR102244175B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662288351P 2016-01-28 2016-01-28
US62/288,351 2016-01-28
US15/186,215 2016-06-17
US15/186,215 US10379534B2 (en) 2016-01-28 2016-06-17 Drone flight control
PCT/US2016/063157 WO2017131845A1 (en) 2016-01-28 2016-11-21 Drone flight control

Publications (2)

Publication Number Publication Date
KR20180108618A KR20180108618A (ko) 2018-10-04
KR102244175B1 true KR102244175B1 (ko) 2021-04-23

Family

ID=59385498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187021574A KR102244175B1 (ko) 2016-01-28 2016-11-21 드론 비행 제어

Country Status (7)

Country Link
US (1) US10379534B2 (ko)
EP (1) EP3408722A1 (ko)
JP (1) JP2019505047A (ko)
KR (1) KR102244175B1 (ko)
CN (1) CN108496128A (ko)
BR (1) BR112018015337A2 (ko)
WO (1) WO2017131845A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10362392B2 (en) * 2016-05-18 2019-07-23 Georgia Tech Research Corporation Aerial acoustic sensing, acoustic sensing payload and aerial vehicle including the same
US9836055B1 (en) 2016-06-03 2017-12-05 Internaitonal Business Machines Corporation Mobile audio input device controller
US10979613B2 (en) * 2016-10-17 2021-04-13 Dolby Laboratories Licensing Corporation Audio capture for aerial devices
CN206894795U (zh) * 2017-05-23 2018-01-16 深圳市道通智能航空技术有限公司 一种实现图像处理的遥控器及无人飞行系统
US11659322B1 (en) 2017-06-26 2023-05-23 Wing Aviation Llc Audio based aircraft detection
WO2019035014A1 (en) * 2017-08-15 2019-02-21 Ottenheimers, Inc. CAPTURE OF REMOTE OBJECTS
CN108700891B (zh) * 2017-08-30 2022-06-17 深圳市大疆创新科技有限公司 无人机的控制方法、无人机和机器可读存储介质
EP3769106A1 (de) * 2018-03-19 2021-01-27 Seven Bel GmbH Vorrichtung, system und verfahren zur räumlichen lokalisierung von schallquellen
EP3547059B1 (de) 2018-03-29 2023-11-22 Alberto De la Rúa Lope Verfahren zur steuerung unbemannter fahrzeuge
AU2019271730B2 (en) 2018-05-16 2024-09-26 Dotterel Technologies Limited Systems and methods for audio capture
JP7126143B2 (ja) * 2018-07-18 2022-08-26 パナソニックＩｐマネジメント株式会社 無人飛行体、情報処理方法およびプログラム
KR102098890B1 (ko) * 2018-08-07 2020-04-08 하성배 음계 구동 드론
WO2020034207A1 (en) 2018-08-17 2020-02-20 SZ DJI Technology Co., Ltd. Photographing control method and controller
CN109302263A (zh) * 2018-10-29 2019-02-01 天津大学 一种基于音频识别的全空域无人机干扰机系统
KR102177354B1 (ko) 2019-01-07 2020-11-11 주식회사 호그린에어 무인 항공기 지상 제어 장치
EP3926976B1 (en) * 2019-02-15 2024-05-08 Panasonic Intellectual Property Corporation of America Information processing device, information processing method, and program
CN112771463A (zh) * 2019-02-19 2021-05-07 松下知识产权经营株式会社 无人飞行体、信息处理方法以及程序
JP7442147B2 (ja) * 2019-02-19 2024-03-04 パナソニックＩｐマネジメント株式会社 無人飛行体、情報処理方法およびプログラム
GB2584986B (en) * 2019-03-19 2023-07-26 Sony Interactive Entertainment Inc System and camera device for capturing images
JP7426631B2 (ja) * 2019-03-29 2024-02-02 パナソニックＩｐマネジメント株式会社 無人移動体及び情報処理方法
EP3957561B1 (en) * 2019-04-18 2023-07-19 Panasonic Intellectual Property Management Co., Ltd. Unmanned flight body, control method, and program
CN113453980B (zh) * 2019-05-15 2024-03-29 松下知识产权经营株式会社 信息处理方法、无人飞行体以及无人飞行体控制系统
US10939203B2 (en) * 2019-06-28 2021-03-02 International Business Machines Corporation Forecasting sound in a live performance to determine microphone position
JP7489669B2 (ja) 2019-07-23 2024-05-24 パナソニックＩｐマネジメント株式会社 無人飛行体、情報処理方法及びプログラム
KR102241000B1 (ko) * 2019-08-29 2021-04-19 경상국립대학교산학협력단 무인 비행체의 실시간 군집비행 제어시스템 및 그 방법
KR102163514B1 (ko) * 2019-11-25 2020-10-12 추혜성 드론에 의한 양방향 멀티미디어 통신 시스템 및 그 운용방법
WO2021108991A1 (zh) * 2019-12-03 2021-06-10 深圳市大疆创新科技有限公司 控制方法、装置和可移动平台
US20210225182A1 (en) * 2019-12-31 2021-07-22 Zipline International Inc. Acoustic based detection and avoidance for aircraft
JP7406656B2 (ja) 2019-12-31 2023-12-27 ジップライン インターナショナル インク． 航空機の相関動作及び検知
EP4047939A1 (en) * 2021-02-19 2022-08-24 Nokia Technologies Oy Audio capture in presence of noise
WO2023053847A1 (ja) * 2021-09-30 2023-04-06 Ｊｆｅアドバンテック株式会社 音波受信装置及び音源方位標定装置並びに音源方位標定方法
US20240160206A1 (en) * 2022-11-10 2024-05-16 Vay Technology Gmbh Systems and methods to increase environment awareness associated with remote driving applications
US20240160205A1 (en) * 2022-11-10 2024-05-16 Vay Technology Gmbh Systems and methods to ensure safe driving behaviors associated with remote driving applications
CN117891268B (zh) * 2024-03-11 2024-07-12 成都凯天电子股份有限公司 自降噪的旋翼无人机声探测控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050271221A1 (en) * 2004-05-05 2005-12-08 Southwest Research Institute Airborne collection of acoustic data using an unmanned aerial vehicle
US20150346722A1 (en) 2014-05-27 2015-12-03 Recreational Drone Event Systems, Llc Virtual and Augmented Reality Cockpit and Operational Control Systems

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3964694A (en) 1967-02-14 1976-06-22 The United States Of America As Represented By The Secretary Of The Army Aerial acoustic target seeker
JPH05323013A (ja) * 1992-05-20 1993-12-07 Oki Shisutetsuku Tokai:Kk 音源位置標定装置
JPH07160273A (ja) * 1993-12-03 1995-06-23 Fuji Heavy Ind Ltd ヘリコプターのアクティブノイズコントロール装置
GB2309301A (en) 1996-01-16 1997-07-23 Roke Manor Research Vehicle mounted acoustics sensor systems
KR20010083059A (ko) * 1999-04-20 2001-08-31 김인광 음원의 방향을 검출하여 음원의 위치로 이동하기 위한로봇 및 그 동작방법
DE102004059228B3 (de) 2004-12-08 2006-08-17 Eads Deutschland Gmbh Akustische Richtungspeil- und Abhör-Einrichtung sowie System zur Objektsuche und Objekterkennung
JP4373903B2 (ja) * 2004-12-14 2009-11-25 本田技研工業株式会社 自律移動ロボット
JP4204541B2 (ja) * 2004-12-24 2009-01-07 株式会社東芝 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム
US7619563B2 (en) * 2005-08-26 2009-11-17 Step Communications Corporation Beam former using phase difference enhancement
JP5602368B2 (ja) * 2006-02-28 2014-10-08 サントル、ナショナール、ド、ラ、ルシェルシュ、シアンティフィク、（セーエヌエルエス） ネトリン−１活性を用いた抗癌化合物のスクリーニング
JP2008126329A (ja) * 2006-11-17 2008-06-05 Toyota Motor Corp 音声認識ロボットおよび音声認識ロボットの制御方法
US8543265B2 (en) * 2008-10-20 2013-09-24 Honeywell International Inc. Systems and methods for unmanned aerial vehicle navigation
CN101732873B (zh) * 2009-12-31 2014-12-10 马宇尘 一种用以响应用户需求的飞行器型手持终端
FR2957690A1 (fr) 2010-03-18 2011-09-23 Flyway Media Systeme et procede destines a capturer une sequence video portant sur un sujet cible en mouvement a partir notamment d'un aeronef autonome ou semi autonome.
US9204478B2 (en) * 2013-05-10 2015-12-01 Elwha Llc Dynamic point to point mobile network including intermediate user interface aspects system and method
DE102011000580A1 (de) * 2011-02-09 2012-08-09 Rothenberger Ag Haltevorrichtung für ein Bördelgerät sowie Bördelgerät zum Bördeln von Rohrenden
US9800091B2 (en) * 2011-06-09 2017-10-24 Lasermotive, Inc. Aerial platform powered via an optical transmission element
CN202345914U (zh) 2011-10-25 2012-07-25 北京智能佳科技有限公司 一种可以追踪声源的智能充氦扑翼飞行器
CN202383520U (zh) 2011-12-22 2012-08-15 湖南城市学院 声音定位导航装置
US9934780B2 (en) * 2012-01-17 2018-04-03 GM Global Technology Operations LLC Method and system for using sound related vehicle information to enhance spoken dialogue by modifying dialogue's prompt pitch
US9291697B2 (en) 2012-04-13 2016-03-22 Qualcomm Incorporated Systems, methods, and apparatus for spatially directive filtering
US9146295B2 (en) 2012-05-24 2015-09-29 The Boeing Company Acoustic ranging system using atmospheric dispersion
US20150350614A1 (en) 2012-08-31 2015-12-03 Brain Corporation Apparatus and methods for tracking using aerial video
GB201218963D0 (en) 2012-10-22 2012-12-05 Bcb Int Ltd Micro unmanned aerial vehicle and method of control therefor
US8909391B1 (en) * 2012-12-28 2014-12-09 Google Inc. Responsive navigation of an unmanned aerial vehicle to a remedial facility
JP6157598B2 (ja) * 2013-04-12 2017-07-05 株式会社日立製作所 移動ロボット、及び、音源位置推定システム
KR20130086192A (ko) * 2013-06-18 2013-07-31 이상윤 스마트안경을 이용한 무인항공기 제어와 조종시스템
US9634722B2 (en) * 2013-07-03 2017-04-25 Viavi Solutions Inc. Cable network spectral measurement during upstream packet transmission
US20150097951A1 (en) * 2013-07-17 2015-04-09 Geoffrey Louis Barrows Apparatus for Vision in Low Light Environments
WO2015163012A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび撮像システム
CN103955227A (zh) * 2014-04-29 2014-07-30 上海理工大学 无人机精准降落的控制方法
CN104076331B (zh) * 2014-06-18 2016-04-13 南京信息工程大学 一种七元麦克风阵列的声源定位方法
KR101866609B1 (ko) * 2014-07-28 2018-06-12 두산중공업 주식회사 지능형 소음감시장치 및 이를 이용한 소음감시방법
EP3161502B1 (en) * 2014-08-29 2020-04-22 SZ DJI Technology Co., Ltd. An unmanned aerial vehicle (uav) for collecting audio data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050271221A1 (en) * 2004-05-05 2005-12-08 Southwest Research Institute Airborne collection of acoustic data using an unmanned aerial vehicle
US20150346722A1 (en) 2014-05-27 2015-12-03 Recreational Drone Event Systems, Llc Virtual and Augmented Reality Cockpit and Operational Control Systems

Also Published As

Publication number Publication date
EP3408722A1 (en) 2018-12-05
US10379534B2 (en) 2019-08-13
JP2019505047A (ja) 2019-02-21
BR112018015337A2 (pt) 2018-12-18
WO2017131845A1 (en) 2017-08-03
CN108496128A (zh) 2018-09-04
KR20180108618A (ko) 2018-10-04
US20170220036A1 (en) 2017-08-03

Similar Documents

Publication Publication Date Title
KR102244175B1 (ko) 드론 비행 제어
US20180199137A1 (en) Distributed Audio Microphone Array and Locator Configuration
US10339913B2 (en) Context-based cancellation and amplification of acoustical signals in acoustical environments
US10542368B2 (en) Audio content modification for playback audio
US20220394409A1 (en) Listening optimization for cross-talk cancelled audio
US20150054943A1 (en) Audio focusing via multiple microphones
CN106659936A (zh) 用于确定增强现实应用中音频上下文的系统和方法
US10708687B1 (en) System and method for including soundscapes in online mapping utilities
KR20140144410A (ko) 음향신호를 위한 빔포밍 방법 및 장치
US20190043521A1 (en) Automatic Gain Adjustment for Improved Wake Word Recognition in Audio Systems
US11388343B2 (en) Photographing control method and controller with target localization based on sound detectors
US11134349B1 (en) Hearing assistance device with smart audio focus control
US20190146518A1 (en) Interactive robots positionable for optimal interactions
EP4147228B1 (en) System and method for multi-microphone automated clinical documentation

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant