KR102638672B1 - 지향성 음향 변경 - Google Patents
지향성 음향 변경 Download PDFInfo
- Publication number
- KR102638672B1 KR102638672B1 KR1020190068545A KR20190068545A KR102638672B1 KR 102638672 B1 KR102638672 B1 KR 102638672B1 KR 1020190068545 A KR1020190068545 A KR 1020190068545A KR 20190068545 A KR20190068545 A KR 20190068545A KR 102638672 B1 KR102638672 B1 KR 102638672B1
- Authority
- KR
- South Korea
- Prior art keywords
- sound
- environment
- audio
- audio output
- orientation
- Prior art date
Links
- 230000004048 modification Effects 0.000 title abstract description 163
- 238000012986 modification Methods 0.000 title abstract description 163
- 238000000034 method Methods 0.000 claims abstract description 85
- 230000005236 sound signal Effects 0.000 claims abstract description 81
- 230000000007 visual effect Effects 0.000 claims description 45
- 238000010801 machine learning Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 description 92
- 238000012545 processing Methods 0.000 description 44
- 230000000875 corresponding effect Effects 0.000 description 33
- 238000010276 construction Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 210000003128 head Anatomy 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 230000001755 vocal effect Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000003321 amplification Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 210000000613 ear canal Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
- H04S7/306—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
- H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Otolaryngology (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
다양한 실시 예는 지향성 음향 변경을 위한 기술들을 제시한다. 일 양태에서, 시스템은 환경으로부터 음향을 획득하도록 구성된 복수의 오디오 센서 및 상기 복수의 오디오 센서에 결합되는 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는 상기 환경 내 방향을 결정하도록, 상기 환경 내 방향으로부터 획득되는 음향에 기초하여 오디오 신호를 생성하도록, 그리고 상기 오디오 신호를 적어도 하나의 오디오 출력 디바이스로 송신하여 오디오 출력을 생성하도록 구성된다. 상기 오디오 출력은 상기 환경 내 방향으로부터의 음향과 조합되어 변경된 음향을 생성한다.
Description
관련 출원 상호 참조
본 출원은 2017년 3월 20일에 출원된 "DIRECTIONAL SOUND MODIFICATION"이라는 명칭의 동시 계류중인 미국 특허 출원 일련 번호 15/464,172의 일부 계속 출원이며, 이 출원은 2014년 12월 8일에 출원된 "DIRECTIONAL SOUND MODIFICATION"이라는 명칭의 미국 특허 출원 일련 번호 14/563,458, 현재 미국 특허 번호 9,622,013의 계속 출원이다. 이러한 관련 출원들의 주제는 그것들 전체가 본원에 참고로 통합된다.
기술분야
본원에 개시되는 실시 예들은 음향 변경, 특히 환경 내 하나 이상의 선택된 방향에 대한 목적하는 음향 변경을 위한 오디오 신호들을 생성하는 것에 관한 것이다.
개인들은 통상적으로 집중을 방해하는 것 없이 일하기 위해 바쁘거나 시끄러운 환경에서 노이즈 제거 또는 노이즈 약화 헤드폰을 착용한다. 일반적인 헤드폰 유형에는 인-이어 헤드폰(또는 "이어 버드"), 온-이어 헤드폰 및 오버-이어 헤드폰이 있다.
많은 경우, 헤드폰은 일반적으로 착용자의 외이도를 완전히 또는 부분적으로 막음으로써 일정 수준의 수동적인 노이즈 약화를 제공한다. 또한, 일부 헤드폰은 환경 내 음향을 상쇄시키는 음파들을 생성하여 능동적인 노이즈 약화를 제공한다. 그러한 헤드폰들은 통상적으로 가청 주파수 스펙트럼의 선택된 부분 내에 속하는 환경 노이즈를 약화시키도록 구성된다.
이러한 종래의 접근법들의 하나의 단점은 환경의 음향을 상쇄시킴으로써, 사용자는 주변 환경의 음향으로부터 격리된다는 것이다. 사용자가 주변 환경의 음향으로부터 격리되면, 사용자는 다른 사람의 말(예를 들어, 공항의 안내 방송, 누군가 사용자를 부르는 것)과 같이 사용자가 관심을 가질 수 있는 음향을 놓칠 수 있다. 이러한 관심을 갖는 음향을 들을 수 있으려면, 사용자는 헤드폰을 완전히 제거하거나 능동적 인 노이즈 약화를 비활성화해야 할 것이며, 이러면 사용자가 원치 않는 노이즈에 노출되어 헤드폰의 전반적인 즐거움을 떨어뜨릴 수 있다.
전술한 바와 같이, 노이즈 약화를 위한 보다 효율적인 기술들이 요구된다.
일 실시 예가 지향성 음향 변경 방법을 제시한다. 상기 방법은 상기 환경 내 방향을 결정하는 단계, 상기 환경 내 방향으로부터 획득되는 음향에 기초하여 오디오 신호를 생성하는 단계, 및 상기 오디오 신호를 적어도 하나의 오디오 출력 디바이스로 송신하여 오디오 출력을 생성하는 단계를 포함한다. 상기 오디오 출력은 상기 환경 내 방향으로부터의 음향과 조합되어 변경된 음향을 생성한다.
추가 실시예들은 다른 것들 중에서도, 위에서 제시된 방법을 구현하도록 구성된 시스템 및 비일시적 컴퓨터 판독 가능한 저장 매체를 제공한다.
개시된 기술의 적어도 하나의 이점 및 기술적 개선점은 음향 변경을 위한 타겟 방향들이 사용자 상호 작용이 거의 없이 또는 전혀 없이 자동으로 결정될 수 있다는 점이다. 따라서, 사용자가 환경에서의 그 외 다른 방향들로부터 비롯되는 관심을 갖는 음향을 들을 수 있게 하면서 환경에서의 원치 않는 노이즈가 감소 또는 제거될 수 있다.
다양한 실시 예의 위에서 열거된 특징들이 상세하게 이해될 수 있도록, 위에서 간단하게 요약된 발명 개념의 하나 이상의 구체적인 설명이 다양한 실시 예를 참조하여 이루어질 수 있으며, 이들 중 몇몇이 첨부된 도면들에 도시되어 있다. 그러나, 첨부된 도면들은 단지 발명 개념의 통상적인 실시 예들을 도시하는 것이고 그에 따라 어떠한 방식으로도 범위를 제한하는 것으로 간주되지 않아야 한다는 것, 그리고 그 외 다른 동등하게 효율적인 실시 예가 있다는 것이 주의되어야 한다.
도 1a 및 도 1b는 다양한 실시 예에 따른, 음향 변경 시스템들을 도시한다.
도 2a 내지 도 2f는 다양한 실시 예에 따른, 상이한 환경들 내 배치된 음향 변경 시스템들을 도시한다.
도 3은 일 실시 예에 따른, 환경 내 음향 변경을 위한 방향들의 선택을 도시한다.
도 4는 일 실시 예에 따른, 시끄러운 환경 내 음향 변경 시스템의 동작을 도시한다.
도 5는 일 실시 예에 따른, 음향 변경을 위해 선택된 방향들의 업데이트를 도시한다.
도 6은 일 실시 예에 따른, 지향성 음향 변경을 위한 방법을 도시한다.
도 7a 내지 도 7d는 다양한 실시 예의 하나 이상의 양태에 따른, 음향들 및 음향 현장들을 식별하고 음향 변경을 위한 방향을 선택하기 위한 기술들을 도시한다.
도 8a 내지 도 8c는 다양한 실시 예의 하나 이상의 양태에 따른, 음향 및 음향이 수신되는 방향(들)을 식별하기 위한 기술들을 도시한다.
도 9는 다양한 실시 예의 하나 이상의 양태에 따른, 방향성 음향 변경을 위한 방법 단계들의 흐름도이다.
도 1a 및 도 1b는 다양한 실시 예에 따른, 음향 변경 시스템들을 도시한다.
도 2a 내지 도 2f는 다양한 실시 예에 따른, 상이한 환경들 내 배치된 음향 변경 시스템들을 도시한다.
도 3은 일 실시 예에 따른, 환경 내 음향 변경을 위한 방향들의 선택을 도시한다.
도 4는 일 실시 예에 따른, 시끄러운 환경 내 음향 변경 시스템의 동작을 도시한다.
도 5는 일 실시 예에 따른, 음향 변경을 위해 선택된 방향들의 업데이트를 도시한다.
도 6은 일 실시 예에 따른, 지향성 음향 변경을 위한 방법을 도시한다.
도 7a 내지 도 7d는 다양한 실시 예의 하나 이상의 양태에 따른, 음향들 및 음향 현장들을 식별하고 음향 변경을 위한 방향을 선택하기 위한 기술들을 도시한다.
도 8a 내지 도 8c는 다양한 실시 예의 하나 이상의 양태에 따른, 음향 및 음향이 수신되는 방향(들)을 식별하기 위한 기술들을 도시한다.
도 9는 다양한 실시 예의 하나 이상의 양태에 따른, 방향성 음향 변경을 위한 방법 단계들의 흐름도이다.
이하의 설명에서, 많은 구체적인 세부 사항이 다양한 실시 예에 대한 보다 철저한 이해를 제공하기 위해 제시된다. 그러나, 해당 기술분야의 통상의 기술자에게 본 발명은 이러한 구체적인 세부 사항들 중 하나 이상 없이도 실시될 수 있다는 것이 분명할 것이다.
본원에 개시된 실시 예들은 환경에서 음향들을 검출하도록 배열된 하나 이상의 오디오 센서 및 하나 이상의 오디오 출력 디바이스를 포함하는 음향 변경 시스템을 포함한다. 음향 변경 시스템은 오디오 센서들 및 오디오 출력 디바이스들과 결합되는 처리 디바이스를 더 포함하되, 상기 처리 디바이스들은 환경내 하나 이상의 선택된 방향 내로부터 검출된 음향들에 기초하여 오디오 신호를 생성하도록, 그리고 하나 이상의 오디오 출력 디바이스를 사용하여 생성된 오디오 신호를 출력하도록 동작한다. 출력된 생성된 오디오 신호는 목적하는 음향 변경을 위해 검출된 음향들과 조합된다. 다양한 실시 예에서, 음향 변경 시스템은 위치 정보를 수집하는 위치 디바이스 및/또는 시각 정보를 수집하는 센서 디바이스를 포함한다. 처리 디바이스는 또한 위치 정보, 시각 정보 및/또는 환경 내에서 검출된 음향들에 기초하여 환경 내 하나 이상의 방향을 선택하도록 동작할 수 있다. 그 다음 처리 디바이스는 선택된 방향들 내로부터 검출되는 음향들에 기초하여 오디오 신호를 생성할 수 있다.
음향 변경 시스템은 개인용 헤드폰들, 가정용 스테레오 시스템들, 차량용 스테레오 시스템들 등과 같은 오디오 기반 시스템들의 다양한 형태로 구현될 수 있다. 음향 변경 시스템은 노이즈 약화, 증폭 또는 검출된 음향들을 변경하기 위한 임의의 그 외 다른 목적하는 오디오 효과를 선택적으로 제공할 수 있다. 음향 변경 시스템은 전용 처리 디바이스 및/또는 별개의 컴퓨팅 디바이스 이를테면 사용자의 모바일 컴퓨팅 디바이스 또는 클라우드 컴퓨팅 시스템을 사용하여 그것의 처리 기능들을 수행할 수 있다. 음향 변경 시스템은 그 외 다른 시스템 구성요소들에 부착되거나 그것들과 일체로 될 수 있거나 별개로 배치될 수 있는 임의의 수의 오디오 센서를 사용하여 환경으로부터 음향들을 검출할 수 있다. 검출된 음향들, 위치 정보, 시각 정보 및 선택된 방향들은 환경의 2차원(2D) 또는 3차원(3D) 맵을 생성하기 위해 사용될 수 있고, 처리 디바이스는 사용자 배향, 사용자 위치, 시각 정보 및 검출된 음향들의 변화, 뿐만 아니라 사용자와 다양한 노이즈원 간 상대적인 거리의 변화에 기초하여 맵을 업데이트할 수 있다.
도 1a 및 도 1b는 다양한 실시 예에 따른, 음향 변경 시스템들을 도시한다. 도시된 바와 같이, 음향 변경 시스템(100)은 처리 디바이스(110), 메모리(120), 입력/출력(I/O)(130), 입력 디바이스(140), 오디오 센서들(150) 및 오디오 출력 디바이스들(155)을 포함한다. 처리 디바이스(110)는 본원에 설명되는 기능을 수행할 수 있는 임의의 처리 요소를 포함할 수 있다, 처리 디바이스(110)는 음향 변경 시스템(100) 내 단일 요소로 도시되었지만, 단일 프로세서, 다수의 프로세서, 다수의 코어를 갖는 프로세서 또는 프로세서들, 뿐만 아니라 이들의 조합들을 나타내는 것으로 의도된다. 메모리(120)는 그것들의 크기, 상대적인 성능 또는 그 외 다른 기능들: 휘발성 및/또는 비휘발성 매체, 탈착식 및/또는 비탈착식 매체 등으로 선택된 다양한 컴퓨터 판독 가능한 매체를 포함할 수 있다. 메모리(120)는 캐시, 랜덤 액세스 메모리(RAM). 저장 장치 등을 포함할 수 있다. 메모리(120)는 동적 RAM(DRAM) 듀얼 인라인 메모리 모듈들(DIMM들)과 같은 하나 이상의 별개의 메모리 모듈을 포함할 수 있다. 물론, 다양한 메모리 칩, 대역폭 및 폼 팩터가 대안적으로 선택될 수 있다. 메모리(120)의 부분으로 포함되는 저장 장치는 통상적으로 음향 변경 시스템(100)을 위한 비휘발성 메모리를 제공할 수 있고, 플래시 메모리, 하드 디스크 드라이브, 고체 상태 드라이브, 광학 저장 디바이스 및/또는 자기 저장 디바이스와 같은 하나 이상의 상이한 저장 요소를 포함할 수 있다.
메모리(120)는 본원에 설명되는 기능들을 수행하기 위한 하나 이상의 모듈을 포함할 수 있다. 다양한 실시 예에서, 메모리(120)에 포함되는 임의의 모듈들 및/또는 어플리케이션들은 음향 변경 시스템(100)에 의해 로컬로 구현될 수 있고/있거나 클라우드 기반 아키텍처를 통해 구현될 수 있다. 예를 들어, 메모리(120)에 포함되는 임의의 모듈들 및/또는 어플리케이션들은 I/O(130) 또는 네트워크(160)를 통해 음향 변경 시스템(100)과 통신하는 원격 디바이스(예를 들어, 스마트폰, 서버 시스템, 클라우드 컴퓨팅 플랫폼 등) 상에서 실행될 수 있다.
도시된 바와 같이, 메모리(120)는 다양한 선택된 방향에 대해 목적하는 음향 변경을 제공하기 위해 오디오 신호들을 생성하기 위한 오디오 신호 모듈(122) 및 환경 내 노이즈원들 및 음향 현장들의 2차원(2D) 또는 3차원(3D) 맵핑을 생성하기 위한 환경 맵 모듈(124)을 포함한다. 오디오 신호 모듈(122)은 일반적으로 오디오 신호들을 검출된 음향들의 스케일링된 그리고 가능하게는 역전된 카피의 형태로 생성할 수 있으나, 또한 목적하는 음향 변경을 위해 그 외 다른 파형들을 생성할 수도 있다. 예를 들어, 오디오 신호 모듈(122)은 주기적인 오디오 신호들 또는 심지어 랜덤 노이즈를 생성할 수 있다. 환경 맵 모듈(124)은 오디오 센서들(150)로부터의 입력을 반영하는 노이즈 데이터(126), 환경 내 음향 변경을 위한 방향들을(원래 선택된 방향들이든 업데이트된 것이든) 반영하는 방향 데이터(128), 및 오디오 센서들(150), 오디오 출력 디바이스들(155) 및 음향 변경 시스템(100)의 사용자 중 적어도 하나의 상대적인 배향을 반영하는 배향 데이터(129)를 별개로 포함할 수 있다. 환경 맵 모듈(124)은 오디오 센서들(150), 오디오 출력 디바이스들(155) 및 음향 변경 시스템(100)의 사용자 중 적어도 하나의 지리학적 위치를 반영하는, 위치 디바이스(146)에 의해 수신되는 위치 데이터(132)를 더 포함할 수 있다. 환경 맵 모듈(124)은 오디오 센서들(150), 오디오 출력 디바이스들(155) 및 음향 변경 시스템(100)의 사용자 중 적어도 하나의 부근의 센서 디바이스(142)(예를 들어, 시각 센서)에 의해 획득되는, 시각 정보를 반영하는 시각 데이터(134)를 더 포함할 수 있다.
다양한 실시 예에서, 메모리(120)는 음향 식별 모듈(190), 음향 데이터베이스(192), 음향 현장 데이터베이스(194), 구성 모듈(196) 및 방향 선택 모듈(199)을 더 포함한다. 음향 식별 모듈(190)은 검출된 음향들을 식별하고/거나 검출된 음향들에 기초하여 음향 현장들을 식별한다. 음향 데이터베이스(192)는 음향 식별 모듈(190)에 의해 검출된 음향들의 식별에 사용할 개별적인 음향들의 샘플들 및/또는 시그니처들을 포함한다. 음향 현장 데이터베이스(194)는 음향 식별 모듈(190)에 의해 음향 현장들의 식별에 사용할 음향 현장들의 샘플들 및/또는 시그니처들을 포함한다. 구성 모듈(196)은 음향 변경 시스템(100)의 하나 이상의 설정 및/또는 파라미터(예를 들어, 변경 설정(198))를 구성하기 위한 프로세스들을 수행하고, 특정 음향들 및 음향 현장들의 식별을 위해 음향 식별 모듈(190)을 트레이닝하기 위한 프로세스들을 수행한다. 일부 실시 예에서, 구성 모듈(196)은 음향 변경을 위한 파라미터들 및/또는 설정들을 반영하는 데이터를 저장하는 변경 설정들(198)을 별개로 포함할 수 있다. 일부 추가 실시 예에서, 변경 설정들(198)은 구성 모듈(196)과 별개로 저장될 수 있다. 방향 선택 모듈(199)은 하나 이상의 방향을 음향 변경을 위한 타겟 방향들로 선택한다.
일부 실시 예에서, 음향 데이터베이스(192)는 다양한 유형의 음향들의 샘플들 및/또는 시그니처들을 포함한다. 예를 들어, 음향 데이터베이스(192)는 차량들, 건설 장비, 잭해머들, 울음 소리, 사람의 목소리들 등의 음향들의 샘플들 및/또는 시그니처들을 포함할 수 있다. 유사하게, 음향 현장 데이터베이스(194)는 다양한 유형의 음향 현장들의 샘플들 및/또는 시그니처들을 포함한다. 다양한 실시 예에서, 음향 현장은 특정 설정과 연관된 하나 이상의 유형의 음향들의 집합체이다. 예를 들어, 교통 음향 현장은 거리 및/또는 고속도로 교통과 연관된 음향들, 이를테면 도로 위를 이동하는 차량들의 음향들, 차량 경음기들의 음향들 등의 집합체일 수 있다. 다른 예로, 건설 음향 현장은 건설 부지들과 연관된 음향들(예를 들어, 크레인들, 폭파 기계들, 토목 공사 장비 등)의 집합체일 수 있다. 추가 예로서, 도로 공사 음향 현장은 도로 공사 및 도로 건설과 연관된 음향들(예를 들어, 잭해머들, 도포 포장 장비 등)의 집합체일 수 있다. 또 다른 예로서, 군중 음향 현장은 군중과 연관된 음향들(예를 들어, 군중 내 사람들)의 집합체일 수 있다. 따라서, 음향 현장 데이터베이스(194)는 교통 음향 현장들, 건설 음향 현장들, 도로 공사 음향 현장들, 군중 음향 현장들 등의 샘플들 및/또는 시그니처들을 포함할 수 있다. 일부 실시 예에서, 음향 데이터베이스(192) 및 음향 현장 데이터베이스(194)는 기계 학습 기술(예를 들어, 신경 네트워크, 베이지안 네트워크 등)과 함께 사용되는 트레이닝 데이터를 포함할 수 있다.
처리 디바이스(110)는 그 외 다른 디바이스들, 이를테면 주변 디바이스들 도는 그 외 다른 네트워크 컴퓨팅 디바이스들과, 입력/출력(I/O)(130)을 사용하여 통신할 수 있다. I/O(130)는 본원에 설명되는 기능들을 제공하기 위해 사용되는 임의의 수의 상이한 I/O 어댑터 또는 인터페이스를 포함할 수 있다. I/O(130)는 유선 및/또는 무선 연결부들을 포함할 수 있고, 다양한 포맷 또는 프로토콜을 사용할 수 있다. 일례로, I/O(130)를 통해 처리 디바이스(110)는 무선 연결, 이를테면 Bluetooth®(Bluetooth Special Interest Group의 등록 상표) 또는 Wi-Fi®(Wi-Fi Alliance의 등록 상표)를 사용하여 연결되는 입력 디바이스들(140)을 사용하여 음향 변경을 위해 선택된 방향들을 결정할 수 있고, 유선 연결들을 통해 오디오 센서들(150)을 사용하여 환경 음향들을 검출할 수 있으며, 선택된 방향들에서 검출된 음향들에 대해 목적하는 음향 변경을 위해 별개의 유선 또는 무선 연결을 통해 오디오 출력 디바이스들(155)에 적절한 오디오 신호들을 제공할 수 있다. 다른 예로, 처리 디바이스(110)는 I/O(130)를 통해, 무선 연결, 이를테면 Bluetooth 또는 Wi-Fi를 사용하여 연결되는 컴퓨팅 디바이스(예를 들어, 스마트폰)로부터 획득되는 위치 데이터를 사용하여 음향 변경을 위해 선택되는 방향들을 결정할 수 있다. 추가 예로, 처리 디바이스(110)는 I/O(130)를 통해, 무선 연결을 사용하여 연결되는 컴퓨팅 디바이스(예를 들어, 스마트폰)에서 수행되는 구성 절차에 기초하여 메모리(120)에 저장을 위한 변경 설정들(198)을 획득할 수 있다 .
I/O(130)는 또한 네트워크(160)를 통해 처리 디바이스(110)를 하나 이상의 네트워크 컴퓨팅 디바이스에 접속시키는 네트워크 인터페이스들을 포함할 수 있다. 네트워크 컴퓨팅 디바이스들의 예들은 서버, 데스크탑 컴퓨터, 모바일 컴퓨팅 디바이스 이를테면 스마트폰 또는 태블릿 컴퓨터, 및 착용 디바이스 이를테면 시계 또는 헤드폰들 또는 헤드 장착 디스플레이 디바이스를 포함한다. 물론, 다른 유형들의 컴퓨팅 디바이스들도 처리 디바이스(110)와 네트워킹될 수 있다. 네트워크(160)는 근거리 또는 근거리 접속 네트워크(LAN), 일반 광역 네트워크(WAN) 및/또는 공중 네트워크(예를 들어, 인터넷)를 비롯한 다양한 유형의 하나 이상의 네트워크를 포함할 수 있다. 일부 실시 예에서, 네트워크 컴퓨팅 디바이스들 입력 디바이스들(140), 오디오 센서들(150) 및/또는 오디오 출력 디바이스들(155)로 사용될 수 있다.
입력 디바이스들(140)은 처리 디바이스(110)와 접속되어 지향성 음향 변경을 수행하기 위한 다양한 입력을 처리 디바이스(110)에 제공한다. 도시된 바와 같이, 입력 디바이스들(140)은 센서 디바이스들(142), 배향 디바이스(144) 및 위치 디바이스(146)를 포함한다. 센서 디바이스들(142)은 음향 변경 시스템(100)의 사용자들로부터 입력을 획득하기 위해 제공될 수 있고, 하나 이상의 유형의 센서들을 포함할 수 있다. 예를 들어, 사용자의 음향 변경을 위한 방향들을 선택하기 위한 입력은 제스처들, 이를테면 손, 팔, 눈 또는 그 외 다른 신체 부위들의 다양한 움직임 또는 배향을 포함할 수 있다. 사용자의 입력을 검출하기 위해, 센서 디바이스들(142)은 적외선(IR) 센서들, 열 센서들 및/또는 이미징 디바이스들 이를테면 전하 결합 소자(CCD) 또는 상보적인 금속 산화물 반도체(CMOS) 센서 디바이스와 같은 시각 센서들을 포함할 수 있다. 또한 센서 디바이스들(142)은 자이로스코프 또는 가속도계와 같은 관성 센서들을 포함할 수도 있다. 센서 디바이스들(142)은 사용자에 의해 착용 또는 운반될 수 있거나, 별개로 배치될 수 있다(즉, 별개의 디바이스로 존재하거나, 그에 포함되게). 물론, 사용자 입력을 수신하는 다양한 기능을 수행하기 위한 그 외 다른 유형들의 센서 디바이스들(정전 센서들, 적외선 센서들, 자기 센서들, 소나 센서들, 레이더 센서들, 라이더 센서들, 신경 센서들 등을 포함할 수 있음)이 또한 센서 디바이스들(142)에 포함될 수도 있다.
일부 실시 예에서, 입력 디바이스들(140)은 음향 변경을 위한 방향들의 사용자 선택을 수신하기 위한 그리고/또는 구성 절차 동안 하나 이상의 음향 변경 설정(198)의 사용자 입력들과 같은 그 외 다른 사용자 입력들을 수신하기 위한 사용자 인터페이스를 포함할 수 있다. 사용자 인터페이스는 하나 이상의 버튼, 토글, 슬라이더, 다이얼, 노브 등과 같이 본원에서 설명되는 기능들을 제공하기 위한 임의의 실행 가능한 형태를, 또는 그래픽 사용자 인터페이스(GUI)로 취할 수 있다. GUI는 음향 변경 시스템(100)의 임의의 구성요소를 통해 제공될 수 있다. 일 실시 예에서, GUI는 이를테면 사용자의 모바일 또는 웨어러블 컴퓨팅 디바이스 상에서 실행되는 어플리케이션을 통해, 처리 디바이스(110)와 통신 가능하게 접속되는 별개의 컴퓨팅 디바이스에 의해 제공될 수 있다. 음향 변경 및/또는 음향 변경 설정들의 우선적 선택을 제공하기 위해, 사용자 인터페이스는 수행될 음향 변경의 방향(들), 유형 및 양, 뿐만 아니라 음향들 및 음향 현장들의 유형들과 같은 다양한 파라미터에 대한 사용자 입력이 음향 변경을 위한 타겟으로 가능하게 할 수 있다. 파라미터들은 동작 동안 사용자에 의해 업데이트될 수 있거나 자동으로 업데이트될 수 있다.
다른 예에서, 사용자 인터페이스는 방향들 및 그 외 다른 음향 변경 설정들 및 파라미터들을 선택하기 위한 구두 명령들을 수신할 수 있다. 이 경우, 입력 디바이스들(140)은 오디오 센서들(150)과 상이하거나 동일할 수 있는 하나 이상의 오디오 센서를 포함할 수 있다. 처리 디바이스(110)는 수신된 구두 명령들에 관한 음성 인식을 수행하고/거나 구두 명령들을 메모리(120)에 저장된 명령들과 비교할 수 있다. 수신된 구두 명령들을 확인한 후, 처리 디바이스(110)는 음향 변경 시스템에 대해 명령된 기능(예를 들어, 음향 변경 파라미터들을 특정된 레벨들로 변경하는 것)을 수행할 수 있다.
배향 디바이스(144)는 환경에 관한(더 구체적으로는, 환경 내 노이즈원들에 관한) 오디오 센서들, 오디오 출력 디바이스들 및/또는 사용자의 배향에 대한 정보를 제공한다. 배향 디바이스는 배향 데이터를 노이즈 환경의 맵들로 통합시킬 수 있는 처리 디바이스(110)에 2차원(2D) 또는 3차원(3D) 배향 데이터를 제공할 수 있다. 배향 디바이스(144)는 자기력계, 자이로스코프, 가속도계 또는 이미징 디바이스와 같이, 사용자 배향을 검출할 수 있는 하나 이상의 센서 디바이스를 포함할 수 있다. 배향 디바이스(144)는 사용자에 의해 착용될 수 있거나 별개로 배치될 수 있다.
위치 디바이스(146)는 환경에 관한(예를 들어, 환경 내 노이즈원들에 관한) 오디오 센서들, 오디오 출력 디바이스들 및/또는 사용자의 지리학적 위치에 대한 정보를 제공한다. 위치 디바이스(146)는 위치 데이터를 노이즈 환경의 맵들로 통합시킬 수 있는 처리 디바이스(110)에 위치 데이터(예를 들어, 위도 및 경도 좌표들)를 제공할 수 있다. 위치 디바이스(146)는 GPS 수신기 모듈과 같이, 사용자 위치를 검출할 수 있는 하나 이상의 센서 디바이스를 포함할 수 있다. 위치 디바이스(146)는 사용자에 의해 착용될 수 있거나 별개로 배치될 수 있다. 일부 실시 예에서, 그 외 다른 형태들의 위치 데이터가 또한 그 외 다른 소스들로부터 획득될 수 있다. 예를 들어, 음향 변경 시스템(100)은 I/O(130)를 통해 위치 비콘들과 통신할 수 있고 이러한 위치 비콘들로부터 위치 데이터를 획득할 수 있다. 다른 예로, 음향 변경 시스템(100)은 네트워크들(160) 내 Wi-Fi 네트워크와 통신할 수 있고 Wi-Fi 네트워크로부터 위치 데이터를 획득할 수 있다.
오디오 센서들(150)은 환경에서 발생하는 음향들을 획득하기 위해 포함된다. 획득된 음향들은 적절한 지향성 음향 변경을 위해 처리 디바이스에 의해 사용될 수 있다. 오디오 센서들은 음파들을 전기적 신호로 변환할 수 있는 복수의 마이크 또는 그 외 다른 트랜스듀서 또는 센서일 수 있다. 오디오 센서들은 단일 유형의 센서들 또는 다양한 상이한 센서를 포함하는 센서들의 어레이를 포함할 수 있다. 오디오 센서들(150)은 사용자에 의해 착용될 수 있거나, 또는 고정된 위치에 또는 이동 가능하게 별개로 배치될 수 있다. 오디오 센서들은 환경에 임의의 실행 가능한 방식으로 배치될 수 있다. 여러 실시 예에서, 오디오 센서들(150)은 일반적으로 오디오 출력 디바이스들(155)에 관해 밖을 향해 배향되며, 이들은 오디오 센서들(150)의 안을 향해 배치되고 또한 밖을 향해도 배향된다. 그러한 배향은 특히 음향 변경이 수행될(즉, 오디오 출력 디바이스들(155)로부터의 출력을 사용하여) 하나 이상의 영역을 환경의 나머지와 분리시키는 데 유익할 수 있다. 일례로, 오디오 센서들(150)은 사용자로부터 방사상으로 밖을 향해 배향될 수 있는 한편, 오디오 출력 디바이스들(155)은 사용자 쪽으로 방사상으로 안을 향해 배향될 수 있다.
오디오 출력 디바이스들(155)은 생성된 오디오 신호들을 출력하여 환경 내 하나 이상의 선택된 방향에 대응하는 적절한 음향 변경을 제공하기 위해 포함된다. 물론, 음향 변경 오디오 신호들은 오디오 출력 디바이스들(155) 상에서 그 외 다른 오디오 신호들(예를 들어, 음악 또는 그 외 다른 오디오 플레이백)과 동시에 구동될 수 있다. 오디오 출력 디바이스들은 라우드스피커들 또는 그 외 다른 적합한 전기 음향 디바이스들과 같이, 종래의 오디오 출력 기술들을 사용할 수 있다. 오디오 출력 디바이스들(155)은 별개의 라우드스피커 디바이스들, 어라운드-이어(덮개형), 온-이어(밀페형) 또는 인-이어 헤드폰들, 보청기들, 유선 또는 무선 헤드셋들, 몸에 착용하는(머리, 어깨, 팔 등) 청취 디바이스들, 몸에 착용하는 근거리 방향성 스피커들 또는 스피커 어레이들, 몸에 착용하는 초음파 스피커 어레이들 등과 같은 임의의 수의 상이한 종래의 폼 팩터를 사용하여 구현될 수 있다. 오디오 출력 디바이스들(155)은 사용자에 의해 착용될 수 있거나 고정된 위치에 또는 이동 가능하게 별개로 배치될 수 있다. 전술한 바와 같이, 오디오 출력 디바이스들(155)은 오디오 센서들(150)의 안을 향해 배치되고 특정 영역 또는 사용자 쪽으로 안을 향해 배향될 수 있다.
도 1a는 음향 변경 시스템(100)의 다양한 구성요소가 여러 디바이스에 걸쳐 분산될 수 있는 일 실시 예를 도시한다. 도 1b는 음향 변경 시스템(170)의 컴퓨팅 구성요소들(예를 들어, 처리 디바이스(110), 메모리(120) 및 I/O(130))이 별개의 컴퓨팅 디바이스(180)에 포함되는 다른 실시 예를 도시한다. 일반적으로, 컴퓨팅 디바이스(180)는 하나 이상의 입력 디바이스(140) 및 오디오 센서(150)로부터 입력을 수신하고, 지향성 음향 변경을 위한 오디오 신호들을 생성하며, 생성된 오디오 신호들을 오디오 출력 디바이스들(155)을 사용하여 출력한다. 후술될 바와 같이, 컴퓨팅 디바이스(180)는 오디오 센서들(150) 및 오디오 출력 디바이스들(155)에 상대적으로 근접하게 배치될 수 있다.
도 2a 내지 도 2f는 다양한 실시 예에 따른, 상이한 환경들 내 배치된 음향 변경 시스템들을 도시한다. 도 2a는 일 실시 예에 따른, 오버-이어 헤드폰들(200)에 구현된 음향 변경 시스템을 도시한다. 헤드폰들(200)은 사용자의 머리와 편안하게 접촉하고 사용자의 귀를 덮도록 제공되는 이어 컵들(205)을 포함한다. 헤드폰들(200)은 또한 각 이어 컵(205)에 연결되어, 이어 컵들, 스피커 요소들, 뿐만 아니라 헤드폰들(200)에 포함되는 임의의 그 외 다른 구성요소들에 지지를 제공하는 하우징(210)을 포함한다. 도시된 바와 같이, 헤드폰들(200)은 처리 모듈(211), 복수의 마이크(212), 하나 이상의 버튼(213), 피드백 디바이스(214) 및 전원(215)을 포함한다. 물론, 해당 기술분야의 통상의 기술자라면 그 외 다른 구성요소들이 여기에 명시적으로 언급되지 않지만, 또한 헤드폰들(200)에 포함될 수 있는 것을 인식할 것이다.
최소한도로, 처리 모듈(211)은 유선 또는 무선 연결을 통해 오디오 신호들을 수신하고 오디오 신호를 헤드폰들(200)의 스피커 요소들에 출력할 수 있는 기능을 포함한다. 처리 모듈(211)은 또한 수신된 오디오 신호들을 변조하기 위한 하나 이상의 능동 또는 수동 소자들을 포함할 수도 있다. 처리 모듈(211)은 환경 내 지향성 음향 변경을 제공하기 위해 음향 변경 시스템들(100, 170)에 대하여 상술한 그 외 다른 기능과 함께(예를 들어, 센서 디바이스들(142), 배향 디바이스(144)) 처리 디바이스(110)를 포함할 수 있다. 일 실시예에서, 처리 모듈(211)은 컴퓨팅 디바이스(180)일 수 있다. 또한, 처리 모듈(211)은 음향 변경 오디오 신호들을 제공하고, 선택적으로 헤드폰들(200)의 스피커 요소들로 출력될 매체들을 제공하는 하나 이상의 별개의 컴퓨팅 디바이스와 접속될 수 있다. 컴퓨팅 디바이스는 랩탑, 스마트폰, 태블릿, 스마트 워치 등과 같은, 사용자의 모바일 또는 착용 컴퓨팅 디바이스일 수 있다.
마이크들(212)은 오디오 센서들(150)로 사용되고 바람직하게 특정 배열로 배치될 수 있다. 예를 들어, 마이크들(212)의 어레이는 하우징(210)의 너비를 따라 분산되고 착용된 헤드폰들 외부 환경에서 발생하는 노이즈를 획득하도록 밖을 향해 배향될 수 있다. 일례로, 마이크로폰들은 하우징(210)의 만곡된 외측 표면을 따름으로써 그리고/또는 개별적으로 배향됨으로써, 방사상으로 밖을 향해 배향될 수 있다. 물론, 마이크들은 바람직하게 하나 이상의 치수 또는 표면을 따라 분선되어 목적하는 형상 및 크기의 음향 획득 파노라마를 제공할 수 있다. 일 실시 예에서, 마이크들의 어레이는 각 미세 전자 기계 시스템들(MEMS) 디바이스가 복수의 더 작은 트랜스듀서를 포함하는, 하나 이상의 MEMS 디바이스를 포함할 수 있다. 복수의 트랜스듀서는 음향 이벤트들의 방향성이 도달 시간 차들을 통해 결정될 수 있도록 공간적으로 분리될 수 있다. 그 다음 트랜스듀서들로부터 수신되는 신호들이 음원들의 위치화를 가능하게 하기 위해 세기, 스펙트럼 및 타이밍 큐들에 대해 처리 및 검토될 수 있다.
하나 이상의 버튼(213)이 음향 변경을 수행하기 위한 환경 내 하나 이상의 방향을 선택하기 위한 입력 디바이스(140)로 사용될 수 있다. 버튼들(213)은 각 이어 컵(205)에 연결되는 하우징(210)의 부분들 상의 하나 이상의 버튼과 같이, 하우징(210) 상에 배치될 수 있다. 버튼들(213)은 마이크들(212)과 유사하게 배치될 수 있으며 각 버튼이 구체적으로 마이크들(212)의 하나 이상에 대응한다. 일 실시 예에서, 버튼들 및 마이크들이 1:1 비로 대응한다. 예를 들어, 버튼을 누르는 것은 대응하는 하나 이상의 마이크에 의해 검출되는 음향들에 관해 음향 변경이 수행되고 있는지 여부를 켰다 껐다할 수 있거나, 또는 음향 변경 설정들을 변경할 수 있다(예를 들어, 증폭 또는 약화의 양을 변경할 수 있다). 일 실시 예에서, 버튼들(213)은 음향 변경에 대해 복수의 미리 결정된 설정을 통해, 디폴트로 설정되는지 또는 사용자가 지정할지를 반복하도록 제공될 수 있다. 일 실시 예에서, 버튼들(213)은 그 외 다른 입력들에 대한 트리거 디바이스로 사용될 수 있다. 예를 들어, 사용자는 방향들 또는 그 외 다른 음향 변경 파라미터들을 선택하기 위해 버튼을 누르고 그 후 구두 명령을 입력하거나 특정 입력 제스처들을 할 수 있다.
피드백 디바이스(214)는 사용자에게 시각 또는 햅틱 피드백을 제공하기 위해 포함될 수 있다. 예를 들어, 피드백 디바이스(214)는 하나 이상의 발광 다이오드(LED) 또는 진동 모터를 포함할 수 있다. 일 실시 예에서, LED들은 마이크들(212) 및/또는 버튼들(213)과 유사하게 배치될 수 있고, 음향 변경을 수행하기 위해 선택된 방향들을 나타낼 수 있다. 피드백 디바이스는 또한 예를 들어, 깜빡임 또는 진동에 의해, 성공적인 사용자 선택을 알릴 수 있다.
전원(215)은 각 구성요소에 전력을 제공하기 위해 처리 모듈(211) 및 피드백 디바이스(214)와 접속될 수 있다. 전원(215)은 교체 가능한 또는 충전 가능한 배터리들 또는 그 외 다른 에너지 저장 디바이스들을 포함할 수 있다. 전원(215)은 또한 구성요소들에 전력을 공급하고/거나 배터리들을 충전하기 위한 콘센트에 대한 연결부를 포함할 수도 있다.
도 2b는 일 실시 예에 따른, 오버-이어 헤드폰들(200)이 사용자(225)에 의해 착용된 예시적인 환경(220)을 도시한다. 다양한 마이크는 마이크들의 고유한 속성들 및 헤드폰들(200) 내 그것들의 상대적인 기질들에 기초하여, 각각 마이크로부터 특정 거리(230)에 대응할 수 있는 음향의 최소 임계 레벨을 감지할 수 있다. 조합하여, 다양한 마이크의 복합 감지 영역들이 마이크들로부터 주위 환경으로 확장되는 공간적 영역 또는 볼륨에 의해 나타내어지는 오디오 감지 존(235)을 형성할 수 있다. 오디오 감지 존(235)은 마이크들의 수, 위치 및 배향, 뿐만 아니라 각 마이크의 성능(예를 들어, 감도, 주파수 응답 등)에 따라 다양한 형상 및/또는 크기를 가질 수 있다. 여기에 도시된 간략화된 예에서, 오디오 감지 존(235)은 사용자(225)의 머리 주변 구에 의해 나타내어진다. 물론, 더 복잡한 형상들, 이를테면 가늘고 긴 형상들, 마이크 커버리지의 중첩 영역들을 포함하는 형상들, 또는 마이크들이 완전한 음향 커버리지를 제공하지 않는 비연속적인 형상들이 가능하고 예상된다. 임의의 소정의 디바이스. 이를테면 헤드폰들(200)에 대해, 디바이스는 각 마이크의 주파수 의존 속성들이 상이할 수 있기 때문에 상이한 노이즈 주파수들에서 상이한 오디오 감지 존들을 가질 수 있다.
여기서 설명되는 바와 같이, 오디오 감지 존의 외측 구 한계들은 어느 정도 미리 결정된 최소 음향 레벨(예를 들어, 3 데시벨 또는 dB)을 나타낸다. 물론, 이는 특정 노이즈원이 오디오 감지 존에 의해 획정되는 공간 내에 물리적으로 위치되어야 할 것을 요구하는 것은 아니고, 단지 노이즈원이 외측 한계에서 임계 음향 레벨을 충족하거나 초과하기에 충분한 전력을 발생시킬 것을 요구한다.
도 2c는 일 실시 예에 따른, 음향 변경 시스템에 대한 다른 예시적인 환경(240)을 도시한다. 이 경우, 음향 변경 시스템은 가정용 스테레오 시스템에 배치될 수 있다. 가정용 스테레오 시스템은 텔레비전(245) 또는 그 외 다른 시청각 디바이스, 스테레오 수신기(247) 및 복수의 스피커(250)를 포함할 수 있다. 각각의 스피커들(250)은 상이한 주파수 범위들에 대응하는 드라이버들(예를 들어, 트위터들, 우퍼들, 서브 우퍼들)을 포함할 수 있고 오디오 품질을 위해 바람직하게 환경(240) 내에 배치될 수 있다. 더 구체적으로, 텔레비전(245) 및 스피커들(250)은 예를 들어, 긴 의자(242)에 앉은, 미리 결정된 위치의 한 명 이상의 사용자에게 최적의 오디오 및 비디오 품질을 제공하도록 배치될 수 있다.
도 2d는 일 실시 예에 따른, 환경(260)의 상면도를 도시한다. 대부분에서, 환경(260)은 환경(240)과 동일하나, 환경(260)은 오디오 센서들 및 대응하는 오디오 감지 존(277)을 명백하게 도시한다. 하나 이상의 상이한 유형의 오디오 센서들이 환경(260)에 포함될 수 있다. 오디오 센서들은 스피커들(250) 상에 배치되는 오디오 센서들(255)과 같은 가정용 스테레오 시스템의 다양한 구성요소에 부착되거나, 그것들과 일체로 될 수 있다. 오디오 센서들은 또한 가정용 스테레오 시스템의 비구성요소에 부착되는 것과 같이 별개로, 또는 독립형 센서로 배치될 수도 있다. 오디오 센서들(275)은 창문들(270) 부근 벽들(265)의 외부에 부착되고, 실외 노이즈(예를 들어, 동물들, 이웃들, 자동차/트레인/항공 교통 등)를 변경하기 위해 사용될 수 있다. 음향 변경 시스템에 대한 처리는 스테레오 수신기(247)에 의해 자연적으로 수행될 수 있거나, 또한 오디오 신호들을 다양한 스피커(250)에 출력할 수 있는 별개의 컴퓨팅 디바이스에 의해 수행될 수 있다. 컴퓨팅 디바이스는 가정용 스테레오 시스템에 포함되는 컴퓨팅 시스템일 수 있거나, 또는 대안적으로 랩탑, 스마트폰, 태블릿, 스마트 워치 등과 같은, 사용자의 모바일 컴퓨팅 디바이스일 수 있다.
도 2e는 일 실시 예에 따른, 자동차(280)에 구현되는 것으로 음향 변경 시스템을 도시한다. 도시된 바와 같이, 자동차(280)는 복수의 스피커(285) 및 오디오 수신기(287)가 위치하는 승객실(282)을 포함한다. 오디오 수신기(287)는 스피커들(285)과 접속되고 일반적으로 오디오 입력(AM/FM/위성 기반 라디오, 컴팩트 디스크, MP3 파일들 등)을 수신하도록 그리고 증폭된 그리고/또는 등화된 오디오 신호들을 스피커들(285)로 구동하도록 동작한다. 음향 변경 시스템은 자동차(280) 외부에 "l되고 밖을 향해 배향되는 복수의 오디오 센서(290)를 포함할 수 있다. 네 개의 오디오 센서가 자동차의 쿼터 패널들 상에 배치되는 것으로 도시되었지만, 임의의 수의 센서가 자동차의 임의의 내부 또는 외부 위치에 배치되는 것이 가능하다. 일 실시 예에서, 오디오 센서들은 바람직하게 엔진 음향들을 변경(예를 들어, 약화 또는 증폭)하기 위해 엔진실(291) 부근(이를테면 엔진실과 승객실(282) 사이)에 배치될 수 있다. 음향 변경 시스템에 대한 처리는 오디오 수신기(287)에 의해 자연적으로 수행될 수 있거나, 또한 오디오 신호들을 다양한 스피커(285)에 출력할 수 있는 별개의 컴퓨팅 디바이스에 의해 수행될 수 있다. 다시, 컴퓨팅 디바이스는 오디오 시스템에 포함되는 컴퓨팅 시스템일 수 있거나, 또는 대안적으로 랩탑, 스마트폰, 태블릿, 스마트 워치 등과 같은, 사용자의 모바일 컴퓨팅 디바이스일 수 있다.
도 2f는 자동차(280)가 도로(295)를 따라 동작하고 있는 환경(292)을 도시한다. 그 외 다른 실시 예들이 상술된 바와 같이, 음향 변경 시스템의 센서들(290)은 오디오 감지 존(297)에 대응한다. 환경 노이즈들이 센서들(290)에 의해 검출될 때, 음향 변경 시스템은 선택된 방향들로부터 오는 음향들에 대해 목적하는 변경 효과를 제공하기 위한 오디오 신호들을 생성할 수 있다.
도 3은 일 실시 예에 따른, 환경 내 음향 변경을 위한 방향들의 선택을 도시한다. 헤드폰들을 포함하는 하나의 특정 실시 예가 도시되지만, 통상의 기술자라면 다양한 대안적인 구현 예가 또한 가능할 것으로 이해할 것이다. 환경(300)은 사용자(225)가 그 또는 그녀의 머리에 헤드폰들(200)을 착용한 하향식 도면을 제공한다. 사용자(225)는 환경(300) 내 초기 배향(305)을 갖는다. 여기서 사용자의 배향 및 환경의 간략화된 2D 표현이 제시되지만, 통상의 기술자라면 동일한 원리들이 또한 3D 표면에 적용될 수 있음을 이해할 것이다(예를 들어, 사용자가 머리를 앞으로 기울일지, 위로 기울일지, 왼쪽으로 기울일지, 오른쪽으로 기울일지 등). 헤드폰들(200)에 포함되는 다양한 마이크의 복합 감지 영역들을 나타내는 오디오 감지 존(325)은 마이크들로부터 주위 환경으로 확장된다. 오디오 감지 존(325) 내 패스-스루 영역(310)으로부터 오는 것으로 헤드폰들(200)에 의해 검출되는 음향들은 능동적인 음향 변경을 적용함 없이 사용자를 거쳐 지나가게 하게 된다.. 그러나, 오디오 감지 존(325) 내 변경 영역(320)으로부터 오는 것으로 검출되는 음향들은 목적하는 음향 변경을 위해 생성된 오디오 신호들과 조합된다.
사용자는 임의의 수의 방법을 사용하여 음향 변경을 위한 방향(들)을 선택할 수 있다. 환경(300)에 도시된 간략화된 경우에서, 사용자는 한쪽 면 전체(320)(예를 들어, 헤드폰들(200)의 이어 컵들 중 하나에 대응하는)가 약화되게 또는 증폭되게 선택할 수 있다. 대안적으로, 사용자는 각도 및 각 너비(현재 배향(305)으로부터 90°의 중심 각도, 180° 너비) 또는 다수의 각도(0°-180°)를 지정할 수 있다.
전술한 바와 같이, 사용자는 푸시버튼들, 구두 명령들, 제스처들의 사용을 통해, GUI를 사용하여 등 이러한 방향 선택 입력을 제공할 수 있을 수 있다. 일 실시 예에서, 헤드폰들(200)의 각 측면은 사용자(225)가 단지 대응하는 버튼들을 누름으로써 하나 이상의 방향에 대한 음향 변경을 선택적으로 적용할 수 있도록 하나 이상의 버튼을 포함할 수 있다. 다른 실시 예에서, 사용자는 각도들을 직접 또는 간접적으로(예를 들어, 특정 각도들에 미리 맵핑된 단어들 또는 구들을 사용하여) 선택함으로써, 하나 이상의 방향을 선택하기 위한 구두 명령들을 제공할 수 있다. 다른 실시 예에서, 사용자는 각도들이 직접 또는 간접적으로 선택될 수 있는 제스처들을 제공할 수 있다. 예를 들어, 사용자는 변경 영역(320)을 획정하는 제1 및 제2 각도들로 가리킬 수 있거나, 또는 객체(예를 들어, 특정 노이즈원)를 가리킬 수 있다. 일 실시 예에서, 사용자의 눈들의 배향은 음원을 단순히 보는 것에 의해 방향이 결정될 수 있도록, 하나 이상의 방향을 선택하는 것과 함께 결정될 수 있다. 이 경우, 방향은 구두 명령을 말하는 것, 버튼을 누르는 것 등에 의해 선택을 트리거한 후 사용자의 시선에 기초하여 결정될 수 있다. 음향 변경 시스템은 사용자의 입력을 수신하고 객체가 변경 영역(320) 내에 완전히 포함되도록 적절한 각도들을 설정할 수 있다.
음향 변경을 위한 방향들을 선택하는 것과 함께, 사용자(225)는 또한 변경의 유형 및 양(예를 들어, 증폭, 약화 및 어느 하나의 양)을 지정할 수 있다. 예를 들어, 사용자가 노이즈원을 가리켜 "이 노이즈를 50% 줄여" 또는 "이 방향으로부터의 임의의 노이즈를 3dB만큼 줄여"라고 말할 수 있다. 다른 예에서, 동료가 그 또는 그의 사무실에 다가 갔을 때 알리고 싶어하는 헤드폰들을 착용한 사용자는 사무실 문을 열고 "이 방향으로부터 오는 음향들을 35%만큼 증가시켜"라고 말할 수 있다. 음향 변경의 유형 및 양은 변경 영역들에 따라 달라질 수 있다. 방향들에 더하여, 사용자는 또한 특정 주파수 범위들이 변경될 것을 지정할 수도 있다. 사용자는 특정 주파수 값들을 나타냄으로써 또는 미리 맵핑된 주파수 범위들을 선택함으로써(음성, 자동차 교통 또는 그 외 다른 공통 노이즈원 범위들에 대응하여) 이들을 지정할 수 있다. 사용자에 의해 지정된 변경 영역들은(변경 영역(320)과 같은) 사용자의 배향을 추적할 수 있거나, 또는 사용자의 배향의 변화에도 불구하고 고정되게 유지될 수 있다. 예를 들어, 사용자는 그 또는 그녀의 우측으로부터의 모든 음향이 음향 변경되게 선택할 수 있다. 대응하는 변경 영역이 사용자를 추적하는 것으로 설정될 경우, 임의의 순간에 사용자의 우측으로부터 오는 음향들(사용자가 이동하더라도)이 계속해서 음향 변경될 것이다.
일부 실시 예에서, 하나 이상의 센서로부터의 입력이 어떤 음향들이 사용자를 대부분 혼란케 하는지를 결정하기 위해 다양한 음원과 상관될 수 있다. 혼란 결정은 환경 내 다양한 음향과 센서 측정치들의 일시적 비교에 기초할 수 있다. 예시적인 센서 측정치들은 포커스 또는 집중 잃음을 결정하기 위한 두뇌 활동(예를 들어, 신경 센서들을 사용하여) 또는 눈 또는 머리 움직임을 검출하는 것(예를 들어, 더 큰 움직임이 일반적으로 혼란과 상관될 수 있음)을 포함한다. 혼란 결정에 기초하여, 오디오 센서들들이 혼란 음향들과 충분히 유사한 기준들을 충족하는 음향들을 검출할 때, 음향 변경을 위한 방향들이 결정되고 이러한 음향들에 자동으로 적용될 수 있다.
전술한 바와 같이, 음향 변경 시스템들은 검출된 노이즈 및 음향 변경을 위해 선택된 하나 이상의 방향을 반영하기 위해 환경의 맵핑들을 생성할 수 있다. 음향 변경 시스템들은 음향 변경을 위한 오디오 신호들을 생성하기 전 사용자의 현재 위치 및 배향 에 따른 맵핑들을 변환할 수 있다. 맵의 2D 버전은 도 3의 도면들과 유사할 수 있다. 2D 맵의 변경 영역들이 일반적으로 사용자로부터 튀어나오는 쐐기들로 표현되므로, 3D 맵은 3D 공간에서 원뿔일 수 있거나 원뿔과 유사하게 보일 수 있는 다양한 벡터가 사용자 또는 마이크로부터 튀어나오게 포함할 수 있다.
환경 맵들을 생성하는 것의 일부로서, 음향 변경 시스템들은 또한 검출된 음향들에 대한 별개의 노이즈원 위치들을 추정할 수 있고, 그러한 추정된 위치들을 맵들에 그릴 수 있다. 맵들은 임의의 알려져 있는 좌표계들, 이를테면, 데카르트, 극 또는 구 좌표들을 사용할 수 있다. 이러한 맵들은 또한 사용자의 절대적인 위치(위성 위치 확인 시스템(GPS) 센서와 같은 센서 디바이스들을 통해 제공되는)와 관계될 수 있다. 절대적인 위치와 관계될 때, 맵들은 음향 변경 시스템들의 그 외 다른 사용자들에 유용할 수 있다. 예를 들어, 헤드폰을 착용한 사용자가 혼잡한 도로를 걸어 내려가는 동안 생성되는 노이즈 맵들은 서버에 저장되고 이후에 그 부근에서 그 외 다른 사용자들에 제공될 수 있으며, 이는 다양한 음향 변경 시스템에 의한 중복 처리를 줄이거나 방지할 수 있다.
환경(330)은 또한 사용자(225)가 그 또는 그녀의 머리에 헤드폰들(200)을 착용한 하향식 도면을 제공한다. 사용자(225)는 동일한 배향(305)을 가지나, 이 예에서는 변경 영역(350)에 대해 상이한 방향들을 지정하기 원한다(이 경우, 영역은 사용자 뒤에 위치된다). 하나 이상의 변경 영역(350)을 설정하는 사용자(225)는 또한 오디오 감지 존(325) 내 하나 이상의 패스-스루 영역(340)을 정의하도록 동작할 수도 있다. 다시, 사용자는 특정 각도들을 지정함으로써 방향들을 선택할 수 있다. 대안적인 실시 예에서, 사용자는 변경 영역(350)의 상대적인 너비를 기술하기 위한 수식어(예를 들어, "좁은", "중간의", "넓은")와 함께, 방향 또는 특정 각도를 지정할 수 있다. 수식어들은 특정 각도 너비들을 나타내기 위해 미리 맵핑될 수 있다. 대안적인 실시 예에서, 사용자는 하나의 각도(예를 들어, 현재 위치로부터 180도, 또는 "내 뒤")를 지정할 수 있고 미리 결정된 디폴트 각도 너비가 변경 영역(350)을 생성하기 위해 적용된다. 물론, 변경 영역(350)을 초기에 설정한 후, 사용자는 새로운 변경 영역들을 전적으로 선택할 수 있거나 변경 영역(350)에 대해 증분 조절할 수 있다. 예를 들어, 사용자는 변경 영역을 식별하고 특정 각도 또는 각도 너비 변화를 제공할 수 있거나, 변경 영역을 넓히는 것/좁히는 것 그리고/또는 변경 영역을 사용자 배향에 관해 이동시키는 것을 지정할 수 있다.
환경(360)은 또한 사용자(225)가 그 또는 그녀의 머리에 헤드폰들(200)을 착용한 하향식 도면을 제공한다. 사용자(225)는 동일한 배향(305)을 가지나, 이 예에서는 두 개의 상이한 변경 영역들(3801, 3802)에 대한 방향들을 지정하기 원한다. 변경 영역들(3801, 3802)을 설정하는 것은 또한 오디오 감지 존(325) 내 하나 이상의 패스-스루 영역(3701, 3702)을 정의하도록 동작할 수도 있다. 사용자는 동시에 또는 상이한 시간들에 선택될 수 있는 각 변경 영역(3801, 3802)에 대한 각도들 또는 각도들의 범위들을 지정할 수 있다. 이전과 같이, 사용자는 대안적으로 각 변경 영역의 너비를 설정하기 위한 구두 기술자들(예를 들어, "135°를 중심으로 넓은 범위", 그리고 "315°에서 좁은 범위")을 사용할 수 있다. 대안적으로, 사용자는 각도를 지정할 수 있고, 미리 결정된 디폴트 각 너비가 적용된다.
도 4는 일 실시 예에 따른, 시끄러운 환경에 배치된 음향 변경 시스템의 동작을 도시한다. 고층 사무실 건물(405)이 도시되며, 여기서 사용자(225)는 워크스테이션(410)에서 일하면서 헤드폰들(200)을 착용하고 있다. 인접한 워크스테이션(420)의 동료가 전화기에 대호 큰 소리로 말하고 있으며, 이는 사용자를 혼란케 하고 있을 수 있다. 그 동안에, 사무실 건물(405) 밖 거리(450)에서는 도로 공사(440)가 일어나고 있고, 이 또한 사용자를 혼란케 할 수 있는 노이즈를 생성하고 있다.
상술된 다양한 기술 중 임의의 기술을 사용하여, 사용자는 이러한 노이즈원들에 대응하는 노이즈 변경을 위한 방향들을 선택할 수 있다. 이 경우, 사용자는 노이즈원들을 약화시키기 원할 수 있다. 도시되지 않았지만, 사용자는 추가적으로 또는 대안적으로 이를테면 사용자의 컴퓨터 또는 전화기의 방향들로부터의 음향을 향상(예를 들어, 증폭 및/또는 등화)시키기 위해 하나 이상의 방향을 선택할 수도 있다. 사용자가 노이즈원에 대응하는 방향들을 지정한 후, 음향 변경 시스템은 지정된 방향들의 미리 결정된 범위 내 가장 큰 노이즈원(들)을 결정할 수 있는데, 이는 사용자가 방향들의 정밀한 표시를 제공하지 않았을 수 있고, 선택된 방향들로부터 오는 가장 큰 노이즈가 사용자가 변경하기 원하는 것일 가능성이 크기 때문이다. 그에 따라 환경(400)의 3D 맵핑은 사용자(225)로부터 튀어 나오는 벡터들(430 및 460)(또는 그보다는, 헤드폰들(200)에 포함되는 대응하는 마이크들)을 포함할 수 있다. 벡터들(430, 460)은 음향 변경이 대응하는 방향들로부터 나오는 것으로 검출되는 음향들에 대해 수행될 것임을 나타낸다.
도 5는 일 실시 예에 따른, 음향 변경을 위해 선택된 방향들의 업데이트를 도시한다. 환경(500)에서, 사용자(225)는 초기 배향(505)에 있으면서, 그 또는 그녀의 머리에 헤드폰들(200)을 착용하는 것으로 도시된다. 환경(500)에는 두 지점의 노이즈원(5101, 5102)이 포함된다. 하나의 노이즈원(5101)은 헤드폰들(200)의 오디오 감지 존(525) 내에 배치되는 한편, 그 외 다른 노이즈원(5102)은 외부에 배치된다. 그에 따라, 패스-스루 영역들(520)에 대응하는 방향들로부터 검출되는 음향들은 음향 변경되지 않는 한편, 변경 영역들(5151, 5152)로부터의 음향들은 음향 변경 시스템에 의해 변경된다. 음향 변경 시스템은 이러한 선택된 방향들 및 노이즈원들에 기초하여 환경(500)의 맵을 생성할 수 있다.
환경(530)에서, 사용자는 그 또는 그녀의 전신(또는 아마도 그/그녀의 머리만)을 회전시켜, 사용자의 배향(또는 헤드폰들(200)의 오디오 센서들의)이 배향(505)에서 배향(535)으로 바뀌게 된다. 일 실시 예에서, 음향 변경 시스템은 사용자 배향이 변할 경우 노이즈원들을 추적하도록 구성된다. 사용자 재배향되었지만, 노이즈원들(5101, 5102)은 동일한 위치들에 유지되고, 그에 따라 변경 영역들(5101, 5102)은 노이즈원들에 관해 정적으로 유지된다. 사용자 배향의 변화가 발생하더라도, 노이즈원들이 계속 음향 변경될 것이다. 환경들이 간략함을 위해 2D로 도시되지만, 통상의 기술자는 유사한 구현 예들이 3D 공간에서 이루어질 수 있는 것으로 이해될 것이다.
일 실시 예에서, 음향 변경 시스템은 또한 사용자 및/또는 노이즈원들의 변위를 추적하도록 구성된다. 이는 사용자 배향이 변할 경우 노이즈원들을 추적하는 것에 더하여 이루어질 수 있다. 환경(550)에서, 사용자는 초기 배향(555)을 갖는다. 다시, 두 지점의 노이즈원(5101, 5102)이 포함된다. 노이즈원(5101)에 대응하는 변경 영역(5151)은 초기 각 너비(α1)를 갖고, 노이즈원(5102)에 대응하는 변경 영역(5152)은 초기 각 너비(β1)를 갖는다.
환경(560)에서, 사용자는 동일한 배향(555)을 유지하나 사용자와 두 지점 노이즈원(5101, 5102) 사이에서 상대적인 변위가 발생한다. 예를 들어, 사용자가 이동하고 있을 수 있고/거나 노이즈원들 중 하나 또는 양자가 이동하고 있을 수 있다. 변경 영역(5151)이 사용자 배향에 관해 이동하여 이제 변경 영역(5651)이고, 더 작은 각도(α2)를 가지며, 이는 사용자와 노이즈원(5101) 간 거리의 증가를 나타낸다. 변경 영역(5152) 또한 사용자 배향에 관해 이동하여 이제 변경 영역(5652)이고, 각도(β1)와 대략 동일한 크기인 각도(β2)를 갖는다(이는 사용자와 노이즈원 간 거리의 대약 동일함을 나타냄). 패스-스루 영역들(570)에 대응하여 오디오 감지 존(525)의 나머지를 채운다.
도 6은 일 실시 예에 따른, 지향성 음향 변경을 위한 방법을 도시한다. 방법(600)은 상술한 다양한 음향 변경 시스템의 설명과 일치되게, 그리고 다양한 실시 예에 설명된 환경들 내에서 사용될 수 있다. 방법(600)은 음향 변경 시스템의 처리 디바이스를 사용하여, 또는 음향 변경 시스템과 통신 가능하게 접속된 별개의 컴퓨팅 디바이스를 사용하여, 또는 다양한 처리 디바이스들의 조합을 사용하여 수행될 수 있다. 예를 들어, 방법(600)은 음향 변경 시스템과 통신 가능하게 접속된 사용자의 모바일 컴퓨팅 디바이스 상에서 실행되는 어플리케이션에 의해 수행될 수 있다.
방법(600)은 환경 내 하나 이상의 방향이 음향 변경을 수행하기 위해 선택되는 블록(605)으로 시작된다. 방향들 뿐만 아니라, 선택된 방향들로부터 오는 음향들에 관해 수행할 변경의 유형 및 양이 사용자에 의해 선택될 수 있다. 선택된 방향들은 노이즈 환경의 생성된 2D 또는 3D 맵에 포함될 수 있고, 사용자 배향, 사용자 변위 및/또는 노이즈원 변위를 선택적으로 추적할 수 있는 하나 이상의 변경 영역을 형성할 수 있다.
블록(610)에서, 처리 디바이스는 어떤 음향들이 음향 변경 시스템의 하나 이상의 오디오 센서에 의해 하나 이상의 선택된 방향으로부터 오는 것으로 검출되는지를 결정한다. 어떠한 음향도 검출되지 않을 경우, 또는 검출된 임의의 검출된 음향들이 선택된 방향들 외부에 속하는 패스-스루 영역으로부터 오는 것으로 결정될 경우, 상기 방법은 블록(615)("아니오")으로 진행하고 선택되지 않은 방향들로부터 검출된 임의의 음향들은 능동적인 음향 변경을 제공하지 않고 거쳐 지나가게 된다. 상기 방법은 일반적으로 검출된 음향들이 하나 이상의 선택된 방향에 대응할 때까지("예"), 상기 방법이 블록(625)으로 진행할 때, 지속적으로든 이산적인 시간 간격들로든, 블록(610)을 통해 순환할 수 있다.
블록(625)에서, 처리 디바이스는 검출된 음향들이 하나 이상의 선택된 방향에 대응하는 에 기초하여 오디오 신호를 생성한다. 오디오 신호는 또한 검출된 음향들의 약화 또는 증폭, 및 어느 하나의 양과 같이, 사용자에 의해 지정된 목적하는 음향 변경에 기초한다. 오디오 신호는 일반적으로 검출된 음향들의 스케일링된 그리고 가능하게는 역전된 카피의 형태를 취할 수 있으나, 목적하는 음향 변경을 위해 그 외 다른 파형들이 사용될 수 있다.
블록(635)에서, 목적하는 음향 변경을 생성하기 위해 생성되는 오디오 신호가 출력된다. 이는 오디오 출력 디바이스들 중 선택된 오디오 출력 디바이스들(예를 들어, 배향들이 선택된 방향들과 대부분 밀접하게 정렬되는 오디오 출력 디바이스들)을 출력 신호로 구동하는 것을 포함할 수 있다. 상기 방법은 블록(635) 이후에 종료될 수도 있고, 연속적인 루프로서든 이산적인 시간 간격들로든, 블록(610)으로 되돌아갈 수도 있다.
음향 변경 방향의 자동 선택
상술한 바와 같이, 종래 헤드폰들은 착용자의 외이도를 완전히 또는 부분적으로 막음으로써 또는 착용자의 외이도를 환경으로부터 그 외 다르게 격리시킴으로써 일정 수준의 수동적인 노이즈 약화를 제공한다. 또한, 일부 종래 헤드폰은 환경 내 음향을 상쇄시키는 음파들을 생성하여 능동적인 노이즈 약화를 제공한다. 그러나, 이러한 종래 접근법들은 여러 단점을 갖는다. 하나의 그러한 단점은 환경의 음향을 상쇄시킴으로써, 사용자는 주변 환경의 음향으로부터 격리된다는 것이다. 그 결과, 사용자는 사용자가 관심을 가질 수 있는 음향들을 놓칠 수 있다.
이러한 이슈들을 해결하기 위해, 다양한 실시 예에서, 음향 변경 시스템(100)(예를 들어, 방향 선택 모듈(199))은 자동으로(예를 들어, 사용자가 방향을 명백하게 선택하지 않고도) 음향 변경을 위한 하나 이상의 타겟 방향을 선택할 수 있다. 일부 실시 예에서, 음향 변경 시스템(100)은 검출된 음향들, 위치 정보 및 시각 정보 중 적어도 하나에 기초하여 환경 내 음향 변경을 위해 가능한 방향들을 결정할 수 있다.
일례로, 검출된 음향들, 위치 정보 및 시각 정보 중 적어도 하나를 사용하여, 음향 변경 시스템(100)은 환경에서 하나 이상의 음향 현장 그리고 식별된 음향 현장(들)에 대해 대응하는 방향들 및/또는 각도 범위들을 식별한다. 그 다음, 식별된 음향 현장들에 기초하여, 음향 변경 시스템(100)은 음향 변경을 위한 환경 내 하나 이상의 방향을 선택할 수 있다. 선택은 어느 음향 현장들이 음향 변경을 위한 타겟이 되어야 하는지를 지정하는 변경 설정들(198)에 따라 이루어질 수 있다. 그 다음 음향 변경 시스템(100)은 선택된 방향(들)에서의 검출된 음향들에 기초하여 오디오 신호를 생성하고 오디오 신호를 목적하는 음향 변경을 위해 출력할 수 있다.
다른 예에서, 검출된 음향들, 위치 정보 및 시각 정보 중 적어도 하나를 사용하여, 음향 변경 시스템(100)은 환경 및 환경 내 하나 이상의 음향의 2차원(2D) 또는 3차원(3D) 맵을 생성할 수 있다. 그 다음, 환경 및 환경 내 음향(들)의 위치(들)의 맵에 기초하여, 음향 변경 시스템(100)은 음향 변경을 위한 환경 내 하나 이상의 방향을 선택할 수 있다. 그 다음 음향 변경 시스템(100)은 선택된 방향(들)에서의 검출된 음향들에 기초하여 오디오 신호를 생성하고 오디오 신호를 목적하는 음향 변경을 위해 출력할 수 있다.
도 7a 내지 도 7d는 다양한 실시 예에 따른, 음향들 및 음향 현장들을 식별하고 음향 변경을 위한 방향을 선택하기 위한 기술들을 도시한다. 도시된 바와 같이, 사용자(702)는 그 또는 그녀의 머리에 헤드폰들(200)을 착용하고 환경(700) 내 초기 배향(704)에 있다. 환경(700)에 음원들(706-1, 706-2, 706-3, 706-4, 708-1, 708-2 및 708-3)이 환경(700)에서의 음원들(예를 들어, 노이즈들, 음성들 등)로서 포함된다. 음원들은 실제 음원들(예를 들어, 음향을 발생시키는 객체 또는 사람) 또는 반사 음원(예를 들어, 음향을 반사시키는 벽)에 대응할 수 있다. 도 7a 내지 도 7d가 헤드폰들(200)에 배치되는 음향 변경 시스템을 도시하지만, 본원에 도시되고 설명되는 실시 예들은 다른 형태들로 배치된 음향 변경 시스템들에도 적용 가능하다는 것이 이해되어야 한다.
다양한 실시 예에서, 음향 변경 시스템(예를 들어, 헤드폰들(200))은 음향 변경을 위해 하나 이상의 변경 설정(198)으로 구성될 수 있다(예를 들어, 초기 구성 프로세서로, 구성을 변경하기 위한 프로세스로). 예를 들어, 구성 모듈(196)은 사용자에게 변경 설정들(198)을 입력할 것을 지시하는 구성 또는 셋업 절차를 수행할 수 있다. 구성 또는 셋업 절차는 음향 변경 시스템에서 또는 연결된 컴퓨팅 디바이스에서(예를 들어, 연결된 스마트폰 상의 앱을 통해) 수행될 수 있고 사용자로부터 설정들을 지정하는 입력들을 수신할 수 있다.
다양한 실시 예에서, 변경 설정들(198)은 변경 타겟이 될 하나 이상의 유형의 음향들을 포함하는 음향 블랙 리스트를 포함할 수 있다(예를 들어, 차량들, 울음 소리, 잭해머, 건설 장비 등). 변경 설정들(198)은 또한 추가적으로 또는 대안적으로, 변경 타겟이 될 하나 이상의 유형의 음향 현장들의 음향 현장 블랙 리스트(예를 들어, 교통, 건설 부지들, 군중들 등)를 포함할 수 있다. 블랙 리스트는 음향 변경 시스템의 사용자가 변경하기 원하는 음향의 유형들 및/또는 음향 현장들의 유형들을 지정할 수 있다. 일부 실시 예에서, 음향의 유형 및/또는 음향 현장의 유형은 위치에 관해 지정될 수 있다(예를 들어, 건설 음향들 및/또는 음향 현장들에 대응하는 건설 부지 위치들을 블랙 리스트로 지정 것; 도로 공사 음향들 및/또는 음향 현장들에 대응하는 도로 공사 위치들을 블랙 리스트로 지정). 음향 변경 시스템은 음향 변경의 타겟이 될 블랙 리스트(들)의 음향들 및/또는 음향 현장들을 포함하는 방향들을 선택한다. 변경 설정들(198)은 블랙 리스트(들)에 더하여, 블랙 리스트들의 음향들 및/또는 음향 현장들에 예외를 둔 하나 이상의 변경의 화이트 리스트를 포함할 수 있다. 예를 들어, 화이트 리스트는 교통 음향 현장으로부터의 음향들을 변경할 때 긴급 차량 사이렌 음향들은 변경되지 않고 거쳐 지나가게 되어야 할 것으로 지정할 수 있다. 다른 예에서, 화이트 리스트는 임의의 음향 현장으로부터의 음향을 변경할 때 사람의 목소리들은 변경되지 않고 거쳐 지나가게 되어야 할 것으로 지정할 수 있다. 추가 예로서, 화이트 리스트는 임의의 유형의 음향 현장으로부터의 임의의 유형의 음향 또는 음향들을 변경할 때 특정 사람의 목소리는 변경되지 않고 거쳐 지나가게 되어야 할 것으로 지정할 수 있다. 블랙 리스트 또는 화이트 리스트에 포함되는 음향들은 음향 데이터베이스(192)에 포함되는 음향 샘플들, 음향 시그니처들 등에 기초하여, 제한 없이, 포함하여, 본원에 설명된 기술들 중 임의의 기술을 통해 식별될 수 있다.
일부 실시 예에서, 변경 설정들(198)은 또한 음향 변경할 방향에 대한 음향들 및/또는 음향 현장들에 대한 특정 각 너비들(예를 들어, 식별된 음향 및/또는 음향 현장에 대한 시작 각 너비들), 음향 변경할 방향의 각 너비가 증가 또는 감소될 수 있는 각 증분들(예를 들어, 새로운 음향이 검출될 경우 음향 변경에 대한 방향이 각 크기로 증가 또는 감소될 수 있는 각 증분), 그리고 음향 변경할 방향의 좁은 또는 넓은 각 너비가 어떻게 설정되어야 할지(예를 들어, 음원들의 확산을 타이트하게 만들지, 또는 음원들 주변 추가 너비로 느슨하게 만들지) 중 하나 이상에 대한 설정들을 포함하는 각 너비 설정들을 포함할 수 있다.
환경(700) 내에서, 음향 변경 시스템은 다양한 실시 예에서, 음원들(706 및 708)로부터 음향들을 검출할 수 있다. 음향 변경 시스템은 다양한 실시 예에서, 음원들(706 및 708)로부터의 음향들을 개별적인 음향들로 세그먼트화하고 음향들의 유형들을 식별함으로써, 음원들(706 및 708)을 음향의 유형 또는 음원의 유형으로 분류할 수 있다. 식별 모듈(190)은 검출된 음향들의 샘플들을 획득하고 음향들을 음향 데이터베이스(192)에서의 샘플들 또는 시그니처들과 비교하여 음향들을 식별할 수 있다. 일부 실시 예에서, 식별 모듈(190)은 음향 데이터베이스(192)를 이용하여, 기계 학습 기술(예를 들어, 신경 네트워크, 베이지안 네트워크)을 트레이닝 데이터로 구현하여, 음향들을 세그먼트화 및 식별한다.
음향 변경 시스템은 다양한 실시 예에서, 음원들(706 및 708)로부터의 음향들을 세그먼트화 및 식별하는 것에 더하여, 또는 그 대신, 환경(700) 내에서 하나 이상의 음향 현장을 식별할 수 있다. 식별 모듈(190)은 검출된 음향들의 샘플들을 획득하고 음향들을 전체로 비교한다. 예를 들어, 검출된 음향들은 전체로(예를 들어, 음향들을 유형 또는 음원으로 개별적인 음향들로 세그먼트화하기 위한 처리를 하지 않고 오디오 센서들(150)에 의해 획득된 대로의 음향) 환경(700)에 존재하는 하나 이상의 음향 현장을 식별하기 위해 음향 현장 데이터베이스(194)에서의 샘플들 또는 시그니처들과 비교될 수 있다. 일부 실시 예에서, 식별 모듈(190)은 음향 현장 데이터베이스(194)를 이용하여, 기계 학습 기술(예를 들어, 신경 네트워크, 베이지안 네트워크)을 트레이닝 데이터로 구현하여, 음향 현장들을 식별한다.
음향 변경 시스템은 추가로 또는 대안적으로, 환경(700)으로부터 위치 정보 및/또는 시각 정보를 수집할 수 있다. 위치 디바이스(146)는 사용자(702) 및/또는 헤드폰들(200)의 지리적 위치를 식별하는 위치 데이터(예를 들어, 위도 및 경도)를 획득할 수 있다. 음향 변경 시스템은 환경(700)에서 하나 이상의 음원 및/또는 음향 현장을 식별하기 위해 위치 데이터를 지리적 맵 데이터(미도시)와 상관시킬 수 있다. 예를 들어, 음향 변경 시스템은 사용자의 배향(704) 및 거리의 인도 상의 사용자의 위치에 기초하여, 교통 음향 현장이 사용자(702)의 일측 상에 존재한다고 결정할 수 있다. 다른 예로, 음향 변경 시스템은 사용자의 위치 및 배향(704)이 지리적 맵 데이터에서 알려진 건설 또는 도로 공사 부지에 근접해 있는 것에 기초하여, 건설 음향 현장 또는 도로 공사 음향 현장이 각각, 사용자의 일측 상에 존재한다고 결정할 수 있다.
음향 변경 시스템은 환경(700)에서 랜드마크들 및/또는 객체들을 식별하기 위한 임의의 적합한 이미지 인식 기술을 사용하여 센서 디바이스(142)에 의해 획득된 시각 데이터(예를 들어, 이미지들, 라이더 데이터)를 처리할 수 있다. 음향 변경 시스템은 환경(700)에서 음향 현장들을 식별하기 위해 식별된 랜드마크(들) 및/또는 객체(들)에 기초하여 시각 데이터를 처리하고 하나 이상의 음원 및/또는 음향 현장을 식별하는 모듈을 포함할 수 있다. 예를 들어, 시각 데이터가 거리아래로 이동하고 있는 차들을 포함할 경우, 시각 데이터는 교통 음향 현장이 사용자(702)의 일측 상에 존재한다고 결정하기 위한 배향(704)과 상관될 수 있다. 다른 예로서, 시각 데이터가 큰 벽을 포함할 경우, 벽은 음원(예를 들어, 음향 반사원)으로 식별될 수 있다.
환경(700)에서 하나 이상의 음향 및/또는 음향 현장을 식별하는 것에 응답하여, 방향 선택 모듈(199)은 특정 식별된 음향(들) 및/또는 음향 장면(들)에 대응하는 하나 이상의 방향을 음향 변경할 타겟 방향들로 선택한다. 방향 선택 모듈(199)은 변경 설정들(198)에 기초하여 선택할 수 있다. 예를 들어, 방향 선택 모듈(199)은 블랙 리스트의 음향 현장 유형에 속하는 음향 현장이 식별되는 방향을 선택할 수 있다. 다른 예로서, 방향 선택 모듈(199)은 블랙 리스트의 음향 유형에 속하는 음향들이 검출되는 방향을 선택할 수 있다.
도 7b는 방향 선택 모듈(199)에 의해 선택된 방향(705)(음영 처리되어 도시됨)을 음향 변경할 타겟 방향으로 하는 환경(720)을 도시한다. 상술한 바와 같이, 방향 선택 모듈(199)은 하나 이상의 방향을 음향 변경을 위한 타겟 방향들로 선택할 수 있다. 선택에 기초하여, 음향 변경 시스템은 선택된 방향(들)(예를 들어, 방향(705))에서의 검출된 음향들에 대해 음향 변경하는 오디오 신호를 생성할 수 있다. 예를 들어, 방향(705)에 대해 생성된 오디오 신호가 방향(705) 내 음원들(706-1 내지 706-4)로부터의 음향들을 변경할 것이다. 일부 실시 예에서, 선택된 방향(예를 들어, 방향(705))의 각 너비가 선택된 방향에서의 음원들의 수 및/또는 그것들 사이 간격(예를 들어, 방향(705)에서의 음원들(706)의 수 및/또는 그것들 간 간격)에 기초하여 결정된다. 추가적으로, 각 너비(예를 들어, 각 너비 증분)가 미리 정의될 수 있다(예를 들어, 변경 설정들(198)에). 일부 실시 예에서, 방향(705)의 각 너비는 변경 설정들(198)에서의 각 너비 설정들에 기초하여 음원들에 대하여 더 좁을 수도(예를 들어, 방향 내 음원들의 확산을 타이트하게 만듦) 또는 넓을 수도(음원들 주변 추가 너비로, 방향 내 음원들의 확산을 느슨하게 만듦) 있다. 방향 선택 모듈(199)이 음향 변경의 타겟이 될 하나보다 많은 방향을 선택할 수 있고, 선택된 방향들은 중첩될 수도 중첩되지 않을 수도 있는 것으로 이해되어야 한다.
일부 실시 예에서, 방향(705)은 음원들(706)로부터 비롯된 검출된 음향들에 기초하여 방향 선택 모듈(199)에 의해 선택된다. 음향 식별 모듈(190)은 음원들(706)로부터의 음향들을 세그먼트화 및 식별할 수 있다. 그 다음 방향 선택 모듈(199)은 이러한 음향들의 하나 이상을 블랙 리스트의 음향 유형들에 매칭하고 블랙 리스트 음향들에 대응하는 방향(들)을 음향 변경할 타겟들로 선택할 수 있다. 예를 들어, 방향 선택 모듈(199)은 음원들(706)로부터의 음향들의 블랙 리스트의 음향 유형들로의 매칭에 기초하여 방향(705)을 선택할 수 있다.
일부 실시 예에서, 방향(705)은 검출된 음향들에 기초하여 식별된 음향 현장에 기초하여 방향 선택 모듈(199)에 의해 선택된다. 음향 식별 모듈(190)은 검출된 음향들에 전체로 기초하여 또는 개별적으로 세그먼트화 및 식별된 검출된 음향들에 기초하여 음향 현장을 식별할 수 있다. 그 다음 방향 선택 모듈(199)은 식별된 음향 현장을 블랙 리스트의 음향 현장 유형들에 매칭하고, 블랙 리스트 음향 현장들에 대응하는 방향(들)을 음향 변경할 타겟들로 선택할 수 있다. 예를 들어, 방향 선택 모듈(199)은 방향(705)에서 식별된 음향 현장의 블랙 리스트의 음향 현장 유형들로의 매칭에 기초하여 방향(705)을 선택할 수 있다.
일부 실시 예에서, 방향(705)은 방향 선택 모듈(199)에 의해 위치 데이터(예를 들어, 위치 데이터(132)) 및/또는 시각 데이터(예를 들어, 시각 데이터(134))에 기초하여 식별된 음향들 및/또는 음향 현장에 기초하여 선택된다. 방향 선택 모듈(199)은 위치 디바이스(146)로부터 위치 데이터를 수신하고 그러한 위치 데이터를 지리적 맵 데이터(미도시) 및 배향(704)과 상관시켜 환경(700) 내에서 하나 이상의 음원 및/또는 음향 현장을 식별할 수 있다. 예를 들어, 방향 선택 모듈(199)은 위치 데이터 및 배향(704)을 지리적 맵 데이터와 상관시켜 헤드폰들(200) 착용한 사용자(702)가 사용자(702)의 특정 측 상에 차량 교통이 있는 인도(그리고 그에 따라 교통 음향 현장) 상을 걷고 있다고 결정할 수 있다. 다른 예로, 시각 데이터가 거리 아래로 이동하고 있는 차들을 도시할 경우, 시각 데이터는 배향(704)과 상관되어 사용자(702)의 특정 측이 차량 교통을 갖고, 그에 따라 교통 음향 현장이라고 결정될 수 있다. 추가 예로, 위치 데이터가 사용자가 알려진 건설 부지에 근접해 있음을 나타내고, 블랙 리스트가 건설 장비 음향들 및/또는 건설 음향 현장을 포함한다면, 건설 부지에 대응하는 방향이 음향 변경하도록 선택될 수 있다.
일부 실시 예에서, 음향 변경 시스템은 선택된 방향(705)에서의 특정 음향들이 변경 설정들(108)의 하나 이상의 예외에 기초하여 사용자를 거쳐 지나가게 할 수 있다. 예를 들어, 변경 설정들(198)이 블랙 리스트의 교통 음향 현장들을 포함하고 긴급 차량 사이렌 음향들이 블랙 리스트에 포함된다면, 음향 변경 시스템은 이러한 설정들에 따라 오디오 신호를 생성할 것이다 - 오디오 신호가 교통 음향 현장을 포함하는 선택된 방향에서, 긴급 차량 사이렌 음향들을 제외하고, 검출된 음향들에 대한 음향을 변경할 것이다.
일부 실시 예에서, 환경 맵 모듈(124)은 식별된 음향들 및/또는 음향 현장들에 기초하여 환경(700)의 2D 또는 3D 맵을 생성할 수 있다. 환경 맵 모듈(124)은 검출된 음향들(예를 들어, 노이즈 데이터(126)), 위치 데이터(132) 및 시각 데이터(132) 중 하나 이상에 기초하여 맵을 생성할 수 있다. 환경 맵 모듈(124)에 의해 생성되는 맵은 사용자(702) 및 배향(704)에 관해 음원들(706 및 708) 및 음향 현장들의 방향들을 결정할 수 있다. 환경 맵 모듈(124)에 의해 생성된 맵에 기초하여, 방향 선택 모듈(199)은 하나 이상의 방향을 음향 변경을 위한 타겟 방향들로 선택할 수 있다(예를 들어, 변경 설정들(198)에 따라).
일부 실시 예에서, 음향 현장은 환경 맵 모듈(124)에 의해 생성되는 맵 내에서 식별될 수 있다. 예를 들어, 맵이 동일한 방향으로부터 오는 차량 음향들의 다수의 음원을 포함한다면, 교통 음원은 환경 맵 모듈(124)에 의해 생성된 맵 내 방향이 다수의 차량 음향에 기초한다는 점에서 교통 활동의 표시자로서 식별될 수 있다. 다른 예로, 환경 맵 모듈(124)은 위치 데이터(132) 및 배향 데이터(129)를 지리적 맵 데이터와 상관시켜 사용자(702)가 사용자(702)의 일측 상에 교통을 갖는 거리 인도 상을 걷고 있는 것에 기초하여 사용자(702)의 특정 측 상의 교통 음향 현장을 식별하는 맵을 생성할 수 있다. 추가 예로, 시각 데이터(134)가 거리 아래로 이동하고 있는 차량들을 포함한다면, 환경 맵 모듈(124)은 시각 데이터(134) 및 배향 데이터(129)(배향(704)을 나타내는)에 기초하여, 맵을 생성할 수 있으며, 이는 사용자(702)의 특정 측을 교통 음향 현장을 포함하는 것으로 식별한다.
일부 실시 예에서는, 선택된 방향들 외부의 음원들로부터의 음향들도 변경될 수 있다. 도 7c는 음향 변경의 타겟이 되는 선택된 방향(705)을 갖는 환경(740)을 도시한다. 도 7c는 또한 도면에서 음영 처리되어 도시된 음원들(708-1 및 708-2)을 도시한다. 음원들(708-1 및 708-2)은 선택된 방향(705)에서의 음향들과 유사하거나 그렇지 않으면 블랙 리스트 음향들인 음원들에 대응한다. 예를 들어, 음원들(708-1 및 708-2)은 방향(705)의 음원으로부터 비롯한 음향들의 반사원들일 수 있다. 음향 변경 시스템은 음원들(708-1 및 708-2)로부터의 특정 음원들 뿐만 아니라 방향(705)으로부터의 음향들을 변경하는 오디오 신호를 생성할 수 있다. 일부 실시 예에서, 방향(705) 뿐만 아니라 음원들(708-1 및/또는 708-2)을 포함하는 하나 이상의 방향이 음향 변경되도록 선택된다.
사용자(702)가 이동하거나 배향을 바꿀 때, 음향 변경 시스템은 선택된 방향이 사용자의 위치 또는 배향과 독립적이도록, 검출된 음향들 및 식별된 음향 현장들을 계속 추적한다. 도 7d는 예를 들어, 환경(720)(도 7b)에서와 상이한 방향을 가리키는 배향(704)에 의해 도시된 바와 같이, 사용자(702)가 제 자리에서 그의 머리를 돌린 경우, 환경(760)을 도시한다. 선택된 방향(705) 및 음원들(708-1 및 708-2)은 음원들(706, 708-1 및 708-2)이 사용자(702)에 관해 이동했기 때문에 사용자(702)가 그의 머리를 돌리더라도 환경(720)에서와 같이 환경(760)에서 동일한 위치에 있다. 그에 따라, 그 위치들이 사용자의 배향이 바뀌더라도 사용자의 위치에 관해 동일하게 유지된다. 음원 및/또는 사용자가 환경 내에서 이동했을 경우(예를 들어, 사용자(702)의 음원들(706 및 708)에 관한 위치가 바뀌고, 사용자(702)의 음향 현장에 관한 위치가 바뀌었을 경우), 음향 변경 시스템은 선택된 방향이 계속해서 음향들이 변경될 음원들 및/또는 음향 현장들을 포함하도록 선택된 방향을 업데이트할 수 있다. 그에 따라, 음향 변경 시스템은 사용자가 이동하고/거나 배향을 바꿀 때에도, 계속 음원들(706 및 708) 및 음향 변경을 위해 선택된 방향들을 추적할 수 있다.
일부 실시 예에서, 방향 선택 모듈(199)은 일시에 기초하여, 방향을 선택하거나, 방향을 선택하는 것을 보류할 수 있다. 예를 들어, 사용자가 거리의 인도 상에 위치된 것에 기초하여 사용자의 측 상에 교통 음향 현장이 식별될 경우이더라도, 방향 선택 모듈(199)은 일시가 늦은 저녁 또는 늦은 밤일 경우(이는 거리 상의 교통이 불을 켜고 있고, 그에 따라 대응하는 교통 음향 현장이 시끄러울 가능성이 낮음을 나타냄) 교통 음향 현장을 포함하는 방향을 선택하는 것을 보류할 수 있다.
다양한 실시 예에서, 메모리(120)에 포함되는 임의의 모듈들 및/또는 어플리케이션들은 클라우드 기반 아키텍처를 통해 구현될 수 있다. 예를 들어, 일부 실시 예에서, 음향 변경 시스템(100)은 I/O(130) 또는 네트워크(160)를 통해 원격 디바이스(예를 들어, 스마트폰, 서버 시스템, 클라우드 컴퓨팅 플랫폼 등)로 검출된 음향들, 위치 데이터 및/또는 시간 데이터의 샘플들을 송신할 수 있다. 원격 디바이스는 검출된 음향들, 위치 데이터 및/또는 시간 데이터의 샘플들을 처리하여 음향들 및/또는 음향 현장들을 식별할 수 있다. 일부 실시 예에서, 환경 맵 모듈(124), 음향 식별 모듈(190) 및/또는 구성 모듈(196)과 동일하거나 유사한 하나 이상의 모듈 또는 어플리케이션을 포함할 수 있다. 원격 디바이스은 음향 데이터베이스(192) 및 음향 현장 데이터베이스(194)와 유사한 하나 이상의 데이터베이스를 더 포함할 수 있고 변경 설정들(198)과 동일하거나 유사한 다수의 사용자에 대한 데이터를 포함할 수 있다. 원격 디바이스는 또한 식별된 음향들 및/또는 음향 현장들에 기초하여 음향 변경할 방향(들)을 선택하고(예를 들어, 방향 선택 모듈(199)과 동일하거나 유사한 원격 디바이스의 모듈 및/또는 어플리케이션을 통해) 선택된 방향(들)을 음향 변경 시스템(100)으로 송신할 수 있다. 대안적으로, 원격 디바이스는 식별된 음향들 및/또는 음향 현장들에 대응하는 정보를 다시 음향 변경 시스템(100)으로 송신할 수 있으며, 여기서 방향 선택 모듈(199)은 정보에 기초하여 음향 변경할 방향(들)을 선택할 수 있다.
일부 실시 예에서, 선택된 방향의 각 너비는 크기가 동적으로 증가 또는 감소할 수 있다. 예를 들어, 선택된 방향에서의 음원들이 함께 더 가깝게 이동할 경우, 선택된 방향의 각 너비는 감소될 수 있다. 다른 예로, 선택된 방향에서의 음원들이 더 멀리 떨어져 이동한다면, 선택된 방향의 각 너비는 증가될 수 있다. 각 너비 변화가 변경 설정들(198)에 기초하여 타이트하게 또는 느슨하게 그리고/또는 미리 정의된 증분들로 이루어질 수 있다.
일부 실시 예에서, 음향 식별 모듈(190)은 특정 사람들의 목소리들과 같은 특정 음향들을 식별하도록 트레이닝될 수 있다. 음향 식별 모듈(190)은 해당 기술분야에 알려져 있는 임의의 적합한 기계 학습 트레이닝 기술을 사용하여 트레이닝될 수 있다. 트레이닝 동안 획득되는 데이터(예를 들어, 음향 샘플들)는 음향 데이터베이스(192) 및/또는 음향 현장 데이터베이스(194)에 저장될 수 있다. 획득된 데이터는 추가적으로 또는 대안적으로, 클라우드의 음향 데이터베이스 및/또는 음향 현장 데이터베이스로(예를 들어, 클라우드 기반 데이터베이스로) 송신될 수 있다.
도 8a 내지 도 8c는 다양한 실시 예에 따른, 음향 및 음향이 수신되는 방향(들)을 식별하기 위한 기술들을 도시한다. 도 8a에 도시된 바와 같이, 사용자(802)는 그 또는 그녀의 머리에 헤드폰들(200)을 착용하고 환경(800) 내 배향(804)에 있다. 음원들(805 및 806)이 환경(800) 내 음원들(예를 들어, 노이즈들, 음성들 등)로서 환경(700)에 포함된다. 음원들은 실제 음원들(예를 들어, 음향을 발생시키는 객체 또는 사람) 또는 반사 음원(예를 들어, 음향을 반사시키는 벽)에 대응할 수 있다. 음원(805)은 블랙 리스트의 음향 유형에 매칭되는 음향들을 발산하고, 음원(806)은 블랙 리스트의 음향 유형에 매칭되지 않는 음향들을 발산한다. 환경(800)은 미리 정의된 각 너비의 각 영역들(808)로 나눠진다. 미리 정의된 각 너비는 변경 설정들(198)에 설정될 수 있다. 도시된 바와 같이, 영역들(808)은 0도에서 시작하여 45도 증분들일 수 있다. 도 8a 내지 도 8c가 헤드폰들(200)에 배치되는 음향 변경 시스템을 도시하지만, 본원에 도시되고 설명되는 실시 예들은 다른 형태들로 배치된 음향 변경 시스템들에도 적용 가능하다는 것이 이해되어야 한다.
방향 선택 모듈(199)은 환경의 분할에 관한 블랙 리스트 음향을 각 영역들(예를 들어, 영역들(808))로 발산하는 음원들의 위치들에 기초하여 음향 변경하도록 선택할 방향을 결정할 수 있다. 도 8b는 블랙 리스트 음향의 음원이 영역에 위치되는지 여부에 기초하여 음향 변경할 방향의 결정을 도시하는 표(820)를 도시한다. 표(820)는 각각이 각각의 영역(808)에 대응하는 로우들(828-1 내지 828-8)을 도시한다. 컬럼(822)은 영역을 식별한다. 예를 들어, 로우(828-1)는 환경(800)의 영역(808-1)에 대응하는 영역 1에 대응하고, 로우(828-2)는 영역(808-2)에 대응하는 영역 2에 대응한다. 컬럼(824)은 영역에 변경할 음향(예를 들어, 블랙 리스트 음향)이 위치하는지 여부(예를 들어, 블랙 리스트 음향의 음원이 영역에 위치하는지 여부)를 나타낸다. 컬럼(826)은 배향(804)으로부터 0도를 기준 각으로, 영역의 각 범위를 나타낸다. 예를 들어, 컬럼(826)에 도시된 각 범위들은 각 영역이 45도의 각 너비를 가짐을 나타낸다. 표(820)와 같은 데이터 구조는 실제로는 방향 선택 모듈(199)에 의해 생성될 필요가 없는 것으로 이해되어야 한다. 그러나, 표(820)는 방향 선택 모듈(199)이 음향 변경할 방향을 선택하기 위한 프로세스의 일부로서 행할 수 있는 결정의 개념적인 도해를 제공한다.
도 8a로 되돌아가면, 블랙 리스트 음향을 발산하는 음원(805)이 영역들(808-4 및 808-5)에 위치되어 있다. 그에 따라, 표(820)는 컬럼(824)에서, 영역들(4 및 5)(각각, 영역들(808-4 및 808-5)에 대응하는)이 변경할 음향을 포함하는 로우들(828-4 및 828-5)을 나타낸다. 표(820)에 도시된 결정들에 기초하여, 방향 선택 모듈(199)은 영역들(808-4 및 808-5)에 대응하는 영역들(4 및 5)을 음향 변경할 타겟 방향으로 조합하는 방향을 선택할 수 있다. 도 8c는 이러한 두 영역에 대응하는 방향이 음향 변경하도록 선택되었음을 나타내어, 영역들(808-4 및 808-5)을 음영 처리한 환경(840)을 도시한다.
도 9는 다양한 실시 예의 하나 이상의 양태에 따른, 방향성 음향 변경을 위한 방법 단계들의 흐름도를 제시한다. 방법 단계들이 도 1 내지 도 8c의 시스템들과 함께 설명되지만, 해당 기술분야의 기술자들은 방법 단계들을 임의의 순서로, 수행하도록 구성된 임의의 시스템이 다양한 실시예의 범위 내에 들어간다는 것을 이해할 것이다.
도 9에 도시된 바와 같이, 방법(900)은 오디오 센서들(150)이 하나 이상의 음향을 검출하는 단계(902)로 시작된다. 오디오 센서들(150)은 환경으로부터 음향들을 획득한다. 단계(904)에서, 위치 디바이스(146)는 위치 데이터를 획득한다. 예를 들어, 위치 데이터(146)는 GPS 위성들로부터 음향 변경 시스템 및/또는 사용자의 위도 및 경도 좌표들을 획득할 수 있다. 단계(906)에서, 센서 디바이스(142)는 시각 데이터를 획득한다. 예를 들어, 시각 센서는 환경의 이미지들을 획득한다.
단계(908)에서, 음향 식별 모듈(190)은 하나 이상의 검출된 음향 및/또는 음향 현장을 식별한다. 음향 식별 모듈(190)은 기계 학습 기술 및 음향 데이터베이스(192)를 사용하여 음향(및 대응하는 음원들)을 세그먼트화 및 식별할 수 있다. 추가적으로 또는 대안적으로, 음향 식별 모듈(190)은 기계 학습 기술 및 음향 현장 데이터베이스(194)를 사용하여 검출된 음향들(세그먼트화 및 식별되었든, 아니든)에 기초하여 음향 현장을 식별할 수 있다. 추가적으로 또는 대안적으로, 음향 식별 모듈(190)은 위치 데이터 및/또는 시각 데이터에 기초하여 음원들 및/또는 음향 현장들을 식별할 수 있다.
다양한 실시 예에서, 음향들 및/또는 음향 현장들은 검출된 음향들 자체, 위치 데이터 및 시각 데이터 중 하나 이상에 기초하여 식별될 수 있다. 예를 들어, 일부 실시 예에서, 음원 및/또는 음향 현장은 획득된 음향들 또는 이미지들에 기초하는 것이 아니라, 위치 데이터 및 배향 데이터에 기초하여 식별될 수 있다. 다른 예로, 음향들 및/또는 음향 현장들은 위치 데이터에 기초하는 것이 아니라, 획득 음향들 및 이미지들에 기초하여 식별될 수 있다. 그에 따라, 일부 실시 예에서, 단계들(906 및 908) 중 하나 이상은 선택적이고 생략될 수 있다. 나아가, 일부 실시 예에서, 검출된 음향들의 식별도 선택적일 수 있다.
단계(910)에서, 방향 선택 모듈(199)은 식별된 음향 및/또는 음원이 블랙 리스트에 있는지 여부를 결정한다. 다양한 실시 예에서, 음향 및/또는 음원이 블랙 리스트의 음향들 및/또는 음원들과 비교된다. 추가적으로 또는 대안적으로, 사용자의 위치가 위치에 근접한 음원들 및/또는 음향 현장들이 블랙 리스트에 있는지 여부를 식별하기 위해 블랙 리스트 위치와 비교된다. 식별된 음향 및/또는 음향 현장이 블랙 리스트에 없을 경우(910 - 아니오), 상기 방법은 식별된 음향 및/또는 식별된 음향 현장 내 음향들이 변경 없이 거쳐 지나가게 되는 단계(912)로 진행한다. 단계(912)로부터, 상기 방법은 추가 음향들을 검출하는 등을 위해 단계(902)로 다시 진행할 수 있다. 식별된 음향 및/또는 음향 현장이 블랙 리스트에 있을 경우(910 - 예), 상기 방법은 단계(914)로 진행한다.
단계(914)에서, 방향 선택 모듈(199)은 음향 변경할 식별된 음향 및/또는 음원을 포함하는 방향을 선택한다. 단계(916)에서, 오디오 신호 모듈(122)은 식별된 음향 및/또는 음향 현장에 대한 오디오 신호를 생성한다. 오디오 신호는 식별된 음향 및/또는 음향 현장에 대한 음향 변경을 위해 생성된다. 단계(918)에서, 오디오 출력 디바이스(들)(155)가 음향 변경을 생성하기 위해 생성되는 오디오 신호를 출력한다. 여기로부터, 상기 방법은 추가 음향들을 검출하는 등을 위해 단계(902)로 다시 진행할 수도 있고, 상기 방법은 종료될 수도 있다.
요컨대, 음향 변경 시스템은 환경 내에서 음향들 및/또는 음향 현장들을 자동으로 식별하고 음향들 및/또는 음향 현장들의 식별에 기초하여 음향 변경할 하나 이상의 방향을 결정한다. 음향 변경 시스템은 기계 학습 프로세스를 사용하여 획득된 음향들을 세그먼트화하고 개별적인 음원들을 식별할 수 있다. 유사하게, 음향 변경 시스템은 기계 학습 프로세스를 사용하여 적어도 획득된 음향들에 기초하여 환경에서 하나 이상의 음향 현장을 식별할 수 있다. 음향 변경 시스템은 식별된 음원들 및/또는 음향 현장들에 기초하여 하나 이상의 음향 변경 방향을 결정하고, 결정된 방향들의 음향들을 변경할 오디오 신호들을 생성한다.
개시된 기술의 적어도 하나의 이점 및 기술적 개선점은 음향 변경을 위한 타겟 방향들이 사용자 상호 작용이 거의 없이 또는 전혀 없이 자동으로 결정될 수 있다는 점이다. 사용자는 음향 변경 시스템에 음향 변경의 타겟이 될 방향들을 수동으로 지시하는 것으로부터 경감된다. 또한, 환경에 들어가는 새로운 음향들이 사용자 상호 작용 거의 없이 또는 전혀 없이 변경할 타겟으로 될 수 있다. 따라서, 사용자가 환경에서의 그 외 다른 방향들로부터 비롯되는 관심을 갖는 음향을 들을 수 있게 하면서 환경에서의 원치 않는 노이즈가 감소 또는 제거될 수 있다.
1. 일부 실시 예에서, 환경으로부터 음향을 획득하도록 구성된 복수의 오디오 센서, 및 상기 복수의 오디오 센서에 결합되고 상기 환경 내 방향을 결정하도록; 상기 환경 내 방향으로부터 획득되는 음향에 기초하여 오디오 신호를 생성하도록; 그리고 상기 오디오 신호를 적어도 하나의 오디오 출력 디바이스로 송신하여 오디오 출력을 생성하도록 구성된 적어도 하나의 프로세서를 포함하되, 상기 오디오 출력은 상기 환경 내 방향으로부터의 음향과 조합되어 변경된 음향을 생성하는, 시스템.
2. 조항 1에 있어서, 상기 적어도 하나의 프로세서는 상기 환경으로부터 획득되는 음향에 기초하여, 상기 환경에 포함되는 적어도 하나의 음향 유형을 식별하도록 더 구성되고, 상기 환경 내 방향은 상기 적어도 하나의 음향 유형에 기초하여 결정되는, 시스템.
3. 조항 1 또는 2에 있어서, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 음향 유형에 포함되는 제1 음향 유형을 식별하는 것; 그리고 상기 제1 음향 유형이 상기 복수의 오디오 센서에 의해 획득된 상기 환경 내 방향을 식별하는 것에 의해 상기 환경 내 방향을 결정하도록 구성되는, 시스템.
4. 조항 1 내지 3 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 음향 유형에 포함되는 제1 음향 유형을 식별하는 것; 그리고 상기 제1 음향 유형을 획득한 상기 복수의 오디오 센서에 포함되는 적어도 하나의 오디오 센서를 식별하는 것에 의해 상기 환경 내 방향을 결정하도록 구성되되, 상기 환경 내 방향은 상기 적어도 하나의 오디오 센서가 음향을 획득한 방향에 대응하는, 시스템.
5. 조항 1 내지 4 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 음향 유형에 포함되는 복수의 음향 유형을 식별하는 것; 그리고 상기 복수의 음향 유형이 블랙 리스트에 포함되는 음향 현장에 대응한다고 결정하는 것; 그리고 상기 복수의 음향 유형이 상기 복수의 오디오 센서에 의해 획득된 상기 환경 내 방향을 식별하는 것에 의해 상기 환경 내 방향을 결정하도록 구성되는, 시스템.
6. 조항 1 내지 5 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는 적어도 하나의 위치 디바이스를 통해, 상기 시스템의 제1 위치를 획득하는 것; 상기 시스템의 상기 제1 위치에 기초하여 상기 환경에 포함되는 적어도 하나의 음향 유형을 식별하는 것; 상기 적어도 하나의 음향 유형이 블랙 리스트에 포함된다고 결정하는 것; 그리고 상기 시스템의 위치 및 상기 적어도 하나의 음향 유형의 위치에 기초하여 상기 환경 내 방향을 결정하는 것에 의해 상기 환경 내 방향을 결정하도록 구성되는, 시스템.
7. 조항 1 내지 6 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 위치 디바이스를 통해 상기 시스템의 상기 제1 위치와 상이한 상기 시스템의 제2 위치를 획득하도록; 상기 시스템의 상기 제2 위치에 기초하여 상기 환경에 포함되는 적어도 하나의 제2 음향 유형을 식별하도록; 상기 적어도 하나의 제2 음향 유형이 상기 블랙 리스트에 포함된다고 결정하도록; 상기 시스템의 상기 제2 위치 및 상기 적어도 하나의 제2 음향 유형의 위치에 기초하여 상기 환경 내 제2 방향을 결정하도록; 상기 환경 내 상기 제2 방향으로부터 획득되는 음향에 기초하여 제2 오디오 신호를 생성하도록; 그리고 상기 제2 오디오 신호를 상기 적어도 하나의 오디오 출력 디바이스로 송신하여 제2 오디오 출력을 생성하도록 더 구성되되, 상기 제2 오디오 출력은 상기 환경 내 상기 제2 방향으로부터의 음향과 조합되어 변경된 제2 음향을 생성하는, 시스템.
8. 조항 1 내지 7 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는 적어도 하나의 이미지 센서를 통해, 상기 환경의 시각 데이터를 획득하는 것; 상기 시각 데이터에 기초하여 상기 환경에서의 적어도 하나의 음향 유형을 식별하는 것; 상기 적어도 하나의 음향 유형이 블랙 리스트에 포함된다고 결정하는 것; 그리고 상기 적어도 하나의 음향 유형과 연관된 상기 시각 데이터에서의 위치에 기초하여 상기 환경 내 방향을 결정하는 것에 의해 상기 환경 내 방향을 결정하도록 구성되는, 시스템.
9. 일부 실시 예에서, 지향성 음향 변경을 위한 방법으로서, 복수의 오디오 센서를 통해 환경으로부터 음향을 획득하는 단계; 상기 환경 내 방향을 결정하는 단계; 상기 환경 내 방향으로부터 획득되는 음향에 기초하여 오디오 신호를 생성하는 단계; 및 상기 오디오 신호를 적어도 하나의 오디오 출력 디바이스로 송신하여 오디오 출력을 생성하는 단계를 포함하되, 상기 오디오 출력은 상기 환경 내 방향으로부터의 음향과 조합되어 변경된 음향을 생성하는, 방법.
10. 조항 9에 있어서, 상기 환경 내 방향을 결정하는 단계는 상기 환경에 포함되는 제1 음향 유형을 식별하는 단계; 및 상기 제1 음향 유형에 기초하여 상기 환경 내 방향을 결정하는 단계를 포함하는, 방법.
11. 조항 9 또는 10에 있어서, 상기 제1 음향 유형을 식별하는 단계는 적어도 하나의 이미지 센서를 통해, 상기 환경의 시각 데이터를 획득하는 단계; 및 상기 시각 데이터에서, 상기 제1 음향 유형에 대응하는 적어도 하나의 객체를 식별하는 단계를 포함하는, 방법.
12. 조항 9 내지 11 중 어느 한 항에 있어서, 상기 제1 음향 유형을 식별하는 단계는 상기 복수의 오디오 센서와 연관된 위치를 나타내는 위치 데이터를 획득하는 단계; 및 상기 복수의 오디오 센서와 연관된 상기 위치에 기초하여 상기 제1 음향 유형을 식별하는 단계를 포함하는, 방법.
13. 조항 9 내지 12 중 어느 한 항에 있어서, 상기 복수의 오디오 센서와 연관된 제2 위치를 나타내는 제2 위치 데이터를 획득하는 단계; 상기 복수의 오디오 센서와 연관된 상기 제2 위치 및 상기 제1 음향 유형에 대응하는 위치에 기초하여 상기 환경 내 제2 방향을 결정하는 단계; 상기 환경 내 상기 제2 방향으로부터 획득되는 음향에 기초하여 제2 오디오 신호를 생성하는 단계; 및 상기 제2 오디오 신호를 상기 적어도 하나의 오디오 출력 디바이스로 송신하여 제2 오디오 출력을 생성하는 단계를 더 포함하되, 상기 제2 오디오 출력은 상기 환경 내 상기 제2 방향으로부터의 음향과 조합되어 변경된 제2 음향을 생성하는, 방법.
14. 조항 9 내지 13 중 어느 한 항에 있어서, 상기 환경 내 방향을 결정하는 단계는 상기 환경으로부터 획득되는 음향에 기초하여, 상기 환경에 포함되는 제1 음향 유형을 식별하는 단계; 및 상기 제1 음향 유형에 기초하여 상기 환경 내 방향을 결정하는 단계를 포함하는, 방법.
15. 조항 9 내지 14 중 어느 한 항에 있어서, 상기 제1 음향 유형을 식별하는 단계는 상기 환경으로부터 획득되는 음향을 음향들의 데이터베이스와 비교하는 단계를 포함하는, 방법.
16. 일부 실시 예에서, 명령들을 저장하는 비일시적 컴퓨터 판독가능한 저장 매체로서, 상기 명령들은 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가: 복수의 오디오 센서에 포함되는 적어도 하나의 오디오 센서를 통해, 환경으로부터 제1 음향을 획득하는 단계; 상기 제1 음향에 기초하여 상기 환경에 포함되는 제1 음향 유형을 식별하는 단계; 상기 제1 음향 유형에 기초하여 상기 환경 내 방향을 결정하는 단계로서, 상기 환경 내 방향으로부터 상기 제1 음향이 획득되는, 상기 환경 내 방향을 결정하는 단계; 상기 제1 음향에 기초하여 오디오 신호를 생성하는 단계; 및 상기 오디오 신호를 적어도 하나의 오디오 출력 디바이스로 송신하여 오디오 출력을 생성하는 단계를 수행하게 하되, 상기 오디오 출력은 상기 제1 음향과 조합되어 변경된 음향을 생성하는, 비일시적 컴퓨터 판독가능한 저장 매체.
17. 조항 16에 있어서, 상기 환경 내 방향을 결정하는 단계는 상기 적어도 하나의 오디오 센서를 통해 상기 제1 음향이 획득되었다고 결정하는 단계를 포함하되, 상기 적어도 하나의 오디오 센서는 상기 환경 내 방향으로부터 음향을 획득하도록 지향된, 비일시적 컴퓨터 판독가능한 저장 매체.
18. 조항 16 또는 17에 있어서, 상기 제1 음향 유형을 식별하는 단계는 적어도 하나의 기계 학습 알고리즘을 상기 제1 음향에 적용하는 단계를 포함하는, 비일시적 컴퓨터 판독가능한 저장 매체.
19. 조항 16 내지 18 중 어느 한 항에 있어서, 상기 제1 음향 유형을 식별하는 단계는 상기 환경의 시각 데이터를 획득하는 단계; 및 상기 제1 음향 및 상기 시각 데이터에 기초하여 상기 제1 음향 유형을 식별하는 단계를 포함하는, 비일시적 컴퓨터 판독가능한 저장 매체.
20. 조항 16 내지 19 중 어느 한 항에 있어서, 상기 제1 음향 유형을 식별하는 단계는 상기 복수의 오디오 센서와 연관된 위치를 나타내는 위치 데이터를 획득하는 단계; 및 상기 복수의 오디오 센서와 연관된 상기 위치 및 상기 제1 음향에 기초하여 상기 제1 음향 유형을 식별하는 단계를 포함하는, 비일시적 컴퓨터 판독가능한 저장 매체.
임의의 청구항들에 열거된 청구 요소들 및/또는 본 출원에 설명된 임의의 요소들 중 어느 하나의 임의의 방식으로의 임의의 그리고 모든 조합이 설명된 실시 예들의 범위 내에 속하고 보호되는 것으로 고려된다.
다양한 실시 예에 대한 설명은 예시의 목적들로 제시되었고, 완전하다거나 개시된 실시 예들로 제한되는 것으로 의도되지 않는다. 많은 변경 및 변형이 설명된 실시 예들의 범위 및 사상으로부터 벗어나지 않고 해당 기술분야의 통상의 기술자들에게 분명할 것이다.
본 실시 예들의 양태들은 시스템, 방법 또는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 따라서, 본 발명의 양태들은 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함함) 또는 본원에서 "모듈" 또는 "시스템"으로 총칭될 수 있는 소프트웨어 및 하드웨어 양태들을 조합하는 실시 예의 형태를 취할 수 있다. 또한, 본 발명에서 설명 된 임의의 하드웨어 및/또는 소프트웨어 기술, 프로세스, 기능, 구성요소, 엔진, 모듈 또는 시스템은 회로 또는 회로들의 세트로 구현될 수 있다. 뿐만 아니라, 본 발명의 양태들은 컴퓨터 판독 가능한 프로그램 코드가 내장된 하나 이상의 컴퓨터 판독 가능한 매체(들)에 내장된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
하나 이상의 컴퓨터 판독 가능한 매체(들)의 임의의 조합이 이용될 수 있다. 컴퓨터 판독 가능한 매체는 컴퓨터 판독 가능한 신호 매체 또는 컴퓨터 판독 가능한 저장 매체일 수 있다. 컴퓨터 판독 가능한 저장 매체는, 예를 들면, 이에 제한되지는 않지만, 전기, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 디바이스, 또는 앞서 말한 것의 임의의 적합한 조합일 수 있다. 컴퓨터 판독 가능한 저장 매체의 보다 구체적인 예들(비완전한 리스트)는 다음: 하나 이상의 와이어를 갖는 전기 접속, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능한 프로그램 가능한 판독 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM), 광학 저장 디바이스, 자기 저장 디바이스, 또는 앞서 말한 것의 임의의 적합한 조합을 포함할 수 있다. 본 문서의 맥락에서, 컴퓨터 판독 가능한 저장 매체는 명령 실행 시스템, 장치 또는 디바이스에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 포함하거나 또는 저장할 수 있는 임의의 유형의 매체일 수 있다.
본 발명의 양태들은 본 발명의 실시 예들에 따른, 방법들, 장치(시스템들) 및 컴퓨터 프로그램 제품들의 흐름도들 및/또는 블록도들을 참조하여 상술되었다. 흐름도들 및/또는 블록도들의 각각의 블록, 및 흐름도들 및/또는 블록도들에서의 블록들의 조합들이 컴퓨터 프로그램 명령들에 의해 구현될 수 있다는 것이 이해될 것이다. 이러한 컴퓨터 프로그램 명령들은 범용 컴퓨터, 전용 컴퓨터, 또는 기계를 생산하기 위한 그 외 다른 프로그램 가능한 데이터 처리 장치의 프로세서에 제공될 수 있다. 명령들은 컴퓨터 또는 그 외 다른 프로그램 가능한 데이터 처리 장치의 프로세서를 통해 실행될 때, 흐름도 및/또는 블록도 블록 또는 블록들에 특정된 기능들/동작들의 구현을 가능하게 한다. 그러한 프로세서들은 제한 없이, 범용 프로세서들, 전용 프로세서들, 애플리케이션-특정 프로세서들 또는 필드-프로그램 가능한 게이트 어레이들일 수 있다.
도면들에서의 흐름도 및 블록도들은 본 발명의 다양한 실시 예에 따른 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 가능한 구현들의 아키텍처, 기능 및 동작을 도시한다. 이러한 점에서, 흐름도 또는 블록도에서의 각각의 블록은 특정된 논리 함수(들)를 구현하기 위한 하나 이상의 실행 가능한 명령을 포함하는, 코드의 모듈, 세그먼트, 또는 부분을 나타낼 수 있다. 일부 대안적인 구현 예에서, 블록에 언급된 기능들이 도면들에 언급된 순서와 다르게 발생할 수 있다는 것이 또한 주의되어야 한다. 예를 들어, 연속적으로 도시된 두 개의 블록은 사실은, 실질적으로 동시에 실행될 수 있거나, 또는 블록들은 때때로 수반되는 기능에 따라, 반대 순서로 실행될 수 있다. 블록도들 및/또는 흐름도의 각각의 블록, 및 블록도들 및/또는 흐름도에서의 블록들의 조합들이 특정된 기능들 또는 동작들, 또는 또는 전용 하드웨어 및 컴퓨터 명령들의 조합들을 수행하는 전용 하드웨어-기반 시스템들에 의해 구현될 수 있다는 것이 또한 주의될 것이다.
선행하는 내용은 본 발명의 실시 예들에 관한 것이지만, 본 발명의 그 외 다른 그리고 추가 실시 예들이 본 발명의 기본 범위에서 벗어나지 않고 창안될 수 있고, 본 발명의 범위는 뒤따르는 청구항들에 의해 결정된다.
Claims (20)
- 시스템으로서,
환경으로부터 음향을 획득하도록 구성된 복수의 오디오 센서; 및
상기 복수의 오디오 센서에 결합되는 적어도 하나의 프로세서로서:
상기 환경에 포함되는 제1 음향 유형, 상기 환경 내 상기 시스템의 위치, 또는 상기 환경으로부터 획득되는 시각 데이터 중 적어도 하나에 기초하여 자동으로 상기 환경 내 방향을 결정하도록;
상기 환경 내 방향으로부터 획득되는 음향에 기초하여 오디오 신호를 생성하도록; 그리고
상기 오디오 신호를 적어도 하나의 오디오 출력 디바이스로 송신하여 오디오 출력을 생성하도록 구성된 상기 적어도 하나의 프로세서를 포함하되, 상기 오디오 출력은 상기 환경 내 방향으로부터의 음향과 조합되어 변경된 음향을 생성하는, 시스템. - 청구항 1에 있어서, 상기 적어도 하나의 프로세서는 상기 환경으로부터 획득되는 음향에 기초하여, 상기 환경에 포함되는 상기 제1 음향 유형을 식별하도록 더 구성되는, 시스템.
- 청구항 2에 있어서, 상기 적어도 하나의 프로세서는 상기 제1 음향 유형이 상기 복수의 오디오 센서에 의해 획득된 상기 환경 내 방향을 식별하는 것에 의해 상기 환경 내 방향을 결정하도록 구성되는, 시스템.
- 청구항 2에 있어서, 상기 적어도 하나의 프로세서는 상기 제1 음향 유형을 획득한 상기 복수의 오디오 센서에 포함되는 적어도 하나의 오디오 센서를 식별하는 것에 의해 상기 환경 내 방향을 결정하도록 구성되되, 상기 환경 내 방향은 상기 적어도 하나의 오디오 센서가 음향을 획득한 방향에 대응하는, 시스템.
- 시스템으로서,
환경으로부터 음향을 획득하도록 구성된 복수의 오디오 센서; 및
상기 복수의 오디오 센서에 결합되는 적어도 하나의 프로세서로서:
상기 환경 내 방향을 결정하도록;
상기 환경 내 방향으로부터 획득되는 음향에 기초하여 오디오 신호를 생성하도록; 그리고
상기 오디오 신호를 적어도 하나의 오디오 출력 디바이스로 송신하여 오디오 출력을 생성하도록 구성된 상기 적어도 하나의 프로세서를 포함하되, 상기 오디오 출력은 상기 환경 내 방향으로부터의 음향과 조합되어 변경된 음향을 생성하고,
상기 적어도 하나의 프로세서는 상기 환경으로부터 획득되는 음향에 기초하여, 상기 환경에 포함되는 적어도 하나의 음향 유형을 식별하도록 더 구성되고, 상기 환경 내 방향은 상기 적어도 하나의 음향 유형에 기초하여 결정되며,
상기 적어도 하나의 프로세서는:
상기 적어도 하나의 음향 유형에 포함되는 복수의 음향 유형을 식별하는 것; 그리고
상기 복수의 음향 유형이 블랙 리스트에 포함되는 음향 현장에 대응한다고 결정하는 것; 그리고
상기 복수의 음향 유형이 상기 복수의 오디오 센서에 의해 획득된 상기 환경 내 방향을 식별하는 것에 의해 상기 환경 내 방향을 결정하도록 구성되는, 시스템. - 시스템으로서,
환경으로부터 음향을 획득하도록 구성된 복수의 오디오 센서; 및
상기 복수의 오디오 센서에 결합되는 적어도 하나의 프로세서로서:
상기 환경 내 방향을 결정하도록;
상기 환경 내 방향으로부터 획득되는 음향에 기초하여 오디오 신호를 생성하도록; 그리고
상기 오디오 신호를 적어도 하나의 오디오 출력 디바이스로 송신하여 오디오 출력을 생성하도록 구성된 상기 적어도 하나의 프로세서를 포함하되, 상기 오디오 출력은 상기 환경 내 방향으로부터의 음향과 조합되어 변경된 음향을 생성하고,
상기 적어도 하나의 프로세서는:
적어도 하나의 위치 디바이스를 통해, 상기 시스템의 제1 위치를 획득하는 것;
상기 시스템의 상기 제1 위치에 기초하여 상기 환경에 포함되는 적어도 하나의 음향 유형을 식별하는 것;
상기 적어도 하나의 음향 유형이 블랙 리스트에 포함된다고 결정하는 것; 그리고
상기 시스템의 위치 및 상기 적어도 하나의 음향 유형의 위치에 기초하여 상기 환경 내 방향을 결정하는 것에 의해 상기 환경 내 방향을 결정하도록 구성되는, 시스템. - 청구항 6에 있어서, 상기 적어도 하나의 프로세서는:
상기 적어도 하나의 위치 디바이스를 통해 상기 시스템의 상기 제1 위치와 상이한 상기 시스템의 제2 위치를 획득하도록;
상기 시스템의 상기 제2 위치에 기초하여 상기 환경에 포함되는 적어도 하나의 제2 음향 유형을 식별하도록;
상기 적어도 하나의 제2 음향 유형이 상기 블랙 리스트에 포함된다고 결정하도록;
상기 시스템의 상기 제2 위치 및 상기 적어도 하나의 제2 음향 유형의 위치에 기초하여 상기 환경 내 제2 방향을 결정하도록;
상기 환경 내 상기 제2 방향으로부터 획득되는 음향에 기초하여 제2 오디오 신호를 생성하도록; 그리고
상기 제2 오디오 신호를 상기 적어도 하나의 오디오 출력 디바이스로 송신하여 제2 오디오 출력을 생성하도록 더 구성되되, 상기 제2 오디오 출력은 상기 환경 내 상기 제2 방향으로부터의 음향과 조합되어 변경된 제2 음향을 생성하는, 시스템. - 시스템으로서,
환경으로부터 음향을 획득하도록 구성된 복수의 오디오 센서; 및
상기 복수의 오디오 센서에 결합되는 적어도 하나의 프로세서로서:
상기 환경 내 방향을 결정하도록;
상기 환경 내 방향으로부터 획득되는 음향에 기초하여 오디오 신호를 생성하도록; 그리고
상기 오디오 신호를 적어도 하나의 오디오 출력 디바이스로 송신하여 오디오 출력을 생성하도록 구성된 상기 적어도 하나의 프로세서를 포함하되, 상기 오디오 출력은 상기 환경 내 방향으로부터의 음향과 조합되어 변경된 음향을 생성하고,
상기 적어도 하나의 프로세서는:
적어도 하나의 이미지 센서를 통해, 상기 환경의 시각 데이터를 획득하는 것;
상기 시각 데이터에 기초하여 상기 환경에서의 적어도 하나의 음향 유형을 식별하는 것;
상기 적어도 하나의 음향 유형이 블랙 리스트에 포함된다고 결정하는 것; 그리고
상기 적어도 하나의 음향 유형과 연관된 상기 시각 데이터에서의 위치에 기초하여 상기 환경 내 방향을 결정하는 것에 의해 상기 환경 내 방향을 결정하도록 구성되는, 시스템. - 지향성 음향 변경을 위한 방법으로서,
복수의 오디오 센서를 통해 환경으로부터 음향을 획득하는 단계;
상기 환경에 포함되는 제1 음향 유형, 상기 환경 내 시스템의 위치, 또는 상기 환경으로부터 획득되는 시각 데이터 중 적어도 하나에 기초하여 자동으로 상기 환경 내 방향을 결정하는 단계;
상기 환경 내 방향으로부터 획득되는 음향에 기초하여 오디오 신호를 생성하는 단계; 및
상기 오디오 신호를 적어도 하나의 오디오 출력 디바이스로 송신하여 오디오 출력을 생성하는 단계를 포함하되, 상기 오디오 출력은 상기 환경 내 방향으로부터의 음향과 조합되어 변경된 음향을 생성하는, 방법. - 청구항 9에 있어서,
상기 환경에 포함되는 상기 제1 음향 유형을 식별하는 단계를 더 포함하는, 방법. - 지향성 음향 변경을 위한 방법으로서,
복수의 오디오 센서를 통해 환경으로부터 음향을 획득하는 단계;
상기 환경 내 방향을 결정하는 단계;
상기 환경에 포함되는 제1 음향 유형을 식별하는 단계;
상기 환경 내 방향으로부터 획득되는 음향에 기초하여 오디오 신호를 생성하는 단계; 및
상기 오디오 신호를 적어도 하나의 오디오 출력 디바이스로 송신하여 오디오 출력을 생성하는 단계를 포함하되, 상기 오디오 출력은 상기 환경 내 방향으로부터의 음향과 조합되어 변경된 음향을 생성하고,
상기 제1 음향 유형을 식별하는 단계는:
적어도 하나의 이미지 센서를 통해, 상기 환경의 시각 데이터를 획득하는 단계; 및
상기 시각 데이터에서, 상기 제1 음향 유형에 대응하는 적어도 하나의 객체를 식별하는 단계를 포함하는, 방법. - 청구항 10에 있어서, 상기 제1 음향 유형을 식별하는 단계는:
상기 복수의 오디오 센서와 연관된 위치를 나타내는 위치 데이터를 획득하는 단계; 및
상기 복수의 오디오 센서와 연관된 상기 위치에 기초하여 상기 제1 음향 유형을 식별하는 단계를 포함하는, 방법. - 지향성 음향 변경을 위한 방법으로서,
복수의 오디오 센서를 통해 환경으로부터 음향을 획득하는 단계;
상기 환경 내 방향을 결정하는 단계;
상기 환경에 포함되는 제1 음향 유형을 식별하는 단계;
상기 환경 내 방향으로부터 획득되는 음향에 기초하여 오디오 신호를 생성하는 단계; 및
상기 오디오 신호를 적어도 하나의 오디오 출력 디바이스로 송신하여 오디오 출력을 생성하는 단계를 포함하되, 상기 오디오 출력은 상기 환경 내 방향으로부터의 음향과 조합되어 변경된 음향을 생성하고,
상기 제1 음향 유형을 식별하는 단계는:
상기 복수의 오디오 센서와 연관된 위치를 나타내는 위치 데이터를 획득하는 단계; 및
상기 복수의 오디오 센서와 연관된 상기 위치에 기초하여 상기 제1 음향 유형을 식별하는 단계를 포함하며,
상기 방법은:
상기 복수의 오디오 센서와 연관된 제2 위치를 나타내는 제2 위치 데이터를 획득하는 단계;
상기 복수의 오디오 센서와 연관된 상기 제2 위치 및 상기 제1 음향 유형에 대응하는 위치에 기초하여 상기 환경 내 제2 방향을 결정하는 단계;
상기 환경 내 상기 제2 방향으로부터 획득되는 음향에 기초하여 제2 오디오 신호를 생성하는 단계; 및
상기 제2 오디오 신호를 상기 적어도 하나의 오디오 출력 디바이스로 송신하여 제2 오디오 출력을 생성하는 단계를 더 포함하되, 상기 제2 오디오 출력은 상기 환경 내 상기 제2 방향으로부터의 음향과 조합되어 변경된 제2 음향을 생성하는, 방법. - 삭제
- 청구항 10에 있어서, 상기 제1 음향 유형을 식별하는 단계는 상기 환경으로부터 획득되는 음향을 음향들의 데이터베이스와 비교하는 단계를 포함하는, 방법.
- 명령들을 저장하는 비일시적 컴퓨터 판독가능한 저장 매체로서, 상기 명령들은 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가:
복수의 오디오 센서에 포함되는 적어도 하나의 오디오 센서를 통해, 환경으로부터 제1 음향을 획득하는 단계;
상기 제1 음향에 기초하여 상기 환경에 포함되는 제1 음향 유형을 식별하는 단계;
상기 제1 음향 유형, 상기 환경 내 시스템의 위치, 또는 상기 환경으로부터 획득되는 시각 데이터 중 적어도 하나에 기초하여 자동으로 상기 환경 내 방향을 결정하는 단계로서, 상기 환경 내 방향으로부터 상기 제1 음향이 획득되는, 상기 환경 내 방향을 결정하는 단계;
상기 제1 음향에 기초하여 오디오 신호를 생성하는 단계; 및
상기 오디오 신호를 적어도 하나의 오디오 출력 디바이스로 송신하여 오디오 출력을 생성하는 단계를 수행하게 하되, 상기 오디오 출력은 상기 제1 음향과 조합되어 변경된 음향을 생성하는, 비일시적 컴퓨터 판독가능한 저장 매체. - 청구항 16에 있어서, 상기 환경 내 방향을 결정하는 단계는 상기 적어도 하나의 오디오 센서를 통해 상기 제1 음향이 획득되었다고 결정하는 단계를 포함하되, 상기 적어도 하나의 오디오 센서는 상기 환경 내 방향으로부터 음향을 획득하도록 지향된, 비일시적 컴퓨터 판독가능한 저장 매체.
- 청구항 16에 있어서, 상기 제1 음향 유형을 식별하는 단계는 적어도 하나의 기계 학습 알고리즘을 상기 제1 음향에 적용하는 단계를 포함하는, 비일시적 컴퓨터 판독가능한 저장 매체.
- 명령들을 저장하는 비일시적 컴퓨터 판독가능한 저장 매체로서, 상기 명령들은 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가:
복수의 오디오 센서에 포함되는 적어도 하나의 오디오 센서를 통해, 환경으로부터 제1 음향을 획득하는 단계;
상기 제1 음향에 기초하여 상기 환경에 포함되는 제1 음향 유형을 식별하는 단계;
상기 제1 음향 유형에 기초하여 상기 환경 내 방향을 결정하는 단계로서, 상기 환경 내 방향으로부터 상기 제1 음향이 획득되는, 상기 환경 내 방향을 결정하는 단계;
상기 제1 음향에 기초하여 오디오 신호를 생성하는 단계; 및
상기 오디오 신호를 적어도 하나의 오디오 출력 디바이스로 송신하여 오디오 출력을 생성하는 단계를 수행하게 하되, 상기 오디오 출력은 상기 제1 음향과 조합되어 변경된 음향을 생성하고,
상기 제1 음향 유형을 식별하는 단계는:
상기 환경의 시각 데이터를 획득하는 단계; 및
상기 제1 음향 및 상기 시각 데이터에 기초하여 상기 제1 음향 유형을 식별하는 단계를 포함하는, 비일시적 컴퓨터 판독가능한 저장 매체. - 청구항 16에 있어서, 상기 제1 음향 유형을 식별하는 단계는:
상기 복수의 오디오 센서와 연관된 위치를 나타내는 위치 데이터를 획득하는 단계; 및
상기 복수의 오디오 센서와 연관된 상기 위치 및 상기 제1 음향에 기초하여 상기 제1 음향 유형을 식별하는 단계를 포함하는, 비일시적 컴퓨터 판독가능한 저장 매체.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/006,783 | 2018-06-12 | ||
| US16/006,783 US10575117B2 (en) | 2014-12-08 | 2018-06-12 | Directional sound modification |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190140848A KR20190140848A (ko) | 2019-12-20 |
| KR102638672B1 true KR102638672B1 (ko) | 2024-02-21 |
Family
ID=66821047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190068545A KR102638672B1 (ko) | 2018-06-12 | 2019-06-11 | 지향성 음향 변경 |
Country Status (3)
| Country | Link |
|---|---|
| EP (2) | EP3582511A3 (ko) |
| KR (1) | KR102638672B1 (ko) |
| CN (1) | CN110597477B (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3871928A1 (en) * | 2020-02-27 | 2021-09-01 | Aptiv Technologies Limited | Component connection verification device and method |
| EP3872513B8 (en) | 2020-02-27 | 2024-05-01 | Aptiv Technologies AG | Wire harness test device and method for verifying connections when assembling a wire harness |
| EP3872512A1 (en) | 2020-02-27 | 2021-09-01 | Aptiv Technologies Limited | Wiring assembly board and method for verifying connections when assembling a wire harness |
| CN113438548B (zh) * | 2021-08-30 | 2021-10-29 | 深圳佳力拓科技有限公司 | 基于视频数据包与音频数据包的数字电视展示方法与装置 |
| KR20240038294A (ko) * | 2022-09-16 | 2024-03-25 | 올리브유니온(주) | 보청기를 이용한 사용자 또는 객체의 위치 추정에 따라 마이크 지향성을 자동 설정하는 방법 및 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120051561A1 (en) * | 2006-12-05 | 2012-03-01 | Cohen Alexander J | Audio/sound information system and method |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5027410A (en) * | 1988-11-10 | 1991-06-25 | Wisconsin Alumni Research Foundation | Adaptive, programmable signal processing and filtering for hearing aids |
| US6011854A (en) * | 1997-09-18 | 2000-01-04 | Sony Corporation | Automatic recognition of audio information in a broadcast program |
| JP2005192004A (ja) * | 2003-12-26 | 2005-07-14 | Toshiba Corp | ヘッドセットおよびヘッドセットの音楽データの再生制御方法 |
| WO2008103925A1 (en) * | 2007-02-22 | 2008-08-28 | Personics Holdings Inc. | Method and device for sound detection and audio control |
| US9105187B2 (en) * | 2009-05-14 | 2015-08-11 | Woox Innovations Belgium N.V. | Method and apparatus for providing information about the source of a sound via an audio device |
| WO2011063857A1 (en) * | 2009-11-30 | 2011-06-03 | Nokia Corporation | An apparatus |
| US20120121103A1 (en) * | 2010-11-12 | 2012-05-17 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Audio/sound information system and method |
| US9037458B2 (en) * | 2011-02-23 | 2015-05-19 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for spatially selective audio augmentation |
| US8824695B2 (en) * | 2011-10-03 | 2014-09-02 | Bose Corporation | Instability detection and avoidance in a feedback system |
| WO2013093565A1 (en) * | 2011-12-22 | 2013-06-27 | Nokia Corporation | Spatial audio processing apparatus |
| US10107887B2 (en) * | 2012-04-13 | 2018-10-23 | Qualcomm Incorporated | Systems and methods for displaying a user interface |
| US9173023B2 (en) * | 2012-09-25 | 2015-10-27 | Intel Corporation | Multiple device noise reduction microphone array |
| US9663031B2 (en) * | 2013-10-21 | 2017-05-30 | Harman International Industries, Inc. | Modifying an audio panorama to indicate the presence of danger or other events of interest |
| US10720153B2 (en) * | 2013-12-13 | 2020-07-21 | Harman International Industries, Incorporated | Name-sensitive listening device |
| US9811991B2 (en) * | 2014-06-27 | 2017-11-07 | Harman International Industries, Incorporated | Do-not-disturb system and apparatus |
| US9622013B2 (en) * | 2014-12-08 | 2017-04-11 | Harman International Industries, Inc. | Directional sound modification |
-
2019
- 2019-06-11 EP EP19179356.1A patent/EP3582511A3/en not_active Ceased
- 2019-06-11 KR KR1020190068545A patent/KR102638672B1/ko active IP Right Grant
- 2019-06-11 CN CN201910500155.4A patent/CN110597477B/zh active Active
- 2019-06-11 EP EP24161826.3A patent/EP4358537A2/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120051561A1 (en) * | 2006-12-05 | 2012-03-01 | Cohen Alexander J | Audio/sound information system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190140848A (ko) | 2019-12-20 |
| EP4358537A2 (en) | 2024-04-24 |
| EP3582511A2 (en) | 2019-12-18 |
| EP3582511A3 (en) | 2020-03-18 |
| CN110597477A (zh) | 2019-12-20 |
| CN110597477B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10575117B2 (en) | Directional sound modification | |
| US9622013B2 (en) | Directional sound modification | |
| KR102638672B1 (ko) | 지향성 음향 변경 | |
| US11689846B2 (en) | Active noise control and customized audio system | |
| US10279739B2 (en) | Modifying an audio panorama to indicate the presence of danger or other events of interest | |
| US11051105B2 (en) | Locating wireless devices | |
| US20230336912A1 (en) | Active noise control and customized audio system | |
| US10257637B2 (en) | Shoulder-mounted robotic speakers | |
| US20180270571A1 (en) | Techniques for amplifying sound based on directions of interest | |
| US10805756B2 (en) | Techniques for generating multiple auditory scenes via highly directional loudspeakers | |
| KR20140098835A (ko) | 차량에서 사운드를 지향시키기 위한 시스템, 방법, 및 장치 | |
| JP2019129538A (ja) | 設定変更可能な非公開モードを備えたウェアラブルサウンドシステム | |
| US20220174395A1 (en) | Auditory augmented reality using selective noise cancellation | |
| US11616580B1 (en) | Local auditory display using ultrasonic encoding and decoding | |
| CN112188363B (zh) | 音频播放的控制方法、装置、电子设备和可读存储介质 | |
| US11284194B2 (en) | Techniques for generating spatial sound via head-mounted external facing speakers | |
| US20230035531A1 (en) | Audio event data processing | |
| TW202314684A (zh) | 對來自多個麥克風的音訊信號的處理 | |
| TW202314478A (zh) | 音訊事件資料處理 | |
| CN118020314A (zh) | 音频事件数据处理 | |
| CN118020313A (zh) | 处理来自多个麦克风的音频信号 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |