KR102378762B1 - 지향성의 사운드 변형 - Google Patents

지향성의 사운드 변형 Download PDF

Info

Publication number
KR102378762B1
KR102378762B1 KR1020150171920A KR20150171920A KR102378762B1 KR 102378762 B1 KR102378762 B1 KR 102378762B1 KR 1020150171920 A KR1020150171920 A KR 1020150171920A KR 20150171920 A KR20150171920 A KR 20150171920A KR 102378762 B1 KR102378762 B1 KR 102378762B1
Authority
KR
South Korea
Prior art keywords
environment
audio
user
sound
processor
Prior art date
Application number
KR1020150171920A
Other languages
English (en)
Other versions
KR20160069475A (ko
Inventor
다비드 디 센소
스테판 마티
Original Assignee
하만인터내셔날인더스트리스인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하만인터내셔날인더스트리스인코포레이티드 filed Critical 하만인터내셔날인더스트리스인코포레이티드
Publication of KR20160069475A publication Critical patent/KR20160069475A/ko
Application granted granted Critical
Publication of KR102378762B1 publication Critical patent/KR102378762B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/34—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means
    • H04R1/345—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

프로세싱 디바이스와 연결되고 환경 내에서 사운드들을 검출하도록 어레인지되는 하나 이상의 오디오 센서 및 프로세싱 디바이스와 연결되는 하나 이상의 오디오 출력 디바이스를 포함하는 사운드 변형 시스템이 개시된다. 프로세싱 디바이스는 환경 내 사운드 변형을 위한 하나 이상의 선택된 방향 내에서 검출되는 사운드들에 기초하여 오디오 신호를 발생시키고, 하나 이상의 오디오 출력 디바이스를 사용하여 발생된 오디오 신호를 출력하도록 작동한다. 출력 발생된 오디오 신호는 원하는 사운드 변형을 생성하기 위해 검출된 사운드들과 결합한다.

Description

지향성의 사운드 변형{DIRECTIONAL SOUND MODIFICATION}
본 출원에서 개시된 실시예들은 사운드 변형, 특히, 오디오 신호들을 발생시켜 환경 내 하나 이상의 선택된 방향들에 대해 원하는 사운드 변형을 생성하는 것에 관한 것이다.
개인들은 보통 주의 산만하지 않게 작업하기 위해 바쁘거나 시끄러운 환경들에서 잡음-제거 또는 잡음-감쇠 헤드폰들을 착용한다. 헤드폰들의 공통적인 유형들은 인-이어 헤드폰들(또는 "이어 버드들(ear buds)"), 온-이어 헤드폰들, 및 오버-이어 헤드폰들을 포함한다. 많은 경우들에서, 헤드폰들은 일반적으로 단지 착용자의 외이도 위에 배치됨으로써 수동적인 잡음 감쇠도를 제공한다. 추가적으로, 몇몇 헤드폰은 헤드폰들에 의해 감지되는 환경에서 사운드들에 대항하는 음파들을 생성함으로써 능동적인 잡음 감쇠를 제공할 수 있다. 그러한 헤드폰들은 통상적으로 가청 주파수 스펙트럼의 모든 또는 선택된 부분 내에 들어가는 환경 잡음들을 감쇠하도록 구성된다.
일 실시예에서, 환경 내에서 사운드들을 검출하도록 어레인지되는 하나 이상의 오디오 센서 및 하나 이상의 오디오 출력 디바이스를 포함하는 사운드 변형 시스템이 개시된다. 사운드 변형 시스템은 오디오 센서들 및 오디오 출력 디바이스들과 연결되는 프로세싱 디바이스를 더 포함하고, 프로세싱 디바이스는 환경 내 하나 이상의 선택된 방향 내에서 검출되는 사운드들에 기초하여 오디오 신호를 발생시키고, 하나 이상의 오디오 출력 디바이스를 사용하여 발생된 오디오 신호를 출력하도록 작동한다.
다른 실시예에서에서, 사운드 변형을 수행하기 위해 환경 내에서 하나 이상의 방향을 선택하는 단계 및 프로세싱 디바이스와 연결되는 하나 이상의 오디오 센서를 사용하여 하나 이상의 선택된 방향 내에서 사운드들을 검출하는 단계를 포함하는 지향성의 사운드 변형을 위한 방법이 개시된다. 방법은 또한 프로세싱 디바이스를 사용하여 검출된 사운드에 기초하여 오디오 신호를 발생시키는 단계, 및 프로세싱 디바이스와 연결되는 하나 이상의 오디오 출력 디바이스를 사용하여 발생된 오디오 신호를 출력하는 단계를 더 포함한다. 출력 발생된 오디오 신호는 원하는 사운드 변형을 생성하기 위해 검출된 사운드들과 결합한다.
다른 실시예에서, 지향성의 사운드 변형을 위한 컴퓨터 프로그램 제품이 개시된다. 컴퓨터 프로그램 제품은 그것으로 구현되는 컴퓨터 판독 가능 프로그램 코드를 갖는 컴퓨터 판독 가능 디바이스를 포함하고, 컴퓨터 판독 가능 프로그램 코드는 사운드 변형을 수행하기 위해 환경 내 하나 이상의 방향을 선택하고, 프로세싱 디바이스와 연결되는 하나 이상의 오디오 센서를 사용하여 하나 이상의 선택된 방향 내에서 사운드들을 검출하고, 프로세싱 디바이스를 사용하여, 검출된 사운드들에 기초하여 오디오 신호를 발생시키며, 프로세싱 디바이스와 연결되는 하나 이상의 오디오 출력 디바이스를 사용하여 발생된 오디오 신호를 출력하도록 구성된다. 출력 발생된 오디오 신호는 원하는 사운드 변형을 생성하기 위해 검출된 사운드들과 결합한다.
다음 도면들 및 상세한 설명을 검토하면 본 발명의 다른 시스템들, 방법들, 피처들, 및 이점들이 해당 기술분야의 통상의 기술자에게 분명하거나, 분명해질 것이다. 모든 그러한 부가적인 시스템들, 방법들, 피처들 및 이점들이 본 설명 내에 포함되고, 본 발명의 범위 내이며, 다음 청구항들에 의해 보호된다는 것이 의도된다.
상기한 내용이 본 발명의 피처들을 열거한 방식이 상세하게 이해될 수 있도록, 상기에서 간략하게 요약된 본 발명의 보다 특정한 설명이 실시예들을 참조하여 이루어질 수 있고, 그 일부가 첨부 도면들로 예시된다. 그러나, 첨부된 도면들이 본 발명의 단지 통상적인 실시예들을 예시하는 것을 주의해야 하며 그 결과 본 발명이 다른 동등하게 효과적인 실시예들을 인정할 수 있기 때문에, 그것의 범위를 제한하는 것으로 고려되지 않아야 한다.
도 1a 및 도 1b는 다양한 실시예들에 따른, 사운드 변형 시스템을 예시한다.
도 2a 내지 도 2f는 다양한 실시예들에 따라, 상이한 환경들 내에 배치되는 사운드 변형 시스템을 예시한다.
도 3은 일 실시예에 따른, 환경 내 사운드 변형을 위한 방향들의 선택을 예시한다.
도 4는 일 실시예에 따른, 잡음 환경에서 사운드 변형 시스템의 동작을 예시한다.
도 5는 일 실시예에 따라 사운드 변형을 위해 선택된 방향들을 업데이트하는 것을 예시한다.
도 6은 일 실시예에 따른, 지향성의 사운드 변형을 위한 방법을 예시한다.
이하의 설명에서, 많은 구체적인 세부사항들이 본 발명의 보다 철저한 이해를 제공하기 위해 제시된다. 그러나, 해당 기술분야의 통상의 기술자에게 본 발명이 이들 구체적인 세부사항들 중 하나 이상 없이도 실시될 수 있다는 것이 분명할 것이다.
본 출원에서 개시된 실시예들은 환경 내에서 사운드들을 검출하도록 어레인지되는 하나 이상의 오디오 센서 및 하나 이상의 오디오 출력 디바이스를 포함하는 사운드 변형 시스템을 포함한다. 사운드 변형 시스템은 오디오 센서들 및 오디오 출력 디바이스들과 연결되는 프로세싱 디바이스를 더 포함하고, 프로세싱 디바이스들은 환경 내 하나 이상의 선택된 방향 내에서 검출되는 사운드들에 기초하여 오디오 신호를 발생시키고, 하나 이상의 오디오 출력 디바이스를 사용하여 발생된 오디오 신호를 출력하도록 작동한다. 출력 발생된 오디오 신호는 원하는 사운드 변형을 생성하기 위해 검출된 사운드들과 결합한다.
사운드 변형 시스템은 개인용 헤드폰들, 가정용 스테레오 시스템들, 차량용 스테레오 시스템들 등과 같은, 오디오-기반 시스템들의 다양한 형태들로 구현될 수 있다. 사운드 변형 시스템은 잡음 감쇠, 증폭, 또는 검출된 사운드들을 변형하기 위한 다른 원하는 오디오 효과들을 선택적으로 제공할 수 있다. 사운드 변형 시스템은 사용자의 모바일 컴퓨팅 디바이스와 같은 개별 컴퓨팅 디바이스 및/또는 전용 프로세싱 디바이스를 사용하여 그것의 프로세싱 기능들을 수행할 수 있다. 사운드 변형 시스템은 다른 시스템 구성요소들에 연결되거나 그것들과 통합되거나 또는 개별적으로 배치될 수 있는, 임의의 수의 오디오 센서를 사용하여 환경에서 사운드들을 검출할 수 있다. 검출된 사운드들 및 선택된 방향들은 환경의 2-차원(2D) 또는 3-차원(3D) 맵을 발생시키는데 사용될 수 있고, 프로세싱 디바이스는 사용자 방위로의 변화들 뿐만 아니라, 사용자 및 다양한 잡음원들 간 상대적인 거리의 변화들에 기초하여 맵을 업데이트할 수 있다.
도 1a 및 도 1b는 다양한 실시예들에 따른, 사운드 변형 시스템을 예시한다. 도시된 바와 같이, 사운드 변형 시스템(100)은 프로세싱 디바이스(110), 메모리(120), 입력/출력(I/O)(130), 입력 디바이스(140), 오디오 센서들(150), 및 오디오 출력 디바이스들(155)을 포함한다. 프로세싱 디바이스(110)는 본 출원에서 설명된 기능들을 수행할 수 있는 임의의 프로세싱 요소를 포함할 수 있다. 사운드 변형 시스템(100) 내 단일 요소로 도시되지만, 프로세싱 디바이스(110)는 단일 프로세서, 다수의 프로세서, 다수의 코어들을 갖는 프로세서 또는 프로세서들 뿐만 아니라, 그것들의 조합들을 나타내도록 의도된다. 메모리(120)는 그것들의 크기, 상대적인 성능, 또는 다른 능력들: 휘발성 및/또는 비-휘발성 매체들, 착탈 가능한 및/또는 비-착탈 가능한 매체들 등으로 선택되는 다양한 컴퓨터 판독 가능 매체들을 포함할 수 있다. 메모리(120)는 캐시, 랜덤 액세스 메모리(RAM), 스토리지 등을 포함할 수 있다. 메모리(120)는 동적 RAM(DRAM) 듀얼 인라인 메모리 모듈들(DIMM들)과 같은, 하나 이상의 개별 메모리 모듈을 포함할 수 있다. 물론, 다양한 메모리칩들, 대역폭들, 및 형태 인자들이 대안적으로 선택될 수 있다. 메모리(120)의 일부로서 포함되는 스토리지는 통상적으로 사운드 변형 시스템(100)에 비-휘발성 메모리를 제공할 수 있고, 플래시 메모리, 하드 디스크 드라이브, 고체 상태 디바이스, 광 저장 디바이스, 및/또는 자기 저장 디바이스와 같은 하나 이상의 상이한 요소를 포함할 수 있다.
메모리(120)는 본 출원에서 설명된 기능들을 수행하기 위한 하나 이상의 모듈을 포함할 수 있다. 도시된 바와 같이, 메모리(120)는 다양한 선택된 방향들에 원하는 사운드 변형을 제공하기 위해 오디오 신호들 발생시키기 위한 오디오 신호 모듈(122), 및 환경 내 잡음원들의 2-차원(2D) 또는 3-차원(3D) 매핑을 생성하기 위한 환경 맵 모듈(124)을 포함한다. 오디오 신호 모듈(122)은 일반적으로 검출된 사운드들의 스케일링된 그리고 가능한 역전된 복사본의 형태로 오디오 신호들을 생성할 수 있으나, 또한 원하는 사운드 변형을 생성하기 위해 다른 파형들을 생성할 수 있다. 예를 들어, 오디오 신호 모듈(122)은 주기적인 오디오 신호들 또는 랜덤 잡음 또한 생성할 수 있다. 환경 맵 모듈(124)은 오디오 센서들(150)로부터의 입력을 반영하는 잡음 데이터(126), 환경 내 사운드 변형을 위한 방향들(본래 선택된 방향들이든 업데이트된 것이든)을 반영하는 방향 데이터(128), 및 오디오 센서들(150), 오디오 출력 디바이스들(155), 및 사운드 변형 시스템(100)의 사용자 중 적어도 하나의 상대적인 방위를 반영하는 방위 데이터(129)를 개별적으로 포함할 수 있다.
프로세싱 디바이스(110)는 입력/출력(I/O)(130)을 사용하여, 주변 디바이스들 또는 다른 네트워킹 컴퓨팅 디바이스들과 같은, 다른 디바이스들과 통신할 수 있다. I/O(130)는 본 출원에서 설명된 기능들을 제공하는데 사용되는 임의의 수의 상이한 I/O 어댑터 또는 인터페이스를 포함할 수 있다. I/O(130)는 유선 및/또는 무선 연결들을 포함할 수 있고, 다양한 포맷들 또는 프로토콜들을 사용할 수 있다. 일례로, I/O(130)을 통하는 프로세싱 디바이스(110)는 Bluetooth®(블루투스 SIG(Bluetooth Special Interest Group)의 등록 상표) 또는 Wi-Fi®(와이파이 얼라이언스(Wi-Fi Alliance)의 등록 상표)와 같은 무선 연결을 사용하여 연결되는 입력 디바이스들(140)을 사용하여 사운드 변형을 위해 선택된 방향들을 결정할 수 있고, 유선 연결들을 통해 오디오 센서들(150)을 사용하여 환경 사운드들을 검출할 수 있으며, 선택된 방향들에서 검출된 사운드들에 대한 원하는 사운드 변형을 생성하기 위해 별개의 유선 또는 무선 연결을 통해 오디오 출력 디바이스들(155)에 적절한 오디오 신호들을 제공할 수 있다.
I/O(130)는 또한 네트워크(160)를 통해 프로세싱 디바이스(110)를 하나 이상의 네트워킹 컴퓨팅 디바이스에 연결하는 네트워크 인터페이스들을 포함할 수 있다. 네크워킹 컴퓨팅 디바이스의 예들은, 서버, 데스크탑 컴퓨터, 스마트폰 또는 태블릿 컴퓨터와 같은 모바일 컴퓨팅 디바이스, 및 시계 또는 헤드폰들 또는 헤드-마운티드 디스플레이 디바이스와 같은 착용 디바이스를 포함한다. 물론, 컴퓨팅 디바이스들의 다른 유형들 또한 프로세싱 디바이스(110)와 네트워킹될 수 있다. 네트워크(160)는 로컬 영역 또는 로컬 액세스 네트워크(LAN), 일반적인 광역 네트워크(WAN), 및/또는 공중 네트워크(예를 들어, 인터넷)를 포함하여, 다양한 유형들의 하나 이상의 네트워크를 포함할 수 있다. 일부 실시예들에서, 네크워킹 컴퓨팅 디바이스들은 입력 디바이스(140), 오디오 센서들(150), 및/또는 오디오 출력 디바이스들(155)로서 사용될 수 있다.
입력 디바이스들(140)은 프로세싱 디바이스(110)와 연결되고 지향성의 사운드 변형을 수행하기 위해 프로세싱 디바이스(110)에 다양한 입력들을 제공한다. 도시된 바와 같이, 입력 디바이스들(140)은 센서 디바이스들(142) 및 방위 디바이스(144)를 포함한다. 센서 디바이스들(142)은 사운드 변형 시스템(100)의 사용자들로부터의 입력을 캡처하기 위해 제공될 수 있고, 센서들의 하나 이상의 유형을 포함할 수 있다. 예를 들어, 사운드 변형을 위해 방향들을 선택하는 사용자의 입력은 손들, 팔들, 눈들, 또는 신체의 다른 기관들의 다양한 움직임들 또는 방위들과 같은, 제스처들을 포함할 수 있다. 사용자의 입력을 검출하기 위해, 센서 디바이스들(142)은 적외선(IR) 센서들과 같은 시각 센서들, 열 센서들, 및/또는 전하-결합 디바이스(CCD) 또는 상보성 금속-산화물-반도체(CMOS) 센서 디바이스와 같은 이미징 디바이스들을 포함할 수 있다. 센서 디바이스들(142)은 또한 자이로스코프 또는 가속도계와 같은 관성 센서들을 포함할 수 있다. 센서 디바이스들(142)은 사용자에 의해 착용 또는 운반될 수 있거나, 개별적으로 배치될 수 있다(즉, 개별 디바이스로 존재하거나, 그것에 포함될 수 있다). 물론, 센서 디바이스들의 다른 유형들은 또한 사용자 입력을 수신하는 다양한 기능들을 수행하기 위해 센서 디바이스들(142)에 포함될 수 있는데, 이것들은 정전용량성 센서들, 적외선 센서들, 자기 센서들 등을 포함할 수 있다.
일부 실시예들에서, 입력 디바이스들(140)은 사운드 변형을 위한 방향들의 사용자 선택을 수신하기 위한 사용자 인터페이스를 포함할 수 있다. 사용자 인터페이스는 하나 이상의 버튼(button), 토글(toggle), 슬라이더(slider), 다이얼(dial), 놉(knob) 등과 같은, 본 출원에서 설명된 기능들을 제공하기 위한 임의의 실행 가능한 형태를 취할 수 있거나, 그래픽 유저 인터페이스(GUI)로 간주할 수 있다. GUI는 사운드 변형 시스템(100)의 임의의 구성요소를 통해 제공될 수 있다. 일 실시예에서, GUI는 이를테면 사용자의 모바일 또는 착용가능한 컴퓨팅 디바이스 상에서 실행하는 애플리케이션을 통해, 프로세싱 디바이스(110)와 통신 가능하게 연결되는 개별 컴퓨팅 디바이스에 의해 제공될 수 있다. 사운드 변형의 우선적인 선택을 제공하기 위해, 사용자 인터페이스는 수행될 사운드 변형의 방향(들), 유형, 및 양과 같은 다양한 파라미터들에 대한 사용자 입력을 허용할 수 있다. 파라미터들은 사용자에 의해 업데이트될 수 있거나 동작 동안 자동적으로 업데이트될 수 있다.
다른 예에서, 사용자 인터페이스는 방향들 및 다른 변형 파라미터들에 대한 구두의 명령들을 수신할 수 있다. 이 경우에서, 입력 디바이스들(140)은 오디오 센서들(150)과 상이하거나 동일할 수 있는, 하나 이상의 오디오 센서를 포함할 수 있다. 프로세싱 디바이스(110)는 수신된 구두의 명령들 상에서 음성 인식을 수행하고/하거나 구두의 명령들을 메모리(120)에 저장된 명령들과 비교할 수 있다. 수신된 구두의 명령들을 확인한 후, 프로세싱 디바이스(110)는 사운드 변형 시스템에 대해 명령된 기능(예를 들어, 사운드 변형 파라미터들을 지정된 레벨들로 변경하는)을 수행할 수 있다.
방위 디바이스(144)는 환경에 관한(그리고 보다 구체적으로, 환경 내 잡음원들에 관한) 오디오 센서들, 오디오 출력 디바이스들, 및/또는 사용자의 방위에 대한 정보를 제공한다. 방위 디바이스는 프로세싱 디바이스(110)에 2-차원(2D) 또는 3-차원(3D) 방위 데이터를 제공할 수 있으며, 이는 방위 데이터를 잡음 환경의 맵들로 통합시킬 수 있다. 방위 디바이스(144)는 자기력계, 자이로스코프, 가속도계, 또는 이미징 디바이스와 같은, 사용자 방위를 검출할 수 있는 하나 이상의 센서 디바이스를 포함할 수 있다. 방위 디바이스(144)는 사용자에 의해 착용될 수 있거나 개별적으로 배치될 수 있다.
오디오 센서들(150)은 환경에서 발생하는 사운드들을 캡처하기 위해 포함된다. 캡처된 사운드들은 적절한 지향성의 사운드 변형을 발생시키기 위해 프로세싱 디바이스에 의해 사용될 수 있다. 오디오 센서들은 음파들을 전기 신호로 변환할 수 있는 복수의 마이크로폰 또는 다른 트랜스듀서들 또는 센서들일 수 있다. 오디오 센서들은 단일 유형의 센서들, 또는 다양한 상이한 센서들을 포함하는 센서들의 어레이를 포함할 수 있다. 오디오 센서들(150)은 사용자에 의해 착용되거나, 이동 가능한 또는 고정된 위치에 개별적으로 배치될 수 있다. 오디오 센서들은 환경에 임의의 실행 가능한 방식으로 배치될 수 있다. 몇몇 실시예에서, 오디오 센서들(150)은 일반적으로 오디오 센서들(150)의 내향으로 배치되고 또한 내향으로 배향되는, 오디오 출력 디바이스들(155)에 관해 일반적으로 외향으로 배향된다. 그러한 방위는 특히 사운드 변형이 환경의 나머지로부터 수행될(즉, 오디오 출력 디바이스들(155)로부터의 출력을 사용하여) 하나 이상의 영역을 구분하는데 유리할 수 있다. 일례로, 오디오 센서들(150)은 사용자로부터 외향 방사상으로 배향될 수 있는 한편, 오디오 출력 디바이스들(155)은 사용자를 향해 내향 방사상으로 배향된다.
오디오 출력 디바이스들(155)은 환경 내 하나 이상의 선택된 방향에 대응하는 적절한 사운드 변형을 제공하기 위해 발생된 오디오 신호들을 출력하기 위해 포함된다. 물론, 사운드 변형 오디오 신호들은 다른 오디오 신호들(예를 들어, 음악 또는 다른 오디오 플레이백)과 오디오 출력 디바이스들(155) 상에서 동시에 처리될 수 있다. 오디오 출력 디바이스들은 라우드 스피커들 또는 다른 적합한 전기 음향 디바이스들과 같은, 종래의 오디오 출력 기술들을 사용할 수 있다. 오디오 출력 디바이스들(155)은 라우드 스피커 디바이스들, 어라운드-이어(귀 주위를 둘러싸는), 온-이어(귀 위에 올라가는), 또는 인-이어 헤드폰들, 보청기들, 유선 또는 무선 헤드셋들, 신체에-착용되는(머리, 어깨, 팔 등) 도청기들, 신체에-착용되는 근-거리 지향성의 스피커들 또는 스피커 어레이들, 신체에-착용되는 초음파 스피커 어레이들 등과 같은, 임의의 수의 상이한 종래의 형태 인자를 사용하여 구현될 수 있다. 오디오 출력 디바이스들(155)은 사용자에 의해 착용되거나, 이동 가능한 또는 고정된 위치에 개별적으로 배치될 수 있다. 상기에서 논의된 바와 같이, 오디오 출력 디바이스들(155)은 오디오 센서들(150)의 내향으로 배치되거나 특정한 영역 또는 사용자를 향해 내향으로 배향될 수 있다.
도 1a는 사운드 변형 시스템(100)의 다양한 구성요소들이 몇몇 디바이스에 걸쳐 분배될 수 있는 일 실시예를 도시한다. 도 1b는 사운드 변형 시스템(170)의 컴퓨팅 구성요소들(즉, 프로세싱 디바이스(110), 메모리(120), 및 I/O(130))이 별개의 컴퓨팅 디바이스(180)에 포함되는 다른 실시예를 도시한다. 일반적으로, 컴퓨팅 디바이스(180)는 하나 이상의 입력 디바이스(140) 및 오디오 센서(150)로부터 입력을 수신하고, 지향성의 사운드 변형을 위해 오디오 신호들을 발생시키며, 오디오 출력 디바이스들(155)을 사용하여 발생된 오디오 신호들을 출력한다. 이하에서 보여질 바와 같이, 컴퓨팅 디바이스(180)는 오디오 센서들(150) 및 오디오 출력 디바이스들(155)에 상대적으로 근접하게 배치될 수 있다.
도 2a 내지 도 2f는 다양한 실시예들에 따라, 상이한 환경들 내에 배치되는 사운드 변형 시스템을 예시한다. 도 2a는 일 실시예에 따라, 오버-이어 헤드폰들(200)로 구현되는 사운드 변형 시스템을 예시한다. 헤드폰들(200)은 사용자의 머리와 편안하게 접촉하기 위해 그리고 사용자의 귀를 커버하기 위해 제공되는 이어 컵들(205)을 포함한다. 헤드폰들(200)은 또한 이어 컵들, 스피커 요소들뿐만 아니라, 헤드폰들(200)에 포함되는 임의의 다른 구성요소들에 대한 지지를 제공하는, 각 이어 컵(205)에 연결하는 하우징(210)을 포함한다. 도시된 바와 같이, 헤드폰들(200)은 프로세싱 모듈(211), 복수의 마이크로폰(212), 하나 이상의 버튼(213), 피드백 디바이스(214), 및 전원(215)을 포함한다. 물론, 해당 기술분야의 통상의 기술자는 여기서 명백하게 언급되지 않더라도, 다양한 구성요소들이 또한 헤드폰들(200)에 포함될 수 있다는 것을 인식할 것이다.
최소한도로, 프로세싱 모듈(211)은 유선 또는 무선 연결을 통해 오디오 신호들을 수신하고 오디오 신호를 헤드폰들(200) 스피커 요소들에 출력하는 능력을 포함한다. 프로세싱 모듈(211)은 또한 수신된 오디오 신호들을 변조하기 위해 하나 이상의 능동 또는 수동 디바이스를 포함할 수 있다. 프로세싱 모듈(211)은 환경 내 지향성의 사운드 변형을 제공하기 위해 사운드 변형 시스템들(100, 170)(예를 들어, 센서 디바이스들(142), 방위 디바이스(144))에 대해 상기 설명된 다른 기능에 따라 프로세싱 디바이스(110)를 포함할 수 있다. 일 실시예에서, 프로세싱 모듈(211)은 컴퓨팅 디바이스(180)일 수 있다. 추가적으로, 프로세싱 모듈(211)은 사운드 변형 오디오 신호들을 제공하고, 선택적으로 헤드폰들(200)의 스피커 요소들에 출력될 매체들을 제공하는 하나 이상의 개별 컴퓨팅 디바이스와 연결될 수 있다. 컴퓨팅 디바이스는 랩탑, 스마트폰, 태블릿, 스마트 시계 등과 같은, 사용자의 모바일 또는 착용된 컴퓨팅 디바이스일 수 있다.
마이크로폰들(212)은 오디오 센서들(150)로서 사용되고 우선적으로 특정한 배열로 배치될 수 있다. 예를 들어, 마이크로폰들(212)의 어레이는 하우징(210)의 폭을 따라 분포되고 착용된 헤드폰들 밖의 환경에서 발생하는 잡음을 캡처하기 위해 외향으로 배향될 수 있다. 일례로, 마이크로폰들은 하우징(210)의 만곡된 외면을 따름으로써 및/또는 개별적으로 배향됨으로써, 외향 방사상으로 배향될 수 있다. 물론, 마이크로폰들은 원하는 형상 및 크기의 사운드-캡처링 파노라마를 제공하기 위해 하나 이상의 치수 또는 표면을 따라 우선적으로 분포될 수 있다. 일 실시예에서, 마이크로폰들의 어레이는 하나 이상의 마이크로 전자 기계 시스템(MEMS) 디바이스를 포함할 수 있고, 각 MEMS는 복수의 보다 작은 트랜스듀서를 포함한다. 복수의 트랜스듀서는 사운드 이벤트들의 지향성이 도달 시간 차이들을 통해 결정될 수 있도록 공간적으로 분리될 수 있다. 그 후 트랜스듀서로부터 수신되는 신호들은 음원들의 위치 측정을 허용하기 위해 세기, 스펙트럴, 및 시간 큐들에 대해 프로세싱 및 조사될 수 있다.
하나 이상의 버튼(213)은 사운드 변형을 수행하기 위해 환경 내 하나 이상의 방향을 선택하기 위한 입력 디바이스(140)로서 사용될 수 있다. 각 이어 컵(205)에 연결되는 하우징(210)의 부분들 상의 하나 이상의 버튼과 같은, 버튼들(213)은 하우징(210) 상에 배치될 수 있다. 버튼들(213)은 마이크로폰들(212)과 유사하게 배치될 수 있고 각 버튼은 마이크로폰들(212) 중 하나 이상에 특수하게 대응한다. 일 실시예에서, 버튼들 및 마이크로폰들은 1:1 비로 대응한다. 예를 들어, 버튼을 누르는 것은 사운드 변형이 대응하는 하나 이상의 마이크로폰에 의해 검출되는 사운드들 상에서 수행될지 또는 아닐지를 켰다 껐다 할 수 있거나, 사운드 변형 설정들을 변경(예를 들어, 증폭량 또는 감쇠량을 변경)할 수 있다. 일 실시예에서, 버튼들(213)은 디폴트에 의해 설정되든 사용자-지정이든 간에, 사운드 변형을 위한 복수의 미리 결정된 설정을 통해 사이클링하기 위해 제공될 수 있다. 일 실시예에서, 버튼들(213)은 다른 입력들을 위한 트리거 디바이스로서 사용될 수 있다. 예를 들어, 사용자는 방향들 또는 다른 사운드 변형 파라미터들을 선택하기 위해 버튼을 누르고 이어서 구두의 명령을 입력하거나 특정한 입력 제스처를 행할 수 있다.
피드백 디바이스(214)는 사용자에게 시각적 또는 촉각적 피드백을 제공하기 위해 포함될 수 있다. 예를 들어, 피드백 디바이스(214)는 하나 이상의 발광 다이오드(LED) 또는 진동 모터를 포함할 수 있다. 일 실시예에서, LED들은 마이크로폰들(212) 및/또는 버튼들(213)과 유사하게 배치될 수 있고, 사운드 변형을 수행하기 위해 선택된 방향들을 표시할 수 있다. 피드백 디바이스는 또한 예를 들어, 명멸하거나 진동함으로써 성공적인 사용자 선택을 확인 응답할 수 있다.
전원(215)은 각 구성요소에 전력을 제공하기 위해 프로세싱 모듈(211) 및 피드백 디바이스(214)와 연결될 수 있다. 전원(215)은 교체 가능한 또는 재충전 가능한 배터리들 또는 다른 에너지 저장 디바이스들을 포함할 수 있다. 전원(215)은 또한 구성요소들에 전력을 공급하고/하거나 배터리들을 충전하기 위해 벽에서 나오는 전력에 대한 연결부를 포함할 수 있다.
도 2b는 일 실시예에 따라, 오버-이어 헤드폰들(200)이 사용자(225)에 의해 착용되는 예시적인 환경(220)을 예시한다. 마이크로폰들의 고유한 속성들 및 헤드폰들(200) 내 그것들의 상대적인 배치들에 기초하여, 다양한 마이크로폰들은 각각 마이크로폰으로부터의 특정한 거리(230)에 대응할 수 있는, 사운드의 최소 임계 레벨을 감지할 수 있다. 조합하여, 다양한 마이크로폰들의 복합 감지 영역들은 오디오 감지 존(235)을 형성할 수 있고, 이는 마이크로폰들로부터 주변 환경으로 연장하는 공간적 영역 또는 볼륨에 의해 표현된다. 오디오 감지 존(235)은 마이크로폰들의 수, 위치 결정, 및 방위 뿐만 아니라, 각 마이크로폰의 능력(예를 들어, 감도, 주파수 응답 등)에 따라 다양한 형상들 및/또는 크기들을 가질 수 있다. 여기에 도시된 간략화된 예에서, 오디오 감지 존(235)은 사용자(225)의 머리를 둘러싸는 구에 의해 표현된다. 물론, 가늘고 긴 형상들, 마이크로폰 커버리지의 중첩 영역들을 포함하는 형상들, 또는 마이크로폰들이 완전한 사운드 커버리지를 제공하지 않는 비-연속적인 형상들과 같은, 보다 복잡한 형상들이 가능하고 예상된다. 헤드폰들(200)과 같은, 임의의 주어진 디바이스에 대해, 각 마이크로폰의 주파수-의존 속성들이 상이할 수 있기 때문에 디바이스는 상이한 잡음 주파수들마다 달라지는 오디오 감지 존들을 가질 수 있다.
여기서 설명된 바와 같이, 오디오 감지 존의 외측 공간적 한계들은 몇몇 미리 결정된 최소 사운드 레벨(예를 들어, 3 데시벨 또는 dB)을 나타낸다. 물론, 이것은 특정한 잡음원이 오디오 감지 존에 의해 정의되는 공간 내에 물리적으로 위치되어야 하는 것, 그러나 단지 잡음원이 외측 한계에서 임계 사운드 레벨을 충족 또는 초과하기에 충분한 전력을 발생시킨다는 것을 요구하지는 않는다.
도 2c는 일 실시예에 따라, 사운드 변형 시스템을 위한 다른 예시적인 환경(240)을 예시한다. 이 경우에서, 사운드 변형 시스템은 가정용 스테레오 시스템에 배치될 수 있다. 가정용 스테레오 시스템은 텔레비전(245) 또는 다른 시청각 디바이스, 스테레오 수신기(247), 및 복수의 스피커(250)를 포함할 수 있다. 각각의 스피커들(250)은 상이한 주파수 범위들에 대응하는 드라이버들(예를 들어, 트위터들, 우퍼들, 서브우퍼들)을 포함할 수 있고 우선적으로 오디오 품질을 위해 환경(240) 내에 배치될 수 있다. 보다 구체적으로, 텔레비전(245) 및 스피커들(250)은 미리 결정된 위치의 예를 들어, 카우치(242) 상에 착석한 한 명 이상의 사용자를 위해 최적의 오디오 및 비디오 품질을 제공하도록 배치될 수 있다.
도 2d는 일 실시예에 따른, 환경(260)의 상면도를 예시한다. 대부분, 환경(260)은 환경(240)과 동일하나, 환경(260)은 오디오 센서들 및 대응하는 오디오 감지 존(277)을 명백하게 도시한다. 오디오 센서들의 하나 이상의 상이한 유형이 환경(260)에 포함될 수 있다. 스피커들(250) 상에 배치되는 오디오 센서들(255)과 같은, 오디오 센서들은 가정용 스테레오 시스템의 다양한 구성요소들에 연결되거나, 그것들과 통합될 수 있다. 오디오 센서들은 또한 개별적으로, 이를테면 가정용 스테레오 시스템의 어떤 구성요소에도 연결되지 않거나, 독립형 센서로서 배치될 수 있다. 오디오 센서들(275)은 창문들(270)에 가까운 외벽들(265)에 연결되고, 실외 잡음(예를 들어, 동물들, 이웃들, 자동차/기차/항공 운행 등)을 변형하는데 사용될 수 있다. 사운드 변형 시스템을 위한 프로세싱은 본질적으로 스테레오 수신기(247)에 의해 수행될 수 있거나, 또한 오디오 신호들을 다양한 스피커들(250)에 출력할 수 있는 개별 컴퓨팅 디바이스에 의해 수행될 수 있다. 컴퓨팅 디바이스는 가정용 스테레오 시스템에 포함되는 컴퓨팅 시스템일 수 있거나, 대안적으로 랩탑, 스마트폰, 태블릿, 스마트 시계 등과 같은, 사용자의 모바일 컴퓨팅 디바이스일 수 있다.
도 2e는 일 실시예에 따라, 자동차(280)에서 구현되는 바와 같은 사운드 변형 시스템을 예시한다. 도시된 바와 같이, 자동차(280)는 복수의 스피커(285) 및 오디오 수신기(287)가 위치되는 차 내부(282)를 포함한다. 오디오 수신기(287)는 스피커들(285)에 연결되고 일반적으로 오디오 입력(AM/FM/위성-기반 라디오, 컴팩트 디스크, MP3 파일들 등)을 수신하도록 그리고 증폭되고/되거나 등화된 오디오 신호들을 스피커들(285)로 유도하도록 작동한다. 사운드 변형 시스템은 자동차(280)의 외부에 배치되어 외향으로 배향되는 복수의 오디오 센서(290)를 포함할 수 있다. 네 개의 오디오 센서가 자동차의 쿼터 패널들 상에 배치되는 것으로 도시되지만, 자동차의 임의의 내부 또는 외부 위치에 배치되는 임의의 수의 센서가 가능하다. 일 실시예에서, 오디오 센서들은 우선적으로 엔진 사운드들을 변형(예를 들어, 감쇠 또는 증폭)하기 위해 엔진부(291) 가까이에(이를테면 엔진부 및 차 내부(282) 사이에) 배치될 수 있다. 사운드 변형 시스템을 위한 프로세싱은 본질적으로 스테레오 수신기(287)에 의해 수행될 수 있거나, 또한 오디오 신호들을 다양한 스피커들(285)에 출력할 수 있는 개별 컴퓨팅 디바이스에 의해 수행될 수 있다. 또한, 컴퓨팅 디바이스는 오디오 시스템에 포함되는 컴퓨팅 시스템일 수 있거나, 대안적으로 랩탑, 스마트폰, 태블릿, 스마트 시계 등과 같은, 사용자의 모바일 컴퓨팅 디바이스일 수 있다.
도 2f는 자동차(280)가 도로(295)을 따라 가동되는, 환경(292)을 예시한다. 상기에서 설명된 다른 실시예들과 같이, 사운드 변형 시스템의 센서들(290)은 오디오 감지 존(297)에 대응한다. 환경 잡음들이 센서들(290)에 의해 검출됨에 따라, 사운드 변형 시스템은 선택된 방향들에서 비롯되는 사운드들에 원하는 변형 효과를 제공하기 위해 오디오 신호들을 발생시킬 수 있다.
도 3은 일 실시예에 따른, 환경 내 사운드 변형을 위한 방향들의 선택을 예시한다. 헤드폰들을 포함하는 하나의 특정한 실시예가 도시되지만, 통상의 기술자는 다양한 대안적인 구현예들이 또한 가능하다는 것을 이해할 것이다. 환경(300)은 그 또는 그녀의 머리에 헤드폰들(200)을 착용하는 사용자(225)의 탑-다운 도해를 제공한다. 사용자(225)는 환경(300) 내에 초기 방위(305)를 가진다. 여기서 사용자 방위 및 방위의 간략화된 2D 표현이 제시되지만, 통상의 기술자는 동일한 원리들을 또한 3D 표현(예를 들어, 사용자가 머리를 앞으로, 뒤로, 좌측 또는 우측 등으로 기대고 있는지를 캡처하는)에 적용할 수 있다는 것을 이해할 것이다. 헤드폰들(200)에 포함되는 다양한 마이크로폰들의 복합 감지 영역들을 나타내는 오디오 감지 존(325)은 마이크로폰들로부터 주변 환경으로 연장한다. 오디오 감지 존(325) 내 통과 영역(310)에서 비롯됨에 따라 헤드폰들(200)에 의해 검출되는 사운드들은 능동 사운드 변형을 적용하지 않고 사용자로 통과하도록 허용된다. 그러나, 오디오 감지 존(325) 내 변형 영역(320)에서 비롯됨에 따라 검출되는 사운드들은 원하는 사운드 변형을 생성하기 위해 발생된 오디오 신호들과 결합된다.
사용자는 임의의 수의 방법을 사용하여 사운드 변형을 위한 방향(들)을 선택할 수 있다. 환경(300)에 도시된 간략화된 경우에서, 사용자는 감쇠 또는 증폭될 전체 측(320)(즉, 헤드폰들(200)의 이어 컵들 중 하나에 대응하는)을 선택할 수 있다. 대안적으로, 사용자는 각도 및 각 너비(180° 너비를 갖는, 현재 방위(305)로부터 90°의 중심각을 지시한다), 또는 다수의 각도(0° 내지 180°)를 지정할 수 있다.
상기에서 논의된 바와 같이, 사용자는 푸시버튼들, 구두의 명령들, 제스처들, GUI를 사용하는 것 등의 사용을 통해 이러한 방향 선택 입력을 제공할 수 있다. 일 실시예에서, 헤드폰들(200)의 각 측은 하나 이상의 버튼을 포함할 수 있고, 따라서 사용자(225)는 단지 대응하는 버튼들을 누름으로써 하나 이상의 방향에 대한 사운드 변형을 선택적으로 적용할 수 있다. 다른 실시예에서, 사용자는 직접 또는 간접적으로(예를 들어, 어떤 각도들에 대해 미리 매핑된 단어들 또는 절들을 사용하여) 각도들을 선택함으로써, 하나 이상의 방향을 선택하기 위한 구두의 명령들을 제공할 수 있다. 다른 실시예에서, 사용자는 각도들이 직접 또는 간접적으로 선택될 수 있는 제스처들을 제공할 수 있다. 예를 들어, 사용자는 변형 영역(320)을 정의하는 제1 및 제2 각도들을 가리킬 수 있거나, 객체(예를 들어, 특정한 잡음원)에 가리킬 수 있다. 일 실시예에서, 사용자의 눈들의 방위는 하나 이상의 방향을 선택하는 것과 함께 결정될 수 있고, 따라서 단순히 음원을 봄으로써 방향이 결정될 수 있다. 이 경우에서, 방향은 구두의 명령을 말하는 것, 버튼을 누르는 것 등에 의해 선택을 트리거한 후 사용자의 응시에 기초하여 결정될 수 있다. 사운드 변형 시스템은 사용자의 입력을 수신하고 객체가 변형 영역(320) 내에 완전히 포함되도록 적절한 각도들을 설정할 수 있다.
사운드 변형을 위한 방향들을 선택하는 것과 함께, 사용자(225)는 또한 변형의 유형 및 양(예를 들어, 증폭, 감쇠, 및 그 중 어느 하나의 양들)을 지정할 수 있다. 예를 들어, 사용자는 잡음원을 가리키고, "이 잡음을 50%만큼 감소" 또는 "이 방향으로부터의 임의의 잡음들을 3dB만큼 감소"라고 말할 수 있다. 다른 예에서, 동료가 그 또는 그녀의 사무실에 접근할 때를 인식하게 되기를 원하는 헤드폰들을 착용하는 사용자는 열린 사무실 문을 가리키고 "이 방향에서 비롯되는 사운드들을 35%만큼 감소"라고 말할 수 있다. 사운드 변형의 유형 및 양은 상이한 변형 영역들로 인해 달라질 수 있다. 방향들에 에 추가하여, 사용자는 또한 어떤 주파수 범위들이 변형되어야 하는지를 지정할 수 있다. 사용자는 특정 주파수 값들을 표시함으로써 또는 미리 매핑된 주파수 범위들(음성, 자동차 운행, 또는 다른 공통적인 잡음원 범위들에 대응하는)을 선택함으로써 이것들을 지정할 수 있다. 사용자에 의해 지정되는 변형 영역들(변형 영역(320)과 같은)은 사용자의 방위를 추적할 수 있거나, 사용자의 방위에 대한 변화들에도 불구하고 고정된 채로 남아있을 수 있다. 예를 들어, 사용자는 그 또는 그녀의 우측으로부터의 모든 사운드들을 사운드 변형되도록 선택할 수 있다. 대응하는 변형 영역이 사용자를 추적하도록 설정되면, 임의의 인스턴스에서 사용자의 우측에서 비롯되는 사운드들(사용자가 이동됨에도 불구하고)이 계속하여 사운드 변형될 것이다.
일부 실시예들에서, 하나 이상의 센서로부터의 입력은 어떤 사운드들이 사용자를 가장 방해하는지를 결정하기 위해 다양한 음원들과 연관될 수 있다. 방해의 결정은 환경에서 다양한 사운드들과 센서 측정들의 시간 비교에 기초할 수 있다. 예시적인 센서 측정들은 초점 또는 집중의 손실(예를 들어, 신경 센서들을 사용하여) 또는 눈 또는 머리 움직임을 검출하는 것(예를 들어, 보다 큰 움직임이 일반적으로 방해와 연관할 수 있다)을 결정하기 위한 뇌 활성도를 포함한다. 방해 결정에 기초하여, 오디오 센서들이 방해되는 사운드들과 충분히 유사한 기준들을 충족하는 사운드들을 검출할 때, 사운드 변형을 위한 방향들이 이 사운드들에 대해 자동적으로 결정 및 적용될 수 있다.
상기에서 논의된 바와 같이, 사운드 변형 시스템은 사운드 변형을 위해 검출된 잡음 및 하나 이상의 선택된 방향을 반영하기 위해 환경의 매핑들을 생성할 수 있다. 사운드 변형 시스템은 사운드 변형을 위한 오디오 신호들을 발생시키기 전에 사용자의 현재 위치 및 방위에 따라 매핑들을 변환할 수 있다. 맵의 2D 버전은 도 3의 도해들의 모습과 유사할 수 있다. 2D 맵의 변형 영역들이 일반적으로 사용자로부터(또는 하나 이상의 마이크로폰으로부터) 투사하여 V자 꼴들로서 표현되는 반면, 3D 맵은 사용자 또는 마이크로폰들로부터 투사하는 다양한 벡터들을 포함할 수 있고, 3D 공간에서 이는 원뿔이거나 원뿔형으로 나타날 수 있다.
환경 맵들을 생성하는 것의 일부로서, 사운드 변형 시스템은 또한 검출된 사운드들에 대한 별개의 잡음원 위치들을 추정할 수 있고, 그 추정된 위치들을 맵들로 표시할 수 있다. 맵들은 데카르트, 극, 또는 구면 좌표계들과 같은, 임의의 알려진 좌표 시스템들을 사용할 수 있다. 이 맵들은 또한 사용자의 절대적 위치(글로벌 위치 결정 시스템(GPS) 센서와 같은, 센서 디바이스들을 통해 제공되는)에 링크될 수 있다. 절대적 위치에 링크될 때, 맵들은 사운드 변형 시스템들의 다른 사용자들에 유용할 수 있다. 예를 들어, 헤드폰을 착용한 사용자가 번잡한 도로를 걸어 내려가는 동안 생성되는 잡음 맵들은 서버에 저장된 후 그 부근의 다른 사용자들에게 제공될 수 있는데, 이는 다양한 사운드 변형 시스템들에 의한 리던던트 프로세싱을 감소 또는 방지할 수 있다.
환경(330)은 또한 그 또는 그녀의 머리에 헤드폰들(200)을 착용하는 사용자(225)의 탑-다운 도해를 제공한다. 사용자(225)는 동일한 방위(305)를 가지나, 이 예에서 변형 영역(350)에 대해 상이한 방향들을 지정하기 원한다(이 경우에서, 영역은 사용자 뒤에 위치된다). 하나 이상의 변형 영역(350)을 설정하는 사용자(225)는 또한 오디오 감지 존(325) 내 하나 이상의 패스-스루 영역들(340)을 정의하도록 작동할 수 있다. 또한, 사용자는 특정한 각도들을 지정함으로써 방향들을 선택할 수 있다. 대안적인 실시예에서, 사용자는 변형 영역(350)의 상대적인 폭을 기술하기 위한 한정어(예를 들어, "좁은", "중간의", "넓은")와 함께, 방향 또는 특정한 각도를 지정할 수 있다. 한정어들은 어떤 각 너비들을 나타내기 위해 미리 매핑될 수 있다. 대안적인 실시예에서, 사용자는 하나의 각도(예를 들어, 현재 방위로부터 180도, 또는 "내 뒤")를 지정할 수 있고 미리 결정된 디폴드 각 너비가 변형 영역(350)을 생성하도록 적용된다. 물론, 변형 영역(350)을 초기에 설정한 후, 사용자는 전체적으로 새로운 변형 영역들을 선택할 수 있거나 변형 영역(350)에 점증적으로 적응할 수 있다. 예를 들어, 사용자는 변형 영역을 식별하고 특정 각도 또는 각 너비 변화들을 제공할 수 있거나, 변형 영역을 확대/축소 및/또는 사용자 방위에 관해 변형 영역을 이동시키는 것을 지정할 수 있다.
환경(360)은 또한 그 또는 그녀의 머리에 헤드폰들(200)을 착용하는 사용자(225)의 탑-다운 도해를 제공한다. 사용자(225)는 동일한 방위(305)를 가지나, 두 개의 상이한 변형 영역(3801, 3802)에 대한 방향들을 지정하기 원한다. 변형 영역(3801, 3802)을 설정하는 것은 또한 오디오 감지 존(325) 내에 하나 이상의 패스-스루 영역(3701, 3702)을 정의하도록 작동할 수 있다. 사용자는 동시에 또는 상이한 시간들에 선택될 수 있는, 각 변형 영역(3801, 3802)에 대한 각도들 또는 각도들의 범위들을 지정할 수 있다. 앞서와 같이, 사용자는 대안적으로 각 변형 영역의 폭을 설정하기 위한 구두의 기술어(예를 들어, "135°에 중심이 있는 넓은 범위, 및 315°에 중심이 있는 좁은 범위")들을 사용할 수 있다. 대안적으로, 사용자는 각도를 지정할 수 있고, 미리 결정된 디폴트 각 너비가 적용된다.
도 4는 일 실시예에 따른, 잡음 환경에 배치되는 사운드 변형 시스템의 동작을 예시한다. 사용자(225)가 워크스테이션(410)에서 일하면서 헤드폰들(200)을 착용하고 있는 고층 사무소 건물(405)이 도시된다. 인접한 워크스테이션(420)의 동료는 전화로 큰 소리로 말하고 있고, 이는 사용자를 산만하게 할 수 있다. 그동안에, 도로공사(440)가 사무소 건물(405) 밖의 거리(450) 상에서 발생하고, 또한 사용자를 산만하게 할 수 있는 잡음을 생성하고 있다.
상기 설명된 다양한 기술들 중 임의의 기술을 사용하여, 사용자는 이들 잡음원들에 대응하는 잡음 변형을 위한 방향들을 선택할 수 있다. 이 경우에서, 사용자는 잡음원들을 약화시키기 바랄 수 있다. 도시되지 않았지만, 사용자는 추가적으로 또는 대안적으로 이를테면 사용자의 컴퓨터 또는 전화의 방향들로부터, 사운드를 강화(예를 들어, 증폭 및/또는 등화)시키는 하나 이상의 방향을 선택할 수 있다. 사용자가 잡음원들에 대응하는 방향들을 지정한 후, 사운드 변형 시스템은 사용자가 방향들의 정밀한 표시를 제공하지 않았을 수 있고, 선택된 방향들에서 비롯되는 가장 큰 잡음들이 사용자가 변형하도록 시도하는 것일 가능성이 있기 때문에, 지정된 방향들의 미리 결정된 범위 내에서 가장 큰 잡음(들)을 결정할 수 있다. 따라서 환경(400)의 3D 매핑은 사용자(225)(또는 더 정확히 말하면, 헤드폰들(200)에 포함되는 대응하는 마이크로폰들)로부터 투사하는 벡터들(430 및 460)을 포함할 수 있다. 벡터들(430, 460)은 사운드 변형이 대응하는 방향들에서 비롯됨에 따라 검출되는 사운드들을 대해 수행될 것을 표시한다.
도 5는 일 실시예에 따라, 사운드 변형을 위해 선택된 방향들을 업데이트하는 것을 예시한다. 환경(500)에서, 사용자(225)는 초기 방위(505)에 있으면서, 그 또는 그녀의 머리에 헤드폰들(200)을 착용하고 있는 것으로 도시된다. 두 개 지점의 잡음원(5101, 5102)이 환경(500)에 포함된다. 하나의 잡음원(5101)은 헤드폰들(200)의 오디오 감지 존(525) 내에 배치되는 한편, 다른 잡음원(5102)은 외부에 배치된다. 따라서, 패스-스루 영역들(520)에 대응하는 방향들로부터 검출되는 사운드들은 사운드 변형되지 않는 한편, 변형된 영역들(5151, 5152)로부터의 사운드들이 사운드 변형 시스템에 의해 변형된다. 사운드 변형 시스템은 이들 선택된 방향들 및 잡음원들에 기초하여 환경(500)의 맵을 생성할 수 있다.
환경(530)에서, 사용자는 그 또는 그녀의 전신(또는 어쩌면 단지 그/그녀의 머리)를 회전하고, 따라서 사용자의(또는 헤드폰들(200)의 오디오 센서들의) 방위가 방위(505)에서 방위(535)로 변화한다. 일 실시예에서, 사운드 변형 시스템은 사용자 방위의 변화들에 대해 잡음원들을 추적하도록 구성된다. 사용자가 재-배향되었지만, 잡음원들(5101, 5102)은 여전히 동일한 위치들에 있고, 따라서 변형된 영역들(5101, 5102)이 잡음원들에 관해 그대로 유지된다. 비록 사용자 방위의 변화들이 발생한다 하더라도, 잡음원들은 계속하여 사운드 변형될 것이다. 환경들이 단순화를 위하여 2D로 도시되지만, 통상의 기술자는 유사한 구현예들이 3D 공간에서 만들어질 수 있음을 이해할 것이다.
일 실시예에서, 사운드 변형 시스템은 또한 사용자 및/또는 잡음원들의 변위를 추적하도록 구성된다. 이것은 사용자 방위의 변화들에 대해 잡음원들을 추적하는 것에 추가하여 수행될 수 있다. 환경(550)에서, 사용자는 초기 방위(555)를 가진다. 또한, 두 지점의 잡음원(5101, 5102)이 포함된다. 잡음원(5101)에 대응하는 변형된 영역(5151)은 초기 각 너비(α1)를 가지고, 잡음원(5102)에 대응하는 변형된 영역(5152)은 초기 각 너비(β1)를 가진다.
환경(560)에서, 사용자는 동일한 방위(555)를 유지하나 사용자 및 두 지점의 잡음원(5101, 5102) 간 상대적인 변위가 발생한다. 예를 들어, 사용자는 이동 중일 수 있고/있거나 잡음원들 중 하나 또는 양자가 이동 중일 수 있다. 변형 영역(5151)은 사용자 방위에 관해 이동되었고 이제 변형 영역(5651)이 되며, 사용자 및 잡음원(5101) 간 거리의 증가를 표시하는 보다 작은 각도(α2)를 가진다. 변형 영역(5152)은 또한 사용자 방위에 관해 이동되었고 이제 변형 영역(5652)이 되며, 각도(β1)와 대략 동일한 크기인 각도(β2)를 가진다(사용자 및 잡음원 간 거리가 대략 동일하다는 것을 표시한다). 대응하는 패스-스루 영역들(570)은 오디오 감지 존(525)의 나머지를 채운다.
도 6은 일 실시예에 따른, 지향성의 사운드 변형을 위한 방법을 예시한다. 방법(600)은 상기 설명된 사운드 다양한 변형 시스템의 설명들과 일관되게, 그리고 다양한 실시예들에서 설명된 환경들 내에서 사용될 수 있다. 방법(600)은 사운드 변형 시스템의 프로세싱 디바이스를 사용하여, 또는 사운드 변형 시스템과 통신 가능하게 연결되는 개별 컴퓨팅 디바이스를 사용하여, 또는 다양한 프로세싱 디바이스들의 조합을 사용하여 수행될 수 있다. 예를 들어, 방법(600)은 사운드 변형 시스템과 통신가능하게 연결되는 사용자의 모바일 컴퓨팅 디바이스 상에서 실행하는 애플리케이션에 의해 수행될 수 있다.
방법(600)은 환경 내 하나 이상의 방향이 사운드 변형을 수행하기 위해 선택되는 블록(605)으로 시작된다. 방향들은 사용자, 뿐만 아니라 선택된 방향들에서 비롯되는 사운드들 상에서 수행할 변형의 유형 및 양에 의해 선택될 수 있다. 선택된 방향들은 잡음 환경에 대해 생성되는 2D 또는 3D 맵에 포함될 수 있고, 사용자 방위, 사용자 변위, 및/또는 잡음원 변위를 선택적으로 추적할 수 있는 하나 이상의 변형 영역을 형성할 수 있다.
블록(610)에서, 프로세싱 디바이스는 사운드들이 사운드 변형 시스템의 하나 이상의 오디오 센서에 의해 하나 이상의 선택된 방향에서 비롯됨에 따라 검출되는지를 결정한다. 어떤 사운드도 검출되지 않거나, 임의의 검출된 사운드들이 선택된 방향들 밖에 들어가는 패스-스루 영역들에서 비롯되는 것으로 결정되면, 방법은 블록(615)("아니오")로 진행하고 비-선택된 영역들로부터의 임의의 검출된 사운드들이 능동적인 사운드 변형을 제공하지 않고 통과하도록 허용된다. 방법은 일반적으로 방법이 블록(625)으로 진행할 때, 검출된 사운드들이 하나 이상의 선택된 방향("예")에 대응할 때까지 연속적이든 또는 별개의 시간 간격을 두고든, 블록(610)을 통해 고리 모양으로 이동할 수 있다.
블록(625)에서, 프로세싱 디바이스는 하나 이상의 선택된 방향에 대응하는 검출된 사운드에 기초하여 오디오 신호를 발생시킨다. 오디오 신호는 또한 검출된 사운드들의 감쇠 또는 증폭, 및 그 중 어느 하나의 양들과 같이, 사용자에 의해 지정되는 원하는 사운드 변형에 기초한다. 오디오 신호는 일반적으로 검출된 사운드들의 스캐일링된 가능한 역전된 복사본의 형태를 취할 수 있으나, 다른 파형들도 원하는 사운드 변형을 발생시키는데 사용될 수 있다.
블록(635)에서, 발생된 오디오 신호는 원하는 사운드 변형을 생성하기 위해 출력된다. 이것은 출력 신호로 오디오 출력 디바이스들 중 선택된 디바이스들(예를 들어, 방위들이 선택된 방향들에 가장 가까운 오디오 출력 디바이스들)을 구동하는 것을 포함할 수 있다. 방법은 블록(635)에 종료할 수 있거나, 연속적인 루프로서든 또는 상이한 시간 간격들을 두고든, 블록(610)으로 회귀할 수 있다.
본 발명은 장치, 시스템, 방법, 및/또는 컴퓨터 프로그램 제품으로 구현될 수 있다. 컴퓨터 프로그램 제품은 그 위에 프로세서가 본 발명의 측면들을 수행하게 하기 위한 컴퓨터 판독 가능 프로그램 명령들을 갖는 컴퓨터 판독 가능 저장 매체(또는 매체들)를 포함할 수 있다.
컴퓨터 판독 가능 저장 매체는 명령 실행 디바이스에 의해 사용하기 위한 명령들을 유지 및 저장할 수 있는 유형의 디바이스일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 이에 제한되지는 않으나, 전자 저장 디바이스, 자기 저장 디바이스, 광 저장 디바이스, 전자기 저장 디바이스, 반도체 저장 디바이스, 또는 앞선 것들의 임의의 적절한 조합일 수 있다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예들의 비-배타적인 리스트는 다음을 포함한다: 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거형 프로그램 가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 천공 카드들 또는 그 위에 레코딩되는 명령들을 갖는 홈으로 상승된 구조물들과 같은 기계적으로 인코딩된 디바이스, 및 앞선 것들의 임의의 적합한 조합. 본 출원에서 사용되는 바와 같은, 컴퓨터 판독 가능 저장 매체는 이를테면 라디오파들 또는 그 밖의 자유롭게 전파하는 전자기파들, 도파로 또는 다른 송신 매체들을 통해 전파하는 전자기파들(예를 들어, 광 파이버 케이블을 통과하는 광 펄스들)과 같이, 그 자체로는 일시적 신호들인 것으로 해석되지 않아야 한다.
본 출원에 설명된 컴퓨터 판독 가능 프로그램 명령들은 컴퓨터 판독 가능 저장 매체로부터 각각의 컴퓨팅/프로세싱 디바이스들로 또는 네트워크, 예를 들어, 인터넷, 로컬 영역 네트워크, 광역 네트워크 및/또는 무선 네트워크를 통해 외부 컴퓨터 또는 외부 저장 디바이스로 다운로드될 수 있다. 네트워크는 구리 송신 케이블들, 광 송신 파이버들, 무선 송신, 라우터들, 방화벽들, 스위치들, 게이트웨이 컴퓨터들 및/또는 에지 서버들을 포함할 수 있다. 각 컴퓨팅/프로세싱 디바이스에서의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령들을 수신하여 각각의 컴퓨팅/프로세싱 디바이스 내 컴퓨터 판독 가능 저장 매체에 저장하기 위해 컴퓨터 판독 가능 프로그램 명령들을 포워딩한다.
본 발명의 동작들을 수행하기 위한 컴퓨터 판독 가능 프로그램 명령들은 어셈블러 명령들, 명령어 집합 기계(ISA) 명령들, 기계 명령들, 기계 의존성 명령들, 마이크로코드, 펌웨어 명령들, 상태-설정 데이터, 또는 스몰토크(Smalltalk), C++ 등과 같은 객체 지향 프로그래밍 언어, "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어들과 같은, 종래 절차형 프로그래밍 언어들을 포함하여, 하나 이상의 프로그래밍 언어의 임의의 조합으로 기록된 소스 코드 또는 객체 코드 중 어느 하나일 수 있다. 컴퓨터 판독 가능 프로그램 명령들은 사용자의 컴퓨터 상에서 전적으로, 사용자의 컴퓨터 상에서 부분적으로, 독립형 소프트웨어 패키지로서, 사용자의 컴퓨터 상에서 부분적으로 및 원격 컴퓨터 상에서 부분적으로 또는 컴퓨터 또는 서버 상에서 전적으로 실행할 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 로컬 영역 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는, 네트워크의 임의의 유형을 통해 사용자의 컴퓨터에 연결될 수 있거나, 외부 컴퓨터에 대한 연결이 만들어질 수 있다(예를 들어, 인터넷 서비스 제공자를 사용하는 인터넷을 통해). 일부 실시예들에서, 예를 들어, 프로그램 가능 로직 회로부, 필드-프로그램 가능 게이트 어레이들(FPGA), 또는 프로그램 가능 로직 어레이들(PLA)을 포함하는 전기 회로는 본 발명의 측면들을 수행하기 위해, 전기 회로를 개인화하기 위한 컴퓨터 판독 가능 프로그램 명령들의 상태 정보를 활용함으로써 컴퓨터 판독 가능 프로그램 명령들을 실행할 수 있다.
본 발명의 측면들은 본 발명의 실시예들에 따른 방법들, 장치(시스템들), 및 컴퓨터 프로그램 제품들의 흐름도 예시들 및/또는 블록도들을 참조하여 본 출원에 설명된다. 흐름도 예시들 및/또는 블록도들, 및 흐름도 예시들 및/또는 블록도들의 블록들의 조합들의 각 블록이 컴퓨터 판독 가능 프로그램 명령들에 의해 구현될 수 있다는 것이 이해될 것이다.
이들 컴퓨터 판독 가능 프로그램 명령들은 컴퓨터 또는 다른 프로그램 가능 데이터 프로세싱 장치를 통해 실행하는 명령들이 흐름도 및/또는 블록도 블록 또는 블록도들에서 지정되는 기능들/동작들을 구현하기 위한 수단을 생성하도록, 기계를 생성하기 위한 범용 컴퓨터, 전용 컴퓨터, 또는 다른 프로그램 가능 데이터 프로세싱 장치의 프로세서에 제공될 수 있다. 이들 컴퓨터 판독 가능 프로그램 명령들은 또한 컴퓨터에 지향할 수 있는 컴퓨터 판독 가능 저장 매체, 프로그램 가능 데이터 프로세싱 장치, 및/또는 특정한 방식으로 기능하기 위한 다른 디바이스들에 저장될 수 있고, 따라서 그 안에 저장된 명령들을 갖는 컴퓨터 판독 가능 저장 매체는 흐름도 및/또는 블록도 블록 또는 블록들에 지정되는 기능/동작의 측면들을 구현하는 명령들을 포함하는 제조품을 포함한다.
컴퓨터 판독 가능 프로그램 명령들은 또한 컴퓨터, 다른 프로그램 가능 데이터 프로세싱 장치, 또는 일련의 동작 단계들이 컴퓨터, 다른 프로그램 가능 장치 또는 컴퓨터 구현 프로세스를 생성하기 위한 다른 디바이스 상에서 수행되게 하기 위한 다른 디바이스 상에 로딩될 수 있고, 따라서 다른 프로그램 가능 장치, 또는 다른 디바이스는 흐름도 및/또는 블록도 블록 또는 블록들에 지정되는 기능/동작의 측면들을 구현한다.
도면들의 흐름도 및 블록도들은 본 발명의 다양한 실시예들에 따른 시스템들, 방법들, 및 컴퓨터 프로그램의 가능한 구현들의 아키텍처, 기능, 및 동작을 예시한다. 이것과 관련하여, 흐름도 또는 블록도에서의 각 블록은 지정된 논리적 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령들을 포함하는, 모듈, 세그먼트, 또는 명령들의 부분을 나타낼 수 있다. 일부 대안적인 구현예들에서, 블록에 언급된 기능들은 도면들에 언급된 순서를 벗어나 발생할 수 있다. 예를 들어, 연속적으로 도시된 두 개의 블록은 사실은, 실질적으로 동시에 실행될 수 있거나, 블록들은 때때로 수반되는 기능에 따라, 역순으로 실행될 수 있다. 블록도들 및/또는 흐름도 예시의 각 블록, 및 블록도들 및/또는 흐름도 예시에서의 블록들의 조합들이 지정된 기능들 또는 동작들을 수행하거나 전용 하드웨어 및 컴퓨터 명령들의 조합들을 실행하는 전용 하드웨어-기반 시스템들에 의해 구현될 수 있다는 것이 또한 주의될 것이다.
앞선 내용이 본 발명의 실시예들에 대해 안내되는 한편, 본 발명의 다른 및 추가 실시예들은 그 기본 범위를 벗어나지 않고 창안될 수 있고, 그 범위는 이하의 청구항들에 의해 결정된다.

Claims (20)

  1. 프로세서와 연결되고 환경 내에서 사운드들을 검출하도록 어레인지되는 두 개 이상의 오디오 센서의 세트;
    상기 프로세서와 연결되는 하나 이상의 오디오 출력 디바이스를 포함하고,
    상기 프로세서는:
    상기 환경 내 하나 이상의 선택된 방향으로부터 수신된 사운드들을 검출하고;
    상기 하나 이상의 선택된 방향으로부터 수신된 상기 사운드들의 역전된 복사본을 포함하는 오디오 신호를 발생시키고, 상기 하나 이상의 선택된 방향으로부터 수신된 상기 사운드들은 상기 환경 내 검출된 사운드들의 서브셋이며;
    상기 하나 이상의 오디오 출력 디바이스로 상기 오디오 신호를 전송하여 오디오 출력을 생성하고,
    상기 오디오 출력은 상기 하나 이상의 선택된 방향으로부터 수신된 상기 사운드들과 결합하여 원하는 사운드 변형을 생성하는, 사운드 변형 시스템.
  2. 청구항 1에 있어서, 상기 원하는 사운드 변형은 사운드 감쇠이고, 상기 오디오 신호는 상기 하나 이상의 선택된 방향으로부터 수신되는 상기 사운드들의 스케일링된, 역전된 복사본을 포함하는, 사운드 변형 시스템.
  3. 청구항 1에 있어서, 상기 프로세서와 연결되고 상기 사운드 변형 시스템의 사용자로부터 선택 입력을 수신하도록 어레인지되는 제1 입력 디바이스를 더 포함하는, 사운드 변형 시스템.
  4. 청구항 3에 있어서, 상기 사용자는 상기 제1 입력 디바이스에 의해 제공되는 인터페이스를 통해 상기 하나 이상의 선택된 방향을 특정하는, 사운드 변형 시스템.
  5. 청구항 3에 있어서, 상기 제1 입력 디바이스는 상기 사용자에 의해 제공되는 제스처들 및 구두의 명령들 중 적어도 하나를 검출하도록 어레인지되는 센서 디바이스를 포함하는, 사운드 변형 시스템.
  6. 청구항 1에 있어서, 상기 프로세서와 연결되고 센서 디바이스를 포함하는 방위 디바이스(orientation device)를 더 포함하고, 상기 방위 디바이스는:
    상기 환경 내 상기 두 개 이상의 오디오 센서의 세트, 및
    상기 환경 내 상기 하나 이상의 오디오 출력 디바이스 중 적어도 하나의 방위를 결정하도록 작동하고,
    결정된 상기 방위는 상기 하나 이상의 선택된 방향을 갱신하는데 사용되는, 사운드 변형 시스템.
  7. 청구항 1에 있어서, 상기 프로세서는 상기 하나 이상의 선택된 방향을 반영하는 상기 환경의 맵을 생성하도록 더 작동하는, 사운드 변형 시스템.
  8. 청구항 7에 있어서, 생성된 상기 환경의 상기 맵은 하나 이상의 식별된 음원을 포함하고, 상기 프로세서는 상기 두 개 이상의 오디오 센서의 세트 및 상기 하나 이상의 오디오 출력 디바이스의 상대적인 모션, 및 상기 하나 이상의 식별된 음원에 기초하여 상기 환경의 상기 맵을 갱신하도록 구성되는, 사운드 변형 시스템.
  9. 프로세서와 연결되는 입력 디바이스로부터 방향 입력 데이터를 수신하고;
    상기 프로세서를 사용하여 그리고 상기 방향 입력에 기초하여, 사운드 변형을 수행하기 위한 환경 내 하나 이상의 방향을 선택하며;
    상기 프로세서와 연결되는 두 개 이상의 오디오 센서의 세트를 사용하여 상기 하나 이상의 선택된 방향으로부터 수신된 사운드들을 검출하고;
    상기 프로세서를 사용하여, 상기 하나 이상의 선택된 방향으로부터 수신된 상기 사운드들의 역전된 복사본을 포함하는 오디오 신호를 발생시키고, 상기 하나 이상의 선택된 방향으로부터 수신된 상기 사운드들은 상기 환경 내 검출된 사운드들의 서브셋이며; 및
    상기 프로세서와 연결되는 하나 이상의 오디오 출력 디바이스로 상기 오디오 신호를 전송하여 오디오 출력을 생성하고,
    상기 오디오 출력은 상기 하나 이상의 선택된 방향으로부터 수신된 상기 사운드들과 결합하여 원하는 사운드 변형을 생성하는, 지향성의 사운드 변형을 위한 방법.
  10. 청구항 9에 있어서, 상기 원하는 사운드 변형은 사운드 감쇠이고, 상기 오디오 신호는 상기 하나 이상의 선택된 방향으로부터 수신된 상기 사운드들의 스케일링된, 역전된 복사본을 포함하는, 방법.
  11. 청구항 9에 있어서, 사용자로부터 선택 입력을 수신하는 것을 더 포함하고, 상기 선택 입력은 상기 하나 이상의 선택된 방향을 결정하는데 사용되는, 방법.
  12. 청구항 11에 있어서, 사용자로부터 선택 입력을 수신하는 것은 상기 사용자에 의해 제공되는 제스처들 및 구두의 명령들 중 적어도 하나를 검출하는 것을 포함하는, 방법.
  13. 청구항 9에 있어서,
    상기 프로세서와 연결되는 방위 디바이스로부터 방위 데이터를 수신하고;
    상기 프로세서를 사용하여 그리고 상기 방위 데이터에 기초하여:
    상기 환경 내 상기 두 개 이상의 오디오 센서의 세트, 및
    상기 환경 내 상기 하나 이상의 오디오 출력 디바이스 중 적어도 하나의 상기 방위를 결정하며,
    결정된 상기 방위에 기초하여 상기 하나 이상의 선택된 방향을 갱신하는 것을 더 포함하는, 방법.
  14. 청구항 9에 있어서, 상기 하나 이상의 선택된 방향을 반영하는 상기 환경의 맵을 생성하는 것을 더 포함하는, 방법.
  15. 청구항 14에 있어서, 상기 환경 내 하나 이상의 식별된 음원에 대한 상기 두 개 이상의 오디오 센서의 세트 또는 상기 하나 이상의 오디오 출력 디바이스의 모션에 기초하여 상기 환경의 상기 맵을 갱신하는 것을 더 포함하는, 방법.
  16. 단계들을 수행함으로써 프로세서에 의해 실행되는 경우 상기 프로세서가 가지향성의 사운드 변형을 수행하도록 하는 명령들을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체로서, 상기 단계들 동안,
    사운드 변형을 수행하기 위한 환경 내 하나 이상의 방향을 선택하고;
    프로세서와 연결되는 두 개 이상의 오디오 센서의 세트를 사용하여 상기 하나 이상의 선택된 방향으로부터 수신된 사운드들을 검출하고;
    상기 프로세서를 사용하여, 상기 하나 이상의 선택된 방향으로부터 수신된 상기 사운드들의 역전된 복사본을 포함하는 오디오 신호를 발생시키고, 상기 하나 이상의 선택된 방향으로부터 수신된 상기 사운드들은 상기 환경 내 검출된 사운드들의 서브셋이며; 및
    상기 프로세서와 연결되는 하나 이상의 오디오 출력 디바이스로 상기 오디오 신호를 전송하여 오디오 출력을 생성하고,
    상기 오디오 출력은 상기 하나 이상의 선택된 방향으로부터 수신된 상기 사운드들과 결합하여 원하는 사운드 변형을 생성하는, 비-일시적 컴퓨터-판독가능 저장 매체.
  17. 청구항 16에 있어서, 상기 원하는 사운드 변형은 사운드 감쇠이고, 상기 오디오 신호는 상기 하나 이상의 선택된 방향으로부터 수신되는 상기 사운드들의 스케일링된, 역전된 복사본을 포함하는, 비-일시적 컴퓨터-판독가능 저장 매체.
  18. 청구항 16에 있어서, 상기 비-일시적 컴퓨터-판독가능 저장 매체는 사용자에 의해 제공되는 제스처들 및 구두의 명령들 중 적어도 하나를 포함하는 상기 사용자로부터의 선택입력을 수신하는 것을 더 포함하고, 상기 선택 입력은 상기 하나 이상의 선택된 방향을 결정하는데 사용되는, 비-일시적 컴퓨터-판독가능 저장 매체.
  19. 청구항 16에 있어서, 상기 비-일시적 컴퓨터-판독가능 저장 매체는:
    상기 환경 내 상기 두 개 이상의 오디오 센서의 세트, 및
    상기 환경 내 상기 하나 이상의 오디오 출력 디바이스 중 적어도 하나의 방위를 결정하는 것; 및
    상기 방위에 기초하여 상기 환경 내 사운드 변형을 위한 상기 하나 이상의 선택된 방향을 갱신하는 것을 더 포함하는, 비-일시적 컴퓨터-판독가능 저장 매체.
  20. 청구항 16에 있어서, 상기 비-일시적 컴퓨터-판독가능 저장 매체는:
    사운드 변형을 위한 상기 하나 이상의 선택된 방향을 반영하는 상기 환경의 맵을 생성하는 것; 및
    상기 환경 내 하나 이상의 식별된 음원에 대한 상기 두 개 이상의 오디오 센서의 세트 또는 상기 하나 이상의 오디오 출력 디바이스의 모션에 기초하여 상기 환경의 상기 맵을 갱신하는 것을 더 포함하는, 비-일시적 컴퓨터-판독가능 저장 매체.
KR1020150171920A 2014-12-08 2015-12-04 지향성의 사운드 변형 KR102378762B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/563,458 US9622013B2 (en) 2014-12-08 2014-12-08 Directional sound modification
US14/563,458 2014-12-08

Publications (2)

Publication Number Publication Date
KR20160069475A KR20160069475A (ko) 2016-06-16
KR102378762B1 true KR102378762B1 (ko) 2022-03-25

Family

ID=55070653

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150171920A KR102378762B1 (ko) 2014-12-08 2015-12-04 지향성의 사운드 변형

Country Status (4)

Country Link
US (2) US9622013B2 (ko)
EP (1) EP3032848A1 (ko)
KR (1) KR102378762B1 (ko)
CN (1) CN105679302B (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US10575117B2 (en) 2014-12-08 2020-02-25 Harman International Industries, Incorporated Directional sound modification
JP6829693B2 (ja) 2014-12-23 2021-02-10 ティモシー デグレイ オーディオ共有のための方法及びシステム
KR20170024913A (ko) * 2015-08-26 2017-03-08 삼성전자주식회사 복수의 마이크들을 이용한 잡음 제거 전자 장치 및 잡음 제거 방법
JP2017107482A (ja) * 2015-12-11 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN109310525B (zh) * 2016-06-14 2021-12-28 杜比实验室特许公司 媒体补偿通过和模式切换
GB2551521A (en) * 2016-06-20 2017-12-27 Nokia Technologies Oy Distributed audio capture and mixing controlling
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
CN106846803B (zh) * 2017-02-08 2023-06-23 广西交通科学研究院有限公司 基于音频的交通事件检测装置及方法
US10206043B2 (en) * 2017-02-24 2019-02-12 Fitbit, Inc. Method and apparatus for audio pass-through
WO2018158949A1 (ja) * 2017-03-03 2018-09-07 三菱電機株式会社 エンジン音制御装置、エンジン音制御方法、及びエンジン音制御プログラム
US10748518B2 (en) 2017-07-05 2020-08-18 International Business Machines Corporation Adaptive sound masking using cognitive learning
GB2567903A (en) * 2017-10-27 2019-05-01 Cirrus Logic Int Semiconductor Ltd Socket monitoring
EP3496417A3 (en) * 2017-12-06 2019-08-07 Oticon A/s Hearing system adapted for navigation and method therefor
KR20230015513A (ko) 2017-12-07 2023-01-31 헤드 테크놀로지 에스아에르엘 음성인식 오디오 시스템 및 방법
US11009954B2 (en) * 2018-06-02 2021-05-18 Harman International Industries, Incorporated Haptics device for producing directional sound and haptic sensations
KR102638672B1 (ko) * 2018-06-12 2024-02-21 하만인터내셔날인더스트리스인코포레이티드 지향성 음향 변경
US11172293B2 (en) * 2018-07-11 2021-11-09 Ambiq Micro, Inc. Power efficient context-based audio processing
US10679602B2 (en) * 2018-10-26 2020-06-09 Facebook Technologies, Llc Adaptive ANC based on environmental triggers
US11048472B2 (en) * 2019-01-27 2021-06-29 Listen AS Dynamically adjustable sound parameters
US11210911B2 (en) * 2019-03-04 2021-12-28 Timothy T. Murphy Visual feedback system
US11126398B2 (en) 2019-03-13 2021-09-21 Listen AS Smart speaker
US11557307B2 (en) 2019-10-20 2023-01-17 Listen AS User voice control system
KR20210090781A (ko) * 2020-01-10 2021-07-21 삼성전자주식회사 사운드 처리 방법 및 이 방법을 실행하는 디바이스
US11284183B2 (en) 2020-06-19 2022-03-22 Harman International Industries, Incorporated Auditory augmented reality using selective noise cancellation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120215519A1 (en) * 2011-02-23 2012-08-23 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for spatially selective audio augmentation
US20130083938A1 (en) * 2011-10-03 2013-04-04 Bose Corporation Instability detection and avoidance in a feedback system
US20130275873A1 (en) * 2012-04-13 2013-10-17 Qualcomm Incorporated Systems and methods for displaying a user interface
US20140086423A1 (en) * 2012-09-25 2014-03-27 Gustavo D. Domingo Yaguez Multiple device noise reduction microphone array

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5732143A (en) * 1992-10-29 1998-03-24 Andrea Electronics Corp. Noise cancellation apparatus
AU7538000A (en) * 1999-09-29 2001-04-30 1... Limited Method and apparatus to direct sound
US7430300B2 (en) 2002-11-18 2008-09-30 Digisenz Llc Sound production systems and methods for providing sound inside a headgear unit
JP5401760B2 (ja) * 2007-02-05 2014-01-29 ソニー株式会社 ヘッドフォン装置、音声再生システム、音声再生方法
US9020158B2 (en) * 2008-11-20 2015-04-28 Harman International Industries, Incorporated Quiet zone control system
US9202456B2 (en) * 2009-04-23 2015-12-01 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for automatic control of active noise cancellation
US8068025B2 (en) 2009-05-28 2011-11-29 Simon Paul Devenyi Personal alerting device and method
US9653062B2 (en) * 2009-08-15 2017-05-16 Archiveades Georgiou Method, system and item
CA2781702C (en) 2009-11-30 2017-03-28 Nokia Corporation An apparatus for processing audio and speech signals in an audio device
JP5549299B2 (ja) * 2010-03-23 2014-07-16 ヤマハ株式会社 ヘッドフォン
US20110288860A1 (en) * 2010-05-20 2011-11-24 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for processing of speech signals using head-mounted microphone pair
US8639499B2 (en) * 2010-07-28 2014-01-28 Motorola Solutions, Inc. Formant aided noise cancellation using multiple microphones
US8611552B1 (en) * 2010-08-25 2013-12-17 Audience, Inc. Direction-aware active noise cancellation system
JP2012093705A (ja) * 2010-09-28 2012-05-17 Yamaha Corp 音声出力装置
US20120121103A1 (en) * 2010-11-12 2012-05-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Audio/sound information system and method
GB2495129B (en) * 2011-09-30 2017-07-19 Skype Processing signals
JP2013178471A (ja) * 2012-02-09 2013-09-09 Panasonic Corp 騒音低減装置
EP2640090B1 (en) * 2012-03-15 2019-08-28 BlackBerry Limited Selective adaptive audio cancellation algorithm configuration
US9288604B2 (en) 2012-07-25 2016-03-15 Nokia Technologies Oy Downmixing control
US9240176B2 (en) * 2013-02-08 2016-01-19 GM Global Technology Operations LLC Active noise control system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120215519A1 (en) * 2011-02-23 2012-08-23 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for spatially selective audio augmentation
US20130083938A1 (en) * 2011-10-03 2013-04-04 Bose Corporation Instability detection and avoidance in a feedback system
US20130275873A1 (en) * 2012-04-13 2013-10-17 Qualcomm Incorporated Systems and methods for displaying a user interface
US20140086423A1 (en) * 2012-09-25 2014-03-27 Gustavo D. Domingo Yaguez Multiple device noise reduction microphone array

Also Published As

Publication number Publication date
EP3032848A1 (en) 2016-06-15
US20160165336A1 (en) 2016-06-09
US20170195818A1 (en) 2017-07-06
KR20160069475A (ko) 2016-06-16
US9622013B2 (en) 2017-04-11
CN105679302A (zh) 2016-06-15
CN105679302B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
KR102378762B1 (ko) 지향성의 사운드 변형
US10575117B2 (en) Directional sound modification
US11089402B2 (en) Conversation assistance audio device control
JP6747538B2 (ja) 情報処理装置
US10817251B2 (en) Dynamic capability demonstration in wearable audio device
US10279739B2 (en) Modifying an audio panorama to indicate the presence of danger or other events of interest
US10659908B2 (en) System and method to capture image of pinna and characterize human auditory anatomy using image of pinna
CN108141696B (zh) 用于空间音频调节的系统和方法
US10257637B2 (en) Shoulder-mounted robotic speakers
KR102638672B1 (ko) 지향성 음향 변경
US10922044B2 (en) Wearable audio device capability demonstration
JP2017521902A (ja) 取得した音響信号のための回路デバイスシステム及び関連するコンピュータで実行可能なコード
US10805756B2 (en) Techniques for generating multiple auditory scenes via highly directional loudspeakers
JP2019129538A (ja) 設定変更可能な非公開モードを備えたウェアラブルサウンドシステム
US11284183B2 (en) Auditory augmented reality using selective noise cancellation
JP7326922B2 (ja) 符号化された光線を用いてスピーカアレイ及びマイクロフォンアレイを誘導するシステム、方法、及びプログラム
CN118158799A (zh) 跟踪定位方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant