KR102487957B1 - 개인화된 실시간 오디오 프로세싱 - Google Patents

개인화된 실시간 오디오 프로세싱 Download PDF

Info

Publication number
KR102487957B1
KR102487957B1 KR1020197024518A KR20197024518A KR102487957B1 KR 102487957 B1 KR102487957 B1 KR 102487957B1 KR 1020197024518 A KR1020197024518 A KR 1020197024518A KR 20197024518 A KR20197024518 A KR 20197024518A KR 102487957 B1 KR102487957 B1 KR 102487957B1
Authority
KR
South Korea
Prior art keywords
gaze
user
signal
audio signal
audio
Prior art date
Application number
KR1020197024518A
Other languages
English (en)
Other versions
KR20190100470A (ko
Inventor
데인 글래스고
데이비드 라마즈
매튜 매클로린
저스틴 반 윈클
코린 서먼
Original Assignee
이베이 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이베이 인크. filed Critical 이베이 인크.
Priority to KR1020237000925A priority Critical patent/KR102602090B1/ko
Publication of KR20190100470A publication Critical patent/KR20190100470A/ko
Application granted granted Critical
Publication of KR102487957B1 publication Critical patent/KR102487957B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/022—Viewing apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Otolaryngology (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

실시간 오디오 프로세싱을 위한 장치 및 방법은, 사용자의 시선의 방향을 검출하고, 검출된 사용자의 시선의 방향에 대응하는 시선 신호를 출력하는 시선 검출 센서를 채용한다. 디지털 신호 프로세싱 유닛이 장치에서 수신되는 복수의 사운드에 대응하는 복수의 신호, 및 결정된 시선의 방향에 응답하여, 시선 신호를 사용하여 복수의 신호로부터 관심 있는 신호를 식별한다. 관심 있는 신호는 사용자에 대한 출력을 위해 프로세싱된다. 실시예들에서, 마이크로폰 어레이가 복수의 신호를 제공한다. 이미징 센서가 관심 있는 신호를 식별하기 위해 마이크로폰 어레이 또는 시선 검출 센서 중 어느 것과 함께 동작할 수 있다.

Description

개인화된 실시간 오디오 프로세싱{PERSONALIZED, REAL-TIME AUDIO PROCESSING}
<관련 출원들에 대한 상호 참조>
본 출원은 2016년 2월 2일자로 출원되고 발명의 명칭이 PERSONALIZED, REAL-TIME AUDIO PROCESSING인 미국 실용신안특허 출원 번호 제15/013,537호의 우선권 및 그 이익을 주장하며, 이는 본 명세서에 전체적으로 포함된다.
<기술분야>
본 출원은 일반적으로 오디오 프로세싱 분야, 특히, 사운드 검출 및 강화에 관한 것이다.
환경 내의 다른 것들 속에서 특정 노이즈 또는 사운드들을 듣고 이를 구별하는 능력이 중요한 환경들이 많이 있다. 예를 들어, 혼잡한 강연장에서, 화자/강연자를 경청하는 청중 구성원은 다양한 소스들로부터의 노이즈를 만날 수 있다. 이들은 에어컨 또는 다른 환기 장치, 다른 청중 구성원들의 휴대폰들, 화자/강연자의 프리젠테이션 동안에 사람들이 말하거나 서류를 정리하는 것 등과 같이 강연장 내부의 노이즈 소스들을 포함할 수 있다. 노이즈는 또한 강연장 밖에서도 나올 수 있다(예를 들어, 교통, 복도 목소리들, 청소 장비를 작동시키는 관리인들 등). 이러한 환경들에서는, 다른 것들 속에서 원하는 사운드들을 식별하거나 듣는 청취자의 능력이 감소될 수 있다. 또한, 화자 또는 청취자가 강연장 주위를 움직이면, 사운드 조건들이 변경될 수 있다. 예를 들어, 청취자가 화자 또는 오디오 스피커들의 세트에 너무 가까이 앉아 있는 경우에는, 사운드 레벨이 너무 높을 수 있다. 다르게는, 청취자가 사운드 소스들로부터 너무 멀리 있는 경우에는, 사운드 레벨이 너무 낮을 수 있다. 파티들, 번화한 공공 거리들 및 경기장들과 같은 다른 시끄러운 환경들도 청취에 어려움을 나타낸다.
노이즈 소거 시스템들은 기존의 미리 결정된 기준들에 기초하여 노이즈를 프로세싱한다. 예를 들어, 자동 이득 제어를 활용하는 것들과 같은 일부 시스템들은 기준 레벨을 활용하고, 노이즈 신호가 해당 레벨 이상인지 여부를 결정한다. 노이즈 신호가 기준 레벨 이상이 아닌 경우, 이는 원치 않는 노이즈로 간주되어 제거된다. 이러한 시스템들은, 예를 들어, 그 외의 저레벨 신호를 원하는 신호로 만들 수 있는 팩터들은 고려하지 않는다.
본 개시내용은 첨부 도면들의 도면들에서 제한이 아닌 예로서 예시되어 있다.
도 1은 실시간 오디오 프로세싱 디바이스가 기능할 수 있는 예시적인 환경을 도시하는 도면이다.
도 2는 실시예들에 따른 실시간 오디오 프로세싱 디바이스를 예시하는 도면이다.
도 3은 실시간 오디오 프로세싱 방법의 실시예를 예시하는 흐름도이다.
도 4는 실시간 오디오 프로세싱 방법의 실시예를 예시하는 흐름도이다.
도 1을 참조하여, 실시예에 따르면, 실시간 오디오 프로세싱 디바이스(200)는 강의실 또는 강연장(101)에 위치될 수 있으며, 여기서 청취자는 화자/강연자 또는 다른 사운드 소스(102)로부터 나오는 사운드에 집중하고 싶어할 수 있다. 실시간 오디오 프로세싱 디바이스(200)는 다른 사운드/노이즈 소스들(106)보다 사운드 소스(102)에 가까울 수 있으며, 일부는 원하는 것일 수 있고 일부는 노이즈일 수 있는 복수의 사운드들(103)을 수신할 수 있다. 복수의 사운드들은 원하는 사운드(104), 화자의 특정 부근 내에 있는 노이즈 소스들(106)로부터의 노이즈(105) 및/또는 임의의 다른 타입의 노이즈를 포함할 수 있다.
다른 환경들에서의 상대적인 위치결정 및 사운드 레벨들도 강의실 또는 강연장에서 발생하는 것들과 유사한 문제들을 나타낼 수 있다. 임의의 종류의 혼잡한 방, 예를 들어, 두 사람이 다른 대화들 및 관련없는 노이즈로 가득 찬 방에서 대화하기를 원할 수 있는 파티 또는 리셉션, 번화한 공공 거리 또는 혼잡한 대중 교통 차량 또는 심지어 칸막이 방들이 있는 사무실(office with cubicles)도 청취에 어려움들을 나타낼 수 있다. 여기에 열거된 환경들 중 임의의 것에서는, 청취자가 집중하고 싶어하는 실제 사운드 소스가 부근에서 가장 큰 사운드 소스가 아닐 수 있다.
이제 도 2를 참조하면, 실시간 오디오 프로세싱 디바이스(200)는 하나 이상의 마이크로폰(202)을 갖는 마이크로폰 어레이(201)를 포함할 수 있다. 실시예에서, 마이크로폰 어레이(201)뿐만 아니라 실시간 오디오 프로세싱 디바이스(200)는 사용자의 헤드폰들에 통합될 수 있다. 마이크로폰 어레이(201)는 복수의 사운드를 검출하고, 사운드들을 복수의 신호들로 변환한다. 마이크로폰 어레이(201) 내의 각각의 마이크로폰(202)의 포지션은 각각의 마이크로폰으로부터 나오는 신호들의 크기와 함께 방향성 및 사운드 레벨에 관한 정보를 제공할 수 있다. 그 후, 마이크로폰 어레이(201)는 복수의 신호를 실시간 오디오 프로세싱 디바이스(200)의 신호 프로세싱 유닛(203)에 출력한다.
다음의 논의에서, 신호 프로세싱 유닛(203)은 디지털 신호 프로세싱 유닛 또는 DSP 유닛으로 지칭될 것이다. DSP 칩들은 사운드 프로세싱을 효율적으로 하는 방식으로 설계, 구성 및/또는 다르게는 구현되는 것으로 알려져 있다. 그러나, 여기에서 설명되는 기술들 및 개념들은 또한 광범위한 범위의 적절하게 프로그래밍된 (마이크로)프로세서들, (마이크로)제어기들 또는 다른 컴퓨팅 또는 프로세싱 디바이스들로 구현될 수 있다.
실시예에서, DSP 유닛(203)은 신호가 마이크로폰 어레이(201) 내의 어느 마이크로폰(202)으로부터 나오는지에 관한 정보를 사용하여 사운드의 방향성 및 상대적인 레벨을 결정할 수 있다. 신호들과 함께 이 정보를 사용하여, DSP 유닛(203)은 복수의 신호들 내의 각각의 신호에 대한 도착 성분의 크기, 주파수 및 방향을 결정할 수 있다. DSP 유닛(203)은 각각의 신호의 도착 성분의 방향을 결정하기 위해 하나 이상의 방향 탐색 알고리즘을 구현할 수 있다. 이러한 알고리즘들은 비제한적인 예로서 도착 시간 차이(Time Difference of Arrival), 삼각측량(Tri angulation) 및 입자 속도 측정(Particle Velocity Measurement)을 포함할 수 있다. 다른 알고리즘들은 본 기술분야의 통상의 기술자에게 알려져 있을 것이다. 실시예에서, DSP 유닛(203)은 또한 복수의 신호들 내의 각각의 신호에 대한 지속성의 레벨을 결정한다. 실시예에서, DSP 유닛(203)은 신호의 진폭 또는 주파수, 또는 지속기간, 또는 3개 모두에서 지속성을 결정할 수 있다. 이러한 방식으로, 실시간 오디오 프로세싱 디바이스(200)는 한편으로는 과도적이고, 갑작스럽고 및/또는 랜덤인 사운드들과, 예를 들어, (레벨 및/또는 지속기간의 측면에서 어느 정도의 지속성을 갖는 경향이 있는) 음성을 구별할 수 있다.
다시 도 2를 참조하면, 실시간 오디오 프로세싱 디바이스(200)는 실시간 오디오 프로세싱 디바이스의 동작 동안에 사용자의 시선의 방향을 결정하기 위한 시선 검출 센서(204)를 포함할 수 있다. 시선 검출 센서(204)는 자이로스코프 센서, 가속도계, 또는 회전 모션 또는 각속도의 변화들을 감지할 수 있는 임의의 센서 디바이스일 수 있다. 이러한 종류의 구현에서는, 사용자의 눈길에 대한 시선 검출 센서(204)의 포지션에 기초하여, 사용자의 머리의 움직임 및/또는 포지션이 사용자의 실제 시선을 대신할 수 있다.
실시예에서, 시선 검출 센서(204)는, 예를 들어, 사용자의 눈의 실제 포지션을 검출하기 위해 Google GlassTM의 것과 유사한 기술을 사용할 수 있다. 조종사들이 착용하는 헬멧들 또는 고글들에 나타나기 시작해서, 이들이 컨트롤들로부터 자신들의 손을 움직여야 하는 대신에, 그들의 눈을 움직여 항공기 조작의 양태들을 제어할 수 있게 하는 기술이 또한 사용될 수 있다. 다른 실시예에서, 시선 검출 센서(204)는 사용자의 시선의 방향에 관한 정보를 도출하기 위해 사용자의 머리 또는 신체에 배치된 마이크로폰 어레이(201) 내의 마이크로폰들의 상대적인 포지션 및 어레이의 움직임을 사용할 수 있다. 그러나, 청취자가 집중할 수 있는 원하는 사운드 소스가 가장 큰 소스가 아닐 수 있기 때문에, 이 접근법은 덜 신뢰될 수 있을 것이다.
실시예에서, DSP 유닛(203)은 사용자의 시선을 사용하여 어느 사운드(들)가 강조되는지 또는 덜 강조되는지를 결정할 수 있다. 예를 들어, 음악이 재생되고 있거나 다른 대화들이 근처에서 일어나고 있는 큰 파티에서 누군가와 이야기할 때와 같이 다수의 사운드 소스들이 있는 경우, 원하는 사운드(예를 들어, 사용자가 대화하고 있는 화자)가 청취자가 위치결정되는 장소에서 가장 큰 사운드 소스가 아닐 수 있다. 따라서, 화자의 방향으로부터 나오는 사운드는 강조하고 다른 방향들로부터 나오는 사운드는 덜 강조할 수 있는 것이 바람직할 수 있다. 이제, 이 접근법의 실시예들의 양태들이 논의될 것이다.
사용자의 시선(또는 머리 또는 신체 포지션)이 화자의 방향을 추적함에 따라, 시선 검출 센서(204)는 사용자의 시선의 방향에 대응하는 신호를 생성할 수 있다. DSP 유닛(203)은 화자의 방향으로부터 나오는 사운드에 대한 마이크로폰 어레이(201) 또는 시선 검출 센서(204)의 움직임을 비교함으로써, 사용자의 시선의 방향이 화자의 위치의 방향에 대응함을 확인할 수 있다.
실시예에 따르면, DSP 유닛(203)은 원치 않는 노이즈를 검출하고 구별하기 위해 본 기술분야의 통상의 기술자에게 공지된 다수의 알고리즘들 중 임의의 것을 구현하여, 실시간 오디오 프로세싱 디바이스의 사운드 프로세싱 능력들을 보완할 수 있다. 단지 예로서, 실시간 오디오 프로세싱 디바이스(200)는 별도의 모듈 또는 알고리즘으로서, 또는 DSP 유닛(203) 내의 모듈(205)로서 도 2에 도시된 바와 같이 음향 빔-포밍 기술들을 활용할 수 있다. 음향 빔포밍을 사용하는 것은 하나의 방향으로부터 나오는 사운드는 강조하면서 다른 방향들로부터 나오는 사운드는 덜 강조하는 또 다른 방식이다.
실시예에서, DSP 유닛(203)이 사용자의 시선이 화자 또는 다른 원하는 사운드 소스를 추적하고 있음을 확인하였을 때, DSP 유닛(203)은 사용자의 시선이 계속 추적하는지 여부를 결정할 수 있다. 예를 들어, 가속도계 또는 다른 모션 센서를 사용하여, DSP 유닛(203)은 동일하거나 상이한 주어진 시간 인터벌(들) 동안의 머리 움직임의 변화 및/또는 머리 움직임의 속도의 변화를 결정할 수 있다. 특정(임계값) 량 이상의 움직임은 화자로부터 다른 소스로 초점이 변화되었음을 나타낼 수 있다. 특정(임계값) 량 이상의 움직임의 속도는 초점의 변화가 아닌 머리를 갑자기 움직인 것(head jerk)을 나타낼 수 있다. 원하는 효과에 따라, DSP 유닛(203)은 시선 검출 센서(204)가 등록하는 시선 방향 시프트들을 주의하거나 무시하도록 지시받을 수 있다. 따라서, 예를 들어, 사용자가 다른 화자(예를 들어, 강의에서 사용자 옆에 앉아있는 사람)의 말을 듣기 위해 빠르게 또는 천천히 몸을 돌리고, 사용자의 시선이 충분히 오랫동안 해당 다른 화자의 방향으로 유지되는 경우, DSP 유닛(203)은 사용자가 자신의 시선을 변경했다고 결정할 수 있고, 근처의 화자에 집중할 수 있다.
DSP 유닛(203)은 사용자의 시선의 방향과 복수의 수신 신호들 내의 각각의 신호들에 의해 표현되는 바와 같은 사운드 도착 방향을 비교할 수 있다. DSP 유닛(203)은 또한 복수의 수신 신호들 내의 각각의 신호의 크기를 미리 설정된 크기의 기준 임계값과 서로 비교할 수 있다. 그 후, DSP 유닛(203)은 복수의 수신 신호들 중 어느 신호들이 사용자의 시선의 방향과 매치되는 도착 성분의 방향을 갖고 어느 신호들이 미리 설정된 크기의 임계값을 충족시키거나 이를 초과하는 크기를 갖는지를 결정할 수 있다. 사용자의 시선의 방향과 매치되는 도착 성분의 방향, 및 크기의 임계값을 충족시키거나 이를 초과하는 크기를 갖는 신호들은 원하는 사운드를 나타내는 것으로 간주될 수 있고, 매치되는 도착 성분의 방향을 갖지 않고 충분히 지속되지 않는 신호들은 원치 않는 노이즈를 나타내는 것으로 간주될 수 있다. 검출된 사용자의 시선의 방향에 대응하는 도착 성분의 방향, 및 크기 지속성의 임계값을 충족시키거나 이를 초과하는 크기를 갖는 신호들이 검출되지 않는 경우, 실시간 오디오 프로세싱 디바이스는 다시 시작하여, 원하는 사운드를 다시 확인하려고 시도할 것이다. 이러한 실시예에서는, 사용자의 시선이 가장 강조되어 주어지는 다른 실시예들에서보다 사운드 크기가 더 중요하게 주어질 수 있다.
실시예에서, DSP 유닛(203)은 복수의 신호들 내의 각각의 신호의 지속성을 지속성 임계값과 비교할 수 있다. 지속성은 진폭(크기)과 지속기간 모두의 함수일 수 있다. 지속성 임계값을 충족시키지 않는 신호들은 원치 않는 노이즈인 것으로 간주될 수 있다. 도착 방향, 크기 및 지속성 값을 포함하여 위에서 논의된 팩터들은 단지 예시적인 것이며, DSP 유닛(203)이 원하는 사운드를 결정할 때 고려할 수 있는 팩터들의 수를 제한하는 것으로 해석되어서는 안된다.
실시예에서, DSP 유닛(203)은 도착 방향, 크기 및 지속성 팩터들에 가중치들을 할당할 수 있다. 그 후, DSP 유닛(203)은 복수의 신호들 내의 각각의 신호에 대한 모든 팩터들의 가중된 합을 취하여, 이 합을 가중된 기준 팩터와 비교할 수 있다. 복수의 신호들 내의 임의의 신호에 대한 모든 팩터들의 가중된 합이 가중된 기준 팩터를 충족시키거나 이를 초과하는 경우, DSP 유닛(203)은 해당 신호가 원하는 사운드 신호인 것으로 결정할 수 있다. 각각의 가중된 기준 팩터를 충족시키거나 이를 초과하는 가중된 합을 갖지 않는 신호들은 원치 않는 노이즈인 것으로 간주될 수 있다.
복수의 수신 신호들 중에서 어느 신호가 원하는 사운드를 나타내는지를 결정한 후에, DSP 유닛(203)은 원치 않는 노이즈를 나타내는 임의의 신호들을 제거(소거)하거나 또는 덜 강조(감소)시킬 수 있다. 단지 예로서, DSP 유닛(203)은 원치 않는 노이즈의 주파수 프로파일을 캡처하고, 주파수 프로파일을 인버트시키고, 이것을 오프셋시켜, 원치 않는 노이즈 신호의 반대를 제공함으로써, 원치 않는 노이즈를 나타내는 신호들을 제거할 수 있다. 그리고, 반대 노이즈 신호가 출력되어 원치 않는 노이즈를 효과적으로 소거할 수 있다. 실시예에서, DSP 유닛(203)은 원하는 사운드에는 추가적인 증폭을 제공하고, 이에 대응하여 원치 않는 노이즈에는 진폭을 적게 제공하여, 원치 않는 노이즈에 비해 원하는 사운드를 강조할 수 있다.
실시예에서, 도 2에 도시된 바와 같이, 실시간 오디오 프로세싱 디바이스는 화자의 얼굴을 찾기 위해 이미징 센서(207)를 포함할 수 있다. 시선 검출 센서(204)는 사용자의 시선의 방향을 사용하여 사용자가 소스들 중 가장 크지는 않을 수 있지만 여전히 원하고 있는 원하는 사운드 소스를 보고 있는지 여부를 결정할 수 있다. 이미징 센서(207)는 화자의 시선의 방향을 사용하고, 마이크로폰 어레이(201) 내의 마이크로폰들(202)과 함께 동작하여 가장 크고 원하는 사운드 소스가 사용자가 청취하고 싶어하는 화자로부터 나오는 것임을 결정할 수 있다. 그러한 실시예는 청취자가, 예를 들어, 강연자의 발언을 기록하기 위해 자신의 머리를 짧게 돌리는 경우에 유용할 수 있다. 실시예에서, 이미징 센서(207)는 시선 검출 센서(204)와 함께 동작하여, 예를 들어, 사용자와 화자가 서로 바라보고 있을 때와 같은 사운드 소스 방향을 확인할 수 있다.
시선 검출 센서(204)를 오버라이드(override)하는 것이 바람직할 때가 있을 수 있다. 예를 들어, 혼잡한 강의실 또는 움직이는 지하철 차량과 같은 시끄러운 환경에서는, 사용자가 눈길을 돌리고 싶을 때가 있더라도, 원하는 사운드 소스인 화자를 따라가는 것이 유용할 수 있다. 예를 들어, 앞에서 언급된 바와 같은 강의실에서, 청취자는 강연자가 말하는 동안에 자신의 노트북, 컴퓨터 또는 태블릿을 보거나 일부 텍스트 소스를 참고하고 싶을 수 있다. 예를 들어, 움직이는 지하철 차량에서, 사용자는 차량에 게시된(posted) 지도를 보고 싶을 수 있다. 이러한 상황들에서 눈길을 돌리면 사운드 소스를 변경시킬 수 있다. 그러나, 사용자가 시선 검출 센서를 오버라이드할 수 있는 경우, 사운드 소스는 그대로 유지될 수 있다. 오버라이드는 일시적일 수도 있고(예를 들어, 5-10초와 같은 짧은 시간 기간 후에 변경됨), 또는 사용자가 오버라이드를 끌 때까지 영구적일 수도 있다. 이러한 오버라이드는, 예를 들어, 오버라이드 스위치(208)를 통해 달성될 수 있으며, 이 오버라이드 스위치(208)는 DSP 유닛(203) 내에 도시되어 있지만, 사용자의 편의를 위해 온보드 마이크로폰 어레이(201)일 수도 있고 시선 검출 센서(204)와 연관될 수도 있다.
이미징 센서(207)는 비디오 센서 또는 적외선 센서 또는 유사한 기능을 갖는 임의의 센서 디바이스일 수 있다. 실시예에서, 디지털 카메라들 및 다른 애플리케이션들에서 사용되는 얼굴 인식 기술은, 예를 들어, 이러한 기술이 화자의 눈을 보는 것을 용이하게 하는 정도까지 사용될 수 있다. 이미징 센서(207)는 수신 이미지들에 대응하는 신호들을 DSP 유닛(203)에 출력할 수 있다. DSP 유닛(203)은 이미징 센서(207)의 수신 신호들을 모니터링할 수 있고, 얼굴 인식 또는 열 인식 등을 포함하는 알고리즘을 활용하여, 이미징 센서(207)로부터 수신되는 신호 또는 신호들이 사용자의 방향으로 말하는 사람의 이미지에 대응하는지 여부를 결정할 수 있다. 어떤 사람이 사용자의 방향으로 말하고 있는 것을 검출하면, DSP 유닛(203)은 해당 방향으로부터 나오는 신호들은 강조하고, (예를 들어, 화자와 청취자 사이에서 이어지는 결정된 가상 중심선으로부터 특정 각도 이상의) 상이한 방향으로부터 나오는 신호들은 덜 강조하거나 소거할 수 있다. 그 후, 실시간 오디오 프로세싱 디바이스는 신호들의 볼륨 및 주파수 파라미터들을 이전에 논의된 바와 같이 적절한 볼륨 및 주파수 파라미터들로 변경함으로써 화자의 방향으로부터 나오는 신호들을 최적의 레벨에 있도록 추가로 프로세싱할 수 있다.
예를 들어, 대화를 하고 싶은 두 사람이 서로 방의 맞은 편에 있고, 그들 사이의 영역에서는 다수의 대화들이 진행되고 있는 시끄러운 방의 상황들이 있을 수 있다. 사람들이 서로의 주목을 끄는 경우, 이미징 센서(207) 및/또는 시선 검출 센서(204)는 DSP 유닛(203)을 방의 맞은 편에 있는 사람의 음성을 따르게 하고, 다른 사운드는 제외하고 해당 사운드를 강조하여, 두 사람이 서로 옆에 있지 않은 때에도 이들이 대화할 수 있도록 한다. 이 시나리오에서, 한 사람이 방의 맞은 편에 있는 사람의 주의를 끌고 싶어할 수 있다. 이것이 행해지는 것을 용이하게 하기 위해, 주의를 끌고 싶은 사람은 방의 맞은 편에 있는 사람에게 핑(ping)을 하여 그에게 관심 및/또는 대화를 원한다고 알릴 수 있다. 방의 맞은 편에 있는 사람은, 핑을 수신하고 나면, 그 사람이 주의를 끌고 있음을 알고, 눈을 마주치게 될 수 있다. 해당 이벤트에서, 실시간 오디오 프로세싱 디바이스(200)는 위에서 설명된 바와 같이 기능할 수 있다. 방의 맞은 편에 있는 사람이 요청을 무시하고 싶은 경우, 그는 물론 그렇게 할 수 있다.
핑을 하는 것은 각각의 사람이 착용/사용하고 있는 다수의 실시간 오디오 프로세싱 디바이스(200)와 같은 디바이스들 간의 신호 브로드캐스트부터 스마트폰 또는 다른 핸드헬드 디바이스 등 상의 앱을 사용하여 신호를 전송하는 것까지 임의의 수의 방식들로 수행될 수 있다.
실시예에서, 사용자는 자신이 무언가에 대해 대화하고 싶어하는 방, 홀, 강당 등에서 다수의 사람들과 대화하기를 원할 수 있다. 해당 대화를 달성하기 위해, 사용자는 사용자 또는 사용자의 사운드 소스에 고유한 신호를 그 영역에 있는 사람들에게 브로드캐스트할 수 있다. 실시예에서, 실시간 오디오 프로세싱 디바이스(200)와 유사할 수 있는 다른 사용자들의 디바이스들은 신호를 수신할 수 있고, 해당 신호 및 그에 따른 개시자(initiator)의 사운드/목소리를 따라감으로써 응답할 수 있다. 또한, 실시예에서, 사용자들은 스마트폰 또는 태블릿 앱을 통해 다양한 잠재적인 즉각적인 로컬 화자들의 리스트에 액세스할 수 있고, 이들 화자들 중 1인을 선택할 수 있다. 해당 이벤트에서, 앱은 그 각각의 디바이스에 정보를 전달할 수 있고, 따라서 해당 신호를 따라갈 수 있다.
실시예에 따르면, 이미징 센서(207)는 시선 검출 센서(204)로서 기능할 수 있다. 다른 실시예에서, 특히 강의실 등에서, 이미징 센서(207)는, 사용자가 화자의 방향을 보고 있지 않는 상황에서도, 화자로부터의 신호들을 프로세싱하도록 DSP 유닛(203)을 보조함으로써 시선 검출 센서를 보완할 수 있다. DSP 유닛은 시선 검출 센서(204)에게 이미징 센서(207)보다 우선순위를 부여할 수 있다. 이러한 방식으로, 예를 들어, 사용자가 강연자를 볼 때에는, 강연자의 연설이 적절하게 프로세싱되는 것을 보장하도록 시선 검출 센서(204)가 주로 DSP 유닛(203)과 함께 동작할 수 있다. 예를 들어, 사용자의 시선이 노트를 적기 위해 아래로 향할 때에는, 이미징 센서(207)에 우선순위가 부여될 수 있다. 다르게는, 사용자가 노트를 적기 위해 아래를 볼 때, 시선 검출 센서(204)는 사용자가 사운드가 나오는 방향을 보고 있지 않음을 나타낼 것이라는 것이 인식될 수 있다. 해당 상황에서, DSP 유닛(203)은 시선 검출 센서(204)로부터의 출력을 무시할 수 있다. 이것은 위에서 논의된 기능을 구현하는 하나의 방법일 것이다.
실시예에 따르면, DSP 유닛(203)은 음악 또는 비디오 플레이어에 접속될 수 있다. 사용자의 방향으로 말하는 누군가가 있다고 결정하면, DSP 유닛(203)은 음악 또는 비디오 플레이어로부터의 재생을 자동으로 일시정지(pause)하도록 구성될 수 있다. 이러한 방식으로, 사용자/청취자는 재생 컨트롤들을 찾아 더듬거릴 필요 없이 자신에게 말하고 있는 누군가를 청취하는 것으로 택할 수 있다.
실시예에 따르면, 사용자/청취자가 음악 또는 비디오 플레이어를 사용하면서 화자를 바라보는 경우, 실시간 오디오 프로세싱 디바이스로 하여금 사용자/청취자가 음악 또는 비디오 플레이어로부터의 재생보다는 화자의 말을 듣고 싶은 것으로 결정하게 할 수 있다. 디바이스는 오디오 커맨드에 응답할 수도 있고, 또는 DSP 유닛(203)의 시선 검출 센서(204)를 사용하여 사용자/청취자가 화자의 말을 들을 수 있도록 디바이스에게 재생을 중지 또는 일시정지하라고 지시할 수 있다.
실시예에서, 사용자가 사운드 소스를 직접 보지 않고도 이를 식별할 수 있는 것이 바람직할 수 있다. 예를 들어, 심포니 오케스트라에는, 종종 복수의 상이한 현악기들(예를 들어, 바이올린들, 비올라들, 첼로들, 베이스들) 및/또는 복수의 목관 악기들(예를 들어, 오보에들, 바순들) 및/또는 복수의 금관 악기들(예를 들어, 트럼펫, 트롬본, 색소폰, 프렌치 호른, 튜바) 및/또는 복수의 타악기들(예를 들어, 트라이앵글, 베이스 드럼, 팀파니, 스네어 드럼) 및/또는 키보드 악기들(예를 들어, 피아노, 오르간, 하프시코드, 전자 키보드, 건반)이 있다. 이들 카테고리들 내의 목록들은 광범위한 것으로 의도되지 않고, 단지 상이한 악기들의 범위에 대한 아이디어를 제공한다. 마칭 밴드들도 유사한 범위들의 악기들을 가질 수 있다.
방금 설명한 시나리오들 중 하나에서, 청취자는 제1 바이올리니스트 또는 제2 비올라에 집중하고자 할 수 있다(예를 들어, 시선에 의해 보다 쉽게 식별가능한 콘서트마스터 또는 제1 바이올리니스트가 아닌 친구 또는 친척이 오케스트라에서 연주하는 경우). 아니면, 이들 중 어느 경우도 아닌 솔리스트가 있을 수 있다. 이러한 시나리오들에서, 각각의 연주자는 자신과 연관된 메타데이터를 가질 수 있고, 메타데이터는 그 후 연주자가 연주하는 악기에 의해 식별 가능할 것이다. DSP 유닛이, 예를 들어, 그것에 해당 메타데이터를 갖는 테이블(콘서트에서든 또는 사전에 앱을 통해서든 간에 공연 전에 다운로드될 수 있었던 어떤 것)을 갖는 경우, 콘서트 동안에, 사용자는 하나 이상의 악기에 대한 특정 메타데이터와 연관된 악기(들)에 집중하라는 지시를 입력할 수 있어, 해당 악기(들)로부터의 사운드가 강조 표시될 것이다.
이제 도 3을 참조하면, 실시간 오디오 검출 및 프로세싱을 위한 방법이 실시간 오디오 프로세싱 디바이스가 복수의 사운드를 수신하고 이들을 복수의 신호들로 프로세싱하는 단계(301)에서 시작한다. 단계(302)에서, 사용자의 시선의 방향이 결정된다. 단계(303)에서, DSP 유닛(203)은 검출된 시선을 사용하여, 수신된 복수의 신호들 내의 어느 신호(들)가 원하는 사운드에 대응하고 복수의 신호들 내의 어느 신호(들)가 원치 않는 노이즈에 대응하는지를 식별한다. 프로세스는, 원하는 사운드가 성공적으로 식별될 때까지, 도 3의 단계(304)에 도시된 바와 같이 순환될 수 있다. 단계(305)에서, 원치 않는 노이즈 신호들은 위에서 논의된 알고리즘들 중 하나 이상을 사용하여 제거되거나 덜 강조된다. 단계(306)에서, 원하는 사운드들은 미리 설정된 볼륨 및 주파수 파라미터들에 부합되도록 프로세싱된다. 마지막으로, 단계(307)에서는, 사용자가 실시간 오디오 프로세싱 디바이스가 통합되어 있는 오디오 재생 디바이스를 착용하고 있는 실시예에서, 사용자가 화자의 말을 듣는 것을 용이하게 하기 위해 재생이 일시정지될 수 있다. 단계들(301-307) 각각은 도 2와 관련하여 위에서 설명된 실시예들 및 기술들 중 임의의 것에 따라 구현될 수 있다.
도 4는 실시예에 따라 시선 검출 센서(204)와 함께 이미징 센서(207)를 사용하는 것을 고려하여 도 3에 대한 흐름 및 첨부 설명에 대한 변형을 나타낸다. 단계(401)에서, 실시간 오디오 프로세싱 디바이스는 복수의 사운드를 수신하고, 이들을 복수의 신호들로 프로세싱한다. 단계(402)에서, 화자의 시선의 방향이 결정된다. 단계(403)에서, DSP 유닛(203)은 검출된 화자의 시선을 사용하여, 수신된 복수의 신호들 내의 어느 신호(들)가 원하는 사운드에 대응하고 복수의 신호들 내의 어느 신호(들)가 원치 않는 노이즈에 대응하는지를 식별한다. 단계(404)에서, 매치되지 않는 경우, 이미징 센서(207)에게 시선 검출 센서(204)보다 우선순위가 주어져야 하는지를 결정하기 위해 추가적인 액션이 취해질 수 있다. 이전에 논의된 바와 같이, 하나의 이러한 상황은 청취자/사용자가, 예를 들어, 노트를 적기 위해 아래를 볼 때 발생할 수 있다. 사용자가 아래를 보지 않는 경우, 프로세스는, 원하는 사운드가 성공적으로 식별될 때까지, 도 4에 도시된 바와 같이 순환될 수 있다. 사용자가 아래를 보는 경우에는, 앞서 논의된 라인들을 따라 이미징 센서(207) 또는 마이크로폰 어레이(201)에 우선순위가 부여될 수 있다.
실시예에서, 단계(405)에서는, 예를 들어, 화자 또는 원하는 사운드 소스로부터 나오지 않는 사운드가 성공적으로 식별되는지 여부를 알기 위해, 구현되는 노이즈 소거 알고리즘이 성공적으로 동작하는지 여부를 결정하는 프로세싱이 있을 수 있다. 그렇지 않은 경우, 단계(406)에서, 프로세스는 도 4에 도시된 바와 같이 처음으로, 또는 흐름도의 다른 부분, 예를 들어, 단계(402) 또는 단계(403)로 리턴될 수 있다. 충분한 상관관계가 있는 경우, 즉, 원치 않는 사운드가 정확하게 식별되는 경우, 단계(407)에서, 원치않는 노이즈 신호들은 위에서 논의된 알고리즘들 중 하나 이상을 사용하여 제거되거나 덜 강조된다. 단계(408)에서, 원하는 사운드들은 미리 설정된 볼륨 및 주파수 파라미터들에 부합되도록 프로세싱된다. 단계들(401-408) 각각은 도 2와 관련하여 위에서 설명된 실시예들 및 기술들 중 임의의 것에 따라 구현될 수 있다.
도 3 및 도 4와 관련하여 위에서 논의된 엘리먼트들은 실시간 오디오 프로세싱 디바이스의 전원을 켤 때 자동으로 개시될 수 있다. 대안적으로, 디바이스는 적절한 사용자 구두 커맨드에 응답할 수 있다. 사용자 구두 커맨드들에 응답하는 기술들은 본 기술분야의 통상의 기술자에게 공지되어 있을 것이다.
개시된 실시예들은 음악 홀들, 강의실들 또는 강연장들 또는 강연자들 또는 화자들에 대한 그 적용 가능성에 있어서 제한되지 않는다. 다수의 화자들(해당 화자들 중 일부는 사용자가 듣고 싶어할 수 있는 화자의 소리보다 훨씬 더 큼)이 청취자 부근에 존재할 수 있는 파티 또는 혼잡한 방에서, 특정 화자를 볼 수 있는 능력은 화자의 보이스는 강조하고 다른 화자들의 보이스들 또는 상이한 방향들로부터 나오는 사운드들은 소거하거나 덜 강조하는 데 도움이 될 수 있다. 실시예들은 스포츠 이벤트들, 지하철들, 공공 거리들, 식당들 또는 사운드의 방향성 수신이 도움이 되는 임의의 환경에서 사용될 수 있다.
본 개시내용이 몇몇 예시적인 실시예들을 참조하여 설명되었지만, 사용된 단어들은 제한의 단어들이라기보다는 설명 및 예시의 단어들이라는 것이 이해되어야 한다. 그 양태들에서 본 개시내용의 범위 및 사상을 벗어나지 않고, 첨부된 청구범위의 범위 내에서 현재 명시되고 보정된 바와 같이 변경들이 이루어질 수 있다. 본 개시내용이 특정 수단들, 재료들 및 실시예들을 참조하여 설명되었지만, 본 개시내용은 개시된 특정 사항들에 제한되는 것으로 의도되지 않으며, 오히려 본 개시내용은 첨부된 청구범위의 범위 내에 있는 것과 같은 모든 기능적으로 동등한 구조들, 방법들 및 용도들로 확장된다.
본 명세서의 방법 또는 장치 실시예들이 특정 수의 엘리먼트들을 갖는 것으로 설명되는 한, 완전한 청구항을 정의하는 데 전체 엘리먼트들보다 적은 수의 엘리먼트들이 필요할 수 있다는 것이 이해되어야 한다. 또한, 다양한 실시예들에서 설명되는 동작들 또는 기능들의 시퀀스들은 첨부된 청구범위 중 일부를 실시하는 데 있어서 이러한 시퀀스들을 요구하거나 이에 대한 요구사항을 암시하지 않는다. 동작들 또는 기능들은 개시된 실시예들의 목적들을 달성하기 위해 임의의 시퀀스로 수행될 수 있다. 이것은, 예를 들어, 도 3의 동작들에 대한 경우로서, 여기서 예를 들어, 사용자의 시선 방향은 도시된 바와 같이 사운드들을 프로세싱하는 것보다 먼저 프로세싱될 수 있는데, 왜냐하면 사용자의 시선이 집중되었는지 여부를 먼저 결정하고, 그 후에 수신된 사운드를 프로세싱하는 것으로 진행하는 것이 바람직할 수 있기 때문이다.
본 개시내용의 요약서는 독자가 기술 개시내용의 본질을 신속하게 확인할 수 있게 하는 요약서를 요구하는 37 C.F.R. §1.72(b)를 준수하기 위해 제공된다. 이것은 청구범위의 범위 또는 의미를 해석하거나 한정하는 데 사용되지 않을 것이라는 이해 하에 제출된다. 또한, 상기 상세한 설명에서, 다양한 피쳐들은 개시내용을 간소화할 목적으로 함께 그룹화되거나 단일 실시예에서 설명될 수 있다. 본 개시내용은 청구되는 실시예들이 각각의 청구항에서 명시적으로 언급되는 것보다 많은 피쳐들을 필요로 한다는 의도를 반영하는 것으로 해석되어서는 안된다. 오히려, 이하의 청구범위가 반영하는 바와 같이, 대상은 개시된 실시예들 중 임의의 것의 피쳐들 전부보다 적은 것에 관한 것일 수 있다. 따라서, 이하의 청구범위는 상세한 설명에 포함되며, 각각의 청구항은 별도로 청구되는 대상을 정의하는 것으로 독자적으로 기재된다.

Claims (20)

  1. 장치로서,
    사용자의 시선의 제1 방향을 검출하고, 상기 검출된 사용자의 시선의 제1 방향에 대응하는 시선 신호를 출력하도록 구성되는 센서; 및
    디지털 신호 프로세싱 유닛
    을 포함하고,
    상기 디지털 신호 프로세싱 유닛은,
    상기 센서로부터 시선 신호를 수신하고,
    상기 검출된 사용자의 시선의 제1 방향을 결정하기 위하여 상기 시선 신호를 판독하고,
    상기 사용자의 시선의 움직임에 기초하여, 상기 검출된 사용자의 시선의 제1 방향과 상이한 제2 방향을 선택하고,
    상기 제2 방향을 선택하는 것에 응답하여, 전자 데이터 저장 장치에서, 상기 제2 방향에 대응하는 하나 이상의 이용 가능한 동작을 식별하고,
    상기 하나 이상의 이용 가능한 동작으로부터 제1 동작을 선택하고,
    상기 제1 동작에 대응하는 컴퓨터 판독 가능 명령어들의 세트를 실행하는, 장치.
  2. 제1항에 있어서,
    하나 이상의 사운드의 방향성을 나타내는 정보를 제공하기 위해 상기 센서의 포지션에 대해 위치된 마이크로폰을 더 포함하고,
    상기 제1 동작은 상기 제2 방향 및 상기 하나 이상의 사운드에 기초하여 선택되는, 장치.
  3. 제2항에 있어서,
    상기 디지털 신호 프로세싱 유닛은 상기 하나 이상의 사운드 및 상기 시선 신호 중 하나 이상에 기초하여 사람이 상기 사용자의 방향으로 말하고 있다고 결정하도록 추가로 구성되며, 상기 제1 동작은 상기 사람이 상기 사용자의 방향으로 말하고 있다는 결정에 적어도 부분적으로 기초하여 선택되는, 장치.
  4. 제1항에 있어서,
    이미지를 검출하도록 구성된 이미징 센서를 더 포함하고, 상기 제1 동작은 상기 이미지에 적어도 부분적으로 기초하여 선택되는, 장치.
  5. 제1항에 있어서,
    상기 제1 동작은 스피커를 통해 오디오 신호를 출력하는 것을 포함하는, 장치.
  6. 제5항에 있어서,
    상기 제1 동작은 상기 오디오 신호의 제1 부분을 강조하거나, 상기 오디오 신호의 제2 부분을 덜 강조하거나, 상기 오디오 신호에 오디오를 추가하거나, 또는 상기 오디오 신호로부터 오디오를 제거함으로써 상기 오디오 신호를 조정하는 것을 더 포함하는, 장치.
  7. 제1항에 있어서,
    상기 제1 동작은 애플리케이션의 런타임 동안 상기 애플리케이션에 대한 기능을 활성화하거나 비활성화하는 것을 포함하는, 장치.
  8. 제1항에 있어서,
    상기 제1 동작은 미디어 장치의 재생을 시작, 중지, 일시중지, 되감기, 또는 진행함으로써 미디어 장치의 재생을 조정하는 것을 포함하는, 장치.
  9. 제1항에 있어서,
    상기 시선 신호를 오버라이드(override)하거나, 또는 조정하기 위한 오버라이드 스위치를 더 포함하는, 장치.
  10. 제9항에 있어서,
    상기 오버라이드 스위치로부터의 신호에 응답하여, 상기 디지털 신호 프로세싱 유닛은 유한한 시간 기간(finite period of time) 동안에 상기 센서로부터의 입력을 무시하는, 장치.
  11. 제1항에 있어서,
    상기 디지털 신호 프로세싱 유닛은 사운드 소스로부터 식별 신호를 수신하도록 추가로 구성되고, 상기 식별 신호는 상기 사운드 소스 자체 또는 상기 사운드 소스와 연관된 사람 중 어느 것을 식별하는 메타데이터를 포함하는, 장치.
  12. 방법으로서,
    검출된 사용자의 시선의 제1 방향에 대응하는 시선 신호를 센서로부터 수신하는 단계;
    상기 검출된 사용자의 시선의 제1 방향을 결정하기 위하여 시선 신호를 판독하는 단계;
    상기 사용자의 시선의 움직임에 기초하여, 상기 검출된 사용자의 시선의 제1 방향과 상이한 제2 방향을 선택하는 단계;
    상기 제2 방향을 선택하는 것에 응답하여, 전자 데이터 저장 장치에서, 상기 제2 방향에 대응하는 하나 이상의 이용 가능한 동작을 식별하는 단계;
    상기 하나 이상의 이용 가능한 동작으로부터 제1 동작을 선택하는 단계; 및
    상기 제1 동작에 대응하는 컴퓨터 판독 가능 명령어들의 세트를 실행하는 단계를 포함하는, 방법.
  13. 제12항에 있어서,
    상기 제1 동작은 상기 제2 방향 및 마이크로폰에 의해 검출된 하나 이상의 사운드에 기초하여 선택되는, 방법.
  14. 제13항에 있어서,
    상기 하나 이상의 사운드 및 상기 시선 신호 중 하나 이상에 기초하여 사람이 상기 사용자의 방향으로 말하고 있다고 결정하는 단계를 추가로 포함하고, 상기 제1 동작은 상기 사람이 상기 사용자의 방향으로 말하고 있다는 결정에 적어도 부분적으로 기초하여 선택되는, 방법.
  15. 제12항에 있어서,
    상기 제1 동작은 오디오 신호의 제1 부분을 강조하거나, 상기 오디오 신호의 제2 부분을 덜 강조하거나, 상기 오디오 신호에 오디오를 추가하거나, 또는 상기 오디오 신호로부터 오디오를 제거함으로써 상기 오디오 신호의 출력을 조정하는 것을 더 포함하는, 방법.
  16. 제12항에 있어서,
    상기 제1 동작은 애플리케이션의 런타임 동안 상기 애플리케이션에 대한 기능을 활성화하거나 비활성화하는 것을 포함하는, 방법.
  17. 머신으로 하여금 작동들을 수행하게 하도록 실행 가능한 머신 판독 가능 명령어들을 저장한 비 일시적 머신 판독 가능 매체로서, 상기 작동들은:
    검출된 사용자의 시선의 제1 방향에 대응하는 시선 신호를 센서로부터 수신하고,
    상기 검출된 사용자의 시선의 제1 방향을 결정하기 위하여 시선 신호를 판독하고,
    상기 사용자의 시선의 움직임에 기초하여, 상기 검출된 사용자의 시선의 제1 방향과 상이한 제2 방향을 선택하고
    상기 제2 방향을 선택하는 것에 응답하여, 전자 데이터 저장 장치에서, 상기 제2 방향에 대응하는 하나 이상의 이용 가능한 동작을 식별하고,
    상기 하나 이상의 이용 가능한 동작으로부터 제1 동작을 선택하고,
    상기 제1 동작에 대응하는 컴퓨터 판독 가능 명령어들의 세트를 실행하는 것을 포함하는, 비 일시적 머신 판독 가능 매체.
  18. 제17항에 있어서,
    상기 작동들은 하나 이상의 사운드 및 상기 시선 신호 중 하나 이상에 기초하여 사람이 상기 사용자의 방향으로 말하고 있다고 결정하는 것을 추가로 포함하고, 상기 제1 동작은 상기 사람이 상기 사용자의 방향으로 말하고 있다는 결정에 적어도 부분적으로 기초하여 선택되는, 비 일시적 머신 판독 가능 매체.
  19. 제17항에 있어서,
    상기 제1 동작은 오디오 신호의 제1 부분을 강조하거나, 상기 오디오 신호의 제2 부분을 덜 강조하거나, 상기 오디오 신호에 오디오를 추가하거나, 또는 상기 오디오 신호로부터 오디오를 제거함으로써 상기 오디오 신호의 출력을 조정하는 것을 더 포함하는, 비 일시적 머신 판독 가능 매체.
  20. 제17항에 있어서,
    상기 제1 동작은 애플리케이션의 런타임 동안 상기 애플리케이션에 대한 기능을 활성화하거나 비활성화하는 것을 포함하는, 비 일시적 머신 판독 가능 매체.
KR1020197024518A 2016-02-02 2017-01-27 개인화된 실시간 오디오 프로세싱 KR102487957B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237000925A KR102602090B1 (ko) 2016-02-02 2017-01-27 개인화된 실시간 오디오 프로세싱

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/013,537 2016-02-02
US15/013,537 US9905244B2 (en) 2016-02-02 2016-02-02 Personalized, real-time audio processing
PCT/US2017/015463 WO2017136245A1 (en) 2016-02-02 2017-01-27 Personalized, real-time audio processing
KR1020187022362A KR102015745B1 (ko) 2016-02-02 2017-01-27 개인화된 실시간 오디오 프로세싱

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187022362A Division KR102015745B1 (ko) 2016-02-02 2017-01-27 개인화된 실시간 오디오 프로세싱

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237000925A Division KR102602090B1 (ko) 2016-02-02 2017-01-27 개인화된 실시간 오디오 프로세싱

Publications (2)

Publication Number Publication Date
KR20190100470A KR20190100470A (ko) 2019-08-28
KR102487957B1 true KR102487957B1 (ko) 2023-01-13

Family

ID=59387649

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020197024518A KR102487957B1 (ko) 2016-02-02 2017-01-27 개인화된 실시간 오디오 프로세싱
KR1020247005546A KR20240025720A (ko) 2016-02-02 2017-01-27 개인화된 실시간 오디오 프로세싱
KR1020237038746A KR102639491B1 (ko) 2016-02-02 2017-01-27 개인화된 실시간 오디오 프로세싱
KR1020237000925A KR102602090B1 (ko) 2016-02-02 2017-01-27 개인화된 실시간 오디오 프로세싱
KR1020187022362A KR102015745B1 (ko) 2016-02-02 2017-01-27 개인화된 실시간 오디오 프로세싱

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020247005546A KR20240025720A (ko) 2016-02-02 2017-01-27 개인화된 실시간 오디오 프로세싱
KR1020237038746A KR102639491B1 (ko) 2016-02-02 2017-01-27 개인화된 실시간 오디오 프로세싱
KR1020237000925A KR102602090B1 (ko) 2016-02-02 2017-01-27 개인화된 실시간 오디오 프로세싱
KR1020187022362A KR102015745B1 (ko) 2016-02-02 2017-01-27 개인화된 실시간 오디오 프로세싱

Country Status (5)

Country Link
US (5) US9905244B2 (ko)
EP (1) EP3410921B1 (ko)
KR (5) KR102487957B1 (ko)
CN (1) CN108601519B (ko)
WO (1) WO2017136245A1 (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11595760B2 (en) 2011-12-23 2023-02-28 Shenzhen Shokz Co., Ltd. Bone conduction speaker and compound vibration device thereof
US11627419B2 (en) 2014-01-06 2023-04-11 Shenzhen Shokz Co., Ltd. Systems and methods for suppressing sound leakage
US9905244B2 (en) 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
US11445305B2 (en) 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
CA3206524C (en) * 2016-02-04 2024-02-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
US10015592B2 (en) * 2016-05-20 2018-07-03 Ricoh Company, Ltd. Acoustic signal processing apparatus, method of processing acoustic signal, and storage medium
US10433052B2 (en) * 2016-07-16 2019-10-01 Ron Zass System and method for identifying speech prosody
US11195542B2 (en) * 2019-10-31 2021-12-07 Ron Zass Detecting repetitions in audio data
WO2018088450A1 (ja) * 2016-11-08 2018-05-17 ヤマハ株式会社 音声提供装置、音声再生装置、音声提供方法及び音声再生方法
KR20180069147A (ko) * 2016-12-14 2018-06-25 만도헬라일렉트로닉스(주) 차량의 보행자 경고장치
EP4270166A3 (en) 2017-02-28 2023-11-08 Magic Leap, Inc. Virtual and real object recording in mixed reality device
US10462422B1 (en) 2018-04-09 2019-10-29 Facebook, Inc. Audio selection based on user engagement
CN110830837A (zh) * 2018-08-07 2020-02-21 北京优酷科技有限公司 一种视频播放的方法、计算机存储介质、播放器及服务器
US11089402B2 (en) 2018-10-19 2021-08-10 Bose Corporation Conversation assistance audio device control
EP3672280B1 (en) * 2018-12-20 2023-04-12 GN Hearing A/S Hearing device with acceleration-based beamforming
US10990171B2 (en) * 2018-12-27 2021-04-27 Facebook Technologies, Llc Audio indicators of user attention in AR/VR environment
BR112021021746A2 (pt) * 2019-04-30 2021-12-28 Shenzhen Voxtech Co Ltd Aparelho de saída acústica
US10708706B1 (en) * 2019-05-07 2020-07-07 Facebook Technologies, Llc Audio spatialization and reinforcement between multiple headsets
DE102019211584A1 (de) * 2019-08-01 2021-02-04 Robert Bosch Gmbh System und Verfahren zur Kommunikation einer mobilen Arbeitsmaschine
JP6708839B1 (ja) * 2019-11-07 2020-06-10 株式会社エンゼルホーン 金管楽器
CN111343420A (zh) * 2020-02-18 2020-06-26 维沃移动通信有限公司 一种语音增强方法及穿戴设备
US11432067B2 (en) * 2020-03-23 2022-08-30 Orcam Technologies Ltd. Cancelling noise in an open ear system
EP3945735A1 (en) 2020-07-30 2022-02-02 Koninklijke Philips N.V. Sound management in an operating room
US11259112B1 (en) * 2020-09-29 2022-02-22 Harman International Industries, Incorporated Sound modification based on direction of interest
US11598962B1 (en) 2020-12-24 2023-03-07 Meta Platforms Technologies, Llc Estimation of acoustic parameters for audio system based on stored information about acoustic model
WO2022178852A1 (zh) * 2021-02-26 2022-09-01 华为技术有限公司 一种辅助聆听方法及装置
US12099654B1 (en) 2021-06-21 2024-09-24 Apple Inc. Adaptation of electronic content
US11967335B2 (en) * 2021-09-03 2024-04-23 Google Llc Foveated beamforming for augmented reality devices and wearables
WO2024137427A1 (en) * 2022-12-22 2024-06-27 Apple Inc. Live peer-to-peer voice communication systems and methods using machine intelligence

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120257036A1 (en) * 2011-04-07 2012-10-11 Sony Mobile Communications Ab Directional sound capturing
US20140010391A1 (en) * 2011-10-31 2014-01-09 Sony Ericsson Mobile Communications Ab Amplifying audio-visiual data based on user's head orientation
US20150116212A1 (en) * 2010-03-05 2015-04-30 Amazon Technologies, Inc. Viewer-based device control

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731768B1 (en) 2000-07-26 2004-05-04 Etymotic Research, Inc. Hearing aid having switched release automatic gain control
JP2003153903A (ja) * 2001-11-21 2003-05-27 Toshiba Corp 超音波診断装置及びその操作デバイス
US7460150B1 (en) * 2005-03-14 2008-12-02 Avaya Inc. Using gaze detection to determine an area of interest within a scene
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
DE102006047982A1 (de) * 2006-10-10 2008-04-24 Siemens Audiologische Technik Gmbh Verfahren zum Betreiben einer Hörfilfe, sowie Hörhilfe
US8154583B2 (en) * 2007-05-31 2012-04-10 Eastman Kodak Company Eye gazing imaging for video communications
US20100074460A1 (en) * 2008-09-25 2010-03-25 Lucent Technologies Inc. Self-steering directional hearing aid and method of operation thereof
DK2389095T3 (da) * 2009-01-26 2014-11-17 Tobii Technology Ab Detektering af blikpunkt hjulpet af optiske referencesignaler
WO2010149823A1 (en) * 2009-06-23 2010-12-29 Nokia Corporation Method and apparatus for processing audio signals
DE102009033448B3 (de) 2009-07-16 2010-09-30 Siemens Medical Instruments Pte. Ltd. Hörhilfe mit Lautstärkesteller und Lautstärkesteller
US8264518B2 (en) * 2009-09-28 2012-09-11 Cisco Technology, Inc. Gesture-based actions in a video communication session
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
WO2012001928A1 (ja) * 2010-06-30 2012-01-05 パナソニック株式会社 会話検出装置、補聴器及び会話検出方法
US9084038B2 (en) * 2010-12-22 2015-07-14 Sony Corporation Method of controlling audio recording and electronic device
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
CN102945074B (zh) * 2011-10-12 2016-04-27 微软技术许可有限责任公司 根据所捕捉的语音和音频内容来填充列表和任务
US8947493B2 (en) * 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US10448161B2 (en) * 2012-04-02 2019-10-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field
KR20130119223A (ko) * 2012-04-23 2013-10-31 삼성전기주식회사 모바일 기기 및 그 동작 방법
US9746916B2 (en) * 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US8908004B2 (en) * 2012-06-14 2014-12-09 Cisco Technology, Inc. Flattened light reflection for telepresence
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
JP6050627B2 (ja) 2012-07-05 2016-12-21 ダイコク電機株式会社 遊技機、及び遊技機用外部端末
US20140026156A1 (en) * 2012-07-18 2014-01-23 David Deephanphongs Determining User Interest Through Detected Physical Indicia
JP6155622B2 (ja) 2012-12-18 2017-07-05 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法
WO2014113891A1 (en) * 2013-01-25 2014-07-31 Hu Hai Devices and methods for the visualization and localization of sound
KR102118438B1 (ko) * 2013-01-28 2020-06-04 한국전자통신연구원 차량용 헤드업 디스플레이 장치 및 그 방법
US9833697B2 (en) * 2013-03-11 2017-12-05 Immersion Corporation Haptic sensations as a function of eye gaze
US20140328505A1 (en) * 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
GB2531191B (en) * 2013-07-19 2018-03-07 Scient Drilling Int Inc Method and apparatus for casing entry
CN113576398A (zh) * 2013-09-03 2021-11-02 托比股份公司 便携式眼睛追踪设备
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
KR101685430B1 (ko) * 2013-10-07 2016-12-14 한국과학기술연구원 게이즈 제스처를 이용한 스마트 안경 인터페이스 시스템 및 방법
CN105593785B (zh) * 2013-11-01 2019-11-12 英特尔公司 凝视辅助触摸屏输入
JP5884811B2 (ja) * 2013-11-18 2016-03-15 コニカミノルタ株式会社 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム
WO2015110852A1 (en) * 2014-01-24 2015-07-30 Sony Corporation Face tracking for a mobile device
US9817474B2 (en) * 2014-01-24 2017-11-14 Tobii Ab Gaze driven interaction for a vehicle
US10534900B2 (en) * 2014-02-21 2020-01-14 Samsung Electronics Co., Ltd. Electronic device
US9432421B1 (en) * 2014-03-28 2016-08-30 A9.Com, Inc. Sharing links in an augmented reality environment
US10318016B2 (en) * 2014-06-03 2019-06-11 Harman International Industries, Incorporated Hands free device with directional interface
US10282057B1 (en) * 2014-07-29 2019-05-07 Google Llc Image editing on a wearable device
US20160080874A1 (en) * 2014-09-16 2016-03-17 Scott Fullam Gaze-based audio direction
US9930270B2 (en) * 2015-10-15 2018-03-27 Microsoft Technology Licensing, Llc Methods and apparatuses for controlling video content displayed to a viewer
US9749766B2 (en) * 2015-12-27 2017-08-29 Philip Scott Lyren Switching binaural sound
US9905244B2 (en) 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
US10278003B2 (en) * 2016-09-23 2019-04-30 Apple Inc. Coordinated tracking for binaural audio rendering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150116212A1 (en) * 2010-03-05 2015-04-30 Amazon Technologies, Inc. Viewer-based device control
US20120257036A1 (en) * 2011-04-07 2012-10-11 Sony Mobile Communications Ab Directional sound capturing
US20140010391A1 (en) * 2011-10-31 2014-01-09 Sony Ericsson Mobile Communications Ab Amplifying audio-visiual data based on user's head orientation

Also Published As

Publication number Publication date
EP3410921B1 (en) 2024-03-06
US20230317094A1 (en) 2023-10-05
US20180190309A1 (en) 2018-07-05
US9905244B2 (en) 2018-02-27
KR20230160946A (ko) 2023-11-24
CN108601519B (zh) 2021-04-06
KR20240025720A (ko) 2024-02-27
US10304476B2 (en) 2019-05-28
CN108601519A (zh) 2018-09-28
KR102602090B1 (ko) 2023-11-15
US11715482B2 (en) 2023-08-01
KR102015745B1 (ko) 2019-09-04
US10540986B2 (en) 2020-01-21
US20170221500A1 (en) 2017-08-03
KR20190100470A (ko) 2019-08-28
KR20230011496A (ko) 2023-01-20
KR102639491B1 (ko) 2024-02-23
KR20180100392A (ko) 2018-09-10
US20200126580A1 (en) 2020-04-23
WO2017136245A1 (en) 2017-08-10
EP3410921A4 (en) 2019-10-16
US20190272841A1 (en) 2019-09-05
EP3410921A1 (en) 2018-12-12

Similar Documents

Publication Publication Date Title
KR102487957B1 (ko) 개인화된 실시간 오디오 프로세싱
JP7536083B2 (ja) 選択的受聴を補助するためのシステムおよび方法
US10685638B2 (en) Audio scene apparatus
KR101285391B1 (ko) 음향 객체 정보 융합 장치 및 방법
US20080317260A1 (en) Sound discrimination method and apparatus
US20230164509A1 (en) System and method for headphone equalization and room adjustment for binaural playback in augmented reality
US9853758B1 (en) Systems and methods for signal mixing
WO2022071959A1 (en) Audio-visual hearing aid
Panek et al. Challenges in adopting speech control for assistive robots
Björnsson Amplified Speech in Live Theatre, What should it Sound Like?
JP2022128177A (ja) 音声生成装置、音声再生装置、音声再生方法、及び音声信号処理プログラム
WO2024200071A1 (en) Apparatuses and methods for controlling a sound playback of a headphone

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant