KR102180496B1 - 촉각 베이스 응답 - Google Patents
촉각 베이스 응답 Download PDFInfo
- Publication number
- KR102180496B1 KR102180496B1 KR1020197012358A KR20197012358A KR102180496B1 KR 102180496 B1 KR102180496 B1 KR 102180496B1 KR 1020197012358 A KR1020197012358 A KR 1020197012358A KR 20197012358 A KR20197012358 A KR 20197012358A KR 102180496 B1 KR102180496 B1 KR 102180496B1
- Authority
- KR
- South Korea
- Prior art keywords
- user device
- audio signal
- output
- processors
- tactile
- Prior art date
Links
- 230000004044 response Effects 0.000 title claims abstract description 127
- 230000005236 sound signal Effects 0.000 claims abstract description 204
- 238000000034 method Methods 0.000 claims description 40
- 230000002238 attenuated effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 25
- 230000001360 synchronised effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2400/00—Loudspeakers
- H04R2400/03—Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/03—Synergistic effects of band splitting and sub-band processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Circuit For Audible Band Transducer (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
Abstract
본 발명의 예시적인 양태들은 사용자 디바이스에 의한 촉각 베이스 응답을 제공하는 것에 관한 것이다. 예를 들어, 제1 오디오 신호는 제1 사용자 디바이스 및 제2 사용자 디바이스에 의해 출력되도록 할 수 있다. 재생 지연은 제1 사용자 디바이스에 의한 제1 오디오 신호의 출력과 제2 사용자 디바이스에 의한 제1 오디오 신호의 출력 사이에서 결정될 수 있다. 제1 사용자 디바이스는 제1 오디오 신호를 출력하게 할 수 있다. 제1 사용자 디바이스는 제2 오디오 신호와 관련된 촉각 베이스 응답 표현을 실행하게 하여, 촉각 베이스 응답이 시간 지연에 적어도 부분적으로 기초하여 결정되는 제2 시간에서 실행되도록 할 수 있다..
Description
본 발명은 일반적으로 사용자 디바이스에 의해 촉각 베이스 응답(tactile bass response)을 제공하는 것에 관한 것이다.
사용자 컴퓨팅 디바이스는 오디오 출력 디바이스에 의한 오디오 신호의 출력을 용이하게 하기 위해 하나 이상의 오디오 출력 디바이스에 통신 가능하게 결합될 수 있다. 예를 들어, 사용자 컴퓨팅 디바이스는 스피커 디바이스, 헤드셋, 헤드폰, 무선 이어폰(earbud) 또는 오디오 신호를 출력할 수 있는 다른 적절한 오디오 출력 디바이스와 통신할 수 있다. 휴대용 오디오 출력 디바이스(예를 들어, 헤드셋, 헤드폰 또는 다른 웨어러블 오디오 구성 요소)와 같은 이러한 오디오 출력 디바이스는 출력된 오디오 신호와 관련된 충분한 베이스(bass) 응답을 제공할 수 없다는 단점이 있다. 예를 들어, 오디오 출력 디바이스는 충분한 촉각 베이스 응답인 오디오 출력을 청취할 때 사용자가 느끼는 생리적 감각(physiological sensation)을 제공하지 못할 수 있다. 또한, 이러한 오디오 출력 디바이스는 낮은 베이스 톤을 생성하기 위해 상당한 양의 전력을 제공할 수 있어 오디오 출력 디바이스의 배터리 수명을 감소시킬 수 있다.
본 발명의 실시예들의 양태 및 장점들은 다음의 설명에서 부분적으로 설명될 것이고, 또는 설명으로부터 알 수 있거나 또는 실시예들의 실시를 통해 학습될 수 있다.
본 발명의 일 예시적인 양태는 하나 이상의 사용자 디바이스에 촉각 베이스 응답을 제공하는 컴퓨터 구현 방법에 관한 것이다. 상기 방법은 하나 이상의 프로세서에 의해, 제1 사용자 디바이스가 제1 오디오 신호를 출력하고 제2 사용자 디바이스가 제1 오디오 신호를 출력하게 하는 단계를 포함한다. 상기 방법은 하나 이상의 프로세서에 의해, 제1 사용자 디바이스에 의한 제1 오디오 신호의 출력과 제2 사용자 디바이스에 의한 제1 오디오 신호의 출력 간의 재생 지연을 결정하는 단계를 더 포함한다. 상기 방법은 하나 이상의 프로세서에 의해, 제1 시간에 제2 사용자 디바이스가 제2 오디오 신호를 출력하게 하는 단계를 더 포함한다. 상기 하나 이상의 프로세서에 의해, 촉각 베이스 응답이 제2 시간에 실행되도록 제1 사용자 디바이스가 제2 오디오 신호와 관련된 촉각 베이스 응답 표현을 실행하게 하도록 단계를 더 포함하고, 상기 제2 시간은 상기 시간 지연에 적어도 부분적으로 기초하여 결정된다. 두 디바이스를 제공하는 장점은 불량 베이스 응답 때문에 겪을 수 있는 오디오 디바이스의 출력을 보완하기 위하여 촉각 베이스 응답을 제공하는 것이다. 촉각 베이스는 예를 들어 베이스 신호가 라우드 스피커 또는 악기에서 재생될 때 사용자가 일반적으로 느끼는 기계적 진동을 포함할 수 있다. 제2 디바이스는 향상된 베이스 오디오 응답을 제공할 수도 있다.
일 실시예에서, 상기 제1 사용자 디바이스가 제1 오디오 신호를 출력하게 하는 단계는 상기 제2 사용자 디바이스가 제1 오디오 신호를 출력하는 단계와 실질적으로 동시에 발생한다.
일 실시예에서, 상기 하나 이상의 프로세서에 의해, 제1 사용자 디바이스가 제1 오디오 신호를 출력하고, 제2 사용자 디바이스가 제1 오디오 신호를 출력하게 하는 단계는, 상기 제1 사용자 디바이스가 제1 사용자 디바이스와 관련된 스피커 디바이스로 제1 오디오 신호를 출력하고, 상기 제2 사용자 디바이스가 제2 사용자 디바이스와 관련된 스피커 디바이스로 제1 오디오 신호를 출력하게 하는 단계를 포함한다.
일 실시예에서, 상기 하나 이상의 프로세서에 의해, 재생 지연을 결정하는 단계는 상기 제1 또는 제2 사용자 디바이스와 관련된 입력 변환기에 적어도 부분적으로 기초하여 재생 지연을 결정하는 단계를 포함한다. 상기 재생 지연을 결정하는 단계는 제1 및 제2 사용자 디바이스가 동기화될 수 있게 하여, 사용자가 원래의 녹음에 따라 정확한 시간에서 베이스 응답 및 다른 주파수를 듣고 느낄 수 있도록 한다.
일 실시예에서, 상기 방법은 하나 이상의 프로세서에 의해, 상기 제2 오디오 신호와 관련된 촉각 베이스 응답 표현을 생성하는 단계를 더 포함한다.
일 실시예에서, 상기 하나 이상의 프로세서에 의해, 상기 촉각 베이스 응답 표현을 생성하는 단계는 임계치 이상인 상기 제2 오디오 신호와 관련된 오디오 주파수를 제거 또는 감소시키도록 구성된 하나 이상의 등화 필터에 상기 제2 오디오 신호를 적용하는 단계를 포함한다. 필터링의 정점은 제2 사용자 디바이스가 감쇠된 베이스 응답을 제공하여 배터리 자원을 절약할 수 있게 한다. 상기 베이스 응답은 제1 사용자 디바이스에 의해 제공된다.
일 실시예에서, 상기 하나 이상의 프로세서에 의해, 상기 제1 사용자 디바이스가 촉각 베이스 응답 표현을 실행하게 하는 단계는, 상기 제1 사용자 디바이스가 제1 사용자 디바이스와 관련된 스피커 디바이스로 상기 생성된 촉각 베이스 응답 표현을 출력하게 하는 단계를 포함한다.
일 실시예에서, 상기 하나 이상의 프로세서에 의해, 촉각 베이스 응답 표현을 생성하는 단계는 상기 하나 이상의 프로세서에 의해, 주파수 임계치 이하인 제2 오디오 신호와 관련된 하나 이상의 피크 또는 임펄스를 검출하는 단계를 포함한다.
일 실시예에서, 상기 하나 이상의 프로세서에 의해, 상기 제1 사용자 디바이스가 촉각 베이스 응답 표현을 실행하게 하는 단계는, 상기 하나 이상의 프로세서에 의해, 상기 생성된 촉각 베이스 응답 표현에 적어도 부분적으로 기초하여 제1 사용자 디바이스와 관련된 하나 이상의 햅틱 액추에이터의 동작을 제어하는 단계를 포함한다. 햅틱 또는 운동 감응 액츄에이터는 사용자에게 힘, 진동 또는 움직임을 가함으로써 터치감을 제공하는 재현하는 디바이스이다.
일 실시예에서, 상기 제1 오디오 신호 및 제2 오디오 신호는 동일한 오디오 신호이다.
일 실시예에서, 상기 제2 시간은 제1 시간과 상이하다.
제2 양태에 따르면, 하나 이상의 프로세서, 및 하나 이상의 프로세서에 의해 실행될 때 상기 하나 이상의 프로세서로 하여금 동작들을 수행하게 하는 컴퓨터 판독 가능 명령들을 저정하는 하나 이상의 메모리 디바이스를 포함하는 컴퓨팅 시스템이 제공된다. 상기 동작들은, 제1 사용자 디바이스가 제1 오디오 신호를 출력하고, 제2 사용자 디바이스가 상기 제1 오디오 신호를 출력하게 하는 단계와, 상기 제1 사용자 디바이스에 의한 제1 오디오 신호의 출력과 상기 제2 사용자 디바이스에 의한 제1 오디오 신호의 출력 사이의 재생 지연을 결정하는 단계와, 제1 시간에 상기 제2 사용자 디바이스가 제2 오디오 신호를 출력하게 하는 단계와, 그리고 상기 하나 이상의 프로세서에 의해, 촉각 베이스 응답이 제2 시간에 실행되도록 제1 사용자 디바이스가 제2 오디오 신호와 관련된 촉각 베이스 응답 표현을 실행하도록 하는 단계를 포함하고, 상기 제2 시간은 상기 시간 지연에 적어도 부분적으로 기초하여 결정된다.
본 발명의 다른 예시적인 양태들은 사용자 디바이스에 의한 촉각 베이스 응답을 제공하기 위한 시스템, 장치, 유형의 비-일시적 컴퓨터 판독 가능 매체, 사용자 인터페이스, 메모리 디바이스 및 전자 디바이스에 관한 것이다.
다양한 실시예의 이들 및 다른 특징, 양태 및 이점은 하기의 설명 및 첨부 된 청구 범위를 참조하여 더 잘 이해될 것이다. 첨부된 도면은 본 명세서에 통합되어 본 명세서의 일부를 구성하고, 본 발명의 개시 내용의 실시예를 도시하고, 설명과 함께 관련된 원리를 설명하는 역할을 한다.
해당 기술 분야의 통상의 지식을 가진 자에게 지향된 실시예들에 대한 상세한 설명은 첨부된 도면을 참조하여 명세서에 개시된다.
도 1은 본 발명의 예시적인 실시예에 따른 촉각 베이스 응답을 제공하기 위한 예시적인 시스템을 도시한다.
도 2 내지 도 4는 본 발명의 예시적인 실시예에 따른 예시적인 출력 타이밍의 그래픽 표현을 도시한다.
도 5는 본 발명의 예시적인 실시예에 따른 촉각 베이스 응답을 제공하는 예시적인 방법의 흐름도이다.
도 6은 본 발명의 예시적인 실시예에 따른 예시적인 시스템을 나타낸다.
도 1은 본 발명의 예시적인 실시예에 따른 촉각 베이스 응답을 제공하기 위한 예시적인 시스템을 도시한다.
도 2 내지 도 4는 본 발명의 예시적인 실시예에 따른 예시적인 출력 타이밍의 그래픽 표현을 도시한다.
도 5는 본 발명의 예시적인 실시예에 따른 촉각 베이스 응답을 제공하는 예시적인 방법의 흐름도이다.
도 6은 본 발명의 예시적인 실시예에 따른 예시적인 시스템을 나타낸다.
이제, 하나 이상의 실시예가 도면에 도시된 예들을 참조하여 상세히 설명될 것이다. 각 실시예는 본 발명 내용의 제한이 아니라 실시예들에 대한 설명을 위해 제공된다. 실제로, 본 발명 내용의 범위 또는 사상을 벗어나지 않고 다양한 변형 및 변경이 실시예들에 대해 이루어질 수 있음은 당업자에게 명백할 것이다. 예를 들어, 일 실시예의 일부로서 도시되거나 기술된 특징들은 또 다른 실시예와 함께 사용될 수 있다. 따라서, 본 발명의 양태들은 그러한 변형 및 변경을 포함하는 것으로 의도된다.
본 발명의 예시적인 양태들은 사용자 디바이스에 의해 오디오 신호와 연관된 촉각 베이스 응답을 제공하는 것에 관한 것이다. 예를 들어, 제1 사용자 디바이스는 제2 사용자 디바이스에 의해 출력된 오디오 신호와 연관된 촉각 베이스 응답을 제공하도록 구성될 수 있다. 제1 사용자 디바이스는 오디오 신호의 오디오 출력을 제공하고 및/또는 하나 이상의 햅틱 액추에이터를 사용하여 햅틱 신호를 제공할 수 있는 임의의 적절한 사용자 디바이스일 수 있다. 예를 들어, 제1 사용자 디바이스는 스마트 폰, 태블릿, 웨어러블 컴퓨팅 디바이스(예컨대, 스마트 시계, 휘트니스 밴드, 스마트 의류 등), 햅틱 신호 발생 디바이스 및/또는 다른 적절한 디바이스일 수 있다. 제2 사용자 디바이스는 (예를 들어, 무선 통신 경로 또는 유선 통신 경로와 같은 적합한 통신 경로를 통해) 제1 사용자 디바이스와 통신할 수 있고, 오디오 신호의 오디오 출력을 제공할 수 있는 임의의 적절한 사용자 디바이스일 수 있다. 예를 들어, 제2 사용자 디바이스는 스피커 디바이스, 헤드셋(예를 들어, 무선 헤드셋), 헤드폰(예를 들어, 무선 헤드폰), 이어폰(예를 들어, 무선 이어폰) 및/또는 다른 적절한 사용자 디바이스일 수 있다. 일부 구현예에서, 제1 및 제2 사용자 디바이스는 (예를 들어, 제2 오디오 디바이스에 의한) 오디오 신호 및 (예를 들어, 제1 오디오 디바이스에 의한) 상기 오디오 신호와 관련된 촉각 베이스 응답 표현의 재생을 조정하여, 상기 오디오 신호의 재생과 촉각 베이스 응답 표현이 실질적으로 동기화되도록 구성될 수 있다.
특히, 제1 사용자 디바이스는 제1 사용자 디바이스에 의한 제1 오디오 신호의 출력 및 제2 사용자 디바이스에 의한 제1 오디오 신호의 출력과 관련된 재생 지연을 결정할 수 있다. 재생 지연은 시간량과 일치할 수 있다. 예를 들어, 제1 오디오 신호는 제1 사용자 디바이스 및 제2 사용자 디바이스 모두에서 출력될 수 있다. 이러한 방식으로, 제1 사용자 디바이스는 제2 사용자 디바이스로 하여금 제1 오디오 신호를 나타내는 데이터를 제2 사용자 디바이스에 전송함으로써 제1 오디오 신호를 청각적으로 출력하게 할 수 있다. 제1 사용자 디바이스는 동시에(예를 들어, 제2 사용자 디바이스에 제1 오디오 신호를 나타내는 데이터를 제공하는 것과 실질적으로 동시에) 제1 사용자 디바이스에 의한 제1 오디오 신호의 출력을 개시할 수 있다. 일부 구현예에서, 제1 오디오 신호는 다수의 상이한 오디오 신호에 대응할 수 있다. 예를 들어, 제1 사용자 디바이스에 의해 출력된 오디오 신호는 제2 사용자 디바이스에 의해 출력된 오디오 신호와 상이한 오디오 신호일 수 있다. 이러한 방식으로, 제1 사용자 디바이스는 제1 사용자 디바이스에 의한 제1 오디오 신호를 나타내는 응답의 출력을 발생(야기)하고 제2 사용자 디바이스에 의한 제1 오디오 신호의 출력을 발생하도록 구성될 수 있다. 그 다음, 제1 사용자 디바이스는 제1 및 제2 사용자 디바이스 간의 제1 오디오 신호의 재생 지연을 결정할 수 있다.
예를 들어, 재생 지연은 제1 오디오 신호를 나타내는 데이터가 통신 경로를 통해 제1 사용자 디바이스로부터 제2 사용자 디바이스로 이동하는데 필요한 시간 량과 관련된 전파 지연에 의해 발생될 수 있다. 전파 지연은 제1 및 제2 사용자 디바이스 간의 불량 데이터 또는 손실된 데이터의 재전송에 의해 더 영향을 받을 수 있다. 전파 지연은 예를 들어, 제1 사용자 디바이스가 제2 사용자 디바이스와 무선으로 통신하는 모바일 애플리케이션에서 채널 조건을 변경함으로써 더 영향을 받을 수 있다. 재생 지연은 제1 사용자 디바이스 및/또는 제2 사용자 디바이스에 대한 국부적인 처리 지연에 의해 더 발생할 수 있다.
일부 구현예에서, 재생 지연은 제1 사용자 디바이스와 관련된 입력 변환기(input transducer)를 사용하여 결정될 수 있다. 예를 들어, 입력 변환기는 제2 사용자 디바이스에 의해 출력된 사운드를 검출하도록 구성될 수 있다. 그런 다음 검출 사운드에 적어도 부분적으로 기초하여 재생 지연이 결정될 수 있다. 일부 구현예에서, 재생 지연은 제2 사용자 디바이스와 관련된 입력 변환기를 사용하여 결정될 수 있다. 일부 구현예에서, 재생 지연은 제2 사용자 디바이스에 의해 제공된 확인 응답(acknowledgement) 메시지에 적어도 부분적으로 기초하여 결정될 수 있다. 예를 들어, 제1 오디오 신호를 나타내는 데이터를 수신하면, 제2 사용자 디바이스는 통신 경로를 통해(예를 들어, 오디오 채널 및/또는 통신 경로와 관련된 제어 채널을 통해) 확인 응답 메시지를 제1 사용자 디바이스에 제공할 수 있다. 재생 지연은 확인 응답 메시지에 적어도 부분적으로 기초하여 결정될 수 있다.
도시된 바와 같이, 제2 사용자 디바이스에 의한 제2 오디오 신호의 출력 및 제1 오디오 디바이스에 의한 제2 오디오 신호와 관련된 촉각 베이스 응답 표현의 조정은 재생 지연에 적어도 부분적으로 기초하여 결정될 수 있다. 조정은 상기 출력들이 실질적으로 동기화되도록 결정될 수 있다. 본 명세서에서 사용되는 "실질적으로 동기화된"이라는 용어는 제1 사용자 디바이스에 의한 촉각 베이스 응답 표현의 출력으로부터 허용 가능한 지연 임계치 내에서 일어나는 제2 사용자 디바이스에 의한 제2 오디오 신호의 출력을 지칭할 수 있다. 허용 가능한 지연 임계치는 상기 허용 가능한 지연 임계치보다 작거나 같은(이하의) 시간량만큼 분리된 2개 이상의 출력사이의 지연을 사용자가 알아 차릴 수 없도록 하는 시간량 또는 시간 간격일 수 있다.
제1 및 제2 사용자 디바이스에 의한 출력을 위해 사용자가 제2 오디오 신호를 선택할 때, 제2 오디오 신호와 관련된 촉각 베이스 응답 표현이 생성될 수 있다. 일부 구현예에서, 제2 오디오 신호는 제1 오디오 신호와 동일한 오디오 신호일 수 있다. 일부 구현예에서, 제2 오디오 신호는 제1 오디오 신호와 상이한 오디오 신호일 수 있다. 예를 들어, 제1 오디오 신호는 재생을 위해 사용자가 제2 오디오 신호를 선택할 때 구현될 재생 지연을 결정하는데 사용되는 테스트 신호일 수 있다.
일부 구현예에서, 촉각 베이스 응답 표현은 제2 오디오 신호를 하나 이상의 등화 필터에 적용하여 제2 오디오의 하나 이상의 주파수를 감쇠시킴으로써 생성될 수 있다. 예를 들어, 등화 필터는 베이스 주파수 범위(예를 들어, 60Hz~250Hz) 및/또는 서브-베이스(sub-bass) 주파수 범위(예를 들어, 16Hz~60Hz)를 벗어나는 주파수를 감쇠시키도록 구성될 수 있다. 다양한 적정 주파수를 감쇄시키기 위해 다양한 적정 필터 구성이 사용될 수 있음을 이해할 것이다. 이러한 방식으로, 촉각 베이스 응답 표현은 등화된 및/또는 필터링된 제2 오디오 신호일 수 있다.
일부 구현예에서, 촉각 베이스 응답 표현은 제1 사용자 디바이스와 관련된 하나 이상의 햅틱 액추에이터에 의해 제공되는 하나 이상의 햅틱 신호를 포함할 수 있다. 햅틱 또는 운동 감응(kinesthetic) 액추에이터는 사용자에게 힘, 진동 또는 움직임을 가함으로써 터치감을 재현하는 디바이스이다. 예를 들어, 햅틱 액추에이터는 선형 모터 액추에이터, 편심 모터 액추에이터 및/또는 다른 적절한 햅틱 액추에이터 일 수 있다. 햅틱 액추에이터(들)의 동작은 제2 오디오 신호의 베이스 부분에 대응하는 하나 이상의 햅틱 신호를 제공하도록 제어될 수 있다. 이러한 방식으로, 촉각 베이스 응답 표현은 제2 오디오 신호의 베이스 부분을 모방하는 햅틱 신호들을 포함할 수 있다. 예를 들어, 일부 구현예에서, 오디오 신호의 주파수 스펙트럼은 베이스 주파수 범위에서 하나 이상의 신호 피크 또는 임펄스를 검출하도록 분석될 수 있다. 햅틱 액추에이터(들)의 동작은 검출된 피크 또는 임펄스에 대응하는 햅틱 신호를 제공하도록 제어될 수 있다.
제1 사용자 디바이스에 의한 촉각 베이스 응답 표현의 출력은 실질적으로 출력을 동기화하도록 제2 사용자 디바이스에 의한 제2 오디오 신호의 출력과 조정될 수 있다. 조정은 촉각 베이스 응답 표현의 출력에 재생 지연을 적용함으로써 수행될 수 있어, 제1 사용자 디바이스가 재생 지연과 동일한 시간량 후에 촉각 베이스 응답 표현을 출력하도록 구성된다. 예를 들어, 제1 사용자 디바이스는 제2 사용자 디바이스에 의한 제2 오디오 신호의 출력을 위해 제2 사용자 디바이스에 제2 오디오 신호를 나타내는 데이터를 제공할 수 있다. 그런 다음, 제1 사용자 디바이스는 재생 지연에 적어도 부분적으로 기초하여 제1 사용자 디바이스에 의한 촉각 베이스 응답 표시의 출력을 지연시킴으로써 재생 지연을 적용할 수 있어서, 제1 사용자 디바이스가 제2 사용자 디바이스에 의한 제2 오디오 신호의 출력과 실질적으로 동기화된 방식으로 촉각 베이스 응답 표현을 출력한다. 일부 구현예에서, 제1 사용자 디바이스는 재생 지연과 동일한 시간 주기만큼 촉각 베이스 응답 표현의 출력을 시작하기 위해 단순히 대기할 수 있다. 일부 구현예에서, 제1 사용자 디바이스는 촉각 베이스 응답 표현의 출력을 제어하는 하나 이상의 신호로 재생 지연을 인코딩할 수 있다. 예를 들어, 제1 사용자 디바이스는 재생이 재생 지연 다음에 개시되도록 재생의 동작을 제어할 수 있다. 일부 구현예에서, 제1 사용자 디바이스는 재생 지연에 적어도 부분적으로 기초하여 널(null) 데이터 및/또는 무 출력(no output) 또는 무음 출력(silent output)을 나타내는 데이터로 촉각적인 베이스 응답 표현의 시작을 패딩(pad)할 수 있어서, 제1 사용자 디바이스에 의한 베이스 응답 표현이 촉각 베이스 응답 표현의 패딩된 부분을 포함한다.
일부 구현예에서, 제2 오디오 신호는 제2 사용자 디바이스와 관련된 하나 이상의 등화 필터에 더 제공될 수 있다. 제2 사용자 디바이스와 관련된 등화 필터는 제2 오디오 신호와 관련된 베이스 주파수를 감쇠시키도록 구성될 수 있다. 이러한 방식으로, 필터링된 제2 오디오 신호가 제2 사용자 디바이스에 의해 출력될 수 있으므로, 제2 사용자 디바이스는 더 적은 베이스 주파수를 출력한다. 이러한 등화 기술은 배터리 자원을 절약할 수 있다. 일부 구현예에서, 제2 오디오 신호 및/또는 촉각 베이스 응답 표현의 출력과 관련된 볼륨이 조정될 수 있다. 예를 들어, 일부 구현예에서, 사용자는 제1 사용자 디바이스 또는 제2 사용자 디바이스상의 볼륨을 선택할 수 있고, 다른 사용자 디바이스의 볼륨은 상기 선택된 볼륨과 일치하도록 조정될 수 있다. 일부 구현예에서, 제1 사용자 디바이스의 볼륨은 사용자에 대한 제1 사용자 디바이스의 위치에 적어도 부분적으로 기초하여 조정될 수 있다. 예를 들어, 제1 사용자 디바이스의 볼륨은 제1 사용자 디바이스가 사용자의 주머니에 있는지, 사용자의 손에 있는지, 사용자에 의해 보유되어 있지 않은지 등에 기초하여 조정될 수 있다. 유사하게, 일부 구현예에서, 제2 사용자 디바이스의 볼륨은 사용자에 대한 제2 사용자 디바이스의 위치에 적어도 부분적으로 기초하여 조정될 수 있다. 예를 들어, 제2 사용자 디바이스가 헤드셋인 구현예에서, 제2 사용자 디바이스의 볼륨은 제2 사용자 디바이스가 사용자의 귀에 있는지, 사용자의 귀 밖에 있는지, 사용자 목에 있는지 등에 기초하여 조정될 수 있다. 예를 들어, 제1 사용자 디바이스 및/또는 제2 사용자 디바이스의 위치는 제1 및/또는 제2 사용자 디바이스와 각각 관련된 하나 이상의 위치 인식 센서(positioning sensors)에 적어도 부분적으로 기초하여 결정될 수 있다. 예를 들어, 하나 이상의 센서는 관성 측정 유닛을 포함할 수 있다.
이제 도면을 참조하여, 본 발명의 예시적인 양태가 보다 상세히 논의될 것이다. 예를 들어, 도 1은 본 발명의 예시적인 실시예들에 따라 오디오 신호와 관련된 촉각 베이스 응답을 제공하기 위한 예시적인 시스템(100)을 도시한다. 시스템(100)은 제1 사용자 디바이스(102) 및 제2 사용자 디바이스(104)를 포함한다. 제1 사용자 디바이스(102)는 스마트 폰, 태블릿, 랩탑 컴퓨터, 데스크탑 컴퓨터, 웨어러블 컴퓨팅 디바이스 등과 같은 임의의 적절한 사용자 디바이스를 포함할 수 있다. 제2 사용자 디바이스(104)는 예를 들어, 스피커 디바이스, 헤드셋 등과 같이 오디오 신호를 청각적으로 출력할 수 있는 디바이스일 수 있다.
제1 사용자 디바이스(102)는 지연 결정기(106),베이스 응답 생성기(108) 및 출력 조정기(110)를 포함한다. 지연 결정기(106)는 제1 사용자 디바이스(102)에 의한 오디오의 출력과 제2 사용자 디바이스(104)에 의한 오디오의 출력 사이의 재생 지연을 결정하도록 구성될 수 있다. 재생 지연은 출력이 제1 사용자 디바이스(102)에 의해 개시될 때 제1 사용자 디바이스(102)와 비교하여 제2 사용자 디바이스(104)가 오디오 신호를 출력하는 데 필요한 시간의 차이에 해당할 수 있다. 오디오 신호는 사용자가 선택할 수 있다. 일부 구현예에서, 오디오 신호는 재생 지연을 결정하는데 사용되는 테스트 오디오 신호일 수 있다. 예를 들어, 제1 사용자 디바이스(102)는 통신 경로(112)를 통해 제2 사용자 디바이스(104)에 오디오 신호를 나타내는 데이터를 제공함으로써 제2 사용자 디바이스에 의한 오디오 신호의 출력을 개시할 수 있다. 통신 경로(112)는 무선 통신 경로 또는 유선 통신 경로일 수 있다. 통신 경로(112)가 무선 통신 경로인 구현예에서, 상기 통신 경로는 블루투스, Wi-Fi, Wi-Fi 다이렉트, 근거리 통신, 적외선 통신 등과 같은 다양한 적합한 무선 통신 기술을 이용하여 구현될 수 있다. 통신 경로(112)를 통해 오디오 신호를 나타내는 데이터 수신시, 제2 사용자 디바이스(104)는 제2 사용자 디바이스와 관련된 하나 이상의 오디오 출력 디바이스(116)(예컨대, 스피커)를 통해 오디오 신호를 출력할 수 있다.
제1 사용자 디바이스(102)는 예를 들어 오디오 신호를 나타내는 데이터를 오디오 출력 디바이스(118)에 제공함으로써 제1 사용자 디바이스와 관련된 오디오 출력 디바이스(118)에 의한 오디오 신호의 출력을 더 개시할 수 있다. 예를 들어, 제1 사용자 디바이스(102)는 제2 사용자 디바이스(104)에 의한 오디오 신호의 출력을 개시하는 것과 실질적으로 동시에 오디오 출력 디바이스(118)에 의한 오디오 신호의 출력을 개시할 수 있다. 이러한 방식으로, 제1 사용자 디바이스(102)는 오디오 신호를 나타내는 데이터를 제2 사용자 디바이스(104)에 제공하는 것과 실질적으로 동시에 오디오 출력 디바이스(118)로 오디오 신호를 나타내는 데이터를 제공할 수 있다. 재생 지연은 제1 사용자 디바이스(102) 및 제2 사용자 디바이스(104)에 의한 오디오 신호의 출력 타이밍에 적어도 부분적으로 기초하여 결정될 수 있다.
예를 들어, 도 2는 본 발명의 예시적인 실시예에 따른 제1 사용자 디바이스(102) 및 제2 사용자 디바이스(104)에 의한 예시적인 출력 타이밍(150)의 그래픽 표현을 나타낸다. 예를 들어, 제1 사용자 디바이스(102)는 시간(T1)에서 제1 사용자 디바이스(102) 및 제2 사용자 디바이스(104)에 의한 오디오 신호의 출력을 개시할 수 있다. 이러한 방식으로, 시간(T1)에서, 제1 사용자 디바이스(102)는 오디오 신호를 나타내는 데이터를 오디오 출력 디바이스(118) 및 제2 사용자 디바이스(104)에 제공할 수 있다. 제1 사용자 디바이스(102)는 시간(T2)에서 오디오 신호를 출력(예를 들어, 청각적으로 출력)할 수 있다. 시간(T1)과 시간(T2) 사이의 지연은 예를 들어 로컬 처리 지연 및/또는 제1 사용자 디바이스(102)에 의한 오디오 신호의 출력과 관련된 다른 지연에 의해 발생될 수 있다. 제2 사용자 디바이스(104)는 시간(T3)에서 오디오 신호를 출력(예를 들어, 청각적으로 출력)할 수 있다. 시간(T3)과 시간(T1) 사이의 지연은, 예를 들어, 통신 경로(112)를 통해 오디오 신호를 나타내는 데이터의 송신과 관련된 전송 및/또는 전파 지연, 제2 사용자 디바이스(104)에 의한 오디오의 출력과 관련된 로컬 처리 지연 및/또는 다른 지연에 의해 발생될 수 있다. 재생 지연은 T2와 T3 사이의 시간량에 해당할 수 있다. 이러한 방식으로, 재생 지연은 제1 사용자 디바이스(102)가 제2 사용자 디바이스(104)와 비교하여 오디오 신호를 출력하는데 필요한 시간의 차이와 동일한 시간량에 해당할 수 있다.
다시 도 1을 참조하면, 재생 지연은 예를 들어 제1 사용자 디바이스(102)와 관련된 입력 변환기(input transducer)(120)를 사용하여 결정될 수 있다. 예를 들어, 입력 변환기(120)는 마이크로폰, 또는 사운드를 "감지"하거나 검출할 수 있는 다른 적절한 입력 변환기일 수 있다. 이러한 방식으로, 제2 사용자 디바이스(104)에 의한 오디오 신호의 가청 출력시에, 입력 변환기(120)는 제2 사용자 디바이스(104)에 의한 출력으로서 오디오 신호와 관련된 사운드를 감지 또는 검출할 수 있다. 그런 다음 지연 결정기(106)는 검출된 사운드에 적어도 부분적으로 기초하여 재생 지연을 결정할 수 있다. 예를 들어, 지연 결정기(106)는 입력 변환기(120)에 의해 사운드가 검출된 시간을 시간(T2)(예를 들어, 제1 사용자 디바이스(102)가 오디오 신호를 출력하는 시간)까지 감산하여 재생 지연을 결정할 수 있다. 일부 구현예에서, 재생 지연은 제2 사용자 디바이스(104)와 관련된 입력 변환기(124)에 적어도 부분적으로 기초하여 결정될 수 있다. 예를 들어, 제2 사용자 디바이스(104)에 의한 오디오 신호의 가청 출력시, 입력 변환기(124)는 제2 사용자 디바이스(104)에 의한 출력으로서 오디오 신호와 관련된 사운드를 감지 또는 검출할 수 있다. 검출된 사운드와 관련된 데이터(예를 들어, 검출된 사운드와 관련된 타이밍 정보)는 제1 사용자 디바이스(102)에 제공될 수 있다. 지연 결정기(106)는 검출된 사운드와 관련된 데이터에 적어도 부분적으로 기초하여 재생 지연을 결정할 수 있다.
일부 구현예에서, 지연 결정기(106)는 오디오 신호를 나타내는 데이터를 수신하는 것에 응답하여 제2 사용자 디바이스(104)에 의해 제1 사용자 디바이스(102)에 제공된 확인 응답 메시지에 적어도 부분적으로 기초하여 재생 지연을 결정할 수 있다. 예를 들어, 확인 응답 메시지는 데이터의 수신 시간을 나타내는 타임 스탬프를 포함할 수 있다. 확인 응답 메시지는 통신 경로(112)를 통해 제공될 수 있다. 예를 들어, 일부 구현예에서, 확인 응답 메시지는 통신 경로(112)와 관련된 제어 채널을 통해 제공될 수 있다. 일부 구현예에서, 확인 응답 메시지는 통신 경로(112)와 관련된 오디오 채널을 통해 제공될 수 있다.
베이스 응답 생성기(108)는 제2 오디오 신호와 관련된 촉각 베이스 응답 표현을 생성하도록 구성될 수 있다. 예를 들어, 제2 오디오 신호는 제1 사용자 디바이스(102) 및/또는 제2 사용자 디바이스(104)에 의해 출력되도록 사용자에 의해 선택될 수 있다. 일부 구현예에서, 촉각 베이스 응답 표현은 제2 오디오 신호에 대응하는 필터링된 및/또는 등화된 오디오 신호일 수 있다. 이러한 구현예에서, 베이스 응답 생성기(108)는 제1 사용자 디바이스(102) 내에 구현된 하나 이상의 등화 필터에 제2 오디오 신호를 적용함으로써 촉각 베이스 응답 표현을 생성할 수 있다. 예를 들어, 하나 이상의 등화 필터는 하나 이상의 멀티-밴드 이퀄라이저, 대역 통과 필터, DC 노치 필터, 고역 통과 필터, 하이 쉘프(high shelf) 필터, 저역 통과 필터, 로우 쉘프 필터, 노치 필터, 파라메트릭 이퀄라이저 및/또는 임의의 다른 적절한 필터일 수 있다. 하나 이상의 등화 필터는 제2 오디오 신호의 고주파수를 감쇠시키도록 구성될 수 있다. 필터들은 촉각 베이스 응답 표현을 생성하기 위해 다양한 방식으로 구성 및/또는 배열될 수 있다. 예를 들어, 하나 이상의 등화 필터는 제2 오디오 신호에서 비-베이스 주파수(예를 들어, 250Hz 이상의 주파수)를 감쇠시키도록 구성될 수 있다. 하나 이상의 등화 필터들의 출력은 필터링된 제2 오디오 신호일 수 있다. 이러한 방식으로, 촉각 베이스 응답 표현은 필터링된 제2 오디오 신호일 수 있다.
일부 구현예에서, 촉각 베이스 응답 표현은 제1 사용자 디바이스와 관련된 하나 이상의 햅틱 액추에이터(122)와 관련된 하나 이상의 햅틱 신호를 포함할 수 있다. 예를 들어, 햅틱 신호는 오디오 신호 내의 베이스 주파수에 대응하도록 결정될 수 있다. 이러한 방식으로, 촉각 베이스 응답 표현의 출력은 제2 오디오 신호의 베이스 주파수로 조정되는 햅틱 액추에이터(122)에 의한 하나 이상의 햅틱 신호의 출력을 포함할 수 있다. 예를 들어, 그러한 촉각 베이스 응답 표현은 제2 오디오 신호의 베이스 주파수 범위 내의 하나 이상의 피크 또는 임펄스를 검출함으로써 결정될 수 있다. 피크는 하나 이상의 적합한 피크 검출 알고리즘을 사용하여 검출될 수 있다. 예를 들어, 피크 또는 임펄스는 임계값 이상의 진폭을 갖는 베이스 주파수 범위 내의 제2 오디오 신호의 일부를 포함할 수 있다. 베이스 응답 생성기(108)는 검출된 피크 또는 임펄스에 적어도 부분적으로 기초하여 촉각 베이스 응답 표현을 결정할 수 있다. 베이스 응답 생성기(108)는 햅틱 액추에이터(122)가 상기 검출된 피크 또는 임펄스에 대응하는 햅틱 신호를 제공하도록 햅틱 액추에이터(들)(122)의 동작을 제어할 수 있다. 예를 들어 햅틱 신호의 타이밍은 피크 또는 임펄스의 타이밍에 대응할 수 있다. 햅틱 신호의 강도는 검출된 피크 또는 임펄스의 진폭에 대응할 수 있다. 이러한 방식으로, 촉각 베이스 응답 표현은 제2 오디오 신호의 베이스 구성에 대응할 수 있어, 제2 오디오 신호가 출력될 때 베이스 구성의 표현을 제공할 수 있다.
촉각 베이스 응답 표현의 결정시, 출력 조정기(110)는 제1 사용자 디바이스(102) 및 제2 사용자 디바이스(104)에 의한 출력을 동기화하기 위해 제2 오디오 신호의 출력 및 촉각 베이스 응답 표현을 조정할 수 있다. 특히, 출력 조정기는 재생 지연에 적어도 부분적으로 기초하여 출력을 조정할 수 있다. 예를 들어, 출력 조정기(110)는 재생 지연에 적어도 부분적으로 기초하여 출력 타이밍을 제어하여 출력들이 사용자 디바이스들간에 실질적으로 동기화되도록 할 수 있다.
출력 조정기(110)는 제1 사용자 디바이스(102) 및 제2 사용자 디바이스(104)의 출력을 출력 동기화하는 목적에 따라 다양한 방식으로 조정할 수 있음을 알 것이다. 일부 구현예에서, 출력 조정기(110)는 출력 지연에 적어도 부분적으로 기초하여 제2 오디오 신호를 나타내는 데이터를 제2 사용자 디바이스(104)에 제공하는 것에 관련하여 상기 촉각 베이스 응답 표현을 나타내는 데이터를 오디오 출력 디바이스(118) 및/또는 촉각 액추에이터(122)에 제공하는 것을 보류함으로써 출력들을 조정할 수 있다. 예를 들어, 도 3은 본 발명의 예시적인 실시예에 따라 실질적으로 동기화된 출력을 제공하기 위한 출력 타이밍(160)의 예시적인 그래픽 표현을 나타낸다. 출력 조정기(110)는 시간(T1)에서 제2 사용자 디바이스(104)로 제공될 제2 오디오 신호를 나타내는 데이터를 정렬할 수 있다. 출력 조정기(110)는 시간(T4)에서 오디오 출력 디바이스(118) 및/또는 촉각 액추에이터(들)(122)로 제공될 촉각 베이스 응답 표현을 나타내는 데이터를 더 정렬할 수 있다. 시간(T4)은 시간(T1) 및 재생 지연에 적어도 부분적으로 기초하여 결정될 수 있다. 예를 들어, 도시된 바와 같이, 시간(T4)는 재생 지연과 동일한 시간 주기만큼 시간(T1) 후에 발생할 수 있다. 이러한 방식으로, 시간(T3)에서 제1 사용자 디바이스(102) 및 제2 사용자 디바이스(104)가 촉각 베이스 응답 표현 및 제2 오디오 신호를 각각 실질적으로 동기화된 방식으로 출력하게 하는 목적으로 조정이 수행될 수 있다.
일부 구현예에서, 출력 조정기(110)는 촉각 베이스 응답 표현을 나타내는 데이터로 또는 촉각 베이스 응답 표현의 출력을 제어하는 하나 이상의 신호 내에서 재생 지연을 인코딩할 수 있다. 예를 들어, 도 4는 본 발명의 예시적인 실시예에 따른 예시적인 출력 타이밍(162)의 그래픽 표현을 나타낸다. 출력 조정기(110)는 시간(T1)에서 오디오 출력 디바이스(118) 및/또는 햅틱 액추에이터(들)(122)에 제공될 촉각 베이스 응답 표현을 나타내는 데이터를 정렬할 수 있고, 시간(T1)에서 제2 사용자 디바이스에 제공될 제2 오디오 신호를 나타내는 데이터를 정렬할 수 있다. 출력 조정기(110)는 제1 사용자 디바이스(102)가 시간(T2)에서 널 데이터(164) 출력을 시작하도록 널 데이터(164) 또는 다른 데이터로 촉각 베이스 응답 표현을 나타내는 데이터를 더 패딩(pad)할 수 있다. 널 데이터(164)는 재생 지연과 동일한 시간량에 대응할 수 있다. 이러한 방식으로, 제1 사용자 디바이스(102)는 시간(T3)까지 널 데이터(164)를 출력할 수 있다. 그런 다음 제1 사용자 디바이스(102)는 제2 사용자 디바이스(104)가 제2 오디오 신호의 출력을 시작할 것으로 예상되는 시간(T3)에서 촉각 베이스 응답 표현의 출력을 시작할 수 있다.
도 1을 다시 참조하면, 일부 구현예에서, 베이스 응답 생성기(108)는 촉각 베이스 응답 표현의 적어도 일부를 실시간 또는 거의 실시간으로 결정하도록 구성될 수 있다. 이러한 구현예에서, 피크 검출은 제2 오디오 신호를 나타내는 데이터를 제2 사용자 디바이스(104)에 제공하는 것과 동시에 제2 오디오 신호상에서 개시될 수 있다. 예를 들어, 제2 오디오 신호는 도 2 내지 도 4에 도시된 시간(T1)에서 하나 이상의 피크 검출 알고리즘에 제공될 수 있다. 제2 오디오 신호를 나타내는 데이터는 시간(T1)에서 제2 사용자 디바이스(104)로 더 제공될 수 있다. 베이스 응답 생성기는 검출된 피크의 발생에 응답하여 각각의 검출된 피크에 대한 하나 이상의 햅틱 신호를 결정할 수 있다. 그 후, 출력 조정기(110)는 햅틱 액추에이터(들)(122)가 재생 지연과 동일한 시간 주기 후에 햅틱 신호를 출력하도록 상기 결정된 햅틱 신호에 재생 지연을 적용할 수 있다. 이러한 방식으로, 햅틱 신호는 제2 사용자 디바이스(104)의 출력과 실질적으로 동기화될 수 있다.
일부 구현예에서, 촉각 베이스 응답 표현은 하나 이상의 햅틱 신호 및 감쇠된 비-베이스 주파수를 갖는 필터링된 제2 오디오 신호의 출력을 포함할 수 있다. 이러한 방식으로, 촉각 베이스 응답 표현의 출력은 오디오 디바이스(118) 및 햅틱 액추에이터(들)(122)에 의해 수행될 수 있다. 이러한 구현예에서, 햅틱 신호의 결정, 및 햅틱 신호 및 필터링된 오디오 신호의 출력은 다양한 적절한 방식으로 조정될 수 있다.
도 5는 본 발명의 예시적인 실시예에 따라 촉각 베이스 응답을 제공하는 예시적인 방법(200)의 흐름도를 도시한다. 방법(200)은 도 6에 도시된 하나 이상의 컴퓨팅 디바이스와 같은 하나 이상의 컴퓨팅 디바이스에 의해 구현될 수 있다. 특정 구현예에서, 방법(200)은 도 1에 도시된 지연 결정기(106), 베이스 응답 생성기(108) 및 출력 조정기(110)에 의해 구현될 수 있다. 또한, 도 3은 예시 및 논의를 위해 특정 순서로 수행되는 단계들을 도시한다. 당업자라면, 본 명세서에 제공된 개시 내용을 사용하여, 본 명세서에서 논의된 임의의 방법의 단계들이 본 발명의 범위를 벗어나지 않으면서 다양한 방식으로 변형, 재배치, 확장, 생략 또는 변형될 수 있음을 이해할 것이다.
단계(202)에서, 방법(200)은 제1 오디오 신호를 출력하도록 제1 사용자 디바이스 및 제2 사용자 디바이스에게 지시하는 단계를 포함할 수 있다. 예를 들어, 제1 오디오 신호를 나타내는 데이터 및 제1 오디오 신호를 출력하는 명령들이 제1 사용자 디바이스 및 제2 사용자 디바이스에게 제공될 수 있다. 명령들은 실질적으로 동시에(예를 들어, 동시에 또는 실질적으로 동시에) 제공될 수 있다. 일부 구현예에서, 제1 사용자 디바이스는 제1 사용자 디바이스내에 구현된 오디오 출력 디바이스 및 제2 사용자 디바이스에 명령들을 제공할 수 있다.
단계(204)에서, 방법(200)은 제1 사용자 디바이스에 의한 제1 오디오 신호의 출력과 제2 사용자 디바이스에 의한 제1 오디오 신호의 출력 사이의 재생 지연을 결정하는 단계를 포함할 수 있다. 도시된 바와 같이, 제2 사용자 디바이스에 의한 출력은 전송 또는 전파 지연, 제1 또는 제2 사용자 디바이스와 관련된 처리 지연 및/또는 다른 지연에 적어도 부분적으로 인해 제1 사용자 디바이스의 출력에 비해 지연될 수 있다. 일부 구현예에서, 재생 지연은 제1 사용자 디바이스 및/또는 제2 사용자 디바이스에 의한 제1 오디오 신호의 가청 출력에 적어도 부분적으로 기초하여 결정될 수 있다. 가청 출력은 제1 및/또는 제2 사용자 디바이스와 관련된 입력 변환기에 의해 검출되거나 감지될 수 있다. 예를 들어, 제2 사용자 디바이스의 출력은 제1 사용자 디바이스와 연관된 변환기에 의해 검출될 수 있고, 검출 타이밍은 제1 사용자 디바이스에 의한 출력 타이밍과 비교될 수 있다. 다른 예로서, 제2 사용자 디바이스의 출력은 제2 사용자 디바이스와 관련된 입력 변환기에 의해 검출될 수 있고, 검출을 나타내는 데이터는 재생 지연을 결정하기 위해 제1 사용자 디바이스에 제공될 수 있다.
일부 구현예에서, 재생 지연은 제1 오디오 신호를 나타내는 데이터의 수신에 응답하여 제2 사용자 디바이스가 제1 사용 디바이스에 제공한 확인 응답 메시지에 적어도 부분적으로 기초하여 결정될 수 있다. 예를 들어, 제1 오디오 신호를 나타내는 데이터의 수신 시간을 나타내는 타임 스탬프는 응답 메시지 내에 포함될 수 있고, 제2 사용자 디바이스 및/또는 제1 사용자 디바이스에 의한 제1 오디오 신호의 출력 시간과 비교될 수 있다. 재생 지연은 본 발명의 범위를 벗어나지 않으면서 다양한 적절한 방식으로 결정될 수 있음을 이해할 것이다.
단계(206)에서, 방법(200)은 제2 오디오 신호와 관련된 촉각 베이스 응답 표현을 결정하는 단계를 포함할 수 있다. 일부 구현예에서, 제2 오디오 신호는 사용자에 의한 출력을 위해 선택될 수 있다. 일부 구현예에서, 제2 오디오 신호는 제1 오디오 신호와 동일한 오디오 신호일 수 있다. 촉각 베이스 응답 표현은 제2 오디오 신호를 필터링하여 베이스 주파수 범위(예를 들어, 60Hz 내지 250Hz)에 있지 않은 주파수를 감쇠시킴으로써 결정될 수 있다. 이러한 방식으로, 제2 오디오 신호는 이러한 비-베이스 주파수를 감쇠하도록 구성된 하나 이상의 등화 필터로 제공될 수 있다. 일부 구현예에서, 촉각 베이스 응답 표현은 제1 사용자 디바이스와 관련된 하나 이상의 햅틱 액추에이터에 의해 출력될 하나 이상의 햅틱 신호를 포함할 수 있다. 일부 구현예에서, 햅틱 액추에이터(들)는 제1 사용자 디바이스로부터 분리될 수 있다. 예를 들어, 햅틱 액추에이터(들)는 제1 사용자 디바이스와 통신하는 다른 디바이스 내에 구현될 수 있다. 제1 사용자 디바이스는 별도의 디바이스에 촉각 베이스 응답 표현(예컨대, 햅틱 신호)을 출력하도록 지시하기 위해 촉각 베이스 응답 표현을 나타내는 데이터를 개별 디바이스에 제공할 수 있다.
단계(208)에서, 방법(200)은 제2 오디오 신호를 청각적으로 출력하도록 제2 사용자 디바이스에 지시하는 단계를 포함할 수 있다. 특히, 명령들은 제1 시간에 제2 사용자 디바이스에게 제공될 수 있다. 이러한 방식으로, 제1 사용자 디바이스는 제1 시간에 제2 오디오 신호를 나타내는 데이터를 제2 사용 디바이스에게 제공할 수 있다.
단계(210)에서, 방법(200)은 제1 사용자 디바이스가 제2 시간에 촉각 베이스 응답 표현을 출력하게 하는 단계를 포함할 수 있다. 제2 시간은 제1 시간에 대한 후속 시간일 수 있다. 제2 시간은 재생 지연에 적어도 부분적으로 기초하여 결정될 수 있다. 이러한 방식으로, 제1 및 제2 사용자 디바이스의 출력이 조정될 수 있으므로 촉각 베이스 응답의 출력은 제2 오디오 신호의 출력에 시간적으로 상관될(예를 들어, 실질적으로 동기화될) 수 있다. 일부 구현예에서, 조정은 재생 지연에 기초하여 촉각 베이스 응답을 출력하기 위한 제1 사용자 디바이스에 대한 명령들의 제공을 보류함으로써 수행될 수 있다. 예를 들어, 명령들은 제1 시간과 제2 시간 사이에 있는 제3 시간에서 제공될 수 있다. 제3 시간은 재생 지연에 적어도 부분적으로 기초하여 결정될 수 있다. 일부 구현예에서, 조정은 촉각 베이스 응답을 나타내는 데이터를 널 데이터로 패딩함으로써 수행될 수 있어, 촉각 베이스 응답 표현의 출력 이전에 널 데이터가 출력된다. 널 데이터는 재생 지연에 적어도 부분적으로 기초하여 결정될 수 있다. 출력들의 조정은 출력을 동기화하는 목적으로 다양한 적절한 방식으로 수행될 수 있음을 이해할 것이다.
도 6은 본 발명의 예시적인 양태에 따른 방법 및 시스템을 구현하는데 사용될 수 있는 예시적인 컴퓨팅 시스템(300)을 도시한다. 시스템(300)은 네트워크 (340)를 통해 하나 이상의 제2 사용자 디바이스(330)와 통신하는 제1 사용자 디바이스(310)를 포함하는 클라이언트-서버 아키텍처를 이용하여 구현될 수 있다. 시스템(300)은 단일 컴퓨팅 디바이스와 같은 다른 적절한 아키텍처를 사용하여 구현될 수 있다.
시스템(300)은 제1 사용자 디바이스(310)를 포함한다. 제1 사용자 디바이스(310)는 스마트 폰, 태블릿, 데스크탑 컴퓨터, 랩탑 컴퓨터, 웨어러블 컴퓨팅 디바이스, 햅틱 액추에이터 등과 같은 임의의 적절한 컴퓨팅 디바이스일 수 있다. 제1 사용자 디바이스(310)는 하나 이상의 프로세서(312) 및 하나 이상의 메모리 디바이스(314)를 가질 수 있다. 제1 사용자 디바이스(310)는 또한 네트워크(340)를 통해 하나 이상의 제2 사용자 디바이스(330)와 통신하는데 사용되는 네트워크 인터페이스를 포함할 수 있다. 네트워크 인터페이스는 예를 들어 송신기, 수신기, 포트, 제어기, 안테나 또는 다른 적절한 구성 요소를 포함하는 하나 이상의 네트워크와 인터페이스하기 위한 임의의 적절한 구성 요소를 포함할 수 있다.
하나 이상의 프로세서(312)는 중앙 처리 장치, 마이크로 프로세서, 마이크로 컨트롤러, 집적 회로, 논리 디바이스 또는 다른 적절한 처리 디바이스와 같은 임의의 적절한 처리 디바이스를 포함할 수 있다. 하나 이상의 메모리 디바이스(314)는 비-일시적 컴퓨터 판독 가능 매체, RAM, ROM, 하드 드라이브, 플래시 드라이브, 또는 다른 메모리 디바이스를 포함하지만 이에 한정되지 않는 하나 이상의 컴퓨터 판독 가능 매체를 포함할 수 있다. 하나 이상의 메모리 디바이스(314)는 하나 이상의 프로세서(312)에 의해 실행될 수 있는 컴퓨터 판독 가능 명령(316)을 포함하여, 하나 이상의 프로세서(312)에 의해 액세스 가능한 정보를 저장할 수 있다. 명령들(316)은 하나 이상의 프로세서(312)에 의해 실행될 때 하나 이상의 프로세서(312)로 하여금 동작들을 수행하게 하는 임의의 명령 세트일 수 있다. 예를 들어, 명령들(316)은 도 1에 도시된 지연 결정기(106), 베이스 응답 생성기(108) 및 출력 조정기(110)를 구현하기 위해 하나 이상의 프로세서들(312)에 의해 실행될 수 있다.
도 6에 도시된 바와 같이, 하나 이상의 메모리 디바이스(314)는 또한 하나 이상의 프로세서(312)에 의해 검색, 조작, 생성 또는 저장될 수 있는 데이터(318)를 저장할 수 있다. 데이터(318)는 예를 들어, 촉각 베이스 응답 데이터, 지연 데이터 및 다른 데이터를 포함할 수 있다. 데이터(318)는 제1 사용자 디바이스(310) 및/또는 하나 이상의 데이터베이스에 국부적으로 저장될 수 있다. 하나 이상의 데이터베이스는 고 대역 LAN 또는 WAN에 의해 제1 사용자 디바이스(310)에 접속될 수 있거나 네트워크(340)를 통해 제1 사용자 디바이스(310)에 접속될 수 있다. 상기 하나 이상의 데이터베이스는 여러 로케일에 위치하도록 분할될 수 있다.
제1 사용자 디바이스(310)는 하나 이상의 오디오 출력 디바이스(118), 입력 변환기(120), 하나 이상의 햅틱 액추에이터(122) 터치 스크린, 터치 패드, 데이터 입력 키들, 스피커, 및/또는 음성 입식에 적합한 마이크로폰과 같은 사용자로부터 정보를 제공 및 수신하기 위한 다양한 입/출력 디바이스를 포함할 수 있다. 예를 들어, 제1 사용자 디바이스(310)는 본 발명의 예시적인 양태에 따라 사용자 인터페이스를 제공하기 위한 디스플레이 디바이스를 가질 수 있다.
제1 사용자 디바이스(310)는 네트워크(340)를 통해 하나 이상의 제2 사용자 디바이스(330)와 데이터를 교환할 수 있다. 임의의 수의 제2 사용자 디바이스(330)가 네트워크(340)를 통해 제1 사용자 디바이스(310)에 접속될 수 있다는 것을 알 수 있을 것이다. 제2 사용자 디바이스들(330) 각각은 스피커 디바이스, 오디오 출력 디바이스, 헤드셋 디바이스, 범용 컴퓨터, 전용 컴퓨터, 랩탑, 데스크탑, 모바일 디바이스, 네비게이션 시스템, 스마트 폰, 태블릿 , 웨어러블 컴퓨팅 디바이스, 하나 이상의 프로세서를 갖는 디스플레이, 또는 다른 적절한 컴퓨팅 디바이스와 같은 임의의 적절한 유형의 컴퓨팅 디바이스일 수 있다.
제1 사용자 디바이스(310)와 유사하게, 제2 사용자 디바이스(330)는 하나 이상의 프로세서(들)(332) 및 메모리(334)를 포함할 수 있다. 하나 이상의 프로세서(들)(332)는 하나 이상의 중앙 처리 장치(CPUs), 마이크로 프로세서, 마이크로 컨트롤러, 집적 회로, 논리 디바이스 및/또는 다른 처리 디바이스를 포함할 수 있다. 메모리(334)는 하나 이상의 컴퓨터 판독 가능 매체를 포함할 수 있고, 하나 이상의 프로세서(332) 및 데이터(338)에 의해 실행될 수 있는 명령들(336)을 포함하여, 하나 이상의 프로세서들(332)에 의해 액세스 가능한 정보를 저장할 수 있다. 예를 들어, 메모리(334)는 본 발명의 예시적인 양태들을 구현하기 위한 명령들(336)을 저장할 수 있다.
도 6의 제2 사용자 디바이스(330)는 하나 이상의 오디오 출력 디바이스들(116), 입력 변환기(124), 터치 스크린, 터치 패드, 데이터 입력 키, 및/또는 음성 인식에 적합한 마이크로폰과 같은, 사용자로부터 정보를 제공 및 수신하기 위한 다양한 입/출력 디바이스를 포함할 수 있다.
제2 사용자 디바이스(330)는 또한 네트워크(340)를 통해 하나 이상의 원격 컴퓨팅 디바이스(예를 들어, 제1 사용자 디바이스(310))와 통신하는데 사용되는 네트워크 인터페이스를 포함할 수 있다. 네트워크 인터페이스는 예를 들어 송신기, 수신기, 포트, 제어기, 안테나 또는 다른 적절한 구성 요소를 포함하여 하나 이상의 네트워크와 인터페이스하기 위한 임의의 적절한 구성 요소를 포함할 수 있다.
네트워크(340)는 근거리 통신망(예컨대, 인트라넷), 광역 통신망(예컨대, 인터넷), 셀룰러 네트워크 또는 이들의 조합과 같은, 임의의 유형의 통신 네트워크 일 수 있다. 네트워크(340)는 또한 제2 사용자 디바이스(330)와 제1 사용자 디바이스(310) 간의 다이렉트 연결을 포함할 수 있다. 일반적으로, 제1 사용자 디바이스(310)와 제2 사용자 디바이스(330) 간의 통신은 다양한 통신 프로토콜(예를 들어, TCP/IP, UDP/IP, RTP, RTSP, HTTP, SMTP, FTP), 인코딩 또는 포멧(예를 들어, HTML, XML) 및/또는 보호 체계(예를 들어, VPN, 보안 HTTP, SSL)를 사용하여, 임의의 유형의 유선 및/또는 무선 연결을 사용하여 네트워크 인터페이스를 통해 전달될 수 있다.
본 명세서에서 논의된 기술은 서버, 데이터베이스, 소프트웨어 애플리케이션 및 다른 컴퓨터 기반 시스템뿐만 아니라 취해진 동작 및 그러한 시스템으로/로부터 전송된 정보를 참조한다. 당업자는 컴퓨터 기반 시스템의 본래의 유연성이 다양한 구성, 조합, 및 구성 요소간의 작업 및 기능 분할을 허용한다는 것을 인식할 것이다. 예를 들어, 본 명세서에 설명된 서버 프로세스는 단일 서버 또는 조합으로 작동하는 다수의 서버를 사용하여 구현될 수 있다. 데이터베이스 및 애플리케이션은 단일 시스템상에서 구현되거나 다수의 시스템에 걸쳐 분산될 수 있다. 분산된 구성 요소는 순차적으로 또는 병렬로 작동할 수 있다.
본 발명은 그 특정 실시예와 관련하여 상세히 설명되었지만, 당업자라면 전술한 내용을 이해할 때 그러한 실시예에 대한 변경 및 등가물을 쉽게 생성할 수 있음을 이해할 것이다. 따라서, 본 발명의 범위는 제한을 위한 것이라기보다는 예로서 존재하며, 본 발명은 당업자에게 용이하게 명백한 바와 같이 본 발명의 주제에 대한 그러한 수정, 변형 및/또는 추가의 포함을 배제하지 않는다.
Claims (22)
- 하나 이상의 사용자 디바이스(104)에 촉각 베이스(tactile bass) 응답을 제공하는 컴퓨터 구현 방법으로서,
하나 이상의 프로세서에 의해, 제1 사용자 디바이스(102)가 제1 오디오 신호를 나타내는 응답을 출력하고, 제2 사용자 디바이스(104)가 상기 제1 오디오 신호를 출력하게 하는 단계;
제1 사용자 디바이스(102)의 변환기(120)에 의해 상기 제2 사용자 디바이스(104)로부터의 출력을 검출하는 단계 및 상기 검출 단계에 기초하여, 상기 하나 이상의 프로세서에 의해, 상기 제1 사용자 디바이스(102)에 의한 제1 오디오 신호를 나타내는 상기 응답의 출력 및 상기 제2 사용자 디바이스(104)에 의한 제1 오디오 신호의 출력 사이의 재생 지연을 결정하는 단계;
상기 하나 이상의 프로세서에 의해, 제1 시간(T1)에 상기 제2 사용자 디바이스(104)가 제2 오디오 신호를 출력하게 하는 단계; 및
상기 하나 이상의 프로세서에 의해, 제2 시간(T3)에 촉각 베이스 응답이 실행되도록 제1 사용자 디바이스(102)가 제2 오디오 신호와 관련된 촉각 베이스 응답 표현을 실행하도록 하는 단계를 포함하고, 상기 제2 시간(T3)은 상기 재생 지연에 적어도 부분적으로 기초하여 결정되어 상기 촉각 베이스 응답 표현 및 제2 오디오 신호의 출력을 동기화시키는 것을 특징으로 하는 컴퓨터 구현 방법. - 제1항에 있어서,
상기 제1 사용자 디바이스(102)가 제1 오디오 신호를 나타내는 응답을 출력하게 하는 단계는,
상기 제2 사용자 디바이스(104)가 제1 오디오 신호를 출력하는 단계와 동시에 발생하는 것을 특징으로 하는 컴퓨터 구현 방법. - 제1항에 있어서,
상기 하나 이상의 프로세서에 의해, 제1 사용자 디바이스(102)가 제1 오디오 신호를 출력하고, 제2 사용자 디바이스(104)가 제1 오디오 신호를 출력하게 하는 단계는,
상기 제1 사용자 디바이스(102)가 제1 사용자 디바이스(102)와 관련된 스피커 디바이스(118)로 제1 오디오 신호를 출력하고, 상기 제2 사용자 디바이스(104)가 제2 사용자 디바이스(104)와 관련된 스피커 디바이스(116)로 제1 오디오 신호를 출력하게 하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법. - 삭제
- 제1항에 있어서,
상기 하나 이상의 프로세서에 의해, 상기 제2 오디오 신호와 관련된 촉각 베이스 응답 표현을 생성하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법. - 제5항에 있어서,
상기 하나 이상의 프로세서에 의해, 상기 촉각 베이스 응답 표현을 생성하는 단계는 임계치 이상인 상기 제2 오디오 신호와 관련된 오디오 주파수를 제거 또는 감소시키도록 구성된 하나 이상의 등화 필터에 상기 제2 오디오 신호를 적용하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법. - 제6항에 있어서,
상기 하나 이상의 프로세서에 의해, 상기 제1 사용자 디바이스(102)가 촉각 베이스 응답 표현을 실행하게 하는 단계는,
상기 제1 사용자 디바이스(102)가 제1 사용자 디바이스(102)와 관련된 스피커 디바이스(118)로 상기 생성된 촉각 베이스 응답 표현을 출력하게 하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법. - 제5항에 있어서,
상기 하나 이상의 프로세서에 의해, 촉각 베이스 응답 표현을 생성하는 단계는 상기 하나 이상의 프로세서에 의해, 주파수 임계치 이하인 제2 오디오 신호와 관련된 하나 이상의 피크 또는 임펄스를 검출하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법. - 제8항에 있어서,
상기 하나 이상의 프로세서에 의해, 상기 제1 사용자 디바이스(102)가 촉각 베이스 응답 표현을 실행하게 하는 단계는,
상기 하나 이상의 프로세서에 의해, 상기 생성된 촉각 베이스 응답 표현에 적어도 부분적으로 기초하여 제1 사용자 디바이스(102)와 관련된 하나 이상의 햅틱 액추에이터(122)의 동작을 제어하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법. - 제1항에 있어서,
상기 제1 오디오 신호 및 제2 오디오 신호는 동일한 오디오 신호인 것을 특징으로 하는 컴퓨터 구현 방법. - 제1항에 있어서,
상기 제2 시간은 제1 시간과 상이한 것을 특징으로 하는 컴퓨터 구현 방법. - 컴퓨팅 시스템으로서,
하나 이상의 프로세서; 및
하나 이상의 프로세서에 의해 실행될 때 상기 하나 이상의 프로세서로 하여금 동작들을 수행하게 하는 컴퓨터 판독 가능 명령들을 저장하는 하나 이상의 메모리 디바이스를 포함하고, 상기 동작들은,
제1 사용자 디바이스(102)가 제1 오디오 신호를 나타내는 응답을 출력하고, 제2 사용자 디바이스(104)가 상기 제1 오디오 신호를 출력하게 하는 단계;
제1 사용자 디바이스(102)의 변환기(120)에 의해 상기 제2 사용자 디바이스(104)로부터의 출력을 검출하는 단계 및 상기 검출 단계에 기초하여,상기 제1 사용자 디바이스(102)에 의한 제1 오디오 신호를 나타내는 응답과 상기 제2 사용자 디바이스(104)에 의한 제1 오디오 신호의 출력 사이의 재생 지연을 결정하는 단계;
제1 시간(T1)에 상기 제2 사용자 디바이스(104)가 제2 오디오 신호를 출력하게 하는 단계; 및
상기 하나 이상의 프로세서에 의해, 제2 시간(T3)에 촉각 베이스 응답이 실행되도록 제1 사용자 디바이스(102)가 제2 오디오 신호와 관련된 촉각 베이스 응답 표현을 실행하도록 하는 단계를 포함하고, 상기 제2 시간(T3)은 상기 재생 지연에 적어도 부분적으로 기초하여 결정되어 상기 촉각 베이스 응답 표현 및 제2 오디오 신호의 출력을 동기화시키는 것을 특징으로 하는 컴퓨팅 시스템. - 제12항에 있어서,
상기 제1 사용자 디바이스(102)가 제1 오디오 신호를 출력하게 하는 단계는,
상기 제2 사용자 디바이스(104)가 제1 오디오 신호를 출력하는 단계와 동시에 발생하는 것을 특징으로 하는 컴퓨팅 시스템. - 제12항에 있어서,
제1 사용자 디바이스(102)가 제1 오디오 신호를 출력하고, 제2 사용자 디바이스(104)가 제1 오디오 신호를 출력하게 하는 단계는,
상기 제1 사용자 디바이스(102)가 제1 사용자 디바이스(102)와 관련된 스피커 디바이스(118)로 제1 오디오 신호를 출력하고, 상기 제2 사용자 디바이스(104)가 제2 사용자 디바이스(104)와 관련된 스피커 디바이스(116)로 제1 오디오 신호를 출력하게 하는 단계를 포함하는 것을 특징으로 하는 컴퓨팅 시스템. - 삭제
- 제12항에 있어서,
상기 동작들은,
상기 제2 오디오 신호와 관련된 촉각 베이스 응답 표현을 생성하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨팅 시스템. - 하나 이상의 프로세서에 의해 실행될 때 상기 하나 이상의 프로세서로 하여금 동작들을 수행하게 하는 컴퓨터 판독 가능 명령들을 저장하는 하나 이상의 유형(有形))의 비-일시적 컴퓨터 판독 가능 매체로서, 상기 동작들은,
제1 사용자 디바이스(102)가 제1 오디오 신호를 나타내는 응답을 출력하고, 제2 사용자 디바이스(104)가 상기 제1 오디오 신호를 출력하게 하는 단계;
제1 사용자 디바이스(102)의 변환기(120)에 의해 상기 제2 사용자 디바이스(104)로부터의 출력을 검출하는 단계 및 상기 검출 단계에 기초하여, 상기 제1 사용자 디바이스(102)에 의한 제1 오디오 신호를 나타내는 응답의 출력과 상기 제2 사용자 디바이스(104)에 의한 제1 오디오 신호의 출력 사이의 재생 지연을 결정하는 단계;
제1 시간(T1)에 상기 제2 사용자 디바이스(104)가 제2 오디오 신호를 출력하게 하는 단계; 및
상기 하나 이상의 프로세서에 의해, 제2 시간(T3)에 촉각 베이스 응답이 실행되도록 제1 사용자 디바이스(102)가 제2 오디오 신호와 관련된 촉각 베이스 응답 표현을 실행하도록 하는 단계를 포함하고, 상기 제2 시간(T3)은 상기 재생 지연에 적어도 부분적으로 기초하여 결정되어 상기 촉각 베이스 응답 표현 및 제2 오디오 신호의 출력을 동기화시키는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체. - 제17항에 있어서,
상기 동작들은,
상기 하나 이상의 프로세서에 의해, 상기 제2 오디오 신호와 관련된 촉각 베이스 응답 표현을 생성하는 단계를 더 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체. - 제18항에 있어서,
상기 촉각 베이스 응답 표현을 생성하는 단계는,
임계치 이상인 상기 제2 오디오 신호와 관련된 오디오 주파수를 제거 또는 감소시키도록 구성된 하나 이상의 등화 필터에 상기 제2 오디오 신호를 적용하는 단계를 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체. - 제18항에 있어서,
상기 촉각 베이스 응답 표현을 생성하는 단계는,
상기 하나 이상의 프로세서에 의해, 주파수 임계치 이하인 제2 오디오 신호와 관련된 하나 이상의 피크 또는 임펄스를 검출하는 단계를 포함하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체. - 제6항에 있어서,
상기 제2 오디오 신호를 하나 이상의 등화 필터에 적용함으로써, 60Hz 내지 250Hz의 베이스 주파수 내에 있지 않은 주파수는 감쇠되는 것을 특징으로 하는 컴퓨터 구현 방법. - 제19항에 있어서,
상기 제2 오디오 신호를 하나 이상의 등화 필터에 적용함으로써, 60Hz 내지 250Hz의 베이스 주파수 내에 있지 않은 주파수는 감쇠되는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/364,922 US10104471B2 (en) | 2016-11-30 | 2016-11-30 | Tactile bass response |
| US15/364,922 | 2016-11-30 | ||
| PCT/US2017/054437 WO2018102018A1 (en) | 2016-11-30 | 2017-09-29 | Tactile bass response |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190055226A KR20190055226A (ko) | 2019-05-22 |
| KR102180496B1 true KR102180496B1 (ko) | 2020-11-18 |
Family
ID=60043413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197012358A KR102180496B1 (ko) | 2016-11-30 | 2017-09-29 | 촉각 베이스 응답 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US10104471B2 (ko) |
| EP (1) | EP3549353B1 (ko) |
| JP (1) | JP6757853B2 (ko) |
| KR (1) | KR102180496B1 (ko) |
| CN (1) | CN108124221B (ko) |
| DE (2) | DE102017124621A1 (ko) |
| GB (1) | GB2557411B (ko) |
| WO (1) | WO2018102018A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10455320B2 (en) | 2017-08-02 | 2019-10-22 | Body Beats, Llc | System, method and apparatus for translating, converting and/or transforming audio energy into haptic and/or visual representation |
| US10824390B1 (en) | 2019-09-24 | 2020-11-03 | Facebook Technologies, Llc | Methods and system for adjusting level of tactile content when presenting audio content |
| US10970036B1 (en) * | 2019-09-24 | 2021-04-06 | Facebook Technologies, Llc | Methods and system for controlling tactile content |
| CN113220517B (zh) * | 2021-05-28 | 2023-01-10 | Oppo广东移动通信有限公司 | 操作耗时测试系统、信号处理设备及信号处理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040014426A1 (en) * | 2002-07-19 | 2004-01-22 | Moore Richard A. | Portable audio playback device with bass enhancement |
| WO2014031756A2 (en) * | 2012-08-21 | 2014-02-27 | Immerz, Inc. | Systems and methods for a vibrating input device |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1615464A1 (en) | 2004-07-07 | 2006-01-11 | Sony Ericsson Mobile Communications AB | Method and device for producing multichannel audio signals |
| CN101142848A (zh) | 2005-03-15 | 2008-03-12 | 皇家飞利浦电子股份有限公司 | 处理音频数据的设备、方法、程序单元以及计算机可读介质 |
| US20070087686A1 (en) | 2005-10-18 | 2007-04-19 | Nokia Corporation | Audio playback device and method of its operation |
| US8000825B2 (en) | 2006-04-13 | 2011-08-16 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio file |
| US8743284B2 (en) | 2007-10-08 | 2014-06-03 | Motorola Mobility Llc | Synchronizing remote audio with fixed video |
| JP5659333B2 (ja) | 2008-07-28 | 2015-01-28 | コーニンクレッカ フィリップス エヌ ヴェ | オーディオシステム及びその操作方法 |
| WO2010093913A1 (en) | 2009-02-12 | 2010-08-19 | Brock Seiler | Multi-channel audio vibratory entertainment system |
| US9924251B2 (en) | 2010-09-01 | 2018-03-20 | Mor Efrati | Transducer holder |
| WO2012177572A2 (en) | 2011-06-24 | 2012-12-27 | Beats Electronics, Llc | Optimization method for audio playback systems |
| WO2013093552A1 (en) | 2011-12-20 | 2013-06-27 | Nokia Corporation | Portable device with enhanced bass response |
| US9978395B2 (en) | 2013-03-15 | 2018-05-22 | Vocollect, Inc. | Method and system for mitigating delay in receiving audio stream during production of sound from audio stream |
| US9997032B2 (en) * | 2013-04-09 | 2018-06-12 | Immersion Corporation | Offline haptic conversion system |
| US9307508B2 (en) * | 2013-04-29 | 2016-04-05 | Google Technology Holdings LLC | Systems and methods for syncronizing multiple electronic devices |
| US9519346B2 (en) | 2013-05-17 | 2016-12-13 | Immersion Corporation | Low-frequency effects haptic conversion system |
| US9576445B2 (en) | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
| US9756092B2 (en) * | 2013-10-18 | 2017-09-05 | Verizon and Redbox Digital Entertainment Services, LLC | Distribution and synchronization of a social media environment |
| CN104811838B (zh) * | 2013-12-30 | 2020-02-18 | 骷髅头有限公司 | 用于立体声触觉振动的耳机以及相关系统和方法 |
| US8767996B1 (en) * | 2014-01-06 | 2014-07-01 | Alpine Electronics of Silicon Valley, Inc. | Methods and devices for reproducing audio signals with a haptic apparatus on acoustic headphones |
| US9613506B2 (en) * | 2014-05-30 | 2017-04-04 | Apple Inc. | Synchronization of independent output streams |
| EP3002958B1 (en) | 2014-10-01 | 2017-12-27 | Woojer Ltd. | Tactile low frequency transducer |
| US9338391B1 (en) * | 2014-11-06 | 2016-05-10 | Echostar Technologies L.L.C. | Apparatus, systems and methods for synchronization of multiple headsets |
| US9891714B2 (en) | 2014-12-24 | 2018-02-13 | Immersion Corporation | Audio enhanced simulation of high bandwidth haptic effects |
| EP3328091B1 (en) * | 2014-12-31 | 2020-04-08 | Skullcandy, Inc. | Methods of generating tactile user feedback utilizing headphone devices and related systems |
| US9632664B2 (en) * | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10375266B2 (en) * | 2016-10-26 | 2019-08-06 | Orcam Technologies Ltd. | Systems and methods for selecting an action based on a detected person |
-
2016
- 2016-11-30 US US15/364,922 patent/US10104471B2/en active Active
-
2017
- 2017-09-29 JP JP2019528905A patent/JP6757853B2/ja active Active
- 2017-09-29 KR KR1020197012358A patent/KR102180496B1/ko active IP Right Grant
- 2017-09-29 EP EP17781364.9A patent/EP3549353B1/en active Active
- 2017-09-29 WO PCT/US2017/054437 patent/WO2018102018A1/en active Search and Examination
- 2017-10-02 GB GB1716082.1A patent/GB2557411B/en active Active
- 2017-10-20 DE DE102017124621.5A patent/DE102017124621A1/de not_active Withdrawn
- 2017-10-20 DE DE202017106383.6U patent/DE202017106383U1/de active Active
- 2017-10-31 CN CN201711049274.XA patent/CN108124221B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040014426A1 (en) * | 2002-07-19 | 2004-01-22 | Moore Richard A. | Portable audio playback device with bass enhancement |
| WO2014031756A2 (en) * | 2012-08-21 | 2014-02-27 | Immerz, Inc. | Systems and methods for a vibrating input device |
Also Published As
| Publication number | Publication date |
|---|---|
| US20180152786A1 (en) | 2018-05-31 |
| DE202017106383U1 (de) | 2018-03-08 |
| CN108124221B (zh) | 2020-09-08 |
| EP3549353B1 (en) | 2023-03-08 |
| GB201716082D0 (en) | 2017-11-15 |
| KR20190055226A (ko) | 2019-05-22 |
| GB2557411A (en) | 2018-06-20 |
| US10104471B2 (en) | 2018-10-16 |
| GB2557411B (en) | 2020-11-25 |
| WO2018102018A1 (en) | 2018-06-07 |
| CN108124221A (zh) | 2018-06-05 |
| JP2020501433A (ja) | 2020-01-16 |
| EP3549353A1 (en) | 2019-10-09 |
| DE102017124621A1 (de) | 2018-05-30 |
| JP6757853B2 (ja) | 2020-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102180496B1 (ko) | 촉각 베이스 응답 | |
| EP3114854B1 (en) | Integrated circuit and method for enhancing performance of audio transducer based on detection of transducer status | |
| US9742471B1 (en) | NFMI based synchronization | |
| US11809775B2 (en) | Conversation assistance audio device personalization | |
| US7889872B2 (en) | Device and method for integrating sound effect processing and active noise control | |
| JP6893937B2 (ja) | オーディオシステムイコライジング | |
| WO2015139642A1 (zh) | 一种实现蓝牙耳机降噪的方法、装置和系统 | |
| US10922044B2 (en) | Wearable audio device capability demonstration | |
| WO2011161487A1 (en) | Apparatus, method and computer program for adjustable noise cancellation | |
| CN109155802B (zh) | 用于产生音频输出的装置 | |
| US20170139669A1 (en) | Apparatus and method for processing audio signal | |
| CN115699175A (zh) | 具有用户自己的语音记录的可穿戴音频设备 | |
| CN112567766B (zh) | 信号处理装置、信号处理方法和介质 | |
| EP1796427A1 (en) | Hearing device with virtual sound source | |
| US20190253799A1 (en) | Electronic device | |
| JP5502166B2 (ja) | 測定装置及び測定方法 | |
| US20070127750A1 (en) | Hearing device with virtual sound source | |
| US11809774B1 (en) | Privacy with extra-aural speakers | |
| JP2017098963A (ja) | 測定装置 | |
| Corey et al. | Immersive Enhancement and Removal of Loudspeaker Sound Using Wireless Assistive Listening Systems and Binaural Hearing Devices | |
| TW202407513A (zh) | 音訊和觸覺訊號處理 | |
| JP2014103701A (ja) | 測定装置及び測定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |