KR20150028724A - 오디오 신호와 연관된 햅틱 효과를 생성하는 시스템 및 방법 - Google Patents

오디오 신호와 연관된 햅틱 효과를 생성하는 시스템 및 방법 Download PDF

Info

Publication number
KR20150028724A
KR20150028724A KR20140115943A KR20140115943A KR20150028724A KR 20150028724 A KR20150028724 A KR 20150028724A KR 20140115943 A KR20140115943 A KR 20140115943A KR 20140115943 A KR20140115943 A KR 20140115943A KR 20150028724 A KR20150028724 A KR 20150028724A
Authority
KR
South Korea
Prior art keywords
haptic
components
audio
haptic effect
audio signal
Prior art date
Application number
KR20140115943A
Other languages
English (en)
Inventor
후안 마누엘 크루즈-에르난데스
자말 사분느
빈센트 레베스크
알리 모다레스
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20150028724A publication Critical patent/KR20150028724A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

오디오 신호들과 연관된 햅틱 효과를 생성하는 시스템들 및 방법들이 개시된다. 햅틱 효과를 출력하는 하나의 개시된 시스템은 오디오 신호를 수신하고; 오디오 신호에 있어서 하나 이상의 컴포넌트들을 식별하는 것 및 하나 이상의 컴포넌트들과 연관된 햅틱 효과를 결정하는 것에 의해, 오디오 신호에 부분적으로 기초하여 햅틱 효과를 결정하며; 그리고 햅틱 효과와 연관된 햅틱 신호를 출력하도록 구성된 프로세서를 포함한다.

Description

오디오 신호와 연관된 햅틱 효과를 생성하는 시스템 및 방법{SYSTEMS AND METHODS FOR GENERATING HAPTIC EFFECTS ASSOCIATED WITH AUDIO SIGNALS}
관련 출원들에 대한 상호참조
본 출원은, 2013년 9월 6일자로 출원되고 명칭이 "Audio to Haptics"인 미국 가출원 제61/874,933호를 우선권 주장하고, 그 가출원의 전부가 본 명세서에 참조로 통합된다.
본 출원은, 2013년 11월 12일자로 출원되고 명칭이 "Systems and Methods for Generating Haptic Effects Associated with Transitions in Audio Signals"인 미국 특허출원 제14/078,438호(대리인 관리번호 IMM477 (51851-879623)호) 와 관련되고, 그 출원의 전부가 본 명세서에 참조로 통합된다.
본 출원은, 본 출원과 동일자로 출원되고 명칭이 "Systems and Methods for Generating Haptic Effects Associated with an Envelope in Audio Signals"인 미국 특허출원 제14/078,442호(대리인 관리번호 IMM478 (51851-879624)호) 와 관련되고, 그 출원의 전부가 본 명세서에 참조로 통합된다.
본 발명은 일반적으로 햅틱 피드백에 관한 것으로서, 더 상세하게는, 오디오 신호들과 연관된 햅틱 효과들을 생성하는 시스템들 및 방법들에 관한 것이다.
터치-가능식 디바이스들은 점점 더 인기있게 되었다. 예를 들어, 모바일 및 다른 디바이스들은 터치-감지형 디스플레이들로 구성될 수도 있어서, 사용자가 터치-감지형 디스플레이의 부분들을 터치함으로써 입력을 제공할 수 있다. 다른 예로서, 디스플레이로부터 분리된 터치-가능식 표면은 트랙패드, 마우스 또는 다른 디바이스와 같은 입력을 위해 이용될 수도 있다. 더욱이, 일부 터치-가능식 디바이스들은 햅틱 효과들, 예를 들어, 터치-표면 상의 텍스처 또는 마찰을 시뮬레이션하도록 구성된 햅틱 효과들을 이용한다. 일부 디바이스들에 있어서, 이들 햅틱 효과들은 디바이스에 의해 출력된 오디오 또는 다른 효과들에 상관할 수도 있다. 하지만, 오디오 및 햅틱 효과들을 프로세싱 및 출력함에 있어서의 레이턴시로 인해, 이들 효과들은 덜 강렬할 수도 있다. 따라서, 오디오 효과들과 연관된 개선된 햅틱 효과들에 대한 필요성이 존재한다.
본 개시의 실시예들은 터치 영역 상에서 느껴지고 오디오 신호들과 연관된 햅틱 효과들을 특징화하는 디바이스들을 포함한다. 이들 햅틱 효과들은 텍스처에서의 변화들, 마찰 계수의 변동들, 및/또는 터치 표면과 접촉한 오브젝트의 이용을 통해 인지될 수 있는 그 터치 표면에서의 경계들, 장애물들 또는 다른 불연속들의 시뮬레이션을 포함할 수도 있지만 이에 한정되지 않는다.
일 실시예에 있어서, 본 개시의 시스템은 오디오 신호를 수신하고; 오디오 신호에 있어서 하나 이상의 컴포넌트들을 식별하는 것 및 하나 이상의 컴포넌트들과 연관된 햅틱 효과를 결정하는 것에 의해, 오디오 신호에 부분적으로 기초하여 햅틱 효과를 결정하며; 그리고 햅틱 효과와 연관된 햅틱 신호를 출력하도록 구성된 프로세서를 포함할 수도 있다. 다른 실시예는 오디오 신호에 부분적으로 기초하여 햅틱 효과를 결정하는 방법을 포함한다.
이들 예시적인 실시예들은, 본 주제의 한계들을 한정하거나 정의하지 않지만 그 이해를 돕기 위해 예들을 제공하도록 언급된다. 예시적인 실시예들은 상세한 설명에서 논의되며, 추가의 설명이 거기서 제공된다. 다양한 실시예들에 의해 제공된 이점들은 본 명세서를 검토함으로써 및/또는 청구물의 하나 이상의 실시예들을 실시함으로써 더 이해될 수도 있다.
완전하고 가능한 개시가 본 명세서의 나머지에서 더 상세히 기재된다. 본 명세서는 다음의 첨부 도면들을 참조한다.
도 1a는 오디오 신호들과 연관된 햅틱 효과들을 생성하는 예시적인 시스템을 도시한다.
도 1b는 도 1a에 도시된 시스템의 일 실시예의 외부도를 도시한다.
도 1c는 도 1a에 도시된 시스템의 다른 실시예의 외부도를 도시한다.
도 2a는 오디오 신호들과 연관된 햅틱 효과들을 생성하는 예시적인 실시예를 도시한다.
도 2b는 오디오 신호들과 연관된 햅틱 효과들을 생성하는 예시적인 실시예를 도시한다.
도 3은 일 실시예에 따른, 오디오 신호들과 연관된 햅틱 효과들을 생성하는 예시적인 실시예를 도시한다.
도 4는 일 실시예에 따른, 오디오 신호들과 연관된 햅틱 효과들을 생성하는 방법에 대한 플로우 차트를 도시한다.
도 5는 일 실시예에 따른, 오디오 신호들과 연관된 햅틱 효과들을 생성하는 방법에 대한 플로우 차트를 도시한다.
도 6은 일 실시예에 따른, 오디오 신호들과 연관된 햅틱 효과들을 생성하는 방법에 대한 플로우 차트를 도시한다.
도 7은 일 실시예에 따른, 오디오 신호들과 연관된 햅틱 효과들을 생성하는 방법에 대한 플로우 차트를 도시한다.
도 8은 일 실시예에 따른, 오디오 신호들과 연관된 햅틱 효과들을 생성하는 방법에 대한 플로우 차트를 도시한다.
도 9a는 일 실시예에 따른 A/V 신호들을 갖는 콘텐츠를 생성하는 시스템 개관을 도시한다.
도 9b는 다른 실시예에 따른 A/V 신호들을 갖는 콘텐츠를 생성하는 시스템 개관을 도시한다.
이제, 다양한 및 대안적인 예시의 실시예들 그리고 첨부 도면들을 상세히 참조할 것이다. 각각의 예는 한정으로서가 아니라 설명에 의해 제공된다. 변형예들 및 변경예들이 행해질 수도 있음이 당업자에게 명백할 것이다. 예를 들어, 일 실시예의 부분으로서 도시되거나 설명된 피처들(features)은 다른 실시예에 대해 사용되어 더 추가의 실시예를 산출할 수도 있다. 따라서, 본 개시는, 첨부된 청구항들 및 그 균등물들의 범위 내에 있는 변형예들 및 변경예들을 포함함이 의도된다.
오디오 신호들과 연관된 햅틱 효과들을 생성하는 디바이스의 예시적인 예
본 개시의 일 예시적인 실시예는 스마트폰, 태블릿, 또는 휴대용 뮤직 디바이스와 같은 컴퓨팅 시스템을 포함한다. 일부 실시예들에 있어서, 컴퓨팅 시스템은 웨어러블 디바이스를 포함할 수도 있거나, 가구 또는 의류에 내장될 수도 있다. 컴퓨팅 시스템은 가속도계와 같은 하나 이상의 센서들뿐 아니라 이 예에서 디바이스의 스크린에 대응하는 디스플레이 영역에 대한 터치의 위치를 결정하는 센서들(예를 들어, 광학식, 저항식, 또는 용량식)을 포함할 수 있고/있거나 그 센서들과 통신할 수도 있다.
사용자가 디바이스와 상호작용함에 따라, 하나 이상의 햅틱 출력 디바이스들, 예를 들어, 액추에이터들이 햅틱 효과들을 제공하기 위해 사용된다. 예를 들어, 햅틱 효과는 디바이스의 표면 상의 텍스처의 존재를 시뮬레이션하기 위해 출력될 수도 있다. 그러한 일 실시예에 있어서, 사용자의 손가락이 표면을 가로질러 이동함에 따라, 진동, 전계, 또는 다른 효과가 디바이스의 표면 상의 텍스처의 느낌을 시뮬레이션하기 위해 출력될 수도 있다. 유사하게, 다른 실시예에 있어서, 사용자가 디바이스를 가로질러 손가락을 이동함에 따라, 스크린의 인지된 마찰 계수가 손가락의 포지션, 속도, 및/또는 가속도 또는 손가락이 디바이스와 접촉하고 있었던 시간의 길이에 기초하여 변경(예를 들어, 증가 또는 감소)될 수 있다. 다른 실시예들에 있어서, 모바일 디바이스는 진동, 팝(pop), 클릭, 또는 표면 변형과 같은 햅틱 효과들을 출력할 수도 있다. 일부 실시예들에 있어서, 햅틱 효과들은 특정 이벤트가 발생하는 특정 시간 주기 (예를 들어, 50ms) 동안 출력될 수도 있다. 다른 실시예들에 있어서, 햅틱 효과는 고정된 주기로 변할 수도 있으며, 예를 들어, 일 실시예에 있어서, 텍스처는 100 Hz 레이트로 변하는 출력, 예를 들어, 100 Hz 사인곡선일 수도 있다.
예시적인 실시예에 있어서, 햅틱 효과는 오디오 신호와 연관된 효과를 포함한다. 예를 들어, 일부 실시예들에 있어서, 햅틱 효과는 오디오 트랙과 연관된 햅틱 효과를 포함할 수도 있다. 일부 실시예들에 있어서, 사용자는, 햅틱 효과가 결정될 때에 (예를 들어, 헤드폰들, 스피커들, 또는 일부 다른 타입의 오디오 출력 디바이스를 사용하여) 오디오 트랙을 청취하고 있을 수도 있다. 다른 실시예들에 있어서, 햅틱 효과는 "햅틱 트랙"의 부분으로서 미리 결정될 수도 있다. 이러한 햅틱 트랙은 오디오 파일과 함께 배포될 수도 있어서, 오디오 트랙과 함께 플레이될 수도 있다. 일부 실시예들에 있어서, 햅틱 트랙은, 햅틱 효과들이 오디오 트랙에서의 컴포넌트들에 대응하도록 오디오 트랙에 동기화될 수도 있다. 다른 실시예들에 있어서, 햅틱 효과는 시청각("AV") 트랙, 예를 들어, 비디오 파일의 오디오 부분과 연관될 수도 있다.
하나의 예시적인 실시예에 있어서, 햅틱 효과들은, 오디오 신호 내의 컴포넌트들을 식별 또는 결정하기 위해 오디오 신호를 분석함으로써 결정될 수도 있다. 일부 실시예들에 있어서, 컴포넌트는, 예를 들어, 발포, 폭발, 비명, 또는 싸움과 같은 이산 이벤트 등의 오디오 신호 내의 이벤트를 포함할 수도 있다. 추가로, 일부 실시예들에 있어서, 컴포넌트는 반복하는 오디오 효과와 연관된 소스, 예를 들어, 기타, 피아노, 또는 스피커를 포함할 수도 있다. 추가로, 일부 실시예들에 있어서, 컴포넌트는 오디오 신호 내에서 발생하는 피처를 포함할 수도 있다. 용어 피처는, 일부 실시예들에 있어서 알고리즘으로 하여금 예를 들어 감정을 식별함으로써 오디오 신호의 세그먼트를 분류하게 할 수도 있는 오디오 세그먼트의 디스크립터를 나타내는 기술 용어이다. 일 실시예에 있어서, 멜(Mel)-주파수 켑스트럼들(MFCC)은 분류를 위해 사용된 오디오 피처들로서 사용될 수도 있다. 그러한 실시예에 있어서, 시스템은 그들 MFCC들 또는 다른 피처들 또는 디스크립터들을 사용하여 이벤트들 또는 소스들을 식별할 수도 있다. 추가로, 일부 실시예들에 있어서, 오디오 신호는 액션(예를 들어, 발포, 자동차 소음들, 및 특수 효과들)과 연관된 컴포넌트들과 함께 음성의 사운드(예를 들어, 스피치 또는 노래)와 같은 오디오 컴포넌트들 및 배경 잡음(예를 들어, 뮤직 또는 기계적 사운드들)을 포함할 수도 있다. 하나의 예시적인 실시예에 있어서, 시스템은 이들 컴포넌트들의 위치를 결정하기 위해 오디오 파일을 분석하고, 특별한 컴포넌트들에 햅틱 효과들을 할당할 수도 있다. 추가의 실시예에 있어서, 시스템은 특정 사운드들이 연관된 햅틱 효과를 포함하지 않을 것임을 결정할 수도 있다. 따라서, 일 실시예에 있어서, 시스템은 오디오 신호 내에서의 특정 컴포넌트들의 존재를 결정하고, 이들 컴포넌트들에 햅틱 효과를 할당하지 않도록 결정할 수도 있다.
일부 실시예들에 있어서, 본 개시의 시스템은 오디오 신호를 복수의 시간, 주파수, 진폭 기반 세그먼트들로 분할함으로써 오디오 신호에서의 컴포넌트들을 결정할 수도 있다. 그 후, 이들 세그먼트들은 특정 컴포넌트들(예를 들어, 스피치, 특수 효과들, 배경 잡음, 또는 뮤직)의 존재에 대하여 개별적으로 분석될 수도 있다. 그 후, 시스템은 하나 이상의 컴포넌트들의 존재에 기초하여 각각의 세그먼트를 분류할 수도 있다. 예를 들어, 세그먼트는 발포, 폭발, 및 차량 엔진회전속도와 연관된 사운드들을 포함할 수도 있다. 그러한 실시예에 있어서, 시스템은 세그먼트를 "액션" 세그먼트로서 분류할 수도 있다. 추가로, 일부 실시예들에 있어서, 시스템은 분류에 기초하여 햅틱 효과를 할당할 수도 있다. 하나의 그러한 실시예에 있어서, 상기 예에서, 시스템은 오디오 파일의 액션 세그먼트를, 특정 햅틱 효과 또는 햅틱 효과들의 세트, 예를 들어, 발포 및 폭발과 같은 컴포넌트들의 발생과 동기화된 고 강도 진동들과 연관시킬 수도 있다.
추가로, 본 개시의 일부 실시예들에 있어서, 시스템은 오디오 신호를 분석하고, 오디오 신호에서의 하나 이상의 컴포넌트들의 소스를 분리할 수도 있다. 예를 들어, 시스템은 오디오 신호를 분석하여 사운드들의 다양한 소스들을 검출 및 분리할 수도 있다. 일 실시예에 있어서, 오디오 신호는 혼합된 오디오 신호(예를 들어, 스피치를 포함하는 신호), 특수 효과들(예를 들어, 폭발, 발포, 기계적 잡음들), 동물 사운드들, 또는 악기(예를 들어, 피아노, 기타, 드럼, 머신 등)를 포함할 수도 있고, 그러한 실시예에 있어서, 시스템은 오디오 신호에서 특정 소스들을 분리 - 예를 들어, 스피치, 뮤직, 또는 특수 효과들을 분리 - 할 수도 있다. 그러한 실시예에 있어서, 일단 시스템이 사운드의 소스를 분리하면, 시스템은 그 소스에 햅틱 효과를 할당할 수도 있다. 예를 들어, 하나의 예시적인 실시예에 있어서, 시스템은 기타에 의해 생성된 사운드들을 록 송(rock song)과 연관된 신호로부터 분리할 수도 있다. 그러한 실시예에 있어서, 시스템은 햅틱 효과를, 오디오 신호의 어떠한 다른 컴포넌트들이 아닌 기타에 적용할 수도 있다. 대안적으로, 일부 실시예들에 있어서, 시스템은 복수의 소스들을 분리하고, 복수의 소스들 중 하나 이상의 소스들에 햅틱 효과들을 할당할 수도 있다. 예를 들어, 하나의 예시적인 실시예에 있어서, 시스템은 오디오 트랙의 나머지로부터 기타 및 베이스를 분리할 수도 있다. 그러한 실시예에 있어서, 시스템은 햅틱 효과를 기타 신호 및 베이스 신호 양자에 적용할 수도 있다. 추가로, 일 실시예에 있어서, 시스템은 컴포넌트들(예를 들어, 기타 또는 베이스 신호)을 분리하고, 그들 컴포넌트들과 연관된 햅틱 효과들을 제거하도록 결정할 수도 있다. 예를 들어, 일 실시예에 있어서, 시스템은 자동 변환에 의해 생성된 햅틱 트랙을 클리닝(cleaning)하여, 컴포넌트들과 연관된 햅틱 효과들을 제거할 수도 있다.
본 개시의 다른 실시예에 있어서, 시스템은 오디오 파일에서 스피치를 검출하도록 구성될 수도 있다. 상기 설명된 바와 같이, 일부 실시예들에 있어서, 시스템은 스피치의 소스를 분리, 예를 들어, 화자 또는 화자들을 분리할 수도 있다. 추가로, 일부 실시예들에 있어서, 시스템은 스피치를 분석하여 화자와 연관된 하나 이상의 감정들을 결정하도록 구성될 수도 있다. 예를 들어, 시스템은 주파수, 피치, 또는 톤을 분석하여 화자와 연관된 하나 이상의 감정들을 결정할 수도 있다. 추가로, 일부 실시예들에 있어서, 시스템은 화자의 감정과 연관되도록 햅틱 효과를 결정 또는 변형할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 화가난 화자와 연관된 햅틱 효과(또는 화가난 화자와 연관된 장면)는 애정어린 화자와 연관된 햅틱 효과보다 더 격렬할 수도 있다. 대안적으로, 일부 실시예들에 있어서, 특정 감정은 햅틱 효과와 연관되지 않는 감정을 포함할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 슬픔과 같은 감정은 어떠한 햅틱 효과도 포함하지 않을 수도 있고, 따라서, 일부 실시예들에 있어서, 화자가 슬프다는 것을 시스템이 검출할 경우, 시스템은 화자에게 또는 화자와 연관된 장면에 햅틱 효과를 할당하지 않을 것이다. 추가로, 일부 실시예들에 있어서, 시스템은 오디오 신호의 컴포넌트들, 예를 들어, 스피치와 연관된 컴포넌트들을 분리하고, 그들 컴포넌트들과 연관된 햅틱 효과들을 제거하도록 결정할 수도 있다. 예를 들어, 일 실시예에 있어서, 시스템은 자동 변환에 의해 생성된 햅틱 트랙을 클리닝하여, 스피치와 연관된 햅틱 효과들을 제거할 수도 있다.
하기에 더 상세히 논의될 바와 같이, 임의의 수의 컴포넌트들이 오디오 신호에서 발견될 수도 있다. 본 개시의 실시예들은 이들 컴포넌트들을 식별하고, 그 후, 이들 컴포넌트들과 동기화되는 햅틱 효과들을 결정 및 출력하는 시스템들 및 방법들을 제공한다. 추가로, 일부 실시예들에 있어서, 본 명세서에서 논의된 시스템들 및 방법들은 다른 타입들의 신호들, 예를 들어, 압력, 가속도, 속도, 또는 온도 신호들과 연관된 햅틱 효과들을 결정하는데 사용될 수도 있다.
오디오 신호들과 연관된 햅틱 효과들을 생성하는 예시적인 시스템들
도 1a는 오디오 신호들과 연관된 햅틱 효과들을 생성하는 예시적인 시스템(100)을 도시한다. 특히, 이 예에 있어서, 시스템(100)은 버스(106)를 통해 다른 하드웨어와 인터페이싱된 프로세서(102)를 갖는 컴퓨팅 디바이스(101)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적절한 유형의 (및 비-일시적인) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(104)는, 컴퓨팅 디바이스의 동작을 구성하는 프로그램 컴포넌트들을 수록한다. 이 예에 있어서, 컴퓨팅 디바이스(101)는 하나 이상의 네트워크 인터페이스 디바이스(110), 입력/출력(I/O) 인터페이스 컴포넌트들(112) 및 부가적인 저장부(114)를 더 포함한다.
네트워크 디바이스(110)는 네트워크 접속을 용이하게 하는 임의의 컴포넌트들 중 하나 이상의 컴포넌트들을 나타낼 수 있다. 예들은 이더넷, USB, IEEE 1394와 같은 유선 인터페이스들, 및/또는 IEEE 802.11, 블루투스, 또는 셀룰러 전화 네트워크들에 액세스하기 위한 무선 인터페이스들(예를 들어, CDMA, GSM, UMTS, 또는 다른 모바일 통신 네트워크(들)에 액세스하기 위한 트랜시버/안테나)과 같은 무선 인터페이스들을 포함하지만 이에 한정되지 않는다.
I/O 컴포넌트들(112)은 하나 이상의 디스플레이들, 키보드들, 마우스들, 스피커들, 마이크로폰들, 카메라들, 및/또는 데이터를 입력하거나 데이터를 출력하는데 사용되는 다른 하드웨어와 같은 디바이스들로의 접속을 용이하게 하는데 사용될 수도 있다. 예를 들어, 일부 실시예들에 있어서, I/O 컴포넌트들(112)은 프로세서(102)에 의해 제공된 오디오 신호들을 플레이하도록 구성된 스피커들을 포함할 수도 있다. 저장부(114)는 디바이스(101)에 포함된 자기, 광학, 또는 다른 저장 매체와 같은 비휘발성 저장부를 나타낸다. 일부 실시예들에 있어서, 저장부(114)는 I/O 컴포넌트들(112)을 통해 사용자에게 플레이되도록 구성된 오디오 파일들을 저장하도록 구성될 수도 있다.
시스템(100)은, 이 예에 있어서, 디바이스(101)에 통합되는 터치 표면(116)을 더 포함한다. 터치 표면(116)은 사용자의 터치 입력을 감지하도록 구성된 임의의 표면을 나타낸다. 하나 이상의 센서들(108)은, 오브젝트가 터치 표면을 접촉할 경우에 터치 영역 내의 터치를 검출하고 또한 프로세서(102)에 의한 사용을 위해 적절한 데이터를 제공하도록 구성된다. 임의의 적절한 수, 타입 또는 배열의 센서들이 사용될 수 있다. 예를 들어, 저항식 및/또는 용량식 센서들이 터치 표면(116)에 내장되고, 터치의 위치 및 압력과 같은 다른 정보를 결정하는데 사용될 수도 있다. 다른 예로서, 터치 표면의 뷰를 갖는 광학식 센서들이 터치 포지션을 결정하는데 사용될 수도 있다. 일부 실시예들에 있어서, 센서(108) 및 터치 표면(116)은 터치 스크린 또는 터치 패드를 포함할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 터치 표면(116) 및 센서(108)는, 디스플레이 신호를 수신하고 이미지를 사용자에게 출력하도록 구성된 디스플레이의 터치 스크린 탑재형 오버톱(overtop)을 포함할 수도 있다. 다른 실시예들에 있어서, 센서(108)는 LED 검출기를 포함할 수도 있다. 예를 들어, 일 실시예에 있어서, 터치 표면(116)은 디스플레이의 측면 상에 탑재된 LED 핑거 검출기를 포함할 수도 있다. 일부 실시예들에 있어서, 프로세서는 단일 센서(108)와 통신하며, 다른 실시예들에 있어서, 프로세서는 복수의 센서들(108), 예를 들어, 제1 터치 스크린 및 제2 터치 스크린과 통신한다. 센서(108)는 사용자 상호작용을 검출하고, 사용자 상호작용에 기초하여, 신호들을 프로세서(102)로 송신하도록 구성된다. 일부 실시예들에 있어서, 센서(108)는 사용자 상호작용의 다중의 양태들을 검출하도록 구성될 수도 있다. 예를 들어, 센서(108)는 사용자 상호작용의 속도 및 압력을 검출하고, 이 정보를 인터페이스 신호에 통합할 수도 있다.
디바이스(101)는 햅틱 출력 디바이스(118)를 더 포함한다. 도 1a에 도시된 예에 있어서, 햅틱 출력 디바이스(118)는 프로세서(102)와 통신하고, 터치 표면(116)에 커플링(coupling)된다. 일부 실시예들에 있어서, 햅틱 출력 디바이스(118)는 햅틱 신호에 응답하여 터치 표면 상에 텍스처를 시뮬레이션하는 햅틱 효과를 출력하도록 구성된다. 부가적으로 또는 대안적으로, 햅틱 출력 디바이스(118)는 터치 표면을 제어된 방식으로 이동하는 진동촉감 햅틱 효과들을 제공할 수도 있다. 일부 햅틱 효과들은 디바이스의 하우징에 커플링된 액추에이터를 활용할 수도 있고, 일부 햅틱 효과들은 다중의 액추에이터들을 차례로 및/또는 일제히 사용할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 표면 텍스처는 표면을 상이한 주파수들로 진동함으로써 시뮬레이션될 수도 있다. 그러한 실시예에 있어서, 햅틱 출력 디바이스(118)는, 예를 들어, 압전 액추에이터, 전기 모터, 전자기 액추에이터, 음성 코일, 형상 기억 합금, 전기활성 고분자, 솔레노이드, 편심 회전 질량 모터 (ERM), 선형 공진 액추에이터(LRA) 중 하나 이상을 포함할 수도 있다. 일부 실시예들에 있어서, 햅틱 출력 디바이스(118)는 복수의 액추에이터들, 예를 들어, ERM 및 LRA를 포함할 수도 있다. 일부 실시예들에 있어서, 햅틱 디바이스(118)는 웨어러블 디바이스, 가구 또는 의류에 포함 또는 내장될 수도 있다.
단일의 햅틱 출력 디바이스(118)가 본 명세서에 도시되지만, 실시예들은 동일 또는 상이한 타입의 다중의 햅틱 출력 디바이스들을 이용하여, 햅틱 효과들을 출력, 예를 들어, 표면 텍스처들을 시뮬레이션하거나 터치 표면 상에서의 인지된 마찰 계수를 변경할 수도 있다. 예를 들어, 일 실시예에 있어서, 압전 액추에이터는, 예를 들어, 일부 실시예들에 있어서 20 - 25 kHz보다 큰 주파수들에서 이동하는 액추에이터를 이용함으로써, 터치 표면(116)의 일부 또는 그 모두를 초음파 주파수들에서 수직으로 및/또는 수평으로 변위하도록 이용될 수도 있다. 일부 실시예들에 있어서, 편심 회전 질량 모터들 및 선형 공진 액추에이터들과 같은 다중의 액추에이터들이 홀로 또는 일제히 사용되어, 상이한 텍스처들, 마찰 계수의 변동들, 또는 다른 햅틱 효과들을 제공할 수 있다.
또 다른 실시예들에 있어서, 햅틱 출력 디바이스(118)는 예를 들어 정전 표면 액추에이터의 사용에 의해 정전 마찰 또는 인력을 적용하여 터치 표면(116)의 표면 상의 텍스처를 시뮬레이션할 수도 있다. 유사하게, 일부 실시예들에 있어서, 햅틱 출력 디바이스(118)는 정전 인력을 이용하여, 사용자가 터치 표면(116)의 표면 상에서 느끼는 마찰을 변경할 수도 있다. 예를 들어, 일 실시예에 있어서, 햅틱 출력 디바이스(118)는 정전 디스플레이 또는, 기계적 움직임 대신 전압들 및 전류들을 인가하여 햅틱 효과를 생성하는 임의의 다른 디바이스를 포함할 수도 있다. 그러한 실시예에 있어서, 정전 액추에이터는 전도층 및 절연층을 포함할 수도 있다. 그러한 실시예에 있어서, 전도층은 임의의 반도체 또는, 구리 알루미늄, 금, 또는 은과 같은 다른 전도성 재료일 수도 있다. 그리고 절연층은 유리, 플라스틱, 폴리머, 또는 임의의 다른 절연 재료일 수도 있다. 더욱이, 프로세서(102)는 전기 신호를 전도층에 인가함으로써 정전 액추에이터를 동작시킬 수도 있다. 전기 신호는, 일부 실시예들에 있어서 전도층을, 터치 표면(116)과 접촉하거나 그 근방에 있는 오브젝트와 용량적으로 커플링시키는 AC 신호일 수도 있다. 일부 실시예들에 있어서, AC 신호는 고전압 증폭기에 의해 생성될 수도 있다. 다른 실시예들에 있어서, 용량성 커플링은 터치 표면(116)의 표면 상의 마찰 계수 또는 텍스처를 시뮬레이션할 수도 있다. 예를 들어, 일 실시예에 있어서, 터치 표면(116)의 표면은 평활할 수도 있지만, 용량성 커플링은 터치 표면(116)의 표면 근방의 오브젝트 사이에 인력을 생성할 수도 있다. 일부 실시예들에 있어서, 오브젝트와 전도층 간의 인력의 레벨들을 변경하는 것은 터치 표면(116)의 표면을 가로질러 이동하는 오브젝트 상의 시뮬레이션된 텍스처를 변경하거나, 또는 오브젝트가 터치 표면(116)의 표면을 가로질러 이동함에 따라 느껴지는 마찰 계수를 변경할 수 있다. 더욱이, 일부 실시예들에 있어서, 정전 액추에이터는 종래의 액추에이터들과 함께 사용되어, 터치 표면(116)의 표면 상의 시뮬레이션된 텍스처를 변경할 수도 있다. 예를 들어, 액추에이터들은 터치 표면(116)의 표면의 텍스처에서의 변화를 시뮬레이션하기 위해 진동할 수도 있지만, 동시에, 정전 액추에이터는 터치 표면(116)의 표면 상의 상이한 텍스처 또는 다른 효과들을 시뮬레이션할 수도 있다.
당업자는, 마찰 계수를 변경하는 것에 부가하여, 다른 기술들 또는 방법들이 예를 들어 표면 상의 텍스처를 시뮬레이션하는데 이용될 수 있음을 인식할 것이다. 일부 실시예들에 있어서, 텍스처는, 표면 재구성가능 햅틱 기판(예를 들어, 파이버들, 나노튜브들, 전기활성 폴리머들, 압전 엘리먼트들, 또는 형상기억 합금들을 포함하지만 이에 한정되지 않음) 또는 자기 유변 유체로부터의 접촉에 기초하여 그 텍스처를 변경하도록 구성된 플렉시블 표면층을 사용하여 시뮬레이션되거나 출력될 수도 있다. 다른 실시예에 있어서, 표면 텍스처는, 예를 들어, 변형 메커니즘, 에어 또는 유체 포켓들, 재료들의 국부적인 변형, 공진 기계 엘리먼트들, 압전 재료들, 마이크로 전자기계 시스템즈("MEMS") 엘리먼트들, 열적 유체 포켓들, MEMS 펌프들, 가변 다공성 멤브레인들, 또는 층류 변조로, 하나 이상의 표면 컴포넌트들을 상승 또는 하강함으로써 변경될 수도 있다.
일부 실시예들에 있어서, 정전 액추에이터는, 터치 표면(116)과 접촉하거나 그 근방에 있는 보디의 부분들을 자극함으로써 햅틱 효과를 생성하도록 사용될 수도 있다. 예를 들어, 일부 실시예들에 있어서, 정전 액추에이터는 사용자의 손가락의 피부의 신경 말단들 또는 정전 액추에이터에 응답할 수 있는 스타일러스의 컴포넌트들을 자극할 수도 있다. 피부의 신경 말단들은, 예를 들어, 자극될 수 있고, 진동 또는 일부 더 특정한 감각으로서 정전 액추에이터(예를 들어, 용량성 커플링)를 감지할 수도 있다. 예를 들어, 일 실시예에 있어서, 정전 액추에이터의 전도층은, 사용자의 손가락의 전도 부분들과 커플링하는 AC 전압 신호를 수신할 수도 있다. 사용자가 터치 표면(116)을 터치하고 그 손가락을 터치 표면 상에서 이동함에 따라, 사용자는 따끔거림, 오돌토돌함, 울퉁불퉁함, 거칠거칠함, 끈적끈적함의 텍스처, 또는 기타 다른 텍스처를 감지할 수도 있다.
추가로, 일부 실시예들에 있어서, 다중의 액추에이터들이 햅틱 효과들을 출력하는데 사용될 수도 있다. 이는, 햅틱 출력 디바이스들(118)이 출력할 수 있는 효과들의 범위를 증가시키도록 기능할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 진동 액추에이터들은 정전 액추에이터들과 협력하여 사용되어, 넓은 범위의 효과들을 생성할 수도 있다. 더 추가의 실시예들에 있어서, 터치 표면을 변형하도록 구성된 디바이스들과 같은 부가적인 타입들의 햅틱 출력 디바이스들이 진동 액추에이터들과 같은 다른 햅틱 출력 디바이스들과 협력하여 사용될 수도 있다.
메모리(104)로 돌아가면, 예시적인 프로그램 컴포넌트들(124, 126 및 128)은, 어떻게 디바이스가 오디오 신호들과 연관된 햅틱 효과들을 생성하도록 구성될 수 있는지를 예시하기 위해 도시된다. 이 예에 있어서, 검출 모듈(124)은 터치의 포지션을 결정하기 위해 센서(108)를 통해 터치 표면(116)을 모니터링하도록 프로세서(102)를 구성한다. 예를 들어, 모듈(124)은 터치의 존재 또는 부재를 추적하고, 터치가 존재한다면, 시간에 걸친 터치의 위치, 경로, 속도, 가속도, 압력, 및/또는 다른 특성 중 하나 이상을 추적하기 위해 센서(108)를 샘플링할 수도 있다.
햅틱 효과 결정 모듈(126)은 햅틱 효과를 선택하여 생성하기 위해 오디오 효과로부터의 데이터와 같은 오디오 데이터를 분석하는 프로그램 컴포넌트를 나타낸다. 특히, 모듈(126)은, 오디오 데이터에 기초하여 햅틱 효과의 타입을 결정하여 출력하는 코드를 포함한다.
햅틱 효과 생성 모듈(128)은 프로세서(102)로 하여금 햅틱 신호를 생성하여 햅틱 출력 디바이스(118)로 송신하게 하는 프로그래밍을 나타내며, 이 햅틱 신호는 햅틱 출력 디바이스(118)로 하여금 선택된 햅틱 효과를 생성하게 한다. 예를 들어, 생성 모듈(128)은 햅틱 출력 디바이스(118)로 전송하기 위해 저장된 파형들 또는 커맨드들에 액세스할 수도 있다. 다른 예로서, 햅틱 효과 생성 모듈(128)은 원하는 타입의 효과를 수신하고 신호 프로세싱 알고리즘들을 활용하여, 햅틱 출력 디바이스(118)로 전송하기 위한 적절한 신호를 생성할 수도 있다. 일부 실시예들은 다중의 햅틱 출력 디바이스들을 일제히 활용하여 햅틱 효과를 출력할 수도 있다. 일부 실시예들에 있어서, 프로세서(102)는 햅틱 신호를 햅틱 출력 디바이스(118)로 스트리밍 또는 송신할 수도 있다.
터치 표면은 컴퓨팅 시스템의 특정 구성에 의존하여 디스플레이를 오버레이(또는 그렇지 않으면, 디스플레이에 대응)할 수도 있거나 하지 않을 수도 있다. 도 1b에 있어서, 컴퓨팅 시스템의 외부도(100B)가 도시된다. 컴퓨팅 디바이스(101)는 그 디바이스의 터치 표면과 디스플레이를 결합한 터치 가능식 디스플레이(116)를 포함한다. 터치 표면은 디스플레이 외부, 또는 실제 디스플레이 컴포넌트들 위의 하나 이상의 재료층들에 대응할 수도 있다.
도 1c는, 터치 표면이 디스플레이를 오버레이하지 않는 터치-가능식 컴퓨팅 시스템(100C)의 다른 예를 도시한다. 이 예에 있어서, 컴퓨팅 디바이스(101)는, 디바이스(101)에 인터페이싱된 컴퓨팅 시스템(120)에 포함된 디스플레이(122)에 제공된 그래픽 사용자 인터페이스에 매핑될 수도 있는 터치 표면(116)을 포함한다. 예를 들어, 컴퓨팅 디바이스(101)는 마우스, 트랙패드, 또는 다른 디바이스를 포함할 수도 있지만, 컴퓨팅 시스템(120)은 데스크탑 또는 랩탑 컴퓨터, 셋탑 박스(예를 들어, DVD 플레이어, DVR, 케이블 텔레비전 박스), 또는 다른 컴퓨팅 시스템을 포함할 수도 있다. 다른 예로서, 터치 표면(116) 및 디스플레이(122)는, 디스플레이(122)를 포함하는 랩탑 컴퓨터에서의 터치 가능식 트랙패드와 같이 동일 디바이스에 배치될 수도 있다. 디스플레이와 통합되든 아니든, 본 명세서에서의 예들에 있어서의 평면형 터치 표면들의 도시는 한정적인 것으로 의미되지 않는다. 다른 실시예들은, 표면 기반 햅틱 효과들을 제공하도록 더 구성되는 곡선형 또는 부정형(irregular) 터치 가능식 표면들을 포함한다.
도 2a 및 도 2b는 오디오 신호들과 연관된 햅틱 효과들을 생성할 수도 있는 디바이스들의 일 예를 도시한다. 도 2a는, 터치 가능식 디스플레이(202)를 포함하는 컴퓨팅 디바이스(201)를 포함한 시스템(200)의 외부도를 도시한 다이어그램이다. 도 2b는 디바이스(201)의 단면도를 도시한다. 프로세서, 메모리, 센서들 등과 같은 컴포넌트들이 명료화를 위해 이 도면에 도시되지 않지만, 디바이스(201)는 도 1a의 디바이스(101)와 유사하게 구성될 수도 있다.
도 2b에서 볼 수 있는 바와 같이, 디바이스(201)는 복수의 햅틱 출력 디바이스들(218) 및 부가의 햅틱 출력 디바이스(222)를 특징으로 한다. 햅틱 출력 디바이스(218-1)는 수직력을 디스플레이(202)에 주도록 구성된 액추에이터를 포함할 수도 있지만, 햅틱 출력 디바이스(218-2)는 디스플레이(202)를 측방향으로 이동할 수도 있다. 이 예에 있어서, 햅틱 출력 디바이스들(218 및 222)은 디스플레이에 직접 커플링되지만, 햅틱 출력 디바이스들(218 및 222)이 디스플레이(202)의 상부 상의 재료의 층과 같은 다른 터치 표면에 커플링될 수 있음을 이해해야 한다. 더욱이, 햅틱 출력 디바이스들(218 및 222) 중 하나 이상은 상기 논의된 바와 같은 정전 액추에이터를 포함할 수도 있음을 이해해야 한다. 게다가, 햅틱 출력 디바이스(222)는, 디바이스(201)의 컴포넌트들을 포함하는 하우징에 커플링될 수도 있다. 도 2a 및 도 2b의 예들에 있어서, 디스플레이(202)의 영역은 터치 영역에 대응하지만, 그 원리들은 디스플레이로부터 완전히 분리된 터치 표면에 적용될 수 있다.
일 실시예에 있어서, 햅틱 출력 디바이스들(218) 각각은 압전 액추에이터를 포함하지만, 부가의 햅틱 출력 디바이스(222)는 편심 회전 질량 모터, 선형 공진 액추에이터, 또는 다른 압전 액추에이터를 포함한다. 햅틱 출력 디바이스(222)는 프로세서로부터의 햅틱 신호에 응답하여 진동촉감 햅틱 효과를 제공하도록 구성될 수 있다. 진동촉감 햅틱 효과는 표면 기반 햅틱 효과들과 함께 및/또는 다른 목적으로 활용될 수 있다. 예를 들어, 각각의 액추에이터는, 진동을 출력하거나 텍스처를 시뮬레이션하거나 또는 디스플레이(202)의 표면 상의 마찰 계수를 변경하기 위해 함께 사용될 수도 있다.
일부 실시예들에 있어서, 햅틱 출력 디바이스들(218-1 및 218-2) 중 어느 하나 또는 그 양자가 압전 액추에이터와는 다른 액추에이터를 포함할 수 있다. 액추에이터들 중 임의의 액추에이터는, 예를 들어, 압전 액추에이터, 전자기 액추에이터, 전기활성 폴리머, 형상기억 합금, 플렉시블 복합 압전 액추에이터(예를 들어, 플렉시블 재료를 포함한 액추에이터), 정전기, 및/또는 자기변형 액추에이터들을 포함할 수 있다. 부가적으로, 다중의 다른 햅틱 출력 디바이스들이 디바이스(201)의 하우징에 커플링될 수 있고/있거나 햅틱 출력 디바이스(222)가 다른 곳에 커플링될 수도 있지만, 햅틱 출력 디바이스(222)가 도시된다. 디바이스(201)는 또한, 상이한 위치들에서 터치 표면에 커플링된 다중의 햅틱 출력 디바이스들(218-1/218-2)을 포함할 수도 있다.
이제, 도 3으로 돌아가면, 도 3은 본 개시에 따른, 오디오 신호들과 연관된 햅틱 효과들을 생성하는 시스템의 일 실시예를 도시한다. 도 3에 도시된 시스템(300)은, 기차를 포함하는 비디오(304)를 도시한 디스플레이(302)를 갖는 컴퓨팅 디바이스(301)를 포함한다. 일부 실시예들에 있어서, 컴퓨팅 디바이스(301)는 핸드헬드 컴퓨팅 디바이스, 예를 들어, 모바일 폰, 태블릿, 뮤직 플레이어, 또는 랩탑 컴퓨터를 포함할 수도 있다. 다른 실시예에 있어서, 컴퓨팅 디바이스(301)는 다기능 제어기를 포함할 수도 있다. 예를 들어, 제어기는 키오스크, ATM, 또는 다른 컴퓨팅 디바이스에서 사용하기 위한 것이다. 추가로, 일 실시예에 있어서, 컴퓨팅 디바이스(301)는 차량에서 사용하기 위한 제어기를 포함할 수도 있다.
비디오(304)는 컴퓨팅 디바이스(301)에 커플링된 오디오 출력 디바이스들(예를 들어, 스피커들 또는 헤드폰들)(도 3에 도시 안됨)에 의해 플레이된 가청 효과들을 더 포함할 수도 있다. 본 개시의 실시예들은 오디오 신호에 기초하여 햅틱 효과들을 결정하는 방법들을 포함한다. 예를 들어, 일부 실시예들은 오디오 신호를 비디오 신호로부터 분리하고, 그 후, 하기에서 더 상세히 논의되는 다양한 동작들을 수행하여 오디오 트랙과 함께 출력하기 위한 햅틱 효과들을 결정할 수도 있다.
일부 실시예들에 있어서, 디스플레이(302)는 터치 가능식 디스플레이를 포함할 수도 있다. 추가로, 비디오를 디스플레이하는 것보다, 디스플레이(302)는 그래픽 사용자 인터페이스, 예를 들어, 키오스크, ATM, 스테레오 시스템, 차량 대시보드, 전화기, 컴퓨터, 뮤직 플레이어를 위한 그래픽 사용자 인터페이스, 또는 당업계에 공지된 기타 다른 그래픽 사용자 인터페이스를 사용자에게 제공할 수도 있다. 그러한 실시예에 있어서, 컴퓨팅 디바이스(301)는 그래픽 사용자 인터페이스와 연관된 오디오 신호들에 기초하여 햅틱 효과들을 결정할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 그래픽 사용자 인터페이스는, 사용자가 아이콘들, 버튼들, 또는 다른 인터페이스 엘리먼트들과 상호작용할 경우에 출력되는 오디오 효과들을 포함할 수도 있다. 일부 실시예들에 있어서, 컴퓨팅 디바이스(301)는 추가로, 이들 오디오 효과들 중 하나 이상의 오디오 효과와 연관된 햅틱 효과들을 결정할 수도 있다. 일부 실시예들에 있어서, 컴퓨팅 디바이스(301)는 오디오 신호 또는 임의의 다른 센서 도출형 신호, 예를 들어, 사용자 인터페이스들, 가속도계들, 자이로스코프들, 관성 측정 유닛들 등과 같은 센서들로부터의 신호들로부터 햅틱 효과들을 도출할 수도 있다.
일부 실시예들에 있어서, 비디오 신호는 포함되지 않을 수도 있다. 예를 들어, 일부 실시예들에 있어서, 햅틱 효과들은, 비디오와 연관되지 않은 오디오 트랙과 함께 플레이될 수도 있다. 그러한 실시예에 있어서, 본 명세서에 개시된 시스템들 및 방법들은 오디오 신호에 대해, 실시간으로, 그 신호가 플레이되고 있을 때에, 또는 그 신호가 플레이되고 있기 이전의 시간에 동작할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 오디오 신호는, 추후에 플레이하기 위해 데이터 저장부에 저장되는 햅틱 트랙을 결정하기 위해 프로세싱될 수도 있다. 그러한 실시예에 있어서, 햅틱 트랙은, 햅틱 트랙을 플레이하는 컴퓨팅 디바이스에 의해 결정될 수도 있다. 다른 실시예들에 있어서, 햅틱 트랙은 오디오 트랙의 저자 또는 배포자에 의해 생성될 수도 있다. 그러한 실시예에 있어서, 저자 또는 배포자는 오디오 트랙과 함께 햅틱 트랙을 배포할 수도 있다.
오디오 신호들과 연관된 햅틱 효과들을 생성하는 예시적인 방법들
도 4 및 도 5는 오디오 신호들과 연관된 햅틱 효과들을 생성하는 예시적인 방법들(400 및 500)을 도시한 플로우차트들이다. 일부 실시예들에 있어서, 플로우차트들(400 및 500)에서의 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 디바이스, 또는 서버에서의 프로세서에 의해 실행된 프로그램 코드에서 구현될 수도 있다. 일부 실시예들에 있어서, 이들 단계들은 프로세서들의 그룹에 의해 구현될 수도 있다. 일부 실시예들에 있어서, 도 4 및 도 5에 도시된 단계들은 상이한 순서로 수행될 수도 있다. 대안적으로, 일부 실시예들에 있어서, 도 4 및 도 5에 도시된 단계들 중 하나 이상은 스킵될 수도 있거나 도 4 및 도 5에 도시되지 않은 부가적인 단계들이 수행될 수도 있다. 도 4 및 도 5에서의 단계들은 오디오 신호에 관하여 설명된다. 하지만, 일부 실시예들에 있어서, 그 방법들은 다른 타입들의 신호들, 예를 들어, 압력, 가속도, 속도, 또는 온도 신호들과 연관된 햅틱 효과들을 결정하는데 사용될 수도 있다. 하기의 단계들은 도 1a에 도시된 시스템(100)에 관하여 상기 설명된 컴포넌트들을 참조하여 설명된다.
방법(400)은 프로세서(102)가 오디오 신호를 수신하는 경우(402)에 시작한다. 일부 실시예들에 있어서, 오디오 신호는 컴퓨팅 디바이스(101) 상에서 플레이하는 비디오와 연관된 신호를 포함할 수도 있다. 다른 실시예들에 있어서, 오디오 신호는 컴퓨팅 디바이스(101) 상에서 현재 플레이하고 있는 오디오 파일과 연관된 신호를 포함할 수도 있다. 또 다른 실시예들에 있어서, 오디오 신호는, 컴퓨팅 디바이스(101) 상에 국부적으로 저장되거나 원격 서버 상에 저장된 오디오 파일과 연관될 수도 있다. 예를 들어, 일부 실시예들에 있어서, 오디오 신호는, 서버 상에 저장되고 요청 시 사용자에게 다운로드되는 오디오 파일을 포함할 수도 있다.
방법(400)은 프로세서(102)가 오디오 신호에 기초하여 햅틱 효과를 결정하는 경우(404)에 계속된다. 일부 실시예들에 있어서, 햅틱 효과는 하나 이상의 햅틱 출력 디바이스(들)(118)에 의해 출력된 진동을 포함할 수도 있다. 일부 실시예들에 있어서, 이 진동은 컴퓨팅 디바이스(101) 상에서 플레이하는 오디오 트랙의 사용자의 인식을 향상시키는데 사용될 수도 있다. 유사하게, 일부 실시예들에 있어서, 햅틱 효과는 터치 표면(116) 상의 마찰 계수의 변동을 포함할 수도 있다. 다른 실시예들에 있어서, 햅틱 효과는 터치 표면(116)의 표면 상의 시뮬레이션된 텍스처(예를 들어, 물, 풀, 얼음, 금속, 모래, 자갈, 벽돌, 모피, 가죽, 피부, 직물, 고무, 잎사귀, 또는 임의의 다른 가용 텍스처 중 하나 이상의 텍스처)를 포함할 수도 있다.
일부 실시예들에 있어서, 프로세서(102)는 햅틱 효과를 결정하기 위한 햅틱 효과 결정 모듈(126)에 포함된 프로그래밍에 의존할 수도 있다. 예를 들어, 프로세서(102)는, 메모리(104)에 저장되고 특정 햅틱 효과들과 연관된 구동 신호들에 액세스할 수도 있다. 다른 예로서, 신호는 저장된 알고리즘에 액세스하고 또한 효과와 연관된 파라미터들을 입력함으로써 생성될 수도 있다. 예를 들어, 알고리즘은 진폭 및 주파수 파라미터들에 기초하여 구동 신호를 생성함에 있어서 사용하기 위한 데이터를 출력할 수도 있다. 다른 예로서, 햅틱 신호는 액추에이터에 의해 디코딩될, 액추에이터로 전송된 데이터를 포함할 수도 있다. 예를 들어, 액추에이터는 그 자체가, 진폭 및 주파수와 같은 파라미터들을 명시하는 커맨드들에 응답할 수도 있다.
추가로, 일부 실시예들에 있어서, 사용자들은 컴퓨팅 디바이스(101)를 커스터마이징하기 위해 진동, 텍스처, 마찰 계수의 변동 또는 오디오 파일과 연관된 다른 햅틱 효과를 선택할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 사용자는 터치 인터페이스의 느낌의 개인화를 허용하기 위해 표면 텍스처와 같은 햅틱 효과를 선택할 수도 있다. 다른 실시예들에 있어서, 이러한 햅틱 효과는, 예를 들어, 착신 호, 이메일, 텍스트 메시지, 알람, 또는 다른 이벤트를 위한 링톤과 연관될 수도 있다. 일부 실시예들에 있어서, 사용자는 특정 효과들과 연관된 세팅들을 변경하거나 소프트웨어를 다운로드함으로써 개인화된 햅틱 효과들 또는 표면 텍스처들을 선택할 수도 있다. 다른 실시예들에 있어서, 사용자는 디바이스와의 검출된 상호작용을 통해 효과들을 지정할 수도 있다. 일부 실시예들에 있어서, 햅틱 효과들의 이러한 개인화는 사용자와 그 디바이스 간의 연결 및 사용자의 소유감을 증가시킬 수도 있다.
또 다른 실시예들에 있어서, 디바이스 제조자들, 아티스트들, 비디오 그래퍼들, 또는 소프트웨어 개발자들은 그들의 디바이스들, 사용자 인터페이스들, 또는 예술 작품들(예를 들어, 노래들, 비디오들, 또는 오디오 트랙들)을 브랜딩(branding)하기 위해 표면 텍스처들과 같은 독특한 햅틱 효과들을 선택할 수도 있다. 일부 실시예들에 있어서, 이들 햅틱 효과들은 브랜딩된 디바이스들에 고유하고, 브랜드 인식을 증가시킬 수도 있는 다른 독특한 엘리먼트들과 유사할 수도 있다. 예를 들어, 다수의 모바일 디바이스들 및 태블릿들은 커스텀 또는 브랜딩된 홈 스크린 환경을 포함할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 상이한 제조자들에 의해 생산된 디바이스들은 동일한 오퍼레이팅 시스템을 포함할 수도 있지만, 제조자들은 이러한 홈 스크린 환경을 변경함으로써 그 디바이스들을 구별할 수도 있다. 유사하게, 특정 회사에 의해 생산된 비디오들 또는 오디오 트랙들은 특정 타입의 햅틱 효과를 포함할 수도 있다. 따라서, 일부 실시예들에 있어서, 일부 디바이스 제조자들, 생산 회사들, 또는 소프트웨어 개발자들은 고유하고 차별된 사용자 경험을 생성하기 위해 텍스처들 또는 마찰 기반 효과들과 같은 햅틱 효과들을 사용할 수도 있다.
일부 실시예들에 있어서, 프로세서(102)는 "햅틱 프로파일"을 구현할 수도 잇다. 햅틱 프로파일은 프로세서(102)로 하여금 특정한 특성들을 갖는 햅틱 효과들을 결정하게 하도록 구성된 특정 알고리즘들 또는 설정들을 포함할 수도 있다. 일부 실시예에 있어서, 햅틱 프로파일은 사용자 또는 설계자에 의해 생성 또는 특정될 수도 있다. 추가로, 일부 실시예들에 있어서, 디바이스는 사전-프로그래밍된 햅틱 프로파일들을 포함할 수도 있다. 일부 실시예들에 있어서, 이들 햅틱 프로파일들은, 예를 들어, 오디오 신호들의 특정 타입들에 대한 활성 효과들, 민감한 효과들, 또는 커스터마이징된 프로파일들(예를 들어, 뮤직, 스피치, 특수 효과들, 영화 타입들(예를 들어, 액션, 드라마, 스릴러, 호러, 코메디)에 대한 특정 햅틱 프로파일), 스포츠 이벤트들, 또는 본 명세서에서 설명된 신호들의 저자 타입들을 출력하도록 설계된 햅틱 프로파일을 포함할 수도 있다. 예를 들어, 일 실시예에 있어서, 사용자는 록 뮤직과 연관된 특정 햅틱 프로파일, 및 스포츠 이벤트들과 연관된 상이한 햅틱 프로파일을 명시할 수도 있다.
방법(400)은 프로세서(102)가 햅틱 효과와 연관된 햅틱 신호를 출력하는 경우(406)에 계속된다. 프로세서(102)는 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스(118)로 햅틱 신호를 출력한다. 일부 실시예들에 있어서, 햅틱 출력 디바이스(118)는 햅틱 효과를 터치 표면(116) 상으로 출력할 수도 있다. 일부 실시예들에 있어서, 햅틱 출력 디바이스(118)는 터치 표면(116)에 커플링된 압전 액추에이터들 또는 전기 모터들과 같은 종래의 액추에이터들, 또는 컴퓨팅 디바이스(101) 내의 다른 컴포넌트들을 포함할 수도 있다. 다른 실시예들에 있어서, 햅틱 출력 디바이스(118)는, 정전계들을 이용하여 텍스처들을 시뮬레이션하거나 마찰 계수들을 변동시키도록 구성된 정전 액추에이터들을 포함할 수도 있다. 일부 실시예들에 있어서, 프로세서(102)는 복수의 햅틱 출력 디바이스들을 제어하여 다수의 햅틱 효과들을 시뮬레이션할 수도 있다. 예를 들어, 일 실시예에 있어서, 프로세서(102)는 정전 액추에이터를 제어하여 터치 표면(116)의 표면 상의 텍스처를 시뮬레이션할 수도 있고, 프로세서(102)는 또한, 다른 햅틱 출력 디바이스들(118)을 제어하여 다른 특성들을 시뮬레이션할 수도 있다. 예를 들어, 햅틱 출력 디바이스들(118)은, 터치 표면(116) 상의 배리어들, 디텐트들, 움직임, 또는 충돌들을 시뮬레이션하도록 구성된 진동들과 같은 다른 효과들을 출력하도록 구성된 액추에이터들을 포함할 수도 있다. 일부 실시예들에 있어서, 프로세서(102)는 효과들을 조화시켜, 사용자가 터치 표면(116)과 상호작용할 경우에 복수의 효과들을 함께 느낄 수 있게 한다.
그 후, 프로세서(102)는 오디오 신호를 출력한다(408). 일부 실시예들에 있어서, 프로세서(102)는 오디오 신호를, 스피커, 헤드폰, 또는 이어 버드(ear bud)와 같은 오디오 출력 디바이스로 출력할 수도 있다. 일부 실시예들에 있어서, 오디오 출력 디바이스는 컴퓨팅 디바이스(101)에 통합될 수도 있다. 다른 실시예들에 있어서, 오디오 출력 디바이스는 컴퓨팅 디바이스(101)에 커플링될 수도 있다. 추가로, 일부 실시예에 있어서, 오디오 신호는 햅틱 효과들에 동기화될 수도 있으며, 예를 들어, 일부 실시예들에 있어서, 햅틱 효과는 대응하는 오디오 효과와 실질적으로 동시에 출력될 수도 있다.
이제, 도 5로 돌아가면, 도 5는 오디오 신호들과 연관된 햅틱 효과들을 결정하는 예시적인 방법(500)을 도시한 플로우차트이다. 방법(500)은 프로세서(102)가 오디오 신호에서 컴포넌트들을 식별하는 경우(502)에 시작한다. 오디오 신호에서 컴포넌트들을 식별하는 다양한 예시적인 방법들이 하기에서 더 상세히 논의된다. 일부 실시예들에 있어서, 이들 컴포넌트들은 오디오 신호의 진폭, 주파수, 톤, 피치, 또는 속도에서의 변화들과 연관될 수도 있다. 이들 변화들은, 예를 들어, 악기에서의 변화, 영화에서의 장면 변화, 소스에서의 변화(예를 들어, 화자에서의 변화), 또는 오디오 파일들에서 통상 발견되는 기타 다른 천이와 연관될 수도 있다.
방법(500)은, 단계 504에서, 프로세서(102)가 단계 502에서 결정된 컴포넌트들과 연관된 햅틱 효과를 결정하는 경우에 계속된다. 일부 실시예들에 있어서, 햅틱 효과는 컴포넌트를 시뮬레이션하도록 구성될 수도 있다. 예를 들어, 결정된 컴포넌트가 액션(예를 들어, 발포 또는 폭발)과 연관되면, 햅틱 효과는 고 강도 햅틱 효과를 포함할 수도 있다. 다른 실시예들에 있어서, 햅틱 효과는 덜 격렬한 햅틱 효과, 예를 들어, 팬플룻에 의해 생성된 것과 같은 평온한 뮤직과 연관된 효과를 포함할 수도 있다. 대안적으로, 일부 실시예들에 있어서, 햅틱 효과를 결정하는 것은 어떠한 햅틱 효과도 컴포넌트와 연관되지 않아야 함을 결정하는 것을 포함한다. 예를 들어, 일 실시예에 있어서, 배경 잡음들은 어떠한 햅틱 효과도 포함하지 않을 수도 있다. 따라서, 시스템이 배경 잡음과 연관된 컴포넌트를 결정 또는 식별할 경우, 시스템은 어떠한 햅틱 효과도 결정하지 않을 수도 있다. 유사하게, 일부 실시예들에 있어서, 시스템은 스피치와 연관된 컴포넌트가 어떠한 햅틱 효과도 갖지 않음을 결정할 수도 있다. 추가로, 일 실시예에 있어서, 시스템은 컴포넌트들(예를 들어, 배경 잡음들)을 분리하고, 그들 컴포넌트들과 연관된 햅틱 효과들을 제거하도록 결정할 수도 있다. 예를 들어, 일 실시예에 있어서, 시스템은 자동 변환에 의해 생성된 햅틱 트랙을 클리닝하여, 컴포넌트들과 연관된 햅틱 효과들을 제거할 수도 있다.
추가로, 일부 실시예들에 있어서, 프로세서(102)는 컴포넌트들에 햅틱 효과(들)를 동기화할 수도 있다. 일부 실시예들에 있어서, 컴포넌트들에 햅틱 효과(들)를 동기화하는 것은 오디오 효과에 실질적으로 대응하는 시간에 햅틱 효과와 연관된 햅틱 신호를 출력하도록 프로세서(102)를 구성하는 것을 포함한다. 다른 실시예들에 있어서, 햅틱 효과들은 오디오 효과 이후 어떤 주기에 출력될 수도 있다. 예를 들어, 일부 실시예들에 있어서, 프로세서(102)는 에코로서 작용하는 햅틱 효과를 출력할 수도 있다. 예를 들어, 일 실시예에 있어서, 오디오 트랙은 발포를 시뮬레이션하는 사운드와 같은 컴포넌트들을 포함할 수도 있다. 그러한 실시예에 있어서, 프로세서는 오디오 효과와 일치하는 햅틱 효과를 결정할 수도 있다. 프로세서는 또한, 발포와 연관된 에코를 시뮬레이션하기 위해 수초 이후에 출력될 제2 햅틱 효과를 결정할 수도 있다.
오디오 신호들과 연관된 햅틱 효과들을 결정하는 예시적인 방법들
도 6 내지 도 8은 오디오 신호들과 연관된 햅틱 효과들을 결정하는 예시적인 방법들(600, 700 및 800)을 도시한 플로우차트들이다. 일부 실시예들에 있어서, 도 6 내지 도 8에서의 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 디바이스, 또는 서버에서의 프로세서에 의해 실행된 프로그램 코드에서 구현될 수도 있다. 일부 실시예들에 있어서, 이들 단계들은 프로세서들의 그룹에 의해 구현될 수도 있다. 일부 실시예들에 있어서, 도 6 내지 도 8에 도시된 단계들은 상이한 순서로 수행될 수도 있다. 대안적으로, 일부 실시예들에 있어서, 도 6 내지 도 8에 도시된 단계들 중 하나 이상은 스킵될 수도 있거나 도 6 내지 도 8에 도시되지 않은 부가적인 단계들이 수행될 수도 있다. 도 6 내지 도 8에서의 단계들은 오디오 신호에 관하여 설명된다. 하지만, 일부 실시예들에 있어서, 그 방법들은 다른 타입들의 신호들, 예를 들어, 압력, 가속도, 속도, 또는 온도 신호들과 연관된 햅틱 효과들을 결정하는데 사용될 수도 있다.
일부 실시예들에 있어서, 도 6 내지 도 8에서 설명된 방법들은, 결국 햅틱 효과를 출력하는 햅틱 출력 디바이스에 커플링된 디바이스에 의해 구현될 수도 있다. 다른 실시예들에 있어서, 도 6 내지 도 8에서 설명된 방법들은 햅틱 개발자 또는 콘텐츠 생성자에 의해 구현될 수도 있다. 그러한 실시예에 있어서, 그 방법들은, 설계자 또는 콘텐츠 생성자가 멀티미디어 콘텐츠에 햅틱 효과들을 할당하는 것을 돕는 툴박스의 부분으로서 구현될 수도 있다. 예를 들어, 일부 실시예들에 있어서, 이들 방법들은 오디오 또는 시청각 편집 소프트웨어(예를 들어, 햅틱들을 개발하기 위한 햅틱 스튜디오 또는 모바일 어플리케이션)에 대한 플러그인의 부분으로서 발견될 수도 있다.
이제, 도 6으로 돌아가면, 도 6은 일 실시예에 따른, 오디오 신호들과 연관된 햅틱 효과들을 생성하는 방법(600)에 대한 플로우 차트를 도시한다. 도 6에 도시된 바와 같이, 방법(600)은 프로세서(102)가 하나 이상의 컴포넌트들과 연관된 신호를 수신하는 경우에 시작한다. 일부 실시예들에 있어서, 이들 컴포넌트들은 음향 이벤트 검출(AED) 또는 자동 스피치 인식(ASR)과 연관된 방법들 또는 시스템들을 포함할 수도 있다. 추가로, 일부 실시예들에 있어서, 이들 방법들은, 그 제1차 및 제2차 도함수들과 함께 멜-주파수 켑스트럴 계수들(MFCC), MPEG-7 스펙트럼 피처들, 티저 에너지 오퍼레이터 피처들과 결합된 임계 밴드(CB-TEO), 신호의 주기성, 웨이블렛 기반 켑스트럴 계수들, 스펙트럼 중심, 스펙트럼 비대칭, 스펙트럼 대역폭, 제로 크로싱 레이트(ZCR), 선형 예측자 계수(LPC), 선형 예측성 켑스트럴 계수들(LPCC), 로그 주파수 켑스트럴 계수들(LFCC), 또는 기본 주파수 중 하나 이상과 연관된 오디오 피처들을 이용한다. 일부 실시예들에 있어서, 이들 컴포넌트들은, 오디오 파일을 청취할 사용자에 의해 식별 또는 태깅될 수도 있다. 다른 실시예들에 있어서, 이들 컴포넌트들은, 오디오 트랙을 개발한 프로그래머 또는 아티스트에 의해 식별 또는 태깅될 수도 있다.
다음으로, 단계 604에서, 프로세서(102)는 오디오 신호를 하나 이상의 세그먼트들로 분할한다(604). 일부 실시예들에 있어서, 이들 세그먼트들은 중첩 세그먼트들을 포함할 수도 있거나, 대안적으로, 일부 실시예들에 있어서, 세그먼트들은 비-중첩 세그먼트들을 포함할 수도 있다. 일부 실시예에 있어서, 이들 세그먼트들은 시간 세그먼트들을 포함할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 세그먼트들은 미리결정된 주기, 예를 들어, 매 1, .5, .1, 또는 .01초 마다의 시간 세그먼트들을 포함할 수도 있다. 다른 실시예들에 있어서, 세그먼트들은, 값이 변하는 시간 세그먼트들을 포함할 수도 있다. 또 다른 실시예들에 있어서, 세그먼트는 오디오 신호의 상이한 측정치를 포함할 수도 있다. 예를 들어, 일 실시예에 있어서, 세그먼트는 진폭 세그먼트를 포함할 수도 있으며, 예를 들어, 특정 진폭 범위 내의 신호의 컴포넌트들이 세그먼트를 형성할 수도 있다. 또 다른 실시예들에 있어서, 세그먼트는 신호 내의 주파수 범위를 포함할 수도 있다. 그러한 실시예에 있어서, 그 주파수 범위 내의 오디오 신호의 컴포넌트들은 세그먼트를 형성할 수도 있다. 일부 실시예들에 있어서, 예시적인 주파수 범위는 50 Hz 내지 200 Hz, 또는 1,000 Hz 내지 10,000 Hz의 범위를 포함할 수도 있다.
그 후, 단계 606에서, 프로세서(102)는 세그먼트들을 분석한다. 프로세서(102)는 세그먼트를 분석하여, 단계 602에서 상기 논의된 컴포넌트들 중 하나 이상을 식별한다. 예를 들어, 프로세서(102)는, 스피치 또는 뮤직과 같은 컴포넌트가 존재하는지를 결정할 수도 있다. 일부 실시예들에 있어서, 프로세서(102)는 음향 이벤트 검출(AED) 또는 자동 스피치 인식(ASR) 중 하나를 이용하여 세그먼트를 분석할 수도 있다. 일부 실시예들에 있어서, 그 분석은 주파수, 진폭, 톤, 또는 피치 기반 분석 중 하나 이상을 포함할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 프로세서는 오디오 신호에 대한 고속 푸리에 변환(FFT)을 수행하고, 그 후, 오디오 신호를 주파수 도메인에서 분석할 수도 있다. 예를 들어, 일 실시예에 있어서, 프로세서(102)는, FFT를 수행하고 또한 피크 주파수 컴포넌트들을 분리함으로써 세그먼트를 분석할 수도 있다. 프로세서는 또한, 오디오 신호 데이터의 데이터베이스(예를 들어, 네트워크(110)를 통해 액세스가능한 원격 데이터베이스 또는 저장부(114)에 저장된 로컬 데이터베이스)에 액세스하고 세그먼트를 데이터베이스와 비교할 수도 있다. 일부 실시예들에 있어서, 이는 프로세서로 하여금 오디오 효과의 소스를 분리하게 하고, 예를 들어, 화자를 분리하거나 악기 또는 특수 효과(예를 들어, 발포, 폭발, 또는 엔진 사운드들과 같은 액션 영화에서 발견되는 효과들)를 분리하게 할 수도 있다.
그 후, 단계 608에서, 프로세서(102)는 세그먼트들을 분류한다. 일부 실시예에 있어서, 프로세서(102)는 세그먼트에 있어서의 특정 오디오 피처들의 값들 또는 세그먼트에 있어서의 특정 컴포넌트의 존재에 기초하여 세그먼트들을 분류할 수도 있다. 일부 실시예들에 있어서, 분류를 위한 알고리즘(예를 들어, 인식 알고리즘)은 상이한 컴포넌트들 또는 피처들을 기술하는 상이한 모델들에 대해 세그먼트의 컴포넌트들 또는 피처 값들을 비교할 수도 있다. 이러한 알고리즘은 추가로, 가장 가능성있는 모델 라벨에 기초하여 세그먼트를 분류할 수도 있다.
일부 실시예들에 있어서, 모델은 그 모델과 연관된 컴포넌트들의 타입들에 기초하여 발명될 수도 있다. 일 실시예에 있어서, 컴포넌트 또는 피처의 일 타입에 대한 모델은, 동일 타입으로 이전에 자동으로 또는 수동으로 라벨링된 오디오 세그먼트들의 데이터베이스로부터의 컴포넌트들 또는 피처들을 이용하여 구성될 수도 있다. 일부 실시예들에 있어서, 이러한 데이터베이스는, 오디오 효과들과 연관된 고속 탐색들을 가능케 하도록 구성된 복수의 분류기들을 포함하는 큰 데이터베이스를 포함할 수도 있다. 일 실시예에 있어서, 예시적인 분류는 컴포넌트 당 분류 시스템(예를 들어, 스피치 인식 시스템), 또는 세트 중 하나의 컴포넌트에 세그먼트를 할당하는 분류 시스템을 포함할 수도 있다. AED에 사용되는 분류 기술들의 예들은, 예를 들어, 가우시안 혼합 모델들(GMM), 서포트 벡터 머신(SVM), 히든 마코프 모델들(HMM), K 최근접 이웃들(KNN), 판정 트리들, 인공 뉴럴 네트워크(ANN), 벡터 양자화(VQ), 또는 베이지안 네트워크들(BN)을 포함할 수도 있다. 추가로, 일부 실시예들에 있어서, 프로세서(102)는 데이터베이스에 액세스하여, 특정 피처 또는 컴포넌트를 저장하거나 대안적으로 피처 또는 컴포넌트와 연관된 데이터베이스에 대한 탐색을 수행할 수도 있다.
그 후, 단계 610에서, 프로세서(102)는 분류에 기초하여 햅틱 효과를 할당한다. 일부 실시예들에 있어서, 햅틱 효과는 분류와 연관된 특정 타입의 효과를 포함할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 신호의 특정 클래스는 특정 햅틱 효과를 포함할 수도 있다. 그러한 실시예에 있어서, 예를 들어, 스피치는 특정 주파수 진동을 포함할 수도 있지만, 차량 구동과 같은 다른 가청 효과는 상이한 주파수 진동을 포함할 수도 있다. 추가로, 일부 실시예들에 있어서, 프로세서(102)는 오디오 신호들의 특정 클래스들이 어떠한 햅틱 효과도 갖지 않을 것임을 결정할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 프로세서(102)는 배경 잡음 또는 스피치가 임의의 햅틱 효과와 연관되지 않아야 함을 결정할 수도 있다. 예를 들어, 일 실시예에 있어서, 사용자 또는 설계자는, 프로세서(102)가 배경 잡음 또는 스피치와 연관된 햅틱 효과를 출력하지 않도록 결정하도록 설정을 조정할 수도 있다. 추가로, 일 실시예에 있어서, 사용자 또는 설계자는, 프로세서(102)가 오디오 파일의 탐색을 수행하고 햅틱 트랙을 클리닝하여 배경 잡음 또는 스피치와 연관된 햅틱 효과들을 제거하도록 설정을 조정할 수도 있다.
이제, 도 7로 돌아가면, 도 7은 일 실시예에 따른, 오디오 신호들과 연관된 햅틱 효과들을 생성하는 방법(700)에 대한 플로우 차트를 도시한다. 도 7에 도시된 바와 같이, 방법(700)은 프로세서(102)가 오디오 신호 내에서 소스들을 분리하는 경우(702)에 시작한다. 일부 실시예들에 있어서, 프로세서(102)는 오디오 소스들을 분리하는 복수의 상이한 방법들 중 하나 이상의 방법들을 구현할 수도 있다. 일부 실시예들에 있어서, 이들 방법들은 음향 이벤트 검출(AED) 또는 자동 스피치 인식(ASR)을 위한 방법들을 포함할 수도 있다. 추가로, 일부 실시예들에 있어서, 이들 방법들은, 그 제1차 및 제2차 도함수들과 함께 멜-주파수 켑스트럴 계수들(MFCC), MPEG-7 스펙트럼 피처들, 티저 에너지 오퍼레이터 피처들과 결합된 임계 밴드(CB-TEO), 신호의 주기성, 웨이블렛 기반 켑스트럴 계수들, 스펙트럼 중심, 스펙트럼 비대칭, 스펙트럼 대역폭, 제로 크로싱 레이트(ZCR), 선형 예측자 계수(LPC), 선형 예측성 켑스트럴 계수들(LPCC), 로그 주파수 켑스트럴 계수들(LFCC), 또는 기본 주파수 중 하나 이상을 사용하도록 구성된 알고리즘들을 포함할 수도 있다.
다음으로, 단계 704에서, 프로세서(102)는 소스들에 햅틱 효과들을 할당한다. 예를 들어, 일부 실시예들에 있어서, 프로세서는 햅틱 효과들이 오직 특정 소스들과만 연관되어야 함을 결정할 수도 있다. 예를 들어, 프로세서는 뮤직과 연관된 오디오에 햅틱 효과들을 적용하지만, 스피킹과 연관된 햅틱 효과들을 제거 또는 "클리닝"할 수도 있다. 유사하게, 프로세서는, 발포, 엔진 소음, 기상 잡음, 또는 배경 잡음과 같은 효과들과 연관되는 오디오에 대한 특정 효과들을 결정할 수도 있다. 일부 실시예들에 있어서, 프로세서(102)는 상이한 오디오 효과들에 다중의 액추에이터들을 할당할 수도 있다. 예를 들어, 프로세서(102)는 일 소스(예를 들어, 제1 화자 또는 제1 기타)와 연관된 햅틱 효과들을 생성하기 위해 제1 햅틱 출력 디바이스(118)를 할당하고, 제2 소스(예를 들어, 제2 화자 또는 오디오 신호에서의 특수 효과들)와 연관된 햅틱 효과들을 생성하기 위해 제2 햅틱 출력 디바이스(118)를 할당할 수도 있다.
이제, 도 8로 돌아가면, 도 8은 일 실시예에 따른, 오디오 신호들과 연관된 햅틱 효과들을 생성하는 방법(800)에 대한 플로우 차트를 도시한다. 도 8에 도시된 바와 같이, 방법(800)은 단계 802에서, 프로세서(102)가 오디오 신호에서 스피치를 분리하는 경우에 시작한다. 일부 실시예들에 있어서, 프로세서(102)는 오디오 신호의 세그먼트들을 분류함으로써, 예를 들어, 오디오 신호에 있어서 오디오 피처들 또는 컴포넌트들을 식별하는 것을 이용하여 스피치를 분리한다. 일부 실시예들에 있어서, 프로세서(102)는 사전 태깅된 오디오 신호들의 로컬 또는 원격 데이터베이스에 액세스할 수도 있다. 이러한 데이터베이스는 상이한 타입들, 상이한 화자들의 그리고 상이한 레벨들의 잡음을 갖는 사운드들을 포함할 수도 있다. 일부 실시예들에 있어서, 프로세서는, 신호 에너지, 고/저 에너지, 멜-주파수 켑스트럴 계수들(MFCC) 및 그 도함수들, 선형 주파수 켑스트럴 계수들(LFCC) 및 그 도함수들, 제로 크로싱 레이트들(ZCR), 자기상관 주파수, 또는 스펙트럼 무게 중심 중 하나 이상을 이용하는 스피치로서 신호들 분류할 수도 있다. 추가로, 일부 실시예들에 있어서, 구별 태스크에 사용되는 분류기들은 뉴럴 네트워크들, 가우시안 혼합 모델들(GMM), 또는 히든 마코프 모델들(HMM)을 포함할 수도 있다.
방법(800)은 프로세서(102)가 스피치와 연관된 하나 이상의 감정들을 결정하는 경우(804)에 계속된다. 화자의 감정 상태는 그 스피치 패턴들에 영향을 준다. 예를 들어, 화자의 감정들은 화자로 하여금 억양, 볼륨, 속도 또는 다른 스피치 파라미터들을 변경하게 할 수도 있다. 일부 실시예들에 있어서, 프로세서(102)는 신호를 다시 분류함으로써 스피치에서 감정들을 결정한다. 일부 실시예들에 있어서, 이러한 분류는 오디오 신호로부터 하나 이상의 피처 값들 또는 컴포넌트들을 추정하는 것, 및 이 피처 값들 또는 컴포넌트들을, 화자의 감정 상태로 태깅된 스피치 샘플들의 로컬 또는 원격 데이터베이스에 대해 분류하는 것을 포함한다. 일부 실시예들에 있어서, 분류를 위한 알고리즘(예를 들어, 인식 알고리즘)은 상이한 감정들을 기술하는 상이한 모델들에 대해 세그먼트의 컴포넌트들 또는 피처 값들을 비교할 수도 있다. 이러한 알고리즘은 추가로, 가장 가능성있는 감정에 기초하여 세그먼트를 분류할 수도 있다. 일부 실시예들에 있어서, 모델은 그 모델과 연관된 감정들의 타입들에 기초하여 발명될 수도 있다. 일 실시예에 있어서, 감정의 일 타입에 대한 모델은, 동일 감정으로 이전에 (예를 들어, 수동으로 또는 자동으로) 라벨링된 오디오 세그먼트들의 데이터베이스로부터의 컴포넌트들 또는 피처들을 이용하여 구성될 수도 있다. 일부 실시예들에 있어서, 데이터베이스는 상이한 연령들, 성별들, 감정 상태들 및 악센트들/언어들의 화자들의 샘플들을 포함하기에 충분히 클 수도 있다. 추가로, 일부 실시예들에 있어서, 검출될 수 있는 감정들의 타입들은 중립, 기쁨, 화남, 슬픔, 공격적임, 지루함, 혐오, 두려움, 스트레스, 놀람, 또는 분개함을 포함한다.
프로세서(102)는 감정 검출을 위해 다중의 상이한 컴포넌트들을 사용할 수도 있다. 일부 실시예들에 있어서, 이들 컴포넌트들은 주파수 기반 컴포넌트들, 예를 들어, 기본 주파수 변화, 평균 피치, 피치 범위, 스펙트럼 피처들, MFCC, LFCC, 포르만트 피처들, 또는 컨투어 기울기를 포함할 수도 있다. 다른 실시예들에 있어서, 이들 컴포넌트들은 시간 기반 컴포넌트들, 예를 들어, 스피치 레이트, 스트레스 주파수, 에너지, 또는 ZCR을 포함할 수도 있다. 또 다른 실시예들에 있어서, 이들 컴포넌트들은 음성 품질 파라미터들, 예를 들어, 기식음, 선명도, 소리크기, 일시중지 불연속, 또는 피치 불연속을 포함할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 화남 및 공격적임은 강한 고 주파수 에너지 및 더 넓은 피치 범위를 갖는 고 진폭 및 고속 스피치로 변환될 수 있다. 다른 실시예들에 있어서, 슬픔은 느리고 낮게 피칭된 신호를 생성할 수도 있다. 일부 실시예들에 있어서, 감정 분류 태스크를 위해 사용될 수도 있는 분류기들은 뉴럴 네트워크들, SVM, GMM, HMM, KNN, 또는 판정 트리들을 포함할 수도 있다.
추가로, 일부 실시예들에 있어서, 오디오 신호는, 일부 실시예들에 있어서 알고리즘으로 하여금 예를 들어 감정을 식별함으로써 오디오 신호의 세그먼트를 분류하게 할 수도 있는 오디오 세그먼트의 디스크립터로서 작동하는 피처를 포함할 수도 있다. 일 실시예에 있어서, 멜-주파수 켑스트럼들(MFCC)은 분류를 위해 사용된 오디오 피처들로서 사용될 수도 있다. 그러한 실시예에 있어서, 시스템은 그들 MFCC들 또는 다른 피처들 또는 디스크립터들을 사용하여 이벤트들 또는 소스들을 식별할 수도 있다.
방법(800)은 프로세서(102)가 감정들과 연관된 햅틱 효과를 결정하는 경우(806)에 계속된다. 일부 실시예들에 있어서, 프로세서(102)는 햅틱 효과를 생성하는 것보다는 햅틱 묵음을 생성하도록 결정할 수도 있다. 예를 들어, 일부 감정들(예를 들어, 우울, 슬픔)에 대해, 프로세서(102)는 이러한 세그먼트에서 모든 햅틱 효과들을 삭제할 수도 있다. 프로세서(102)는 또한 세그먼트에 햅틱 테마를 할당할 수도 있다. 예를 들어, 검출된 감정은 세그먼트/장면에서의 햅틱 효과들을 조정하여 더 적절하게 하는데 사용될 수도 있다. 이들 햅틱 효과들은 자동 변환(오디오 및/또는 비디오)에 의해 생성될 수도 있으며, 스피치 또는 임의의 다른 사운드에 관련될 수 있다. 예를 들어, 배우들로부터 화남 및 스트레스 감정들을 갖는 액션 영화 장면에 있어서, 햅틱 효과는 시청자에 대한 유사한 스트레스 상태를 시뮬레이션하도록 결정될 수도 있다. 그러한 실시예에 있어서, 프로세서(102)는 스트레스가 있는 장면에 있어서 모든 햅틱 효과들을 상승시키도록 구성될 수도 있다. 다른 실시예들에 있어서, 장면이 유쾌한 경우, 프로세서는 장면과 연관된 하나 이상의 햅틱 효과들을 감쇄하도록 구성될 수도 있다. 또 다른 실시예들에 있어서, 프로세서(102)는 미리설정된 효과를 결정하도록 구성될 수도 있다. 그러한 실시예에 있어서는, 자동 변환을 이용하는 것보다는, 프로세서(102)는 태깅된 감정들로부터 효과들을 직접 생성할 수도 있다. 예를 들어, 일 실시예에 있어서, 감정들은 사용자, 프로그래머, 또는 콘텐츠 생성자에 의해 태깅될 수도 있다. 일부 실시예들에 있어서, 미리설정된 효과는 화자의 감정 상태에 맞도록 설계될 수 있으며, 그러한 실시예에 있어서, 이 상태를 반영하고 강조하기 위해 스피치와 함께 플레이될 수도 있다. 또 다른 실시예들에 있어서, 스피치 신호에 맞지 않을 수도 있는 자동 변환 알고리즘들을 이용하는 대신, 프로세서(102)는 자동으로 생성된 햅틱 트랙에 있어서의 스피치에 관련된 모든 효과들을 삭제하도록 구성될 수도 있다. 그러한 실시예에 있어서, 프로세서(102)는, 검출된 감정에 대해 구체적으로 설계된 알고리즘으로 스피치를 독립적으로 프로세싱할 수도 있다. 추가로, 일부 실시예들에 있어서, 프로세서(102)는, 결정된 감정에 기초하여, 스피치-햅틱들에 대한 미리결정된 알고리즘을 적용할 수도 있다. 예를 들어, 일 실시예에 있어서, 프로세서는, 복수의 감정들과 각각 연관되는 복수의 자동 스피치-햅틱 알고리즘들을 포함할 수도 있다. 그러한 실시예에 있어서, 프로세서(102)가 감정들 중 하나를 결정할 경우, 프로세서(102)는 대응하는 알고리즘을 이용하여 햅틱 효과를 결정할 수도 있다.
촉감 미디어를 생성하기 위해 오디오 신호들과 연관된 촉감 콘텐츠를 생성하는 예시적인 시스템들
이제, 도 9a 및 도 9b로 돌아가면, 촉감 콘텐츠를 생성하기 위한 시스템 환경에 대한 실시예들이 개시된다. 도 9a에 도시된 바와 같이, 시스템(900)은 하나 이상의 미디어 서버(들)(904) 상에 저장된 A/V 콘텐츠(902), 및 하나 이상의 햅틱 미디어 서버(들)(910) 상에 저장된 햅틱 콘텐츠(908)를 포함한다. 시스템(900)에 도시된 바와 같이, 미디어 서버(들)(904) 및 햅틱 미디어 서버(들)(910) 각각은 당업계에 공지된 표준 컴포넌트들, 예를 들어, 프로세서, 메모리, 데이터 저장부, 네트워크 커넥션(들), 및 서버 상에 저장된 데이터를 저장 및 액세스하도록 구성된 소프트웨어를 갖는 하나 이상의 서버(들)를 포함한다. 미디어 서버(들)(904) 및 햅틱 미디어 서버(들)(910) 양자는 클라우드 커넥션들(906(a) 또는 906(b)) 중 하나에 커플링된다. 클라우드 커넥션들(906(a) 또는 906(b))은 당업계에 공지된 바와 같은 유선 및/또는 무선 인터넷 커넥션들을 포함한다.
시스템(900)에 도시된 바와 같이, (오디오, 이미지, 또는 비디오 파일과 같은) A/V 콘텐츠(902)는 (상기 설명된 바와 같은 햅틱 트랙과 같은) 햅틱 콘텐츠(908)로부터 별개로 송신된다. 예를 들어, 상기 설명된 타입들의 컴퓨팅 디바이스에 의해 수신된 경우, 공표자 어플리케이션(912)과 같은 어플리케이션(예를 들어, 촉감 가능식 안드로이드 어플 또는 햅틱 미디어 SDK)이 비디오 및 촉감 스트림들을 동기화 및/또는 플레이하기 위해 액세스될 수도 있다.
다른 실시예에 있어서, 시스템(950)으로서 도 9b에 도시된 바와 같이, 내장된 햅틱 정보(952)를 갖는 A/V 콘텐츠가 하나 이상의 미디어 서버(들)(954) 상에 저장된다. 이들 미디어 서버(들)는 하나 이상의 클라우드 커넥션(들)(956)에 커플링될 수도 있다. 그러한 실시예에 있어서, 공표자 어플리케이션(958)과 같은 어플리케이션(예를 들어, 촉감 가능식 안드로이드 어플 또는 햅틱 미디어 SDK)이 A/V 콘텐츠 및 내장된 햅틱 콘텐츠(952)를 결정 및/또는 플레이하기 위해 액세스될 수도 있다.
오디오 신호들과 연관된 햅틱 효과들을 생성하는 시스템들 및 방법들의 이점들
오디오 신호들과 연관된 햅틱 효과들을 생성하는 다수의 이점들이 존재한다. 예를 들어, 자동 오디오-햅틱 변환 알고리즘들은, 신호에 혼합된 상이한 사운드들 간의 임의의 구별없이 오디오 콘텐츠를 가능한 많이 햅틱화하려고 시도할 수도 있다. 하지만, 이러한 접근법은, 햅틱 효과가 압도하게 될 수 있기 때문에 바람직하지 않는 햅틱 효과들을 유도한다. 예를 들어, 영화에 대한 햅틱 효과들을 그 오디오 트랙을 이용하여 자동으로 생성할 경우, 스피치 및 배경 뮤직이 햅틱화될 수도 있다. 그 효과들은 대부분의 사용자들에 대해 관련없으며, 따라서, 그 경험을 격하시킬 수 있다. 하지만, 본 개시의 실시예들은, 오직 특정 오디오 효과들에게만 햅틱 효과들을 지능적으로 할당하는 자동 오디오-햅틱 변환을 허용한다. 이는 최종 햅틱 효과가 압도되는 것을 방지한다.
추가로, 본 개시의 실시예들은 사용자, 콘텐츠 생성자, 또는 시스템 설계자로 하여금 햅틱 효과들을 포함할 오디오 신호의 컴포넌트들을 명시하게 할 수 있다. 이는 사용자, 콘텐츠 생성자, 또는 시스템 설계자로 하여금 오디오 신호들에 대하 더 강렬한 햅틱 효과들을 자동으로 생성하게 할 수 있는데, 왜냐하면 어떠한 햅틱 출력도 존재하지 않는 특정 소스들을 사용자가 명시할 수 있기 때문이다. 예를 들어, 컴포넌트들의 일부 타입들은 햅틱화된다면 곤란할 수도 있으며, 일부 실시예들에 있어서, 이들 컴포넌트들은, 예를 들어, 키보드 타이핑, 뮤직 비트들, 박수갈채, 격려, 클래식 뮤직, 샤우팅 등을 포함할 수도 있다. 본 명세서에서 개시된 시스템들 및 방법들은 설계자로 하여금 이들 컴포넌트들을 햅틱화하는 것을 회피하게 하거나, 이들 컴포넌트들과 연관된 햅틱 효과들을 햅틱 트랙에서 제거하게 할 수도 있다.
일반적인 고려사항들
상기 논의된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 구성들이 다양한 절차들 또는 컴포넌트들을 적절하게 생략, 치환, 또는 부가할 수도 있다. 예를 들어, 대안적인 구성들에 있어서, 방법들은 설명된 것과 상이한 순서로 수행될 수도 있고/있거나 다양한 단계들이 부가, 생략, 또는 결합될 수도 있다. 또한, 특정 구성들에 관하여 설명된 피처들은 다양한 다른 구성들에서 결합될 수도 있다. 구성들의 상이한 양태들 및 엘리먼트들이 유사한 방식으로 결합될 수도 있다. 또한, 기술은 진화하고, 따라서, 엘리먼트들의 다수는 예들이며 본 개시 또는 청구항의 범위를 한정하지 않는다.
특정 상세들이 (구현들을 포함하여) 예시적인 구성들의 철저한 이해를 제공하기 위해 설명에 있어서 주어진다. 하지만, 구성들은 이들 특정 상세들없이도 실시될 수도 있다. 예를 들어, 널리 공지된 회로들, 프로세스들, 알고리즘들, 구조들, 및 기술들은, 구성들을 불명료하게 하는 것을 회피하기 위해 불필요한 상세없이 도시되었다. 이 설명은 오직 예시적인 구성들을 제공할 뿐, 청구항의 범위, 적용가능성, 또는 구성들을 한정하지 않는다. 오히려, 구성들의 전술한 설명은, 설명된 기술들을 구현하기 위해 가능한 설명을 당업자에게 제공할 것이다. 본 개시의 사상 또는 범위로부터의 일탈함없이 엘리먼트들의 기능 및 배열에 있어서 다양한 변경들이 행해질 수도 있다.
또한, 구성들은, 플로우 다이어그램 또는 블록 다이어그램으로서 도시된 프로세스로서 설명될 수도 있다. 각각이 동작들을 순차적인 프로세스로서 기술할 수도 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 부가적으로, 동작들의 순서가 재배열될 수도 있다. 프로세스는, 도면에 포함되지 않은 부가적인 단계들을 가질 수도 있다. 더욱더, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 디스크립션 언어들, 또는 이들의 임의의 조합에 의해 구현될 수도 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현될 경우, 필요한 태스크들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 비-일시적인 컴퓨터 판독가능 매체에 저장될 수도 있다. 프로세서들은 설명된 태스크들을 수행할 수도 있다.
수개의 예시적인 구성들을 설명했을 때, 다양한 변형들, 대안적인 구성들, 및 균등물들이 본 개시의 사상으로부터 일탈함없이 사용될 수도 있다. 예를 들어, 상기 엘리먼트들은 더 큰 시스템의 컴포넌트들일 수도 있으며, 여기서, 다른 룰들이 우선권을 인수하거나 그렇지 않으면 본 발명의 어플리케이션을 변형할 수도 있다. 또한, 다수의 단계들이, 상기 엘리먼트들이 고려되기 전, 그 동안, 또는 그 이후에 착수될 수도 있다. 이에 따라, 상기 설명은 청구항의 범위를 한정하지 않는다.
본 명세서에서의 "~에 적응된" 또는 "~하도록 구성된" 의 사용은, 부가적인 태스크들 또는 단계들을 수행하도록 적응되거나 구성된 디바이스들을 배제하지 않는 개방적이고 포괄적인 언어로서 의미된다. 부가적으로, "~에 기초한"의 사용은, 하나 이상의 인용된 조건들 또는 값들에 "기초한" 프로세스, 단계, 계산, 또는 다른 액션이 실제로 그 인용된 것들을 넘는 부가적인 조건들 또는 값들에 기초할 수도 있다는 점에 있어서 개방적이고 포괄적인 것으로 의미된다. 본 명세서에 포함된 헤딩들, 리스트들, 및 넘버링은 단지 설명의 용이를 위한 것일 뿐, 한정적인 것으로 의미되지 않는다.
본 주제의 양태들에 따른 실시예들은 디지털 전자 회로에서, 컴퓨터 하드웨어, 펌웨어, 소프트웨어에서, 또는 이들의 조합들에서 구현될 수 있다. 일 실시예에 있어서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수도 있다. 프로세서는, 프로세서에 커플링된 랜덤 액세스 메모리(RAM)와 같은 컴퓨터 판독가능 매체를 포함하거나 그 컴퓨터 판독가능 매체로의 액세스를 갖는다. 프로세서는, 상기 설명된 방법들을 수행하기 위한 센서 샘플링 루틴, 선택 루틴들, 및 다른 루틴들을 포함하는 하나 이상의 컴퓨터 프로그램들을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령들을 실행한다.
그러한 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP), 주문형 집적회로(ASIC), 필드 프로그램가능 게이트 어레이들(FPGAs), 및 상태 머신들을 포함할 수도 있다. 그러한 프로세서들은 PLC들, 프로그램가능 인터럽트 제어기들(PICs), 프로그램가능 로직 디바이스들(PLDs), 프로그램가능 판독전용 메모리들(PROMs), 전자적으로 프로그램가능 판독전용 메모리들(EPROMs 또는 EEPROMs), 또는 다른 유사한 디바이스들과 같은 프로그램가능 전자 디바이스들을 더 포함할 수도 있다.
그러한 프로세서들은, 프로세서에 의해 실행될 경우, 프로세서로 하여금 프로세서에 의해 실행되거나 보조되는 것으로서 본 명세서에서 설명된 단계들을 수행하게 할 수 있는 명령들을 저장할 수도 있는 매체, 예를 들어, 유형의 컴퓨터 판독가능 매체를 포함할 수도 있거나 그 매체와 통신할 수도 있다. 컴퓨터 판독가능 매체의 실시예들은, 웹 서버에서의 프로세서와 같은 프로세서에게 컴퓨터 판독가능 명령들을 제공하는 것이 가능한 모든 전자적, 광학적, 자기적, 또는 다른 저장 디바이스들을 포함할 수도 있지만 이에 한정되지 않는다. 매체의 다른 예들은 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만 이에 한정되지 않는다. 또한, 라우터, 사설 또는 공개 네트워크, 또는 다른 송신 디바이스와 같은 다양한 다른 디바이스들이 컴퓨터 판독가능 매체를 포함할 수도 있다. 설명된 프로세서 및 프로세싱은 하나 이상의 구조들 내에 있을 수도 있고, 하나 이상의 구조들을 통해 분산될 수도 있다. 프로세서는 본 명세서에서 설명된 방법들(또는 방법들의 부분들) 중 하나 이상을 실행하기 위한 코드를 포함할 수도 있다.
본 주제가 그 특정 실시예들에 관하여 상세히 설명되었지만, 당업자는, 전술한 바의 이해를 얻을 시, 그러한 실시예들에 대한 변경예들, 변동예들, 및 균등물들을 용이하게 생성할 수도 있음이 인식될 것이다. 따라서, 본 개시는 한정이라기 보다는 예시의 목적으로 제시되었으며, 당업자에게 용이하게 자명할 바와 같이 본 주제에 대한 그러한 변형예들, 변동예들 및/또는 부가예들의 포함을 배제하지 않음을 이해해야 한다.

Claims (40)

  1. 햅틱 효과를 출력하는 시스템으로서,
    프로세서를 포함하고,
    상기 프로세서는,
    오디오 신호를 수신하고;
    상기 오디오 신호에서의 하나 이상의 컴포넌트들을 식별하는 것 및 상기 하나 이상의 컴포넌트들과 연관된 햅틱 효과를 결정하는 것에 의해, 상기 오디오 신호에 부분적으로 기초하여 햅틱 효과를 결정하며; 그리고
    상기 햅틱 효과와 연관된 햅틱 신호를 출력하도록
    구성되는, 햅틱 효과를 출력하는 시스템.
  2. 제1항에 있어서,
    상기 오디오 신호의 하나 이상의 컴포넌트들을 식별하는 것은,
    상기 하나 이상의 컴포넌트들과 연관된 신호를 수신하는 것;
    상기 오디오 신호를 복수의 세그먼트들로 분할하는 것;
    상기 컴포넌트들 중 하나 이상이 존재하는지를 결정하기 위해 상기 복수의 세그먼트들 중 하나를 분석하는 것; 및
    상기 컴포넌트들 중 하나 이상의 존재에 기초하여 세그먼트를 분류하는 것을 포함하는, 햅틱 효과를 출력하는 시스템.
  3. 제2항에 있어서,
    복수의 오디오 세그먼트들 중 하나를 분석하는 것은 음향 이벤트 검출 기술을 구현하는 것을 포함하는, 햅틱 효과를 출력하는 시스템.
  4. 제3항에 있어서,
    상기 음향 이벤트 검출 기술은 자동 스피치 인식을 포함하는, 햅틱 효과를 출력하는 시스템.
  5. 제2항에 있어서,
    복수의 오디오 세그먼트들 중 하나를 분류하는 것은 상기 하나 이상의 컴포넌트들과 연관된 데이터의 데이터베이스와 오디오 세그먼트를 비교하는 것을 포함하는, 햅틱 효과를 출력하는 시스템.
  6. 제2항에 있어서,
    햅틱 효과를 결정하는 것은 상기 세그먼트의 분류에 기초하여 햅틱 효과를 할당하는 것을 포함하는, 햅틱 효과를 출력하는 시스템.
  7. 제1항에 있어서,
    상기 오디오 신호의 하나 이상의 컴포넌트들을 식별하는 것은 상기 오디오 신호에 있어서 오디오 효과의 소스를 분리하는 것을 포함하는, 햅틱 효과를 출력하는 시스템.
  8. 제7항에 있어서,
    상기 하나 이상의 컴포넌트들과 연관된 햅틱 효과를 결정하는 것은 상기 소스에 햅틱 효과를 할당하는 것을 포함하는, 햅틱 효과를 출력하는 시스템.
  9. 제7항에 있어서,
    상기 오디오 신호에 있어서 오디오 효과의 소스를 분리하는 것은 상기 오디오 신호에 있어서 스피치를 분리하는 것을 포함하는, 햅틱 효과를 출력하는 시스템.
  10. 제9항에 있어서,
    상기 하나 이상의 컴포넌트들과 연관된 햅틱 효과를 결정하는 것은,
    상기 스피치와 연관된 하나 이상의 감정들을 결정하는 것; 및
    상기 하나 이상의 감정들과 연관된 햅틱 효과를 결정하는 것을 포함하는, 햅틱 효과를 출력하는 시스템.
  11. 제10항에 있어서,
    상기 스피치와 연관된 하나 이상의 감정들을 결정하는 것은
    주파수 기반 분석, 시간 기반 분석, 음성 품질 분석, 또는 상기 스피치의 피처들(features)을 스피치에 있어서의 감정들과 연관된 데이터의 데이터베이스와 비교하는 것
    중 하나 이상을 포함하는, 햅틱 효과를 출력하는 시스템.
  12. 제1항에 있어서,
    상기 오디오 신호를 수신하고 가청 효과를 출력하도록 구성된 오디오 출력 디바이스; 및
    상기 프로세서와 통신하며, 상기 햅틱 신호를 수신하고 상기 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스를 더 포함하는, 햅틱 효과를 출력하는 시스템.
  13. 제1항에 있어서,
    상기 햅틱 신호를 수신하고 상기 햅틱 신호를 햅틱 트랙에 저장하도록 구성된 데이터 저장부를 더 포함하는, 햅틱 효과를 출력하는 시스템.
  14. 제1항에 있어서,
    상기 햅틱 효과는 마찰 계수의 변동, 시뮬레이션된 텍스처, 또는 진동 중 하나 이상을 포함하는, 햅틱 효과를 출력하는 시스템.
  15. 햅틱 효과를 출력하는 방법으로서,
    오디오 신호를 수신하는 단계;
    상기 오디오 신호에서의 하나 이상의 컴포넌트들을 식별하는 것 및 상기 하나 이상의 컴포넌트들과 연관된 햅틱 효과를 결정하는 것에 의해, 상기 오디오 신호에 부분적으로 기초하여 햅틱 효과를 결정하는 단계; 및
    상기 햅틱 효과와 연관된 햅틱 신호를 출력하는 단계를 포함하는, 햅틱 효과를 출력하는 방법.
  16. 제15항에 있어서,
    상기 오디오 신호의 하나 이상의 컴포넌트들을 식별하는 것은,
    상기 하나 이상의 컴포넌트들과 연관된 신호를 수신하는 것;
    상기 오디오 신호를 복수의 세그먼트들로 분할하는 것;
    상기 컴포넌트들 중 하나 이상이 존재하는지를 결정하기 위해 상기 복수의 세그먼트들 중 하나를 분석하는 것; 및
    상기 컴포넌트들 중 하나 이상의 존재에 기초하여 세그먼트를 분류하는 것을 포함하는, 햅틱 효과를 출력하는 방법.
  17. 제16항에 있어서,
    복수의 오디오 세그먼트들 중 하나를 분석하는 것은 음향 이벤트 검출 기술을 구현하는 것을 포함하는, 햅틱 효과를 출력하는 방법.
  18. 제17항에 있어서,
    상기 음향 이벤트 검출 기술은 자동 스피치 인식을 포함하는, 햅틱 효과를 출력하는 방법.
  19. 제16항에 있어서,
    복수의 오디오 세그먼트들 중 하나를 분류하는 것은 상기 하나 이상의 컴포넌트들과 연관된 데이터의 데이터베이스와 오디오 세그먼트를 비교하는 것을 포함하는, 햅틱 효과를 출력하는 방법.
  20. 제16항에 있어서,
    햅틱 효과를 결정하는 것은 상기 세그먼트의 분류에 기초하여 햅틱 효과를 할당하는 것을 포함하는, 햅틱 효과를 출력하는 방법.
  21. 제15항에 있어서,
    상기 오디오 신호의 하나 이상의 컴포넌트들을 식별하는 것은 상기 오디오 신호에 있어서 오디오 효과의 소스를 분리하는 것을 포함하는, 햅틱 효과를 출력하는 방법.
  22. 제21항에 있어서,
    상기 하나 이상의 컴포넌트들과 연관된 햅틱 효과를 결정하는 것은 상기 소스에 햅틱 효과를 할당하는 것을 포함하는, 햅틱 효과를 출력하는 방법.
  23. 제21항에 있어서,
    상기 오디오 신호에 있어서 오디오 효과의 소스를 분리하는 것은 상기 오디오 신호에 있어서 스피치를 분리하는 것을 포함하는, 햅틱 효과를 출력하는 방법.
  24. 제23항에 있어서,
    상기 하나 이상의 컴포넌트들과 연관된 햅틱 효과를 결정하는 것은,
    상기 스피치와 연관된 하나 이상의 감정들을 결정하는 것; 및
    상기 하나 이상의 감정들과 연관된 햅틱 효과를 결정하는 것을 포함하는, 햅틱 효과를 출력하는 방법.
  25. 제24항에 있어서,
    상기 스피치와 연관된 하나 이상의 감정들을 결정하는 것은
    주파수 기반 분석, 시간 기반 분석, 음성 품질 분석, 또는 상기 스피치의 피처들을 스피치에 있어서의 감정들과 연관된 데이터의 데이터베이스와 비교하는 것
    중 하나 이상을 포함하는, 햅틱 효과를 출력하는 방법.
  26. 제15항에 있어서,
    가청 효과를 출력하는 단계; 및
    상기 햅틱 효과를 출력하는 단계를 더 포함하는, 햅틱 효과를 출력하는 방법.
  27. 제15항에 있어서,
    상기 햅틱 신호를 햅틱 트랙에 저장하는 단계를 더 포함하는, 햅틱 효과를 출력하는 방법.
  28. 제15항에 있어서,
    상기 햅틱 효과는 마찰 계수의 변동, 시뮬레이션된 텍스처, 또는 진동 중 하나 이상을 포함하는, 햅틱 효과를 출력하는 방법.
  29. 프로그램 코드를 포함하는 비-일시적인 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는, 프로세서에 의해 실행될 경우, 상기 프로세서로 하여금:
    오디오 신호를 수신하게 하고;
    상기 오디오 신호에서의 하나 이상의 컴포넌트들을 식별하는 것 및 상기 하나 이상의 컴포넌트들과 연관된 햅틱 효과를 결정하는 것에 의해, 상기 오디오 신호에 부분적으로 기초하여 햅틱 효과를 결정하게 하며; 그리고
    상기 햅틱 효과와 연관된 햅틱 신호를 출력하게 하도록
    구성되는, 비-일시적인 컴퓨터 판독가능 매체.
  30. 제29항에 있어서,
    상기 오디오 신호의 하나 이상의 컴포넌트들을 식별하는 것은,
    상기 하나 이상의 컴포넌트들과 연관된 신호를 수신하는 것;
    상기 오디오 신호를 복수의 세그먼트들로 분할하는 것;
    상기 컴포넌트들 중 하나 이상이 존재하는지를 결정하기 위해 상기 복수의 세그먼트들 중 하나를 분석하는 것; 및
    상기 컴포넌트들 중 하나 이상의 존재에 기초하여 세그먼트를 분류하는 것을 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
  31. 제30항에 있어서,
    복수의 오디오 세그먼트들 중 하나를 분석하는 것은 음향 이벤트 검출 기술을 구현하는 것을 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
  32. 제31항에 있어서,
    상기 음향 이벤트 검출 기술은 자동 스피치 인식을 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
  33. 제31항에 있어서,
    복수의 오디오 세그먼트들 중 하나를 분류하는 것은 상기 하나 이상의 컴포넌트들과 연관된 데이터의 데이터베이스와 오디오 세그먼트를 비교하는 것을 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
  34. 제30항에 있어서,
    햅틱 효과를 결정하는 것은 상기 세그먼트의 분류에 기초하여 햅틱 효과를 할당하는 것을 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
  35. 제29항에 있어서,
    상기 오디오 신호의 하나 이상의 컴포넌트들을 식별하는 것은 상기 오디오 신호에 있어서 오디오 효과의 소스를 분리하는 것을 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
  36. 제35항에 있어서,
    상기 하나 이상의 컴포넌트들과 연관된 햅틱 효과를 결정하는 것은 상기 소스에 햅틱 효과를 할당하는 것을 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
  37. 제35항에 있어서,
    상기 오디오 신호에 있어서 오디오 효과의 소스를 분리하는 것은 상기 오디오 신호에 있어서 스피치를 분리하는 것을 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
  38. 제37항에 있어서,
    상기 하나 이상의 컴포넌트들과 연관된 햅틱 효과를 결정하는 것은,
    상기 스피치와 연관된 하나 이상의 감정들을 결정하는 것; 및
    상기 하나 이상의 감정들과 연관된 햅틱 효과를 결정하는 것을 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
  39. 제38항에 있어서,
    상기 스피치와 연관된 하나 이상의 감정들을 결정하는 것은
    주파수 기반 분석, 시간 기반 분석, 음성 품질 분석, 또는 상기 스피치의 피처들을 스피치에 있어서의 감정들과 연관된 데이터의 데이터베이스와 비교하는 것
    중 하나 이상을 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
  40. 제29항에 있어서,
    프로세서에 의해 실행될 경우, 상기 프로세서로 하여금 상기 햅틱 신호를 햅틱 트랙에 저장하게 하도록 구성된 프로그램 코드를 더 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
KR20140115943A 2013-09-06 2014-09-02 오디오 신호와 연관된 햅틱 효과를 생성하는 시스템 및 방법 KR20150028724A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361874933P 2013-09-06 2013-09-06
US61/874,933 2013-09-06
US14/078,445 2013-11-12
US14/078,445 US9619980B2 (en) 2013-09-06 2013-11-12 Systems and methods for generating haptic effects associated with audio signals

Publications (1)

Publication Number Publication Date
KR20150028724A true KR20150028724A (ko) 2015-03-16

Family

ID=51492233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140115943A KR20150028724A (ko) 2013-09-06 2014-09-02 오디오 신호와 연관된 햅틱 효과를 생성하는 시스템 및 방법

Country Status (5)

Country Link
US (4) US9619980B2 (ko)
EP (1) EP2846229A3 (ko)
JP (1) JP6734623B2 (ko)
KR (1) KR20150028724A (ko)
CN (2) CN104423594B (ko)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
JP2015170173A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2015170174A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9715279B2 (en) * 2014-06-09 2017-07-25 Immersion Corporation Haptic devices and methods for providing haptic effects via audio tracks
JP6532666B2 (ja) * 2014-11-07 2019-06-19 Ｄｙｎａｂｏｏｋ株式会社 方法、電子機器、およびプログラム
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US10254838B2 (en) 2014-12-23 2019-04-09 Immersion Corporation Architecture and communication protocol for haptic output devices
US11587559B2 (en) * 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10587542B2 (en) 2015-11-13 2020-03-10 Sony Corporation Communication system and storage medium for transmitting physical expression information
US10235848B2 (en) * 2015-12-09 2019-03-19 Immersion Corporation Public network transmission of haptic effect signals
US10176161B2 (en) * 2016-01-28 2019-01-08 International Business Machines Corporation Detection of emotional indications in information artefacts
KR101790892B1 (ko) 2016-05-17 2017-10-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
US9983675B2 (en) * 2016-06-10 2018-05-29 Immersion Corporation Systems and methods for monitoring insulation integrity for electrostatic friction
CN109475079B (zh) 2016-07-22 2023-03-14 哈曼国际工业有限公司 触觉驾驶引导系统
US10241583B2 (en) * 2016-08-30 2019-03-26 Intel Corporation User command determination based on a vibration pattern
US10475471B2 (en) * 2016-10-11 2019-11-12 Cirrus Logic, Inc. Detection of acoustic impulse events in voice applications using a neural network
US10242696B2 (en) 2016-10-11 2019-03-26 Cirrus Logic, Inc. Detection of acoustic impulse events in voice applications
JP6588421B2 (ja) * 2016-12-28 2019-10-09 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP6646001B2 (ja) * 2017-03-22 2020-02-14 株式会社東芝 音声処理装置、音声処理方法およびプログラム
JP2018159759A (ja) * 2017-03-22 2018-10-11 株式会社東芝 音声処理装置、音声処理方法およびプログラム
FR3064504B1 (fr) * 2017-03-31 2022-02-04 Commissariat Energie Atomique Interface offrant une modulation de friction localisee par lubrification acoustique
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10942569B2 (en) 2017-06-26 2021-03-09 SonicSensory, Inc. Systems and methods for multisensory-enhanced audio-visual recordings
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US20190041987A1 (en) 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
KR102208810B1 (ko) * 2017-10-20 2021-01-28 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 시스템
US10572016B2 (en) 2018-03-06 2020-02-25 Microsoft Technology Licensing, Llc Spatialized haptic device force feedback
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
WO2019220495A1 (ja) * 2018-05-14 2019-11-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US10360775B1 (en) 2018-06-11 2019-07-23 Immersion Corporation Systems and methods for designing haptics using speech commands
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
US10382143B1 (en) * 2018-08-21 2019-08-13 AC Global Risk, Inc. Method for increasing tone marker signal detection reliability, and system therefor
JP6644293B1 (ja) * 2018-09-07 2020-02-12 株式会社ファセテラピー コンテンツ供給装置、コンテンツ提供システム、コンテンツ提供サーバ装置、コンテンツ提供方法およびコンテンツ提供用プログラム
CA3140080A1 (en) * 2018-09-07 2020-03-12 Audio Hospitality Inc. Methods and systems applied to transposing audio signals to haptic stimuli in the body for multichannel immersion
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US10930265B2 (en) * 2018-11-28 2021-02-23 International Business Machines Corporation Cognitive enhancement of communication with tactile stimulation
FR3090387A1 (fr) * 2018-12-20 2020-06-26 Sorin Crm Sas Dispositif et procédé de détection de fibrillation ventriculaire
US11100814B2 (en) * 2019-03-14 2021-08-24 Peter Stevens Haptic and visual communication system for the hearing impaired
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
CN113841107A (zh) * 2019-04-26 2021-12-24 惠普发展公司，有限责任合伙企业 空间音频和触觉
US11335347B2 (en) * 2019-06-03 2022-05-17 Amazon Technologies, Inc. Multiple classifications of audio data
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
CN112148067B (zh) * 2019-06-27 2022-09-02 北京小米移动软件有限公司 屏幕部件和移动终端
TWI749663B (zh) * 2019-07-26 2021-12-11 醫療財團法人徐元智先生醫藥基金會亞東紀念醫院 發聲監控之方法及系統
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11450327B2 (en) * 2020-04-21 2022-09-20 Soter Technologies, Llc Systems and methods for improved accuracy of bullying or altercation detection or identification of excessive machine noise
EP4179412A2 (en) * 2020-07-12 2023-05-17 Meta Platforms, Inc. Systems and methods for authoring immersive haptic experience using spectral centriod
CN112151071B (zh) * 2020-09-23 2022-10-28 哈尔滨工程大学 一种基于混合小波包特征深度学习的语音情感识别方法
US11579838B2 (en) * 2020-11-26 2023-02-14 Verses, Inc. Method for playing audio source using user interaction and a music application using the same
CN116848497A (zh) * 2021-02-08 2023-10-03 索尼集团公司 施加触觉刺激的控制装置
JPWO2022181702A1 (ko) * 2021-02-25 2022-09-01
US11606636B2 (en) * 2021-06-03 2023-03-14 Feng-Chou Lin Somatosensory vibration generating device and method for forming somatosensory vibration
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
CN113642604B (zh) * 2021-07-09 2023-08-18 南京邮电大学 一种基于云边协同的音视频辅助触觉信号重建方法
CN113823278B (zh) * 2021-09-13 2023-12-08 北京声智科技有限公司 语音识别方法、装置、电子设备及存储介质
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
CN114995638A (zh) * 2022-05-12 2022-09-02 北京有竹居网络技术有限公司 触觉信号生成方法、装置、可读介质及电子设备
EP4375829A1 (en) * 2022-11-24 2024-05-29 Go Touch VR Method and apparatus of generating haptic effect from audio content
CN116013137B (zh) * 2023-02-13 2023-07-18 重庆大学 一种磁流体科普展品

Family Cites Families (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4250637A (en) 1979-06-13 1981-02-17 Scott Instruments Company Tactile aid to speech reception
US4382251A (en) 1980-09-23 1983-05-03 Casio Computer Co., Ltd. Envelope control device for piezoelectric buzzer
US5056251A (en) 1989-07-07 1991-10-15 Collector's Products Corporation Card display apparatus
US5388992A (en) 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US20030040361A1 (en) 1994-09-21 2003-02-27 Craig Thorner Method and apparatus for generating tactile feedback via relatively low-burden and/or zero burden telemetry
AU7097298A (en) 1996-12-18 1998-07-17 Sanderford, Hugh Britton Power spectral density technique
CA2225586A1 (en) * 1997-12-23 1999-06-23 Elmer H. Hara Tactile and visual hearing aids utilizing sonogram pattern
US6610917B2 (en) * 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
US6650338B1 (en) 1998-11-24 2003-11-18 Interval Research Corporation Haptic interaction with video and image data
US6332120B1 (en) 1999-04-20 2001-12-18 Solana Technology Development Corporation Broadcast speech recognition system for keyword monitoring
US7020701B1 (en) 1999-10-06 2006-03-28 Sensoria Corporation Method for collecting and processing data using internetworked wireless integrated network sensors (WINS)
US6408696B1 (en) 1999-12-06 2002-06-25 Ai Signal Research, Inc. Coherent phase line enhancer spectral analysis technique
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
US6397154B1 (en) 2000-07-07 2002-05-28 Research Electronics International Correlation method for surveillance device detection
US7069208B2 (en) 2001-01-24 2006-06-27 Nokia, Corp. System and method for concealment of data loss in digital audio transmission
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US7739601B1 (en) 2002-01-23 2010-06-15 Microsoft Corporation Media authoring and presentation
FR2835125B1 (fr) 2002-01-24 2004-06-18 Telediffusion De France Tdf Procede d'evaluation d'un signal audio numerique
US20030188020A1 (en) 2002-03-29 2003-10-02 Steven Barile Tangible artifact referencing digital content
EP1499406A1 (en) 2002-04-22 2005-01-26 Intellocity USA, Inc. Method and apparatus for data receiver and controller
WO2003096669A2 (en) 2002-05-10 2003-11-20 Reisman Richard R Method and apparatus for browsing using multiple coordinated device
CN1685703A (zh) 2002-09-30 2005-10-19 皇家飞利浦电子股份有限公司 “指纹”的提取
US8027482B2 (en) 2003-02-13 2011-09-27 Hollinbeck Mgmt. Gmbh, Llc DVD audio encoding using environmental audio tracks
KR100581060B1 (ko) 2003-11-12 2006-05-22 한국전자통신연구원 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법
CN1318191C (zh) 2003-12-01 2007-05-30 东南大学 时空双通道机器人触觉再现电流刺激方法及装置
US8064752B1 (en) 2003-12-09 2011-11-22 Apple Inc. Video encoding
DE602004014893D1 (de) * 2004-01-29 2008-08-21 Daimler Ag Multimodale Dateneingabe
EP1582965A1 (en) 2004-04-01 2005-10-05 Sony Deutschland Gmbh Emotion controlled system for processing multimedia data
US8751616B2 (en) 2004-06-08 2014-06-10 Siemens Industry, Inc. System for accessing and browsing a PLC provided within a network
US20060017691A1 (en) * 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
US7640139B2 (en) 2004-10-18 2009-12-29 Nsk Ltd. Abnormality diagnosing system for mechanical equipment
US10741089B2 (en) 2004-12-23 2020-08-11 Carl Wakamoto Interactive immersion system for movies, television, animation, music videos, language training, entertainment, video games and social networking
US20080098331A1 (en) 2005-09-16 2008-04-24 Gregory Novick Portable Multifunction Device with Soft Keyboards
US8700791B2 (en) 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US7650192B2 (en) 2005-12-02 2010-01-19 Medtronic, Inc. Passive charge of implantable medical device utilizing external power source and method
US20070178942A1 (en) 2006-01-30 2007-08-02 Sadler Daniel J Method for abruptly stopping a linear vibration motor in portable communication device
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
WO2007144823A1 (en) 2006-06-13 2007-12-21 Koninklijke Philips Electronics N.V. Distribution of ambience and content
US7567165B2 (en) 2006-10-27 2009-07-28 At&T Intellectual Property, I, L.P. Methods, devices, and computer program products for providing ambient noise sensitive alerting
US20080103558A1 (en) 2006-10-30 2008-05-01 Stuart Wenzel Focused electromagnetic-wave and ultrasonic-wave structures for tissue stimulation
CN101237317B (zh) 2006-11-27 2010-09-29 华为技术有限公司 确定发送频谱的方法和装置
US7882442B2 (en) 2007-01-05 2011-02-01 Eastman Kodak Company Multi-frame display system with perspective based image arrangement
KR100835297B1 (ko) 2007-03-02 2008-06-05 광주과학기술원 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
US8095646B2 (en) 2007-08-16 2012-01-10 Sony Computer Entertainment Inc. Content ancillary to sensory work playback
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US8325144B1 (en) 2007-10-17 2012-12-04 Immersion Corporation Digital envelope modulator for haptic feedback devices
JP5147851B2 (ja) 2007-10-26 2013-02-20 株式会社ディーアンドエムホールディングス オーディオ信号補間装置及びオーディオ信号補間方法
US8875212B2 (en) 2008-04-15 2014-10-28 Shlomo Selim Rakib Systems and methods for remote control of interactive video
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
US7816838B2 (en) 2007-12-11 2010-10-19 Nokia Corporation Piezoelectric force sensing
JP2009159125A (ja) 2007-12-25 2009-07-16 Casio Hitachi Mobile Communications Co Ltd 字幕付き映像再生装置、字幕付き映像再生装置の検索結果通知方法及びプログラム
US8952888B2 (en) 2008-05-09 2015-02-10 Koninklijke Philips N.V. Method and system for conveying an emotion
US8831948B2 (en) 2008-06-06 2014-09-09 At&T Intellectual Property I, L.P. System and method for synthetically generated speech describing media content
KR101474963B1 (ko) 2008-07-01 2014-12-19 엘지전자 주식회사 휴대 단말기 및 그 제어방법
CN102099766B (zh) 2008-07-15 2015-01-14 意美森公司 用于在无源和有源模式之间变换触觉反馈功能的系统和方法
KR101667416B1 (ko) 2008-07-16 2016-10-19 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 실감 기기 성능 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010008233A2 (ko) 2008-07-16 2010-01-21 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010008232A2 (ko) 2008-07-16 2010-01-21 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 실감 효과 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010008235A2 (ko) 2008-07-16 2010-01-21 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 실감 기기 제어 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
CN102204225B (zh) * 2008-09-05 2013-12-11 Sk电信有限公司 传送振动信息的移动通信终端及其方法
DK2164066T3 (da) 2008-09-15 2016-06-13 Oticon As Støjspektrumsporing i støjende akustiske signaler
WO2010033006A2 (ko) 2008-09-22 2010-03-25 한국전자통신연구원 실감 효과 표현 방법 및 장치
US9400555B2 (en) 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
US20100153995A1 (en) 2008-12-12 2010-06-17 At&T Intellectual Property I, L.P. Resuming a selected viewing channel
KR20100069736A (ko) * 2008-12-17 2010-06-25 삼성전자주식회사 휴대 단말기의 컨텐츠 재생 장치 및 재생 방법
SI2378876T1 (sl) 2008-12-19 2019-05-31 Medicis Pharmaceutical Corporation Formulacije z nižjo dozirno jakostjo imikvimoda in kratki odmerni režimi za zdravljenje aktinične keratoze
WO2010078577A2 (en) 2009-01-05 2010-07-08 Services Petroliers Schlumberger Processing time series data embedded in high noise
WO2010093913A1 (en) 2009-02-12 2010-08-19 Brock Seiler Multi-channel audio vibratory entertainment system
TW201104498A (en) 2009-03-10 2011-02-01 Artificial Muscle Inc Electroactive polymer transducers for tactile feedback devices
US9134796B2 (en) 2009-04-15 2015-09-15 Koninklijke Philips N.V. Foldable tactile display
KR20100114857A (ko) 2009-04-16 2010-10-26 한국전자통신연구원 사용자 실감 효과 선호정보를 이용한 실감 효과 표현 방법 및 장치
US20100268745A1 (en) 2009-04-16 2010-10-21 Bum-Suk Choi Method and apparatus for representing sensory effects using sensory device capability metadata
US20120059697A1 (en) 2009-05-08 2012-03-08 University Of Washington Advertising during accelerated media playback
US8068025B2 (en) * 2009-05-28 2011-11-29 Simon Paul Devenyi Personal alerting device and method
US8634928B1 (en) 2009-06-16 2014-01-21 The Board Of Trustees Of The Leland Stanford Junior University Wireless power transmission for implantable medical devices
KR101755051B1 (ko) 2009-07-22 2017-07-06 임머숀 코퍼레이션 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
JP4769342B2 (ja) 2009-09-03 2011-09-07 パナソニック株式会社 触感再現方法、装置、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体
GB2474047B (en) 2009-10-02 2014-12-17 New Transducers Ltd Touch sensitive device
US10254824B2 (en) 2009-10-16 2019-04-09 Immersion Corporation Systems and methods for output of content based on sensing an environmental factor
US20110099596A1 (en) * 2009-10-26 2011-04-28 Ure Michael J System and method for interactive communication with a media device user such as a television viewer
US8902050B2 (en) 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US20130316826A1 (en) 2009-11-23 2013-11-28 Ofer LEVANON Haptic-simulation home-video game
US20110124413A1 (en) 2009-11-23 2011-05-26 Levanon Ofer Haptic-simulation home-video game
KR101303648B1 (ko) * 2009-12-08 2013-09-04 한국전자통신연구원 감성신호 감지 장치 및 그 방법
US20110153768A1 (en) 2009-12-23 2011-06-23 International Business Machines Corporation E-meeting presentation relevance alerts
CN102906810B (zh) 2010-02-24 2015-03-18 爱普莱克斯控股公司 支持视觉受损的个体的扩增的现实全景
US8934857B2 (en) 2010-05-14 2015-01-13 Qualcomm Incorporated Controlling field distribution of a wireless power transmitter
KR101635029B1 (ko) 2010-06-28 2016-06-30 엘지전자 주식회사 이동 단말기
US8798534B2 (en) 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
CA2841802C (en) 2010-07-21 2018-08-28 D-Box Technologies Inc. Media recognition and synchronisation to a motion signal
CN102385571B (zh) 2010-09-06 2016-03-30 联想(北京)有限公司 一种显示方法及显示装置
FR2964761B1 (fr) * 2010-09-14 2012-08-31 Thales Sa Dispositif d'interaction haptique et procede de generation d'effets haptiques et sonores
KR101719653B1 (ko) 2010-09-16 2017-03-24 엘지전자 주식회사 이동 단말기, 전자 시스템 및 이를 이용한 데이터 송수신 방법
WO2012061840A1 (en) 2010-11-05 2012-05-10 Georgia Tech Research Corporation Haptic systems, devices, and methods using transmission of pressure through a flexible medium
CN102480612A (zh) 2010-11-21 2012-05-30 余浪 用于传输视频数据和触觉数据的方法以及视频采集装置
US10598539B2 (en) 2010-11-23 2020-03-24 Feather Sensors Llc Method and apparatus for intelligent airflow sensors
US20120150928A1 (en) 2010-12-09 2012-06-14 Peter Ward Method and system for identifying media assets
WO2012086208A1 (ja) 2010-12-22 2012-06-28 京セラ株式会社 電子機器
JP5593244B2 (ja) 2011-01-28 2014-09-17 日本放送協会 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体
JP5602653B2 (ja) * 2011-01-31 2014-10-08 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理装置、情報処理方法、情報処理システム、およびプログラム
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8872011B2 (en) 2011-02-25 2014-10-28 Mark Fresolone Visual, tactile and motion-sensation system for representing music for an audience
US8593420B1 (en) 2011-03-04 2013-11-26 Amazon Technologies, Inc. Providing tactile output and interaction
WO2012127837A1 (ja) 2011-03-18 2012-09-27 パナソニック株式会社 表示装置、３ｄ眼鏡、及び３ｄ映像視聴システム
US8849663B2 (en) 2011-03-21 2014-09-30 The Intellisis Corporation Systems and methods for segmenting and/or classifying an audio signal from transformed audio information
US8948892B2 (en) 2011-03-23 2015-02-03 Audible, Inc. Managing playback of synchronized content
US8976980B2 (en) 2011-03-24 2015-03-10 Texas Instruments Incorporated Modulation of audio signals in a parametric speaker
EP2506041B1 (en) 2011-03-30 2017-04-26 Hunt Energy Enterprises, LLC Method and system for passive electroseismic surveying
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
KR101840644B1 (ko) * 2011-05-31 2018-03-22 한국전자통신연구원 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법
US8892391B2 (en) 2011-06-03 2014-11-18 Apple Inc. Activity detection
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US9762719B2 (en) * 2011-09-09 2017-09-12 Qualcomm Incorporated Systems and methods to enhance electronic communications with emotional context
US8694375B2 (en) 2011-09-30 2014-04-08 Microsoft Corporation Determining whether to display message to user in application based on user message viewing history
US10013857B2 (en) 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
KR101869562B1 (ko) 2011-12-27 2018-07-24 삼성전자주식회사 이동 단말에서 사운드 특성에 따른 진동 발생 장치 및 방법
KR101880764B1 (ko) 2012-02-03 2018-07-20 임머숀 코퍼레이션 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
JP6541292B2 (ja) 2012-02-15 2019-07-10 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ プリミティブを用いた高解像度ハプティック効果生成
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US9132346B2 (en) 2012-04-04 2015-09-15 Kenneth J. Huebner Connecting video objects and physical objects for handheld projectors
US8847913B2 (en) 2012-04-04 2014-09-30 Kohler Co. User interface device for a bath or shower
JP6269480B2 (ja) 2012-04-06 2018-01-31 株式会社ニコン データ処理装置、及びデータ処理プログラム
US20130307829A1 (en) 2012-05-16 2013-11-21 Evernote Corporation Haptic-acoustic pen
US20130311881A1 (en) 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
US9891709B2 (en) 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
US8861858B2 (en) 2012-06-01 2014-10-14 Blackberry Limited Methods and devices for providing companion services to video
US9831551B2 (en) 2012-06-22 2017-11-28 Adant Technologies, Inc. Reconfigurable antenna system
US9805863B2 (en) 2012-07-27 2017-10-31 Thoratec Corporation Magnetic power transmission utilizing phased transmitter coil arrays and phased receiver coil arrays
GB2519475A (en) 2012-08-21 2015-04-22 Immerz Inc Systems and methods for a vibrating input device
US8896524B2 (en) 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system
US9402576B2 (en) * 2012-09-12 2016-08-02 International Business Machines Corporation Electronic communication warning and modification
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9352226B2 (en) 2012-12-21 2016-05-31 Sony Interactive Entertainment America Llc Automatic generation of suggested mini-games for cloud-gaming based on recorded gameplay
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US9182890B2 (en) 2013-01-31 2015-11-10 Lg Electronics Inc. Image display apparatus and method for operating the same
KR102099086B1 (ko) 2013-02-20 2020-04-09 삼성전자주식회사 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스
US10521015B2 (en) 2013-03-01 2019-12-31 Nokia Technologies Oy Control apparatus for a tactile audio display
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9866924B2 (en) 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9363131B2 (en) 2013-03-15 2016-06-07 Imagine Communications Corp. Generating a plurality of streams
US9064385B2 (en) 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
US9489965B2 (en) * 2013-03-15 2016-11-08 Sri International Method and apparatus for acoustic signal characterization
US9992491B2 (en) 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
EP2806353B1 (en) 2013-05-24 2018-07-18 Immersion Corporation Method and system for haptic data encoding
US20140368349A1 (en) 2013-06-14 2014-12-18 Revolution Display Sensory element projection system and method of use
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9898086B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals

Also Published As

Publication number Publication date
US20170162010A1 (en) 2017-06-08
CN104423594B (zh) 2018-12-07
EP2846229A2 (en) 2015-03-11
JP2015053054A (ja) 2015-03-19
US9947188B2 (en) 2018-04-17
EP2846229A3 (en) 2015-05-06
JP6734623B2 (ja) 2020-08-05
CN104423594A (zh) 2015-03-18
US20180204427A1 (en) 2018-07-19
US9619980B2 (en) 2017-04-11
US20200043301A1 (en) 2020-02-06
CN110032272A (zh) 2019-07-19
US20150070148A1 (en) 2015-03-12
US10388122B2 (en) 2019-08-20

Similar Documents

Publication Publication Date Title
US10388122B2 (en) Systems and methods for generating haptic effects associated with audio signals
US10276004B2 (en) Systems and methods for generating haptic effects associated with transitions in audio signals
US10395488B2 (en) Systems and methods for generating haptic effects associated with an envelope in audio signals
JP6544991B2 (ja) 触覚設計オーサリングツール
US20200057506A1 (en) Systems and Methods for User Generated Content Authoring

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right