KR20140030053A - 매핑을 사용한 사운드-햅틱 효과 변환 시스템 - Google Patents

매핑을 사용한 사운드-햅틱 효과 변환 시스템 Download PDF

Info

Publication number
KR20140030053A
KR20140030053A KR1020130101714A KR20130101714A KR20140030053A KR 20140030053 A KR20140030053 A KR 20140030053A KR 1020130101714 A KR1020130101714 A KR 1020130101714A KR 20130101714 A KR20130101714 A KR 20130101714A KR 20140030053 A KR20140030053 A KR 20140030053A
Authority
KR
South Korea
Prior art keywords
haptic
audio
frequency
signals
frequency region
Prior art date
Application number
KR1020130101714A
Other languages
English (en)
Inventor
후안 마누엘 크루즈-헤르난데즈
크리스토퍼 제이. 울리히
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20140030053A publication Critical patent/KR20140030053A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

디지털 오디오 신호 등의 오디오 데이터를 인터셉트하고, 주파수에서 오디오 데이터를 분석하며, 분석된 오디오 데이터를 하나 이상의 오디오 주파수 영역으로 분할하는 햅틱 변환 시스템이 제공되고, 여기서 각각의 오디오 주파수 영역은 하나 이상의 오디오 서브 신호(audio sub-signal)를 포함한다. 햅틱 변환 시스템은 또한 하나 이상의 오디오 주파수 영역을 하나 이상의 햅틱 주파수 영역에 매핑하고, 각각의 햅틱 주파수 영역은 하나 이상의 햅틱 신호를 포함한다. 햅틱 변환 시스템은 또한 하나 이상의 햅틱 효과를 하나 이상의 액추에이터에 매핑한다. 햅틱 변환 시스템은 또한, 하나 이상의 햅틱 효과를 발생하기 위해, 하나 이상의 햅틱 신호를 하나 이상의 액추에이터로 송신한다.

Description

매핑을 사용한 사운드-햅틱 효과 변환 시스템{SOUND TO HAPTIC EFFECT CONVERSION SYSTEM USING MAPPING}
관련 출원의 상호 참조
본 출원은 2012년 8월 31일자로 출원된 미국 가특허 출원 제61/695,614호(그 개시 내용이 참조 문헌으로서 본 명세서에 포함됨)를 기초로 우선권을 주장한다.
일 실시예는 일반적으로 디바이스에 관한 것이며, 보다 상세하게는, 햅틱 효과를 생성하는 디바이스에 관한 것이다.
햅틱은 힘, 진동 및 움직임 등의 햅틱 피드백 효과(즉, "햅틱 효과")를 사용자에게 가함으로써 사용자의 촉감(sense of touch)을 이용하는 촉각 및 힘 피드백 기술이다. 모바일 디바이스, 터치스크린 디바이스, 및 개인용 컴퓨터 등의 디바이스가 햅틱 효과를 발생하도록 구성될 수 있다. 일반적으로, 햅틱 효과를 발생할 수 있는 내장된 하드웨어(액추에이터 등)에 대한 호출이 디바이스의 운영 체제("OS") 내에 프로그램되어 있을 수 있다. 이들 호출은 어느 햅틱 효과를 재생할지를 지정한다. 예를 들어, 사용자가, 예를 들어, 버튼, 터치스크린, 레버, 조이스틱, 휠, 또는 어떤 다른 컨트롤을 사용하여 디바이스와 상호작용할 때, 디바이스의 OS는 제어 회로를 통해 내장된 하드웨어로 재생 명령을 송신할 수 있다. 내장된 하드웨어는 이어서 적절한 햅틱 효과를 생성한다.
이러한 디바이스는 또한 디지털 오디오 신호 등의 오디오 데이터를 재생하도록 구성되어 있을 수 있다. 예를 들어, 이러한 디바이스는 오디오 부분 또는 노래 등의 오디오 데이터를 포함하는 영화 또는 비디오 게임 등의 비디오 데이터를 재생하도록 구성되어 있는 응용 프로그램을 포함할 수 있다. 햅틱과 유사하게, 오디오 효과를 발생할 수 있는 부가의 내장된 하드웨어(스피커 등)에 대한 호출이 디바이스의 OS 내에 프로그램되어 있을 수 있다. 이와 같이, 디바이스의 OS는 제어 회로를 통해 부가의 내장된 하드웨어로 재생 명령을 송신할 수 있고, 여기서 부가의 내장된 하드웨어는 이어서 적절한 오디오 효과를 생성한다.
일 실시예는 오디오 신호를 하나 이상의 햅틱 효과로 변환하는 시스템이다. 이 시스템은 오디오 신호를 분석한다. 이 시스템은 또한 오디오 신호를 하나 이상의 오디오 주파수 영역으로 분할하고, 여기서 각각의 오디오 주파수 영역은 하나 이상의 오디오 서브 신호(audio sub-signal)를 포함한다. 이 시스템은 또한 하나 이상의 오디오 주파수 영역을 하나 이상의 햅틱 주파수 영역에 매핑하고, 여기서 각각의 오디오 주파수 영역은 하나 이상의 대응하는 햅틱 주파수 영역에 매핑되고, 각각의 햅틱 주파수 영역은 하나 이상의 햅틱 신호를 포함한다. 이 시스템은 또한 하나 이상의 햅틱 효과를 발생하기 위해 하나 이상의 햅틱 신호를 액추에이터로 송신한다.
추가의 실시예, 상세, 장점 및 수정이, 첨부 도면과 관련하여 기술되어 있는 바람직한 실시예의 이하의 상세한 설명으로부터 명백하게 될 것이다.
도 1은 본 발명의 일 실시예에 따른 햅틱 변환 시스템의 블록도.
도 2는 본 발명의 일 실시예에 따른, 오디오 신호를, 하나 이상의 햅틱 효과를 발생하기 위해 액추에이터로 송신되는 하나 이상의 햅틱 신호로 변환하는 햅틱 변환 시스템의 블록도.
도 3은 본 발명의 일 실시예에 따른, 오디오 신호를 하나 이상의 오디오 주파수 영역으로 분할하고 각각의 오디오 주파수 영역을 햅틱 주파수 영역에 매핑하는 햅틱 변환 시스템의 블록도.
도 4는 본 발명의 일 실시예에 따른, 하나 이상의 햅틱 주파수 영역을 복수의 액추에이터 중의 액추에이터에 매핑하는 햅틱 변환 시스템의 블록도.
도 5는 본 발명의 일 실시예에 따른, 햅틱 변환 모듈의 기능의 흐름도.
일 실시예는 디지털 오디오 신호 등의 오디오 데이터를 수신하고, 주파수에서 오디오 데이터를 분석하며, 분석된 오디오 데이터를 하나 이상의 오디오 주파수 영역으로 분할할 수 있는 햅틱 변환 시스템이다. 여기서 각각의 오디오 주파수 영역은 하나 이상의 오디오 서브 신호(audio sub-signal)를 포함한다. 이 햅틱 변환 시스템은 또한 하나 이상의 오디오 주파수 영역을 하나 이상의 햅틱 주파수 영역에 매핑할 수 있고, 각각의 햅틱 주파수 영역은 하나 이상의 햅틱 신호를 포함한다. 이 햅틱 변환 시스템은 또한 하나 이상의 햅틱 효과를 하나 이상의 액추에이터에 매핑할 수 있다. 이 햅틱 변환 시스템은 또한, 하나 이상의 햅틱 효과를 발생하기 위해, 하나 이상의 햅틱 신호를 하나 이상의 액추에이터로 송신할 수 있다.
도 1은 본 발명의 일 실시예에 따른 햅틱 변환 시스템(10)의 블록도를 나타낸 것이다. 일 실시예에서, 시스템(10)은 모바일 디바이스의 일부이고, 시스템(10)은 모바일 디바이스에 햅틱 변환 기능을 제공한다. 단일 시스템으로서 도시된 바와 같이, 시스템(10)의 기능이 분산 시스템으로서 구현될 수 있다. 시스템(10)은 정보를 전달하는 버스(12) 또는 다른 통신 메커니즘, 및 버스(12)에 결합되어 있는, 정보를 처리하는 프로세서(22)를 포함하고 있다. 프로세서(22)는 임의의 유형의 범용 또는 전용 프로세서일 수 있다. 시스템(10)은 정보 및 프로세서(22)에 의해 실행될 명령어를 저장하는 메모리(14)를 추가로 포함하고 있다. 메모리(14)는 랜덤 액세스 메모리("RAM"), 판독 전용 메모리("ROM"), 자기 또는 광 디스크 등의 정적 저장 디바이스, 또는 임의의 다른 유형의 컴퓨터 판독가능 매체의 임의의 조합으로 이루어져 있을 수 있다.
컴퓨터 판독가능 매체는 프로세서(22)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있고, 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체, 통신 매체, 및 저장 매체 모두를 포함할 수 있다. 통신 매체는 반송파 또는 기타 전송 메커니즘 등의 변조된 데이터 신호 내의 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터를 포함할 수 있고, 기술 분야에 공지된 임의의 다른 형태의 정보 전달 매체를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), 레지스터, 하드 디스크, 이동식 디스크, CD-ROM(compact disk read-only memory), 또는 기술 분야에 공지된 임의의 다른 형태의 저장 매체를 포함할 수 있다.
일 실시예에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능을 제공하는 소프트웨어 모듈을 저장한다. 이 모듈은, 일 실시예에서, 시스템(10)은 물론 모바일 디바이스의 나머지에 대한 운영 체제 기능을 제공하는 운영 체제(15)를 포함하고 있다. 이 모듈은 오디오 신호를, 하나 이상의 햅틱 효과를 생성하는 데 사용되는 하나 이상의 햅틱 신호로 변환하는 햅틱 변환 모듈(16)을 추가로 포함하고 있으며, 이에 대해서는 이하에서 더 상세히 개시되어 있다. 특정의 실시예에서, 햅틱 변환 모듈(16)은 복수의 모듈을 포함할 수 있고, 여기서 각각의 모듈은 오디오 신호를, 하나 이상의 햅틱 효과를 생성하는 데 사용되는 하나 이상의 햅틱 신호로 변환하는 특정의 개별 기능을 제공한다. 시스템(10)은 통상적으로 Immersion Corporation의 IntegratorTM 소프트웨어 등의 부가의 기능을 포함시키기 위해 하나 이상의 부가의 응용 프로그램 모듈(18)을 포함할 것이다.
시스템(10)은, 원격 소스로/로부터 데이터를 전송 및/또는 수신하는 실시예에서, 적외선, 무선, Wi-Fi, 또는 셀룰러 네트워크 통신 등의 모바일 무선 네트워크 통신을 제공하기 위해 네트워크 인터페이스 카드 등의 통신 디바이스(20)를 추가로 포함한다. 다른 실시예에서, 통신 디바이스(20)는 이더넷 연결 또는 모뎀 등의 유선 네트워크 연결을 제공한다.
프로세서(22)는 또한, 버스(12)를 통해, 그래픽 표현 또는 사용자 인터페이스를 사용자에게 디스플레이하는 LCD(Liquid Crystal Display) 등의 디스플레이(24)에 결합되어 있다. 디스플레이(24)는 프로세서(22)로/로부터 신호를 송신 및 수신하도록 구성되어 있는 터치스크린 등의 터치 감응 입력 디바이스일 수 있고, 멀티-터치 터치스크린일 수 있다.
시스템(10)은 복수의 액추에이터(26)[예컨대, 액추에이터(26A 및 26B)]를 추가로 포함하고 있다. 기술 분야의 당업자라면, 도 1의 예시된 실시예에서, 복수의 액추에이터(26)가 2개의 액추에이터[즉, 액추에이터(26A 및 26B)]를 포함하지만, 대안의 실시예에서, 복수의 액추에이터(26)가 임의의 개수의 액추에이터를 포함할 수 있다는 것을 잘 알 것이다. 프로세서(22)는 햅틱 효과와 연관되어 있는 햅틱 신호를 복수의 액추에이터(26) 중의 하나 이상의 액추에이터로 전송할 수 있고, 하나 이상의 액추에이터 중의 각각의 액추에이터는, 차례로, 햅틱 효과를 출력한다. 복수의 액추에이터(26) 중의 각각의 액추에이터는, 예를 들어, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기 활성 중합체(electro-active polymer), 솔레노이드, ERM(eccentric rotating mass motor, 편심 회전 질량 모터), LRA(linear resonant actuator, 선형 공진 액추에이터), 압전 액추에이터, 고대역폭 액추에이터, EAP(electroactive polymer) 액추에이터, 정전 마찰 디스플레이, 또는 초음파 진동 발생기일 수 있다. 게다가, 복수의 액추에이터(26) 중의 각각의 액추에이터는 상이한 액추에이터 유형일 수 있다.
일부 실시예에서, 시스템(10)은 하나 이상의 스피커(28)를 추가로 포함하고 있다. 프로세서(22)는 오디오 신호를 스피커(28)로 전송할 수 있고, 스피커(28)는 차례로 오디오 효과를 출력한다. 스피커(28)는, 예를 들어, 다이나믹 스피커, 일렉트로다이나믹 스피커, 압전 스피커, 자기 변형 스피커, 정전기 스피커, 리본 및 평면 자기 스피커, 굽힘파 스피커, 평판 스피커, 헤일 에어 모션 트랜스듀서(heil air motion transducer), 플라즈마 아크 스피커, 및 디지털 스피커일 수 있다.
도 2는 본 발명의 일 실시예에 따른, 오디오 신호를, 하나 이상의 햅틱 효과를 발생하기 위해 액추에이터로 송신되는 하나 이상의 햅틱 신호로 변환하는 햅틱 변환 시스템의 블록도를 나타낸 것이다. 일 실시예에 따르면, 입력 오디오 신호 및/또는 외부 데이터의 다양한 측정에 기초하여 오디오-햅틱 변환 프로세스의 하나 이상의 파라미터를 조절하는 메커니즘이 제공된다. 사용자의 관점에서 볼 때, 그 응답 시 보다 선택적인 햅틱 경험이 제공되어, 전경 이벤트(게임에서의 충돌, 폭발, 기타 등등)에 대한 진동촉각 피드백을 가능하게 해주고, 배경 이벤트(게임내 음악 또는 주변 소음 등)에 대한 피드백을 감소시키거나 무음화한다. 오디오 신호의 지각적으로 중요한 특성들을 구별함으로써, 오디오-햅틱 변환 프로세스는 사운드 효과 및 음악 트랙 둘 다를 가지는 게임에서 일어날 수 있는 "우르릉거리는 배경음(background rumble)", 또는 상당한 변화는 물론 주변 소음도 가지는 미디어 파일을 방지할 수 있다.
도 2의 예시된 실시예는 파선을 사용하여 햅틱 변환 시스템의 파라미터가 갱신되는 것을 나타낸 것이다. 일 실시예에서, 햅틱 변환 시스템은 햅틱을 통해 오디오 파일의 특정의 특성을 강조하기 위해 오디오-햅틱 변환 프로세스의 파라미터의 실시간 수정을 포함하며, 이것은, 추가로 더 상세히 기술되는 바와 같이, 햅틱 변환 시스템의 파형 및 붐박스(boombox) 모듈의 파라미터를 실시간으로 또는 오프라인 변환 동안 수정함으로써 달성된다. 그에 부가하여, 전처리 모듈은 전체적인 오디오-햅틱 변환 프로세스를 향상시키거나 수정하기 위해 오디오 처리 알고리즘을 사용하여 오디오 신호 자체를 수정할 수 있다. 대안의 실시예에서, 오디오 신호가 해당 정보를 추출하기 위해 전처리되고 이어서 오디오-햅틱 변환 프로세스에 의해 실시간으로 해석될 오디오 신호에 다시 저장될 수 있다.
이 실시예에 따르면, 햅틱 변환 시스템은 오디오 신호(200)를 수신한다. 특정의 실시예에서, 오디오 신호(200)는 PCM(pulse-code modulation) 오디오 버퍼 등의 하나 이상의 디지털 오디오 버퍼를 포함하고, 여기서 각각의 PCM 오디오 버퍼는 하나 이상의 PCM 오디오 데이터 프레임을 포함한다. 다른 실시예에서, 오디오 신호(200)는 MIDI(Musical Instrument Digital Interface) 오디오 버퍼 등의 하나 이상의 구조-기반(structure-based) 오디오 버퍼를 포함하고, 여기서 각각의 MIDI 오디오 버퍼는 하나 이상의 MIDI 오디오 데이터 프레임을 포함한다. 또 다른 실시예에서, 오디오 신호(200)는 MP3(MPEG-2 Audio Layer III) 오디오 버퍼 등의 하나 이상의 주파수 영역 오디오 버퍼를 포함하고, 여기서 각각의 MP3 오디오 버퍼는 하나 이상의 MP3 오디오 데이터 프레임을 포함한다. 또 다른 실시예에서, 오디오 신호(200)는 기술 분야의 당업자에게 공지되어 있는 다른 오디오 형식으로 되어 있는 하나 이상의 오디오 버퍼를 포함하고 있다. 또 다른 실시예에서, 오디오 신호(200)는 또한 변환 알고리즘을 구성하는 데 사용되는 파라미터 또는 기타 단서를 포함할 수 있는 햅틱 정보를 포함하고 있다.
햅틱 변환 시스템은 이어서 오디오 신호(200)를 전처리 모듈(210)로 송신하고, 전처리 모듈(210)은 오디오 신호(200)에 대해 필요한 임의의 전처리를 수행한다. 이러한 전처리는 오디오 신호(200)를 언더샘플링(under-sampling)하는 것을 포함할 수 있다. 오디오 신호(200)가 언더샘플링되는 예시적인 시나리오는 오디오 신호(200)가 8 킬로헤르쯔("kHz") 초과의 샘플링 주파수를 갖는 경우이다. 다른 대안으로서, 이러한 전처리는 오디오 신호(200)가 스테레오 오디오 신호인 경우 오디오 신호(200)의 2개 이상의 채널의 평균을 통합(fusing)하는 것을 포함할 수 있다. 이와 같이, 전처리 모듈(210)의 목표는 추정기 모듈이, 오디오 신호(200)의 형식에 관계없이, 일관성있는 신호를 수신하도록 하는 것이다. 전처리는 하나 이상의 파라미터에 기초하고 있을 수 있다. 햅틱 변환 시스템은 이어서 오디오 신호(200)를 추정기 모듈(220)로 송신하고, 추정기 모듈(220)은 오디오 신호(200)의 하나 이상의 오디오 주파수 영역을 결정하기 위해 오디오 신호(200)를 분석한다. 특정의 실시예에서, 추정기 모듈(220)은 오디오 신호(200)의 하나 이상의 오디오 주파수 영역을 결정하는 데 사용할 필터의 개수를 결정할 수 있다. 추정기 모듈(220)은 또한 전처리 모듈(210)의 하나 이상의 파라미터를 조정할 수 있고, 또한 붐박스 모듈[도 2에서 붐박스 모듈(240 및 241)로 나타내어져 있음]의 하나 이상의 파라미터 및/또는 파형 모듈[도 2에서 파형 모듈(250)로서 나타내어져 있음]의 하나 이상의 파라미터를 조정할 수 있다. 햅틱 변환 시스템은 이어서 오디오 신호(200)를 하나 이상의 필터[도 2에서 필터(230, 231 및 232)로 나타내어져 있음]로 송신하고, 여기서 오디오 신호(200)가 하나 이상의 결정된 오디오 주파수 영역으로 분할된다. 게다가, 오디오 신호(200)를 하나 이상의 필터로 송신하는 것의 일부로서, 오디오 신호(200)의 각각의 오디오 주파수 영역이 개별적인 필터에 의해 생성된다. 하나 이상의 오디오 주파수 영역의 결정은 하나 이상의 파라미터에 기초할 수 있다. 이러한 분할에 대해서는 도 3과 관련하여 이하에서 더 상세히 기술한다.
햅틱 변환 시스템은 또한 오디오 신호(200)의 특정의 오디오 주파수 영역을 붐박스 모듈[도 2에서 붐박스 모듈(240 및 241)로 나타내어져 있음]로 송신하고, 여기서 붐박스 모듈은 오디오 신호의 각각의 오디오 주파수 영역의 최대값을 계산한다. 붐박스 모듈은 또한 계산된 최대값에 기초하여 하나 이상의 햅틱 신호를 포함하는 햅틱 주파수 영역을 발생하고, 오디오 신호(200)의 오디오 주파수 영역을 발생된 햅틱 주파수 영역에 매핑한다. 햅틱 주파수 영역의 발생은 하나 이상의 파라미터에 기초할 수 있다. 이러한 매핑에 대해서는 도 3과 관련하여 추가로 더 상세히 기술한다. 햅틱 변환 시스템은 또한 오디오 신호(200)의 다른 오디오 주파수 영역을 파형 모듈[도 2에서 파형 모듈(250)로 나타내어져 있음]로 송신하고, 여기서 파형 모듈은 오디오 신호(200)의 각각의 오디오 주파수 영역의 최대값을 계산하고, 또한 오디오 신호(200)의 오디오 주파수 영역의 최대값에 기초하여 사인 반송파 파형을 계산한다. 파형 모듈은 또한 계산된 최대값 및 계산된 사인 반송파 파형에 기초하여 하나 이상의 햅틱 신호를 포함하는 햅틱 주파수 영역을 발생하고, 오디오 신호(200)의 오디오 주파수 영역을 발생된 햅틱 주파수 영역에 매핑한다. 햅틱 주파수 영역의 발생은 하나 이상의 파라미터에 기초할 수 있다. 이러한 매핑에 대해서도 도 3과 관련하여 추가로 더 상세히 기술한다.
하나 이상의 햅틱 주파수 영역의 하나 이상의 햅틱 신호가 믹서 모듈(260)로 송신되고, 여기서 믹서 모듈(260)은 하나 이상의 햅틱 신호를, 신호 포화를 방지하기 위해 부가의 필터링 단계를 포함할 수 있는 단일의 결합된 햅틱 신호로 결합한다. 대안의 실시예에서, 믹서 모듈(260)은 또한, 각각의 출력 액추에이터의 주파수 응답, 진폭 및 물리적 위치를 고려하여, N개의 입력 신호를 M개의 출력 액추에이터에 매핑한다. 결합된 햅틱 신호는 이어서 Immersion Corporation의 TouchSense® 5000 Player 모듈 등의 햅틱 효과 재생기 모듈(270)로 송신되고, 여기서 햅틱 효과 재생기 모듈(270)은 결합된 햅틱 신호를 액추에이터(280)로 송신함으로써 액추에이터(280)에서 하나 이상의 햅틱 효과를 재생하도록 구성되어 있다. 선택적으로, 결합된 햅틱 신호는 또한 IVS(Immersion Vibration Source) 햅틱 효과 파일 등의 햅틱 효과 파일(290) 또는 MPEG-4 등의 표준 컨테이너 형식 파일에서의 삽입된 트랙 내에 저장된다.
도 3은 본 발명의 일 실시예에 따른, 오디오 신호를 하나 이상의 오디오 주파수 영역으로 분할하고 각각의 오디오 주파수 영역을 햅틱 주파수 영역에 매핑하는 햅틱 변환 시스템의 블록도를 나타낸 것이다. 이 실시예에 따르면, 오디오-햅틱 변환 프로세스는 오디오 주파수 영역으로부터 햅틱 주파수 영역으로의 주파수 매핑을 포함할 수 있다. 오디오 성분이 주파수에서 분석되고, 이어서 하나 이상의 오디오 주파수 영역으로 분할될 수 있으며, 여기서 각각의 오디오 주파수 영역은 오디오 성분의 하나 이상의 오디오 서브 신호를 포함한다. 게다가, 각각의 오디오 주파수 영역은 하나 이상의 햅틱 주파수 영역에 매핑될 수 있고, 여기서 각각의 햅틱 주파수 영역은 하나 이상의 햅틱 신호를 포함한다. 햅틱 주파수 영역에 대한 주파수의 선택은 액추에이터 특성에 기초하여(예를 들어, 액추에이터가 지정된 주파수에서 충분한 동적 범위를 가짐), 햅틱 주파수 성분(haptic frequency content)이 쉽게 구별될 수 있도록 사람에 의해 인지될 수 있는 햅틱 효과의 특성에 의해, 또는 오디오 신호 자체의 주파수 성분(frequency content)에 의해 결정될 수 있다. 예를 들어, 각각의 오디오 주파수 영역에서의 전력 성분(power content)이 추출되어 각각의 햅틱 주파수 영역에서의 햅틱 성분(haptic content)을 크기 변조하는 데 사용될 수 있다.
이 실시예에 따르면, 햅틱 변환 시스템은 오디오 신호(310)를 수신한다. 특정의 실시예에서, 오디오 신호(310)는 도 2의 오디오 신호(200)와 유사하다. 햅틱 변환 시스템은 이어서 오디오 신호(310)를 전처리 모듈(320)로 송신하고, 전처리 모듈(320)은 오디오 신호(310)에 대해 필요한 임의의 전처리를 수행한다. 전처리의 예는 도 2와 관련하여 이전에 기술되었다. 햅틱 변환 시스템은 이어서 오디오 신호(310)를 추정기 모듈(330)로 송신하고, 추정기 모듈(330)은 오디오 신호(310)의 하나 이상의 오디오 주파수 영역을 결정하기 위해 오디오 신호(310)를 분석한다. 추정기 모듈(330)은 이어서 오디오 신호(310)를 하나 이상의 결정된 오디오 주파수 영역[도 3에서 오디오 주파수 영역(340, 341 및 342)으로 나타내어져 있음]으로 분할한다. 게다가, 오디오 신호(310)를 하나 이상의 결정된 오디오 주파수 영역으로 분할하는 것의 일부로서, 오디오 신호(310)의 각각의 오디오 주파수 영역이 개별적인 필터에 의해 생성된다. 추정기 모듈(330)은 처리된 오디오 신호에서의 수정에 응답하여 이 매핑을 수정하거나 갱신할 수 있다. 특정의 실시예에서, 각각의 오디오 주파수 영역은 오디오 신호(310) 내에 포함된 서브신호에 대한 주파수의 범위를 나타낸다. 예를 들어, 오디오 신호(310)가 3개의 오디오 주파수 영역으로 분할되는 실시예에서, 제1 오디오 주파수 영역은 낮은 범위 내의 주파수를 갖는 서브 신호를 포함할 수 있고, 제2 오디오 주파수 영역은 중간 범위 내의 주파수를 갖는 서브 신호를 포함할 수 있으며, 제3 오디오 주파수 영역은 높은 범위 내의 주파수를 갖는 서브 신호를 포함할 수 있다. 이것은 오디오 주파수 영역의 개수의 한 예에 불과하고, 오디오 신호가 임의의 개수의 오디오 주파수 영역으로 분할될 수 있다.
그 후에, 하나 이상의 오디오 주파수 영역이 하나 이상의 햅틱 주파수 영역[도 3에서 햅틱 주파수 영역(350, 351 및 352)으로 나타내어져 있음]에 매핑된다. 특정의 실시예에서, 각각의 햅틱 주파수 영역은 오디오 신호(310)에 기초하여 발생되는 하나 이상의 햅틱 신호에 대한 주파수의 범위를 나타낸다. 예를 들어, 3개의 햅틱 주파수 영역을 포함하는 실시예에서, 제1 햅틱 주파수 영역은 낮은 범위 내의 주파수를 갖는 햅틱 신호를 포함할 수 있고, 제2 햅틱 주파수 영역은 중간 범위 내의 주파수를 갖는 햅틱 신호를 포함할 수 있으며, 제3 햅틱 주파수 영역은 높은 범위 내의 주파수를 갖는 햅틱 신호를 포함할 수 있다. 이것은 햅틱 주파수 영역의 개수의 한 예에 불과하고, 임의의 개수의 햅틱 주파수 영역이 있을 수 있다. 특정의 실시예에서, 도 2의 필터(230)는 도 3의 오디오 주파수 범위(340) 및 햅틱 주파수 범위(350)에 대응하고, 도 2의 필터(231)는 도 3의 오디오 주파수 범위(341) 및 햅틱 주파수 범위(351)에 대응하며, 도 2의 필터(232)는 도 3의 오디오 주파수 범위(342) 및 주파수 범위(352)에 대응한다.
특정의 실시예에서, 낮은 범위 내의 주파수를 갖는 서브신호를 포함하는 오디오 주파수 영역은 낮은 범위 내의 주파수를 갖는 햅틱 신호를 포함하는 햅틱 주파수 영역에 매핑될 수 있다. 마찬가지로, 이들 실시예에서, 높은 범위 내의 주파수를 갖는 서브신호를 포함하는 오디오 주파수 영역은 높은 범위 내의 주파수를 갖는 햅틱 신호를 포함하는 햅틱 주파수 영역에 매핑될 수 있다. 예시적인 실시예에서, 햅틱 변환 시스템은 오디오 신호(310)를 복수의 오디오 주파수 영역으로 분할하고, 이하의 표 1과 같이, 각각의 오디오 주파수 영역을 대응하는 햅틱 주파수 영역에 매핑할 수 있다.
오디오 주파수 영역 햅틱 주파수 영역
200Hz 미만 100Hz
200Hz 내지 4000Hz 175Hz
4000Hz 초과 250Hz
하나 이상의 햅틱 주파수 영역의 하나 이상의 햅틱 신호가 믹서 모듈(360)로 송신되고, 여기서 믹서 모듈(360)은 하나 이상의 햅틱 신호를 단일의 결합된 햅틱 신호로 결합한다. 결합된 햅틱 신호는 이어서 Immersion Corporation의 TouchSense® 5000 Player 모듈 등의 햅틱 효과 재생기 모듈(370)로 송신되고, 여기서 햅틱 효과 재생기 모듈(370)은 결합된 햅틱 신호를 액추에이터(380)로 송신함으로써 액추에이터(380)에서 하나 이상의 햅틱 효과를 재생하도록 구성되어 있다. 선택적으로, 결합된 햅틱 신호는 또한 IVS 햅틱 효과 파일 등의 햅틱 효과 파일(390) 내에 저장된다.
도 4는 본 발명의 일 실시예에 따른, 하나 이상의 햅틱 주파수 영역을 복수의 액추에이터 중의 액추에이터에 매핑하는 햅틱 변환 시스템의 블록도를 나타낸 것이다. 사람이 주파수를 분간하기 어려울 수 있으며, 그 주파수가 특정의 범위 내에서 가까이 있을 때 특히 그렇다는 것이 일반적으로 공지되어 있다. 또한, 어떤 사용자는 특정의 액추에이터에 의해 발생된 저주파 햅틱 효과를 선호하는 반면, 다른 사용자는 넓은 주파수 대역의 액추에이터에 의해 발생되는 고주파 햅틱 효과를 선호한다는 것이 일반적으로 공지되어 있다. 이 실시예에 따르면, 응용을 위한 보다 풍부한 햅틱 성분을 생성하기 위해 저주파 응답 액추에이터들(ERM 등)의 조합이 광대역폭 액추에이터(압전 액추에이터 등)와 결합될 수 있고, 여기서 햅틱 성분은, 이하의 표 2에 나타내어져 있는 바와 같이, 액추에이터의 설계의 동적 및 주파수 특성으로 인해 단일의 액추에이터에 의해 생성될 수 없다.
ERM 압전 액추에이터
주파수 범위(Hz) 60 내지 120 120 내지 300
크기 주파수에 결합되어 있음; 낮은 주파수에서 낮고 높은 주파수에서 높음 약 200Hz에서 공진함; 주파수에 독립적임
ERM이 저주파 진동(60 내지 200 Hz)을 각각의 주파수에서 고정된 크기로 생성할 수 있기 때문에, 중첩 효과가 생성될 수 없어서, 저주파 성분 및 고주파 성분을 갖는 신호를 출력한다. 한편, 압전 액추에이터는, 100Hz 미만의 범위에서 의미있는 햅틱 효과를 출력하기 위한 100Hz 미만에서의 동적 범위를 갖지 않는다. 2개의 액추에이터의 조합은 햅틱 효과 설계자에게, 선택할 보다 풍부한 팔렛트를 제공하여 사용자 경험을 향상시킬 수 있다.
게다가, 2개의 액추에이터를 결합시키기 위해 상이한 알고리즘이 생성될 수 있다. 예를 들어, 한 경우에, 압전 액추에이터는 게임에서 배경 음악을 나타내는 데 사용될 수 있는 반면, ERM은 상호작용 효과(폭발, 충돌, 기타 등등)를 나타내는 데 사용될 수 있다. 2개의 액추에이터의 결합은 또한 저주파 성분 및 고주파 성분을 결합함으로써 보다 풍부한 텍스처를 생성하는 데 사용될 수 있다.
이 실시예에 따르면, 햅틱 변환 시스템은 오디오 신호(410)를 수신한다. 특정의 실시예에서, 오디오 신호(410)는 도 2의 오디오 신호(200) 및 도 3의 오디오 신호(310)와 유사하다. 햅틱 변환 시스템은 이어서 오디오 신호(410)를 전처리 모듈(420)로 송신하고, 전처리 모듈(420)은 오디오 신호(410)에 대해 필요한 임의의 전처리를 수행한다. 전처리의 예는 도 2와 관련하여 이전에 기술되었다. 전처리 모듈(420)은 또한 오디오 신호(410)를 (오디오 신호가 오디오 신호의 서브신호의 주파수보다는 대응하는 액추에이터에 기초하여 영역들로 분할되기 때문에, 오디오 주파수 영역과 상이한) 복수의 오디오 영역으로 분할하고, 여기서 각각의 오디오 영역은 복수의 액추에이터[도 4에서 액추에이터(470, 471 및 472)로 나타내어져 있음] 중의 액추에이터에 대응한다. 예시된 실시예에서, 전처리 모듈(420)은 오디오 신호(410)를 3개의 오디오 영역으로 분할한다. 그렇지만, 이것은 예시적인 실시예에 불과하고, 전처리 모듈(420)은 오디오 신호(410)를 임의의 개수의 오디오 영역으로 분할할 수 있다. 특정의 실시예에서, 복수의 액추에이터는 적어도 하나의 저주파 액추에이터 및 적어도 하나의 고주파 액추에이터를 포함하고 있다.
이 실시예에 따르면, 각각의 오디오 영역이 하나 이상의 오디오 주파수 영역으로 분할되고, 여기서 각각의 오디오 주파수 영역은 대응하는 오디오 영역 내에 포함된 서브신호에 대한 주파수의 범위를 나타낸다. 예시된 실시예에서, 제1 오디오 영역은 오디오 주파수 영역(430)으로 분할되고, 제2 오디오 영역은 오디오 주파수 영역(431)으로 분할되며, 제3 오디오 영역은 오디오 주파수 영역(432)으로 분할된다. 이어서, 각각의 오디오 영역에 대해, 하나 이상의 오디오 주파수 영역이 하나 이상의 햅틱 주파수 영역에 매핑되고, 여기서 각각의 햅틱 주파수 영역은 오디오 영역에 기초하여 발생되는 하나 이상의 햅틱 신호에 대한 주파수의 범위를 나타낸다. 예시된 실시예에서, 오디오 주파수 영역(430)은 햅틱 주파수 영역(440)에 매핑되고, 오디오 주파수 영역(431)은 햅틱 주파수 영역(441)에 매핑되며, 오디오 주파수 영역(432)은 햅틱 주파수 영역(442)에 매핑된다.
이어서, 각각의 오디오 영역에 대해, 하나 이상의 햅틱 주파수 영역의 하나 이상의 햅틱 신호가 믹서 모듈로 송신되고, 여기서 믹서 모듈은 하나 이상의 햅틱 신호를 단일의 결합된 햅틱 신호로 결합한다. 예시된 실시예에서, 햅틱 주파수 영역(440)의 하나 이상의 햅틱 신호가 믹서 모듈(450)로 송신되고, 여기서 믹서 모듈(450)은 하나 이상의 햅틱 신호를 제1 결합된 햅틱 신호로 결합한다. 햅틱 주파수 영역(441)의 하나 이상의 햅틱 신호가 믹서 모듈(451)로 송신되고, 여기서 믹서 모듈(451)은 하나 이상의 햅틱 신호를 제2 결합된 햅틱 신호로 결합한다. 햅틱 주파수 영역(442)의 하나 이상의 햅틱 신호가 믹서 모듈(452)로 송신되고, 여기서 믹서 모듈(452)은 하나 이상의 햅틱 신호를 제3 결합된 햅틱 신호로 결합한다.
각각의 결합된 햅틱 신호는 이어서 Immersion Corporation의 TouchSense® 5000 Player 모듈 등의 햅틱 효과 재생기 모듈로 송신되고, 여기서 각각의 햅틱 효과 재생기 모듈은 각자의 결합된 신호를 각자의 액추에이터로 송신함으로써 대응하는 액추에이터에서 하나 이상의 햅틱 효과를 재생하도록 구성되어 있다. 예시된 실시예에서, 믹서 모듈(450)은 제1 결합된 햅틱 신호를 햅틱 효과 재생기 모듈(460)로 송신하고, 여기서 햅틱 효과 재생기 모듈(460)은 제1 결합된 햅틱 신호를 액추에이터(470)로 송신함으로써 액추에이터(470)에서 하나 이상의 햅틱 효과를 재생하도록 구성되어 있다. 믹서 모듈(451)은 제2 결합된 햅틱 신호를 햅틱 효과 재생기 모듈(461)로 송신하고, 여기서 햅틱 효과 재생기 모듈(461)은 제2 결합된 햅틱 신호를 액추에이터(471)로 송신함으로써 액추에이터(471)에서 하나 이상의 햅틱 효과를 재생하도록 구성되어 있다. 믹서 모듈(452)은 제3 결합된 햅틱 신호를 햅틱 효과 재생기 모듈(462)로 송신하고, 여기서 햅틱 효과 재생기 모듈(462)은 제3 결합된 햅틱 신호를 액추에이터(472)로 송신함으로써 액추에이터(472)에서 하나 이상의 햅틱 효과를 재생하도록 구성되어 있다.
도 5는 본 발명의 일 실시예에 따른, 햅틱 변환 모듈[도 1의 햅틱 변환 모듈(16) 등]의 기능의 흐름도를 나타낸 것이다. 일 실시예에서, 도 5의 기능은 메모리 또는 다른 컴퓨터 판독가능 또는 유형의 매체에 저장되고 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예에서, 기능이 하드웨어에 의해[예컨대, ASIC(application specific integrated circuit), PGA(programmable gate array), FPGA(field programmable gate array) 등의 사용을 통해] 또는 하드웨어와 소프트웨어의 임의의 조합에 의해 수행될 수 있다. 게다가, 대안의 실시예에서, 기능이 아날로그 구성요소를 사용하는 하드웨어에 의해 수행될 수 있다.
흐름이 시작되고 단계 510으로 진행한다. 단계 510에서, 오디오 신호가 분석된다. 특정의 실시예에서, 오디오 신호가 또한 전처리된다. 또한, 특정의 실시예에서, 오디오 신호를 하나 이상의 오디오 주파수 영역으로 분할하는 데 사용되는 하나 이상의 파라미터가 조정된다. 실시예들 중 일부 실시예에서, 오디오 신호를 전처리하는 데 사용되는 하나 이상의 파라미터가 조정된다. 흐름이 단계 520으로 진행한다. 단계 520에서, 오디오 신호가 하나 이상의 오디오 주파수 영역으로 분할되고, 여기서 각각의 오디오 주파수 영역은 오디오 신호의 하나 이상의 오디오 서브 신호(audio sub-signal)를 포함한다. 흐름이 단계 530으로 진행한다. 단계 530에서, 하나 이상의 오디오 주파수 영역이 하나 이상의 햅틱 주파수 영역에 매핑되고, 여기서 각각의 오디오 주파수 영역은 하나 이상의 대응하는 햅틱 주파수 영역에 매핑되며, 각각의 햅틱 주파수 영역은 하나 이상의 햅틱 신호를 포함한다. 흐름이 단계 540으로 진행한다. 단계 540에서, 하나 이상의 햅틱 주파수 영역의 하나 이상의 햅틱 신호가 하나 이상의 액추에이터에 매핑되고, 여기서 각각의 햅틱 신호는 하나 이상의 대응하는 액추에이터에 매핑된다. 하나 이상의 액추에이터는 적어도 하나의 저주파 액추에이터 및 적어도 하나의 고주파 액추에이터를 포함할 수 있다. 흐름이 단계 550으로 진행한다. 단계 550에서, 하나 이상의 햅틱 효과를 발생하기 위해 하나 이상의 햅틱 신호가 하나 이상의 액추에이터로 송신되고, 여기서 각각의 햅틱 신호는 그의 대응하는 액추에이터로 송신된다. 이어서, 흐름이 종료한다. 오디오 신호가 노래의 일부분을 포함하는 경우와 같은 특정의 실시예에서, 다수의 오디오 신호에 대해 흐름이 반복될 수 있고, 여기서 각각의 오디오 신호는 노래의 개별적인 부분이다. 예를 들어, 2분짜리 노래가 복수의 오디오 신호로 분할될 수 있고, 여기서 각각의 오디오 신호는 17 밀리초("ms")의 지속기간을 갖고, 복수의 오디오 신호 중의 각각의 오디오 신호에 대해 흐름이 반복될 수 있다. 이것은 단지 한 예에 불과하며, 노래는 임의의 지속기간을 가질 수 있고, 복수의 오디오 신호 중의 각각의 오디오 신호는 임의의 지속기간을 가질 수 있다.
이와 같이, 일 실시예에 따르면, 햅틱 변환 시스템은 오디오 신호를 하나 이상의 오디오 주파수 영역으로 분할하고, 각각의 오디오 주파수 영역을 하나 이상의 햅틱 주파수 영역에 매핑하며, 하나 이상의 햅틱 효과를 발생하기 위해 하나 이상의 햅틱 주파수 영역의 하나 이상의 햅틱 신호를 하나 이상의 액추에이터로 송신한다. 햅틱 주파수 영역 내의 주파수의 선택은 햅틱 변환 시스템으로 하여금 하나 이상의 액추에이터(광대역폭 액추에이터 등)의 특징을 더 잘 이용하게 할 수 있고, 2개 이상의 액추에이터의 사용은 보다 풍부한 햅틱 경험을 제공할 수 있다.
이 명세서 전체에 걸쳐 기술된 본 발명의 특징, 구조 또는 특성이 하나 이상의 실시예에서 임의의 적당한 방식으로 결합될 수 있다. 예를 들어, 이 명세서 전체에 걸쳐 "일 실시예", "일부 실시예", "특정의 실시예", "특정의 실시예들" 또는 다른 유사한 표현의 사용은 실시예와 관련하여 기술된 특정의 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수 있다는 사실을 말한다. 이와 같이, 이 명세서 전체에 걸쳐 나오는 구문 "일 실시예", "일부 실시예", "특정의 실시예", "특정의 실시예들" 또는 다른 유사한 표현은 모두가 동일한 그룹의 실시예를 말할 필요는 없으며, 기술된 특징, 구조 또는 특성이 하나 이상의 실시예에서 임의의 적당한 방식으로 결합될 수 있다.
본 기술 분야의 당업자라면 이상에서 논의된 본 발명이 상이한 순서의 단계들 및/또는 개시된 것과 상이한 구성으로 되어 있는 요소들로 실시될 수 있다는 것을 잘 알 것이다. 따라서, 본 발명이 이들 바람직한 실시예에 기초하여 기술되어 있지만, 본 발명의 사상 및 범위 내에 있으면서 특정의 수정, 변형 및 대안의 구성이 자명할 것임이 본 기술 분야의 당업자에게는 명백할 것이다. 따라서, 본 발명의 범위를 결정하기 위해, 첨부된 특허청구범위를 참조해야만 한다.

Claims (15)

  1. 오디오 신호를 하나 이상의 햅틱 효과로 변환하는 컴퓨터 구현 방법으로서,
    상기 오디오 신호를 분석하는 단계;
    상기 오디오 신호를 하나 이상의 오디오 주파수 영역으로 분할하는 단계 - 각각의 오디오 주파수 영역은 하나 이상의 오디오 서브 신호(audio sub-signal)를 포함함 -;
    상기 하나 이상의 오디오 주파수 영역을 하나 이상의 햅틱 주파수 영역에 매핑하는 단계 - 각각의 오디오 주파수 영역은 하나 이상의 대응하는 햅틱 주파수 영역에 매핑되고, 각각의 햅틱 주파수 영역은 하나 이상의 햅틱 신호를 포함함 -; 및
    상기 하나 이상의 햅틱 효과를 발생하기 위해 상기 하나 이상의 햅틱 신호를 액추에이터로 송신하는 단계를 포함하는, 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 하나 이상의 햅틱 신호를 복수의 액추에이터에 매핑하는 단계 - 각각의 햅틱 신호는 하나 이상의 대응하는 액추에이터에 매핑됨 -; 및
    상기 하나 이상의 햅틱 효과를 발생하기 위해 각각의 햅틱 신호를 그의 대응하는 액추에이터로 송신하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  3. 제1항에 있어서, 하나 이상의 필터를 사용하여 상기 오디오 신호가 상기 하나 이상의 오디오 주파수 영역으로 분할되는, 컴퓨터 구현 방법.
  4. 제1항에 있어서,
    상기 하나 이상의 오디오 주파수 영역 중의 각각의 오디오 주파수 영역에 대해 최대값이 계산되고,
    상기 최대값에 기초하여 각각의 오디오 주파수 영역에 대해 사인 반송파 파형(sine carrier waveform)이 계산되며,
    상기 최대값 및 상기 사인 반송파 파형에 기초하여 상기 하나 이상의 햅틱 주파수 영역 중의 각각의 햅틱 주파수 영역이 발생되는, 컴퓨터 구현 방법.
  5. 제1항에 있어서, 상기 액추에이터의 하나 이상의 특성에 기초하여 상기 하나 이상의 햅틱 주파수 영역 중의 각각의 햅틱 주파수 영역에 대한 하나 이상의 주파수의 선택이 결정되는, 컴퓨터 구현 방법.
  6. 제1항에 있어서,
    상기 하나 이상의 오디오 주파수 영역은,
    낮은 범위 내의 주파수를 갖는 하나 이상의 오디오 서브 신호를 포함하는 제1 오디오 주파수 영역;
    중간 범위 내의 주파수를 갖는 하나 이상의 오디오 서브 신호를 포함하는 제2 오디오 주파수 영역; 및
    높은 범위 내의 주파수를 갖는 하나 이상의 오디오 서브 신호를 포함하는 제3 오디오 주파수 영역을 포함하는, 컴퓨터 구현 방법.
  7. 제6항에 있어서,
    상기 하나 이상의 햅틱 주파수 영역은,
    낮은 범위 내의 주파수를 갖는 하나 이상의 햅틱 신호를 포함하는 제1 햅틱 주파수 영역;
    중간 범위 내의 주파수를 갖는 하나 이상의 햅틱 신호를 포함하는 제2 햅틱 주파수 영역; 및
    높은 범위 내의 주파수를 갖는 하나 이상의 햅틱 신호를 포함하는 제3 햅틱 주파수 영역을 포함하는, 컴퓨터 구현 방법.
  8. 제1항에 있어서, 상기 하나 이상의 햅틱 신호는 단일의 결합된 햅틱 신호로 결합되는, 컴퓨터 구현 방법.
  9. 제1항에 있어서, 상기 오디오 신호를 전처리하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  10. 제1항에 있어서, 상기 오디오 신호를 하나 이상의 오디오 주파수 영역으로 분할하는 데 사용되는 하나 이상의 파라미터를 조정하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  11. 햅틱 변환 시스템으로서,
    햅틱 변환 모듈을 저장하도록 구성된 메모리;
    상기 메모리에 저장된 상기 햅틱 변환 모듈을 실행하도록 구성된 프로세서; 및
    하나 이상의 햅틱 효과를 출력하도록 구성된 액추에이터를 포함하고,
    상기 햅틱 변환 모듈은,
    상기 오디오 신호를 분석하고;
    상기 오디오 신호를 하나 이상의 오디오 주파수 영역으로 분할하며 - 각각의 오디오 주파수 영역은 하나 이상의 오디오 서브 신호를 포함함 -;
    상기 하나 이상의 오디오 주파수 영역을 하나 이상의 햅틱 주파수 영역에 매핑하고 - 각각의 오디오 주파수 영역은 하나 이상의 대응하는 햅틱 주파수 영역에 매핑되고, 각각의 햅틱 주파수 영역은 하나 이상의 햅틱 신호를 포함함 -; 및
    상기 하나 이상의 햅틱 효과를 발생하기 위해 상기 하나 이상의 햅틱 신호를 액추에이터로 송신하도록 구성된, 햅틱 변환 시스템.
  12. 제11항에 있어서,
    복수의 액추에이터 - 상기 복수의 액추에이터 중의 각각의 액추에이터는 하나 이상의 햅틱 효과를 출력하도록 구성되어 있음 - 를 더 포함하고,
    상기 햅틱 변환 모듈은, 또한
    상기 하나 이상의 햅틱 신호를 복수의 액추에이터에 매핑하고 - 각각의 햅틱 신호는 하나 이상의 대응하는 액추에이터에 매핑됨 -;
    상기 하나 이상의 햅틱 효과를 발생하기 위해 각각의 햅틱 신호를 그의 대응하는 액추에이터로 송신하도록 구성된, 햅틱 변환 시스템.
  13. 제11항에 있어서,
    상기 하나 이상의 오디오 주파수 영역은,
    낮은 범위 내의 주파수를 갖는 하나 이상의 오디오 서브 신호를 포함하는 제1 오디오 주파수 영역;
    중간 범위 내의 주파수를 갖는 하나 이상의 오디오 서브 신호를 포함하는 제2 오디오 주파수 영역; 및
    높은 범위 내의 주파수를 갖는 하나 이상의 오디오 서브 신호를 포함하는 제3 오디오 주파수 영역을 포함하는, 햅틱 변환 시스템.
  14. 제11항에 있어서,
    상기 하나 이상의 햅틱 주파수 영역은,
    낮은 범위 내의 주파수를 갖는 하나 이상의 햅틱 신호를 포함하는 제1 햅틱 주파수 영역;
    중간 범위 내의 주파수를 갖는 하나 이상의 햅틱 신호를 포함하는 제2 햅틱 주파수 영역; 및
    높은 범위 내의 주파수를 갖는 하나 이상의 햅틱 신호를 포함하는 제3 햅틱 주파수 영역을 포함하는, 햅틱 변환 시스템.
  15. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항 내지 제10항 중 어느 한 항에 따른 방법을 구현하게 하는 명령어를 저장하고 있는, 컴퓨터 판독가능 매체.
KR1020130101714A 2012-08-31 2013-08-27 매핑을 사용한 사운드-햅틱 효과 변환 시스템 KR20140030053A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261695614P 2012-08-31 2012-08-31
US61/695,614 2012-08-31
US13/799,059 2013-03-13
US13/799,059 US9368005B2 (en) 2012-08-31 2013-03-13 Sound to haptic effect conversion system using mapping

Publications (1)

Publication Number Publication Date
KR20140030053A true KR20140030053A (ko) 2014-03-11

Family

ID=48900763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130101714A KR20140030053A (ko) 2012-08-31 2013-08-27 매핑을 사용한 사운드-햅틱 효과 변환 시스템

Country Status (5)

Country Link
US (3) US9368005B2 (ko)
EP (1) EP2703951B1 (ko)
JP (2) JP6250985B2 (ko)
KR (1) KR20140030053A (ko)
CN (3) CN103677249B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140113390A (ko) * 2013-03-14 2014-09-24 임머숀 코퍼레이션 그룹 이벤트동안 방송되는 햅틱 효과
WO2020171612A1 (ko) * 2019-02-19 2020-08-27 주식회사 동운아나텍 사용자 입력신호를 고려한 햅틱 모터 구동 방법
WO2020171614A1 (ko) * 2019-02-19 2020-08-27 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9898085B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
JP2015170174A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9946348B2 (en) 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
CN104932681B (zh) * 2014-03-21 2019-09-20 意美森公司 触觉效果的自动调整
WO2015171452A1 (en) * 2014-05-09 2015-11-12 Sony Computer Entertainment Inc. Scheme for embedding a control signal in an audio signal using pseudo white noise
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
EP3263195A4 (en) * 2015-02-27 2018-09-12 Sony Corporation Information processing device, information processing method, information processing system
KR102267474B1 (ko) 2015-05-11 2021-06-21 삼성전자주식회사 진동 제어 장치와 이를 포함하는 컴퓨팅 장치
GB2549781B (en) * 2016-04-29 2018-12-19 Inoue Nicholas Tactile stimulation apparatus
KR101790892B1 (ko) * 2016-05-17 2017-10-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
US10699538B2 (en) * 2016-07-27 2020-06-30 Neosensory, Inc. Method and system for determining and providing sensory experiences
WO2018048907A1 (en) 2016-09-06 2018-03-15 Neosensory, Inc. C/O Tmc+260 Method and system for providing adjunct sensory information to a user
EP3321933B1 (en) * 2016-11-14 2021-08-25 Goodix Technology (HK) Company Limited Linear resonant actuator controller
US10075251B2 (en) 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
WO2018151770A1 (en) 2017-02-16 2018-08-23 Neosensory, Inc. Method and system for transforming language inputs into haptic outputs
KR102651705B1 (ko) 2017-02-23 2024-03-28 삼성전자주식회사 전자 장치에서 진동 제공 방법 및 장치
US10744058B2 (en) 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10366584B2 (en) 2017-06-05 2019-07-30 Immersion Corporation Rendering haptics with an illusion of flexible joint movement
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US10477298B2 (en) 2017-09-08 2019-11-12 Immersion Corporation Rendering haptics on headphones with non-audio data
KR101901364B1 (ko) * 2017-09-18 2018-11-22 주식회사 씨케이머티리얼즈랩 햅틱 장치를 위한 무선 제어 장치 및 방법
KR101899538B1 (ko) * 2017-11-13 2018-09-19 주식회사 씨케이머티리얼즈랩 햅틱 제어 신호 제공 장치 및 방법
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
EP3540567B1 (en) 2018-03-16 2021-05-05 Goodix Technology (HK) Company Limited Haptic signal generator
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11120673B2 (en) 2018-06-07 2021-09-14 Lofelt Gmbh Systems and methods for generating haptic output for enhanced user experience
EP3579081A1 (en) * 2018-06-07 2019-12-11 Lofelt GmbH Systems and methods for generating haptic output for enhanced user experience
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
WO2020059758A1 (ja) * 2018-09-20 2020-03-26 日本電産株式会社 コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US10754428B1 (en) * 2019-02-25 2020-08-25 Facebook Technologies, Llc Systems, methods, and devices for audio-tactile mapping
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
EP3748474B1 (en) * 2019-06-06 2022-09-28 Goodix Technology (HK) Company Limited Audio-haptic processor, method, system and computer program product
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
WO2021062276A1 (en) 2019-09-25 2021-04-01 Neosensory, Inc. System and method for haptic stimulation
US11468750B2 (en) * 2019-10-14 2022-10-11 Lofelt Gmbh Authoring an immersive haptic data file using an authoring tool
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11079854B2 (en) * 2020-01-07 2021-08-03 Neosensory, Inc. Method and system for haptic stimulation
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
CN112416477B (zh) * 2020-11-27 2022-04-26 瑞声新能源发展(常州)有限公司科教城分公司 信号转换方法、装置、计算机设备和存储介质
JP7340556B2 (ja) * 2021-02-26 2023-09-07 任天堂株式会社 振動制御システム
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
US11995240B2 (en) * 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
CN114995638A (zh) * 2022-05-12 2022-09-02 北京有竹居网络技术有限公司 触觉信号生成方法、装置、可读介质及电子设备
US20240017166A1 (en) * 2022-07-12 2024-01-18 Tim Hoar Systems and methods for generating real-time directional haptic output

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL70153A0 (en) 1983-11-07 1984-02-29 Navot Technology Ltd Audiotactile communication system
JPH0375694A (ja) 1989-08-17 1991-03-29 Toshiba Corp 画像着色装置
JPH0633752Y2 (ja) * 1989-11-24 1994-08-31 サンデン株式会社 振動装置
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US7091948B2 (en) * 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
CN2386719Y (zh) * 1999-09-03 2000-07-12 李德启 音乐自动摇床
US7027607B2 (en) * 2000-09-22 2006-04-11 Gn Resound A/S Hearing aid with adaptive microphone matching
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US7791588B2 (en) 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
CN1868428A (zh) * 2005-05-23 2006-11-29 李刚 用触觉及视觉替代听觉的腕式聋人辨声器
JP5208362B2 (ja) * 2005-10-28 2013-06-12 ソニー株式会社 電子機器
US8525778B2 (en) * 2007-03-21 2013-09-03 Northwestern University Haptic device with controlled traction forces
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
EP2353066A4 (en) 2008-11-04 2014-10-15 Bayer Ip Gmbh ELECTRO-ACTIVE POLYMER TRANSDUCERS FOR TOUCH FEEDBACK DEVICES
KR20100065640A (ko) * 2008-12-08 2010-06-17 삼성전자주식회사 터치스크린의 햅틱 피드백 방법
CN102349041B (zh) * 2009-03-12 2015-11-25 意美森公司 用于摩擦显示和附加触觉效果的系统和方法
US20110115709A1 (en) * 2009-11-17 2011-05-19 Immersion Corporation Systems And Methods For Increasing Haptic Bandwidth In An Electronic Device
US8731214B2 (en) * 2009-12-15 2014-05-20 Stmicroelectronics International N.V. Noise removal system
WO2012061840A1 (en) * 2010-11-05 2012-05-10 Georgia Tech Research Corporation Haptic systems, devices, and methods using transmission of pressure through a flexible medium
CN102064832B (zh) * 2010-11-11 2013-09-18 广东欧珀移动通信有限公司 一种随音乐变化振动效果的实现方法
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
KR101121785B1 (ko) 2011-10-05 2012-03-09 (주)이미지스테크놀로지 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법
JP6541292B2 (ja) 2012-02-15 2019-07-10 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ プリミティブを用いた高解像度ハプティック効果生成
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
KR101666393B1 (ko) * 2013-03-27 2016-10-14 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140113390A (ko) * 2013-03-14 2014-09-24 임머숀 코퍼레이션 그룹 이벤트동안 방송되는 햅틱 효과
WO2020171612A1 (ko) * 2019-02-19 2020-08-27 주식회사 동운아나텍 사용자 입력신호를 고려한 햅틱 모터 구동 방법
WO2020171614A1 (ko) * 2019-02-19 2020-08-27 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
KR20200101033A (ko) * 2019-02-19 2020-08-27 주식회사 동운아나텍 사용자 입력신호를 고려한 햅틱 모터 구동 방법
US11798382B2 (en) 2019-02-19 2023-10-24 Dong Woon Anatech Co., Ltd Haptic signal generating method and device using audio signal pattern
US11907424B2 (en) 2019-02-19 2024-02-20 Dong Woon Anatech Co., Ltd Haptic motor driving method in consideration of user input signal

Also Published As

Publication number Publication date
CN108874144B (zh) 2020-06-05
US9818271B2 (en) 2017-11-14
CN108845673A (zh) 2018-11-20
US20160260298A1 (en) 2016-09-08
CN103677249B (zh) 2018-07-31
CN103677249A (zh) 2014-03-26
JP2018037106A (ja) 2018-03-08
US20140064516A1 (en) 2014-03-06
JP6250985B2 (ja) 2017-12-20
JP2014049139A (ja) 2014-03-17
CN108845673B (zh) 2021-06-22
US9368005B2 (en) 2016-06-14
EP2703951A2 (en) 2014-03-05
US10339772B2 (en) 2019-07-02
US20180040211A1 (en) 2018-02-08
CN108874144A (zh) 2018-11-23
EP2703951A3 (en) 2014-10-08
EP2703951B1 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
US10339772B2 (en) Sound to haptic effect conversion system using mapping
US10074246B2 (en) Sound to haptic effect conversion system using multiple actuators
US10055950B2 (en) Sound to haptic effect conversion system using waveform
JP2020173821A (ja) ストリームに依存しない音をハプティック効果に変換するシステム
US9448626B2 (en) Sound to haptic effect conversion system using amplitude value
EP2624099B1 (en) Method and system for sound to haptic effect conversion using waveform

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right