KR20130112799A - 다수의 액츄에이터를 사용하는 사운드-햅틱 효과 변환 시스템 - Google Patents

다수의 액츄에이터를 사용하는 사운드-햅틱 효과 변환 시스템 Download PDF

Info

Publication number
KR20130112799A
KR20130112799A KR1020130036558A KR20130036558A KR20130112799A KR 20130112799 A KR20130112799 A KR 20130112799A KR 1020130036558 A KR1020130036558 A KR 1020130036558A KR 20130036558 A KR20130036558 A KR 20130036558A KR 20130112799 A KR20130112799 A KR 20130112799A
Authority
KR
South Korea
Prior art keywords
haptic
actuator
signal
audio
actuators
Prior art date
Application number
KR1020130036558A
Other languages
English (en)
Other versions
KR102204606B1 (ko
Inventor
코스타 헨리 다
에르베 투 티모네
로버트 휴벨
스티브 랭크
후안 마누엘 크루즈-에르난데스
대니 그랜트
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20130112799A publication Critical patent/KR20130112799A/ko
Application granted granted Critical
Publication of KR102204606B1 publication Critical patent/KR102204606B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

오디오 신호를 분석하고, 오디오 신호의 분석에 기초하여 복수의 햅틱 신호를 생성하며, 생성된 복수의 햅틱 신호를 복수의 액츄에이터를 통해 재생하여 하나 이상의 햅틱 효과를 생성하는 햅틱 변환 시스템이 제공된다. 햅틱 변환 시스템은 오디오 신호의 하나 이상의 오디오 특성에 기초하여 생성된 복수의 햅틱 신호를 복수의 액츄에이터에 맵핑한다. 각각의 생성된 햅틱 신호는 하나 이상의 햅틱 파라미터를 포함하고, 해당 맵핑된 액츄에이터에서 재생되어 하나 이상의 햅틱 효과를 생성한다.

Description

다수의 액츄에이터를 사용하는 사운드-햅틱 효과 변환 시스템{SOUND TO HAPTIC EFFECT CONVERSION SYSTEM USING MULTIPLE ACTUATORS}
일 실시예는 일반적으로 장치에 관한 것으로, 특히 햅틱 효과를 생성하는 장치에 관한 것이다.
햅틱은 힘, 진동, 및 움직임과 같은 햅틱 피드백 효과들(즉, "햅틱 효과들")을 사용자에게 적용함으로써 사용자의 터치 감각을 이용하는 촉각 및 힘 피드백 기술이다. 이동 장치들, 터치스크린 장치들, 및 퍼스널 컴퓨터 등의 장치들은 햅틱 효과를 생성하도록 구성될 수 있다. 일반적으로, 햅틱 효과를 생성할 수 있는 내장형 하드웨어(액츄에이터 등)에 대한 호출들은 장치의 운영 체제("OS") 내에 프로그래밍될 수 있다. 이 호출들은 어떤 햅틱 효과를 재생할지를 지정한다. 예를 들어, 사용자가 예를 들어 버튼, 터치스크린, 레버, 조이스틱, 휠, 또는 일부 다른 컨트롤을 사용하여 장치와 상호작용할 때, 장치의 OS는 재생 커맨드를 제어 회로망을 통해 내장형 하드웨어에 송신할 수 있다. 그 다음, 내장형 하드웨어는 적절한 햅틱 효과를 생성한다.
그러한 장치들은 디지털 오디오 신호와 같은 오디오 데이터를 재생하도록 구성될 수도 있다. 예를 들어, 그러한 장치들은 오디오 부분을 포함하는 영화 또는 비디오 게임과 같은 비디오 데이터, 또는 노래와 같은 오디오 데이터를 재생하도록 구성된 애플리케이션들을 포함할 수 있다. 햅틱과 유사하게, 오디오 효과을 생성할 수 있는 추가의 내장형 하드웨어(스피커 등)에 대한 호출들은 장치의 OS 내에 프로그래밍할 수 있다. 따라서, 장치의 OS가 재생 커맨드를 제어 회로망을 통해 추가의 내장형 하드웨어에 송신할 수 있으며, 그 후 추가의 내장형 하드웨어가 적절한 오디오 효과를 생성한다.
일 실시예는 오디오 신호를 복수의 액츄에이터에서 재생되는 하나 이상의 햅틱 효과로 변환하는 시스템에 관한 것이다. 시스템은 오디오 신호를 분석한다. 시스템은 또한 오디오 신호의 하나 이상의 오디오 특성에 기초하여 하나 이상의 햅틱 신호를 발생시키며, 하나 이상의 햅틱 신호 중 각 햅틱 신호는 하나 이상의 햅틱 파라미터를 포함한다. 시스템은 또한 복수의 햅틱 신호를 복수의 액츄에이터에 맵핑하며, 각 햅틱 신호는 대응하는 액츄에이터에 맵핑된다. 시스템은 또한 각 햅틱 신호를 해당 맵핑된 액츄에이터에 송신한다. 시스템은 또한 해당 맵핑된 액츄에이터에서 각 햅틱 신호를 재생하여 하나 이상의 햅틱 효과 중 하나의 햅틱 효과를 생성한다.
첨부 도면과 결부하여 기술된 바람직한 실시예들의 이하의 상세한 설명으로부터 추가의 실시예들, 상세들, 이점들, 및 변형들이 명백해질 것이다.
도 1은 본 발명의 일 실시예에 따른, 햅틱 변환 시스템의 블록도를 예시한다.
도 2는 본 발명의 일 실시예에 따른, 햅틱 변환 시스템의 구조도를 예시한다.
도 3은 본 발명의 일 실시예에 따른, 오디오 신호를 분석하고 단일 오디오 특성의 분석을 사용하여 하나 이상의 햅틱 신호를 동일한 시간에 2개 이상의 액츄에이터들에 출력하는 햅틱 변환 시스템의 예를 예시한다.
도 4는 본 발명의 일 실시예에 따른, 오디오 신호를 분석하고 단일 오디오 특성의 분석을 사용하여 하나 이상의 햅틱 신호를 상이한 시간들에 2개 이상의 액츄에이터들에 출력하는 햅틱 변환 시스템의 예를 예시한다.
도 5는 본 발명의 일 실시예에 따른, 오디오 신호를 분석하고 다수의 오디오 특성들의 분석을 사용하여 하나 이상의 햅틱 신호를 동일한 시간 또는 상이한 시간들에 2개 이상의 액츄에이터들에 출력하는 햅틱 변환 시스템의 예를 예시한다.
도 6은 본 발명의 일 실시예에 따른, 멀티 채널 오디오 신호를 분석하고 하나 이상의 오디오 특성의 분석을 사용하여 하나 이상의 햅틱 신호를 동일한 시간 또는 상이한 시간들에 2개 이상의 액츄에이터들에 출력하는 햅틱 변환 시스템의 예를 예시한다.
도 7a는 본 발명의 일 실시예에 따른, 멀티 채널 구조 기반 오디오 파일을 분석하고 다수의 오디오 특성들의 분석을 사용하여 하나 이상의 햅틱 신호를 동일한 시간 또는 상이한 시간들에 2개 이상의 액츄에이터들에 출력하는 햅틱 변환 시스템의 예시적 사용자 인터페이스를 예시한다.
도 7b는 본 발명의 일 실시예에 따른, 멀티 채널 구조 기반 오디오 파일을 분석하고 다수의 오디오 특성들의 분석을 사용하여 하나 이상의 햅틱 신호를 동일한 시간 또는 상이한 시간들에 2개 이상의 액츄에이터들에 출력하는 햅틱 변환 시스템의 다른 예시적 사용자 인터페이스를 예시한다.
도 8은 본 발명의 일 실시예에 따른 햅틱 변환 모듈의 기능성의 흐름도를 예시한다.
도 9는 본 발명의 일 실시예에 따른 장치를 예시한다.
일 실시예는 오디오 신호를 분석하고, 오디오 신호의 분석에 기초하여 복수의 햅틱 신호를 생성하며, 생성된 복수의 햅틱 신호를 복수의 액츄에이터를 통해 재생하여 하나 이상의 햅틱 효과를 생성할 수 있는 햅틱 변환 시스템이다. 생성된 복수의 햅틱 신호는 오디오 신호의 하나 이상의 오디오 특성에 기초하여 복수의 액츄에이터에 맵핑될 수 있다. 생성된 각 햅틱 신호는 하나 이상의 햅틱 파라미터를 포함할 수 있고, 해당 맵핑된 액츄에이터에서 재생되어 하나 이상의 햅틱 효과를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 햅틱 변환 시스템(10)의 블록도를 예시한다. 일 실시예에서, 시스템(10)은 이동 장치의 일부이고, 시스템(10)은 이동 장치에 햅틱 변환 기능성을 제공한다. 단일 시스템으로서 도시되었더라도, 시스템(10)의 기능성은 분산된 시스템으로서 구현될 수 있다. 시스템(10)은 정보를 전달하기 위한 버스(12) 또는 다른 통신 메커니즘, 및 버스(12)에 결합되어 정보를 처리하기 위한 프로세서(22)를 포함한다. 프로세서(22)는 임의의 타입의 일반 용도 또는 특수 용도 프로세서일 수 있다. 시스템(10)은 프로세서(22)에 의해 실행될 정보 및 명령어들을 저장하기 위한 메모리(14)를 더 포함한다. 메모리(14)는 RAM(random access memory), ROM(read only memory), 자기 또는 광 디스크와 같은 정적 스토리지, 또는 임의의 다른 타입의 컴퓨터 판독가능 매체의 임의의 조합으로 구성될 수 있다.
컴퓨터 판독가능 매체는 프로세서(22)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있고, 휘발성 및 비휘발성 매체 둘 다, 리무버블 및 넌-리무버블 매체, 통신 매체, 및 저장 매체를 포함할 수 있다. 통신 매체는 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호 내에 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터를 포함할 수 있고, 본 기술 분야에 알려진 임의의 다른 형태의 정보 전달 매체를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), 레지스터들, 하드 디스크, 리무버블 디스크, CD-ROM(compact disk read-only memory), 또는 본 기술 분야에 알려진 임의의 다른 형태의 저장 매체를 포함할 수 있다.
일 실시예에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능성을 제공하는 소프트웨어 모듈들을 저장한다. 일 실시예에서, 모듈들은 시스템(10)뿐만 아니라 이동 장치의 나머지에 운영 체제 기능성을 제공하는 운영 체제(15)를 포함한다. 모듈들은 이하에 더 상세히 개시되는 바와 같이, 오디오 신호를 하나 이상의 햅틱 효과를 복수의 액츄에이터에서 생성하기 위해 사용되는 하나 이상의 햅틱 신호로 변환하는 햅틱 변환 모듈(16)을 더 포함한다. 소정 실시예들에서, 햅틱 변환 모듈(16)은 오디오 신호를, 하나 이상의 햅틱 효과를 복수의 액츄에이터에서 생성하기 위해 사용되는 하나 이상의 햅틱 신호로 변환하기 위한 특정 개별 기능성을 각각 제공하는 복수의 모듈을 포함할 수 있다. 시스템(10)은 전형적으로 Immersion Corporation에 의한 Integrator® 햅틱 개발 플랫폼과 같은 추가의 기능성을 포함하도록 하나 이상의 추가의 애플리케이션 모듈(18)을 포함할 것이다.
원격 소스들로부터 데이터를 송신 및/또는 수신하는 실시예들에서, 시스템(10)은 적외선, 무선(radio), Wi-Fi, 또는 셀룰러 네트워크 통신과 같은 이동 무선 네트워크 통신을 제공하기 위해 네트워크 인터페이스 카드와 같은 통신 장치(20)를 더 포함한다. 다른 실시예들에서, 통신 장치(20)는 이더넷 접속 또는 모뎀과 같은 유선 네트워크 접속을 제공한다.
프로세서(22)는 또한 그래픽 표현 또는 사용자 인터페이스를 사용자에게 디스플레이하기 위해 "LCD"(Liquid Crystal Display)와 같은 디스플레이(24)에 버스(12)를 통해 결합된다. 디스플레이(24)는 프로세서(22)로부터 신호들을 송신 및 수신하도록 구성된 터치 스크린과 같은 터치 감지 입력 장치일 수 있고, 멀티 터치 스크린일 수 있다.
시스템(10)은 복수의 액츄에이터(26)(예를 들어, 액츄에이터들(26A 및 26B))을 더 포함한다. 당업자는 도 1의 예시된 실시예에서, 복수의 액츄에이터(26)가 2개의 액츄에이터(즉, 액츄에이터들(26A 및 26B))을 포함하지만, 대안적인 실시예들에서, 복수의 액츄에이터(26)가 임의의 수의 액츄에이터들을 포함할 수 있는 것을 용이하게 인식할 것이다. 프로세서(22)는 햅틱 효과와 관련된 햅틱 신호를 복수의 액츄에이터(26) 중 하나 이상의 액츄에이터에 송신할 수 있으며, 하나 이상의 액츄에이터 중 각 액츄에이터는 차례로 햅틱 효과들을 출력한다. 복수의 액츄에이터(26)의 각 액츄에이터는 예를 들어 전기 모터, 전자기 액츄에이터, 보이스 코일, 형상 기억 합금, 전기 활성 폴리머, 솔레노이드, ERM(eccentric rotating mass motor), LRA(linear resonant actuator), 압전 액츄에이터, 고대역폭 액츄에이터, EAP(electroactive polymer) 액츄에이터, 정전 마찰 디스플레이, 또는 초음파 진동 발생기일 수 있다. 더욱이, 복수의 액츄에이터(26) 중 각 액츄에이터는 상이한 액츄에이터 타입일 수 있다.
일부 실시예들에서, 시스템(10)은 하나 이상의 스피커(28)를 더 포함한다. 프로세서(22)는 오디오 신호를 스피커(28)에 출력할 수 있고, 스피커는 차례로 오디오 효과들을 출력한다. 스피커(28)는 예를 들어 다이내믹 라우드스피커, 일렉트로다이내믹 라우드스피커, 압전 라우드스피커, 자기 변형 라우드스피커, 정전 라우드스피커, 리본(ribbon) 및 평면 자기 라우드스피커, 굴곡 진동 라우드스피커, 평면 패널 라우드스피커, 하일 에어(heil air) 모션 트랜스듀서, 플라즈마 아크 스피커, 및 디지털 라우드스피커일 수 있다.
도 2는 본 발명의 일 실시예에 따른 햅틱 변환 시스템의 구조도를 예시한다. 예시된 실시예에서, 햅틱 변환 시스템은 오디오 모듈(210) 및 스피커(220)를 포함한다. 오디오 모듈(210)은 하나 이상의 오디오 버퍼를 수신하고, 하나 이상의 오디오 버퍼를 스피커(220)에 스트리밍하도록 구성된 장치(이동 장치와 같은)를 위한 운영 체제의 모듈이며, 각 오디오 버퍼는 하나 이상의 오디오 데이터 프레임을 포함한다. 소정 실시예들에서, 하나 이상의 오디오 버퍼는 PCM(pulse-code modulation) 오디오 버퍼들과 같은 디지털 오디오 버퍼들이며, 각 PCM 오디오 버퍼는 하나 이상의 PCM 오디오 데이터 프레임을 포함한다. 다른 실시예들에서, 하나 이상의 오디오 버퍼는 MIDI(Musical Instrument Digital Interface) 오디오 버퍼들과 같은 구조 기반 오디오 버퍼이며, 각 MIDI 오디오 버퍼는 하나 이상의 MIDI 오디오 데이터 프레임을 포함한다. 또 다른 실시예들에서, 하나 이상의 오디오 버퍼는 MP3(MPEG-2 Audio Layer III) 오디오 버퍼들과 같은 주파수 영역 오디오 버퍼들이며, 각 MP3 오디오 버퍼는 하나 이상의 MP3 오디오 데이터 프레임을 포함한다. 또 다른 실시예들에서, 하나 이상의 오디오 버퍼는 당업자에게 알려진 임의의 다른 오디오 포맷들이다. 일 실시예에서, 오디오 모듈(210)은 이동 장치용의 Android® 운영 체제의 안드로이드 오디오트랙 모듈이다.
스피커(220)는 하나 이상의 오디오 버퍼를 수신하고 하나 이상의 오디오 효과를 출력하도록 구성된 스피커이다. 스피커(220)는 예를 들어 다이내믹 라우드스피커, 일렉트로다이내믹 라우드스피커, 압전 라우드스피커, 자기 변형 라우드스피커, 정전 라우드스피커, 리본 및 평면 자기 라우드스피커, 굴곡 진동 라우드스피커, 평면 패널 라우드스피커, 하일 에어 모션 트랜스듀서, 플라즈마 아크 스피커, 및 디지털 라우드스피커일 수 있다.
햅틱 변환 시스템은 또한 실시예에 따른 햅틱 변환 모듈(230)을 포함한다. 소정 실시예들에서, 햅틱 변환 모듈(230)은 도 1의 햅틱 변환 모듈(16)과 동일하다. 실시예에 따르면, 햅틱 변환 모듈(230)은 오디오 모듈(210)이 스피커(220)에 스트리밍하는 하나 이상의 오디오 버퍼를 인터셉트하도록 구성된다. 햅틱 변환 모듈(230)은 또한 하나 이상의 오디오 버퍼를 분석하도록 구성된다. 더 구체적으로, 햅틱 변환 모듈(230)은 하나 이상의 오디오 버퍼 내에 포함된 하나 이상의 오디오 데이터 프레임을 분석하도록 구성된다. 실시예에 따르면, 햅틱 변환 모듈(230)은 하나 이상의 오디오 데이터 프레임의 각 오디오 데이터 프레임의 하나 이상의 오디오 특성을 분석하도록 구성된다. 예시적 실시예에서, 햅틱 변환 모듈(230)은 각 오디오 데이터 프레임의 이하의 오디오 특성들을 분석하도록 구성된다: 오디오 데이터 프레임의 진폭, 오디오 데이터 프레임의 주파수, 또는 오디오 데이터 프레임의 지속 기간(duration). 소정 실시예들에서, 햅틱 변환 모듈(230)은 하나 이상의 오디오 데이터 프레임의 각 오디오 데이터 프레임의 하나 이상의 오디오 특성을 분석하기 전에 하나 이상의 오디오 버퍼를 제1 오디오 포맷으로부터 제2 오디오 포맷으로 변환할 수 있다. 햅틱 변환 모듈(230)에 의해 수행되는 분석 처리의 추가의 상세들은 미국 출원 일련 번호 제13/365,984호("진폭 값을 사용하는 사운드-햅틱 효과 변환 시스템", 그 공개가 본 명세서에서 참조문헌으로 포함되어 있음), 및 미국 출원 일련 번호 제13/366,010호("파형을 사용하는 사운드-햅틱 효과 변환 시스템", 그 공개가 또한 본 명세서에서 참조문헌으로 포함되어 있음)에 기재되어 있다.
햅틱 변환 모듈(230)은 또한 하나 이상의 오디오 버퍼의 분석된 오디오 특성들에 기초하여 하나 이상의 햅틱 신호를 생성하도록 구성된다. 소정 실시예들에 따르면, 햅틱 신호는 하나 이상의 햅틱 파라미터를 포함하는 신호이며, 햅틱 신호는 액츄에이터에서 재생될 때 액츄에이터가 하나 이상의 햅틱 효과를 생성하게 한다. 일 실시예에서, 햅틱 신호는 이하의 햅틱 파라미터들 중 하나 이상을 포함할 수 있다: 액츄에이터의 진동의 진폭, 액츄에이터의 진동의 지속 기간, 또는 액츄에이터의 진동의 주파수. 소정 실시예들에 따르면, 하나 이상의 햅틱 파라미터는 하나 이상의 오디오 버퍼의 분석된 오디오 특성들에 기초하여 결정될 수 있다. 오디오 특성들은 오디오 데이터 프레임의 진폭, 오디오 데이터 프레임의 주파수, 또는 오디오 데이터 프레임의 지속 기간 중 적어도 하나를 포함할 수 있다. 예를 들어, 오디오 버퍼의 오디오 프레임이 저주파수를 가지면, 햅틱 신호는 낮은 값을 갖는 햅틱 주파수 파라미터를 사용하여 생성될 수 있다. 마찬가지로, 오디오 버퍼의 오디오 프레임이 고주파수를 가지면, 햅틱 신호는 높은 값을 갖는 햅틱 주파수 파라미터를 사용하여 생성될 수 있다. 다른 예로서, 오디오 버퍼의 오디오 프레임이 저진폭을 가지면, 햅틱 신호는 낮은 값을 갖는 햅틱 진폭 파라미터를 사용하여 생성될 수 있다. 마찬가지로, 오디오 버퍼의 오디오 프레임이 고진폭을 가지면, 햅틱 신호는 높은 값의 햅틱 진폭 파라미터를 사용하여 생성될 수 있다. 일부 실시예들에서, 햅틱 신호의 하나 이상의 햅틱 파라미터는 햅틱 신호가 맵핑될 수 있는 액츄에이터의 하나 이상의 특성에 기초하여 결정될 수 있다. 예를 들어, 햅틱 신호가 고주파수를 갖는 햅틱 효과를 생성하도록 구성된 액츄에이터에 맵핑될 수 있으며, 햅틱 신호는 높은 값을 갖는 햅틱 주파수 파라미터를 사용하여 생성될 수 있다. 다른 실시예들에서, 햅틱 신호는 파형을 포함할 수 있으며, 파형은 PCM 포맷과 같은 포맷 내의 하나 이상의 신호 값 세트이다.
소정 실시예들에서, 하나 이상의 생성된 햅틱 신호는 동일한 햅틱 신호이다. 더 구체적으로, 이 실시예들에서, 하나 이상의 생성된 햅틱 신호는 동일한 햅틱 파라미터들(즉, 동일한 값을 갖는햅틱 파라미터들)을 포함한다. 다른 실시예들에서, 하나 이상의 생성된 햅틱 신호 각각은 상이한 햅틱 신호들이다. 더 구체적으로, 이 실시예들에서, 각각의 생성된 햅틱 신호는 상이한 햅틱 파라미터들(즉, 상이한 값들을 갖는 햅틱 파라미터들)을 포함한다. 또 다른 실시예들에서, 하나 이상의 생성된 햅틱 신호의 일부는 동일한 신호이고, 일부는 상이한 햅틱 신호들이다.
햅틱 변환 모듈(230)은 또한 하나 이상의 생성된 햅틱 신호를 복수의 액츄에이터에 맵핑하도록 구성된다. 실시예에 따르면, 각각의 생성된 햅틱 신호에 대해, 하나 이상의 액츄에이터가 복수의 액츄에이터로부터 식별되고, 각각의 생성된 햅틱 신호는 식별된 하나 이상의 액츄에이터에 맵핑된다. 예를 들어, 저주파수를 갖는 오디오 버퍼의 오디오 프레임을 위해 생성되는 햅틱 신호는 제1 액츄에이터(예를 들어, ERM 액츄에이터)에 맵핑될 수 있는 한편, 고주파수를 갖는 오디오 버퍼의 오디오 프레임을 위해 생성되는 햅틱 신호는 제2 액츄에이터(예를 들어, 압전 액츄에이터)에 맵핑될 수 있다. 소정 실시예들에서, 맵핑은 시스템 정의되고(system-defined), 하나 이상의 오디오 버퍼의 분석된 오디오 특성들의 하나 이상의 오디오 특성, 또는 각각 식별된 액츄에이터의 상기 하나 이상의 오디오 특성 및 하나 이상의 특성의 조합에 기초할 수 있다. 다른 실시예들에서, 맵핑은 사용자 정의되며(user-defined), 햅틱 변환 시스템의 사용자는 오디오 신호의 하나 이상의 오디오 특성을 하나 이상의 액츄에이터 타입, 또는 하나 이상의 특정 액츄에이터에 맵핑할 수 있다.
햅틱 변환 시스템은 또한 햅틱 효과 플레이어 모듈들(240 및 260), 및 액츄에이터들(250 및 270)을 포함한다. 당업자는 이것이 단지 예시적 실시예이고, 대안적인 실시예들에서, 햅틱 변환 시스템이 임의의 수의 햅틱 효과 플레이어 모듈들 및 임의의 수의 액츄에이터들을 포함할 수 있는 것을 용이하게 인식할 것이다.
햅틱 효과 플레이어 모듈들(240 및 260)은 장치(이동 장치와 같은) 내에 내장되고, 하나 이상의 햅틱 신호를 하나 이상의 액츄에이터에 송신함으로써 하나 이상의 햅틱 효과를 하나 이상의 액츄에이터에서 재생하도록 구성되는 모듈의 예들이다. 예시된 실시예에서, 햅틱 효과 플레이어 모듈들(240 및 260)은 하나 이상의 햅틱 효과를 단일 액츄에이터에서 재생하도록 각각 구성된다. 그러나, 이것은 단지 예시적 실시예이고, 대안적인 실시예들에서, 햅틱 효과 플레이어 모듈은 하나 이상의 햅틱 효과를 복수의 액츄에이터에서 재생하도록 구성될 수 있다. 일 실시예에서, 햅틱 효과 플레이어 모듈(햅틱 효과 플레이어 모듈들(240 및 260)과 같은)은 Immersion Corporation에 의한 TouchSense® 플레이어 모듈이다.
액츄에이터들(250 및 270)은 하나 이상의 햅틱 신호를 수신하도록 구성되고, 하나 이상의 햅틱 효과를 출력하도록 구성된 액츄에이터의 예들이다. 소정 실시예들에서, 액츄에이터(액츄에이터들(250 및 270)과 같은)는 단일 제어 파라미터(진폭 파라미터, 주파수 파라미터, 또는 지속 기간 파라미터와 같은)를 수신하도록 구성된 액츄에이터이며, 단일 제어 파라미터는 액츄에이터를 통해 재생될 때 주기적 효과를 제어하는데 사용된다. 다른 실시예들에서, 액츄에이터(액츄에이터들(250 및 270)과 같은)는 파형을 수신하도록 구성된 액츄에이터이며, 파형은 액츄에이터를 통해 재생될 때 파형 효과를 제어하는데 사용된다. 액츄에이터는 예를 들어 전기 모터, 전자기 액츄에이터, 보이스 코일, 형상 기억 합금, 전기 활성 폴리머, 솔레노이드, ERM, LRA, 압전 액츄에이터, 고대역폭 액츄에이터, 또는 EAP 액츄에이터일 수 있다. 더욱이, 소정 실시예들에서, 액츄에이터(250)는 제1 타입의 액츄에이터일 수 있고, 액츄에이터(270)는 제2 타입의 액츄에이터일 수 있다. 햅틱 변환 시스템이 복수의 액츄에이터를 포함하는 대안적인 실시예들에서, 2개보다 많은 액츄에이터들이 있는 경우에, 복수의 액츄에이터의 각 액츄에이터는 각각 상이한 액츄에이터 타입일 수 있다.
실시예에 따르면, 하나 이상의 생성된 햅틱 신호의 각각의 생성된 햅틱 신호는 햅틱 효과 플레이어 모듈에 송신된다. 예시된 실시예에서, 제1 생성된 햅틱 신호는 햅틱 효과 플레이어 모듈(240)에 송신되고, 제2 생성된 햅틱 신호는 햅틱 효과 플레이어 모듈(260)에 송신된다. 그 다음, 햅틱 효과 플레이어 모듈은 생성된 햅틱 신호를 각 액츄에이터에 송신하며, 생성된 햅틱 신호는 액츄에이터가 하나 이상의 햅틱 효과를 재생하게 한다. 예시된 실시예에서, 햅틱 효과 플레이어 모듈(240)은 제1 생성된 햅틱 신호를 액츄에이터(250)에 송신하고, 액츄에이터(250)가 하나 이상의 햅틱 효과를 재생하게 하며, 햅틱 효과 플레이어 모듈(260)은 제2 생성된 햅틱 신호를 액츄에이터(270)에 송신하고, 액츄에이터(270)가 하나 이상의 햅틱 효과를 재생하게 한다.
하나 이상의 오디오 버퍼가 구조 기반 오디오 버퍼들 또는 주파수 영역 오디오 버퍼들인 실시예들에서, 하나 이상의 오디오 버퍼의 하나 이상의 데이터 프레임들의 각 오디오 데이터 프레임은 오디오 데이터 프레임 내에 하나 이상의 채널을 포함할 수 있다. 이 실시예들에서, 햅틱 변환 모듈(230)은 채널 분석을 수행할 수 있으며, 오디오 데이터 프레임의 각 채널이 분석되고 햅틱 신호가 각 채널에 대해 생성된다. 이 실시예들에서, 각각의 생성된 햅틱 신호는 그의 자체의 햅틱 효과 플레이어 모듈(햅틱 효과 플레이어 모듈들(240 및 260)과 같은)에 송신되고, 그 후에 그의 자체의 액츄에이터들(액츄에이터들(250 및 270)와 같은)에 송신될 수 있다. 예를 들어, 하나 이상의 오디오 버퍼가 MIDI 오디오 버퍼들인 경우에, 각 MIDI 오디오 데이터 프레임의 각 채널은 상이한 악기를 나타낼 수 있다. 이 예에서, 햅틱 신호는 각 악기에 대해 생성될 수 있고, 별개 액츄에이터에 송신되어 각 악기에 대응하는 하나 이상의 햅틱 효과를 재생할 수 있다.
소정 실시예들에서, 하나 이상의 오디오 버퍼의 분석된 오디오 특성들에 기초하여 하나 이상의 햅틱 신호를 생성하는 것보다는 오히려, 햅틱 변환 모듈(230)은 햅틱 변환 모듈(230) 내에 저장될 수 있는 UHL(universal haptic layer) 라이브러리(도 2에 도시되지 않음) 내에 포함된 하나 이상의 미리 정의된 햅틱 신호를 선택할 수 있고, 햅틱 변환 모듈(230)은 UHL 계층이 하나 이상의 미리 정의된 햅틱 신호를 햅틱 효과 플레이어 모듈(햅틱 효과 플레이어 모듈들(240 및 260)과 같은)에 송신하게 할 수 있으며, 각 미리 정의된 햅틱 신호는 그 후에 그의 자체의 액츄에이터(액츄에이터들(250 및 270)과 같은)에 송신된다. 이 실시예들에서, 햅틱 변환 모듈(230)이 햅틱 신호의 하나 이상의 햅틱 파라미터를 생성하는 것보다는 오히려, 하나 이상의 햅틱 파라미터는 각각 미리 정의된 햅틱 신호 내의 미리 정의되고, 햅틱 변환 모듈(230)은 하나 이상의 오디오 버퍼의 분석된 오디오 특성들에 기초하여 각각 미리 정의된 햅틱 신호를 선택한다.
소정 실시예들에서, 전술된 바와 같이, 햅틱 변환 모듈(230)은 하나 이상의 햅틱 신호를 생성하고, 각 햅틱 신호를 액츄에이터에(햅틱 효과 플레이어 모듈을 통해) 송신할 수 있으며, 햅틱 신호는 하나 이상의 햅틱 효과를 액츄에이터에서 재생하기 위해 사용된다. 그러나, 대안적인 실시예들에서, 햅틱 변환 모듈(230)은 우선 단일 햅틱 신호를 생성하고, 단일 햅틱 신호를 복수의 햅틱 신호 성분으로 분할하고, 각 햅틱 신호 성분을 액츄에이터에(햅틱 효과 플레이어 모듈을 통해) 송신할 수 있으며, 햅틱 신호 성분은 하나 이상의 햅틱 효과를 액츄에이터에서 재생하기 위해 사용된다.
소정 실시예들에서, 햅틱 변환 모듈(230)은 또한 하나 이상의 정의를 저장하도록 구성되며, 각 정의는 오디오 신호의 분석과 관계없이 1차 햅틱 신호가 생성되어 1차 액츄에이터에 송신될 때, 2차 햅틱 신호가 또한 생성되어 2차 액츄에이터에 송신되는 것을 나타낸다. 2차 액츄에이터는 1차 액츄에이터에서 재생되는 하나 이상의 햅틱 효과를 "보완" 또는 "완성"하는 하나 이상의 햅틱 효과를 재생하기 위해 사용될 수 있다. 소정 실시예들에 따르면, 하나 이상의 정의의 각 정의는 조건(condition) 및 문장(statement)을 포함하는 조건문이며, 조건은 1차 액츄에이터에 송신될 1차 햅틱 신호의 생성의 발생이고, 문장은 2차 액츄에이터에 송신될 2차 햅틱 신호를 생성하는 명령어이다. 이 실시예들에서, 햅틱 변환 모듈(230)은 또한 1차 햅틱 신호 상에 후처리를 수행하도록 구성되며, 후처리는 2차 햅틱 신호를 생성하는 것 및 햅틱 신호를 2차 액츄에이터에(햅틱 효과 플레이어 모듈을 통해) 송신하는 것을 포함한다.
예를 들어, 오디오 신호의 분석에 기초하여, 햅틱 변환 모듈(230)은 제1 햅틱 신호를 생성할 수 있고 햅틱 신호를 ERM 액츄에이터에 송신할 수 있으며, 제1 햅틱 신호는 ERM 액츄에이터에서 재생되고, 제1 햅틱 효과를 생성한다. 게다가, 오디오 신호의 분석에 관계없이, 햅틱 변환 모듈(230)은 정의의 조건을 평가할 수 있고, ERM 액츄에이터를 위한 제1 햅틱 신호의 생성에 기초하여, 정의의 문장이 실행될 필요가 있는 것을 결정할 수 있다. 문장은 제2 햅틱 신호를 생성하고 제2 햅틱 신호를 압전 액츄에이터에 송신하기 위해 명령어를 포함할 수 있다. 정의의 문장에 기초하여, 햅틱 변환 모듈(230)은 제2 햅틱 신호를 생성하고 제2 햅틱 신호를 압전 액츄에이터에 송신할 수 있으며, 제2 햅틱 신호는 압전 액츄에이터에서 재생되고, 제2 햅틱 효과를 생성한다. 이 예에 따르면, 압전 액츄에이터에 의해 출력되는 제2 햅틱 효과는 ERM 액츄에이터에 의해 출력되는 제1 햅틱 효과를 "보완" 또는 "완성"하기 위해 사용될 수 있다. 따라서, 햅틱 변환 모듈(230) 내에 저장될 수 있는 하나 이상의 정의는 "테마(theme)" 출력을 생성하기 위해 하나 이상의 햅틱 효과를 커스터마이즈하는데 사용될 수 있다.
소정 실시예들에서, 2차 햅틱 효과들은 1차 햅틱 효과들이 1차 액츄에이터에서 재생된 후에 2차 액츄에이터에서 재생된다. 다른 실시예들에서, 2차 햅틱 효과들은 1차 햅틱 효과들이 1차 액츄에이터에서 재생되기 전에 2차 액츄에이터에서 재생된다. 소정 실시예들에서, 2차 액츄에이터는 1차 액츄에이터와 다른 액츄에이터 타입이다.
도 3은 본 발명의 일 실시예에 따른 오디오 신호를 분석하고 단일 오디오 특성의 분석을 사용하여 하나 이상의 햅틱 신호를 동일한 시간에 2개 이상의 액츄에이터들에 출력하는 햅틱 변환 시스템의 예를 예시한다. 예시된 실시예에 따르면, 햅틱 변환 시스템은 2개의 액츄에이터를 포함한다: 4mm ERM 액츄에이터(즉, "액츄에이터 1") 및 8mm ERM 액츄에이터(즉, "액츄에이터 2"). 오디오 신호(300)는 햅틱 변환 시스템에 의해 분석되고, 햅틱 변환 시스템은 도 3 내의 영역들(310 및 320)에 의해 지시된 바와 같은 특정 진폭 피크들을 갖는 오디오 신호(300)의 성분들을 식별한다. 오디오 신호(300)의 분석에 기초하여, 햅틱 변환 시스템은 액츄에이터 1에 송신되고, 액츄에이터 1로 하여금 100%의 진폭, 10Hz의 주파수, 및 100ms의 지속 기간에 있는 하나 이상의 햅틱 효과를 재생하게 하는 햅틱 신호를 생성한다. 더욱이, 오디오 신호(300)의 분석에 또한 기초하여, 햅틱 변환 시스템은 액츄에이터 2에 송신되고, 액츄에이터 2로 하여금 50%의 진폭, 20Hz의 주파수, 및 25ms의 지속 기간에 있는 하나 이상의 햅틱 효과를 재생하게 하는 햅틱 신호를 생성한다. 예시된 실시예에서, 액츄에이터 1 및 액츄에이터 2 둘 다는 그의 햅틱 효과들을 동일한 시간에 재생한다. 따라서, 도 3의 예시된 실시예는 햅틱 변환 시스템이 하나 이상의 햅틱 효과로 인하여 동일한 시간에 2개의 상이한 타입의 액츄에이터들에서 재생되게 하는 하나 이상의 햅틱 신호를 생성할 수 있는 것을 예시하며, 2개의 액츄에이터는 상이한 진폭들, 상이한 주파수들, 및 상이한 지속 기간들을 갖는다.
도 4는 본 발명의 일 실시예에 따른 오디오 신호를 분석하고 단일 오디오 특성의 분석을 사용하여 하나 이상의 햅틱 신호를 상이한 시간들에 2개 이상의 액츄에이터들에 출력하는 햅틱 변환 시스템의 예를 예시한다. 예시된 실시예에 따르면, 햅틱 변환 시스템은 2개의 액츄에이터: ERM 액츄에이터(즉, "액츄에이터 1") 및 압전 액츄에이터(즉, "액츄에이터 2")를 포함하고, 2개의 액츄에이터는 도 3에 예시된 예에서의 액츄에이터들과 다르다. 오디오 신호(400)는 햅틱 변환 시스템에 의해 분석되고, 햅틱 변환 시스템은 도 4 내의 영역들(410 및 420)에 의해 지시된 바와 같은 특정 진폭 피크들을 갖는 오디오 신호(400)의 성분들을 식별한다. 오디오 신호(400)의 분석에 기초하여, 햅틱 변환 시스템은 액츄에이터 1에 송신되고, 액츄에이터 1로 하여금 100%의 진폭, 10Hz의 주파수, 및 100ms의 지속 기간에 있는 하나 이상의 햅틱 효과를 재생하게 하는 햅틱 신호를 생성한다. 더욱이, 오디오 신호(400)의 분석에 또한 기초하여, 햅틱 변환 시스템은 액츄에이터 2에 송신되고, 액츄에이터 2로 하여금 50%의 진폭, 200Hz의 주파수, 및 10ms의 지속 기간에 있는 하나 이상의 햅틱 효과를 재생하게 하는 햅틱 신호를 생성한다. 더욱이, 액츄에이터 2에 의해 재생되는 하나 이상의 햅틱 효과는 액츄에이터 1에 의해 재생되는 하나 이상의 햅틱 효과보다 90 ms 늦게 재생된다. 소정 실시예들에서, 액츄에이터 1 및 2의 시차제 재생(staggered playback)은 액츄에이터 1 및 2의 재생 속도들의 차이를 보상할 수 있다. 따라서, 이 실시예들에서, 사용자는 각 액츄에이터의 하나 이상의 효과가 상이한 시간들에 재생될지라도 동기화된 재생을 경험할 수 있다. 따라서, 도 4의 예시된 실시예는 햅틱 변환 시스템이 하나 이상의 햅틱 효과로 하여금 2개의 상이한 시간에 2개의 상이한 타입의 액츄에이터에서 재생되게 하는 하나 이상의 햅틱 신호를 생성할 수 있는 것을 예시하며, 2개의 액츄에이터는 상이한 진폭들, 상이한 주파수들, 및 상이한 지속 기간들을 갖는다.
도 5는 본 발명의 일 실시예에 따른 오디오 신호를 분석하고 다수의 오디오 특성들의 분석을 사용하여 이상의 햅틱 신호들을 동일한 시간 또는 상이한 시간들에 2개 이상의 액츄에이터들에 출력하는 햅틱 변환 시스템의 예를 예시한다. 예시된 실시예에 따르면, 햅틱 변환 시스템은 2개의 액츄에이터를 포함한다: ERM 액츄에이터(즉, "액츄에이터 1") 및 압전 액츄에이터(즉, "액츄에이터 2"). 오디오 신호(500)는 햅틱 변환 시스템에 의해 분석되고, 햅틱 변환 시스템은 (a) 도 5 내의 영역들(510 및 520)에 의해 지시된 바와 같은 특정 진폭 피크들을 갖는 오디오 신호(500)의 성분들; (b) 영역들(530)에 의해 지시된 바와 같은 특정 주파수들을 갖는 오디오 신호(500)의 성분들; 및 (c) 영역들(540)에 의해 지시된 바와 같은 특정 지속 기간들을 갖는 오디오 신호(500)의 성분들을 분석한다.
오디오 신호(500)(특히, 영역들(540)에 의해 지시된 바와 같은 특정 지속 기간들을 갖는 오디오 신호(500)의 성분들)의 분석에 기초하여, 햅틱 변환 시스템은 액츄에이터 1에 송신되고, 액츄에이터 1로 하여금 100%의 진폭, 10Hz의 주파수, 및 100ms의 지속 기간에 있는 하나 이상의 햅틱 효과를 재생하게 하는 햅틱 신호를 생성한다. 더욱이, 오디오 신호(500)(특히, 영역들(530)에 의해 지시된 바와 같은 특정 주파수들을 갖는 오디오 신호(500)의 성분들)의 분석에도 기초하여, 햅틱 변환 시스템은 액츄에이터 2에 송신되고, 액츄에이터 2로 하여금 50%의 진폭, 200Hz의 주파수, 및 10ms의 지속 기간에 있는 하나 이상의 햅틱 효과를 재생하게 하는 햅틱 신호를 생성하며, 액츄에이터 2에 의해 재생되는 하나 이상의 햅틱 효과는 액츄에이터 1에 의해 재생되는 하나 이상의 햅틱 효과보다 90 ms 늦게 재생된다. 소정 실시예들에서, 액츄에이터 1 및 2의 시차제 재생은 액츄에이터 1 및 2의 재생 속도들의 차이를 보상할 수 있다. 따라서, 이 실시예들에서, 사용자는 각 액츄에이터의 하나 이상의 효과가 상이한 시간들에 재생될지라도 동기화된 재생을 경험할 수 있다.
더욱이, 오디오 신호(500)(특히, 도 5 내의 영역들(510 및 520)에 의해 지시된 바와 같은 특정 진폭 피크들을 갖는 오디오 신호(500)의 성분)의 분석에도 기초하여, 햅틱 변환 시스템은 액츄에이터 1 및 2(또는 대안적인 실시예들에서, 도 5에 도시되지 않은 제3 액츄에이터) 둘 다에 송신되는 햅틱 신호를 생성하며, 햅틱 신호는 액츄에이터 1 및 2(또는 대안적인 실시예들에서의 제3 액츄에이터) 둘 다가 하나 이상의 햅틱 효과를 생성하게 한다. 특정 진폭 피크들을 갖는 오디오 신호(500)의 성분들에 기초하는 하나 이상의 햅틱 효과는 (a) 특정 지속 기간들을 갖는 오디오 신호(500)의 성분들에 기초하는 하나 이상의 햅틱 효과; 또는 (b) 특정 주파수들을 갖는 오디오 신호(500)의 성분들에 기초하는 하나 이상의 햅틱 효과로서 동일한 햅틱 파라미터들(예를 들어, 진폭, 주파수, 및 지속 기간)에 기초할 수 있다. 대안적으로, 특정 진폭 피크들을 갖는 오디오 신호(500)의 성분들에 기초하는 하나 이상의 햅틱 효과는 상이한 햅틱 파라미터들에 기초할 수 있다. 더욱이, 특정 진폭 피크들을 갖는 오디오 신호(500)의 성분들에 기초하는 하나 이상의 햅틱 효과는 (a) 특정 지속 기간들을 갖는 오디오 신호(500)의 성분들에 기초하는 하나 이상의 햅틱 효과; 또는 (b) 특정 주파수들을 갖는 오디오 신호(500)의 성분들에 기초하는 하나 이상의 햅틱 효과로서 동일한 시간에 재생될 수 있다. 대안적으로, 특정 진폭 피크들을 갖는 오디오 신호(500)의 성분들에 기초하는 하나 이상의 햅틱 효과는 상이한 시간에 재생될 수 있다.
따라서, 도 5의 예시된 실시예는 햅틱 변환 시스템이 하나 이상의 햅틱 효과로 하여금 2개의 상이한 시간에 2개 이상의 상이한 타입의 액츄에이터에서 재생되게 하는 하나 이상의 햅틱 신호를 발생시킬 수 있는 것을 예시하며, 2개 이상의 액츄에이터는 상이한 진폭들, 상이한 주파수들, 및 상이한 지속 기간들을 갖는다.
도 6은 본 발명의 일 실시예에 따른 멀티 채널 오디오 신호를 분석하고 하나 이상의 오디오 특성의 분석을 사용하여 하나 이상의 햅틱 신호를 동일한 시간 또는 상이한 시간들에 2개 이상의 액츄에이터들에 출력하는 햅틱 변환 시스템의 예를 예시한다. 오디오 신호는 좌측 채널(600) 및 우측 채널(610)을 포함하며, 오디오 신호는 좌측 채널(600) 내에 포함된 오디오 신호의 일부(즉, 오디오 신호(601)), 및 우측 채널(610) 내에 포함된 오디오 신호의 일부(즉, 오디오 신호 611)를 포함한다. 도 6에 예시된 오디오 신호 내의 채널들의 수는 단지 예시적 수이고, 대안적인 실시예들에서, 오디오 신호는 임의의 수의 채널들을 가질 수 있다. 오디오 신호(601)는 햅틱 변환 시스템에 의해 분석되고, 햅틱 변환 시스템은 (a) 도 6 내의 영역들(602)에 의해 지시된 바와 같은 특정 진폭 피크들을 갖는 오디오 신호(601)의 성분들; (b) 영역들(603)에 의해 지시된 바와 같은 특정 주파수들을 갖는 오디오 신호(601)의 성분들; 및 (c) 영역들(604)에 의해 지시된 바와 같은 특정 지속 기간들을 갖는 오디오 신호(601)의 성분들을 식별한다. 유사하게, 오디오 신호(602)는 햅틱 변환 시스템에 의해 분석되고, 햅틱 변환 시스템은 (a) 도 6 내의 영역들(612)에 의해 지시된 바와 같은 특정 진폭 피크들을 갖는 오디오 신호(602)의 성분들; 및 (b) 영역들(613)에 의해 지시된 바와 같은 특정 주파수들을 갖는 오디오 신호(602)의 성분들을 식별한다.
오디오 신호들(601 및 602)의 분석에 기초하여, 햅틱 변환 시스템은 하나 이상의 액츄에이터에 송신되는 하나 이상의 햅틱 신호를 생성하며, 하나 이상의 햅틱 신호는 하나 이상의 액츄에이터가 하나 이상의 햅틱 효과를 생성하게 한다. 소정 실시예들에서, 제1 하나 이상의 햅틱 신호 세트는 오디오 신호(601)의 분석에 기초하여 생성되고, 제1 하나 이상의 액츄에이터 세트에 송신되며, 제2 하나 이상의 햅틱 신호 세트는 오디오 신호(602)에 기초하여 생성되고, 제2 하나 이상의 액츄에이터 세트에 송신된다. 다른 실시예들에서, 제1 하나 이상의 햅틱 신호 세트는 오디오 신호들(601 및 602)의 조합된 분석에 기초하여 생성되고, 제1 하나 이상의 액츄에이터 세트에 송신되며, 제2 하나 이상의 햅틱 신호 세트는 또한 오디오 신호들(601 및 602)의 조합된 분석에 기초하여 생성되고, 제2 하나 이상의 액츄에이터 세트에 송신된다. 또 다른 실시예들에서, 제1 하나 이상의 햅틱 신호 세트는 오디오 신호(601)의 분석에 기초하여 생성되고, 제2 하나 이상의 햅틱 신호 세트는 오디오 신호(602)의 기초하여 생성되며, 제1 및 제2 햅틱 신호 세트는 조합된 하나 이상의 햅틱 신호 세트로 조합되고, 조합된 하나 이상의 햅틱 신호 세트는 하나 이상의 액츄에이터 세트에 송신된다. 또 다른 실시예들에서, 오디오 신호들(601 및 602)은 조합된 오디오 신호로 조합될 수 있고, 조합된 오디오 신호 상에서 분석이 수행되어 하나 이상의 액츄에이터에 송신되는 하나 이상의 햅틱 신호를 생성할 수 있다.
도 7a는 본 발명의 일 실시예에 따른 멀티 채널 구조 기반 오디오 파일을 분석하고 다수의 오디오 특성들의 분석을 사용하여 하나 이상의 햅틱 신호를 동일한 시간 또는 상이한 시간들에 2개 이상의 액츄에이터들에 출력하는 햅틱 변환 시스템의 예시적 사용자 인터페이스(710)를 예시한다. 사용자 인터페이스(710)는 햅틱 변환 시스템에 대한 멀티 채널 구조 기반 오디오 파일 변환 옵션 메뉴를 디스플레이한다. 소정 실시예들에서, 멀티 채널 구조 기반 오디오 파일은 MIDI 오디오 파일일 수 있다. 사용자 인터페이스(710)는 각 액츄에이터에 대한 하나 이상의 햅틱 효과를 위한 하나 이상의 햅틱 특성들을 정의하는 것과 함께 다수의 액츄에이터 타입들을 위한 하나 이상의 햅틱 효과를 정의하는 옵션들을 포함할 수 있다. 예시된 실시예에서, 멀티 채널 구조 기반 오디오 파일은 다수의 채널들(즉, 채널들, 1, 3, 5, 8, 및 10)을 포함한다. 도 7a에 예시된 멀티 채널 구조 기반 오디오 파일 내의 채널들의 수는 단지 예시적 수이고, 대안적인 실시예들에서, 멀티 채널 구조 기반 오디오 파일은 임의의 수의 채널들을 가질 수 있다. 햅틱 변환 시스템은 각 채널을 개별적으로 분석할 수 있다. 예시된 실시예들에서, 채널 세트(711)는 개별적으로 분석될 수 있는 4개의 채널(즉, 채널들 1, 3, 5, 및 8)을 나타낸다. 햅틱 변환 시스템은 채널을 복수의 채널 컴포넌트로 분리하고 채널 컴포넌트들을 개별적으로 분석할 수도 있다. 예시된 실시예들에서, 채널 컴포넌트 세트(712)는 복수의 채널 컴포넌트로 분리된 채널(즉, 채널 10)을 나타내며, 각 채널 컴포넌트는 개별적으로 분석될 수 있다.
그 후에, 멀티 채널 구조 기반 오디오 파일의 각 채널(또는 채널 컴포넌트)은 햅틱 변환 시스템에 의해 분석되고, 햅틱 변환 시스템은 (a) 특정 진폭 피크들을 갖는 각 채널/채널 컴포넌트의 성분들; (b) 특정 주파수들을 갖는 각 채널/채널 컴포넌트의 성분들; 및 (c) 특정 지속 기간들을 갖는 각 채널/채널 컴포넌트의 성분들을 식별한다. 채널 세트(711) 및 채널 컴포넌트 세트(712)의 분석에 기초하여, 햅틱 변환 시스템은 하나 이상의 액츄에이터에 송신되는 하나 이상의 햅틱 신호를 생성하며, 하나 이상의 햅틱 신호는 하나 이상의 액츄에이터가 하나 이상의 햅틱 효과를 생성하게 한다.
도 7b는 본 발명의 일 실시예에 따른 멀티 채널 구조 기반 오디오 파일을 분석하고 다수의 오디오 특성들의 분석을 사용하여 하나 이상의 햅틱 신호를 동일한 시간 또는 상이한 시간들에 2개 이상의 액츄에이터들에 출력하는 햅틱 변환 시스템의 다른 예시적 사용자 인터페이스(720)를 예시한다. 사용자 인터페이스(720)는 도 7a에 관하여 이전에 설명된 멀티 채널 구조 기반 오디오 파일의 분석에 기초하여 액츄에이터들에 의해 생성되는 하나 이상의 햅틱 효과의 그래픽 표현을 디스플레이한다. 도 7b에서 알 수 있는 바와 같이, 멀티 채널 구조 기반 오디오 파일의 각 채널(또는 채널 컴포넌트)을 위한 각 액츄에이터에서 생성되는 하나 이상의 햅틱 효과는 상이할 수 있다. 소정 실시예들에서, 멀티 채널 구조 기반 오디오 파일은 MIDI 오디오 파일일 수 있다.
도 8은 본 발명의 일 실시예에 따른 햅틱 변환 모듈(도 1의 햅틱 변환 모듈(16)과 같은)의 기능성의 흐름도를 예시한다. 일 실시예에서, 도 8의 기능성은 메모리 또는 다른 컴퓨터 판독가능 또는 유형 매체에 저장되고, 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예들에서, 기능성은 하드웨어(예를 들어, ASIC(application specific integrated circuit), PGA(programmable gate array), FPGA(field programmable gate array) 등의 사용을 통해), 또는 하드웨어 및 소프트웨어의 임의의 조합에 의해 수행될 수 있다. 더욱이, 대안적인 실시예들에서, 기능성은 아날로그 컴포넌트들을 사용하는 하드웨어에 의해 수행될 수 있다.
흐름이 개시되어 단계(810)로 진행한다. 단계(810)에서, 오디오 신호가 분석된다. 오디오 신호는 하나 이상의 오디오 버퍼를 포함할 수 있으며, 각 오디오 버퍼는 하나 이상의 오디오 데이터 프레임을 포함한다. 일부 실시예들에서, 하나 이상의 오디오 버퍼는 디지털 오디오 버퍼들이다. 다른 실시예들에서, 하나 이상의 오디오 버퍼는 구조 기반 오디오 버퍼들이다. 다른 실시예들에서, 하나 이상의 오디오 버퍼는 주파수 영역 버퍼들이다. 오디오 신호의 분석의 일부로서, 하나 이상의 오디오 데이터 프레임의 각 오디오 데이터 프레임의 하나 이상의 오디오 특성이 분석될 수 있다. 하나 이상의 오디오 특성은 오디오 데이터 프레임의 진폭, 오디오 데이터 프레임의 주파수, 또는 오디오 데이터 프레임의 지속 기간 중 적어도 하나를 포함할 수 있다. 흐름은 단계(820)로 진행한다.
단계(820)에서, 복수의 햅틱 신호는 오디오 신호의 하나 이상의 오디오 특성에 기초하여 생성된다. 복수의 햅틱 신호 중 각 햅틱 신호는 하나 이상의 햅틱 파라미터를 포함할 수 있다. 이 실시예들에서, 하나 이상의 햅틱 파라미터는 진폭 파라미터, 지속 기간 파라미터, 또는 주파수 파라미터 중 적어도 하나를 포함한다. 게다가, 오디오 신호의 하나 이상의 오디오 특성은 오디오 데이터 프레임의 진폭, 오디오 데이터 프레임의 주파수, 또는 오디오 데이터 프레임의 지속 기간 중 적어도 하나를 포함할 수 있다. 소정 실시예들에서, 하나 이상의 햅틱 파라미터는 오디오 신호의 하나 이상의 오디오 특성에 기초하여 결정된다.
복수의 햅틱 신호는 모두 동일한 햅틱 신호일 수 있다. 대안적으로, 복수의 햅틱 신호는 모두 상이한 햅틱 신호들일 수 있다. 일부 실시예들에서, 복수의 햅틱 신호의 일부는 동일한 햅틱 신호이고, 다른 햅틱 신호들은 상이한 햅틱 신호들이다. 소정 실시예들에서, 적어도 하나의 햅틱 신호는 2개의 햅틱 신호 성분들로 더 분할된다. 다른 실시예들에서, 적어도 2개의 햅틱 신호들은 조합된 햅틱 신호로 조합된다. 소정 실시예들에서, 하나 이상의 미리 정의된 햅틱 신호는 오디오 신호의 하나 이상의 오디오 특성에 기초하여 범용 햅틱 계층 라이브러리로부터 나올 수 있다. 흐름은 단계(830)로 진행한다.
단계(830)에서, 복수의 햅틱 신호는 복수의 액츄에이터에 맵핑되는데 반해, 각 햅틱 신호는 대응하는 액츄에이터에 맵핑된다. 소정 실시예들에서, 맵핑은 시스템 정의되며, 맵핑은 분석된 오디오 신호의 하나 이상의 오디오 특성, 또는 복수의 액츄에이터의 각 액츄에이터의 하나 이상의 오디오 특성 및 하나 이상의 특성의 조합에 기초한다. 다른 실시예들에서, 맵핑은 사용자 정의된다. 햅틱 신호 성분들, 조합된 햅틱 신호들, 미리 정의된 햅틱 신호들, 또는 그 안에서의 조합이 생성된 실시예들에서, 이 햅틱 신호들은 또한 그의 각 대응하는 액츄에이터들에 맵핑된다. 흐름은 단계(840)로 진행한다.
단계(840)에서, 복수의 햅틱 신호 중 각 햅틱 신호는 해당 맵핑된 액츄에이터에 송신된다. 햅틱 신호 성분들, 조합된 햅틱 신호들, 미리 정의된 햅틱 신호들, 또는 그 안에서의 조합이 또한 생성된 실시예들에서, 이 햅틱 신호들은 또한 그의 각 맵핑된 액츄에이터들에 송신된다. 흐름은 단계(850)로 진행한다.
단계(850)에서, 복수의 햅틱 신호 중 각 햅틱 신호는 하나 이상의 햅틱 효과의 햅틱 효과를 생성하기 위해 해당 맵핑된 액츄에이터에서 재생된다. 소정 실시예들에서, 적어도 하나의 2차 햅틱 신호가 또한 저장된 정의에 기초하여 생성된다. 이 실시예들에 따르면, 정의는 조건 및 문장을 포함하는 조건문을 포함한다. 조건은 1차 액츄에이터에 송신되는 적어도 하나의 1차 햅틱 신호의 생성이고, 문장은 2차 액츄에이터에 송신되는 적어도 하나의 2차 햅틱 신호를 생성하는 명령어이다. 따라서, 하나 이상의 햅틱 신호 중 적어도 하나가 1차 햅틱 신호와 부합할 때, 조건이 트리거되고, 적어도 하나의 2차 햅틱 신호가 생성된다. 그 다음, 적어도 하나의 2차 햅틱 신호는 복수의 액츄에이터 중 하나의 액츄에이터에 맵핑되고 저장된 정의에 기초하여 액츄에이터에 송신된다. 그 다음, 흐름은 종료한다.
도 9는 본 발명의 일 실시예에 따른 장치(910)를 예시한다. 장치(910)는 터치스크린 장치일 수 있다. 장치(910)는 터치스크린을 포함하고 터치 감지일 수 있는 표면을 포함하고, 복수의 영역을 포함한다. 예시된 실시예에서, 장치(910)는 영역들(920, 930, 및 940)을 포함한다. 장치(910)의 각 영역은 상이한 타입의 액츄에이터를 포함할 수 있다. 예시된 실시예에서, 영역(920)은 액츄에이터(921)를 포함하고, 영역(930)은 액츄에이터(931)를 포함하고, 영역(940)은 액츄에이터(941)를 포함하며, 액츄에이터들(921, 931, 및 941)은 상이한 타입들의 액츄에이터들일 수 있다. 액츄에이터들(921, 931, 및 941)은 하나 이상의 오디오 효과를 각각 출력할 수 있으며, 각 오디오 효과(또는 오디오 효과 세트)는 장치(910)의 표면의 적어도 일부로부터 출력된다. 유사한 방식으로, 액츄에이터들(921, 931, 및 941)은 하나 이상의 햅틱 효과를 각각 출력할 수 있으며, 각 햅틱 효과(또는 햅틱 효과 세트)는 장치(910)의 표면의 상이한 부분으로부터 출력된다. 소정 실시예들에서, 각 햅틱 효과(또는 햅틱 효과 세트)는 상이한 햅틱 효과일 수 있다. 예를 들어, 각 햅틱 효과(또는 햅틱 효과 세트)는 상이한 주파수에 대한 것일 수 있다.
소정 실시예들에서, 각 햅틱 효과는 사용자의 손가락이 장치(910)의 표면과 상호작용하는 위치와 같은 위치에서 오디오 효과가 재생되는 결과일 수 있다. 이 실시예들에서, 액츄에이터들(921, 931, 및 941)은 오디오 효과들 및 햅틱 효과들을 동일한 시간에 각각 출력할 수 있다. 소정 실시예들에서, 출력된 햅틱 효과들은 인코딩 방식에 기초하여 생성된다. 이 실시예들에서, 이 인코딩 방식은 햅틱 효과들에 적용되는 돌비 디지털 인코딩 방식일 수 있다. 대안적인 실시예들에서, 햅틱 인코딩은 저주파수 콘텐츠를 오디오 정보에 추가하여, 햅틱 효과를 강조함으로써 오디오 인코딩의 일부로서 수행된다.
대안적인 실시예들에서, 액츄에이터들(921, 931, 및 941)에 대하여, 장치(910)는 또한 장치(910)(도 9에 도시되지 않음)의 배면 상에 위치된 하나 이상의 추가의 액츄에이터를 포함한다. 이 실시예들에서, 이 추가의 액츄에이터들은 하나 이상의 햅틱 효과를 상이한 주파수들에서 제공할 수 있는 전신(full body) 액츄에이터들일 수 있다.
따라서, 실시예에 따르면, 햅틱 변환 시스템은 분석된 오디오 신호에 기초하여 복수의 햅틱 신호를 생성하고, 각 햅틱 신호를 햅틱 신호가 맵핑되는 액츄에이터에 송신하며, 각 햅틱 신호를 해당 맵핑된 액츄에이터에서 재생하여 햅틱 효과를 생성한다. 실시예에 따르면, 다수의 액츄에이터들에 오디오 신호들의 오디오 특성들에 기초한 햅팁 신호들의 송신은 햅틱 경험의 "풍부도(richness)"를 상당히 증가시킨다. 더 구체적으로, 다수의 액츄에이터들 상에 오디오 신호들의 오디오 특성들에 기초한 햅틱 신호들의 인가는 더 완전한 햅틱 경험을 생성한다.
본 명세서를 통해 기술된 본 발명의 특징들, 구조들, 또는 특성들은 하나 이상의 실시예에서 임의의 적절한 방식으로 조합될 수 있다. 예를 들어, 본 명세서에 걸쳐 "일 실시예, "일부 실시예들", "소정 실시예", "소정 실시예들", 또는 다른 유사한 언어의 사용은 실시예와 관려하여 기술된 특정 특징, 구조, 또는 특성이 본 발명의 적어도 일 실시예에 포함될 수 있다는 사실을 지칭한다. 따라서, 본 명세서에 걸쳐 구문 "일 실시예", "일부 실시예들", "소정 실시예", "소정 실시예들", 또는 다른 유사한 언어의 출현은 반드시 모두가 동일한 그룹의 실시예를 지칭하는 것은 아니며, 기술된 특징들, 구조들, 또는 특성들은 하나 이상의 실시예에서 임의의 적절한 방식으로 조합될 수 있다.
당업자는 상기 논의된 본 발명이 상이한 순서의 단계들, 및/또는 개시된 구성들과 상이한 구성들의 요소들을 사용하여 실시될 수 있다는 것을 쉽게 이해할 것이다. 그러므로, 본 발명이 이 바람직한 실시예들에 기초하여 설명되었을지라도, 어떤 수정들, 변형들, 및 대안적인 구성들이 본 발명의 사상 및 범위 내에서 유지되면서 명확하게 된다는 것이 당업자들에게 명확할 것이다. 그러므로, 본 발명의 경계들 및 한계들을 결정하기 위해, 첨부된 청구범위가 참조되어야 한다.

Claims (15)

  1. 오디오 신호를 하나 이상의 햅틱 효과로 변환하는 컴퓨터 구현 방법으로서,
    상기 오디오 신호를 분석하는 단계;
    상기 오디오 신호의 하나 이상의 오디오 특성에 기초하여, 각각이 하나 이상의 햅틱 파라미터를 포함하는 복수의 햅틱 신호를 생성하는 단계;
    상기 복수의 햅틱 신호를 복수의 액츄에이터에 맵핑하는 단계 - 각 햅틱 신호는 대응하는 액츄에이터에 맵핑됨 -;
    각 햅틱 신호를 해당 맵핑된 액츄에이터에 송신하는 단계; 및
    각 햅틱 신호를 해당 맵핑된 액츄에이터에서 재생하여 상기 하나 이상의 햅틱 효과 중 하나의 햅틱 효과를 생성하는 단계
    를 포함하는, 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 오디오 신호의 하나 이상의 오디오 특성에 기초하여 범용 햅틱 계층 라이브러리로부터 하나 이상의 미리 정의된 햅틱 신호를 선택하는 단계;
    상기 하나 이상의 미리 정의된 햅틱 신호를 상기 복수의 액츄에이터에 맵핑하는 단계 - 각 미리 정의된 햅틱 신호는 대응하는 액츄에이터에 맵핑됨 -; 및
    각 상기 미리 정의된 햅틱 신호를 해당 맵핑된 액츄에이터에 송신하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  3. 제1항에 있어서,
    저장된 정의에 기초하여 하나 이상의 2차 햅틱 신호를 생성하는 단계 - 상기 정의는 조건(condition) 및 문장(statement)을 포함하는 조건문을 포함하고, 상기 조건은 1차 액츄에이터에 송신되는 하나 이상의 1차 햅틱 신호의 생성이며, 상기 문장은 2차 액츄에이터에 송신되는 상기 하나 이상의 2차 햅틱 신호를 생성하는 명령어임 -;
    상기 하나 이상의 2차 햅틱 신호를 상기 2차 액츄에이터에 맵핑하는 단계; 및
    상기 저장된 정의에 기초하여 각 상기 2차 햅틱 신호를 상기 2차 액츄에이터에 송신하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  4. 제1항에 있어서,
    적어도 하나의 햅틱 신호를 복수의 햅틱 신호 성분으로 분할하는 단계;
    상기 복수의 햅틱 신호 성분을 상기 복수의 액츄에이터에 맵핑하는 단계 - 각 햅틱 신호 성분은 대응하는 액츄에이터에 맵핑됨 - ; 및
    상기 복수의 햅틱 신호 성분을 해당 맵핑된 액츄에이터에 송신하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  5. 제1항에 있어서,
    상기 하나 이상의 햅틱 신호 중 적어도 2개의 신호를 조합된 햅틱 신호로 조합하는 단계;
    상기 조합된 햅틱 신호를 액츄에이터에 맵핑하는 단계; 및
    상기 조합된 햅틱 신호를 상기 액츄에이터에 송신하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  6. 제1항에 있어서, 상기 하나 이상의 햅틱 파라미터는 진폭 파라미터, 지속 기간(duration) 파라미터, 또는 주파수 파라미터 중 적어도 하나를 포함하는, 컴퓨터 구현 방법.
  7. 제1항에 있어서, 상기 하나 이상의 햅틱 파라미터는 상기 오디오 신호의 상기 하나 이상의 오디오 특성에 기초하여 결정되는, 컴퓨터 구현 방법.
  8. 제1항에 있어서, 상기 하나 이상의 오디오 특성은 오디오 데이터 프레임의 진폭, 오디오 데이터 프레임의 주파수, 또는 오디오 데이터 프레임의 지속 기간 중 적어도 하나를 포함하는, 컴퓨터 구현 방법.
  9. 제1항에 있어서,
    상기 맵핑은 시스템 정의되고(system-defined),
    상기 맵핑은, 분석된 상기 오디오 신호의 상기 하나 이상의 오디오 특성, 또는 상기 복수의 액츄에이터 중 각 액츄에이터의 상기 하나 이상의 오디오 특성 및 하나 이상의 특성의 조합에 기초하는, 컴퓨터 구현 방법.
  10. 제1항에 있어서, 상기 맵핑은 사용자 정의되는(user-defined), 컴퓨터 구현 방법.
  11. 햅틱 변환 시스템으로서,
    햅틱 변환 모듈을 저장하도록 구성된 메모리;
    상기 메모리 상에 저장된 상기 햅틱 변환 모듈을 실행하도록 구성된 프로세서; 및
    각각이 하나 이상의 햅틱 효과를 출력하도록 구성된 복수의 액츄에이터를 포함하고,
    상기 햅틱 변환 모듈은,
    상기 오디오 신호를 분석하고;
    상기 오디오 신호의 하나 이상의 오디오 특성에 기초하여, 각각이 하나 이상의 햅틱 파라미터를 포함하는 하나 이상의 햅틱 신호를 생성하고;
    상기 복수의 햅틱 신호를 복수의 액츄에이터에 맵핑하고, 각 햅틱 신호는 대응하는 액츄에이터에 맵핑되고;
    각 햅틱 신호를 해당 맵핑된 액츄에이터에 송신하며;
    각 햅틱 신호를 해당 맵핑된 액츄에이터에서 재생하여 상기 하나 이상의 햅틱 효과 중 하나의 햅틱 효과를 생성하도록 구성되는, 햅틱 변환 시스템.
  12. 제11항에 있어서, 상기 햅틱 변환 모듈은,
    상기 오디오 신호의 하나 이상의 오디오 특성에 기초하여 범용 햅틱 계층 라이브러리로부터 하나 이상의 미리 정의된 햅틱 신호를 선택하고;
    상기 하나 이상의 미리 정의된 햅틱 신호를 상기 복수의 액츄에이터에 맵핑하고, 각 미리 정의된 햅틱 신호는 대응하는 액츄에이터에 맵핑되며;
    각 상기 미리 정의된 햅틱 신호를 해당 맵핑된 액츄에이터에 송신하도록 더 구성되는, 햅틱 변환 시스템.
  13. 제11항에 있어서, 상기 햅틱 변환 모듈은,
    저장된 정의에 기초하여 하나 이상의 2차 햅틱 신호를 생성하고, 상기 정의는 조건 및 문장을 포함하는 조건문을 포함하고, 상기 조건은 1차 액츄에이터에 송신되는 하나 이상의 1차 햅틱 신호의 생성이고, 상기 문장은 2차 액츄에이터에 송신되는 상기 하나 이상의 2차 햅틱 신호를 생성하는 명령어이고;
    상기 하나 이상의 2차 햅틱 신호를 상기 2차 액츄에이터에 맵핑하며;
    상기 저장된 정의에 기초하여 각 상기 2차 햅틱 신호를 상기 2차 액츄에이터에 송신하도록 더 구성되는, 햅틱 변환 시스템.
  14. 제11항에 있어서, 상기 햅틱 변환 모듈은,
    적어도 하나의 햅틱 신호를 복수의 햅틱 신호 성분으로 분할하고;
    상기 복수의 햅틱 신호 성분을 상기 복수의 액츄에이터에 맵핑하고, 각 햅틱 신호 성분은 대응하는 액츄에이터에 맵핑되며;
    상기 복수의 햅틱 신호 성분을 해당 맵핑된 액츄에이터에 송신하도록 더 구성되는, 햅틱 변환 시스템.
  15. 프로세서에 의해 실행될 때 상기 프로세서로 하여금 제1항 내지 제10항 중 어느 한 항에 따른 방법을 구현하게 하는 명령어가 저장된 컴퓨터 판독가능 매체.
KR1020130036558A 2012-04-04 2013-04-03 다수의 액츄에이터를 사용하는 사운드-햅틱 효과 변환 시스템 KR102204606B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/439,241 2012-04-04
US13/439,241 US9715276B2 (en) 2012-04-04 2012-04-04 Sound to haptic effect conversion system using multiple actuators

Publications (2)

Publication Number Publication Date
KR20130112799A true KR20130112799A (ko) 2013-10-14
KR102204606B1 KR102204606B1 (ko) 2021-01-19

Family

ID=47900556

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130036558A KR102204606B1 (ko) 2012-04-04 2013-04-03 다수의 액츄에이터를 사용하는 사운드-햅틱 효과 변환 시스템

Country Status (5)

Country Link
US (3) US9715276B2 (ko)
EP (2) EP2648071B1 (ko)
JP (2) JP6416460B2 (ko)
KR (1) KR102204606B1 (ko)
CN (2) CN109407846A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140113390A (ko) * 2013-03-14 2014-09-24 임머숀 코퍼레이션 그룹 이벤트동안 방송되는 햅틱 효과
KR20150080740A (ko) * 2014-01-02 2015-07-10 한국전자통신연구원 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치
KR20170129651A (ko) * 2016-05-17 2017-11-27 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
KR20220089393A (ko) * 2020-12-21 2022-06-28 신성호 촉감 발생 장치 및 그 구동 방법
KR20220094539A (ko) * 2020-12-29 2022-07-06 한국기술교육대학교 산학협력단 스티어링 휠에 촉감을 제공하는 햅틱 제어 시스템
US11509996B2 (en) 2020-07-10 2022-11-22 Electronics And Telecommunications Research Institute Devices for playing acoustic sound and touch sensation

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
WO2013170099A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Calibration of haptic feedback systems for input devices
WO2013169303A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Adaptive haptic feedback for electronic devices
WO2013188307A2 (en) 2012-06-12 2013-12-19 Yknots Industries Llc Haptic electromagnetic actuator
US9886116B2 (en) 2012-07-26 2018-02-06 Apple Inc. Gesture and touch input detection through force sensing
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9164587B2 (en) * 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US20150205352A1 (en) * 2013-12-29 2015-07-23 Immersion Corporation Distributed control architecture for haptic devices
US20150242037A1 (en) 2014-01-13 2015-08-27 Apple Inc. Transparent force sensor with strain relief
US9946348B2 (en) * 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
US9588586B2 (en) 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US9715279B2 (en) * 2014-06-09 2017-07-25 Immersion Corporation Haptic devices and methods for providing haptic effects via audio tracks
JP6361872B2 (ja) * 2014-07-09 2018-07-25 任天堂株式会社 振動生成システム、振動生成装置、振動信号生成プログラム、および振動生成方法
US10297119B1 (en) 2014-09-02 2019-05-21 Apple Inc. Feedback device in an electronic device
US9939901B2 (en) 2014-09-30 2018-04-10 Apple Inc. Haptic feedback assembly
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
US10254838B2 (en) * 2014-12-23 2019-04-09 Immersion Corporation Architecture and communication protocol for haptic output devices
WO2016136934A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム
US9798409B1 (en) 2015-03-04 2017-10-24 Apple Inc. Multi-force input device
US10261582B2 (en) * 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
EP3332310B1 (en) 2015-08-05 2019-05-29 Dolby Laboratories Licensing Corporation Low bit rate parametric encoding and transport of haptic-tactile signals
KR101807655B1 (ko) * 2015-12-01 2017-12-11 주식회사 퓨처플레이 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US10671186B2 (en) 2016-06-15 2020-06-02 Microsoft Technology Licensing, Llc Autonomous haptic stylus
US10699538B2 (en) * 2016-07-27 2020-06-30 Neosensory, Inc. Method and system for determining and providing sensory experiences
WO2018048907A1 (en) * 2016-09-06 2018-03-15 Neosensory, Inc. C/O Tmc+260 Method and system for providing adjunct sensory information to a user
US10469971B2 (en) * 2016-09-19 2019-11-05 Apple Inc. Augmented performance synchronization
US10181331B2 (en) 2017-02-16 2019-01-15 Neosensory, Inc. Method and system for transforming language inputs into haptic outputs
US10744058B2 (en) 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
KR102518400B1 (ko) * 2017-11-22 2023-04-06 삼성전자주식회사 진동을 제공하는 방법 및 이를 지원하는 전자 장치
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10572016B2 (en) 2018-03-06 2020-02-25 Microsoft Technology Licensing, Llc Spatialized haptic device force feedback
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
KR102479035B1 (ko) * 2018-03-22 2022-12-20 한국전자통신연구원 청각장애인용 언어학습 시스템 및 방법
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US10777050B2 (en) * 2018-06-07 2020-09-15 Lofelt Gmbh Systems and methods for using multiple actuators for enhanced user experience
EP3579081A1 (en) * 2018-06-07 2019-12-11 Lofelt GmbH Systems and methods for generating haptic output for enhanced user experience
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
KR102273805B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US12035445B2 (en) 2019-03-29 2024-07-09 Cirrus Logic Inc. Resonant tracking of an electromagnetic load
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
FR3097362B1 (fr) 2019-06-11 2021-05-14 Damien Quintard Système vibratoire sensoriel
CN114008569A (zh) 2019-06-21 2022-02-01 思睿逻辑国际半导体有限公司 用于在装置上配置多个虚拟按钮的方法和设备
WO2021062276A1 (en) 2019-09-25 2021-04-01 Neosensory, Inc. System and method for haptic stimulation
US11468750B2 (en) * 2019-10-14 2022-10-11 Lofelt Gmbh Authoring an immersive haptic data file using an authoring tool
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US10984638B1 (en) * 2019-10-17 2021-04-20 Immersion Corporation Systems, devices, and methods for encoding haptic tracks
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11079854B2 (en) 2020-01-07 2021-08-03 Neosensory, Inc. Method and system for haptic stimulation
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
EP4179412A2 (en) 2020-07-12 2023-05-17 Meta Platforms, Inc. Systems and methods for authoring immersive haptic experience using spectral centriod
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
US11763647B2 (en) * 2021-08-16 2023-09-19 City University Of Hong Kong Multimode haptic patch and multimodal haptic feedback interface
US11995240B2 (en) 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
WO2023146063A1 (ko) * 2022-01-28 2023-08-03 삼성전자 주식회사 햅틱 신호를 생성하는 전자 장치 및 그 방법
CN114995638B (zh) * 2022-05-12 2024-08-23 北京有竹居网络技术有限公司 触觉信号生成方法、装置、可读介质及电子设备
US20240017166A1 (en) * 2022-07-12 2024-01-18 Tim Hoar Systems and methods for generating real-time directional haptic output

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110102160A1 (en) * 2009-10-29 2011-05-05 Immersion Corporation Systems And Methods For Haptic Augmentation Of Voice-To-Text Conversion
US20110128132A1 (en) * 2006-04-13 2011-06-02 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL70153A0 (en) 1983-11-07 1984-02-29 Navot Technology Ltd Audiotactile communication system
US5675709A (en) 1993-01-21 1997-10-07 Fuji Xerox Co., Ltd. System for efficiently processing digital sound data in accordance with index data of feature quantities of the sound data
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US5842163A (en) 1995-06-21 1998-11-24 Sri International Method and apparatus for computing likelihood and hypothesizing keyword appearance in speech
JP3824182B2 (ja) 1996-09-20 2006-09-20 ソニー株式会社 音声増幅装置及び通信端末装置並びに音声増幅方法
US6285351B1 (en) 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
US7091948B2 (en) 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
JPH1133230A (ja) 1997-07-16 1999-02-09 Sega Enterp Ltd 通信ゲームシステム
JPH11196497A (ja) 1998-01-06 1999-07-21 Matsushita Electric Ind Co Ltd 振動による情報伝達装置
KR20010111233A (ko) 2000-06-09 2001-12-17 오원근 청각 장애자용 소리 인식장치
US6751534B2 (en) 2000-12-21 2004-06-15 Ford Global Technologies, Llc System and method for providing feedback to a driver of a hybrid vehicle
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
US7791588B2 (en) 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
TWI296787B (en) 2005-01-19 2008-05-11 Lightuning Tech Inc Storage device and method for protecting data stored therein
JP5208362B2 (ja) * 2005-10-28 2013-06-12 ソニー株式会社 電子機器
EP3287874A1 (en) 2006-04-06 2018-02-28 Immersion Corporation Systems and methods for enhanced haptic effects
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8520866B2 (en) * 2006-12-15 2013-08-27 Nokia Corporation Apparatus, method, and computer program product providing sound-produced tactile feedback
CN101606318B (zh) * 2007-02-09 2012-10-31 Nxp股份有限公司 集成电路，数字电子装置以及改变数字电子装置中时钟延迟的方法
JP5270118B2 (ja) * 2007-07-05 2013-08-21 富士通コンポーネント株式会社 触覚提示装置及び触覚提示方法
US8508486B2 (en) 2007-10-01 2013-08-13 Immersion Corporation Directional haptic effects for a handheld device
US8581954B2 (en) * 2008-09-05 2013-11-12 Sk Telecom Co., Ltd. Mobile communication terminal that delivers vibration information, and method thereof
US20100141408A1 (en) * 2008-12-05 2010-06-10 Anthony Stephen Doy Audio amplifier apparatus to drive a panel to produce both an audio signal and haptic feedback
US8686952B2 (en) 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
MX2011009186A (es) 2009-03-10 2011-09-26 Bayer Materialscience Ag Transductores de polimeros electroactivos para dispositivos de retroalimentacion tactil.
US10007340B2 (en) * 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US8218780B2 (en) 2009-06-15 2012-07-10 Hewlett-Packard Development Company, L.P. Methods and systems for blind dereverberation
US8279052B2 (en) 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
CN102713793B (zh) 2009-11-17 2016-08-31 意美森公司 用于增加电子设备中的触觉带宽的系统和方法
KR100986681B1 (ko) * 2010-05-06 2010-10-08 (주)이미지스테크놀로지 촉각 발생을 위한 다중 액튜에이터 구동 제어장치
KR20120011548A (ko) * 2010-07-29 2012-02-08 삼성전자주식회사 사용자 입력에 대한 피드백 제공 장치 및 방법
FR2964761B1 (fr) * 2010-09-14 2012-08-31 Thales Sa Dispositif d'interaction haptique et procede de generation d'effets haptiques et sonores
EP2659337B1 (en) * 2010-12-31 2021-07-28 Nokia Technologies Oy A display apparatus producing audio and haptic output
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
KR101602663B1 (ko) 2011-10-10 2016-03-14 한국전자통신연구원 촉각 피드백을 제공하기 위한 전자기기용 케이스 및 그 구동 방법
JP6541292B2 (ja) 2012-02-15 2019-07-10 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ プリミティブを用いた高解像度ハプティック効果生成
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9349378B2 (en) * 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US9659482B2 (en) * 2014-09-02 2017-05-23 Apple Inc. Context-based alerts for an electronic device
US10705610B2 (en) * 2015-06-19 2020-07-07 Northwestern University Apparatus for unified audio tactile feedback

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110128132A1 (en) * 2006-04-13 2011-06-02 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US20110102160A1 (en) * 2009-10-29 2011-05-05 Immersion Corporation Systems And Methods For Haptic Augmentation Of Voice-To-Text Conversion

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140113390A (ko) * 2013-03-14 2014-09-24 임머숀 코퍼레이션 그룹 이벤트동안 방송되는 햅틱 효과
KR20150080740A (ko) * 2014-01-02 2015-07-10 한국전자통신연구원 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치
KR20170129651A (ko) * 2016-05-17 2017-11-27 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
KR20220130064A (ko) * 2016-05-17 2022-09-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
US11509996B2 (en) 2020-07-10 2022-11-22 Electronics And Telecommunications Research Institute Devices for playing acoustic sound and touch sensation
KR20220089393A (ko) * 2020-12-21 2022-06-28 신성호 촉감 발생 장치 및 그 구동 방법
KR20220094539A (ko) * 2020-12-29 2022-07-06 한국기술교육대학교 산학협력단 스티어링 휠에 촉감을 제공하는 햅틱 제어 시스템

Also Published As

Publication number Publication date
EP2648071A1 (en) 2013-10-09
US9715276B2 (en) 2017-07-25
JP6730398B2 (ja) 2020-07-29
CN109407846A (zh) 2019-03-01
US10074246B2 (en) 2018-09-11
EP3200049B1 (en) 2020-06-17
CN103365415A (zh) 2013-10-23
US20170301195A1 (en) 2017-10-19
US20190051125A1 (en) 2019-02-14
EP2648071B1 (en) 2017-04-05
JP2018205782A (ja) 2018-12-27
CN103365415B (zh) 2018-11-16
JP2013218327A (ja) 2013-10-24
US10467870B2 (en) 2019-11-05
US20130265286A1 (en) 2013-10-10
JP6416460B2 (ja) 2018-10-31
EP3200049A1 (en) 2017-08-02
KR102204606B1 (ko) 2021-01-19

Similar Documents

Publication Publication Date Title
US10467870B2 (en) Sound to haptic effect conversion system using multiple actuators
US10339772B2 (en) Sound to haptic effect conversion system using mapping
KR102333336B1 (ko) 스트림 독립 사운드-햅틱 효과 변환 시스템
US20120206246A1 (en) Sound to haptic effect conversion system using amplitude value
KR20130086590A (ko) 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템
KR20120011548A (ko) 사용자 입력에 대한 피드백 제공 장치 및 방법
KR20180122451A (ko) 대화형 오디오 메타데이터 취급

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant