KR20160078226A - 고대역폭 햅틱 효과의 오디오 향상된 시뮬레이션 - Google Patents

고대역폭 햅틱 효과의 오디오 향상된 시뮬레이션 Download PDF

Info

Publication number
KR20160078226A
KR20160078226A KR1020150153498A KR20150153498A KR20160078226A KR 20160078226 A KR20160078226 A KR 20160078226A KR 1020150153498 A KR1020150153498 A KR 1020150153498A KR 20150153498 A KR20150153498 A KR 20150153498A KR 20160078226 A KR20160078226 A KR 20160078226A
Authority
KR
South Korea
Prior art keywords
haptic effect
audio
effect signal
signal
haptic
Prior art date
Application number
KR1020150153498A
Other languages
English (en)
Inventor
크리스토퍼 제이. 율리히
윌리암 에스. 린
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20160078226A publication Critical patent/KR20160078226A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

시스템은 적어도 하나의 액추에이터와 적어도 하나의 스피커를 이용하여 햅틱 효과들을 생성한다. 시스템은 오디오가 재생될 경우 고품질("HD") 햅틱 효과 신호와 상응하는 오디오 신호를 수신한다. 시스템은 HD 햅틱 효과 신호에 적어도 기초하여 표준 품질("SD") 햅틱 효과 신호를 생성하고, HD 햅틱 효과 신호에 적어도 기초하여 오디오 기반 햅틱 효과 신호를 생성한다. 시스템은 오디오 신호와 오디오 기반 햅틱 효과 신호를 혼합하고, 그리고 나서 거의 동시에 SD 햅틱 효과 신호를 액추에이터를 통해 재생하고, 혼합 신호를 스피커를 통해 재생한다.

Description

고대역폭 햅틱 효과의 오디오 향상된 시뮬레이션{AUDIO ENHANCED SIMULATION OF HIGH BANDWIDTH HAPTIC EFFECTS}
일 실시 형태는 일반적으로 햅틱 효과에 관한 것으로서, 상세하게는 고품질/대역폭(high definition/bandwidth) 햅틱 효과에 관한 것이다.
전자 장치 제조업자들은 사용자들을 위해 풍부한 인터페이스(rich interface)를 생성하려고 노력한다. 종래의 장치들은 시각 및 청각 신호(cue)들을 이용하여 사용자에게 피드백을 제공한다. 일부 인터페이스 장치들에서, 운동 감각 피드백(능동 및 저항성 힘 피드백과 같은) 및/또는 촉각 피드백(진동, 텍스처, 및 열과 같은)이 또한 사용자에게 제공되는데, 더 일반적으로는 집합적으로 "햅틱 피드백" 또는 "햅틱 효과들"로서 알려져 있다. 햅틱 피드백은 사용자 인터페이스를 향상시키고 단순화시키는 신호들을 제공할 수 있다. 구체적으로는, 진동 효과 또는 진동촉각 햅틱 효과는 사용자에게 특정 이벤트들을 경고하기 위해, 또는 시뮬레이트된 또는 가상 환경 내에서 더 큰 감각적 몰입감을 생성하기 위한 사실적인 피드백을 제공하기 위해 전자 장치의 사용자에게 신호들을 제공하는 데 유용할 수 있다.
진동 효과를 생성하기 위해, 많은 장치들은 소정 타입의 액추에이터 또는 햅틱 출력 장치를 이용한다. 이를 위해 이용된 공지의 햅틱 출력 장치들은 편심 질량체(eccentric mass)가 모터에 의해 이동되는 편심 회전 질량체(Eccentric Rotating Mass)("ERM"), 스프링에 부착된 질량체가 전후로 구동되는 선형 공진 액추에이터(Linear Resonant Actuator)("LRA")와 같은 전자기 액추에이터, 또는 압전, 전기 활성 고분자들 또는 형상 기억 합금들과 같은 "스마트 재료"를 포함한다. 햅틱 출력 장치들은 또한 광범위하게는, 정전기 마찰(electrostatic friction)("ESF"), 초음파 표면 마찰(ultrasonic surface friction)("USF")을 사용하는 것들, 또는 초음파 햅틱 트랜스듀서로 음향 방사 압력(acoustic radiation pressure)을 유도하는 것들, 또는 햅틱 기판 및 가요성 또는 변형 가능한 표면을 사용하는 것들, 또는 에어 젯을 사용하는 에어 퍼프(a puff of air)와 같은 투사형(projected) 햅틱 출력을 제공하는 것들 등과 같은 비-기계적 또는 비-진동 장치를 포함할 수 있다.
스마트폰들 및 태블릿들과 같은 최근의 고품질 모바일 장치들의 발달로, 이제 사용자들은 전통적으로 영화관들, 텔레비전 또는 홈 시어터(home theater) 시스템들에서나 볼 수 있었던 고품질 오디오 및 비디오를 휴대용 장치 상에서 볼 수 있다. 햅틱 가능 모바일 장치들에서, 오디오 및 비디오 콘텐츠 성분들에 더하여 햅틱 콘텐츠 성분이 있다면, 경험은 콘텐츠 시청이 충분히 향상되고 이를 시청자가 좋아한다는 것을 보여준다. 그러나, 고품질 오디오/비디오와 호환 가능하기 위해서는, 상응하는 고품질 또는 고대역폭 햅틱 효과들이 또한 생성되어야 한다.
일 실시 형태는 적어도 하나의 액추에이터와 적어도 하나의 스피커를 이용하여 햅틱 효과들을 생성하는 시스템이다. 시스템은 오디오가 재생되는 경우 고품질 ("HD") 햅틱 효과 신호와 상응하는 오디오 신호를 수신한다. 시스템은 적어도 HD 햅틱 효과 신호에 기초하여 표준 품질("SD") 햅틱 효과 신호를 생성하고, 적어도 HD 햅틱 효과 신호에 기초하여 오디오 기반 햅틱 효과 신호를 생성한다. 시스템은 오디오 신호와 오디오 기반 햅틱 효과 신호를 혼합하고, 그리고 나서 거의 동시에 SD 햅틱 효과 신호를 액추에이터를 통해 재생하고, 혼합 신호를 스피커를 통해 재생한다.
도 1은 본 발명의 일 실시 형태에 따른 햅틱 가능 장치/시스템의 블럭도이다.
도 2는 본 발명의 실시 형태에 따른 도 1의 시스템의 기능의 흐름도이다.
도 3은 일 실시 형태에 따른 도 1의 시스템과 같은 타겟 장치를 위해 시스템 식별 또는 플랜트 모델을 결정하기 위한 프로세스를 설명한다.
도 4a와 4b는 본 발명의 실시 형태에 따른 도 1의 시스템의 기능의 흐름도들이다.
일 실시 형태는 액추에이터가 "표준 품질" 액추에이터일 때에도, 함께 위치한 액추에이터와 스피커를 포함하는 장치를 통해 고대역폭/품질 ("HD") 햅틱 효과들을 생성한다. 장치의 플랜트 모델에 기초하여, 액추에이터에 의해 생성된 햅틱 효과들을 향상시키는 장치의 케이싱을 진동시킴으로써 진동성 햅틱 효과들을 스피커가 생성하게 하는 오디오 성분이 결정된다. 액추에이터에 의해 그리고 스피커에 의해 생성된 햅틱 효과들의 조합은 누적된 햅틱 효과가 고대역폭 햅틱 효과가 되게 한다. 그러므로, 오디오 스피커들과 함께 표준 품질 액추에이터의 빠른 응답과 강도는 사용자들을 위해 HD-유사 경험을 생성하는 데 활용된다.
도 1은 본 발명의 한 실시 형태에 따른 햅틱 가능 시스템/장치(10)의 블럭도이다. 시스템(10)은 하우징(15) 내에 장착된 터치 감지 표면(11) 또는 다른 타입의 사용자 인터페이스를 포함하고, 기계적 키/버튼(13)들을 포함할 수 있다.
시스템(10)의 내부에는 시스템(10) 상에서 햅틱 효과를 생성시키고 프로세서 또는 제어기(12)를 포함하는 햅틱 피드백 시스템이 있다. 메모리(20)와, 액추에이터(18)에 결합되는 액추에이터 구동 회로(16)는 프로세서(12)에 결합된다. 프로세서(12)는 임의의 타입의 범용 프로세서일 수 있거나, 주문형 집적회로("ASIC")와 같이, 햅틱 효과들을 제공하도록 특별히 설계된 프로세서일 수 있다. 프로세서(12)는 전체 시스템(10)을 작동시키는 동일한 프로세서일 수 있거나, 별개의 프로세서일 수 있다. 프로세서(12)는 상위 레벨 파라미터들에 기초하여 어떤 햅틱 효과들이 재생되어야 하는지 그리고 그 효과들이 재생되는 순서를 결정할 수 있다. 일반적으로, 특정 햅틱 효과를 규정하는 상위 레벨 파라미터들은 크기(magnitude), 주파수(frequency) 및 지속기간(duration)을 포함한다. 스트리밍 모터 명령(streaming motor commands)과 같은 하위 레벨 파라미터들이 또한 특정 햅틱 효과를 결정하는 데 사용될 수 있다. 만약 이것이 햅틱 효과가 생성될 때의 이러한 파라미터들의 일부 변화 또는 사용자의 상호작용에 기초한 이러한 파라미터들의 변화를 포함하는 경우, 햅틱 효과는 동적(dynamic)인 것으로 간주될 수 있다. 일 실시 형태에서의 햅틱 피드백 시스템은 시스템(10) 상에서 진동(30, 31) 또는 다른 타입의 햅틱 효과들을 생성한다.
프로세서(12)는 원하는 햅틱 효과를 생성시키기 위해 필요한 전류 및 전압(즉, "모터 신호들")을 액추에이터(18)에 공급하는 데 사용된 전자 컴포넌트들 및 회로를 포함하는 액추에이터 구동 회로(16)에 제어 신호를 출력한다. 시스템(10)은 2개 이상의 액추에이터(18)를 포함할 수 있고, 각각의 액추에이터는 모두가 공통의 프로세서(12)에 결합된 개별적인 구동 회로(16)를 포함할 수 있다.
시스템(10)은 적어도 하나의 스피커(26)와, 프로세서(12)에 결합된 상응하는 스피커 드라이버(25)를 더 포함한다. 스피커(26)는 전기적인 오디오 신호를 상응하는 사운드로 변환시킴으로써 오디오 출력(27)을 생성하는 임의의 타입의 오디오 스피커 또는 라우드스피커 또는 전기 음향 변환기일 수 있다. 잘 알려진 것처럼, 오디오(27)의 생성과 일치하여, 스피커(26)는 시스템(10)의 하우징/케이싱을 진동시키는 것에 의해서와 같이 시스템(10) 상에 진동(28)들을 생성할 것이다. 진동(28)들이 사용자 접촉 시스템(10)에 의해 어떻게 느껴지는지에 대한 정도는 시스템(10)의 물리적 구성(makeup), 또는 "플랜트 모델"에 부분적으로 좌우된다.
메모리(20)는 랜덤 액세스 메모리("RAM") 또는 판독 전용 메모리("ROM")과 같은, 임의의 타입의 저장소 장치 또는 컴퓨터 판독가능 매체일 수 있다. 메모리(20)는 프로세서(12)에 의해 실행되는 명령어들을 저장한다. 명령어들 중에서, 메모리(20)는, 이하에 더 상세히 개시한 바와 같이, 프로세서(12)에 의해 실행될 때, 스피커(28)와 액추에이터(18)를 이용하여 고대역폭 햅틱 효과들을 생성하는 명령어들인, 오디오 햅틱 시뮬레이션 모듈(22)을 포함한다. 메모리(20)는 또한 프로세서(12)의 내부에 위치할 수 있거나, 내부 메모리와 외부 메모리의 임의의 조합일 수 있다.
시스템(10)은 셀룰러 전화, 개인 휴대 정보 단말기("PDA"), 스마트폰, 컴퓨터 태블릿, 게임 콘솔, 리모트 컨트롤과 같은 임의의 타입의 핸드헬드/모바일 장치일 수 있거나, 하나 이상의 액추에이터와 하나 이상의 스피커를 포함하는 햅틱 효과 시스템을 포함하는 임의의 다른 타입의 장치일 수 있다. 시스템(10)은 손목 밴드, 머리 밴드, 안경, 링, 다리 밴드, 의복과 일체로 된 집합체(array) 등과 같은 착용 가능 장치, 또는 사용자가 신체에 착용할 수 있거나 사용자가 소지할 수 있으며 가구 또는 차량 스티어링 휠을 포함하는, 햅틱 가능한 임의의 다른 타입의 장치일 수 있다. 또한, 시스템(10)의 일부 요소들 또는 기능은 원격 위치할 수 있거나, 시스템(10)의 잔류 요소들과 통신하는 또 다른 장치에 의해 구현될 수 있다.
액추에이터(18)는 햅틱 효과를 생성할 수 있는 임의의 타입의 액추에이터일 수 있다. 일 실시 형태에서, 액추에이터(18)는 단일 주파수에서 진동성 햅틱 효과들을 생성시키는 "표준 품질"("SD") 액추에이터이다. SD 액추에이터의 예들은 편심 회전 질량 모터("ERM")과 선형 공진 액추에이터("LRA")를 포함한다. SD 액추에이터와 달리, 압전 액추에이터 또는 전기 활성화 폴리머("EAP") 액추에이터와 같은 HD 액추에이터 또는 하이파이 액추에이터는 다중 주파수들에서 고대역폭/품질 햅틱 효과들을 생성할 수 있다. HD 액추에이터들은 가변 진폭으로 그리고 일시적 구동 신호들에 대한 빠른 응답으로 광대역폭 촉각 효과들을 생성하는 그들의 능력을 특징으로 한다. 그러나, HD 액추에이터들은 SD 액추에이터들과 관련하여 큰 물리적 치수를 가지고 있고, SD 액추에이터들보다 더 많이 비싸다. 대부분의 장치들은 결과적으로 임의의 HD 액추에이터들 대신에, 단지 하나 이상의 SD 액추에이터들을 포함한다. 그러므로, 본 방법의 실시 형태들은 HD 액추에이터들 없이도 HD 햅틱 효과들을 시뮬레이션하고 HD-유사 햅틱 경험을 제공하기 위해 SD 액추에이터들과 결합하여 그들 장치들 내의 기존의 하나 이상의 스피커들을 활용한다.
액추에이터(18)에 부가하여 또는 그 대신에, 시스템(10)은 정전기 마찰 ("ESF"), 초음파 표면 마찰("USF")를 사용하는 장치, 초음파 햅틱 트랜스듀서로 음향 방사 압력을 유발하는 장치, 햅틱 기판 및 가요성 또는 변형가능 표면 또는 형상 변경 장치를 사용하고 사용자의 신체에 부착될 수 있는 장치, 에어 젯을 사용하는 에어 퍼프와 같은 투사형 햅틱 출력을 제공하는 장치 등과 같은 비-기계 또는 비-진동 장치일 수 있는 다른 타입들의 햅틱 출력 장치들(도시 생략)을 포함할 수 있다.
도 2는 본 발명의 일 실시 형태에 따른 도 1의 시스템(10)의 기능의 흐름도이다. 일 실시 형태에서, 도 2(및 하기의 도 4a 및 4b)의 흐름도의 기능은 메모리 또는 다른 컴퓨터 판독가능 또는 유형 매체에 저장된 소프트웨어에 의해 구현되고, 프로세서에 의해 실행된다. 다른 실시 형태들에 있어서, 기능은 하드웨어(예를 들면, 주문형 집적 회로("ASIC"), 프로그래머블 게이트 어레이("PGA"), 필드 프로그래머블 게이트 어레이("FPGA") 등의 이용을 통해), 또는 하드웨어 및 소프트웨어의 임의의 조합에 의해 수행될 수 있다.
201에서, HD 햅틱 효과 신호가 수신된다. HD 신호는 이머전 주식회사(Immersion Corp.)로부터의 "터치센스 스튜디오(TouchSense Studio®)"와 같은 알려진 도구들 또는 아비드 테크놀로지사(Avid Technology, Inc.)로부터의 "프로 툴(Pro Tools)"과 같은 산업 표준 오디오 제작 도구를 사용하는 햅틱 효과 디자이너에 의해 만들어질 수 있다. SD 햅틱 효과 신호와 비교하여, HD 햅틱 효과 신호는 넓은 햅틱 대역폭(예를 들면, 1 - 350 Hz), 증가된 범위, 강도와 정밀도, 및 높은 샘플링율을 가지고 있다. 201에서의 HD 신호는 또한 햅틱 효과 변환 도구들에 자동화된 오디오/비디오를 이용하거나, 입상 합성, 물리적 합성, 등과 같은 햅틱-오디오 합성 알고리즘들을 이용하는 것을 포함하여, 임의의 공지된 방식으로 생성될 수 있다. 또 다른 실시 형태에서, HD 신호는 고 해상도, 광대역 가속도 및/또는 오디오 신호들을 캡처하는 하나 이상의 센서들을 이용하는 것으로부터 유래된다. HD 신호는 "YHD(t)"의 형태로 되어 있으며, 여기서 Y는 시간 "t"에 걸친 HD 신호의 진폭이다.
202에서, 소스 오디오 신호가 수신된다. 오디오 신호와 HD 신호는 상호 보완하고 비디오가 이용 가능하면 동일한 비디오 표시 장치에 상응하도록 의도된다. HD 신호는 오디오 신호와 관련하여 생성된다. 또 다른 실시 형태에서, 오디오 신호가 필요하지 않고, HD 신호만이 재생된다.
203에서, SD 신호는 HD 신호로부터 추출된다. 결과로 생기는 신호들은 예를 들어, LRA 공진을 제거하기 위해 노치 필터를 이용함으로써, 결정되는 "YHD -SD(t)"(즉, HD 신호에서 SD 신호를 뺌), 및 신호 진폭(즉, 오디오 기반 햅틱 효과 신호)을 계산함으로써 결정되는 YSD(t)(즉, SD 신호)이다. 다른 타입들의 SD 액추에이터들은 선형 및 비선형 필터링 모두를 포함하는 다른 SD 추출 알고리즘들을 요구할 수 있다.
205에서, SD 신호는 모터 신호들로 변환되고, 206에서 모터 신호들은 햅틱 드라이버에 보내지고 여기서 이들은 LRA 액추에이터와 같은 SD 액추에이터를 이용하여 SD 진동성 햅틱 효과로 변환된다.
204에서, 필터된 신호의 SD 부분을 뺀 HD 부분은, 오디오가 스피커에 의해 재생될 때 스피커가 햅틱 효과의 HD 성분을 생성하게 하는 오디오 입력으로 변환된다. 일반적으로, 필터는 오디오 신호 "Yhaptic -audio(t)"를 생성하기 위해 "YHD -SD(t)*hl(t)"의 함수를 적용한다. 이것은 시스템(10) 상의 오디오 시스템(28)에 의해 생성된 가속도를 위한 필터링된 HD 신호 YHD -SD(t)와 역 플랜트 모델의 콘볼루션 곱(convolution product)이다. 필터와 함수는 시스템(10)(즉, 액추에이터들과 스피커들을 포함하고 햅틱 효과들이 생성될 장치)과 같은, 타겟 장치의 결정된 플랜트 모델에 기초한다. 그러나, 바람직한 가속도들을 생성하는 오디오 신호를 생성하는 다른 방법들이 또한 이용될 수 있다. 예를 들어, 룩업 테이블, 피드 포워드 시스템 모델, 신경망 또는 임의의 다른 시스템 추정 기술이 이용될 수 있다.
208에서, 204에서 생성된 오디오 기반 햅틱 효과 신호 Yhaptic -audio(t) 및 202에서 상응하는 입력 오디오 신호(오디오 신호가 재생되는 경우)는 선택적으로 이퀄라이저를 이용하여, 혼합되고, 207에서 오디오 드라이버로 보내지는데, 그 결과 혼합 오디오 신호가 스피커에 의해 재생된다. 204에서의 필터 또는 207에서의 오디오 드라이버는, 결과로 생기는 음압 레벨과 유발된 가속도 양쪽을 보존하기 위해서 202에서의 오디오 신호와 필터된 출력 Yhaptic -audio(t) 사이의 중첩 주파수들을 등화시킬 필요가 있을 수 있다.
도 2와 관련하여 기술된 바와 같이, 204에서의 필터링은 햅틱 효과를 생성할 타겟 장치의 플랜트 모델을 입력으로서 요구한다. 플랜트 모델은 타겟 장치의 측정되거나 모델링된 주파수 응답 특성에 기초한 입-출력 시스템 모델이다. 플랜트 모델은 또한 시스템 식별을 이용하는 필터/이퀄라이저 파라미터들의 추정, "음향 모델" 또는 "촉각 스피커 모델"로서 언급될 수 있다. 시스템 식별의 분야는 측정된 데이터로부터 동적 시스템들의 수학적 모델들을 구축하기 위해 통계학적 방법들을 이용한다. 시스템 식별은 또한 모델 축소와 마찬가지로 그와 같은 모델들을 적합하게 하기 위해 정보 데이터를 효율적으로 생성하기 위한 최적의 실험 설계를 포함한다.
도 3은 일 실시 형태에 따라서 시스템(10)과 같은 타겟 장치에 대한 시스템 식별 또는 플랜트 모델을 결정하기 위한 프로세스를 설명한다. 임펄스 응답이 오디오 임펄스에 대한 가속도 응답을 캡처하기 위한 오디오 시스템을 위해 캡처된다. 시스템(10)이 선형 응답을 가지고 있다고 가정할 때, 이러한 임펄스 응답(301)은 도 3에 나타난 바와 같이, 도 2의 204에서 필터를 생성하기 위해 직접적으로 이용될 수 있다. 첫째로, 임펄스 응답은 플랜트 모델을 만들기 위해 Z-변환(302)을 이용하여 변환된다. 플랜트 모델은 그리고 나서 반전되어(303) 선형 시스템 역학의 역을 나타낼 수 있는 Z-공간 함수를 만든다. 이러한 함수는 또한 "역 전달 함수"로서 언급된다. 마침내, 역 전달 함수는 역 변환되어(304) 역 시스템 역학을 나타내는 필터를 만든다. 301이 오디오 자극으로부터 가속도로의 변환을 나타내는 반면, 304에서의 필터는 타겟 가속도를 오디오로 변환한다(즉, 그것은 가속도에 관하여 시스템(10)의 역을 나타낸다). 이것은 입-출력 모델(즉, 플랜트 모델)인데, 여기서 "hl(t)"는 콘볼루션(convolution)을 이용하여 도 2의 204에서 햅틱 신호에 적용될 수 있는 이산 시간 필터이다: Yhaptic -audio(t) = YHD -SD(t)*hl(t).
도 4a와 4b는 본 발명의 실시 형태에 따라서 도 1의 시스템(10)의 기능의 흐름도들이다. 도 4a는 "오프-라인" 실시 형태라고 생각할 수 있고, 도 4b는 "온-라인" 또는 "실시간" 실시 형태라고 생각할 수 있다.
402에서, 저자 또는 콘텐츠 작성자는 이용 가능한 콘텐츠 저작 도구들을 사용하는 새로운 HD 햅틱 효과를 만든다. HD 효과는 오디오 변환 도구들을 사용하거나 직접 합성을 이용하여 만들어질 수 있다. 오디오 변환 도구의 한 예는 이머전 주식회사로부터의 "터치센스 스튜디오®"이다. 또 다른 실시 형태에서, 저주파 신호를 가진 오디오 효과가 402에서 만들어질 수 있는데, 이는 SD 햅틱 효과에 해당한다. 이 실시 형태에서, 터치센스 스튜디오®를 사용하는 것 대신, 예를 들어, 콘텐츠 저자는 프로 툴과 같은 오디오 워크플로우에서 작업하고 있을 수 있다. 저자는 직접적으로 HD 저주파 신호를 만들 수 있다(예를 들면, "5.1" 서라운드 사운드의 ".1" 신호). 저자는 .1 트랙이 직접적으로 SD 액추에이터를 구동하기 위해 신호들의 정확한 혼합을 포함하도록 신호를 만들 수 있고, 상기에 기술된 것처럼 디바이스상의 스피커를 이용하여 HD 효과를 만들 수 있다.
또 다른 실시 형태에서, 콘텐츠 저자는 직접적으로 오디오 도구에서 HD 오디오를 만들 수 있고 오디오 도구 또는 터치센스 스튜디오® 중 어느 하나를 이용하여 SD 효과를 만들 수 있다. 이 실시 형태에서, SD 및 HD 신호들은 이미 뚜렷이 구별되기 때문에 도 2의 204에서의 필터링은 필요가 없다.
403에서, 타겟 장치가 선택된다. 403에서 선택된 각각 저장된 타겟 장치마다, 각각의 액추에이터의 상응하는 플랜트 모델, 타입/수/위치 및/또는 각각의 스피커의 타입/수/위치가 저장된다. 일 실시 형태에서, 콘텐츠 저작 도구 또는 후처리 도구에서 엑스포트 필터를 사용할 때, 사용자는 이용될 효과에 대한 특정 타겟 장치를 선택한다(예를 들면, 갤럭시 S5, 갤럭시 기어, 애플 와치, 기타 등등).
404에서, 타겟 장치 신호들은 모델 플랜트 반전을 이용하여 만들어진다. 타겟 장치 신호들은 도 2에 나타난 바와 같이, Yhaptic -audio(t)(즉, 오디오 기반 햅틱 신호)와 Yhaptic - audio(t)(즉, SD 햅틱 신호)이다. 실시 형태들은 이전에 만들어진 타겟 장치의 기계적이고 음향적인 모델들을 사용하고, 기계적 액추에이터를 이용하여 제공될 성분과 스피커를 이용하여 제공될 성분으로 HD 효과를 분할한다. 이것은 전달 함수, 반복/최적화 및 다른 모델 기반 신호 변환들로 인해, 상술한 바와 같이, 일 실시 형태에서 이루어질 수 있다. 2개의 생성된 햅틱 신호들은, .wav 파일과 같은 오디오 신호, 및 .hapt 파일로서 오디오 신호를 저장하는 것과 같이, 적절한 인코딩들을 이용하여 저장된다.
405에서, 오디오가 햅틱 효과와 동시에 재생되는 것이라면, 오디오-햅틱 신호는 다른 동시 오디오와 혼합된다.
406에서, 오디오-햅틱 신호들(즉, Yhaptic -audio(t))과 햅틱 신호들(즉, Yhaptic -audio(t))은 소프트웨어 개발 키트("SDK") 또는 다른 프로그램 방법들을 이용하여, 실행 시에 타겟 장치 상에 동시에 또는 거의 동시에 재생된다.
도 4b를 참고하면, 402에서 HD 햅틱 효과는 도 4a의 402에서와 같이 만들어진다.
413에서, HD 햅틱 효과는 비손실성 인코딩(예를 들면, .ivt 인코딩)으로 보내진다.
414에서, 재생 시간에, 특정 타겟 장치를 위해 구성된 플랜트 모델이 이용되어, 실시간이거나 거의 실시간으로 기계식 구동 신호와 음향 구동 신호를 만든다. 이것은 전달 함수, 반복/최적화 및 다른 실시간 모델 기반 신호 변환들로 인해 달성될 수 있다.
405와 406은 도 4a의 405와 406와 동일한 기능이다.
또 다른 실시 형태에서, SD 햅틱 효과와 햅틱-오디오 효과는 직접적으로 프로세스의 초기에 만들어진다(즉, 도 4a의 402 대신). 이 실시 형태에서, 도 4a의 403과 404는 건너 뛰어질 수 있고, 405와 406은 햅틱 효과들을 재생하기 위해 실행된다.
기술된 것처럼, 실시 형태들은 SD 햅틱 효과와 오디오-기반 햅틱 효과를 수신한다. SD 햅틱 효과는 SD 액추에이터일 수 있는 액추에이터에 의해 재생된다. 오디오-기반 햅틱 효과는 상응하는 오디오와 동시에 스피커에 의해 재생된다. 액추에이터와 스피커에 의해 생성된 진동성 햅틱 효과들의 조합은 HD 액추에이터의 필요 없이도, 광대역폭을 갖는 HD-유사 햅틱 효과를 제공한다.
여러 실시 형태들이 본 명세서에 구체적으로 예시 및/또는 설명되어 있다. 그러나, 개시된 실시 형태들의 수정 및 변형이 이상의 교시 내용에 의해 포괄되고 본 발명의 정신 및 의도된 범주를 벗어나지 않고 첨부된 청구범위의 범위 내에 있다는 것을 이해할 것이다.

Claims (29)

  1. 적어도 하나의 액추에이터와 적어도 하나의 스피커를 포함하는 장치를 통해 햅틱 효과들을 생성하는 방법으로서, 이 방법은,
    고품질(HD) 햅틱 효과 신호를 수신하는 단계;
    적어도 상기 HD 햅틱 효과 신호에 기초하여 표준 품질(SD) 햅틱 효과 신호를 생성하는 단계;
    적어도 상기 HD 햅틱 효과 신호에 기초하여 오디오 기반 햅틱 효과 신호를 생성하는 단계; 및
    거의 동시에 상기 SD 햅틱 효과 신호를 상기 액추에이터를 통해 재생하고 상기 오디오 기반 햅틱 효과 신호를 상기 스피커를 통해 재생하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    오디오 신호를 수신하는 단계; 및
    상기 오디오 신호와 상기 오디오 기반 햅틱 효과 신호를 혼합하는 단계를 더 포함하며;
    상기 오디오 기반 햅틱 효과 신호를 상기 스피커를 통해 재생하는 상기 단계가, 상기 혼합 신호를 상기 스피커를 통해 재생하는 단계를 포함하는, 방법.
  3. 제1항에 있어서, 상기 SD 햅틱 효과 신호는 단일 주파수로 구성되는, 방법.
  4. 제1항에 있어서, 상기 오디오 기반 햅틱 효과 신호는 복수의 주파수를 포함하는, 방법.
  5. 제1항에 있어서, 상기 오디오 기반 햅틱 효과 신호는 상기 장치의 플랜트 모델을 결정하고 상기 플랜트 모델에 기초하여 상기 오디오 기반 햅틱 효과 신호를 변환함으로써 생성되는, 방법.
  6. 제1항에 있어서, 상기 SD 햅틱 효과 신호는 상기 HD 햅틱 효과 신호로부터의 추출에 의해 생성되는, 방법.
  7. 제1항에 있어서, 상기 액추에이터는 선형 공진 액추에이터인, 방법.
  8. 제5항에 있어서, 상기 HD 햅틱 효과 신호는 저작 도구를 사용하여 생성되는, 방법.
  9. 제8항에 있어서, 상기 장치의 상기 플랜트 모델을 결정하는 상기 단계는, 상기 저작 도구를 통해 타겟 장치를 선택하는 단계를 포함하고, 상기 오디오 기반 햅틱 효과 신호를 생성하는 상기 단계는 상기 저작 도구에 의해 수행되는, 방법.
  10. 제1항에 있어서, 상기 오디오 기반 햅틱 효과 신호를 생성하는 상기 단계는, 상기 장치에 의해 수행되는, 방법.
  11. 제2항에 있어서, 상기 혼합 단계는, 상기 오디오 신호와 상기 오디오 기반 햅틱 효과 신호 사이의 중첩 주파수들을 등화시키는 단계를 포함하는, 방법.
  12. 프로세서에 의해 실행될 때, 상기 프로세서가 적어도 하나의 액추에이터와 적어도 하나의 스피커를 포함하는 장치를 통해 햅틱 효과들을 생성하게 하는 명령어들을 저장한 컴퓨터 판독 가능 매체로서, 상기 햅틱 효과들의 생성은,
    고품질(HD) 햅틱 효과 신호를 수신하는 단계;
    적어도 상기 HD 햅틱 효과 신호에 기초하여 표준 품질(SD) 햅틱 효과 신호를 생성하는 단계;
    적어도 상기 HD 햅틱 효과 신호에 기초하여 오디오 기반 햅틱 효과 신호를 생성하는 단계; 및
    거의 동시에 상기 SD 햅틱 효과 신호를 상기 액추에이터를 통해 재생하고 상기 오디오 기반 햅틱 효과 신호를 상기 스피커를 통해 재생하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
  13. 제12항에 있어서, 상기 햅틱 효과들의 생성은,
    오디오 신호를 수신하는 단계; 및
    상기 오디오 신호와 상기 오디오 기반 햅틱 효과 신호를 혼합하는 단계를 더 포함하며;
    상기 오디오 기반 햅틱 효과 신호를 상기 스피커를 통해 재생하는 단계는, 상기 혼합 신호를 상기 스피커를 통해 재생하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
  14. 제12항에 있어서, 상기 SD 햅틱 효과 신호는 단일 주파수로 구성되는, 컴퓨터 판독 가능 매체.
  15. 제12항에 있어서, 상기 오디오 기반 햅틱 효과 신호는 복수의 주파수를 포함하는, 컴퓨터 판독 가능 매체.
  16. 제12항에 있어서, 상기 오디오 기반 햅틱 효과 신호는 상기 장치의 플랜트 모델을 결정하고 상기 플랜트 모델에 기초하여 상기 오디오 기반 햅틱 효과 신호를 변환함으로써 생성되는, 컴퓨터 판독 가능 매체.
  17. 제12항에 있어서, 상기 SD 햅틱 효과 신호는 상기 HD 햅틱 효과 신호로부터의 추출에 의해 생성되는, 컴퓨터 판독 가능 매체.
  18. 제12항에 있어서, 상기 액추에이터는 선형 공진 액추에이터인, 컴퓨터 판독 가능 매체.
  19. 제16항에 있어서, 상기 HD 햅틱 효과 신호는 저작 도구를 사용하여 생성되는, 컴퓨터 판독 가능 매체.
  20. 제19항에 있어서, 상기 장치의 상기 플랜트 모델을 결정하는 상기 단계는, 상기 저작 도구를 통해 타겟 장치를 선택하는 단계를 포함하고, 상기 오디오 기반 햅틱 효과 신호를 생성하는 상기 단계는 상기 저작 도구에 의해 수행되는, 컴퓨터 판독 가능 매체.
  21. 제12항에 있어서, 상기 오디오 기반 햅틱 효과 신호를 생성하는 상기 단계는 상기 장치에 의해 수행되는, 컴퓨터 판독 가능 매체.
  22. 제12항에 있어서, 상기 혼합 단계는 상기 오디오 신호와 상기 오디오 기반 햅틱 효과 신호 사이의 중첩 주파수들을 등화시키는 단계를 포함하는, 컴퓨터 판독 가능 매체.
  23. 햅틱 가능 장치로서,
    적어도 하나의 액추에이터;
    적어도 하나의 스피커;
    수신된 고품질(HD) 햅틱 효과 신호에 적어도 기초하여 표준 품질(SD) 햅틱 효과 신호를 생성하는 추출기;
    상기 HD 햅틱 효과 신호에 적어도 기초하여 오디오 기반 햅틱 효과 신호를 생성하는 필터; 및
    거의 동시에 상기 SD 햅틱 효과 신호를 상기 액추에이터를 통해 재생하고, 상기 오디오 기반 햅틱 효과 신호를 상기 스피커를 통해 재생하는 플레이어를 포함하는, 햅틱 가능 장치.
  24. 제23항에 있어서,
    오디오 신호와 상기 오디오 기반 햅틱 효과 신호를 혼합하는 믹서를 더 포함하며;
    상기 오디오 기반 햅틱 효과 신호를 상기 스피커를 통해 재생하는 것은, 상기 혼합 신호를 상기 스피커를 통해 재생하는 것을 포함하는, 햅틱 가능 장치.
  25. 제23항에 있어서, 상기 SD 햅틱 효과 신호는 단일 주파수로 구성되는, 햅틱 가능 장치.
  26. 제23항에 있어서, 상기 오디오 기반 햅틱 효과 신호는 복수의 주파수를 포함하는, 햅틱 가능 장치.
  27. 제23항에 있어서, 상기 오디오 기반 햅틱 효과 신호는 상기 장치의 플랜트 모델을 결정하고 상기 플랜트 모델에 기초하여 상기 오디오 기반 햅틱 효과 신호를 변환함으로써 생성되는, 햅틱 가능 장치.
  28. 제24항에 있어서, 상기 믹서는 상기 오디오 신호와 상기 오디오 기반 햅틱 효과 신호 사이의 중첩 주파수들을 등화시키는 이퀄라이저를 더 포함하는, 햅틱 가능 장치.
  29. 제23항에 있어서, 상기 액추에이터는 선형 공진 액추에이터 또는 편심 회전 질량 모터인, 햅틱 가능 장치.
KR1020150153498A 2014-12-24 2015-11-03 고대역폭 햅틱 효과의 오디오 향상된 시뮬레이션 KR20160078226A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/582,404 2014-12-24
US14/582,404 US9891714B2 (en) 2014-12-24 2014-12-24 Audio enhanced simulation of high bandwidth haptic effects

Publications (1)

Publication Number Publication Date
KR20160078226A true KR20160078226A (ko) 2016-07-04

Family

ID=54544946

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150153498A KR20160078226A (ko) 2014-12-24 2015-11-03 고대역폭 햅틱 효과의 오디오 향상된 시뮬레이션

Country Status (5)

Country Link
US (2) US9891714B2 (ko)
EP (1) EP3040810B1 (ko)
JP (1) JP2016123075A (ko)
KR (1) KR20160078226A (ko)
CN (1) CN105739674A (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699538B2 (en) 2016-07-27 2020-06-30 Neosensory, Inc. Method and system for determining and providing sensory experiences
US10198076B2 (en) 2016-09-06 2019-02-05 Neosensory, Inc. Method and system for providing adjunct sensory information to a user
EP3907734B1 (en) * 2016-11-14 2022-11-02 Goodix Technology (HK) Company Limited Linear resonant actuator controller
US10104471B2 (en) * 2016-11-30 2018-10-16 Google Llc Tactile bass response
US10181331B2 (en) 2017-02-16 2019-01-15 Neosensory, Inc. Method and system for transforming language inputs into haptic outputs
US10744058B2 (en) * 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
JP7042061B2 (ja) 2017-11-10 2022-03-25 株式会社バンダイナムコエンターテインメント 操作入力システム、操作入力装置及びゲームシステム
KR101899538B1 (ko) * 2017-11-13 2018-09-19 주식회사 씨케이머티리얼즈랩 햅틱 제어 신호 제공 장치 및 방법
US10360774B1 (en) * 2018-01-05 2019-07-23 Immersion Corporation Method and device for enabling pitch control for a haptic effect
IT201800002274A1 (it) * 2018-01-31 2019-07-31 Wugim Set S R L Dispositivo per la stimolazione vibroacustica
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11269415B2 (en) * 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
WO2020059018A1 (ja) * 2018-09-18 2020-03-26 ソニー株式会社 体感導入装置及び音響出力システム
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
EP3677996B1 (en) * 2019-01-07 2022-03-23 Goodix Technology (HK) Company Limited Audio-haptic signal generator
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
EP3938867A4 (en) * 2019-04-26 2022-10-26 Hewlett-Packard Development Company, L.P. SPATIAL AUDIO AND HAPTICS
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
CN114008569A (zh) 2019-06-21 2022-02-01 思睿逻辑国际半导体有限公司 用于在装置上配置多个虚拟按钮的方法和设备
CN110312038B (zh) * 2019-06-28 2020-10-02 Oppo（重庆）智能科技有限公司 信息提示方法及装置、电子设备、计算机可读存储介质
WO2021062276A1 (en) 2019-09-25 2021-04-01 Neosensory, Inc. System and method for haptic stimulation
EP4046001A1 (en) * 2019-10-14 2022-08-24 Lofelt GmbH Systems and methods for authoring an audio signal and for transforming the authored audio signal into a haptic data file
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11079854B2 (en) 2020-01-07 2021-08-03 Neosensory, Inc. Method and system for haptic stimulation
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN112083807B (zh) * 2020-09-20 2021-10-29 吉林大学 一种基于音触转换的足部地形触觉再现方法及装置
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
US11995240B2 (en) 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
US20240045505A1 (en) * 2022-08-03 2024-02-08 Qualcomm Incorporated Audio and haptic signal processing

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US20040264705A1 (en) * 2003-06-30 2004-12-30 Nokia Corporation Context aware adaptive equalization of user interface sounds
US7791588B2 (en) * 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US20060017691A1 (en) 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
US20100026037A1 (en) * 2004-12-21 2010-02-04 David Victor Opie Canopy for an open load carrying vehicle
CN104063056B (zh) * 2006-04-06 2018-04-20 意美森公司 用于增强的触觉效果的系统和方法
US8621348B2 (en) * 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
WO2010118313A1 (en) * 2009-04-10 2010-10-14 Immerz Inc. Systems and methods for acousto-haptic speakers
US8710968B2 (en) * 2010-10-07 2014-04-29 Motorola Mobility Llc System and method for outputting virtual textures in electronic devices
US9448626B2 (en) * 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
EP3557388A1 (en) 2012-02-03 2019-10-23 Immersion Corporation Sound to haptic effect conversion system using waveform
JP6541292B2 (ja) * 2012-02-15 2019-07-10 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ プリミティブを用いた高解像度ハプティック効果生成
US9143858B2 (en) * 2012-03-29 2015-09-22 Csr Technology Inc. User designed active noise cancellation (ANC) controller for headphones
US9128523B2 (en) * 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9245429B2 (en) 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system

Also Published As

Publication number Publication date
EP3040810A1 (en) 2016-07-06
US20160187987A1 (en) 2016-06-30
EP3040810B1 (en) 2019-08-21
US10429933B2 (en) 2019-10-01
US9891714B2 (en) 2018-02-13
JP2016123075A (ja) 2016-07-07
CN105739674A (zh) 2016-07-06
US20180164896A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
US10429933B2 (en) Audio enhanced simulation of high bandwidth haptic effects
JP6434669B2 (ja) 低周波数効果ハプティック変換システム
EP2703951B1 (en) Sound to haptic effect conversion system using mapping
US9454881B2 (en) Haptic warping system
KR102204606B1 (ko) 다수의 액츄에이터를 사용하는 사운드-햅틱 효과 변환 시스템
EP2624099B1 (en) Method and system for sound to haptic effect conversion using waveform
US20190267043A1 (en) Automated haptic effect accompaniment
JP2019067396A (ja) ハプティックピッチ制御
JP2018513430A (ja) スローモーションのためのハプティック効果の修正
US8494206B2 (en) Electronic device and method thereof
JP2017506008A (ja) 自己回帰モデルを用いて触覚係数を発生するための方法、そのような係数を再生するための信号およびデバイス
JP2017076377A (ja) 音を合成するための方法及びデバイス
JPWO2020003728A1 (ja) 符号化装置、符号化方法、復号装置、復号方法、プログラム
EP3674849A1 (en) Haptic effect signal processing
WO2020176383A1 (en) Audio data with embedded tags for rendering customized haptic effects
Väljamäe et al. Auditory cues for multisensory enhancement of self-motion perception. 1