KR101999565B1 - 파형을 이용한 사운드 대 햅틱 효과 변환 시스템 - Google Patents

파형을 이용한 사운드 대 햅틱 효과 변환 시스템 Download PDF

Info

Publication number
KR101999565B1
KR101999565B1 KR1020180082337A KR20180082337A KR101999565B1 KR 101999565 B1 KR101999565 B1 KR 101999565B1 KR 1020180082337 A KR1020180082337 A KR 1020180082337A KR 20180082337 A KR20180082337 A KR 20180082337A KR 101999565 B1 KR101999565 B1 KR 101999565B1
Authority
KR
South Korea
Prior art keywords
haptic
samples
waveform
signal
filtered
Prior art date
Application number
KR1020180082337A
Other languages
English (en)
Other versions
KR20180084707A (ko
Inventor
사트비르 싱 바티아
카나브 간디
크리스토퍼 제이. 울리치
주안 마누엘 크루즈-헤르난데즈
헤르베 쑤 티모네
제이슨 호이 펀 라우
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20180084707A publication Critical patent/KR20180084707A/ko
Application granted granted Critical
Publication of KR101999565B1 publication Critical patent/KR101999565B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

디지털 오디오 신호와 같은 오디오 데이터의 프레임들을 인터셉트하고, 프레임들을 햅틱 신호로 변형하고, 생성된 햅틱 신호를 액츄에이터를 통해 재생하여 햅틱 효과들을 생성하는 햅틱 변형 시스템이 제공된다. 햅틱 신호는, 햅틱 신호의 크기를 정의하는 각각의 오디오 데이터 프레임의 최대값에 기초한다. 햅틱 신호는 햅틱 신호를 수신하도록 구성된 액츄에이터에 인가되며, 상기 액츄에이터는 햅틱 신호를 이용하여 하나 이상의 햅틱 효과를 생성한다.

Description

파형을 이용한 사운드 대 햅틱 효과 변환 시스템{SOUND TO HAPTIC EFFECT CONVERSION SYSTEM USING WAVEFORM}
본 출원은 2011년 2월 11일에 출원된 미국 특허 가출원 제61/441,792호의 우선권을 주장하며, 그것의 명세서가 참조에 의해 여기에 포함된다.
일 실시예는 일반적으로 장치에 관한 것이고, 더 구체적으로는 햅틱 효과를 생성하는 장치에 관한 것이다.
햅틱은 힘, 진동 및 움직임과 같은 햅틱 피드백 효과들(즉, "햅틱 효과들")을 사용자에게 적용함으로써 사용자의 터치 감각을 활용하는 촉각 및 힘 피드백 기술이다. 모바일 장치, 터치스크린 장치 및 개인용 컴퓨터와 같은 장치들은 햅틱 효과들을 발생시키도록 구성될 수 있다. 일반적으로, (액츄에이터와 같은) 햅틱 효과들을 생성할 수 있는 임베드된 하드웨어에 대한 호출들은 장치의 운영 체제("OS") 내에 프로그래밍될 수 있다. 이러한 호출들은 어떤 햅틱 효과를 재생할지를 지정한다. 예를 들어, 사용자가 예를 들어 버튼, 터치스크린, 레버, 조이스틱, 휠 또는 소정의 다른 컨트롤을 이용하여 장치와 상호작용할 때, 장치의 OS는 재생 커맨드를 제어 회로망을 통해 임베드된 하드웨어에 송신할 수 있다. 그 다음, 임베드된 하드웨어는 적합한 햅틱 효과를 생성한다.
그러한 장치들은 또한 디지털 오디오 신호와 같은 오디오 데이터를 재생하도록 구성될 수 있다. 예를 들어, 그러한 장치들은 오디오 부분을 포함하는 영화 또는 비디오 게임과 같은 비디오 데이터, 또는 노래와 같은 오디오 데이터를 재생하도록 구성된 애플리케이션들을 포함할 수 있다. 햅틱과 마찬가지로, (스피커와 같이) 오디오 효과들을 생성할 수 있는 추가의 임베드된 하드웨어에 대한 호출들이 장치의 OS 내에 프로그래밍될 수 있다. 따라서, 장치의 OS는 제어 회로망을 통해 추가의 임베드된 하드웨어에 재생 커맨드를 송신할 수 있으며, 그러면, 그 추가의 임베드된 하드웨어는 적합한 오디오 효과를 생성한다.
일 실시예는 오디오 신호를 하나 이상의 햅틱 효과로 변환(convert)하는 시스템이다. 시스템은 오디오 신호의 데이터 프레임을 수신한다. 시스템은 또한 데이터 프레임의 최대값을 생성한다. 시스템은 데이터 프레임을 더 변형(transform)한다. 시스템은 변형된 데이터 프레임의 최대값에 기초하여 적어도 하나의 사인 캐리어 파형(sine carrier waveform)을 더 생성한다. 시스템은 또한 변형된 데이터 프레임을 적어도 하나의 사인 캐리어 파형과 혼합하여 변조된 데이터 프레임을 생성한다. 시스템은 또한 최대값 및 변조된 데이터 프레임에 기초하여 햅틱 신호를 생성한다. 시스템은 또한 하나 이상의 햅틱 효과를 생성하기 위해 햅틱 신호를 액츄에이터에 송신한다.
추가의 실시예들, 상세들, 이점들 및 수정들은 첨부 도면들과 함께 취해질 바람직한 실시예들에 관한 이하의 상세한 설명으로부터 분명해질 것이다.
도 1은 본 발명의 일 실시예들에 따른 햅틱 변환 시스템의 블록도를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따라 햅틱 변환 시스템의 아키텍처도를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따라 햅틱 변환 시스템에 의해 수행되는 기능성의 흐름도를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따라 출력값의 범위를 제어하기 위해 적용되는 선형 변환 함수를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따라 디지털 오디오 신호에 기초하여 생성되는 햅틱 효과의 크기의 예시적인 계산을 도시한 것이다.
도 6은 본 발명의 일 실시예에 따라 디지털 오디오 신호의 엔벨로프의 예시적인 계산을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따라 주파수 콘텐츠에 기초하는 디지털 오디오 신호의 엔벨로프의 예시적인 계산을 도시한 것이다.
도 8a는 본 발명의 일 실시예에 따라 디지털 오디오 신호가 필터링되기 전의 디지털 오디오 신호의 진폭 스펙트럼의 예시적인 계산을 도시한 것이다.
도 8b는 본 발명의 일 실시예에 따라 디지털 오디오 신호가 필터링된 후의 디지털 오디오 신호의 진폭 스펙트럼의 예시적인 계산을 도시한 것이다.
도 9는 본 발명의 일 실시예에 따른 햅틱 변환 모듈의 기능성의 흐름도를 도시한 것이다.
일 실시예는 디지털 오디오 신호와 같은 오디오 데이터의 하나 이상의 프레임을 인터셉트하고, 하나 이상의 프레임을 변형하고, 하나 이상의 변형된 프레임을 햅틱 신호로 변환하고, 생성된 햅틱 신호를 액츄에이터를 통해 재생하여 하나 이상의 햅틱 효과를 생성할 수 있는 햅틱 변환 시스템이다. 햅틱 신호는 파형을 포함할 수 있으며, 파형은 "PCM(pulse-coded modulation)" 포맷으로 된 하나 이상의 신호값의 집합이다. 햅틱 신호는 파형을 수신하도록 구성된 소정 유형의 액츄에이터에 적용될 수 있으며, 액츄에이터는 파형을 이용하여 하나 이상의 햅틱 효과를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 햅틱 변환 시스템(10)의 블록도를 도시한 것이다. 일 실시예에서, 시스템(10)은 모바일 장치의 일부이고, 시스템(10)은 모바일 장치를 위해 햅틱 변환 기능성을 제공한다. 단일 시스템으로서 도시되어 있긴 하지만, 시스템(10)의 기능성은 분산된 시스템으로서 구현될 수 있다. 시스템(10)은 정보를 전달하기 위한 버스(12) 또는 기타 통신 메커니즘, 및 정보를 처리하기 위해 버스(12)에 연결된 프로세서(22)를 포함한다. 프로세서(22)는 임의의 유형의 일반 목적 또는 특수 목적의 프로세서일 수 있다. 시스템(10)은 프로세서(22)에 의해 실행될 명령어들 및 정보를 저장하기 위한 메모리(14)를 더 포함한다. 메모리(14)는 랜덤 액세스 메모리("RAM"), 판독 전용 메모리("ROM"), 자기 또는 광학 디스크와 같은 정적 저장소, 또는 임의의 다른 유형의 컴퓨터 판독가능 매체의 임의의 조합으로 구성될 수 있다.
컴퓨터 판독가능한 매체는 프로세서(22)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체 둘 다, 이동식 및 고정식 매체, 및 저장 매체를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), 레지스터, 하드 디스크, 이동식 디스크, CD-ROM(compact disk read-only memory), 또는 본 기술분야에 알려진 임의의 다른 형태의 저장 매체를 포함할 수 있다.
일 실시예에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능성을 제공하는 소프트웨어 모듈들을 저장한다. 모듈들은 일 실시예에서 모바일 장치의 시스템(10)뿐만 아니라 다른 것들을 위한 운영 체제 기능성을 제공하는 운영 체제(15)를 포함한다. 모듈들은 이하에 더 상세하게 개시되는 바와 같이, 오디오 신호를 하나 이상의 햅틱 효과를 생성하기 위해 이용되는 햅틱 신호로 변환하는 햅틱 변환 모듈(16)을 더 포함한다. 일부 실시예들에서, 햅틱 변환 모듈(16)은 오디오 신호를 하나 이상의 햅틱 효과를 생성하기 위해 이용되는 햅틱 신호로 변환하기 위한 특수한 개별 기능성을 각각 제공하는 복수의 모듈을 포함할 수 있다. 시스템(10)은 전형적으로 Immersion Corporation에 의한 MOTIV® 햅틱 개발 플랫폼(Haptic Development Platform)과 같이, 추가의 기능성을 포함하기 위해 하나의 추가의 애플리케이션 모듈(18)을 포함할 것이다.
원격 소스들로부터 데이터를 송신 및/또는 수신하는 실시예들에서, 시스템(10)은 적외선, 라디오, Wi-Fi, 셀룰러 네트워크, 또는 기타 차세대 무선 데이터 네트워크 통신과 같은 모바일 무선 네트워크 통신을 제공하기 위해 네트워크 인터페이스 카드와 같은 통신 장치(20)를 더 포함한다. 다른 실시예들에서, 통신 장치(20)는 이더넷 접속 또는 모뎀과 같은 유선 네트워크 접속을 제공한다.
프로세서(22)는 사용자에게 그래픽 표현 또는 사용자 인터페이스를 디스플레이하기 위해, 버스(12)를 통해 LCD(Liquid Crystal Display)와 같은 디스플레이(24)에 더 연결된다. 디스플레이(24)는 프로세서(22)로부터 신호들을 송신 및 수신하도록 구성된 터치 스크린과 같은 터치 감지 입력 장치일 수 있고, 멀티터치 터치 스크린일 수 있다.
시스템(10)은 하나 이상의 액츄에이터(26)를 더 포함한다. 프로세서(22)는 햅틱 효과에 연관된 햅틱 신호를 액츄에이터(26)에 송신할 수 있고, 이어서 액츄에이터는 햅틱 효과들을 출력한다. 액츄에이터(26)는 예를 들어 전기 모터, 전자기 액츄에이터, 보이스 코일, 형상 기억 합금, EAP(electro-active polymer), 솔레노이드, ERM(eccentric rotating mass motor), LRA(linear resonant actuator), 압전 액츄에이터, 고 대역폭 액츄에이터, EAP 액츄에이터, 정전 마찰 디스플레이, 또는 초음파 진동 발생기일 수 있다.
일부 실시예들에서, 시스템(10)은 하나 이상의 스피커(28)를 더 포함한다. 프로세서(22)는 오디오 신호를 스피커(28)에 송신할 수 있고, 이어서 스피커는 오디오 효과들을 출력한다. 스피커(28)는 예를 들어 다이내믹 라우드스피커, 일렉트로다이내믹 라우드스피커, 압전 라우드스피커, 자기 변형(magnetostrictive) 라우드스피커, 정전 라우드스피커, 리본 및 평면 자기 라우드스피커, 굴곡 진동 라우드스피커(bending wave loudspeaker), 평면판 라우드스피커, 하일 에어 모션 트랜스듀서(heil air motion transducer), 플라즈마 아크 스피커, 및 디지털 라우드스피커일 수 있다.
도 2는 본 발명의 일 실시예에 따라 햅틱 변환 시스템의 아키텍처도를 도시한 것이다. 도시된 실시예에서, 햅틱 변환 시스템은 오디오 트랙 모듈(210) 및 스피커(220)를 포함한다. 오디오 트랙 모듈(210)은 하나 이상의 PCM 오디오 버퍼를 수신하고 그 하나 이상의 PCM 오디오 버퍼를 스피커(220)에 스트리밍하도록 구성된 (모바일 장치와 같은) 장치를 위한 운영 체제의 모듈이며, 각각의 PCM 오디오 버퍼는 하나 이상의 PCM 오디오 데이터 프레임을 포함한다. 일 실시예에서, 오디오 트랙 모듈(210)은 모바일 장치를 위한 Android® 운영 체제의 안드로이드 오디오트랙(Android AudioTrack) 모듈이다. 스피커(220)는 하나 이상의 PCM 오디오 버퍼를 수신하고, 하나 이상의 오디오 효과를 출력하도록 구성된 스피커이다. 스피커(220)는 예를 들어 다이내믹 라우드스피커, 일렉트로다이내믹 라우드스피커, 압전 라우드스피커, 자기 변환 라우드스피커, 정전 라우드스피커, 리본 및 평면 자기 라우드스피커, 굴곡 진동 라우드스피커, 평면판 라우드스피커, 하일 에어 모션 트랜스듀서, 플라즈마 아크 스피커, 및 디지털 라우드스피커일 수 있다.
또한, 햅틱 변환 시스템은 실시예에 따라 햅틱 변환 모듈(230)을 포함한다. 일부 실시예들에서, 햅틱 변환 모듈(230)은 도 1의 햅틱 변환 모듈(16)과 동일하다. 도시된 실시예에서, 햅틱 변환 모듈(230)은 3개의 서브모듈, 즉 리버브(reverb) 모듈(231), 붐박스(boombox) 모듈(232), 및 대역 통과 필터(233)로 구성된다. 그러나, 이것은 단지 예시적인 실시예이고, 대안적인 실시예들에서, 햅틱 변환 모듈(230)은 임의의 개수의 서브모듈로 구성될 수 있고, 또는 햅틱 변환 모듈(230)은 단일 모듈일 수 있다.
실시예에 따르면, 리버브 모듈(231)은 오디오 트랙 모듈(210)이 스피커(220)에 스트리밍하는 하나 이상의 오디오 버퍼를 인터셉트하도록 구성된다. 리버브 모듈(231)은 각각의 오디오 버퍼의 각각의 오디오 데이터 프레임을 붐박스 모듈(232)에 송신하도록 더 구성된다. 붐박스 모듈(232)은 각각의 오디오 데이터 프레임을 분석하고, 각각의 오디오 데이터 프레임에 대한 최대값을 계산하도록 구성된다. 붐박스 모듈(232)에 의해 수행되는 각각의 오디오 데이터 프레임에 대한 최대값의 계산은 이하에서 도 4-7을 참조하여 더 상세하게 더 설명된다. 붐박스 모듈(232)은 각각의 오디오 데이터 프레임에 대한 최대값을 리버브 모듈(231)에 반환하도록 더 구성된다.
붐박스 모듈(232)은 각각의 오디오 버퍼의 각각의 오디오 데이터 프레임을 대역 통과 필터(233)에 송신하도록 더 구성된다. 대역 통과 필터(233)는 각각의 오디오 버퍼의 각각의 오디오 데이터 프레임을 대역 통과 필터링하도록 구성된다. 각각의 오디오 데이터 프레임을 대역 통과 필터링함으로써, 대역 통과 필터(233)는 주어진 오디오 버퍼 내의 임의의 주어진 범위의 주파수 신호들의 하나 이상의 주파수 대역(예를 들어, 0-500㎐ 범위 내의 주파수 신호들의 단일 주파수 대역)에 대해 필터링할 수 있다 . 따라서, 이러한 주파수 범위 내의 모든 신호는 이러한 신호들만의 새로운 오디오 버퍼를 생성하기 위해 추출될 수 있다. 이러한 필터링으로부터 산출되는 효과는 "베이스-부스트(bass-boost)" 또는 "서브우퍼(subwoofer)" 신호 유형일 수 있다. 대역 통과 필터(233)는 각각의 대역 통과 필터링된 오디오 데이터 프레임을 붐박스 모듈(232)에 반환하도록 더 구성된다. 대안적인 실시예들에서, 대역 통과 필터(233)는 필터가 아니라 (디지털 신호 프로세서("DSP") 프로세스, 상태 머신, 또는 다른 유형의 프로그램 논리와 같은) 변형 모듈이다. 이러한 대안적인 실시예들에서, 변형 모듈은 수신된 오디오 데이터 프레임을 새로운 오디오 데이터 프레임으로 변형할 수 있고, 여기에서 변형은 반드시 필터링 변형은 아니다.
붐박스 모듈(232)은 각각의 대역 통과 필터링된 오디오 데이터 프레임에 대하여, 대역 통과 필터링된 오디오 데이터 프레임의 최대값에 기초하여 사인파 주기의 캐리어 주파수(sine-wave periodic carrier frequency)("사인 캐리어 파형"으로서도 식별됨)를 생성하도록 더 구성된다. 사인파 주기의 캐리어 주파수의 생성은 도 3과 관련하여 더 상세하게 더 설명된다. 대안적인 실시예들에서, 붐박스 모듈(232)은 복수의 사인파 주기의 주파수를 생성하도록 더 구성될 수 있다. 각각의 대역 통과 필터링된 오디오 데이터 프레임에 대하여, 붐박스 모듈(232)은 생성된 사인파 주기의 캐리어 주파수를 대역 통과 필터링된 오디오 데이터 프레임에 추가하여(생성된 사인파 주기의 캐리어 주파수를 대역 통과 필터링된 오디오 데이터 프레임과 혼합하는 것으로서도 식별됨) 대역 통과 필터링된 오디오 데이터 프레임을 변조하도록 더 구성된다. 붐박스 모듈(232)은 각각의 변조된 오디오 데이터 프레임을 리버브 모듈(231)에 반환하도록 더 구성된다.
햅틱 변환 시스템은 또한 햅틱 효과 플레이어 모듈(240) 및 액츄에이터(250)를 포함한다. 햅틱 효과 플레이어 모듈(240)은 (모바일 장치와 같은) 장치 내에 임베드되고, 하나 이상의 햅틱 신호를 액츄에이터에 송신함으로써 액츄에이터에서 하나 이상의 햅틱 효과를 재생하도록 구성된 모듈이다. 일 실시예에서, 햅틱 효과 플레이어 모듈(240)은 Immersion Corporation에 의한 TouchSense Player® 모듈이다. 액츄에이터(250)는 하나 이상의 햅틱 신호를 수신하도록 구성되고 하나 이상의 햅틱 효과를 출력하도록 구성된 액츄에이터이다. 일부 실시예들에서, 액츄에이터(250)는 파형을 수신하도록 구성된 액츄에이터이고, 파형은 액츄에이터를 통해 재생될 때 파형 효과의 크기 및 정밀도를 제어하기 위해 사용된다. 액츄에이터(250)는 예를 들어 압전 액츄에이터, 고 대역폭 액츄에이터, 또는 EAP 액츄에이터일 수 있다.
실시예에 따르면, 리버브 모듈(231)은 각각의 오디오 데이터 프레임의 각각의 최대값이 특정 임계값보다 큰지를 결정하도록 구성된다. 오디오 데이터 프레임의 최대값이 특정 임계값보다 클 때, 리버브 모듈(231)은 햅틱 효과 플레이어 모듈(240)의 애플리케이션 프로그램 인터페이스("API")를 호출하고 대응하는 변조된 오디오 데이터 프레임을 API의 매개변수로서 햅틱 효과 플레이어 모듈(240)에 송신하도록 구성된다. 오디오 데이터 프레임의 최대값이 특정 임계값 이하일 때, 리버브 모듈(231)은 오디오 데이터 프레임을 무시하고 대응하는 변조된 오디오 데이터 프레임을 햅틱 효과 플레이어 모듈(240)에 송신하지 않도록 구성된다. 일부 실시예들에서, 햅틱 효과 플레이어 모듈(240)의 API는 Immersion Corporation에 의한 TouchSense Player® 모듈의 "ImmVibeAppendWaveformEffect" API이다. 다른 실시예들에서, API는 "ImmVibePlayMagSweepEffect" 또는 "ImmVibePlayPeriodicEffect"일 수 있다. 햅틱 효과 플레이어 모듈(240)의 API는 변조된 오디오 데이터 프레임을 액츄에이터(250)에 송신하고, 액츄에이터(250)는 변조된 오디오 데이터 프레임에 기초하여 적합한 파형을 재생하도록 구성된다. 실시예에 따르면, 변조된 오디오 데이터 프레임은 액츄에이터(250)에 의해 재생되는 파형으로서 기능하고, 파형은 주기적 햅틱 신호에 추가하여 강조되는 하나 이상의 주파수 대역을 포함하고, 변조된 오디오 데이터 프레임은 액츄에이터(250)에 의해 재생되는 파형의 정밀도를 제어할 수 있다. 파형을 재생함으로써, 액츄에이터(250)는 햅틱 효과를 생성한다.
도 3은 본 발명의 일 실시예에 따라 햅틱 변환 시스템에 의해 수행되는 기능성의 흐름도를 도시한 것이다. 일 실시예에서, 도 3의 기능성과 도 9의 기능성은 메모리나 다른 컴퓨터 판독가능한 매체 또는 유형의(tangible) 매체에 저장되고 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예들에서, 기능성은 하드웨어(예를 들어, ASIC(application specific integrated circuit), PGA( programmable gate array), FPGA(field programmable gate array) 등의 이용을 통해), 또는 하드웨어 및 소프트웨어의 임의의 조합에 의해 수행될 수 있다. 또한, 대안적인 실시예들에서, 기능성은 아날로그 컴포넌트들을 이용하는 하드웨어에 의해 수행될 수 있다.
실시예에 따르면, 햅틱 변환 시스템은 운영 체제(300), 리버브 모듈(301), 붐박스 모듈(302), 및 IIR(infinite impulse response) 필터(303)를 포함한다. 운영 체제(300)는 (모바일 장치와 같은) 장치의 운영 체제이다. 도시된 실시예에서, 운영 체제(300)는 모바일 장치를 위한 Android® 운영 체제이다. 리버브 모듈(301), 붐박스 모듈(302) 및 IIR 필터(303)는 (도 1의 햅틱 변환 모듈(16)과 같은) 햅틱 변환 모듈의 서브모듈들이다. 일부 실시예들에서, 리버브 모듈(301), 붐박스 모듈(302) 및 IIR 필터(303)는 각각 도 2의 리버브 모듈(231), 붐박스 모듈(232) 및 대역 통과 필터(233)와 동일하다.
실시예에 따르면, 305에서, 오디오 신호를 생성하도록 구성된 애플리케이션이 생성된다. 애플리케이션은 운영 체제(300) 내에서 실행될 수 있는 임의의 애플리케이션이다. 도시된 실시예에서, 애플리케이션은 Android® 애플리케이션이다. 흐름은 310으로 진행한다. 310에서, "SoundPool" 오브젝트가 애플리케이션에 의해 생성되고, SoundPool 오브젝트는 SoundPool API(Android® API임)의 인스턴스이고, SoundPool 오브젝트는 애플리케이션을 위한 오디오 자원들을 관리하고 재생한다. SoundPool 오브젝트는 장치 내에 저장된 자원으로부터 또는 장치의 파일 시스템 내에 저장된 파일로부터 장치의 메모리 내로 로드될 수 있는 오디오 샘플들의 컬렉션을 포함할 수 있다. SoundPool 오브젝트는 오디오 샘플들의 컬렉션을 미가공 16비트 PCM 모노 또는 스테레오 버퍼 내로 디코딩할 수 있다. 흐름은 315로 진행한다. 315에서, 다른 오디오 오브젝트들은 애플리케이션에 의해 생성되고, 다른 오디오 오브젝트들은 다른 오디오 API들의 인스턴스들이다. 다른 오디오 오브젝트들은 또한 오디오 샘플들을 16비트 PCM 오디오 버퍼 내로 디코딩할 수 있다. 흐름은 320으로 진행한다. 320에서, AudioTrack 오브젝트가 SoundPool 오브젝트 또는 다른 오디오 오브젝트들 중 하나에 의해 생성된다. AudioTrack 오브젝트는 하나 이상의 PCM 오디오 버퍼를 수신하고 그 하나 이상의 PCM 오디오 버퍼를 스트리밍하도록 구성된다.
흐름은 325로 진행한다. 325에서, 리버브 오브젝트가 생성된다. 리버브 오브젝트는 리버브 모듈(301)의 인스턴스이고, 리버브 오브젝트는 앞에서 도 2와 관련하여 설명된 바와 같이 AudioTrack 오브젝트에 의해 송신되는 PCM 오디오 버퍼의 하나 이상의 오디오 데이터 프레임을 처리하도록 구성된다. 흐름은 330으로 진행한다. 330에서, 리버브 오브젝트의 하나 이상의 세팅이 설정된다. 리버브 세팅들의 예는 햅틱 변환 인에이블/디스에이블, 미디어에 대한 햅틱 변환 인에이블/디스에이블, 3가지 선택안(예를 들어, 약함, 중간 및 강함)으로부터의 햅틱 변환의 강도 선택, 및 (예를 들어 목록으로부터의) 햅틱 변환이 인에이블되는 하나 이상의 애플리케이션의 선택을 포함할 수 있다. 일부 실시예들에서, 상기 세팅들은 "XML(extensible markup language)" 파일 내에 저장된다. 상기 세팅들은 XML 파일로부터 판독되고 리버브 오브젝트 내에 저장될 수 있으며, 리버브 오브젝트는 특정 애플리케이션들에 대해서는 인에이블될 수 있고 다른 애플리케이션들에 대해서는 디스에이블될 수 있다. 일부 실시예들에서, 강도, 밀도 및 선명도(sharpness)로서 식별되는 3개의 값은 3가지 인자, 즉 (1) 강도 세팅(예를 들어, 약함, 중간 및 강함), (2) (사용자 인터페이스 이벤트들을 햅틱 효과들로 맵핑하는) 햅틱 테마, 및 (3) 액츄에이터 타입에 기초한다. 강도, 밀도 및 선명도값은 생성되어 리버브 오브젝트 내에 저장될 수 있다. 흐름은 335로 진행한다. 335에서, 붐박스 오브젝트는 리버브 오브젝트에 의해 생성된다. 붐박스 오브젝트는 붐박스 모듈(302)의 인스턴스이고, 도 2와 관련하여 앞에서 설명된 바와 같이, 붐박스 오브젝트는 리버브 오브젝트로부터 오디오 데이터 프레임을 수신하고, 오디오 데이터 프레임의 최대값을 생성하고, 오디오 데이터 프레임의 최대값을 리버브 오브젝트에 송신하고, 오디오 데이터 프레임을 필터링될 IIR 필터(303)에 송신하고, 사인파 주기의 캐리어 주파수를 생성하고, 생성된 사인파 주기의 캐리어 주파수를 필터링된 오디오 데이터 프레임과 혼합하도록 구성된다. 일부 실시예들에서, 리버브 오브젝트 내에서 생성되고 저장되는 강도 및 밀도값들은 붐박스 오브젝트 내에도 저장될 수 있다.
흐름은 340으로 진행한다. 340에서, 리버브 오브젝트는 AudioTrack 오브젝트로부터 수신된 PCM 오디오 버퍼의 오디오 데이터 프레임을 붐박스 오브젝트에 송신한다. 흐름은 345로 진행한다. 345에서, 붐박스 오브젝트는 오디오 데이터 프레임 내에 포함된 데이터를 샘플링한다. 그러한 샘플링은 도 4-7과 관련하여 더 상세하게 더 설명된다. 흐름은 350으로 진행한다. 350에서, 붐박스 오브젝트는 오디오 데이터 프레임 내에 포함된 데이터를 단일 전압값(즉, 최대값)으로 번역한다. 그러한 번역도 역시 도 4-7과 관련하여 더 상세하게 더 설명된다. 그 다음, 붐박스 오브젝트는 단일 전압값을 리버브 오브젝트에 반환한다.
흐름은 355로 진행한다. 355에서, 리버브 오브젝트는 임계값 작업(thresholding task)을 수행한다. 더 구체적으로, 리버브 오브젝트는 붐박스 오브젝트로부터 수신된 오디오 데이터 프레임의 최대값이 지정된 임계값보다 큰지를 결정한다. 반환되는 최대값은 먼저, 일 실시예에서 0과 10,000 사이에서 변할 수 있는 힘 값에 선형 맵핑된다. 예를 들어, 임계값은 1,000으로 지정될 수 있다. 이러한 예에서, 힘의 값이 1,000보다 큰 경우에는, 오디오 데이터 프레임이 오디오 버퍼에 기입되어, 후속하여 액츄에이터에 송신된다. 힘의 값이 1,000 이하인 경우에는 오디오 데이터 프레임이 "드롭"되고(즉, 오디오 버퍼에 기입되지 않고) 후속하여 액츄에이터에 송신되지 않는다. 따라서, 실시예에 따르면, 모든 오디오 데이터 프레임이 액츄에이터에서 반드시 재생되지는 않는다. 흐름은 360으로 진행한다. 355에서 오디오 데이터 프레임이 "드롭"되지 않았다고 가정하면, 360에서, 리버브 오브젝트는 오디오 버퍼로부터 오디오 데이터 프레임을 판독한다.
흐름은 365로 진행한다. 365에서, 리버브 오브젝트는 오디오 데이터 버퍼 내에 저장된 오디오 데이터 프레임을 붐박스 오브젝트에 송신한다. 흐름은 370으로 진행한다. 370에서, 붐박스 오브젝트는 예를 들어 8㎑ 모노 오디오에서 오디오 데이터 프레임을 리샘플링한다. 붐박스 오브젝트는 후속하여, 리샘플링된 오디오 데이터 프레임을 IIR 필터(303)에 송신한다. 흐름은 375로 진행한다. 375에서, IIR 필터(303)는 예를 들어 500㎐에서, 수신된 오디오 데이터 프레임을 저역 통과 필터링한다. 본 예에서, IIR 필터(303)는 오디오 데이터 프레임을 저역 통과 필터링함으로써 오디오 데이터 프레임 내의 저주파수 신호들의 단일 주파수 대역(예를 들어 0-500㎐) 상에서 필터링한다. IIR 필터(303)는 후속하여 저역 통과 필터링된 오디오 데이터 프레임을 붐박스 오브젝트에 반환한다. 대안적인 실시예들에서, IIR 필터(303)는 필터가 아니라 (DSP 프로세스, 상태 머신, 또는 다른 유형의 프로그램 논리와 같은) 변형 모듈이다. 이러한 대안적인 실시예들에서, 변형 모듈은 수신된 오디오 데이터 프레임을 새로운 오디오 데이터 프레임으로 변형할 수 있고, 변형이 반드시 필터링 변형은 아니다.
흐름은 380으로 진행한다. 380에서, 붐박스 오브젝트는 필터링된 오디오 데이터 프레임 내에 포함된 오디오 데이터 신호를 부스트한다. 오디오 데이터 신호를 부스트하는 것은 오디오 데이터 신호의 모든 PCM 값들을 정수로 곱하는 것을 수반할 수 있다. 흐름은 385로 진행한다. 385에서, 붐박스 오브젝트는 액츄에이터의 공진 주파수 또는 원하는 임의의 다른 주파수에서 사인 캐리어 파형("사인파 주기적인 캐리어 주파수" 또는 "사인파"로도 식별됨)을 생성하고, 사인 캐리어 파형을 필터링된 오디오 데이터 프레임 내에 포함된 오디오 데이터 신호와 혼합한다. 더욱 구체적으로, 붐박스 오브젝트는 필터링된 오디오 데이터 프레임에 대해 A로서 식별되는, 그의 최대값(즉, 진폭)을 스캔한다. 그 다음, 붐박스 오브젝트는 공식 val = sin(2*pi*주파수*위상)을 이용하여, 필터링된 오디오 데이터 프레임의 계산된 사인값을 검색하기 위해서 (C++ 프로그래밍 언어 sin() 함수와 같은) 사인 함수를 활용하고, 여기서 주파수는 필터링된 오디오 데이터 프레임의 주파수이고, 위상은 필터링된 오디오 데이터 프레임의 위상이다. 후속하여, 붐박스 오브젝트는 계산된 사인값(즉, val)을 필터링된 오디오 프레임의 최대값 또는 진폭(즉, A)으로 곱한다. 이 계산은 완전 사인 캐리어 파형(full sine carrier waveform)을 생성한다. 그 다음에 붐박스 오브젝트는 혼합된 값을 계산하고, 여기서 혼합된 값은 필터링된 오디오 데이터 프레임과 완전 사인 캐리어 파형의 혼합을 표현한다. 더욱 구체적으로, 붐박스 오브젝트는 공식 final = (mix* bpSample ) + ((1-mix)* (A*val))에 따라 혼합된 값을 계산하고, 여기서 final은 필터링된 오디오 데이터 프레임과 완전 사인 캐리어 파형의 혼합을 표현하고, bpSample은 필터링된 오디오 데이터 프레임이고, mix는 0과 1 사이의 소수 값이고, A는 필터링된 오디오 프레임의 최대값 또는 진폭이고, val은 완전 사인 캐리어 파형의 계산된 사인값이다. 따라서, 실시예에 따르면, 필터링된 오디오 데이터 프레임과 완전 사인 캐리어 파형의 혼합은 필터링된 오디오 데이터 프레임과 완전 사인 캐리어 파형의 혼합(즉, final)을 표현하는 혼합된 값이 결코 1을 초과하지 않도록 보장함으로써 정규화된다. 만약, 대신에, 필터링된 오디오 데이터 프레임(즉, bpSample)이 단순히 필터링된 오디오 프레임의 최대값 또는 진폭(즉, A)과 완전 사인 캐리어 파형의 계산된 사인값(즉, val)의 곱에 부가되면, 결과는 아주 심한(overpowering), 원하지 않는, 잡음이 있는 햅틱 신호를 산출한다. 이것은 전술한 바와 같이, 필터링된 오디오 데이터 프레임과 완전 사인 캐리어 파형의 혼합을 정규화함으로써 회피될 수 있다. 그 다음에 붐박스 오브젝트는 필터링된 오디오 데이터 프레임과 완전 사인 캐리어 파형의 혼합을 리버브 오브젝트(reverb object)에 반환한다. 다른 실시예들에서, 다중 동시 캐리어 신호들(상이한 주파수들에서)은 고대역폭 출력 신호를 생성하는 데 이용될 수 있다. 이들 실시예들에서, 개별 캐리어들의 합은 여기에 제시된 알고리즘의 확장을 이용하여 수행된다.
흐름은 390으로 진행한다. 390에서, 리버브 오브젝트는 필터링된 오디오 데이터 프레임과 완전 사인 캐리어 파형의 혼합을 이용하여 액츄에이터에서 파형 효과를 재생한다. 액츄에이터에서 파형 효과를 재생함으로써, 리버브 오브젝트는 액츄에이터가 햅틱 효과를 생성하게 한다.
앞서 설명한 바와 같이, 햅틱 변환 모듈(예를 들어, 도 1의 햅틱 변환 모듈(16))은 PCM 오디오 데이터 버퍼 내에 포함된 오디오 신호를 처리한다. 또한 앞서 설명한 바와 같이, 오디오 신호의 처리는 PCM 오디오 데이터 버퍼의 각각의 오디오 데이터 프레임의 샘플링, PCM 오디오 데이터 버퍼의 각각의 오디오 데이터 프레임에 대한 최대값의 계산, 및 크기 필터링(magnitude filtering)을 포함한다. 오디오 신호의 이러한 처리는 이제 더 상세히 설명된다.
특정 실시예들에 따르면, 오디오 신호의 엔벨로프가 먼저 추출된다. 엔벨로프는 원래의 오디오 신호 또는 필터링된 버전의 원래의 오디오 신호의 모든 주파수들을 이용하여 추출될 수 있다. 그러나, 엔벨로프 자체는 원래의 오디오 신호와 동일한 주파수 콘텐츠를 갖지 않는다.
일 실시예에서, 오디오 데이터 프레임이 오디오 신호로부터 취해진다. 예로서, 오디오 데이터 프레임은 1ms의 프레임 길이를 가질 수 있다. 다른 예로서, 오디오 데이터 프레임은 10ms의 프레임 길이를 가질 수 있다. 1ms 오디오 데이터 프레임은 500Hz 초과의 주파수들의 엔벨로프를 캡처하지만, 더 저 주파수들은 캡처되지 않고, "누설(leak)"된다. 10ms 프레임은 50Hz 초과의 주파수들의 엔벨로프를 캡처하고, 등등이다. 일 실시예에서, 프레임의 각각의 샘플의 절대값이 계산된다. 대안적인 실시예에서, 절대값보다는, 프레임의 각각의 샘플의 제곱이 계산된다. 이러한 처리는 햅틱 변환 모듈(예를 들어, 도 1의 햅틱 변환 모듈(16))에 의해 수행되는 오디오 데이터 프레임의 샘플링을 구성한다.
절대 샘플값들(또는 대안적인 실시예에서 제곱 샘플값들)의 최대값 "V1"이 계산된다. 그 다음에 최대값 "V1"은 도 4와 관련하여 아래에서 설명되는 바와 같이, 선형 변환 함수를 이용하여 변환될 수 있다.
도 4는 본 발명의 일 실시예에 따른, 출력값의 범위를 제어하기 위해 적용되는 선형 변환 함수(400)를 예시한다. 실시예에 따르면, 도 4에 예시된 바와 같이, 선형 변환 함수(400)를 적용하여 출력값 "V1"의 범위를 제어해서 새로운 값 "V2"를 얻을 수 있다. 예시된 실시예에 따르면, "x0"은 [2..20]과 같은 주어진 범위 내에서 변할 수 있다. "x0"은 새로운 값 "V2"로 변환될 최소값 "V1"을 정의한다. "ymax"는 예 [60..255]와 같은 주어진 범위 내에서 변할 수 있다. "ymax"는 최대 변환값 "V2"를 정의한다. "V1"이 "x0"보다 작거나 같으면, 출력값 "V2"는 0과 같다. "V1"이 "x0"보다 크면, 출력값 "V2"는 "V1"을 함수의 기울기로 곱함으로써 획득된다. "V2"는 클램핑되고 "Vmax"보다 클 수 없다. 대안적인 실시예에서, (x0, y0) 및 (x1, ymax) 을 이용하는 더욱 일반적인 맵핑이 또한 이용될 수 있다. 이러한 처리는 햅틱 변환 모듈(예를 들어, 도 1의 햅틱 변환 모듈(16))에 의해 수행되는 오디오 데이터 프레임의 최대값의 계산을 포함한다.
그러므로, 실시예에 따르면, 오디오 신호의 엔벨로프가 햅틱 신호의 진폭에 맵핑되고, 햅틱 신호의 진폭은 필터링된다. 대안적인 실시예에서, 오디오 신호의 엔벨로프는 먼저 필터링될 수 있고, 그 다음에 오디오 신호의 필터링된 엔벨로프가 햅틱 신호의 진폭에 맵핑될 수 있다.
햅틱 변환 모듈(예를 들어, 도 1의 햅틱 변환 모듈(16))에 의해 수행되는 크기 필터링이 이제 더 상세히 설명된다. 햅틱 효과의 크기(또는 강도) "V3"가 이전값 "V2"를 이용하여 계산된다. 특정 실시예들에서, "V3"은 주파수에 맵핑될 수 있다. 다른 실시예들에서, "V3"은 주파수 값들의 세트에 맵핑될 수 있다. 반복 "i"의 "V2"가 반복 "i-1"의 "V2"보다 작으면, 출력 "V3"은 0 또는 어떤 다른 작은 값에 설정될 수 있거나, 그렇지 않으면 출력은 변경되지 않은 채로 유지된다("V3"="V2"). 이 특정 기법은 햅틱 이벤트를 표현하는 신호의 피크값들을 캡처할 수 있고, 독립적인 햅틱 효과를 그 햅틱 이벤트에 자동으로 연관시킨다. 이러한 기법은 또한 다음 햅틱 이벤트가 재생되기 전에 액츄에이터가 자리 잡도록(settle down) 하는 데 이용될 수 있고, 따라서 사용자가 너무 많은 햅틱 정보로 포화되는 것을 방지한다. 대안적인 실시예에서, 반복 "i"의 "V2"가 반복 "i-1"의 "V2"보다 작을 때, 0으로의 급락(sharp drop)보다는, 더 부드러운 쇠퇴(decay)가 이용될 수 있다. 0% 내지 100%의 범위를 갖는 "선명도" 파라미터를 이용하여 "V2"에 적용될 쇠퇴의 양을 정의할 수 있다: V3 = V2 x 선명도 / m, 여기서, "m"은 1로부터 시작하는 정수 제수이고 반복 "i"의 "V2"가 반복 "i-1"의 "V2"보다 작은 한 증분한다. 실시예에 따르면, "m"은 반복 "i"의 "V2"가 반복 "i-1"의 "V2"보다 크거나 같을 때, 또는 다시 말해, "V3"="V2"일 때, 다시 1로 리셋된다. 특정 실시예들에서, 리버브 오브젝트 내에서 발생되고 저장되는 선명도 값이 선명도 파라미터로서 이용된다.
도 5는 본 발명의 일 실시예에 따른, 디지털 오디오 신호에 기초하여 생성되는 햅틱 효과의 크기의 예시적인 계산(500)을 도시한다. 도 5는 44100Hz에서 샘플링된 오디오 신호(510), 20ms 프레임 길이에 대해 계산된 최대값(520), 및 크기 필터링에 의해 얻어진 펄스들(530)을 예시한다. 실시예에 따르면, 펄스들(530)은 오디오 신호(510)의 엔벨로프를 캡처하고, 따라서 펄스들(530)은 하나 이상의 햅틱 효과를 통해 이 정보를 사용자에게 전달할 수 있다.
도 6은 본 발명의 일 실시예에 따른, 디지털 오디오 신호의 엔벨로프의 예시적인 계산(600)을 도시한다. 도 6은 오디오 신호(610), 오디오 신호(610)의 절대값을 저역 통과 필터링하는 것에 의해 얻어진 엔벨로프(620), 및 이 경우 20ms의 특정 프레임에 대한 절대값의 최대를 계산하는 엔벨로프 값(630)을 예시한다.
특정 ms 지속기간의 각각의 프레임은 주파수 도메인에서 처리된다. 따라서, 특정 실시예들에서, 프레임의 고속 푸리에 변환(fast fourier transformation; FFT)을 이용하여 주파수 콘텐츠를 추출할 수 있다. 다른 실시예들에서, 대역 통과 필터들을 이용하여 주파수 콘텐츠를 추출할 수 있다.
일 실시예에서, 프레임 정보는 베이스 또는 저 주파수(예를 들어, 200Hz보다 낮음), 중간 주파수(예를 들어, 240Hz 내지 4000KHz), 및 고 주파수(예를 들어, 4400KHz보다 높음)로 분할될 수 있고, 중간 주파수 콘텐츠 및 고 주파수 콘텐츠는 신호의 콘텐츠를 이용하여 추출된다.
도 7은 본 발명의 일 실시예에 따른, 주파수 콘텐츠에 기초한 디지털 오디오 신호의 엔벨로프의 예시적인 계산(700)을 도시한다. 실시예에 따르면, 앞서 설명한 바와 같이 일단 오디오 데이터 프레임이 처리되면 최대값이 얻어진다. 사실상, 3개의 최대값이 얻어지는데, 하나는 저 주파수 대역들에 대한 것이고, 하나는 중간 주파수 대역들에 대한 것이고, 하나는 고 주파수 대역들에 대한 것이다. 도 7에 예시된 바와 같이, 그래프(710)는 처리되지 않은 최대값(전체 오디오 신호에 기초함)을 표현하고, 그래프(720)는 오디오 신호의 저 주파수 범위에 대응하는 최대값을 표현하고, 그래프(730)는 오디오 신호의 중간 주파수 범위에 대응하는 최대값을 표현하고, 그래프(740)는 오디오 신호의 고 주파수 범위에 대응하는 최대값을 표현한다.
실시예에 따르면, 신호가 처리되기 시작할 때, 저 주파수 대역(즉, 그래프(720)) 및 고 주파수 대역(즉, 그래프(740))의 주파수 값보다 큰 최대값이 획득된다고 고려하면, 제1 프레임은 더 많은 중간 주파수 콘텐츠(즉, 그래프(730))를 포함한다.
실시예에 따르면, 햅틱 효과는 프레임의 주파수 콘텐츠가 이전 프레임의 주파수 콘텐츠와 상이할 때 재생될 수 있다. 도 7에 예시된 바와 같이, 햅틱 효과는 화살표들(701-707)에 의해 표시된 위치들에서 재생될 것이다.
대안적인 실시예들에서, 이 기법의 변형들은 모든 주파수 변경에서 다음과 같은 크기를 갖는 펄스를 재생하는 것을 포함한다: 처리되지 않은 프레임의 최대 크기; 주파수 대역에 대응하는 최대 크기; 제1 프레임에 대해서만 TouchSense 소프트웨어에서 허용되는 최대 크기.
특정 대안적인 실시예들에서, 다음의 프레임들이 동일한 주파수 콘텐츠를 갖는다면, 처리되지 않은 프레임의 크기는 재생될 수 있거나, 또는 처리된 프레임의 크기는 재생될 수 있거나, 또는 프레임이 동일한 주파수 콘텐츠를 갖는 한 아마도 작은, 일정한 진동이 재생될 수 있거나, 또는 크기는 주파수 대역의 파워 콘텐츠에 기초하여 변화될 수 있다.
특정 대안적인 실시예들에서, 상이한 주파수 콘텐츠를 갖는 프레임이 발견될 때 상이한 햅틱 효과가 재생될 수 있다.
또한, 사운드에 대한 인간의 인지는 선형적이지 않고 사운드의 주파수에 의존한다. 더욱 구체적으로, 인간들은 고주파수들보다 저주파수들에 더욱 민감하다. 성별과 나이도 인지에 영향을 미친다. 따라서, 특정 실시예들에서, 특정 주파수들을 부스트하는 보상 인자가 존재할 수 있다. 부스팅 인자는 일부 주파수 대역들이 수동으로 증대(enhance)되는 경우 사운드에 대한 인간의 인지 또는 심지어 사용자들의 선호도에 기초할 수 있다. 소프트웨어는 일반적으로 사용자들이 사운드에 대해 더 낮은 민감도를 갖는다고 알려진 경우 고주파수 콘텐츠를 증대할 수 있다. 이것은 특정 대역에 대한 햅틱 효과가 더 큰 강도로 될 수 있게 할 것이고, 따라서 사용자의 청각 시스템에 의해 인지되고 인식되는 동안, 충분한 전력을 갖지 않을 수 있는 사운드를 증대할 수 있다.
도 8a는 본 발명의 일 실시예에 따른, 디지털 오디오 신호가 필터링되기 전의 디지털 오디오 신호의 진폭 스펙트럼의 예시적인 계산(800)을 도시한다. 예시적인 계산(800)에서, 디지털 오디오 신호의 주파수가 x-축을 따라 표현되고, 디지털 오디오 신호의 각각의 주파수에서 전력의 절대값이 y-축을 따라 표현된다. 도 8a에 예시된 바와 같이, 어떤 크기의 전력이 모든 주파수에 대해 제공된다.
도 8b는 본 발명의 일 실시예에 따른, 디지털 오디오 신호가 필터링된 후의 디지털 오디오 신호의 진폭 스펙트럼의 예시적인 계산(810)을 도시한다. 앞서 설명한 바와 같이, 디지털 오디오 신호는 주어진 오디오 버퍼에서의 저 주파수 신호들의 단일 주파수 대역에서 필터링될 수 있다(예를 들어, 0-500Hz). 예시적인 계산(800)과 유사하게, 디지털 오디오 신호의 주파수가 x-축을 따라 표현되고, 디지털 오디오 신호의 진폭의 절대값이 y-축을 따라 표현된다. 그러나, 도 8b에 예시된 바와 같이, 진폭은 오직 저 주파수 신호들의 단일 필터링된 주파수 대역에 대해서만 제공된다(즉, 0-500Hz).
특정 실시예들에서, 햅틱 변환 시스템의 사용자는 사운드-햅틱 효과 변환 알고리즘을 커스터마이즈(customize)할 수 있다. 더욱 구체적으로, 사용자는 디지털 오디오 신호가 저역 통과 필터, 고역 통과 필터, 또는 대역 통과 필터를 이용하여 필터링될지를 선택할 수 있다. 대안적으로, 또는 필터 타입을 커스터마이즈하는 것에 부가하여, 사용자는 미리 정의된 파라미터들 사이에서 선택하는 것보다 필터 파라미터들을 특정할 수 있다. 이들 실시예들에 따르면, 햅틱 변환 시스템은 그래픽 사용자 인터페이스 내에서 하나 이상의 사용자 정의 파라미터들을 표시할 수 있다. 그 다음에 사용자는 그래픽 사용자 인터페이스를 이용하여, 하나 이상의 사용자 정의 파라미터로부터 선택할 수 있거나, 하나 이상의 사용자 정의 파라미터를 특정할 수 있다. 예를 들어, 사용자는 저역 통과 필터, 대역 통과 필터, 및 고역 통과 필터 중에서 사운드-햅틱 효과 변환 알고리즘에 활용되는 필터의 타입을 선택할 수 있다. 다른 예로서, 사용자는 하나 이상의 컷 오프(cut-off) 주파수들을 특정할 수 있고, 250 내지 500Hz의 값 대신에 사용자는 임의의 값들을 특정할 수 있다. 또 다른 예로서, 사용자는 사운드-햅틱 효과 변환 알고리즘에 이용되는 이득을 특정할 수 있다.
특정 실시예들에서, 미리 정의된 필터 파라미터들을 활용하는 것보다, 햅틱 변환 시스템은 사용자 정의 파라미터들에 기초하여 실행시간에 필터 파라미터들을 계산할 수 있다. 더욱 구체적으로, 사용자는 필터 타입을 선택할 수 있다. 예를 들어, 사용자는 버터워스(Butterworth) 디자인, 베셀(Bessel) 디자인, 또는 체비세프(Chebyshev) 디자인을 선택할 수 있고, 각각의 디자인에 대해, 사용자는 저역 통과 필터, 고역 통과 필터, 대역 통과 필터, 또는 대역 저지 필터(band-stop filter)를 선택할 수 있다. 사용자가 체비세프 디자인을 선택하면, 사용자는 또한 리플(ripple)을 특정할 수 있다. 사용자는 또한 필터 차수, 및 샘플 레이트를 특정할 수 있다. 사용자는 또한 사용자가 저역 통과 필터 또는 고역 통과 필터를 선택했다면 1개의 코너 주파수를, 그리고 사용자가 대역 통과 필터 또는 대역 저지 필터를 선택했다면 2개의 코너 주파수를 특정할 수 있다. 사용자는 또한 옵션의 부가적인 제로 값 및 크기 스케일의 옵션의 더 낮은 한계를 선택할 수 있다. 또한, 사용자는 필터가 이중선형 변환 방법(bilinear transform method) 또는 매칭된 z-변환 방법(matched z-transform method)에 의해 디자인되는지도 선택할 수 있다. 그 다음에 햅틱 변환 시스템은 사용자에 의해 특정된 파라미터들에 기초하여 실행시간에 하나 이상의 필터 파라미터를 계산할 수 있다.
도 9는 본 발명의 일 실시예에 따른, 햅틱 변환 모듈(예를 들어, 도 1의 햅틱 변환 모듈(16))의 기능성의 흐름도를 예시한다. 910에서, 오디오 신호의 데이터 프레임이 수신된다. 특정 실시예들에서, 오디오 신호가 스피커로 스트리밍될 때 오디오 신호는 인터셉트된다. 또한, 특정 실시예들에서, 오디오 신호는 PCM 오디오 버퍼이다. 흐름은 920으로 진행한다.
920에서, 데이터 프레임의 최대값이 발생된다. 특정 실시예들에서, 데이터 프레임의 하나 이상의 샘플 값을 발생하기 위해 데이터 프레임을 샘플링함으로써 최대값이 발생되고, 최대값은 하나 이상의 샘플값들의 최대값이다. 일 실시예에서, 하나 이상의 샘플값들은 절대값들이다. 대안적인 실시예에서, 하나 이상의 샘플값들은 제곱 값들이다. 특정 실시예들에서, 최대값은 선형 변환 함수를 이용하여 원래의 최대값으로부터 변환된다. 흐름은 930으로 진행한다.
930에서, 데이터 프레임이 변형된다. 특정 실시예들에서, 데이터 프레임이 대역 통과 필터를 이용하여 대역 통과 필터링된다. 이러한 실시예들에서, 데이터 프레임 내의 주파수 신호들의 단일 주파수 대역이 필터링된다. 대안적인 실시예들에서, 데이터 프레임은 IIR 필터를 이용하여 저역 통과 필터링된다. 이러한 실시예들에서, 데이터 프레임 내의 주파수 신호들의 단일 주파수 대역이 필터링될 수 있다. 예를 들면, 0-500Hz의 대역이 필터링될 수 있다. 특정 실시예들에서, 데이터 프레임이 변형되기 전에, 데이터 프레임은 재샘플링된다. 특정 실시예들에서, 데이터 프레임이 변형된 후에, 데이터 프레임에 포함된 디지털 오디오 신호가 부스팅된다. 흐름은 940으로 진행한다.
940에서, 적어도 하나의 사인 캐리어 파형은 변형된 데이터 프레임의 최대값에 기초하여 생성된다. 특정 실시예들에서, 변형된 데이터 프레임은 스캐닝되고, 변형된 데이터 프레임의 최대값이 결정된다. 다음으로, 사인 함수가 변형된 데이터 프레임의 주파수 및 변형된 데이터 프레임의 위상에 기초하여 변형된 데이터 프레임의 계산된 사인 값을 검색하는데에 이용된다. 이어서, 적어도 하나의 사인 캐리어 파형을 생성하도록, 계산된 사인 값은 변형된 데이터 프레임의 최대값으로 곱해진다.
950에서, 변형된 데이터 프레임이 적어도 하나의 사인 캐리어 파형과 혼합되어 변조된 데이터 프레임을 생성한다. 특정 실시예들에서, 변형된 데이터 프레임과 적어도 하나의 사인 캐리어 파형의 혼합이 정규화되는 공식에 따라, 변형된 데이터 프레임이 적어도 하나의 사인 캐리어 파형과 혼합된다.
960에서, 햅틱 신호가 최대값 및 변조된 데이터 프레임에 기초하여 생성된다. 특정 실시예들에서, 최대값은 햅틱 신호가 생성되는지를 결정하고, 변조된 데이터 프레임은 햅틱 신호의 정밀도를 정의한다. 최대값이 햅틱이 생성되는지를 결정하는 특정 실시예들에서, 햅틱 신호는 최대값이 특정 임계값보다 클 때만 생성된다. 흐름은 970으로 진행한다.
970에서, 햅틱 신호가 액츄에이터를 통해 송신되어 하나 이상의 햅틱 효과를 생성한다. 특정 실시예들에서, 햅틱 신호는 파형 효과이다. 또한, 특정 실시예들에서, 햅틱 신호를 생성하여 송신하는 것은 변조된 데이터 프레임을 파라미터로서 햅틱 효과 플레이어 모듈의 애플리케이션 프로그래밍 인터페이스에 패스하는 것을 포함한다.
따라서, 실시예에 따라, 햅틱 변환 시스템은 오디오 신호의 일부인 오디오 데이터 프레임을 인터셉트하고, 오디오 데이터 프레임을 햅틱 신호로 변환하고, 여기서 각각의 오디오 데이터 프레임의 최대값은 각각의 필터링된 오디오 데이터 프레임과 혼합되는 사인파 주기적인 캐리어 주파수를 정의하여 햅틱 신호의 파형을 정의하고, 햅틱 효과를 발생시키도록 액츄에이터를 통해 변환된 햅틱 신호를 재생한다. 햅틱 변환 시스템에 의해 수행되는 각각의 오디오 데이터 프레임의 변조는 액츄에이터 자체 내에 느껴지는 큰 정밀도 및 사실성을 시연하고, 그 결과 액츄에이터에서 재생되는 햅틱 신호의 더 많은 유연성을 초래한다.
본 명세서를 통해 기재된 본 발명의 특징, 구성, 또는 특성은 하나 이상의 실시예들에서 임의의 적절한 방식으로 결합될 수 있다. 예를 들어, 이 명세서 내의 "일 실시예", "일부 실시예들", "특정 실시예', "특정 실시예들", 또는 다른 유사한 언어의 사용은 그 실시예와 연관되어 설명된 특정한 특징, 구성, 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수 있다는 사실을 가리킨다. 따라서, 이 명세서에서의 "일 실시예", "일부 실시예들", "특정 실시예", "특정 실시예들", 또는 다른 유사한 언어의 사용은 반드시 동일한 실시예들의 그룹을 지칭하는 것은 아니며, 설명된 특징, 구성, 또는 특성들은 하나 이상의 실시예들에서 임의의 적절한 방식으로 결합될 수 있다.
통상의 기술자는 전술한 본 발명이 개시된 것과는 상이한 순서의 단계들로, 및/또는 상이한 구성의 요소들로 실시될 수 있음을 쉽게 이해할 것이다. 그러므로, 본 발명이 이러한 선호되는 실시예들에 기초하여 설명되었지만, 본 발명의 사상 및 범주 내에서, 특정 수정, 변형, 및 대안적인 구성이 당업자에게는 명백할 것이다. 그러므로, 본 발명의 경계를 결정하기 위해서, 첨부된 청구 범위가 참조되어야 한다.
10: 햅틱 변환 시스템
12: 버스
14: 메모리
15: 운영 체제
16: 햅틱 변환 모듈
18: 기타 애플리케이션
20: 통신 장치
22: 프로세서
24: 디스플레이
26: 액츄에이터
28: 스피커

Claims (19)

  1. 오디오 신호를 하나 이상의 햅틱 효과로 변환하는 방법으로서, 상기 방법은 프로세서에 의해 수행되고,
    상기 오디오 신호의 샘플 세트를 수신하는 단계;
    상기 샘플 세트에 대하여 주파수 필터링을 수행하여 필터링된 샘플 세트를 생성하는 단계;
    상기 필터링된 샘플 세트를 주기적인 파형과 혼합함으로써 햅틱 신호를 생성하는 단계; 및
    상기 햅틱 신호를 액츄에이터에 송신하여 상기 하나 이상의 햅틱 효과를 생성하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 주기적인 파형은, 상기 액츄에이터의 공진 주파수인 주파수를 갖는, 방법.
  3. 오디오 신호를 하나 이상의 햅틱 효과로 변환하는 방법으로서, 상기 방법은 프로세서에 의해 수행되고,
    상기 오디오 신호의 샘플 세트를 수신하는 단계;
    상기 샘플 세트에 대하여 주파수 필터링을 수행하여 필터링된 샘플 세트를 생성하는 단계;
    상기 필터링된 샘플 세트를 주기적인 파형과 혼합함으로써 햅틱 신호를 생성하는 단계; 및
    상기 햅틱 신호를 액츄에이터에 송신하여 상기 하나 이상의 햅틱 효과를 생성하는 단계
    를 포함하고,
    상기 필터링된 샘플 세트는 필터링된 오디오 데이터 프레임을 형성하고, 상기 주기적인 파형은 상기 필터링된 오디오 데이터 프레임의 주파수와 동일한 주파수를 갖는, 방법.
  4. 제1항에 있어서,
    상기 주기적인 파형은 상기 필터링된 샘플 세트의 최대값에 기초한 진폭을 갖는, 방법.
  5. 오디오 신호를 하나 이상의 햅틱 효과로 변환하는 방법으로서, 상기 방법은 프로세서에 의해 수행되고,
    상기 오디오 신호의 샘플 세트를 수신하는 단계;
    상기 샘플 세트에 대하여 주파수 필터링을 수행하여 필터링된 샘플 세트를 생성하는 단계;
    상기 필터링된 샘플 세트를 주기적인 파형과 혼합함으로써 햅틱 신호를 생성하는 단계; 및
    상기 햅틱 신호를 액츄에이터에 송신하여 상기 하나 이상의 햅틱 효과를 생성하는 단계
    를 포함하고,
    상기 필터링된 샘플 세트를 상기 주기적인 파형과 혼합하는 단계는,
    상기 필터링된 샘플 세트와 상기 주기적인 파형의 가중합(weighted sum)을 생성하는 단계를 포함하는, 방법.
  6. 제5항에 있어서,
    상기 가중합은 제1 파형을 제2 파형에 더한 것과 동일하고, 상기 제1 파형은 상기 필터링된 샘플 세트에 제1 수를 곱한 것과 동일하고, 상기 제2 파형은 상기 주기적인 파형에 제2 수를 곱한 것과 동일하고, 상기 제2 수는 1에서 상기 제1 수를 뺀 것과 동일하고, 상기 제1 수는 0보다 크고 1보다 작은 소수(decimal value)인, 방법.
  7. 제1항에 있어서,
    상기 주파수 필터링은,
    상기 오디오 신호의 샘플 세트로부터, 500 Hz보다 낮은 주파수 콘텐츠를 추출하도록 구성되는 필터로 수행되는, 방법.
  8. 제1항에 있어서,
    상기 주파수 필터링은,
    상기 오디오 신호의 샘플 세트로부터, 200 Hz보다 낮은 주파수 콘텐츠를 추출하도록 구성되는 필터로 수행되는, 방법.
  9. 제1항에 있어서,
    상기 주파수 필터링은, 사용자 입력에 의해 선택되는 주파수 필터로 수행되는, 방법.
  10. 제1항에 있어서,
    상기 햅틱 신호는, 상기 샘플 세트의 최대값이 지정된 임계값보다 큰 경우에만, 상기 액츄에이터로 송신되는, 방법.
  11. 제1항에 있어서,
    상기 샘플 세트는, 상기 주파수 필터링이 수행되기 전에 재샘플링되는(resampled), 방법.
  12. 제1항에 있어서,
    상기 주기적인 파형은 서로 다른 각각의 주파수를 갖는 복수의 주기적인 파형들 중 하나이고, 상기 햅틱 신호는 상기 필터링된 샘플 세트를 상기 복수의 주기적인 파형들과 혼합함으로써 생성되는, 방법.
  13. 제1항에 있어서,
    상기 샘플 세트는 오디오 버퍼로부터 수신되는, 방법.
  14. 제1항에 있어서,
    상기 주기적인 파형은 사인 캐리어 파형(sine carrier waveform)인, 방법.
  15. 명령어들이 저장된 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은, 프로세서에 의해 실행될 때 상기 프로세서로 하여금:
    오디오 신호의 샘플 세트를 수신하고,
    상기 샘플 세트에 대하여 주파수 필터링을 수행하여 필터링된 샘플 세트를 생성하고,
    상기 필터링된 샘플 세트를 주기적인 파형과 혼합함으로써 햅틱 신호를 생성하고,
    상기 햅틱 신호를 액츄에이터에 송신하여 하나 이상의 햅틱 효과를 생성하도록 하는, 비일시적 컴퓨터 판독가능 매체.
  16. 프로세서;
    액츄에이터; 및
    명령어들이 저장된 비일시적 컴퓨터 판독가능 매체를 포함하고,
    상기 명령어들은, 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금:
    오디오 신호의 샘플 세트를 수신하고,
    상기 샘플 세트에 대하여 주파수 필터링을 수행하여 필터링된 샘플 세트를 생성하고,
    상기 필터링된 샘플 세트를 주기적인 파형과 혼합함으로써 햅틱 신호를 생성하고,
    상기 햅틱 신호를 상기 액츄에이터에 송신하여 하나 이상의 햅틱 효과를 생성하도록 하는, 햅틱 변환 시스템.
  17. 제16항에 있어서,
    상기 햅틱 변환 시스템은 모바일 장치인, 햅틱 변환 시스템.
  18. 오디오 신호를 하나 이상의 햅틱 효과로 변환하는 방법으로서,
    상기 오디오 신호의 샘플 세트를 수신하는 단계;
    상기 샘플 세트의 최대값을 결정하는 단계;
    상기 샘플 세트에 대하여 주파수 필터링을 수행하여 필터링된 샘플 세트를 생성하는 단계;
    상기 필터링된 샘플 세트에 기초한 제1 파형을 결정하는 단계;
    주기적인 파형에 기초한 제2 파형을 결정하는 단계 - 상기 주기적인 파형은 상기 샘플 세트의 최대값에 기초한 진폭을 가짐 -;
    상기 제1 파형과 상기 제2 파형의 합인 햅틱 신호를 생성하는 단계; 및
    상기 햅틱 신호를 액츄에이터에 송신하여 상기 하나 이상의 햅틱 효과를 생성하는 단계
    를 포함하는, 방법.
  19. 제18항에 있어서,
    상기 제1 파형은 상기 필터링된 샘플 세트에 제1 수를 곱한 것과 동일하고, 상기 제2 파형은 상기 주기적인 파형에 제2 수를 곱한 것과 동일하고, 상기 제1 수는 0보다 크고 1보다 작은 소수(decimal value)이고, 상기 제2 수는 1에서 상기 제1 수를 뺀 것과 동일한, 방법.
KR1020180082337A 2011-02-11 2018-07-16 파형을 이용한 사운드 대 햅틱 효과 변환 시스템 KR101999565B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161441792P 2011-02-11 2011-02-11
US13/366,010 2012-02-03
US13/366,010 US8717152B2 (en) 2011-02-11 2012-02-03 Sound to haptic effect conversion system using waveform

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120013995A Division KR101880764B1 (ko) 2012-02-03 2012-02-10 파형을 이용한 사운드 대 햅틱 효과 변환 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190081323A Division KR20190084014A (ko) 2011-02-11 2019-07-05 파형을 이용한 사운드 대 햅틱 효과 변환 시스템

Publications (2)

Publication Number Publication Date
KR20180084707A KR20180084707A (ko) 2018-07-25
KR101999565B1 true KR101999565B1 (ko) 2019-07-15

Family

ID=46636445

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020120013978A KR102005115B1 (ko) 2011-02-11 2012-02-10 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템
KR1020130080952A KR20130086590A (ko) 2011-02-11 2013-07-10 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템
KR1020180082337A KR101999565B1 (ko) 2011-02-11 2018-07-16 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
KR1020190081323A KR20190084014A (ko) 2011-02-11 2019-07-05 파형을 이용한 사운드 대 햅틱 효과 변환 시스템

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020120013978A KR102005115B1 (ko) 2011-02-11 2012-02-10 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템
KR1020130080952A KR20130086590A (ko) 2011-02-11 2013-07-10 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020190081323A KR20190084014A (ko) 2011-02-11 2019-07-05 파형을 이용한 사운드 대 햅틱 효과 변환 시스템

Country Status (4)

Country Link
US (5) US8717152B2 (ko)
JP (2) JP6026751B2 (ko)
KR (4) KR102005115B1 (ko)
CN (4) CN108181996A (ko)

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
WO2013169301A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Variable feedback based on drag input
WO2013170099A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Calibration of haptic feedback systems for input devices
US20150109223A1 (en) 2012-06-12 2015-04-23 Apple Inc. Haptic electromagnetic actuator
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9886116B2 (en) 2012-07-26 2018-02-06 Apple Inc. Gesture and touch input detection through force sensing
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
WO2014049392A1 (en) * 2012-09-25 2014-04-03 Nokia Corporation Method and display device with tactile feedback
US9092059B2 (en) * 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US9128523B2 (en) * 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US8866601B2 (en) * 2013-02-05 2014-10-21 Immersion Corporation Overdrive voltage for an actuator to generate haptic effects
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
JP2014180572A (ja) * 2013-03-15 2014-09-29 Immersion Corp プログラマブル触覚周辺装置
KR101666393B1 (ko) * 2013-03-27 2016-10-14 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
US9997032B2 (en) * 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
EP3399763A1 (en) 2013-05-24 2018-11-07 Immersion Corporation Method and system for haptic data encoding
US9274603B2 (en) 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
JP6667987B2 (ja) 2013-09-06 2020-03-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9898086B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9576445B2 (en) * 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9898085B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9273928B1 (en) * 2013-09-13 2016-03-01 Steven K. Uhlmann Device for cyclically operating a firearm trigger
US9207764B2 (en) 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US20150242037A1 (en) 2014-01-13 2015-08-27 Apple Inc. Transparent force sensor with strain relief
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
US10394326B2 (en) * 2014-03-31 2019-08-27 Sony Corporation Tactile sense presentation apparatus, signal generation device, tactile sense presentation system, and tactile sense presentation method
US10139907B2 (en) 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
US20160019877A1 (en) * 2014-07-21 2016-01-21 Jesse Martin Remignanti System for networking audio effects processors, enabling bidirectional communication and storage/recall of data
US10297119B1 (en) 2014-09-02 2019-05-21 Apple Inc. Feedback device in an electronic device
US9939901B2 (en) 2014-09-30 2018-04-10 Apple Inc. Haptic feedback assembly
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9812165B2 (en) 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
CA2976312C (en) * 2015-02-20 2023-06-13 Ultrahaptics Ip Limited Perceptions in a haptic system
US9798409B1 (en) 2015-03-04 2017-10-24 Apple Inc. Multi-force input device
KR102267474B1 (ko) 2015-05-11 2021-06-21 삼성전자주식회사 진동 제어 장치와 이를 포함하는 컴퓨팅 장치
EP3304251B1 (en) * 2015-06-03 2023-10-11 Razer (Asia-Pacific) Pte. Ltd. Haptics devices and methods for controlling a haptics device
WO2017031500A1 (en) * 2015-08-20 2017-02-23 Bodyrocks Audio Incorporated Devices, systems, and methods for vibrationally sensing audio
KR102373541B1 (ko) * 2015-08-31 2022-03-11 삼성전자주식회사 반도체 장치, 스택 반도체 장치 및 이의 테스트 방법
US10310804B2 (en) * 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
KR101790892B1 (ko) * 2016-05-17 2017-10-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
US10210724B2 (en) * 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
US10198076B2 (en) 2016-09-06 2019-02-05 Neosensory, Inc. Method and system for providing adjunct sensory information to a user
WO2018066299A1 (ja) * 2016-10-07 2018-04-12 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6977312B2 (ja) 2016-10-07 2021-12-08 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
EP3907734B1 (en) * 2016-11-14 2022-11-02 Goodix Technology (HK) Company Limited Linear resonant actuator controller
US10152296B2 (en) 2016-12-28 2018-12-11 Harman International Industries, Incorporated Apparatus and method for providing a personalized bass tactile output associated with an audio signal
US10748448B2 (en) 2017-04-17 2020-08-18 Facebook, Inc. Haptic communication using interference of haptic outputs on skin
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10942569B2 (en) * 2017-06-26 2021-03-09 SonicSensory, Inc. Systems and methods for multisensory-enhanced audio-visual recordings
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
KR102443324B1 (ko) 2017-09-15 2022-09-14 풔스 디멘션 에스에이알엘 진동-촉각력 피드백 방법 및 디바이스
KR102208810B1 (ko) * 2017-10-20 2021-01-28 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 시스템
US10959674B2 (en) 2017-10-23 2021-03-30 Datafeel Inc. Communication devices, methods, and systems
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
EP3540567B1 (en) 2018-03-16 2021-05-05 Goodix Technology (HK) Company Limited Haptic signal generator
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
EP3579081A1 (en) 2018-06-07 2019-12-11 Lofelt GmbH Systems and methods for generating haptic output for enhanced user experience
KR102100871B1 (ko) * 2018-08-09 2020-04-23 김정욱 음원 기반의 진동패턴 생성장치
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US10852831B2 (en) * 2018-11-26 2020-12-01 Zinitix Co., Ltd. User interface device driving chip for providing improved input feedback and electronic device using the same
KR102656636B1 (ko) 2018-11-30 2024-04-12 주식회사 씨케이머티리얼즈랩 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법
CN113015950A (zh) 2018-12-12 2021-06-22 阿尔卑斯阿尔派株式会社 触觉呈现装置、触觉呈现系统、控制方法以及程序
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
WO2020157978A1 (ja) * 2019-02-01 2020-08-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
KR102273805B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
KR102141889B1 (ko) * 2019-02-19 2020-08-06 주식회사 동운아나텍 적응적 햅틱 신호 발생 장치 및 방법
CN112166399A (zh) * 2019-02-22 2021-01-01 Ck高新材料有限公司 声音信号转换成触觉信号的触觉提供装置及方法
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10828672B2 (en) * 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US20220113801A1 (en) * 2019-04-26 2022-04-14 Hewlett-Packard Development Company, L.P. Spatial audio and haptics
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
JP7252866B2 (ja) * 2019-09-10 2023-04-05 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
US20210110841A1 (en) * 2019-10-14 2021-04-15 Lofelt Gmbh System and method for transforming authored haptic data to fit into haptic bandwidth
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
KR20210088371A (ko) 2020-01-06 2021-07-14 주식회사 비햅틱스 촉각자극 제공 시스템
US11079854B2 (en) * 2020-01-07 2021-08-03 Neosensory, Inc. Method and system for haptic stimulation
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN112083807B (zh) * 2020-09-20 2021-10-29 吉林大学 一种基于音触转换的足部地形触觉再现方法及装置
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
WO2022094439A1 (en) 2020-10-30 2022-05-05 Datafeel Inc. Wearable data communication apparatus, kits, methods, and systems
JP2022097227A (ja) * 2020-12-18 2022-06-30 株式会社Ｊｖｃケンウッド 情報提供装置、情報提供方法、およびプログラム
CN112669873B (zh) * 2020-12-25 2024-05-03 瑞声光电科技(常州)有限公司 一种基于音乐频率的振动频率设计方法
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
CN114995638A (zh) * 2022-05-12 2022-09-02 北京有竹居网络技术有限公司 触觉信号生成方法、装置、可读介质及电子设备
KR102516138B1 (ko) * 2022-10-12 2023-03-30 주식회사 비츠나인 진동 생성 방법 및 컴퓨터 프로그램

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010104953A1 (en) * 2009-03-10 2010-09-16 Artificial Muscle, Inc. Electroactive polymer transducers for tactile feedback devices

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL70153A0 (en) 1983-11-07 1984-02-29 Navot Technology Ltd Audiotactile communication system
US5675709A (en) * 1993-01-21 1997-10-07 Fuji Xerox Co., Ltd. System for efficiently processing digital sound data in accordance with index data of feature quantities of the sound data
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US5842163A (en) * 1995-06-21 1998-11-24 Sri International Method and apparatus for computing likelihood and hypothesizing keyword appearance in speech
JP3824182B2 (ja) * 1996-09-20 2006-09-20 ソニー株式会社 音声増幅装置及び通信端末装置並びに音声増幅方法
US7091948B2 (en) * 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
US6285351B1 (en) * 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
JPH1133230A (ja) * 1997-07-16 1999-02-09 Sega Enterp Ltd 通信ゲームシステム
JPH11196497A (ja) * 1998-01-06 1999-07-21 Matsushita Electric Ind Co Ltd 振動による情報伝達装置
JPH11296126A (ja) 1998-04-15 1999-10-29 Iida Denshi Sekkei Kk 聴覚的情報の補助的提示方法及び聴覚的情報の補助的提示装置
KR20010111233A (ko) * 2000-06-09 2001-12-17 오원근 청각 장애자용 소리 인식장치
US6751534B2 (en) 2000-12-21 2004-06-15 Ford Global Technologies, Llc System and method for providing feedback to a driver of a hybrid vehicle
JP2003099177A (ja) 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
SE0303161L (sv) 2003-11-26 2004-11-23 Gateway Security Ab Artikelövervakningssystem, samt sätt att detektera om ett larmtillstånd föreligger
US7791588B2 (en) 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
TWI296787B (en) * 2005-01-19 2008-05-11 Lightuning Tech Inc Storage device and method for protecting data stored therein
JP5208362B2 (ja) 2005-10-28 2013-06-12 ソニー株式会社 電子機器
KR101384434B1 (ko) 2006-04-06 2014-04-10 임머숀 코퍼레이션 햅틱 효과 개선을 위한 시스템들 및 방법들, 및 기록 매체
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US20080084384A1 (en) 2006-10-05 2008-04-10 Immersion Corporation Multiple Mode Haptic Feedback System
US8520866B2 (en) * 2006-12-15 2013-08-27 Nokia Corporation Apparatus, method, and computer program product providing sound-produced tactile feedback
US8098234B2 (en) * 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
JP2008203559A (ja) * 2007-02-20 2008-09-04 Toshiba Corp 対話装置及び方法
JP4467601B2 (ja) 2007-05-08 2010-05-26 ソニー株式会社 ビート強調装置、音声出力装置、電子機器、およびビート出力方法
JP5270118B2 (ja) 2007-07-05 2013-08-21 富士通コンポーネント株式会社 触覚提示装置及び触覚提示方法
US7741979B2 (en) 2007-07-06 2010-06-22 Pacinian Corporation Haptic keyboard systems and methods
EP2323351A4 (en) 2008-09-05 2015-07-08 Sk Telecom Co Ltd MOBILE COMMUNICATION TERMINAL PROVIDING VIBRATION INFORMATION AND ASSOCIATED METHOD
CN102272702A (zh) * 2008-11-04 2011-12-07 拜尔材料科学股份公司 用于触觉反馈装置的电活性聚合物换能器
US20100141408A1 (en) 2008-12-05 2010-06-10 Anthony Stephen Doy Audio amplifier apparatus to drive a panel to produce both an audio signal and haptic feedback
US8686952B2 (en) 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
CA2749984A1 (en) 2009-01-21 2010-07-29 Bayer Materialscience Ag Electroactive polymer transducers for tactile feedback devices
JP4945586B2 (ja) * 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US8218780B2 (en) 2009-06-15 2012-07-10 Hewlett-Packard Development Company, L.P. Methods and systems for blind dereverberation
US8902050B2 (en) 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US8279052B2 (en) 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
KR101719507B1 (ko) 2009-11-17 2017-03-24 임머숀 코퍼레이션 전자 디바이스에서 촉각 대역폭을 증가시키는 시스템들 및 방법들
KR20120011548A (ko) 2010-07-29 2012-02-08 삼성전자주식회사 사용자 입력에 대한 피드백 제공 장치 및 방법
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
KR101602663B1 (ko) 2011-10-10 2016-03-14 한국전자통신연구원 촉각 피드백을 제공하기 위한 전자기기용 케이스 및 그 구동 방법
US9513706B2 (en) 2012-02-15 2016-12-06 Immersion Corporation High definition haptic effects generation using primitives
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US9659482B2 (en) 2014-09-02 2017-05-23 Apple Inc. Context-based alerts for an electronic device
WO2016205713A1 (en) 2015-06-19 2016-12-22 Northwestern University Apparatus for unified audio tactile feedback
US10152296B2 (en) * 2016-12-28 2018-12-11 Harman International Industries, Incorporated Apparatus and method for providing a personalized bass tactile output associated with an audio signal

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010104953A1 (en) * 2009-03-10 2010-09-16 Artificial Muscle, Inc. Electroactive polymer transducers for tactile feedback devices

Also Published As

Publication number Publication date
CN108196683B (zh) 2020-04-24
US9606627B2 (en) 2017-03-28
US8717152B2 (en) 2014-05-06
US9064387B2 (en) 2015-06-23
US10055950B2 (en) 2018-08-21
JP2018139161A (ja) 2018-09-06
KR20120094849A (ko) 2012-08-27
CN102750957B (zh) 2016-12-14
CN108196683A (zh) 2018-06-22
KR20180084707A (ko) 2018-07-25
US20170213430A1 (en) 2017-07-27
JP6026751B2 (ja) 2016-11-16
KR20190084014A (ko) 2019-07-15
KR20130086590A (ko) 2013-08-02
US10431057B2 (en) 2019-10-01
CN103247296B (zh) 2018-03-06
US20150241975A1 (en) 2015-08-27
CN108181996A (zh) 2018-06-19
CN102750957A (zh) 2012-10-24
CN103247296A (zh) 2013-08-14
US20140152429A1 (en) 2014-06-05
US20190005782A1 (en) 2019-01-03
US20120206247A1 (en) 2012-08-16
JP2012168947A (ja) 2012-09-06
JP6584594B2 (ja) 2019-10-02
KR102005115B1 (ko) 2019-07-29

Similar Documents

Publication Publication Date Title
KR101999565B1 (ko) 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
KR101880764B1 (ko) 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
US9448626B2 (en) Sound to haptic effect conversion system using amplitude value
JP6250985B2 (ja) マッピングを用いた音をハプティック効果に変換するシステム
JP6416460B2 (ja) 複数のアクチュエータを用いた音からハプティック効果への変換システム
JP2020173821A (ja) ストリームに依存しない音をハプティック効果に変換するシステム
EP1915027B1 (en) Audio reproducing apparatus
EP3674849A1 (en) Haptic effect signal processing

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant