KR20120094849A - 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템 - Google Patents

진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템 Download PDF

Info

Publication number
KR20120094849A
KR20120094849A KR1020120013978A KR20120013978A KR20120094849A KR 20120094849 A KR20120094849 A KR 20120094849A KR 1020120013978 A KR1020120013978 A KR 1020120013978A KR 20120013978 A KR20120013978 A KR 20120013978A KR 20120094849 A KR20120094849 A KR 20120094849A
Authority
KR
South Korea
Prior art keywords
haptic
data frame
maximum value
frequency content
module
Prior art date
Application number
KR1020120013978A
Other languages
English (en)
Other versions
KR102005115B1 (ko
Inventor
주안 마누엘 크루즈-헤르난데즈
헤르베 쑤 티모네
제이슨 호이 펀 라우
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20120094849A publication Critical patent/KR20120094849A/ko
Application granted granted Critical
Publication of KR102005115B1 publication Critical patent/KR102005115B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors

Abstract

디지털 오디오 신호 등의 오디오 데이터의 프레임들을 인터셉트하고, 그 프레임들을 햅틱 신호로 변환하고, 생성된 햅틱 신호를 액추에이터를 통해 재생하여 햅틱 효과들을 생성하는 햅틱 변환 시스템이 제공된다. 햅틱 신호는 햅틱 신호의 크기를 정의하는 오디오 데이터 프레임 각각의 최대값에 기초한다. 햅틱 신호는 햅틱 신호를 수신하도록 구성된 액추에이터에 인가되고, 액추에이터는 햅틱 신호를 이용하여 하나 이상의 햅틱 효과들을 생성한다.

Description

진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템{SOUND TO HAPTIC EFFECT CONVERSION SYSTEM USING AMPLITUDE VALUE}
관련 출원의 상호 참조
본 출원은 2011년 2월 11일에 출원된 미국 특허 가출원 제61/441,792호의 우선권을 주장하며, 그것의 명세서가 참조에 의해 여기에 포함된다.
일 실시예는 일반적으로 장치에 관한 것이고, 더 구체적으로는 햅틱 효과를 생성하는 장치에 관한 것이다.
햅틱은 힘, 진동 및 움직임과 같은 햅틱 피드백 효과들(즉, "햅틱 효과들")을 사용자에게 적용함으로써 사용자의 터치 감각을 활용하는 촉각 및 힘 피드백 기술이다. 모바일 장치, 터치스크린 장치 및 개인용 컴퓨터와 같은 장치들은 햅틱 효과들을 발생시키도록 구성될 수 있다. 일반적으로, (액추에이터와 같은) 햅틱 효과들을 생성할 수 있는 임베딩된 하드웨어에 대한 호출들은 장치의 운영 체제("OS") 내에 프로그래밍될 수 있다. 이러한 호출들은 어떤 햅틱 효과를 재생할지를 지정한다. 예를 들어, 사용자가, 예를 들어, 버튼, 터치스크린, 레버, 조이스틱, 휠 또는 몇몇의 다른 컨트롤을 이용하여 장치와 상호작용할 때, 장치의 OS는 재생 커맨드를 제어 회로망을 통해 임베딩된 하드웨어에 송신할 수 있다. 그 다음, 임베딩된 하드웨어는 적절한 햅틱 효과를 생성한다.
그러한 장치들은 또한 디지털 오디오 신호와 같은 오디오 데이터를 재생하도록 구성될 수 있다. 예를 들어, 그러한 장치들은 오디오 부분을 포함하는 영화 또는 비디오 게임과 같은 비디오 데이터, 또는 노래와 같은 오디오 데이터를 재생하도록 구성된 애플리케이션들을 포함할 수 있다. 햅틱과 유사하게, (스피커와 같이) 오디오 효과들을 생성할 수 있는 추가의 임베딩된 하드웨어에 대한 호출들이 장치의 OS 내에 프로그래밍될 수 있다. 따라서, 장치의 OS는 제어 회로망을 통해 추가의 임베딩된 하드웨어에 재생 커맨드를 송신할 수 있으며, 그러면, 그 추가의 임베딩된 하드웨어는 적절한 오디오 효과를 생성한다.
일 실시예는 오디오 신호를 하나 이상의 햅틱 효과로 변환(convert)하는 시스템에 관한 것이다. 시스템은 오디오 신호의 데이터 프레임을 수신한다. 시스템은 또한 데이터 프레임의 최대값을 생성한다. 시스템은 또한 최대값에 기초하여 햅틱 신호를 생성하고, 최대값은 햅틱 신호의 크기를 정의한다. 시스템은 또한 하나 이상의 햅틱 효과를 생성하기 위해 햅틱 신호를 액추에이터에 송신한다.
추가의 실시예들, 세부사항들, 이점들 및 수정들은 첨부 도면들과 함께 취해질 바람직한 실시예들에 관한 이하의 상세한 설명으로부터 분명해질 것이다.
도 1은 본 발명의 일 실시예들에 따른 햅틱 변환 시스템의 블록도를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 햅틱 변환 시스템의 아키텍처도를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 햅틱 변환 시스템에 의해 수행되는 기능성의 흐름도를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 출력값의 범위를 제어하기 위해 적용되는 선형 변환 함수를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 디지털 오디오 신호에 기초하여 생성되는 햅틱 효과의 크기의 예시적인 계산을 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 디지털 오디오 신호의 엔벨로프의 예시적인 계산을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 주파수 콘텐츠에 기초하는 디지털 오디오 신호의 엔벨로프의 예시적인 계산을 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 햅틱 변환 모듈의 기능성의 흐름도를 도시한 것이다.
일 실시예는 디지털 오디오 신호와 같은 오디오 데이터의 하나 이상의 프레임을 인터셉트하고, 하나 이상의 프레임을 햅틱 신호로 변환하고, 생성된 햅틱 신호를 액추에이터를 통해 재생하여 하나 이상의 햅틱 효과를 생성할 수 있는 햅틱 변환 시스템이다. 햅틱 신호는 단일 제어 파라미터를 포함할 수 있다. 햅틱 신호는 단일 제어 파라미터를 수신하도록 구성된 소정 유형의 액추에이터에 적용될 수 있으며, 액추에이터는 단일 제어 파라미터를 이용하여 하나 이상의 햅틱 효과를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 햅틱 변환 시스템(10)의 블록도를 도시한 것이다. 일 실시예에서, 시스템(10)은 모바일 장치의 일부이고, 시스템(10)은 모바일 장치를 위해 햅틱 변환 기능성을 제공한다. 단일 시스템으로서 도시되어 있지만, 시스템(10)의 기능성은 분산된 시스템으로서 구현될 수 있다. 시스템(10)은 정보를 통신하기 위한 버스(12) 또는 그외의 통신 메커니즘, 및 정보를 처리하기 위해 버스(12)에 연결된 프로세서(22)를 포함한다. 프로세서(22)는 임의의 유형의 일반 목적 또는 특수 목적의 프로세서일 수 있다. 시스템(10)은 프로세서(22)에 의해 실행될 명령어들 및 정보를 저장하기 위한 메모리(14)를 더 포함한다. 메모리(14)는 RAM(randum access memory), ROM(read only memory), 자기 또는 광학 디스크와 같은 정적 저장소, 또는 임의의 다른 유형의 컴퓨터 판독가능한 매체의 임의의 조합으로 구성될 수 있다.
컴퓨터 판독가능한 매체는 프로세서(22)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체 둘 다, 착탈식(removable) 및 비착탈식 매체, 통신 매체 및 저장 매체를 포함할 수 있다. 통신 매체는 반송파 또는 기타 전송 메커니즘과 같은 변조된 데이터 신호 내에 컴퓨터 판독가능한 명령어들, 데이터 구조들, 프로그램 모듈들 또는 기타 데이터를 포함할 수 있고, 본 기술분야에 알려진 임의의 다른 형태의 정보 전달 매체를 포함할 수 있다. 저장 매체는 RAM, 플래시 메모리, ROM, EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), 레지스터, 하드 디스크, 착탈식 디스크, CD-ROM(compact disk read-only memory), 또는 본 기술분야에 알려진 임의의 다른 형태의 저장 매체를 포함할 수 있다.
일 실시예에서, 메모리(14)는 프로세서(22)에 의해 실행될 때 기능성을 제공하는 소프트웨어 모듈들을 저장한다. 모듈들은, 시스템(10)과 일 실시예에서 모바일 장치의 나머지를 위한 운영 체제 기능성을 제공하는 운영 체제(15)를 포함한다. 모듈들은 이하에 더 상세하게 개시되는 바와 같이, 오디오 신호를 하나 이상의 햅틱 효과를 생성하기 위해 이용되는 햅틱 신호로 변환하는 햅틱 변환 모듈(16)을 더 포함한다. 특정한 실시예들에서, 햅틱 변환 모듈(16)은 오디오 신호를 하나 이상의 햅틱 효과를 생성하기 위해 이용되는 햅틱 신호로 변환하기 위한 특수한 개별 기능성을 각각 제공하는 복수의 모듈을 포함할 수 있다. 시스템(10)은 전형적으로 Immersion Corporation에 의한 MOTIV® 햅틱 개발 플랫폼(Haptic Development Platform)과 같은 추가의 기능성을 포함하기 위해 하나 이상의 추가의 애플리케이션 모듈(18)을 포함할 것이다.
원격 소스들로부터 데이터를 전송 및/또는 수신하는 실시예들에서, 시스템(10)은 적외선, 라디오, Wi-Fi, 셀룰러 네트워크, 또는 기타 차세대 무선 데이터 네트워크 통신과 같은 모바일 무선 네트워크 통신을 제공하기 위해 네트워크 인터페이스 카드와 같은 통신 장치(20)를 더 포함한다. 다른 실시예들에서, 통신 장치(20)는 이더넷 접속 또는 모뎀과 같은 유선 네트워크 접속을 제공한다.
프로세서(22)는 사용자에게 그래픽 표현 또는 사용자 인터페이스를 디스플레이하기 위해, 버스(12)를 통해 LCD(Liquid Crystal Display)와 같은 디스플레이(24)에 더 연결된다. 디스플레이(24)는 프로세서(22)로부터 신호들을 송수신하도록 구성된 터치 스크린과 같은 터치 감지 입력 장치일 수 있고, 멀티터치 터치 스크린일 수 있다.
시스템(10)은 하나 이상의 액추에이터(26)를 더 포함한다. 프로세서(22)는 햅틱 효과에 연관된 햅틱 신호를 액추에이터(26)에 송신할 수 있고, 액추에이터는 다음으로 햅틱 효과들을 출력한다. 액추에이터(26)는 예를 들어 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, EAP(electro-active polymer), 솔레노이드(solenoid), ERM(eccentric rotating mass motor), LRA(linear resonant actuator), 압전 액추에이터, 고대역폭 액추에이터, EAP 액추에이터, 정전 마찰 디스플레이, 또는 초음파 진동 발생기일 수 있다.
일부 실시예들에서, 시스템(10)은 하나 이상의 스피커(28)를 더 포함한다. 프로세서(22)는 오디오 신호를 스피커(28)에 송신할 수 있고, 스피커는 다음으로 오디오 효과들을 출력한다. 스피커(28)는 예를 들어 다이내믹 라우드스피커, 일렉트로다이내믹 라우드스피커, 압전 라우드스피커, 자기 변환(magnetostrictive) 라우드스피커, 정전 라우드스피커, 리본 및 평면 자기 라우드스피커, 굴곡 진동 라우드스피커(bending wave loudspeaker), 평면 패널 라우드스피커, 하일 에어 모션 트랜스듀서(heil air motion transducer), 플라즈마 아크 스피커, 및 디지털 라우드스피커일 수 있다.
도 2는 본 발명의 일 실시예에 따른 햅틱 변환 시스템의 아키텍처도를 도시한 것이다. 도시된 실시예에서, 햅틱 변환 시스템은 오디오 트랙 모듈(210) 및 스피커(220)를 포함한다. 오디오 트랙 모듈(210)은 하나 이상의 PCM(pulse-code modulation) 오디오 버퍼를 수신하고 그 하나 이상의 PCM 오디오 버퍼를 스피커(220)에 스트리밍하도록 구성된 (모바일 장치와 같은) 장치를 위한 운영 체제의 모듈이며, 각각의 PCM 오디오 버퍼는 하나 이상의 PCM 오디오 데이터 프레임을 포함한다. 일 실시예에서, 오디오 트랙 모듈(210)은 모바일 장치를 위한 Android® 운영 체제의 안드로이드 오디오트랙(Android AudioTrack) 모듈이다. 스피커(220)는 하나 이상의 PCM 오디오 버퍼를 수신하고, 하나 이상의 오디오 효과를 출력하도록 구성된 스피커이다. 스피커(220)는 예를 들어 다이내믹 라우드스피커, 일렉트로다이내믹 라우드스피커, 압전 라우드스피커, 자기 변환 라우드스피커, 정전 라우드스피커, 리본 및 평면 자기 라우드스피커, 굴곡 진동 라우드스피커, 평면 패널 라우드스피커, 하일 에어 모션 트랜스듀서, 플라즈마 아크 스피커, 및 디지털 라우드스피커일 수 있다.
또한, 햅틱 변환 시스템은 실시예에 따라 햅틱 변환 모듈(230)을 포함한다. 특정한 실시예들에서, 햅틱 변환 모듈(230)은 도 1의 햅틱 변환 모듈(16)과 동일하다. 도시된 실시예에서, 햅틱 변환 모듈(230)은 2개의 서브모듈, 즉 리버브(reverb) 모듈(231) 및 붐박스(boombox) 모듈(232)로 구성된다. 그러나, 이것은 예시적인 실시예에 지나지 않으며, 대안적인 실시예들에서, 햅틱 변환 모듈(230)은 임의의 개수의 서브모듈로 구성될 수 있고, 또는 햅틱 변환 모듈(230)은 단일 모듈일 수 있다.
실시예에 따르면, 리버브 모듈(231)은 오디오 트랙 모듈(210)이 스피커(220)에 스트리밍하는 하나 이상의 오디오 버퍼를 인터셉트하도록 구성된다. 리버브 모듈(231)은 각각의 오디오 버퍼의 각각의 오디오 데이터 프레임을 붐박스 모듈(232)에 송신하도록 더 구성된다. 붐박스 모듈(232)은 각각의 오디오 데이터 프레임을 분석하고, 각각의 오디오 데이터 프레임에 대한 최대값을 계산하도록 구성된다. 붐박스 모듈(232)에 의해 수행되는 각각의 오디오 데이터 프레임에 대한 최대값의 계산은 이하에서 도 4-7을 참조하여 더 상세하게 더 설명된다. 붐박스 모듈(232)은 각각의 오디오 데이터 프레임에 대한 최대값을 리버브 모듈(231)에 반환하도록 더 구성된다.
햅틱 변환 시스템은 또한 햅틱 효과 플레이어 모듈(240) 및 액추에이터(250)를 포함한다. 햅틱 효과 플레이어 모듈(240)은 (모바일 장치와 같은) 장치 내에 임베딩되고 하나 이상의 햅틱 신호를 액추에이터에 송신함으로써 액추에이터에서 하나 이상의 햅틱 효과를 재생하도록 구성된 모듈이다. 일 실시예에서, 햅틱 효과 플레이어 모듈(240)은 Immersion Corporation에 의한 TouchSense Player® 모듈이다. 액추에이터(250)는 하나 이상의 햅틱 신호를 수신하도록 구성되고 하나 이상의 햅틱 효과를 출력하도록 구성된 액추에이터이다. 특정한 실시예들에서, 액추에이터(250)는 단일 제어 파라미터(크기 파라미터 등)를 수신하도록 구성된 액추에이터이고, 단일 제어 파라미터는 액추에이터를 통해 재생될 때 주기적인 효과의 크기를 제어하는데 사용된다. 액추에이터(250)는, 예를 들어, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기 활성 폴리머, 솔레노이드, ERM 또는 LRA일 수 있다.
실시예에 따르면, 리버브 모듈(231)은 햅틱 신호를 생성하기 위해 붐박스 모듈(232)에 의해 반환되는 오디오 데이터 프레임의 최대값을 사용하도록 구성되고, 햅틱 신호는 주기적인 효과이고, 최대값은 햅틱 신호의 진폭을 정의한다. 특정한 실시예들에서, 햅틱 신호는 액추에이터(250)의 공진 주파수에서의 주기적인 효과이다. 리버브 모듈(231)은 또한 햅틱 효과 플레이어 모듈(240)의 애플리케이션 프로그램 인터페이스("API")를 호출하고 오디오 데이터 프레임의 최대값을 API의 파라미터로서 햅틱 효과 플레이어 모듈(240)에 송신하도록 구성된다. 특정한 실시예들에서, 햅틱 효과 플레이어 모듈(240)의 API는 Immersion Corporation에 의한 TouchSense Player® 모듈의 "PlayPeriodicEffect" API이다. 햅틱 효과 플레이어 모듈(240)의 API는 오디오 데이터 프레임의 최대값을 액추에이터(250)에 송신하고, 액추에이터(250)는 오디오 데이터 프레임의 최대값에 기초하여 적절한 주기적인 효과를 재생하도록 구성된다. 실시예에 따르면, 오디오 데이터 프레임의 최대값은 액추에이터(250)의 진폭 파라미터로서 기능하고, 액추에이터(250)의 진폭 파라미터의 변화는 액추에이터(250) 내의 적절한 주기적인 효과를 재생한다. 액추에이터(250)는 주기적인 효과를 재생함으로써 햅틱 효과를 생성한다.
도 3은 본 발명의 일 실시예에 따라 햅틱 변환 시스템에 의해 수행되는 기능성의 흐름도를 도시한 것이다. 일 실시예에서, 도 3의 기능성과 도 8의 기능성은 메모리나 다른 컴퓨터 판독가능한 매체 또는 유형의(tangible) 매체에 저장되고 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예들에서, 기능성은 하드웨어(예를 들어, ASIC(application specific integrated circuit), PGA(programmable gate array), FPGA(field programmable gate array) 등의 이용을 통해), 또는 하드웨어 및 소프트웨어의 임의의 조합에 의해 수행될 수 있다. 또한, 대안적인 실시예들에서, 기능성은 아날로그 컴포넌트들을 이용하는 하드웨어에 의해 수행될 수 있다.
실시예에 따르면, 햅틱 변환 시스템은 운영 체제(300), 리버브 모듈(301) 및 붐박스 모듈(302)을 포함한다. 운영 체제(300)는 (모바일 장치와 같은) 장치의 운영 체제이다. 도시된 실시예에서, 운영 체제(300)는 모바일 장치를 위한 Android® 운영 체제이다. 리버브 모듈(301) 및 붐박스 모듈(302)은 (도 1의 햅틱 변환 모듈(16)과 같은) 햅틱 변환 모듈의 서브모듈들이다. 특정한 실시예들에서, 리버브 모듈(301) 및 붐박스 모듈(302)은 각각 도 2의 리버브 모듈(231) 및 붐박스 모듈(232)과 동일하다.
실시예에 따르면, 단계(305)에서, 오디오 신호를 생성하도록 구성된 애플리케이션이 생성된다. 애플리케이션은 운영 체제(300) 내에서 실행될 수 있는 임의의 애플리케이션이다. 도시된 실시예에서, 애플리케이션은 Android® 애플리케이션이다. 흐름은 단계(310)로 진행한다. 단계(310)에서, "SoundPool" 오브젝트가 애플리케이션에 의해 생성되고, SoundPool 오브젝트는 SoundPool API(Android® API임)의 인스턴스이고, SoundPool 오브젝트는 애플리케이션을 위한 오디오 리소스들을 관리하고 재생한다. SoundPool 오브젝트는 장치 내에 저장된 리소스로부터 또는 장치의 파일 시스템 내에 저장된 파일로부터 장치의 메모리 내로 로드될 수 있는 오디오 샘플들의 컬렉션을 포함할 수 있다. SoundPool 오브젝트는 오디오 샘플들의 컬렉션을 미가공 16비트 PCM 모노 또는 스테레오 버퍼 내로 디코딩할 수 있다. 흐름은 단계(315)로 진행한다. 단계(315)에서, 다른 오디오 오브젝트들은 애플리케이션에 의해 생성되고, 다른 오디오 오브젝트들은 다른 오디오 API들의 인스턴스들이다. 다른 오디오 오브젝트들은 또한 오디오 샘플들을 16비트 PCM 오디오 버퍼 내로 디코딩할 수 있다. 흐름은 단계(320)로 진행한다. 단계(320)에서, AudioTrack 오브젝트가 SoundPool 오브젝트 또는 다른 오디오 오브젝트들 중 하나에 의해 생성된다. AudioTrack 오브젝트는 하나 이상의 PCM 오디오 버퍼를 수신하고 그 하나 이상의 PCM 오디오 버퍼를 스트리밍하도록 구성된다.
흐름은 단계(325)로 진행한다. 단계(325)에서, 리버브 오브젝트가 생성된다. 리버브 오브젝트는 리버브 모듈(301)의 인스턴스이고, 리버브 오브젝트는 앞에서 도 2에 관련하여 설명된 바와 같이 AudioTrack 오브젝트에 의해 송신되는 PCM 오디오 버퍼의 하나 이상의 오디오 데이터 프레임을 처리하도록 구성된다. 흐름은 단계(330)로 진행한다. 단계(330)에서, 리버브 오브젝트의 하나 이상의 설정이 설정된다. 리버브 설정들의 예는, 햅틱 변환 인에이블/디스에이블, 매체를 위한 햅틱 변환 인에이블/디스에이블, 3가지 선택안(예를 들어, 약함, 중간 및 강함)으로부터의 햅틱 변환의 강도 선택, 및 햅틱 변환이 인에이블되는 (예를 들어 목록으로부터의) 하나 이상의 애플리케이션의 선택을 포함할 수 있다. 특정한 실시예들에서, 상기 세팅들은 "XML(extensible markup language)" 파일 내에 저장된다. 상기 세팅들은 XML 파일로부터 판독되고 리버브 오브젝트 내에 저장될 수 있으며, 리버브 오브젝트는 특정 애플리케이션들에 대해서는 인에이블될 수 있고 다른 애플리케이션들에 대해서는 디스에이블될 수 있다. 특정한 실시예들에서, 강도, 밀도 및 선명도(sharpness)로서 식별되는 3개의 값은 3가지 인자, 즉 (1) 강도 세팅(예를 들어, 약함, 중간 및 강함), (2) (사용자 인터페이스 이벤트들을 햅틱 효과들로 맵핑하는) 햅틱 테마, 및 (3) 액추에이터 타입에 기초한다. 강도, 밀도 및 선명도 값은 생성되어 리버브 오브젝트 내에 저장될 수 있다. 흐름은 단계(335)로 진행한다. 단계(335)에서, 붐박스 오브젝트는 리버브 오브젝트에 의해 생성된다. 붐박스 오브젝트는 붐박스 모듈(302)의 인스턴스이고, 도 2에 관련하여 앞에서 설명된 바와 같이, 붐박스 오브젝트는 리버브 오브젝트로부터 오디오 데이터 프레임을 수신하고, 오디오 데이터 프레임의 최대값을 생성하고, 오디오 데이터 프레임의 최대값을 리버브 오브젝트에 송신하도록 구성된다. 특정한 실시예들에서, 리버브 오브젝트 내에서 생성되고 저장되는 강도 및 밀도값들은 붐박스 오브젝트 내에도 저장될 수 있다.
흐름은 단계(340)로 진행한다. 단계(340)에서, 리버브 오브젝트는 AudioTrack 오브젝트로부터 수신된 PCM 오디오 버퍼의 오디오 데이터 프레임을 붐박스 오브젝트에 송신한다. 흐름은 단계(345)로 진행한다. 단계(345)에서, 붐박스 오브젝트는 오디오 데이터 프레임 내에 포함된 데이터를 샘플링한다. 그러한 샘플링은 도 4-7에 관련하여 더 상세하게 더 설명된다. 흐름은 단계(350)로 진행한다. 단계(350)에서, 붐박스 오브젝트는 오디오 데이터 프레임 내에 포함된 데이터를 단일 전압값(즉, 최대값)으로 변환한다. 그러한 변환도 역시 도 4-7과 관련하여 더 상세하게 더 설명된다. 그 다음, 붐박스 오브젝트는 단일 전압값을 리버브 오브젝트에 반환한다. 흐름은 단계(355)로 진행한다. 단계(355)에서, 리버브 오브젝트는 단일 전압값에 대한 크기 필터링을 수행한다. 이러한 크기 필터링은 또한 도 4-7과 관련하여 더 상세하게 더 설명된다. 특정한 실시예들에서, 리버브 오브젝트 내에 생성되고 저장된 선명도 값은 단일 전압값에 대한 크기 필터링을 수행하는데 사용된다. 흐름은 단계(360)로 진행한다. 단계(360)에서, 리버브 오브젝트는 단일 전압값을 사용하여 액추에이터에서 주기적인 효과를 재생한다. 액추에이터에서 주기적인 효과를 재생함으로써, 리버브 오브젝트는 액추에이터가 햅틱 효과를 생성하게 한다.
앞서 설명한 바와 같이, 햅틱 변환 모듈(예를 들어, 도 1의 햅틱 변환 모듈(16))은 PCM 오디오 데이터 버퍼 내에 포함된 오디오 신호를 프로세싱한다. 또한 앞서 설명한 바와 같이, 오디오 신호의 프로세싱은, PCM 오디오 데이터 버퍼의 각각의 오디오 데이터 프레임의 샘플링, PCM 오디오 데이터 버퍼의 각각의 오디오 데이터 프레임에 대한 최대값의 계산, 및 크기 필터링(magnitude filtering)을 포함한다. 오디오 신호의 이러한 프로세싱은 이제 더 상세히 설명된다.
특정한 실시예들에 따르면, 오디오 신호의 엔벨로프(envelope)가 먼저 추출된다. 엔벨로프는 원래의 오디오 신호 또는 원래의 오디오 신호의 필터링된 버전의 모든 주파수들을 이용하여 추출될 수 있다. 그러나, 엔벨로프 자체는 원래의 오디오 신호와 동일한 주파수 콘텐츠(content)를 갖지 않는다.
일 실시예에서, 오디오 데이터 프레임이 오디오 신호로부터 취해진다. 예로서, 오디오 데이터 프레임은 1ms의 프레임 길이를 가질 수 있다. 다른 예로서, 오디오 데이터 프레임은 10ms의 프레임 길이를 가질 수 있다. 1ms 오디오 데이터 프레임은 500Hz 위의 주파수들의 엔벨로프를 캡처하지만, 더 낮은 주파수들은 캡처되지 않고, "누설(leak)"된다. 10ms 프레임은 50Hz 위의 주파수들 등의 엔벨로프를 캡처한다. 일 실시예에서, 프레임의 각각의 샘플의 절대값이 계산된다. 대안적인 실시예에서, 절대값보다는, 프레임의 각각의 샘플의 제곱이 계산된다. 이러한 프로세싱은 햅틱 변환 모듈(예를 들어, 도 1의 햅틱 변환 모듈(16))에 의해 수행되는 오디오 데이터 프레임의 샘플링을 구성한다.
절대 샘플값들(또는 대안적인 실시예에서 제곱 샘플값들)의 최대값 "V1"이 계산된다. 그 다음에 최대값 "V1"은 도 4와 관련하여 아래에서 설명되는 바와 같이, 선형 변환 함수를 이용하여 변환될 수 있다.
도 4는 본 발명의 일 실시예에 따른, 출력값의 범위를 제어하기 위해 적용되는 선형 변환 함수(400)를 예시한다. 실시예에 따르면, 도 4에 예시된 바와 같이, 선형 변환 함수(400)를 적용하여 출력값 "V1"의 범위를 제어해서 새로운 값 "V2"를 얻을 수 있다. 예시된 실시예에 따르면, "x0"은 [2..20]과 같은 주어진 범위 내에서 변할 수 있다. "x0"은 새로운 값 "V2"로 변환될 최소값 "V1"을 정의한다. "ymax"는 예 [60..255]와 같은 주어진 범위 내에서 변할 수 있다. "ymax"는 최대 변환값 "V2"를 정의한다. "V1"이 "x0"보다 작거나 같으면, 출력값 "V2"는 0과 같다. "V1"이 "x0"보다 크면, 출력값 "V2"는 함수의 기울기로 "V1"을 곱함으로써 획득된다. "V2"는 클램핑되고 "Vmax"보다 클 수 없다. 대안적인 실시예에서, (x0, y0) 및 (x1, ymax) 을 이용하는 더욱 일반적인 맵핑이 또한 이용될 수 있다. 이러한 프로세싱은 햅틱 변환 모듈(예를 들어, 도 1의 햅틱 변환 모듈(16))에 의해 수행되는 오디오 데이터 프레임의 최대값의 계산을 구성한다.
그러므로, 실시예에 따르면, 오디오 신호의 엔벨로프가 햅틱 신호의 진폭에 맵핑되고, 햅틱 신호의 진폭은 필터링된다. 대안적인 실시예에서, 오디오 신호의 엔벨로프는 먼저 필터링될 수 있고, 그 다음에 오디오 신호의 필터링된 엔벨로프가 햅틱 신호의 진폭에 맵핑될 수 있다.
햅틱 변환 모듈(예를 들어, 도 1의 햅틱 변환 모듈(16))에 의해 수행되는 크기 필터링이 이제 더 상세히 설명된다. 햅틱 효과의 크기(또는 강도) "V3"가 이전값 "V2"를 이용하여 계산된다. 특정한 실시예들에서, "V3"은 주파수에 맵핑될 수 있다. 다른 실시예들에서, "V3"은 주파수 값들의 세트에 맵핑될 수 있다. 반복 "i"의 "V2"가 반복 "i-1"의 "V2"보다 작으면, 출력 "V3"은 0 또는 어떤 다른 작은 값에 설정될 수 있거나, 그렇지 않으면 출력은 변경되지 않은 채로 유지한다("V3"="V2"). 이 특정 기법은 햅틱 이벤트를 표현하는 신호의 피크값들을 캡처할 수 있고, 독립적인 햅틱 효과를 그 햅틱 이벤트에 자동으로 연관시킨다. 이러한 기법은 또한 다음 햅틱 이벤트가 재생되기 전에 액추에이터가 자리 잡도록(settle down) 하는데 이용될 수 있고, 따라서 너무 많은 햅틱 정보로 사용자를 포화시키는 것을 피한다. 대안적인 실시예에서, 반복 "i"의 "V2"가 반복 "i-1"의 "V2"보다 작을 때, 0으로의 급락(sharp drop)보다는, 더 부드러운 감쇠(decay)가 이용될 수 있다. 0% 내지 100%의 범위를 갖는 "선명도" 파라미터를 이용하여 "V2"에 적용될 감쇠량을 정의할 수 있다: V3 = V2 x 선명도 / m, 여기서, "m"은 1로부터 시작하는 정수 제수이고 반복 "i"의 "V2"가 반복 "i-1"의 "V2"보다 작은 한 증분한다. 실시예에 따르면, "m"은 반복 "i"의 "V2"가 반복 "i-1"의 "V2"보다 크거나 같을 때, 또는 다시 말해, "V3"="V2"일 때, 1로 다시 리셋된다. 특정한 실시예들에서, 리버브 오브젝트 내에서 발생되고 저장되는 선명도 값이 선명도 파라미터로서 이용된다.
도 5는 본 발명의 일 실시예에 따른, 디지털 오디오 신호에 기초하여 생성되는 햅틱 효과의 크기의 예시적인 계산(500)을 도시한다. 도 5는 44100Hz에서 샘플링된 오디오 신호(510), 20ms 프레임 길이에 대해 계산된 최대값(520), 및 크기 필터링에 의해 얻어진 펄스들(530)을 예시한다. 실시예에 따르면, 펄스들(530)은 오디오 신호(510)의 엔벨로프를 캡처하고, 따라서 펄스들(530)은 하나 이상의 햅틱 효과를 통해 이 정보를 사용자에게 전달할 수 있다.
도 6은 본 발명의 일 실시예에 따른, 디지털 오디오 신호의 엔벨로프의 예시적인 계산(600)을 도시한다. 도 6은 오디오 신호(610), 오디오 신호(610)의 절대값을 저역 통과 필터링(low pass filtering)하는 것에 의해 얻어진 엔벨로프(620), 및 이 경우 20ms의 특정 프레임에 대한 절대값의 최대를 계산하는 엔벨로프 값(630)을 예시한다.
특정 ms 지속기간의 각각의 프레임은 주파수 도메인에서 프로세싱된다. 따라서, 특정한 실시예들에서, 프레임의 고속 푸리에 변환(fast fourier transformation; FFT)을 이용하여 주파수 콘텐츠를 추출할 수 있다. 다른 실시예들에서, 대역 통과 필터들을 이용하여 주파수 콘텐츠를 추출할 수 있다.
일 실시예에서, 프레임 정보는 베이스 또는 저주파수(예를 들어, 200Hz보다 낮음), 중간 주파수(예를 들어, 240Hz 내지 4000KHz), 및 고주파수(예를 들어, 4400KHz보다 높음)로 분할될 수 있고, 중간 주파수 콘텐츠 및 고주파수 콘텐츠는 신호의 콘텐츠를 이용하여 추출된다.
도 7은 본 발명의 일 실시예에 따른, 주파수 콘텐츠에 기초한 디지털 오디오 신호의 엔벨로프의 예시적인 계산(700)을 도시한다. 실시예에 따르면, 앞서 설명한 바와 같이 일단 오디오 데이터 프레임이 프로세싱되면 최대값이 얻어진다. 사실상, 3개의 최대값이 얻어지는데, 하나는 저주파수 대역들에 대한 것이고, 하나는 중간 주파수 대역들에 대한 것이고, 하나는 고주파수 대역들에 대한 것이다. 도 7에 예시된 바와 같이, 그래프(710)는 프로세싱되지 않은 최대값(전체 오디오 신호에 기초함)을 표현하고, 그래프(720)는 오디오 신호의 저주파수 범위에 대응하는 최대값을 표현하고, 그래프(730)는 오디오 신호의 중간 주파수 범위에 대응하는 최대값을 표현하고, 그래프(740)는 오디오 신호의 고주파수 범위에 대응하는 최대값을 표현한다.
실시예에 따르면, 신호가 프로세싱되기 시작할 때, 저주파수 대역(즉, 그래프(720)) 및 고주파수 대역(즉, 그래프(740))의 주파수 값보다 큰 최대값이 획득된다는 것을 고려하면, 제1 프레임은 더 많은 중간 주파수 콘텐츠(즉, 그래프(730))을 포함한다.
실시예에 따르면, 햅틱 효과는 프레임의 주파수 콘텐츠가 이전 프레임의 주파수 콘텐츠와 상이할 때 재생될 수 있다. 도 7에 예시된 바와 같이, 햅틱 효과는 화살표들(701-707)에 의해 시그널화된 위치들에서 재생될 것이다.
대안적인 실시예들에서, 이 기법의 변형들은 다음을 포함할 수 있다: 모든 주파수에서 펄스를 재생하는 것은 다음과 같은 크기에 따라 변한다: 프로세싱되지 않은 프레임의 최대 크기; 주파수 대역에 대응하는 최대 크기; 제1 프레임에 대해서만 TouchSense 소프트웨어에서 허용되는 최대 크기.
특정한 대안적인 실시예들에서, 다음의 프레임들이 동일한 주파수 콘텐츠를 갖는다면, 프로세싱되지 않은 프레임의 크기는 재생될 수 있거나, 또는 프로세싱된 프레임의 크기는 재생될 수 있거나, 또는 프레임이 동일한 주파수 콘텐츠를 갖는 한 아마도 작은, 일정한 진동이 재생될 수 있거나, 또는 크기는 주파수 대역의 파워 콘텐츠에 기초하여 변화될 수 있다.
특정한 대안적인 실시예들에서, 상이한 주파수 콘텐츠를 갖는 프레임이 발견될 때 상이한 햅틱 효과가 재생될 수 있다.
또한, 사운드에 대한 인간의 인지는 선형적이지 않고 사운드의 주파수에 의존한다. 더욱 구체적으로, 인간들은 고주파수들보다 저주파수들에 더욱 민감하다. 성별과 나이도 인지에 영향을 미친다. 따라서, 특정한 실시예들에서, 특정 주파수들을 부스트하는 보상 인자가 존재할 수 있다. 부스팅 인자는 일부 주파수 대역들이 수동으로 증대(enhance)되는 경우 사운드에 대한 인간의 인지 또는 심지어 사용자들의 선호도에 기초할 수 있다. 소프트웨어는 일반적으로 사용자들이 사운드에 대해 더 낮은 민감도를 갖는다고 알려진 경우 고주파수 콘텐츠를 증대할 수 있다. 이것은 특정 대역에 대한 햅틱 효과가 더 큰 강도로 될 수 있게 할 것이고, 따라서 사용자의 청각 시스템에 의해 인지되고 인식되는 동안 충분한 전력을 갖지 않을 수 있는 사운드를 증대시킨다.
특정한 실시예들에서, 햅틱 변환 시스템의 사용자는 사운드-햅틱 효과 변환 알고리즘을 커스터마이즈(customize)할 수 있다. 더욱 구체적으로, 사용자는 디지털 오디오 신호가 저역 통과 필터, 고역 통과 필터, 또는 대역 통과 필터를 이용하여 필터링되는지를 선택할 수 있다. 대안적으로, 또는 필터 타입을 커스터마이즈하는 것에 부가하여, 사용자는 미리 정의된 파라미터들 사이에서 선택하는 것보다 필터 파라미터들을 특정할 수 있다. 이들 실시예들에 따르면, 햅틱 변환 시스템은 그래픽 사용자 인터페이스 내에서 하나 이상의 사용자 정의 파라미터들을 표시할 수 있다. 그 다음에 사용자는 그래픽 사용자 인터페이스를 이용하여, 하나 이상의 사용자 정의 파라미터로부터 선택할 수 있거나, 하나 이상의 사용자 정의 파라미터를 특정할 수 있다. 예를 들어, 사용자는 저역 통과 필터, 대역 통과 필터, 및 고역 통과 필터 중에서 사운드-햅틱 효과 변환 알고리즘에 활용되는 필터의 타입을 선택할 수 있다. 다른 예로서, 사용자는 하나 이상의 컷 오프(cut-off) 주파수들을 특정할 수 있고, 250Hz와 500Hz 사이의 값 대신에 사용자는 임의의 값들을 특정할 수 있다. 또 다른 예로서, 사용자는 사운드-햅틱 효과 변환 알고리즘에 이용되는 이득을 특정할 수 있다.
특정한 실시예들에서, 시스템 정의된 필터 파라미터들을 활용하는 것보다, 햅틱 변환 시스템은 사용자 정의 파라미터들에 기초하여 실행시간에 필터 파라미터들을 계산할 수 있다. 더욱 구체적으로, 사용자는 필터 타입을 선택할 수 있다. 예를 들어, 사용자는 버터워스(Butterworth) 디자인, 베셀(Bessel) 디자인, 또는 체비세프(Chebyshev) 디자인을 선택할 수 있고, 각각의 디자인에 대해, 사용자는 저역 통과 필터, 고역 통과 필터, 대역 통과 필터, 또는 대역 저지 필터(band-stop filter)를 선택할 수 있다. 사용자가 체비세프 디자인을 선택하면, 사용자는 또한 리플(ripple)을 특정할 수 있다. 사용자는 또한 필터 순서, 및 샘플 레이트를 특정할 수 있다. 사용자는 또한 사용자가 저역 통과 필터 또는 고역 통과 필터를 선택했다면 1개의 코너 주파수를 특정할 수 있고, 그리고 사용자가 대역 통과 필터 또는 대역 저지 필터를 선택했다면 2개의 코너 주파수를 특정할 수 있다. 사용자는 또한 선택적인 부가적인 제로 값 및 크기 스케일의 선택적인 하한(lower limit) 선택할 수 있다. 또한, 사용자는 필터가 쌍일차 변환 방법(bilinear transform method) 또는 매칭된 z-변환 방법(matched z-transform)에 의해 설계되는지도 선택할 수 있다. 그 다음에 햅틱 변환 시스템은 사용자에 의해 특정된 파라미터들에 기초하여 실행시간에 하나 이상의 필터 파라미터를 계산할 수 있다.
도 8은 본 발명의 일 실시예에 따른, 햅틱 변환 모듈(예를 들어, 도 1의 햅틱 변환 모듈(16))의 기능의 흐름도를 예시한다. 단계(810)에서, 오디오 신호의 데이터 프레임이 수신된다. 특정한 실시예들에서, 오디오 신호가 스피커로 스트리밍될(streamed) 때 오디오 신호는 인터셉트된다. 또한, 특정한 실시예들에서, 오디오 신호는 PCM 오디오 버퍼이다. 흐름은 단계(820)로 진행한다.
단계(820)에서, 데이터 프레임의 최대값이 발생된다. 특정한 실시예들에서, 데이터 프레임의 하나 이상의 샘플 값을 발생하기 위해 데이터 프레임을 샘플링함으로써 최대값이 발생되고, 최대값은 하나 이상의 샘플값들 중 최대값이다. 일 실시예에서, 하나 이상의 샘플값들은 절대값들이다. 대안적인 실시예에서, 하나 이상의 샘플값들은 제곱 값들이다. 특정한 실시예들에서, 최대값은 선형 변환 함수를 이용하여 원래의 최대값으로부터 변환된다. 흐름은 단계(830)로 진행한다.
단계(830)에서, 햅틱 신호는 절대값에 기초하여 생성된다. 특정한 실시예들에서, 절대값은 햅틱 신호의 크기를 정의한다. 또한 특정한 실시예들에서, 햅틱 신호의 크기는 필터링된다. 또한, 특정한 실시예들에서, 햅틱 신호의 크기는 필터링되고, 선명도 파라미터는 햅틱 신호의 크기에 적용될 감쇠량을 정의하는데 사용된다. 흐름은 단계(840)로 진행한다.
단계(840)에서, 햅틱 신호는 하나 이상의 햅틱 효과들을 생성하기 위해 액추에이터를 통해 전송된다. 특정한 실시예들에서, 햅틱 신호는 주기적인 효과이다. 또한, 특정한 실시예들에서, 햅틱 신호를 생성하고 전송하는 것은 햅틱 효과 플레이어 모듈의 애플리케이션 프로그래밍 인터페이스로 최대값을 파라미터로서 전달하는 것을 더 포함한다.
따라서, 실시예에 따르면, 햅틱 변환 시스템은 오디오 신호의 일부분인 오디오 데이터 프레임들을 인터셉트하고, 오디오 데이터 프레임을 햅틱 신호로 변환하고 - 각각의 오디오 데이터 프레임의 최대값은 햅틱 신호의 크기를 정의함 -, 액추에이터를 통해 변환된 햅틱 신호를 재생하여 햅틱 효과들을 생성한다. 햅틱 신호의 크기를 정의하는 최대값에 기초하여, 액추에이터를 통해 재생되는 햅틱 신호의 세기는 매우 강할 수 있으므로, 충분히 정의된 햅틱 효과를 생성한다.
본 명세서를 통해 기술된 본 발명의 특징들, 구조들 또는 특성들은 하나 이상의 실시예들에서 임의의 적절한 방식으로 결합될 수 있다. 예를 들어, 본 명세서에 걸쳐 "일 실시예", "일부 실시예들", "특정한 실시예", "특정한 실시예들" 또는 그외의 유사한 용어의 사용은 본 발명의 적어도 하나의 실시예에 포함될 수 있는 실시예와 관련하여 특정한 특징, 구조 또는 특성이 기술된다는 점을 지칭한다. 따라서, 본 명세서에 걸쳐 구문 "일 실시예", "일부 실시예들", "특정한 실시예", "특정한 실시예들" 또는 그외의 유사한 용어의 출현은 반드시 모두가 동일한 그룹의 실시예를 지칭하는 것은 아니며, 기술된 특징들, 구조들 또는 특성들은 하나 이상의 실시예들에서 임의의 적절한 방식으로 결합될 수 있다.
당업자라면, 전술된 발명이 상이한 순서 및/또는 개시된 구성들과 상이한 구성들의 엘리먼트들을 갖는 단계들을 이용하여 실시될 수 있다는 것을 쉽게 이해할 것이다. 따라서, 바람직한 실시예들에 기초하여 본 발명을 설명하였지만, 특정한 변경들, 변형들 및 대안의 구성들이 본 발명의 사상 및 범주 내에서 유지되면서 명확하게 된다는 것이 당업자에게 명확할 것이다. 본 발명의 경계 및 한계를 결정하기 위해 첨부된 청구범위가 참조되어야 한다.

Claims (29)

  1. 프로세서에 의해 실행될 때 상기 프로세서로 하여금 오디오 신호를 하나 이상의 햅틱(haptic) 효과들로 변환하게 하는 명령어들이 저장된 컴퓨터 판독가능한 매체로서,
    상기 명령어들은,
    상기 오디오 신호의 데이터 프레임을 수신하는 것;
    상기 데이터 프레임의 최대값을 생성하는 것;
    상기 최대값에 기초하여 햅틱 신호를 생성하는 것 - 상기 최대값은 상기 햅틱 신호의 크기를 정의함 -; 및
    상기 하나 이상의 햅틱 효과들을 생성하기 위해 상기 햅틱 신호를 액추에이터(actuator)에 전송하는 것
    을 포함하는 컴퓨터 판독가능한 매체.
  2. 제1항에 있어서,
    상기 햅틱 신호는 주기적인 효과를 포함하는 컴퓨터 판독가능한 매체.
  3. 제1항에 있어서,
    상기 명령어들은, 상기 데이터 프레임을 샘플링하여 상기 데이터 프레임의 하나 이상의 샘플값들을 생성하는 것을 더 포함하고, 상기 최대값은 상기 하나 이상의 샘플값들 중 최대값인 컴퓨터 판독가능한 매체.
  4. 제3항에 있어서,
    상기 데이터 프레임의 상기 하나 이상의 샘플값들은 절대값들인 컴퓨터 판독가능한 매체.
  5. 제3항에 있어서,
    상기 데이터 프레임의 상기 하나 이상의 샘플값들은 제곱값(square value)들인 컴퓨터 판독가능한 매체.
  6. 제1항에 있어서,
    상기 최대값은 선형 변환 함수(linear conversion function)를 사용하여 원래의 최대값으로부터 변환되는 컴퓨터 판독가능한 매체.
  7. 제1항에 있어서,
    상기 명령어들은 상기 햅틱 신호의 크기를 필터링하는 것을 더 포함하는 컴퓨터 판독가능한 매체.
  8. 제7항에 있어서,
    상기 햅틱 신호의 크기에 적용될 감쇠량을 정의하기 위해 선명도 파라미터(sharpness parameter)가 사용되는 컴퓨터 판독가능한 매체.
  9. 제1항에 있어서,
    상기 오디오 신호는 펄스 코드 변조 오디오 버퍼인 컴퓨터 판독가능한 매체.
  10. 제1항에 있어서,
    상기 햅틱 신호를 생성하고 전송하는 것은 햅틱 효과 플레이어 모듈의 애플리케이션 프로그래밍 인터페이스에 상기 최대값을 파라미터로서 통과시키는 것을 더 포함하는 컴퓨터 판독가능한 매체.
  11. 제1항에 있어서,
    상기 명령어들은 상기 데이터 프레임의 고속 푸리에 변환을 사용하여 상기 데이터 프레임으로부터 주파수 콘텐츠를 추출하는 것을 더 포함하는 컴퓨터 판독가능한 매체.
  12. 제1항에 있어서,
    상기 명령어들은 대역 통과 필터를 사용하여 상기 데이터 프레임으로부터 주파수 콘텐츠를 추출하는 것을 더 포함하는 컴퓨터 판독가능한 매체.
  13. 제1항에 있어서,
    상기 명령어들은,
    상기 데이터 프레임을 저주파수 콘텐츠, 중간 주파수 콘텐츠 및 고주파수 콘텐츠로 분할하는 것; 및
    디지털 오디오 신호의 콘텐츠를 사용하여 상기 중간 주파수 콘텐츠 및 고주파수 콘텐츠를 추출하는 것
    을 더 포함하는 컴퓨터 판독가능한 매체.
  14. 오디오 신호를 하나 이상의 햅틱 효과들로 변환하기 위한 컴퓨터 구현 방법으로서,
    상기 오디오 신호의 데이터 프레임을 수신하는 단계;
    상기 데이터 프레임의 최대값을 생성하는 단계;
    상기 최대값에 기초하여 햅틱 신호를 생성하는 단계 - 상기 최대값은 상기 햅틱 신호의 크기를 정의함 -; 및
    상기 햅틱 신호를 액추에이터로 전송하여 상기 하나 이상의 햅틱 효과들을 생성하는 단계
    를 포함하는 컴퓨터 구현 방법.
  15. 제14항에 있어서,
    상기 햅틱 신호는 주기적인 효과를 포함하는 컴퓨터 구현 방법.
  16. 제14항에 있어서,
    상기 데이터 프레임을 샘플링하여 상기 데이터 프레임의 하나 이상의 샘플값들을 생성하는 단계를 더 포함하고, 상기 최대값은 상기 하나 이상의 샘플값들 중 최대값인 컴퓨터 구현 방법.
  17. 제16항에 있어서,
    상기 데이터 프레임의 상기 하나 이상의 샘플값들은 절대값들인 컴퓨터 구현 방법.
  18. 제14항에 있어서,
    상기 최대값은 선형 변환 함수를 사용하여 원래의 최대값으로부터 변환되는 컴퓨터 구현 방법.
  19. 제14항에 있어서,
    상기 데이터 프레임의 고속 푸리에 변환을 사용하여 상기 데이터 프레임으로부터 주파수 콘텐츠를 추출하는 단계를 더 포함하는 컴퓨터 구현 방법.
  20. 제14항에 있어서,
    대역 통과 필터를 사용하여 상기 데이터 프레임으로부터 주파수 콘텐츠를 추출하는 단계를 더 포함하는 컴퓨터 구현 방법.
  21. 제14항에 있어서,
    상기 데이터 프레임을 저주파수 콘텐츠, 중간 주파수 콘텐츠 및 고주파수 콘텐츠로 분할하는 단계; 및
    디지털 오디오 신호의 콘텐츠를 사용하여 상기 중간 주파수 콘텐츠 및 상기 고주파수 콘텐츠를 추출하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
  22. 햅틱 변환 시스템으로서,
    햅틱 변환 모듈을 저장하도록 구성된 메모리 - 상기 햅틱 변환 모듈은 리버브 모듈(reverb module) 및 붐박스 모듈(boombox module)을 포함함 -;
    상기 메모리에 저장된 상기 햅틱 변환 모듈을 실행하도록 구성된 프로세서; 및
    하나 이상의 햅틱 효과들을 출력하도록 구성된 액추에이터;
    를 포함하고,
    상기 리버브 모듈은 오디오 신호의 데이터 프레임을 수신하도록 구성되고,
    상기 붐박스 모듈은 상기 데이터 프레임의 최대값을 생성하도록 구성되고,
    상기 리버브 모듈은 상기 최대값에 기초하여 햅틱 신호를 생성하도록 더 구성되고, 상기 최대값은 상기 햅틱 신호의 크기를 정의하고,
    상기 리버브 모듈은 상기 햅틱 신호를 액추에이터에 전송하여 상기 하나 이상의 햅틱 효과들을 생성하도록 더 구성되는 햅틱 변환 시스템.
  23. 제22항에 있어서,
    상기 햅틱 신호는 주기적인 효과를 포함하는 햅틱 변환 시스템.
  24. 제22항에 있어서,
    상기 붐박스 모듈은 상기 데이터 프레임을 샘플링하여 상기 데이터 프레임의 하나 이상의 샘플값들을 생성하도록 더 구성되고, 상기 최대값은 상기 하나 이상의 샘플값들 중 최대값인 햅틱 변환 시스템.
  25. 제24항에 있어서,
    상기 데이터 프레임의 상기 하나 이상의 샘플값들은 절대값들인 햅틱 변환 시스템.
  26. 제24항에 있어서,
    상기 붐박스 모듈은 선형 변환 함수를 사용하여 상기 최대값을 원래의 최대값으로부터 변환하도록 더 구성되는 햅틱 변환 시스템.
  27. 제22항에 있어서,
    상기 붐박스 모듈은 상기 데이터 프레임의 고속 푸리에 변환을 사용하여 상기 데이터 프레임으로부터 주파수 콘텐츠를 추출하도록 더 구성되는 햅틱 변환 시스템.
  28. 제22항에 있어서,
    상기 붐박스 모듈은 대역 통과 필터를 사용하여 상기 데이터 프레임으로부터 주파수 콘텐츠를 추출하도록 더 구성되는 햅틱 변환 시스템.
  29. 제22항에 있어서,
    상기 붐박스 모듈은,
    상기 데이터 프레임을 저주파수 콘텐츠, 중간 주파수 콘텐츠 및 고주파수 콘텐츠로 분할하고,
    디지털 오디오 신호의 콘텐츠를 사용하여 상기 중간 주파수 콘텐츠 및 고주파수 콘텐츠를 추출하도록 더 구성되는 햅틱 변환 시스템.
KR1020120013978A 2011-02-11 2012-02-10 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템 KR102005115B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161441792P 2011-02-11 2011-02-11
US61/441,792 2011-02-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020130080952A Division KR20130086590A (ko) 2011-02-11 2013-07-10 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템

Publications (2)

Publication Number Publication Date
KR20120094849A true KR20120094849A (ko) 2012-08-27
KR102005115B1 KR102005115B1 (ko) 2019-07-29

Family

ID=46636445

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020120013978A KR102005115B1 (ko) 2011-02-11 2012-02-10 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템
KR1020130080952A KR20130086590A (ko) 2011-02-11 2013-07-10 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템
KR1020180082337A KR101999565B1 (ko) 2011-02-11 2018-07-16 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
KR1020190081323A KR20190084014A (ko) 2011-02-11 2019-07-05 파형을 이용한 사운드 대 햅틱 효과 변환 시스템

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020130080952A KR20130086590A (ko) 2011-02-11 2013-07-10 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템
KR1020180082337A KR101999565B1 (ko) 2011-02-11 2018-07-16 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
KR1020190081323A KR20190084014A (ko) 2011-02-11 2019-07-05 파형을 이용한 사운드 대 햅틱 효과 변환 시스템

Country Status (4)

Country Link
US (5) US8717152B2 (ko)
JP (2) JP6026751B2 (ko)
KR (4) KR102005115B1 (ko)
CN (4) CN108196683B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017719A (ko) * 2018-08-09 2020-02-19 김정욱 음원 기반의 진동패턴 생성장치
US11009956B2 (en) 2016-10-07 2021-05-18 Sony Corporation Information processing apparatus and information processing method for presentation of multiple haptic feedback channels based on sound characteristics extracted from multiple sound channels

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US20150234493A1 (en) 2012-05-09 2015-08-20 Nima Parivar Varying output for a computing device based on tracking windows
US10108265B2 (en) 2012-05-09 2018-10-23 Apple Inc. Calibration of haptic feedback systems for input devices
US20150109223A1 (en) 2012-06-12 2015-04-23 Apple Inc. Haptic electromagnetic actuator
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9886116B2 (en) 2012-07-26 2018-02-06 Apple Inc. Gesture and touch input detection through force sensing
US9368005B2 (en) * 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
CN110658921A (zh) * 2012-09-25 2020-01-07 诺基亚技术有限公司 具有触觉反馈的方法和显示设备
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US9128523B2 (en) * 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US8866601B2 (en) * 2013-02-05 2014-10-21 Immersion Corporation Overdrive voltage for an actuator to generate haptic effects
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
EP3211511A1 (en) 2013-03-15 2017-08-30 Immersion Corporation Programmable haptic peripheral
KR101666393B1 (ko) * 2013-03-27 2016-10-14 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
US9997032B2 (en) * 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9274603B2 (en) 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
JP6411069B2 (ja) 2013-05-24 2018-10-24 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚データを符号化及びストリーミングする方法及びシステム
JP6667987B2 (ja) 2013-09-06 2020-03-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9898086B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
US9576445B2 (en) * 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US10599218B2 (en) * 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9273928B1 (en) * 2013-09-13 2016-03-01 Steven K. Uhlmann Device for cyclically operating a firearm trigger
US9207764B2 (en) 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US20150242037A1 (en) 2014-01-13 2015-08-27 Apple Inc. Transparent force sensor with strain relief
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
EP3128396B1 (en) * 2014-03-31 2019-08-21 Sony Corporation Tactile sense presentation device, signal generating device, tactile sense presentation system, and tactile sense presentation method
US10139907B2 (en) 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
US20160019877A1 (en) * 2014-07-21 2016-01-21 Jesse Martin Remignanti System for networking audio effects processors, enabling bidirectional communication and storage/recall of data
US10297119B1 (en) * 2014-09-02 2019-05-21 Apple Inc. Feedback device in an electronic device
US9939901B2 (en) 2014-09-30 2018-04-10 Apple Inc. Haptic feedback assembly
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9812165B2 (en) 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
CA2976312C (en) * 2015-02-20 2023-06-13 Ultrahaptics Ip Limited Perceptions in a haptic system
US9798409B1 (en) 2015-03-04 2017-10-24 Apple Inc. Multi-force input device
KR102267474B1 (ko) 2015-05-11 2021-06-21 삼성전자주식회사 진동 제어 장치와 이를 포함하는 컴퓨팅 장치
AU2015397084B2 (en) * 2015-06-03 2021-05-27 Razer (Asia-Pacific) Pte. Ltd. Haptics devices and methods for controlling a haptics device
WO2017031500A1 (en) * 2015-08-20 2017-02-23 Bodyrocks Audio Incorporated Devices, systems, and methods for vibrationally sensing audio
KR102373541B1 (ko) * 2015-08-31 2022-03-11 삼성전자주식회사 반도체 장치, 스택 반도체 장치 및 이의 테스트 방법
US10310804B2 (en) * 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
KR101790892B1 (ko) * 2016-05-17 2017-10-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
US10210724B2 (en) * 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
US10198076B2 (en) 2016-09-06 2019-02-05 Neosensory, Inc. Method and system for providing adjunct sensory information to a user
WO2018066299A1 (ja) * 2016-10-07 2018-04-12 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP3321933B1 (en) * 2016-11-14 2021-08-25 Goodix Technology (HK) Company Limited Linear resonant actuator controller
US10152296B2 (en) 2016-12-28 2018-12-11 Harman International Industries, Incorporated Apparatus and method for providing a personalized bass tactile output associated with an audio signal
US11355033B2 (en) 2017-04-17 2022-06-07 Meta Platforms, Inc. Neural network model for generation of compressed haptic actuator signal from audio input
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10942569B2 (en) * 2017-06-26 2021-03-09 SonicSensory, Inc. Systems and methods for multisensory-enhanced audio-visual recordings
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
KR102443324B1 (ko) * 2017-09-15 2022-09-14 풔스 디멘션 에스에이알엘 진동-촉각력 피드백 방법 및 디바이스
KR102208810B1 (ko) * 2017-10-20 2021-01-28 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 시스템
US10959674B2 (en) 2017-10-23 2021-03-30 Datafeel Inc. Communication devices, methods, and systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
EP3540567B1 (en) 2018-03-16 2021-05-05 Goodix Technology (HK) Company Limited Haptic signal generator
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
EP3579081A1 (en) 2018-06-07 2019-12-11 Lofelt GmbH Systems and methods for generating haptic output for enhanced user experience
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US10852831B2 (en) * 2018-11-26 2020-12-01 Zinitix Co., Ltd. User interface device driving chip for providing improved input feedback and electronic device using the same
WO2020111558A1 (ko) 2018-11-30 2020-06-04 주식회사 씨케이머티리얼즈랩 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법
CN113015950A (zh) 2018-12-12 2021-06-22 阿尔卑斯阿尔派株式会社 触觉呈现装置、触觉呈现系统、控制方法以及程序
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
WO2020157978A1 (ja) * 2019-02-01 2020-08-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
KR102141889B1 (ko) * 2019-02-19 2020-08-06 주식회사 동운아나텍 적응적 햅틱 신호 발생 장치 및 방법
KR102273805B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
WO2020171326A1 (ko) * 2019-02-22 2020-08-27 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환시키는 촉각 제공 장치 및 방법
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
EP3938867A4 (en) * 2019-04-26 2022-10-26 Hewlett-Packard Development Company, L.P. SPATIAL AUDIO AND HAPTICS
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
JP7252866B2 (ja) * 2019-09-10 2023-04-05 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
WO2021074107A1 (en) * 2019-10-14 2021-04-22 Lofelt Gmbh Systems and methods for authoring an audio signal and for transforming the authored audio signal into a haptic data file
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
KR20210088371A (ko) 2020-01-06 2021-07-14 주식회사 비햅틱스 촉각자극 제공 시스템
US11079854B2 (en) 2020-01-07 2021-08-03 Neosensory, Inc. Method and system for haptic stimulation
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN112083807B (zh) * 2020-09-20 2021-10-29 吉林大学 一种基于音触转换的足部地形触觉再现方法及装置
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
CA3177615A1 (en) 2020-10-30 2022-05-05 Datafeel Inc. Wearable data communication apparatus, kits, methods, and systems
JP2022097227A (ja) * 2020-12-18 2022-06-30 株式会社Ｊｖｃケンウッド 情報提供装置、情報提供方法、およびプログラム
CN112669873A (zh) * 2020-12-25 2021-04-16 瑞声光电科技(常州)有限公司 一种基于音乐频率的振动频率设计方法
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
KR102516138B1 (ko) * 2022-10-12 2023-03-30 주식회사 비츠나인 진동 생성 방법 및 컴퓨터 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6183367B1 (en) * 1997-07-16 2001-02-06 Kabushiki Kaisha Sega Enterprises Communicative game system
KR20040062559A (ko) * 2001-10-09 2004-07-07 임머숀 코퍼레이션 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들
US20070079138A1 (en) * 2005-01-19 2007-04-05 Lightuning Tech. Inc. Storage device and method for protecting data stored therein
WO2010104953A1 (en) * 2009-03-10 2010-09-16 Artificial Muscle, Inc. Electroactive polymer transducers for tactile feedback devices

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL70153A0 (en) 1983-11-07 1984-02-29 Navot Technology Ltd Audiotactile communication system
US5675709A (en) * 1993-01-21 1997-10-07 Fuji Xerox Co., Ltd. System for efficiently processing digital sound data in accordance with index data of feature quantities of the sound data
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US5684722A (en) * 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US5842163A (en) * 1995-06-21 1998-11-24 Sri International Method and apparatus for computing likelihood and hypothesizing keyword appearance in speech
JP3824182B2 (ja) * 1996-09-20 2006-09-20 ソニー株式会社 音声増幅装置及び通信端末装置並びに音声増幅方法
US6285351B1 (en) * 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
US7091948B2 (en) * 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
JPH11196497A (ja) * 1998-01-06 1999-07-21 Matsushita Electric Ind Co Ltd 振動による情報伝達装置
JPH11296126A (ja) 1998-04-15 1999-10-29 Iida Denshi Sekkei Kk 聴覚的情報の補助的提示方法及び聴覚的情報の補助的提示装置
KR20010111233A (ko) * 2000-06-09 2001-12-17 오원근 청각 장애자용 소리 인식장치
US6751534B2 (en) 2000-12-21 2004-06-15 Ford Global Technologies, Llc System and method for providing feedback to a driver of a hybrid vehicle
JP2003099177A (ja) 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US6703550B2 (en) 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
SE525056C2 (sv) 2003-11-26 2004-11-23 Gateway Security Ab Artikelövervakningssystem, samt sätt att detektera om ett larmtillstånd föreligger
US7791588B2 (en) 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
JP5208362B2 (ja) 2005-10-28 2013-06-12 ソニー株式会社 電子機器
CN101416139B (zh) 2006-04-06 2014-07-09 伊梅森公司 用于增强的触觉效果的系统和方法
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US20080084384A1 (en) 2006-10-05 2008-04-10 Immersion Corporation Multiple Mode Haptic Feedback System
US8520866B2 (en) * 2006-12-15 2013-08-27 Nokia Corporation Apparatus, method, and computer program product providing sound-produced tactile feedback
JP2008203559A (ja) * 2007-02-20 2008-09-04 Toshiba Corp 対話装置及び方法
US8098234B2 (en) * 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
JP4467601B2 (ja) 2007-05-08 2010-05-26 ソニー株式会社 ビート強調装置、音声出力装置、電子機器、およびビート出力方法
JP5270118B2 (ja) 2007-07-05 2013-08-21 富士通コンポーネント株式会社 触覚提示装置及び触覚提示方法
US7741979B2 (en) 2007-07-06 2010-06-22 Pacinian Corporation Haptic keyboard systems and methods
WO2010027190A2 (ko) 2008-09-05 2010-03-11 에스케이텔레콤 주식회사 진동 정보를 전달하는 이동통신 단말기 및 방법
WO2010054014A1 (en) * 2008-11-04 2010-05-14 Artificial Muscle, Inc. Electroactive polymer transducers for tactile feedback devices
US20100141408A1 (en) 2008-12-05 2010-06-10 Anthony Stephen Doy Audio amplifier apparatus to drive a panel to produce both an audio signal and haptic feedback
US8686952B2 (en) 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
CN102334089A (zh) 2009-01-21 2012-01-25 拜耳材料科技公司 用于触觉反馈设备的电活性聚合物换能器
JP4945586B2 (ja) * 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US8218780B2 (en) 2009-06-15 2012-07-10 Hewlett-Packard Development Company, L.P. Methods and systems for blind dereverberation
US8902050B2 (en) 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US8279052B2 (en) 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
US20110115709A1 (en) 2009-11-17 2011-05-19 Immersion Corporation Systems And Methods For Increasing Haptic Bandwidth In An Electronic Device
KR20120011548A (ko) 2010-07-29 2012-02-08 삼성전자주식회사 사용자 입력에 대한 피드백 제공 장치 및 방법
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
KR101602663B1 (ko) 2011-10-10 2016-03-14 한국전자통신연구원 촉각 피드백을 제공하기 위한 전자기기용 케이스 및 그 구동 방법
US9513706B2 (en) 2012-02-15 2016-12-06 Immersion Corporation High definition haptic effects generation using primitives
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US9659482B2 (en) 2014-09-02 2017-05-23 Apple Inc. Context-based alerts for an electronic device
WO2016205713A1 (en) 2015-06-19 2016-12-22 Northwestern University Apparatus for unified audio tactile feedback
US10152296B2 (en) * 2016-12-28 2018-12-11 Harman International Industries, Incorporated Apparatus and method for providing a personalized bass tactile output associated with an audio signal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6183367B1 (en) * 1997-07-16 2001-02-06 Kabushiki Kaisha Sega Enterprises Communicative game system
KR20040062559A (ko) * 2001-10-09 2004-07-07 임머숀 코퍼레이션 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들
US20070079138A1 (en) * 2005-01-19 2007-04-05 Lightuning Tech. Inc. Storage device and method for protecting data stored therein
WO2010104953A1 (en) * 2009-03-10 2010-09-16 Artificial Muscle, Inc. Electroactive polymer transducers for tactile feedback devices

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11009956B2 (en) 2016-10-07 2021-05-18 Sony Corporation Information processing apparatus and information processing method for presentation of multiple haptic feedback channels based on sound characteristics extracted from multiple sound channels
KR20200017719A (ko) * 2018-08-09 2020-02-19 김정욱 음원 기반의 진동패턴 생성장치

Also Published As

Publication number Publication date
KR102005115B1 (ko) 2019-07-29
US20120206247A1 (en) 2012-08-16
KR20130086590A (ko) 2013-08-02
KR101999565B1 (ko) 2019-07-15
CN103247296B (zh) 2018-03-06
CN108196683A (zh) 2018-06-22
US20190005782A1 (en) 2019-01-03
CN103247296A (zh) 2013-08-14
US10055950B2 (en) 2018-08-21
US9606627B2 (en) 2017-03-28
CN102750957B (zh) 2016-12-14
JP6584594B2 (ja) 2019-10-02
KR20190084014A (ko) 2019-07-15
CN108196683B (zh) 2020-04-24
JP2012168947A (ja) 2012-09-06
US9064387B2 (en) 2015-06-23
CN108181996A (zh) 2018-06-19
US20150241975A1 (en) 2015-08-27
JP6026751B2 (ja) 2016-11-16
JP2018139161A (ja) 2018-09-06
US10431057B2 (en) 2019-10-01
KR20180084707A (ko) 2018-07-25
US20170213430A1 (en) 2017-07-27
US8717152B2 (en) 2014-05-06
CN102750957A (zh) 2012-10-24
US20140152429A1 (en) 2014-06-05

Similar Documents

Publication Publication Date Title
KR102005115B1 (ko) 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템
KR101880764B1 (ko) 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
US9448626B2 (en) Sound to haptic effect conversion system using amplitude value
JP6250985B2 (ja) マッピングを用いた音をハプティック効果に変換するシステム
JP2020173821A (ja) ストリームに依存しない音をハプティック効果に変換するシステム
JP2018205782A (ja) 複数のアクチュエータを用いた音からハプティック効果への変換システム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant