KR20080109907A - 햅틱 효과 개선을 위한 시스템들 및 방법들 - Google Patents

햅틱 효과 개선을 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20080109907A
KR20080109907A KR1020087027127A KR20087027127A KR20080109907A KR 20080109907 A KR20080109907 A KR 20080109907A KR 1020087027127 A KR1020087027127 A KR 1020087027127A KR 20087027127 A KR20087027127 A KR 20087027127A KR 20080109907 A KR20080109907 A KR 20080109907A
Authority
KR
South Korea
Prior art keywords
haptic
actuator
format
signal
data
Prior art date
Application number
KR1020087027127A
Other languages
English (en)
Other versions
KR101384434B1 (ko
Inventor
로버트 에이. 라크로익스
대니 그랜트
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20080109907A publication Critical patent/KR20080109907A/ko
Application granted granted Critical
Publication of KR101384434B1 publication Critical patent/KR101384434B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game

Abstract

개선된 햅틱 효과를 위한 시스템들 및 방법들이 개시된다. 개시된 하나의 방법은, 햅틱 정보 및 멀티미디어 데이터를 가지며 제1 포맷으로 포맷팅된 입력 신호를 수신하는 단계, 입력 신호로부터 햅틱 정보를 디코딩하는 단계, 및 햅틱 디바이스 내의 액츄에이터와 연관된 파라미터를 결정하는 단계를 포함한다. 이 방법은, 파라미터 및 햅틱 정보에 적어도 부분적으로 기초하여 액츄에이터 신호를 생성하는 단계와, 멀티미디어 데이터 및 액츄에이터 신호를 포함하며 제2 포맷으로 포맷팅된 출력 신호를 생성하는 단계를 더 포함한다.
햅틱 효과, 햅틱 디바이스, 멀티미디어 데이터, 액츄에이터, 햅틱 정보

Description

햅틱 효과 개선을 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR ENHANCED HAPTIC EFFECTS}
<관련 출원들에 대한 상호 참조>
본 출원은 그 전체 개시 내용이 참조로 본원에 포함되는, "A Vibrotactile Effects System"이라는 제목의 미국 가출원 제60/790,408호에 대한 우선권을 주장한다.
본 발명은 일반적으로 햅틱(haptic) 제어 기술에 관한 것이다. 보다 구체적으로는, 본 발명은 햅틱 효과를 위한 시스템들 및 방법들에 관한 것이다.
휴대용 디바이스는, 하나의 디바이스 내에 컴퓨팅, 통신, 및 엔터테인먼트 기능을 포함하는 다기능 디바이스로 급속하게 발전하고 있다. 모바일 폰, 개인 휴대용 정보 단말기(PDA), 및 그 밖의 디바이스 등의 이들 휴대용 디바이스 내에 촉각적 피드백(tactile feedback)을 포함시키는 것이 증가되고 있다. 그러나, 역사적으로, 휴대용 디바이스는 특징적인 기본 진동 기능만을 가진다. 예를 들면, 모바일 폰은 진동 액츄에이터를 하나의 진폭으로 규칙적으로 온 및 오프시킬 수 있는 능력만을 가질 수 있다.
이들 모바일 폰 및 그 밖의 다른 햅틱 디바이스는, MFT(Multi-Function Transducer)를 통해 표준 오디오 신호를 구동하여 진동을 발생시킬 수 있다. 일부 이러한 디바이스들은, 특정 진동 제어 신호를 사용하기보다는, 기존의 주파수의 오디오 신호에 의존하여 MFT에서 랜덤하게 진동을 구동시킬 수 있다. 이러한 주파수가 오디오 신호에서 발견되지 않는 경우, 진동이 발생되지 않는다.
현재 소정의 진동 능력이 존재하지만, 휴대용 디바이스 기술의 발전 및 사용자 요구는, 모바일 폰에서의 개선된 진동 능력을 필요로 하고 있다. 그리고, 이들 디바이스들의 제조자들은, 개선된 기능 및 제어를 위해 이러한 개선된 진동 능력을 이들의 휴대용 디바이스에 이용하기 위한 각종 방법들을 연구하고 있다.
진동 피드백에 대한 요구가 증가하고 있음과 동시에, 진동 피드백을 지원하는 다수의 서로 다른 햅틱 디바이스들이 성장하고 있다. 이들 성장하는 각종 서로 다른 햅틱 디바이스들은 디바이스 설계자들에게 소정의 딜레마를 발생시킨다. 한편, 디바이스 설계자는 진동촉각(vibrotactile) 피드백을, 서로 다른 디바이스의 특정 능력에 맞추는 데에 시간 및 자원을 바칠 수 있다. 대안적으로는, 디바이스 설계자는 동일한 포괄적인 진동촉각 피드백 신호를 서로 다른 많은 디바이스들에 제공할 것을 선택할 수 있으며, 이 포괄적인 신호가, 임의의 특정 햅틱 디바이스의 개선된 기능을 이용하는 것을 실패할 수 있음을 감수할 수 있다.
<개요>
본 발명의 실시예들은 개선된 햅틱 효과를 위한 시스템들 및 방법들을 제공한다. 본 발명의 일 실시예는, 제1 포맷으로 포맷팅되어 있으며 멀티미디어 데이터 및 햅틱 정보를 갖는 입력 신호를 수신하는 단계, 햅틱 정보를 디코딩하는 단계, 햅틱 디바이스 내의 액츄에이터와 연관된 파라미터를 결정하는 단계, 및 이 파라미터 및 햅틱 정보에 적어도 부분적으로 기초하여 액츄에이터 신호를 생성하는 단계를 포함한다. 이 방법은, 멀티미디어 데이터 및 액츄에이터 신호를 포함하며 제2 포맷으로 포맷팅된 출력 신호를 생성하는 단계를 더 포함한다. 일 실시예에서, 이 방법은 출력 신호에 적어도 부분적으로 기초하여 햅틱 효과를 발생시키는 단계를 더 포함한다. 다른 실시예에서, 컴퓨터 판독가능 매체는 이러한 방법을 수행하기 위한 프로그램 코드를 포함한다.
이들 예시적인 실시예들은 본 발명을 제한하거나 규정하는 것이 아니라 본 발명의 이해를 돕기 위한 예들을 제공하기 위해 언급되는 것이다. 예시적인 실시예들이 상세한 설명에서 설명되며 본 발명의 추가의 설명이 거기에 제공된다. 본 발명의 각종 실시예들에 의해 제공되는 이점들은 또한 이 명세서의 검토에 의해 더욱 잘 이해될 수 있다.
도 1은 본 발명의 일 실시예의, 개선된 햅틱 피드백을 제공하기 위한 디바이스의 일 예를 나타낸 도면.
도 2는 본 발명의 일 실시예의, 개선된 햅틱 피드백을 제공하기 위한 디바이스의 두 번째 예를 나타낸 도면.
도 3은 본 발명의 일 실시예의, 개선된 햅틱 피드백을 제공하기 위한 시스템을 예시한 블럭도.
도 4는 본 발명의 일 실시예의, 개선된 햅틱 피드백을 제공하기 위한 방법을 예시한 흐름도.
본 발명의 이들 및 그 밖의 특성들, 양태들, 및 이점들은, 첨부된 도면을 참조하여 이하의 상세한 설명을 읽을 때 더욱 잘 이해된다.
본 발명의 실시예들은 개선된 햅틱 피드백을 위한 시스템들 및 방법들을 제공한다. 예시된 일 실시예에서, 컴퓨터 판독가능 매체는, 햅틱 디바이스의 성능과 관련된 정보를 저장한다. 프로세서는, 사전결정된 주파수로 인코딩된, 햅틱 정보를 갖는 미디어 스트림을 수신한다. 프로세서는 대역 통과 필터를 이용하여 이 미디어 스트림으로부터 햅틱 정보를 추출한다. 그 후, 프로세서는 이 햅틱 정보와 연관된 햅틱 효과를 발생시키기 위한 액츄에이터 신호를 생성한다. 이 액츄에이터 신호는, 컴퓨터 판독가능 매체에 저장되어 있으며 특정 햅틱 디바이스의 성능과 관련된 정보에 적어도 부분적으로 기초한 것이다. 프로세서는, 액츄에이터 신호를 생성한 후, 멀티미디어 데이터 및 액츄에이터 신호를 포함하는 출력 신호를 생성한다. 출력 신호는 입력 신호와 동일한 포맷으로 되어 있다. 프로세서가 출력 신호를 생성하면, 햅틱 디바이스는 액츄에이터를 이용하여 햅틱 효과를 제공할 수 있다.
이 예는 독자에게, 개시되는 일반적인 내용을 소개하기 위해 제공되는 것이다. 본 발명은 이 예에 한정되지 않는다. 이하에서는, 개선된 햅틱 피드백을 위한 예시적인 시스템들 및 방법들이 개시된다.
개선된 햅틱 피드백을 위한 예시적인 디바이스들
개선된 햅틱 피드백을 제공하도록 구성된 디바이스의 예시적인 일 실시예에서, 휴대용 음악 재생기가 스피커를 통해 사운드를 재생하고 액츄에이터를 이용하여 햅틱 효과를 생성하도록 구성될 수 있다. 이러한 일 실시예에서, 휴대용 음악 재생기는, 오디오 데이터 및 햅틱 데이터를 포함하는 입력 데이터를 수신하도록 구성된 프로세서를 포함할 수 있다. 프로세서는 입력 데이터로부터 햅틱 데이터를 추출한다. 그 후, 프로세서는 액츄에이터의 공진 주파수 등의, 액츄에이터와 연관된 파라미터들을 분석하고, 햅틱 데이터 및 이 파라미터들에 적어도 부분적으로 기초하여 액츄에이터 신호를 생성한다. 그 후, 프로세서는, 오디오 데이터를 스피커에 출력하여 사운드를 발생시키고 액츄에이터 신호를 액츄에이터에 전송하여 햅틱 효과를 제공하도록 또한 구성될 수 있다. 본 예시적인 실시예에서, 액츄에이터 신호 및 오디오 데이터는, 햅틱 효과가 실질적으로 사운드와 동기화되도록 전송될 수 있다.
이러한 예시적인 실시예는, 햅틱 효과가 오디오 데이터와 함께 인코딩될 수 있는 오디오 파일들을 재생하는데에 이롭게 사용될 수 있다. 이러한 오디오 파일들은 사용자가 들을 음악뿐만 아니라 동기화된 햅틱 효과를 제공하여서, 음악을 들을 때의 경험을 개선시킬 수 있다. 이러한 예시적인 실시예는 또한, 예를 들어 사운드 및 비디오 양쪽 모두와 동기화된 햅틱 효과를 제공하기 위한 비디오 데이터를 포함할 수 있다. 예를 들면, 햅틱 효과는, 영화를 보거나 혹은 비디오 게임을 하는 경험을 개선시키는 데에 이용될 수 있다.
이 두 번째 예도 또한, 독자에게, 본원에 개시된 일반적인 내용을 소개하기 위해 제공되는 것이다. 본 발명은 이들 예들에 제한되지 않는다. 이하의 섹션들에서는, 개선된 햅틱 피드백을 위한 시스템들 및 방법들의 각종 실시예들에 대해 개시한다.
개선된 햅틱 피드백
이제, 몇몇 도면 전체를 통해 동일한 참조 부호는 동일한 구성요소를 가리키는 도면들을 참조하면, 도 1은 본 발명의 일 실시예의, 개선된 햅틱 피드백을 제공하기 위한 디바이스의 일례를 나타낸다. 도 1의 디바이스는, 디스플레이(104), 키패드(106), 및 스피커(108)를 갖는 모바일 폰(102)을 포함한다. 도 1에 도시된 실시예는 모바일 폰을 포함하지만, 다른 실시예들에서는 다른 디바이스들을 포함할 수 있다. 예를 들면, 다른 실시예들에서는, PDA, 무선 호출기(beeper), 휴대용 음악 또는 비디오 재생기, 게임 컨트롤러 또는 그 밖의 조작기(manipulandum), 휴대용 게임 시스템, 또는 휴대용 내비게이션 디바이스를 포함할 수 있다.
도 2는 본 발명의 일 실시예의, 개선된 햅틱 피드백을 제공하기 위한 디바이스의 두 번째 예이다. 도 2는 도 1에 도시된 모바일 폰(102)의 내부의 투시도를 나타낸 도면이다. 모바일 폰(102)은 프로세서(204) 및 액츄에이터(206)를 포함한다. 프로세서(204)는 액츄에이터(206)와 통신하고 있다.
프로세서(204)는, 제1 포맷으로 포맷팅된 입력 신호를 수신하도록 구성되어 있으며, 이 입력 신호는 멀티미디어 데이터 및 햅틱 정보를 갖는다. 프로세서(204)는 또한, 제2 포맷으로 포맷팅된 출력 신호를 생성하도록 구성되어 있다. 출력 신호는 멀티미디어 데이터 및 액츄에이터 신호를 포함할 수 있다. 출력 신호의 제2 포맷은, 입력 신호의 제1 포맷과 동일할 수 있다. 출력 신호는, 스피커(108) 또는 액츄에이터(206) 등의, 모바일 폰(102)의 하나 이상의 구성요소로 전송될 수 있다. 일 실시예에서, 이 출력 신호는, 실질적으로 동일한 시간에 스피커(108)와 액츄에이터(206)에 전송될 수 있다. 이러한 예에서, 모바일 폰(102)의 스피커(108)는 멀티미디어 데이터에 적어도 부분적으로 기초하여 사운드를 재생할 수 있으며, 액츄에이터(206)는 액츄에이터 신호에 적어도 부분적으로 기초하여 햅틱 효과를 생성할 수 있다. 일 실시예에서, 햅틱 효과 및 오디오가 동기화될 수 있다. 예를 들면, 일 실시예에서는, 스피커(108)가, 액츄에이터(206)에 의해 생성되는 햅틱 효과와 실질적으로 동시에 사운드를 재생할 수 있다.
다른 실시예에서는, 햅틱 효과는 사운드와 동기화되지 않을 수 있다. 일 실시예에서, 액츄에이터 신호는, 햅틱 효과를 발생시키지 않도록 구성될 수 있다. 예를 들면, 햅틱 정보가 인식되지 않거나, 혹은 사용가능하지 않은 경우, 액츄에이터 신호는, 햅틱 효과를 발생시키지 않도록 구성될 수 있다.
도시된 디바이스는 하나의 프로세서(204)를 포함하지만, 다른 디바이스들은 두 개 이상의 프로세서들을 포함할 수 있다. 프로세서(204) 뿐만 아니라, 본 발명의 하나 이상의 실시예에 포함되는 다른 디바이스들은, 프로세서에 결합되는 랜덤 액세스 메모리(RAM) 등의 컴퓨터 판독가능 매체를 포함할 수 있다. 프로세서는, 진동접촉 혹은 그 밖의 다른 햅틱 효과를 발생시키기 위한 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이, 메모리 내에 저장된 컴퓨터 실행가능 프로그램 인스 트럭션들을 실행한다. 이러한 프로세서들은, 마이크로프로세서, 디지털 신호 처리기(DSP), ASIC(application-specific integrated circuit), FPGA(field programmable gate array), 및 스테이트 머신을 포함할 수 있다. 이러한 프로세서들은 또한, PLC, PIC(programmble interrupt controller), PLD(programmable logic device), PROM(programmable read-only memory), 전자적 프로그램가능 판독 전용 메모리(EPROM 또는 EEPROM), 또는 그 밖의 유사한 디바이스 등의 프로그램가능 전자 디바이스를 포함할 수 있다.
이러한 프로세서들은, 예를 들어, 프로세서에 의해 실행될 때, 프로세서로 하여금, 프로세서에 의해 실행되거나 혹은 보조되는, 본원에서 설명되는 단계들을 수행하도록 하는 인스트럭션들을 저장할 수 있는 컴퓨터 판독가능 매체를 포함하거나, 혹은 이와 통신할 수 있다. 컴퓨터 판독가능 매체의 실시예들은, 웹 서버에서의 프로세서 등의 프로세서에게 컴퓨터 판독가능 인스트럭션들을 제공할 수 있는 전자, 광학, 자기, 또는 그 밖의 다른 저장 장치 또는 전송 디바이스를 포함할 수 있지만, 이에 제한되지는 않는다. 매체의 다른 예들에는, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 컨피규어링된 프로세서(configured processor), 모든 광학적 매체, 모든 자기 테이프 또는 그 밖의 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체가 포함되지만, 이에 제한되는 것은 아니다. 또한, 각종 다른 형태들의 컴퓨터 판독가능 매체는, 예를 들어 라우터, 개인 또는 공공 네트워크, 또는 기타 전송 디바이스 또는 채널을 통해 인스트럭션들을 컴퓨터에 전송하거나 전달할 수 있다. 전술한 프로세서, 및 프로 세싱은 하나 이상의 구조로 되어 있을 수 있으며, 하나 이상의 구조에 걸쳐 분산되어 있을 수 있다. 프로세서는, 본원에서 개시되는 방법들 중 하나 이상(혹은 방법들의 일부)을 수행하기 위한 코드를 포함할 수 있다. 인스트럭션들은, 예를 들어, C, C+, C++, 비쥬얼 베이직, 자바, 파이썬(Python), 및 자바스크립트를 비롯한 임의의 적절한 컴퓨터 프로그래밍 언어로부터의 코드를 포함할 수 있다.
액츄에이터(206)는, ERM(eccentric rotating mass) 액츄에이터, MFT, 선형 매스 액츄에이터, 전자기(electro-magnetic) 액츄에이터, 모터, 음성 코일, 기압 또는 수압 액츄에이터, 전기 활성 중합체, 또는 임의의 다른 적절한 액츄에이터를 비롯한, 각종 서로 다른 유형의 액츄에이터들 중 임의의 액츄에이터일 수 있다. 일 실시예에서, 액츄에이터(206)는 복수의 액츄에이터들을 포함할 수 있다. 예를 들면, 일 실시예에서, 두 개의 액츄에이터들이 이용될 수 있다. 제1 액츄에이터는, 높은 진동 주파수(예를 들면, 200Hz 초과)를 갖는 진동접촉 또는 그 밖의 다른 햅틱 효과를 제공하도록 구성될 수 있으며, 제2 액츄에이터는, 낮은 진동 주파수(예를 들면, 200Hz 미만)를 갖는 진동접촉 또는 그 밖의 다른 햅틱 효과를 제공하도록 구성될 수 있다. 다른 실시예에서, 제1 액츄에이터 및 제2 액츄에이터는, 방향 효과를 시뮬레이팅하기 위한 햅틱 효과를 제공하는 데에 사용될 수 있다. 예를 들면, 제1 및 제2 액츄에이터들은, 디바이스의 대향 측들에 위치될 수 있으며, 디바이스의 한쪽 측에서 다른 쪽 측으로 이동하는 것처럼 보이는 햅틱 효과를 제공하거나, 혹은 스크린 상의 이미지와 동기화되는 진동 소스의 방향 표시를 제공하도록 액츄에이팅될 수 있다.
개선된 햅틱 피드백을 위한 시스템의 예
도 3은 본 발명의 일 실시예의, 개선된 햅틱 피드백을 제공하기 위한 시스템을 예시한 블럭도이다. 도시된 실시예에서, 시스템은 미디어 플레이어(302), 네트워크(320), 및 설계 툴(322)을 포함한다. 미디어 플레이어(302)는 미디어 스트림 디코더(304), 햅틱 미디어 엔진(306), 액츄에이터(310), 다기능 트랜스듀서(312), 디스플레이(314), 및 스피커(316)를 포함한다.
미디어 플레이어
미디어 플레이어(302)는, 스피커(316)를 통한 오디오의 재생 및/또는 디스플레이(314)를 통한 비디오의 재생을 행하도록 구성될 수 있다. 일 실시예에서, 미디어 플레이어(302)는, MFT(312)를 이용하여 사용자에게 햅틱 효과를 제공하도록 구성될 수 있다. 다른 실시예에서, 미디어 플레이어(302)는, 액츄에이터(310)를 이용하여 사용자에게 햅틱 효과를 제공하도록 구성될 수 있다. 미디어 플레이어(302)는, 다기능 트랜스듀서들(312) 중 하나 이상과 액츄에이터들(310) 중 하나 이상의 조합을 가질 수 있다. 일 실시예에서, 미디어 플레이어(302)는, 넓은 범위의 진동촉각, 및 다양한 강도, 주파수, 지속기간, 리듬, 억양, 및 그 밖의 강약을 갖는 그 밖의 햅틱 효과를 생성할 수 있을 수 있는 고성능의 진동촉각 플레이어를 포함할 수 있다.
미디어 플레이어(302)는, 햅틱 정보 및 멀티미디어 데이터를 갖는 입력 신호를 수신하도록 구성될 수 있다. 일부 실시예들에서는, 멀티미디어 데이터는, 오디오 스트림 및 비디오 스트림 등의 하나 이상의 미디어 스트림을 포함하는 멀티미디 어 파일일 수 있다. 일부 실시예들에서는, 입력 신호는, 인터넷 또는 셀룰라 폰 네트워크(이에 한정되지 않음)를 비롯한 네트워크(320)를 통해 수신된다. 미디어 플레이어(302)는, 예를 들어 무선 네트워크(예를 들면, 802.11), 셀룰라 네트워크, 블루투스, 적외선, 또는 데이터의 무선 통신을 위한 기타 수단을 통해 입력 신호를 무선으로 수신할 수 있다. 일부 실시예들에서는, 미디어 플레이어(302)는, 이더넷, USB(Universal Serial Bus), FireWire, 병렬 또는 직렬 접속 등의 직접 전기 접속을 통해 입력 신호를 수신할 수 있다.
다른 실시예들에서, 입력 신호는 로컬 메모리(도시하지 않음)로부터 수신된다. 미디어 플레이어(302)는 또한, 애플리케이션으로부터 입력 신호를 수신하도록 구성될 수 있다. 예를 들면, 미디어 플레이어(302)는, 햅틱 정보를 비롯하여, 컨텐츠를 작성하기 위한 설계 툴(322)로부터 입력 신호를 수신할 수 있다.
미디어 플레이어(302)는 미디어 스트림 디코더(304)를 포함한다. 일 실시예에서, 미디어 스트림 디코더(304)는, 프로세서(도시하지 않음)에 의해 실행되는 프로그램 코드를 포함한다. 예를 들면, 미디어 플레이어(302)는 프로세서 및 메모리를 포함할 수 있다. 메모리는, 미디어 스트림 디코더(304)를 포함하는 프로그램 코드를 포함할 수 있다. 미디어 스트림 디코더(304)는, 햅틱 정보 및 멀티미디어 데이터를 갖는 입력 신호를 수신하기 위한 프로그램 코드를 포함할 수 있으며, 여기서 입력 신호는 제1 포맷으로 포맷팅될 수 있다.
제1 포맷은 멀티미디어 포맷일 수 있다. 예를 들면, 일 실시예에서, 입력 신호는, MP3(Motion Picture Experts Group-1 Audio Layer3) 포맷을 이용하여 포맷 팅된 오디오 데이터를 포함한다. 일 실시예에서, 입력 신호는, MPEG(Motion Picture Experts Group) 포맷을 이용하여 포맷팅된 비디오 및/또는 데이터를 포함할 수 있다. 다른 실시예들에서는, WAV(Waveform Audio Format), MIDI(Musical Instrument Digital Interface), Ogg, DivXTM, QuickTimeTM, MP3, AppleTM의 MPEG-4 Part 3(M4P), AAC(Advanced Audio Coding) 포맷, 또는 오디오 및/또는 비디오 데이터를 인코딩하기 위한 임의의 다른 포맷을 비롯한, 오디오 및/또는 비디오 데이터에 대한 다른 멀티미디어 포맷들이 이용될 수 있다. 입력 신호는, 오디오 파일 등의 하나의 미디어와 연관될 수 있다. 다른 실시예들에서는, 미디어 스트림은, 오디오 및 비디오 데이터를 갖는 영화 파일 등의 멀티미디어 파일일 수 있다.
입력 신호는 또한 햅틱 정보를 포함한다. 햅틱 정보는, 멀티미디어 데이터 내에 독립적인 미디어 스트림으로서 저장될 수 있다. 예를 들면, 일부 실시예들에서는, 햅틱 정보는, 예를 들어 기존의 멀티미디어 파일 내의 패키지로서 미디어 내에 삽입될 수 있다. 삽입된 햅틱 정보는, 햅틱 데이터를 인식하도록 설계되지 않은 미디어 플레이어들에게는 햅틱 컨텐츠가 보이지 않도록 하는 방식으로 입력 데이터 내에 배치될 수 있다. 다른 실시예들에서는, 입력 신호의 포맷은, 햅틱 정보를 인식하도록 설계된 미디어 플레이어가 햅틱 정보를 무시하거나 혹은 재생하는 것을 선택할 수 있도록 햅틱 데이터를 포함하도록 확장될 수 있다.
일부 실시예들에서는, 햅틱 정보는 특정 미디어 스트림 내에 인코딩된다. 예를 들면, 햅틱 정보는, 그 본래의 포맷으로부터, 멀티미디어 데이터와 동일한 포 맷으로 변환될 수 있다. 일 실시예에서, 햅틱 데이터는, 멀티미디어 스트림 데이터의 하나 이상의 주파수에서 진폭 혹은 주파수 변조된 데이터로서 인코딩될 수 있다. 예를 들면, 일 실시예에서, 햅틱 데이터는, 140Hz의 주파수를 갖는 반송파 상에서 진폭 변조된 데이터로서 인코딩된 후, 기존의 오디오 스트림 내에 혼합될 수 있다. 다른 실시예에서는, 햅틱 데이터는, 주파수 변조된 데이터로서 인코딩될 수 있다. 햅틱 데이터는, 햅틱 디바이스의 스피커에 의해 인식되지 않는 주파수로 인코딩될 수 있다. 예를 들면, 햅틱 디바이스의 스피커가 135Hz 미만의 주파수는 인식하지 못하는 경우, 햅틱 정보는 130Hz로 인코딩될 수 있다.
햅틱 데이터는, 햅틱 효과를 기술하는 정보로서 인코딩될 수 있다. 예를 들면, 일 실시예에서, 햅틱 데이터는, 주파수, 진폭, 지속기간, 주기, 펄스폭, 엔벨로프(envelope), 및/또는 출력될 햅틱 효과와 연관된 기타 정보를 규정하는 데이터를 포함할 수 있다. 일 실시예에서, 햅틱 데이터는 햅틱 효과로서 출력될 파형을 포함할 수 있다. 예를 들면, 액츄에이터 신호를 기술하는 인코딩 정보가 아니라, 디지털화된 액츄에이터 신호 자체를 정의하는 데이터 포인트들이 햅틱 데이터로서 인코딩될 수 있다. 일 실시예에서, 햅틱 데이터는, 액츄에이터 신호를 기술하는 정보와, 디지털화된 액츄에이터 신호의 적어도 일부를 정의하는 데이터 포인트들 양쪽 모두를 포함할 수 있다.
일 실시예에서, 동기화 데이터가 입력 신호 내에 삽입되어서 햅틱 효과를 오디오 및/또는 비디오와 동기화시킬 수 있다. 동시 계류중인 미국 특허 출원 시리얼 번호 11/583,483(2006년 10월 18일 출원됨)에서는, 미디어 전송 스트림 내의 햅 틱 효과 데이터의 동기화를 위한 방법들을 개시하고 있는데, 이 전체는 본원에 참조로 포함된다. 예를 들면, 일 실시예에서, 멀티미디어 데이터 스트림 내의 일련의 프레임들의 햅틱 정보는 대응하는 시간 스탬프와 연관될 수 있다. 출력 신호가 생성되면, 시간 스탬프는 액츄에이터 신호를 멀티미디어 데이터와 동기화시키는 데에 이용되어서, 출력 신호를 수신하는 액츄에이터가, 드럼 비트(drum beat)가 스피커 상에서 재생됨과 동시에 햅틱 효과를 제공하게 된다.
일 실시예에서, 미디어 플레이어(302)는 터치 스크린 등의 터치 감응식 스크린을 포함할 수 있다. 사용자는, 선택 박스, 윈도우, 또는 특정 파일 등의 개체를 터치 스크린과 접촉함으로써 선택할 수 있다. 예를 들면, 사용자는 터치 스크린 상의 가상 버튼을 누를 수 있다. 일부 실시예들에서는, 그러면 미디어 플레이어(302)는 사운드 효과를 재생하는 것과 그 선택과 관련된 햅틱 효과를 발생시키는 것을 동시에 행할 수 있다. 다른 실시예들에서는, 그러면 미디어 플레이어(302)는 사운드 효과 또는 기타 미디어를 재생시키지 않고 햅틱 효과를 발생시킬 수 있다.
일 실시예에서, 입력 데이터는 오디오 데이터 및 햅틱 데이터를 포함할 수 있는데, 여기서 이 햅틱 데이터는, 오디오 데이터 내의 드럼 비트와 동기화된 햅틱 효과를 제공하도록 구성된다. 다른 실시예에서는, 햅틱 데이터는 오디오 데이터로부터 추론될 수 있다. 예를 들면, 미디어 스트림 디코더(304)는, 햅틱 이벤트와 연관된 주파수 패턴을 판별하기 위해 오디오 및/또는 비디오 데이터를 분석하도록 구성될 수 있다. 예를 들면, 미디어 스트림 디코더(304)는, 익스플로전(explosion)과 연관될 수 있는 낮은 주파수와 높은 진폭을 갖는 신호들에 대한 오디오 데이터를 분석하고 연관된 햅틱 효과를 발생시키도록 구성될 수 있다.
미디어 스트림 디코더(304)는 또한, 입력 신호로부터 햅틱 정보를 디코딩하기 위한 프로그램 코드를 포함할 수 있다. 예를 들면, 도 3에 도시된 실시예에서, 미디어 스트림 디코더(304)는 햅틱 미디어 엔진(306)을 포함한다. 햅틱 미디어 엔진(306)은, 햅틱 디바이스의 성능을 기술하는 정보에 대한 액세스와, 햅틱 디바이스의 특정 파라미터들을 설명하기 위한, 입력 신호로부터의 햅틱 정보를 리포맷팅할 수 있는 능력을 가질 수 있다.
햅틱 미디어 엔진(306)은, 입력 신호로부터 햅틱 정보를 디코딩하도록 구성될 수 있다. 햅틱 미디어 엔진(306)은, 액츄에이터 신호를 기술하는 정보, 또는 입력 데이터로부터 디지털화된 액츄에이터 신호를 정의하는 데이터 포인트들을 추출하도록 구성될 수 있다. 햅틱 미디어 엔진(306)은, 특정 사전결정된 주파수에서 입력 데이터로부터 햅틱 정보를 추출하도록 구성될 수 있다. 일 실시예에서, 햅틱 미디어 엔진(306)은, 입력 데이터 내의, 지정된 주파수를 갖는 반송파로부터 진폭 변조된 데이터를 디코딩하도록 구성될 수 있다. 다른 실시예에서는, 햅틱 미디어 엔진(306)은 입력 데이터로부터 주파수 변조된 데이터를 추출하도록 구성될 수 있다.
일 실시예에서, 햅틱 데이터는, 사전결정된 주파수, 예를 들면 140Hz로 입력 신호 내에 인코딩된다. 햅틱 미디어 엔진(306)은 대역 통과 필터를 포함할 수 있다. 대역 통과 필터는, 입력 신호의 사전결정된 주파수에서 햅틱 데이터를 디코딩할 수 있다.
미디어 스트림 디코더(304)는 또한, 햅틱 디바이스 내의 액츄에이터와 연관된 파라미터를 결정하기 위한 프로그램 코드를 더 포함할 수 있다. 예를 들면, 일 실시예에서, 햅틱 미디어 엔진(306)은 액츄에이터(310) 또는 다기능 트랜스듀서(312)의 공진 주파수를 결정할 수 있다. 파라미터 데이터는, 예를 들어 액츄에이터의 공진 주파수, 액츄에이터의 최대 피크간 진폭 또는 크기, 또는 최소 액츄에이터 응답 시간을 포함할 수 있지만, 이에 제한되는 것은 아니다. 파라미터 데이터는 또한, 스피커(316)가 열악한 주파수 응답을 갖는 오디오 주파수 등의, 미디어 플레이어의 다른 컴포넌트들과 연관된 데이터를 포함할 수 있다.
도 3에 도시된 실시예에서, 햅틱 미디어 엔진(306)은, 파라미터 및 햅틱 정보에 적어도 부분적으로 기초하여 액츄에이터 신호를 생성하기 위한 프로그램 코드를 더 포함한다. 예를 들면, 일 실시예에서, 햅틱 미디어 엔진(306)은, 액츄에이터의 공진 주파수 등의, 액츄에이터와 연관된 파라미터를 이용할 수 있다. 이러한 실시예에서, 햅틱 미디어 엔진(306)은, 액츄에이터의 공진 주파수와 거의 동일한 주파수를 가지며 햅틱 정보와 연관된 특징을 갖는 액츄에이터 신호를 생성할 수 있다. 예를 들면, 액츄에이터 신호는, 햅틱 정보에 적어도 부분적으로 기초하여 진폭 및 지속기간을 갖도록 구성될 수 있다. 일 실시예에서, 햅틱 정보는, 디지털화된 액츄에이터 신호를 정의하는 데이터 포인트들을 포함할 수 있다. 이러한 실시예에서, 햅틱 미디어 엔진(306)은, 액츄에이터의 공진 주파수와 거의 동일한 주파수를 가지며 햅틱 정보로부터 데이터 포인트들에 의해 정의되는 파형을 갖는 액츄에이터 신호를 생성할 수 있다. 일 실시예에서, 햅틱 미디어 엔진(306)은, 액츄에 이터의 최대 피크간 진폭과 동일한 진폭을 갖는 액추에이터 신호를 생성할 수 있다. 일 실시예에서, 햅틱 미디어 엔진(306)은, 액츄에이터의 최소 응답 시간에 기초하여 액츄에이터 신호를 생성할 수 있다.
미디어 스트림 디코더(304)는 또한, 멀티미디어 데이터 및 액츄에이터 신호를 포함하는 출력 신호를 생성하기 위한 프로그램 코드를 포함하는데, 이 출력 신호는 제2 포맷으로 인코딩된다. 제2 포맷은, WAV, MIDI, Ogg, DivXTM, QuickTimeTM, MP3, M4P, AAC, 또는 오디오 및/또는 비디오 데이터를 인코딩하기 위한 임의의 다른 포맷 등의 멀티미디어 포맷일 수 있다. 이와 다르게는, 출력 신호는 액츄에이터 신호로서 포맷팅될 수 있다. 제2 포맷은 제1 포맷과 동일할 수 있다.
일 실시예에서, 출력 신호의 액츄에이터 신호 부분은 액츄에이터에 직접 전송될 수 있다. 예를 들면, 출력 신호는, 액츄에이터에 직접 재생되는 직류 전압 액츄에이터 신호로서 포맷팅될 수 있다.
다른 실시예들에서, 미디어 플레이어(302)는 미디어 혼합기에서의 사용을 위한 출력 신호를 생성할 수 있다. 미디어 혼합기는 다양한 유형의 미디어를 수신하고 이 미디어를 적절한 디바이스들에 전송할 수 있다. 미디어 혼합기는, 다수의 입력되는 미디어를 하나의 출력으로 통합할 수 있다. 일 실시예에서, 미디어 플레이어(302)는 액츄에이터 구동 회로 또는 미디어 구동 회로 상에 출력 신호를 발생시킬 수 있다.
아키텍처
도 3에 도시된 본 발명의 실시예에서, 미디어 플레이어(302)는, 데이터를 수신하고 이 데이터를 이용하여 오디오/비디오를 재생하고 햅틱 효과를 생성하도록 구성된다. 도 3에 도시된 실시예에서, 미디어 플레이어(302)는 미디어 스트림 디코더(304) 애플리케이션을 포함한다. 도 3에 도시된 미디어 스트림 디코더(304)는, 미디어 플레이어(302) 내의 메모리 내에 상주하며 미디어 플레이어(302) 내의 프로세서 상에서 실행하도록 구성된 소프트웨어 애플리케이션이다. 미디어 스트림 디코더(304)는, 데이터 소스로부터 데이터를 수신하고 미디어 플레이어(302) 내의 메모리 내에 저장된 데이터를 판독하기 위한 코드, 및 액츄에이터(310), 다기능 트랜스듀서(312), 스피커(316), 및/또는 디스플레이(314) 등의 출력 디바이스에 데이터를 출력하기 위한 코드를 포함할 수 있다. 예를 들면, 미디어 플레이어(302)는, 액츄에이터(310) 또는 다기능 트랜스듀서(312) 등의 하나 이상의 출력 디바이스와 연관된 파라미터들을 저장할 수 있는, 플래시 메모리 등의 비휘발성 메모리를 포함할 수 있다.
도 3에 도시된 실시예에서, 미디어 스트림 디코더는 또한 햅틱 미디어 엔진(306)을 포함한다. 햅틱 미디어 엔진(306)은, 입력 데이터로부터 햅틱 정보를 추출하고, 햅틱 정보, 및 액츄에이터(310)와 연관된 파라미터에 적어도 부분적으로 기초하여 액츄에이터 신호를 결정하고, 액츄에이터 신호 및 멀티미디어 데이터에 적어도 부분적으로 기초하여 출력 신호를 결정하고, 액츄에이터 신호를 출력하기 위한 전용 애플리케이션일 수 있다. 햅틱 미디어 엔진(306)은 또한 미디어 플레이어(302) 내의 메모리(도시하지 않음) 내에 저장된 데이터를 판독하도록 구성될 수 있다. 예를 들면, 햅틱 미디어 엔진(306)은, 액츄에이터(310) 또는 다기능 트랜스듀서(312)와 연관된 파라미터들을 포함하는 데이터를 판독하도록 구성될 수 있다. 햅틱 미디어 엔진(306)은 미디어 스트림 디코더(304)와 협업하여 동작하여서, 미디어 스트림 디코더(304)에 의해 수신되는 멀티미디어 데이터의 스트림 내에 인코딩된 햅틱 효과를 제공할 수 있다.
일 실시예에서, 미디어 스트림 디코더(304)는, 예를 들어 하드 드라이브, CD 플레이어, DVD 플레이어, 플래시 드라이브, 메모리, 또는 네트워크 접속(이에 제한되지는 않음) 등의 데이터 소스와 상호작용하기 위한 코드를 포함할 수 있다. 일 실시예에서, 미디어 스트림 디코더는, 메모리로부터, 호출음 등의 데이터를 수신하도록 구성된다. 호출음은, 모바일 폰 또는 기타 디바이스 상에서의 재생을 위해 포맷팅된 사운드 파일을 포함할 수 있으며, 이는 걸려오는 전화 호출을 나타내도록 재생된다. 미디어 스트림 디코더는, 호출음과 연관된 호출음 데이터를 판독할 수 있다. 미디어 스트림 디코더는, 호출음 데이터 내의 오디오 데이터를 추출하고 처리할 수 있다. 예를 들면, 미디어 스트림 디코더(304)는, 호출음 데이터에 적어도 부분적으로 기초하여, 스피커(316)에 출력될 오디오 신호를 구성할 수 있다. 미디어 스트림 디코더는 또한, 호출음 데이터를, 햅틱 미디어 엔진(306)에 제공할 수 있다.
햅틱 미디어 엔진(306)은 호출음 데이터로부터 햅틱 정보를 추출할 수 있다. 햅틱 미디어 엔진(306)은 또한, 미디어 플레이어(302)에 로컬인 메모리로부터 액츄에이터(310)와 연관된 파라미터 데이터를 판독할 수 있다. 햅틱 미디어 엔진(306) 은 햅틱 정보에 적어도 부분적으로 기초하여 액츄에이터 신호를 구성할 수 있다. 햅틱 미디어 엔진(306)은 그 후, 액츄에이터와 연관된 파라미터 데이터에 적어도 부분적으로 기초하여 액츄에이터 신호를 변경할 수 있다. 예를 들면, 호출음 데이터는, 햅틱 효과를 발생시키기 위한 디지털화된 파형을 포함할 수 있는데, 이 파형은 200Hz의 주파수를 갖는다. 햅틱 미디어 엔진(306)은, 예를 들어 140Hz 등의, 액츄에이터(310)의 공진 주파수와 거의 동일한 주파수를 갖는 새로운 액츄에이터 신호를 산출할 수 있다. 햅틱 미디어 엔진(306)은 또한, 액츄에이터(310) 및 미디어 플레이어(302)의 성능 특성에 대응하도록, 디지털화된 파형의 진폭을 표준화할 수 있다. 예를 들면, 액츄에이터(310)는, 3볼트의 최대 피크 간 진폭을 갖는 액츄에이터 신호를 입력하도록 강제될 수 있다. 디지털화된 파형이 5볼트의 최대 피크간 진폭을 포함하는 경우, 햅틱 미디어 엔진(306)은 디지털화된 파형을, 3볼트의 피크간 최대 진폭을 갖도록 표준화할 수 있다. 햅틱 정보를 변경하는 데에, 액츄에이터(310)와 연관된 다른 특징들이 이용될 수도 있다. 예를 들면, 액츄에이터(310)는 큰 편심적 부분을 가져서 액츄에이터가 가속화 및 감속화하는 데에 더 많은 시간이 걸리게 할 수 있다. 이러한 액츄에이터는 시퀀싱된 진동을 매우 신속하게 재생할 수 없을 수 있다. 이러한 실시예에서, 햅틱 미디어 엔진(306)은, 액츄에이터의 성능 특징을 따르도록 하기 위해 햅틱 정보로부터 구성된 액츄에이터 신호를 재형성할 수 있다. 예를 들면, 햅틱 미디어 엔진(306)은, 액츄에이터가 두 개의 펄스를 생성하기 위해 발생시킬 수 있는 가장 작은 펄스보다 작은 펄스폭을 갖는 세 개의 짧은 펄스들을 결합시킬 수 있다.
도시된 실시예에서, 햅틱 미디어 엔진(306)은 액츄에이터 신호를 구성한 후, 햅틱 미디어 엔진(306)은 액츄에이터 신호를 미디어 스트림 디코더(304)에 전송할 수 있으며, 이 미디어 스트림 디코더(304)는 그 후 오디오 신호 및 액츄에이터 신호 양쪽 모두를 출력하여서 오디오와 실질적으로 동기화된 햅틱 효과를 제공할 수 있다. 일 실시예에서, 햅틱 미디어 엔진(306)은 미디어 스트림 디코더(304)로부터 커맨드를 수신하여 액츄에이터 신호를 출력할 수 있다. 일 실시예에서, 햅틱 미디어 엔진(306)은, 미디어 스트림 디코더(304)로부터의 커맨드없이 액츄에이터(310)에 바로 액츄에이터 신호를 출력할 수 있다.
일 실시예에서, 햅틱 미디어 엔진(306)은, 멀티미디어 데이터 및 액츄에이터 신호를 포함하는 출력 신호를 생성하도록 구성될 수 있다. 일부 실시예들에서, 출력 신호는, 미디어 스트림 디코더(304)에 의해 수신되는 입력 데이터와 동일한 포맷으로 되어 있을 수 있다. 예를 들면, 출력 신호는, 미디어 및 햅틱 정보를 갖는 mp4 파일일 수 있다.
일 실시예에서, 출력 신호는 특정 햅틱 디바이스에 최적화될 수 있다. 출력 신호가, 특정 디바이스 상에서의 재생에 최적화되는 경우, 출력 신호를 수신하는 디바이스는, 디스플레이, 스피커, 및 하나 이상의 액츄에이터 등의, 디바이스의 다수의 컴포넌트들을 이용하여 출력 신호를 재생할 수 있을 수 있다. 예를 들면, 일 실시예에서, 햅틱 미디어 엔진(306)은, 햅틱 디바이스의 스피커에 의해 처리되지 않는 특정 주파수에서 햅틱 구동 신호를 인코딩할 수 있다. 이러한 실시예에서, 출력 신호는, 햅틱 디바이스의 스피커가 출력 신호를 재생할 수 있도록 햅틱 디바 이스 상에서 재생될 수 있으며, 스피커는, 액츄에이터가 코딩된 주파수에 응답하지 않기 때문에, 액츄에이터가 출력 신호의 햅틴 부분을 인터프리팅((interpret)하는 동안 최소의 오디오 왜곡이 발생하게 된다.
햅틱 미디어 엔진(306)은 사용자 기호에 적어도 부분적으로 기초하여 출력 신호를 생성할 수 있다. 예를 들면, 사용자 기호는, 오디오에 대한 1 볼륨 레벨, 비디오에 대한 소정의 밝기 레벨, 및 햅틱 효과에 대한 소정의 진동 레벨을 나타낼 수 있다. 이러한 일 실시예에서, 햅틱 미디어 엔진(306)은, 출력 신호의 오디오 부분을 반으로 감소시키면서, 출력 신호의 햅틱 부분의 강도를 최대화할 수 있다.
개선된 햅틱 피드백을 위한 방법의 예
도 4는 본 발명의 일 실시예의 개선된 햅틱 피드백을 제공하기 위한 방법을 예시한 흐름도이다. 단계 402에서, 미디어 플레이어(302)에 의해 입력 신호가 수신된다. 미디어 플레이어(302)는 입력 신호를 디지털 신호로서 수신할 수 있다. 다른 실시예에서는, 미디어 플레이어(302)는 입력 신호를 아날로그 신호로서 수신할 수 있다. 입력 신호는 햅틱 정보 및 멀티미디어 데이터를 포함할 수 있다. 일 실시예에서, 신호는, MP3 포맷 등의 멀티미디어 포맷으로 포맷팅될 수 있다.
단계 404에서, 미디어 스트림 디코더(304)는, 입력 신호로부터 햅틱 정보를 디코딩한다. 햅틱 정보는, 특정 주파수로 입력 신호 내에 인코딩될 수 있다. 일 실시예에서, 햅틱 정보는, 멀티미디어 데이터를 갖는 입력 신호 내에 인터레이싱(interlaced)될 수 있다. 이러한 실시예에서, 입력 데이터는 멀티미디어 데이터 및 햅틱 정보를 포함할 수 있으며, 여기서 멀티미디어 데이터 및 햅틱 정보는 입력 데이터 내에서 번갈아 위치된다. 예를 들면, 멀티미디어 데이터는, 패킷 당 제1 고정된 수의 데이터 바이트를 갖는 데이터 패킷들을 포함할 수 있으며, 햅틱 정보는, 패킷 당 제2 고정된 수의 데이터 바이트를 갖는 데이터 패킷들을 포함할 수 있다. 입력 데이터는 일련의 데이터 패킷들을 포함할 수 있으며, 여기서 멀티미디어 데이터의 모든 패킷에는 하나의 햅틱 정보 패킷이 따라온다. 다른 실시예들에서, 멀티미디어 데이터는, 햅틱 정보로 인터레이싱될 수 있는데, 멀티미디어 데이터와 햅틱 정보는 서로 다른 순서 및 수를 가질 수 있다.
단계 406에서, 햅틱 미디어 엔진(306)은 햅틱 디바이스와 연관된 파라미터를 결정한다. 햅틱 미디어 엔진(306)은 햅틱 디바이스와 연관된 복수의 파라미터들을 결정할 수 있다. 일 실시예에서, 파라미터들은, 햅틱 미디어 엔진(306)에 의해 로컬로 저장될 수 있다. 이러한 실시예에서, 햅틱 미디어 엔진(306)은 이러한 로컬로 저장된 파라미터에 액세스하여 액츄에이터 신호를 생성할 수 있다. 예를 들면, 햅틱 미디어 엔진(306)은 로컬 메모리에 저장된 컨피규레이션 파일에 액세스하여 햅틱 디바이스와 연관된 파라미터를 결정할 수 있다.
일부 실시예들에서, 햅틱 미디어 엔진(306)은, 햅틱 디바이스와 연관된 파라미터를, 그 파라미터를 산출함으로써 결정할 수 있다. 예를 들면, 햅틱 미디어 엔진(306)이 컨피규레이션 파일에 액세스하지 않는 경우, 햅틱 미디어 엔진(306)은, 미디어 플레이어(302)에서 이용되는 액츄에이터들(310)의 등급에 대한 디폴트 파라미터를 산출할 수 있다.
단계 408에서, 햅틱 미디어 엔진(306)은, 파라미터 및 햅틱 정보에 적어도 부분적으로 기초하여 액츄에이터 신호를 생성한다. 액츄에이터 신호는, 미디어 플레이어(302) 상의 액츄에이터에 특정될 수 있다. 일 실시예에서, 액츄에이터 신호는, 원(raw) 진동 구동 신호 스트림일 수 있다. 일 실시예에서, 햅틱 미디어 엔진(306)은, 액츄에이터의 공진 주파수와 거의 동일한 주파수를 가지며 햅틱 정보와 연관된 특징을 갖는 액츄에이터 신호를 생성할 수 있다.
단계 410에서, 햅틱 미디어 엔진(306)은, 액츄에이터 제어 신호를 포함하는 출력 신호를 생성한다. 일 실시예에서, 액츄에이터 제어 신호는 입력 신호와 동일한 포맷으로 포맷팅된다. 다른 실시예에서, 액츄에이터 제어 신호는, 입력 신호와는 다른 포맷으로 포맷팅된다.
일 실시예에서, 액츄에이터 제어 신호는, 액츄에이터 구동 하드웨어로 직접 전송될 수 있다. 일 실시예에서, 액츄에이터 제어 신호는, 미디어 스트림 혼합기로 전송될 수 있다. 이러한 실시예에서, 오디오 스트림으로부터의 오디오 데이터는 액츄에이터 제어 신호와 함께 혼합되며, 사운드 및 진동 양쪽 모두를 발생시키는 다기능 트랜스듀서로 전송될 수 있다.
단계 412에서, 미디어 플레이어(302)는 출력 신호에 적어도 부분적으로 기초하여 햅틱 효과를 발생시킨다. 일 실시예에서, 미디어 플레이어(302)는, 출력 신호를 액츄에이터(310)에 전송함으로써 햅틱 효과를 발생시킬 수 있다. 다른 실시예에서, 미디어 플레이어(302)는, 출력 신호를 다기능 트랜스듀서(312)에 전송함으로써 햅틱 효과를 발생시킬 수 있다.
단계 412에서 햅틱 효과는, 멀티미디어 데이터가 디바이스에 의해 재생되는 시간과 거의 동일한 시간에 발생될 수 있다. 일 실시예에서, 햅틱 효과는, 디스플레이(314)가 비디오 데이터를 재생하는 시간과 동일한 시간에 발생될 수 있다. 다른 예로서, 일 실시예에서, 미디어 플레이어(302)는, 미디어 플레이어(302)가 스피커(316)를 통해 드럼 비트를 재생하는 것과 동시에 진동한다. 대안적으로는, 다른 실시예들에서는, 햅틱 효과는, 멀티미디어 데이터가 재생되기 약간 전에 혹은 약간 후에 발생된다.
단계 412에서 발생된 햅틱 효과는 운동 감각적(kinesthetic) 피드백 효과일 수 있다. 다른 실시예들에서는, 단계 412에서 발생된 햅틱 효과는, 진동 등의 진동촉각 피드백 효과일 수 있다. 일부 실시예들에서는, 단계 412에서 발생된 햅틱 효과는 효과들의 조합이다.
본 발명의 실시예들은, 햅틱 피드백을 제공하기 위한 종래의 시스템들 및 방법들에 비해 다양한 이점들을 제공한다. 예를 들면, 일부 실시예들에서는 완전한 충실도(full fidelity)를 갖는 액츄에이터 신호들을 출력한다. 또한, 일부 실시예들에서는, 진동 출력을 상하로 램핑시키고 이를 급격히 중단시킬 수 있는 능력을 비롯한, 강도, 주파수, 지속기간, 리듬, 억양 및 강약에 대한 광범위한 제어를 제공한다. 이러한 개선된 햅틱 효과를 이용하여, 본 발명의 디바이스들은 더욱 용이하게 이용될 수 있으며, 이벤트 및 감정에 대한 실제적이며 재미있는 햅틱 시뮬레이션을 발생시킬 수 있다.
전반적 사항
본 발명의 실시예들에 대한 전술한 설명은 오직 예시 및 설명을 위해 제시된 것이며, 철저하거나, 혹은 개시되는 정확한 형태로 본 발명을 제한하려는 것은 아니다. 본 발명의 정신 및 범주로부터 벗어나지 않고 본 기술 분야에 통상의 지식을 가진 자에게 있어 본 발명에 대한 수많은 변경 및 개조가 명백하게 될 것이다.

Claims (24)

  1. 햅틱 정보(haptic information) 및 멀티미디어 데이터를 가지며 제1 포맷으로 포맷팅된 입력 신호를 수신하는 단계;
    상기 입력 신호로부터 상기 햅틱 정보를 디코딩하는 단계;
    햅틱 디바이스 내의 액츄에이터와 연관된 파라미터를 결정하는 단계;
    상기 파라미터 및 상기 햅틱 정보에 적어도 부분적으로 기초하여 액츄에이터 신호를 생성하는 단계; 및
    상기 멀티미디어 데이터 및 상기 액츄에이터 신호를 포함하며 제2 포맷으로 포맷팅된 출력 신호를 생성하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 출력 신호에 적어도 부분적으로 기초하여 햅틱 효과를 발생시키는 단계를 더 포함하는 방법.
  3. 제1항에 있어서,
    상기 입력 신호는 동기화 데이터를 더 포함하는 방법.
  4. 제1항에 있어서,
    상기 멀티미디어 데이터는 오디오 데이터와 비디오 데이터 중 적어도 하나를 포함하는 방법.
  5. 제1항에 있어서,
    상기 제1 포맷은 멀티미디어 포맷인 방법.
  6. 제5항에 있어서,
    상기 멀티미디어 포맷은, WAV 포맷, MIDI 포맷, Ogg 포맷, DIVX 포맷, QuickTime 포맷, MP3 포맷, MPEG-2 포맷, MPEG-4 포맷, M4P 포맷, ACC 포맷 중 하나인 방법.
  7. 제1항에 있어서,
    상기 햅틱 정보는 상기 입력 신호의 다른 미디어 스트림에 삽입되는 방법.
  8. 제1항에 있어서,
    상기 입력 신호의 상기 햅틱 정보는 상기 멀티미디어 데이터 내의 독립적인 미디어 스트림으로서 저장되는 방법.
  9. 제8항에 있어서,
    상기 입력 신호의 상기 햅틱 정보는 사전결정된 정보 주파수로 인코딩되는 방법.
  10. 제9항에 있어서,
    상기 사전결정된 정보 주파수는 140Hz인 방법.
  11. 제1항에 있어서,
    상기 햅틱 정보를 디코딩하는 단계는, 특정 주파수로 인코딩된 상기 햅틱 정보에 액세스하기 위해 대역 통과 필터를 이용하는 단계를 포함하는 방법.
  12. 제1항에 있어서,
    상기 햅틱 디바이스 내의 상기 액츄에이터와 연관된 상기 파라미터는 달성가능한 강도 파라미터를 포함하는 방법.
  13. 제1항에 있어서,
    상기 햅틱 디바이스 내의 상기 액츄에이터와 연관된 상기 파라미터는 동적 응답 특성을 포함하는 방법.
  14. 제1항에 있어서,
    상기 햅틱 디바이스 내의 상기 액츄에이터와 연관된 상기 파라미터는 주파수 응답 특성을 포함하는 방법.
  15. 제1항에 있어서,
    상기 출력 신호는 상기 입력 신호와 동일한 포맷을 포함하는 방법.
  16. 제1항에 있어서,
    상기 출력 신호의 액츄에이터 신호 부분은 상기 액츄에이터에 직접 전송되는 방법.
  17. 제1항에 있어서,
    상기 출력 신호의 액츄에이터 신호 부분은, 먼저 상기 출력 신호의 멀티미디어 데이터의 오디오 부분에 혼합되고 그 후 다기능 트랜스듀서에 전송되는 방법.
  18. 프로세서 실행가능 프로그램 코드가 인코딩되어 있는 컴퓨터 판독가능 매체로서,
    햅틱 정보 및 멀티미디어 데이터를 가지며 제1 포맷으로 포맷팅된 입력 신호를 수신하기 위한 프로그램 코드;
    상기 입력 신호로부터 상기 햅틱 정보를 디코딩하기 위한 프로그램 코드;
    햅틱 디바이스 내의 액츄에이터와 연관된 파라미터를 결정하기 위한 프로그램 코드;
    상기 파라미터 및 상기 햅틱 정보에 적어도 부분적으로 기초하여 액츄에이터 신호를 생성하기 위한 프로그램 코드; 및
    상기 멀티미디어 데이터 및 상기 액츄에이터 신호를 포함하며 제2 포맷으로 포맷팅된 출력 신호를 생성하기 위한 프로그램 코드
    를 포함하는 컴퓨터 판독가능 매체.
  19. 제18항에 있어서,
    상기 출력 신호에 적어도 부분적으로 기초하여 햅틱 효과를 생성하기 위한 프로그램 코드를 더 포함하는 컴퓨터 판독가능 매체.
  20. 햅틱 정보 및 멀티미디어 데이터를 가지며 제1 포맷으로 포맷팅된 입력 신호를 수신하고,
    상기 햅틱 정보를 디코딩하고,
    햅틱 디바이스에 특정한 적어도 하나의 파라미터에 적어도 부분적으로 기초하여 상기 햅틱 정보를 포함하는 햅틱 구동 신호를 결정하고,
    상기 파라미터 및 상기 햅틱 정보에 적어도 부분적으로 기초하여 액츄에이터 신호를 생성하고,
    상기 멀티미디어 데이터 및 상기 액츄에이터 신호를 포함하며 제2 포맷으로 포맷팅된 출력 신호를 생성
    하도록 구성된 프로세서를 포함하는 시스템.
  21. 제20항에 있어서,
    상기 출력 신호에 적어도 부분적으로 기초하여 햅틱 효과를 발생시키도록 구성된 액츄에이터를 더 포함하는 시스템.
  22. 제20항에 있어서,
    상기 시스템은, 상기 프로세서와 통신하는 로컬 메모리를 더 포함하는 시스템.
  23. 제22항에 있어서,
    상기 로컬 메모리는, 햅틱 디바이스에 특정한 파라미터를 저장하도록 구성된 시스템.
  24. 제22항에 있어서,
    상기 로컬 메모리는 멀티미디어 파일을 저장하도록 구성된 시스템.
KR1020087027127A 2006-04-06 2007-04-06 햅틱 효과 개선을 위한 시스템들 및 방법들, 및 기록 매체 KR101384434B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US79040806P 2006-04-06 2006-04-06
US60/790,408 2006-04-06
PCT/US2007/008659 WO2007117649A2 (en) 2006-04-06 2007-04-06 Systems and methods for enhanced haptic effects

Publications (2)

Publication Number Publication Date
KR20080109907A true KR20080109907A (ko) 2008-12-17
KR101384434B1 KR101384434B1 (ko) 2014-04-10

Family

ID=38474143

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087027127A KR101384434B1 (ko) 2006-04-06 2007-04-06 햅틱 효과 개선을 위한 시스템들 및 방법들, 및 기록 매체

Country Status (6)

Country Link
US (2) US10152124B2 (ko)
EP (2) EP3287874A1 (ko)
JP (2) JP5025721B2 (ko)
KR (1) KR101384434B1 (ko)
CN (2) CN104063056B (ko)
WO (1) WO2007117649A2 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100986681B1 (ko) * 2010-05-06 2010-10-08 (주)이미지스테크놀로지 촉각 발생을 위한 다중 액튜에이터 구동 제어장치
KR20140135669A (ko) * 2013-05-17 2014-11-26 임머숀 코퍼레이션 저주파수 효과 햅틱 변환 시스템
KR20150028735A (ko) * 2013-09-06 2015-03-16 임머숀 코퍼레이션 햅틱 신호의 멀티플렉싱 및 디멀티플렉싱
KR20150028750A (ko) * 2013-09-06 2015-03-16 임머숀 코퍼레이션 햅틱 피드백 제공을 위한 제어 트랙의 변환 방법 및 장치
US10802038B2 (en) 2013-10-14 2020-10-13 Nike, Inc. Calculating pace and energy expenditure from athletic movement attributes
US11138984B2 (en) 2016-12-05 2021-10-05 Sony Corporation Information processing apparatus and information processing method for generating and processing a file including speech waveform data and vibration waveform data

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007030603A2 (en) 2005-09-08 2007-03-15 Wms Gaming Inc. Gaming machine having display with sensory feedback
US8210942B2 (en) * 2006-03-31 2012-07-03 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
KR101131856B1 (ko) * 2006-11-03 2012-03-30 엘지전자 주식회사 방송 신호 송신 장치 및 이를 이용한 방송 신호 송수신방법
KR101134926B1 (ko) * 2006-11-03 2012-04-17 엘지전자 주식회사 방송용 단말기 및 방송용 단말기의 진동 제어 방법
US7741979B2 (en) 2007-07-06 2010-06-22 Pacinian Corporation Haptic keyboard systems and methods
US8248277B2 (en) * 2007-07-06 2012-08-21 Pacinian Corporation Haptic keyboard systems and methods
US8199033B2 (en) * 2007-07-06 2012-06-12 Pacinian Corporation Haptic keyboard systems and methods
US20090088220A1 (en) * 2007-10-01 2009-04-02 Sony Ericsson Mobile Communications Ab Cellular terminals and other electronic devices and methods using electroactive polymer transducer indicators
US8253686B2 (en) * 2007-11-26 2012-08-28 Electronics And Telecommunications Research Institute Pointing apparatus capable of providing haptic feedback, and haptic interaction system and method using the same
US8310444B2 (en) 2008-01-29 2012-11-13 Pacinian Corporation Projected field haptic actuation
US8294600B2 (en) * 2008-02-15 2012-10-23 Cody George Peterson Keyboard adaptive haptic response
US8203531B2 (en) 2008-03-14 2012-06-19 Pacinian Corporation Vector-specific haptic feedback
US9056549B2 (en) 2008-03-28 2015-06-16 Denso International America, Inc. Haptic tracking remote control for driver information center system
WO2009136306A1 (en) 2008-05-08 2009-11-12 Koninklijke Philips Electronics N.V. Method and system for determining a physiological condition
CN102016759A (zh) * 2008-05-09 2011-04-13 皇家飞利浦电子股份有限公司 用于传送情绪的方法和系统
US8347210B2 (en) * 2008-09-26 2013-01-01 Apple Inc. Synchronizing video with audio beats
US9400555B2 (en) * 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
KR100926046B1 (ko) 2008-10-16 2009-11-11 솔로몬유(주) 엠피쓰리 재생기능을 가진 인형
US20120126959A1 (en) * 2008-11-04 2012-05-24 Bayer Materialscience Ag Electroactive polymer transducers for tactile feedback devices
US8515239B2 (en) * 2008-12-03 2013-08-20 D-Box Technologies Inc. Method and device for encoding vibro-kinetic data onto an LPCM audio stream over an HDMI link
US20100152620A1 (en) * 2008-12-12 2010-06-17 Immersion Corporation Method and Apparatus for Providing A Haptic Monitoring System Using Multiple Sensors
KR101030389B1 (ko) * 2008-12-17 2011-04-20 삼성전자주식회사 휴대용 단말기의 햅틱 기능 제어 방법
US8760413B2 (en) * 2009-01-08 2014-06-24 Synaptics Incorporated Tactile surface
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
KR101324687B1 (ko) * 2009-08-10 2013-11-04 한국과학기술원 이미지에 햅틱 정보를 인코딩하는 방법, 이미지로부터 햅틱 정보를 디코딩하는 방법 및 이를 위한 햅틱 정보 처리 장치
US8624839B2 (en) 2009-10-15 2014-01-07 Synaptics Incorporated Support-surface apparatus to impart tactile feedback
US10068728B2 (en) 2009-10-15 2018-09-04 Synaptics Incorporated Touchpad with capacitive force sensing
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
CN102713793B (zh) * 2009-11-17 2016-08-31 意美森公司 用于增加电子设备中的触觉带宽的系统和方法
US9030305B2 (en) * 2009-12-11 2015-05-12 Gwangju Institute Of Science And Technology Method for expressing haptic information using control information, and system for transmitting haptic information
KR101640043B1 (ko) * 2010-04-14 2016-07-15 삼성전자주식회사 가상 세계 처리 장치 및 방법
US9715275B2 (en) 2010-04-26 2017-07-25 Nokia Technologies Oy Apparatus, method, computer program and user interface
US9791928B2 (en) 2010-04-26 2017-10-17 Nokia Technologies Oy Apparatus, method, computer program and user interface
US9733705B2 (en) 2010-04-26 2017-08-15 Nokia Technologies Oy Apparatus, method, computer program and user interface
CN103003775A (zh) * 2010-06-28 2013-03-27 Tp视觉控股有限公司 增强内容观看体验
JP2012010212A (ja) * 2010-06-28 2012-01-12 Casio Comput Co Ltd 画像表示装置及びプログラム
US8912458B2 (en) 2011-01-04 2014-12-16 Synaptics Incorporated Touchsurface with level and planar translational travel responsiveness
US8309870B2 (en) 2011-01-04 2012-11-13 Cody George Peterson Leveled touchsurface with planar translational responsiveness to vertical travel
US8847890B2 (en) 2011-01-04 2014-09-30 Synaptics Incorporated Leveled touchsurface with planar translational responsiveness to vertical travel
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
WO2012120331A1 (en) * 2011-03-04 2012-09-13 Sony Ericsson Mobile Communications Ab Vibration control
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US9058714B2 (en) 2011-05-23 2015-06-16 Wms Gaming Inc. Wagering game systems, wagering gaming machines, and wagering gaming chairs having haptic and thermal feedback
US9142083B2 (en) 2011-06-13 2015-09-22 Bally Gaming, Inc. Convertible gaming chairs and wagering game systems and machines with a convertible gaming chair
AU2012275251A1 (en) * 2011-06-30 2014-01-23 Echo 360, Inc. Methods and apparatus for an embedded appliance
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
KR102024006B1 (ko) * 2012-02-10 2019-09-24 삼성전자주식회사 진동 장치간 진동 전달을 제어하는 장치 및 방법
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
EP2839360A4 (en) * 2012-04-19 2016-01-20 Nokia Technologies Oy DISPLAY DEVICE
WO2014025786A1 (en) 2012-08-06 2014-02-13 Synaptics Incorporated Touchsurface assembly utilizing magnetically enabled hinge
US9177733B2 (en) 2012-08-06 2015-11-03 Synaptics Incorporated Touchsurface assemblies with linkages
US9040851B2 (en) 2012-08-06 2015-05-26 Synaptics Incorporated Keycap assembly with an interactive spring mechanism
US9218927B2 (en) 2012-08-06 2015-12-22 Synaptics Incorporated Touchsurface assembly with level and planar translational responsiveness via a buckling elastic component
US9092059B2 (en) * 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
CN103034331B (zh) * 2012-12-12 2016-06-29 中兴通讯股份有限公司 一种触觉反馈装置及终端
US9202350B2 (en) 2012-12-19 2015-12-01 Nokia Technologies Oy User interfaces and associated methods
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US8866601B2 (en) * 2013-02-05 2014-10-21 Immersion Corporation Overdrive voltage for an actuator to generate haptic effects
US9384919B2 (en) 2013-03-14 2016-07-05 Synaptics Incorporated Touchsurface assembly having key guides formed in a sheet metal component
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9064385B2 (en) * 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
US9997032B2 (en) * 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
WO2014169931A1 (en) * 2013-04-14 2014-10-23 Koc Universitesi A stylus providing haptic feedback
US9213372B2 (en) 2013-04-19 2015-12-15 Synaptics Incorporated Retractable keyboard keys
US9274603B2 (en) * 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
EP2806353B1 (en) * 2013-05-24 2018-07-18 Immersion Corporation Method and system for haptic data encoding
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9213408B2 (en) 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
CN104683781B (zh) * 2013-11-26 2016-08-17 深圳市快播科技有限公司 视频播放处理方法及装置
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
US20150323994A1 (en) * 2014-05-07 2015-11-12 Immersion Corporation Dynamic haptic effect modification
US9330547B2 (en) 2014-05-20 2016-05-03 Immersion Corporation Haptic effect authoring tool based on a haptification model
US9635440B2 (en) * 2014-07-07 2017-04-25 Immersion Corporation Second screen haptics
KR101641418B1 (ko) * 2014-07-25 2016-07-20 포항공과대학교 산학협력단 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치
US9812165B2 (en) 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
US9891714B2 (en) * 2014-12-24 2018-02-13 Immersion Corporation Audio enhanced simulation of high bandwidth haptic effects
JP6445921B2 (ja) * 2015-04-21 2018-12-26 任天堂株式会社 振動信号生成プログラム、振動信号生成システム、振動信号生成装置、振動信号生成方法、およびデータ出力プログラム
US20160366450A1 (en) * 2015-06-12 2016-12-15 Immersion Corporation Broadcast haptics architectures
CN105245704A (zh) * 2015-09-25 2016-01-13 努比亚技术有限公司 一种移动终端来电提醒方法及装置
US9847000B2 (en) * 2015-10-29 2017-12-19 Immersion Corporation Ambient triggered notifications for rendering haptic effects
EP3377279A1 (en) * 2015-11-16 2018-09-26 D-Box Technologies Inc. Method and system for synchronizing vibro-kinetic effects to a virtual reality session
US10031580B2 (en) * 2016-01-13 2018-07-24 Immersion Corporation Systems and methods for haptically-enabled neural interfaces
CN105975053A (zh) * 2016-05-11 2016-09-28 乐视控股（北京）有限公司 虚拟头盔控制方法、装置及虚拟头盔
US10210724B2 (en) 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
EP3907734B1 (en) * 2016-11-14 2022-11-02 Goodix Technology (HK) Company Limited Linear resonant actuator controller
US10564725B2 (en) * 2017-03-23 2020-02-18 Immerson Corporation Haptic effects using a high bandwidth thin actuation system
JP2018185704A (ja) * 2017-04-27 2018-11-22 日本電信電話株式会社 生体電気刺激装置、生体電気刺激システムおよび生体電気刺激方法
US10409376B2 (en) * 2017-10-04 2019-09-10 Immersion Corporation Haptic actuator having a smart material actuation component and an electromagnet actuation component
CN109407832B (zh) * 2018-09-29 2021-06-29 维沃移动通信有限公司 一种终端设备的控制方法及终端设备
JP6721664B2 (ja) * 2018-11-30 2020-07-15 任天堂株式会社 データ出力プログラム、データ出力装置、およびデータ出力方法
US11568718B2 (en) 2018-12-13 2023-01-31 Sony Group Corporation Information processing apparatus, information processing system, information processing method, and program
JPWO2021048998A1 (ko) * 2019-09-13 2021-03-18
CN111766946B (zh) * 2020-06-30 2023-12-01 瑞声科技(新加坡)有限公司 触觉效果的优化方法及设备、计算机可读存储介质
US20230059333A1 (en) * 2021-08-18 2023-02-23 Cirrus Logic International Semiconductor Ltd. Haptics signal generation

Family Cites Families (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3618070A (en) 1969-07-03 1971-11-02 Bell & Howell Comm Co Vibratory alerting devices
US3911416A (en) 1974-08-05 1975-10-07 Motorola Inc Silent call pager
US4028502A (en) 1976-02-13 1977-06-07 Inventive Industries, Inc. Apparatus for adapting multi-line telephone instrument for use by the blind
US4278920A (en) 1976-07-26 1981-07-14 The Bendix Corporation Method and apparatus for generating position or path control programs using force feedback
FR2419548A1 (fr) 1978-03-09 1979-10-05 Materiel Telephonique Simulateur electro-hydraulique de commande de vol
US4262549A (en) 1978-05-10 1981-04-21 Schwellenbach Donald D Variable mechanical vibrator
JPS5853782Y2 (ja) 1979-01-08 1983-12-07 日本電気株式会社 個人選択呼出受信機
US4464117A (en) 1980-08-27 1984-08-07 Dr. Ing. Reiner Foerst Gmbh Driving simulator apparatus
US4333070A (en) 1981-02-06 1982-06-01 Barnes Robert W Motor vehicle fuel-waste indicator
US4436188A (en) 1981-11-18 1984-03-13 Jones Cecil R Controlled motion apparatus
US4421953A (en) 1981-12-07 1983-12-20 Northern Telecom Limited Telephone tactile alert system
US4484191A (en) 1982-06-14 1984-11-20 Vavra George S Tactile signaling systems for aircraft
US4964004A (en) 1983-12-02 1990-10-16 Lex Computer And Management Corporation Video composition method and apparatus employing visual and tactile feedback
JPS60159500U (ja) 1984-03-31 1985-10-23 星野楽器株式会社 電子ドラムのパツド
US4603284A (en) 1984-06-05 1986-07-29 Unimation, Inc. Control system for manipulator apparatus with resolved compliant motion control
JPH0763193B2 (ja) 1986-05-30 1995-07-05 日本電気株式会社 個別選択呼出受信機
US4853674A (en) 1986-07-21 1989-08-01 Kiss Michael Z Signalling apparatus for hearing impaired persons
US4794392A (en) 1987-02-20 1988-12-27 Motorola, Inc. Vibrator alert device for a communication receiver
US4823634A (en) 1987-11-03 1989-04-25 Culver Craig F Multifunction tactile manipulatable control
US5844498A (en) 1987-11-13 1998-12-01 Nec Corporation Paging receiver with a message selection circuit
US4931765A (en) 1989-02-09 1990-06-05 Motorola, Inc. Unitized housing for silent and tone pager alerting system
JPH0727741Y2 (ja) 1989-10-23 1995-06-21 フクダ電子株式会社 波形表示付携帯型無線呼出し用受信機
US5117449A (en) 1989-11-03 1992-05-26 Motorola, Inc. Dual receiver apparatus for integrated paging and radiotelephone functions
US5189389A (en) 1990-04-23 1993-02-23 Motorola, Inc. Electronic device having position selectable alert modes
US5165897A (en) 1990-08-10 1992-11-24 Tini Alloy Company Programmable tactile stimulator array system and method of operation
JP2643619B2 (ja) 1991-02-19 1997-08-20 日本電気株式会社 無線選択呼出受信機
US5351412A (en) 1991-06-11 1994-10-04 International Business Machines Corporation Micro positioning device
US5175459A (en) 1991-08-19 1992-12-29 Motorola, Inc. Low profile vibratory alerting device
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5220260A (en) 1991-10-24 1993-06-15 Lex Computer And Management Corporation Actuator having electronically controllable tactile responsiveness
CA2104001C (en) 1992-01-22 1999-04-06 Matthew D. Mottier Radio with silent and audible alerts
JPH05218947A (ja) 1992-02-05 1993-08-27 Nec Corp 無線選択呼出受信機
US5366376A (en) 1992-05-22 1994-11-22 Atari Games Corporation Driver training system and method with performance data feedback
US5368484A (en) 1992-05-22 1994-11-29 Atari Games Corp. Vehicle simulator with realistic operating feedback
US5437607A (en) 1992-06-02 1995-08-01 Hwe, Inc. Vibrating massage apparatus
US5296871A (en) 1992-07-27 1994-03-22 Paley W Bradford Three-dimensional mouse with tactile feedback
US5283970A (en) 1992-09-25 1994-02-08 Strombecker Corporation Toy guns
US5666473A (en) 1992-10-08 1997-09-09 Science & Technology Corporation & Unm Tactile computer aided sculpting device
US5629594A (en) 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US5389865A (en) 1992-12-02 1995-02-14 Cybernet Systems Corporation Method and system for providing a tactile virtual reality and manipulator defining an interface device therefor
US6131097A (en) 1992-12-02 2000-10-10 Immersion Corporation Haptic authoring
US6433771B1 (en) 1992-12-02 2002-08-13 Cybernet Haptic Systems Corporation Haptic device attribute control
JP2518525B2 (ja) 1993-06-28 1996-07-24 日本電気株式会社 無線選択呼出受信機
US5436622A (en) * 1993-07-06 1995-07-25 Motorola, Inc. Variable frequency vibratory alert method and structure
US5731804A (en) 1995-01-18 1998-03-24 Immersion Human Interface Corp. Method and apparatus for providing high bandwidth, low noise mechanical I/O for computer systems
US5625576A (en) 1993-10-01 1997-04-29 Massachusetts Institute Of Technology Force reflecting haptic interface
WO1995020787A1 (en) 1994-01-27 1995-08-03 Exos, Inc. Multimode feedback display technology
US5482051A (en) 1994-03-10 1996-01-09 The University Of Akron Electromyographic virtual reality system
IL109943A (en) * 1994-06-08 2006-08-01 Develogen Israel Ltd Conformationally constrained backbone cyclized peptide analogs
US5575761A (en) 1994-07-27 1996-11-19 Hajianpour; Mohammed-Ali Massage device applying variable-frequency vibration in a variable pulse sequence
JPH10504920A (ja) 1994-08-18 1998-05-12 インターヴァル リサーチ コーポレイション ビデオ用の内容に基づく感覚入力装置
US5524061A (en) * 1994-08-29 1996-06-04 Motorola, Inc. Dual mode transducer for a portable receiver
KR100368508B1 (ko) 1994-09-07 2005-10-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 사용자-프로그래밍가능한촉각피드백을갖고있는가상작업공간과상호작용하는정보처리시스템
US5619181A (en) 1994-11-21 1997-04-08 Motorola, Inc. Vibratory alerting device with audible sound generator
US5646589A (en) 1994-12-19 1997-07-08 Lucent Technologies Inc. Electronic device having selectable alert modes
WO1996030222A1 (en) 1995-03-31 1996-10-03 Akzo Nobel N.V. Cellulose yarn and cord for industrial application
AU698021B2 (en) 1995-04-28 1998-10-22 Nec Corporation Portable telephone set capable of being put in a holding mode by operation of a vibration unit which is for announcing reception of an incoming call to a user
US5754096A (en) 1995-05-26 1998-05-19 Seiko Instruments Inc. Electronic apparatus with vibration informing function
JPH08331212A (ja) 1995-06-01 1996-12-13 Nec Corp バイブレータ付携帯電話端末
JPH0918966A (ja) 1995-06-30 1997-01-17 Sony Corp 受信装置
JP2852205B2 (ja) 1995-07-13 1999-01-27 静岡日本電気株式会社 無線選択呼出受信機
US5642413A (en) 1995-08-07 1997-06-24 Little; Randall P. Telephone call alert device with selectable alert modes
US6473069B1 (en) 1995-11-13 2002-10-29 Cirque Corporation Apparatus and method for tactile feedback from input device
JPH10513593A (ja) 1995-11-24 1998-12-22 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 触覚刺激によって強調された仮想現実を示す方法と、この方法を実行するシステム
US5956484A (en) 1995-12-13 1999-09-21 Immersion Corporation Method and apparatus for providing force feedback over a computer network
US5729589A (en) 1995-12-14 1998-03-17 Oraelectronics, Inc. Apparatus and method for incoming call detection and alarm circuitry for cellular telephones
JP2693941B2 (ja) 1995-12-25 1997-12-24 静岡日本電気株式会社 無線選択呼出受信機
US5692956A (en) 1996-02-09 1997-12-02 Mattel, Inc. Combination computer mouse and game play control
US6374255B1 (en) 1996-05-21 2002-04-16 Immersion Corporation Haptic authoring
JPH09308768A (ja) * 1996-05-24 1997-12-02 Ikyo Kk ゲーム機
JPH09321682A (ja) * 1996-05-27 1997-12-12 Sony Corp 通信システム，通信方法及び端末装置
JP2834085B2 (ja) 1996-07-16 1998-12-09 静岡日本電気株式会社 無線機器の通報装置
US6061451A (en) * 1996-09-03 2000-05-09 Digital Vision Laboratories Corporation Apparatus and method for receiving and decrypting encrypted data and protecting decrypted data from illegal use
GB9622556D0 (en) 1996-10-30 1997-01-08 Philips Electronics Nv Cursor control with user feedback mechanism
US6118979A (en) 1996-11-22 2000-09-12 Robert B. Nicholson, III Method for signaling an incoming telephone call without an audible signal
CA2278726C (en) 1997-01-27 2004-08-31 Immersion Corporation Method and apparatus for providing high bandwidth, realistic force feedback including an improved actuator
US5966655A (en) 1997-04-30 1999-10-12 Lucent Technologies Inc. Automatic determination of audio or vibration alerting for an incoming call in a wireless handset
US5887995A (en) 1997-09-23 1999-03-30 Compaq Computer Corporation Touchpad overlay with tactile response
US5917906A (en) 1997-10-01 1999-06-29 Ericsson Inc. Touch pad with tactile feature
US6448977B1 (en) 1997-11-14 2002-09-10 Immersion Corporation Textures and other spatial sensations for a relative haptic interface device
JP3148174B2 (ja) 1998-01-14 2001-03-19 日本電気株式会社 無線選択呼出受信機
US6300938B1 (en) 1998-04-13 2001-10-09 Immersion Corporation Multiple-cylinder control device for computers and other electronic apparatus
US6087942A (en) 1998-05-18 2000-07-11 Jb Research, Inc. Tactile alert and massaging system
US6686901B2 (en) 1998-06-23 2004-02-03 Immersion Corporation Enhancing inertial tactile feedback in computer interface devices having increased mass
US6563487B2 (en) 1998-06-23 2003-05-13 Immersion Corporation Haptic feedback for directional control pads
JP2000023253A (ja) 1998-06-26 2000-01-21 Nec Corp マルチモード移動無線装置及びマルチモード無線装置、並びにマルチモード移動無線装置及びマルチモード無線装置における着信通知方法
WO2000017739A1 (fr) * 1998-09-22 2000-03-30 Yasufumi Mase Processeur de donnees pour personne atteinte de troubles visuels et peripherique tactile entree/sortie
US6218958B1 (en) 1998-10-08 2001-04-17 International Business Machines Corporation Integrated touch-skin notification system for wearable computing devices
US6373463B1 (en) 1998-10-14 2002-04-16 Honeywell International Inc. Cursor control system with tactile feedback
US6218966B1 (en) 1998-11-05 2001-04-17 International Business Machines Corporation Tactile feedback keyboard
US6373465B2 (en) * 1998-11-10 2002-04-16 Lord Corporation Magnetically-controllable, semi-active haptic interface system and apparatus
US6650338B1 (en) 1998-11-24 2003-11-18 Interval Research Corporation Haptic interaction with video and image data
US6113459A (en) 1998-12-21 2000-09-05 Nammoto; Mikio Remote toy steering mechanism
US6091321A (en) 1998-12-30 2000-07-18 Karell; Manuel L Method and apparatus of a vibratory indicator for use in vehicles
JP2000299575A (ja) 1999-04-12 2000-10-24 Sony Corp 入力装置
US6337678B1 (en) 1999-07-21 2002-01-08 Tactiva Incorporated Force feedback computer input and output device with coordinated haptic elements
JP2001100879A (ja) * 1999-09-27 2001-04-13 Olympus Optical Co Ltd 情報閲覧システム
DE20080209U1 (de) 1999-09-28 2001-08-09 Immersion Corp Steuerung von haptischen Empfindungen für Schnittstellenvorrichtungen mit Vibrotaktiler Rückkopplung
US6424251B1 (en) 1999-11-10 2002-07-23 Matthew T. Byrne Personal electronic device notification system
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US7196688B2 (en) 2000-05-24 2007-03-27 Immersion Corporation Haptic devices using electroactive polymers
JP3949912B2 (ja) 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
TW548943B (en) 2000-09-25 2003-08-21 Yamaha Corp Portable terminal device
AU2001294852A1 (en) 2000-09-28 2002-04-08 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
JP2002119912A (ja) 2000-10-12 2002-04-23 Nec Saitama Ltd 複合音響アクチュエータ駆動回路及び携帯情報端末
US6418323B1 (en) 2001-01-22 2002-07-09 Wildseed, Ltd. Wireless mobile phone with Morse code and related capabilities
JP4308448B2 (ja) * 2001-04-11 2009-08-05 セイコーエプソン株式会社 出力装置に応じたコンテンツの生成
US20040125120A1 (en) * 2001-06-08 2004-07-01 Michael Weiner Method and apparatus for interactive transmission and reception of tactile information
US7154470B2 (en) * 2001-07-17 2006-12-26 Immersion Corporation Envelope modulator for haptic feedback devices
US7269334B2 (en) * 2001-07-27 2007-09-11 Thomson Licensing Recording and playing back multiple programs
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
JP2003198680A (ja) * 2001-12-28 2003-07-11 Nec Tokin Corp 移動体通信機器と多機能振動アクチュエータの搭載方法
US7250846B2 (en) 2002-03-05 2007-07-31 International Business Machines Corporation Method and apparatus for providing dynamic user alert
JP3633572B2 (ja) 2002-03-20 2005-03-30 セイコーエプソン株式会社 演算器の電力制御装置、省電力デコーダ及び演算器の電力制御プログラム、並びに演算器の電力制御方法
US6904823B2 (en) 2002-04-03 2005-06-14 Immersion Corporation Haptic shifting devices
JP4555072B2 (ja) * 2002-05-06 2010-09-29 シンクロネイション インコーポレイテッド ローカライズされたオーディオ・ネットワークおよび関連するディジタル・アクセサリ
US8031059B2 (en) 2002-05-31 2011-10-04 Motorola Mobility, Inc. Communication system
CN101099667A (zh) * 2002-10-18 2008-01-09 塞尔-克姆有限责任公司 利用虚拟检查功能对远程患者直接进行人工检查
US8276091B2 (en) 2003-09-16 2012-09-25 Ram Consulting Haptic response system and method of use
US20050235032A1 (en) * 2004-04-15 2005-10-20 Mason Wallace R Iii System and method for haptic based conferencing
US20060015560A1 (en) * 2004-05-11 2006-01-19 Microsoft Corporation Multi-sensory emoticons in a communication system
US8115091B2 (en) * 2004-07-16 2012-02-14 Motorola Mobility, Inc. Method and device for controlling vibrational and light effects using instrument definitions in an audio file format
US9046922B2 (en) 2004-09-20 2015-06-02 Immersion Corporation Products and processes for providing multimodal feedback in a user interface device
JP4350627B2 (ja) * 2004-09-27 2009-10-21 ソフトバンクモバイル株式会社 ストリーミングデータ受信再生端末
JP2006163579A (ja) * 2004-12-03 2006-06-22 Sony Corp 情報処理システム、情報処理装置及び情報処理方法
JP2006201912A (ja) * 2005-01-19 2006-08-03 Nippon Telegr & Teleph Corp <Ntt> ３次元仮想オブジェクト情報提供サービス処理方法と３次元仮想オブジェクト提供システムおよびプログラム
KR20060024807A (ko) * 2005-12-19 2006-03-17 노키아 코포레이션 Ｓｍｓ 문자들을 사운드, 진동, 또는 그래픽 효과들 등에매핑하는 휴대장치

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100986681B1 (ko) * 2010-05-06 2010-10-08 (주)이미지스테크놀로지 촉각 발생을 위한 다중 액튜에이터 구동 제어장치
WO2011139093A2 (ko) * 2010-05-06 2011-11-10 (주)이미지스테크놀로지 촉각 발생을 위한 다중 액튜에이터 구동 제어장치
WO2011139093A3 (ko) * 2010-05-06 2012-03-01 (주)이미지스테크놀로지 촉각 발생을 위한 다중 액튜에이터 구동 제어장치
KR20140135669A (ko) * 2013-05-17 2014-11-26 임머숀 코퍼레이션 저주파수 효과 햅틱 변환 시스템
KR20150028735A (ko) * 2013-09-06 2015-03-16 임머숀 코퍼레이션 햅틱 신호의 멀티플렉싱 및 디멀티플렉싱
KR20150028750A (ko) * 2013-09-06 2015-03-16 임머숀 코퍼레이션 햅틱 피드백 제공을 위한 제어 트랙의 변환 방법 및 장치
US10802038B2 (en) 2013-10-14 2020-10-13 Nike, Inc. Calculating pace and energy expenditure from athletic movement attributes
US10900991B2 (en) 2013-10-14 2021-01-26 Nike, Inc. Calculating pace and energy expenditure from athletic movement attributes
US11138984B2 (en) 2016-12-05 2021-10-05 Sony Corporation Information processing apparatus and information processing method for generating and processing a file including speech waveform data and vibration waveform data

Also Published As

Publication number Publication date
CN104063056B (zh) 2018-04-20
JP2012230690A (ja) 2012-11-22
US20190079586A1 (en) 2019-03-14
CN101416139A (zh) 2009-04-22
US10152124B2 (en) 2018-12-11
US20070236449A1 (en) 2007-10-11
JP5385430B2 (ja) 2014-01-08
JP5025721B2 (ja) 2012-09-12
CN101416139B (zh) 2014-07-09
EP2002323A2 (en) 2008-12-17
CN104063056A (zh) 2014-09-24
EP3287874A1 (en) 2018-02-28
WO2007117649A2 (en) 2007-10-18
KR101384434B1 (ko) 2014-04-10
JP2009532808A (ja) 2009-09-10
WO2007117649A3 (en) 2008-09-12

Similar Documents

Publication Publication Date Title
KR101384434B1 (ko) 햅틱 효과 개선을 위한 시스템들 및 방법들, 및 기록 매체
JP6730398B2 (ja) 複数のアクチュエータを用いた音からハプティック効果への変換システム
US9912842B2 (en) Synchronization of haptic effect data in a media transport stream
CN108874144B (zh) 使用映射的声音-触觉效应转换系统
JP6096092B2 (ja) 記憶された効果を有する触覚フィードバックシステム
US9184732B2 (en) Apparatus and method for generating vibration based on sound characteristics
US8494206B2 (en) Electronic device and method thereof
JP2002305781A (ja) 制御機器、機器制御信号生成方法、機器制御方法、記録媒体およびプログラム
CN117708492A (zh) 振动控制方法、装置、电子设备和计算机可读存储介质
TW202403508A (zh) 編碼/解碼觸覺資料的方法及設備
KR20080086793A (ko) 오디오 재생이 가능한 휴대 기기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170329

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180327

Year of fee payment: 5