KR20040062559A - 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들 - Google Patents

컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들 Download PDF

Info

Publication number
KR20040062559A
KR20040062559A KR10-2004-7005145A KR20047005145A KR20040062559A KR 20040062559 A KR20040062559 A KR 20040062559A KR 20047005145 A KR20047005145 A KR 20047005145A KR 20040062559 A KR20040062559 A KR 20040062559A
Authority
KR
South Korea
Prior art keywords
sound
haptic
sound data
output
computer
Prior art date
Application number
KR10-2004-7005145A
Other languages
English (en)
Other versions
KR100925293B1 (ko
Inventor
스티븐 디. 랭크
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20040062559A publication Critical patent/KR20040062559A/ko
Application granted granted Critical
Publication of KR100925293B1 publication Critical patent/KR100925293B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 컴퓨터 디바이스(14)로부터 출력된 사운드에 기초하여 햅틱 감각들을 트리거하는 방법에 관한 것이다. 사운드 데이터의 일부분은 저장되어 컴퓨터(20)를 구동하는 애플리케이션 프로그램으로부터 사용자에게 오디오(24)로 출력된다. 사운드 데이터의 부분은 사운드 데이터로부터 적어도 하나의 사운드 특징을 추출하기 위해 지능적인 발견법들을 사용하여 분석된다. 적어도 하나의 햅틱 이펙트의 실행은 사운드 특징을 기초로 하여 트리거되고, 상기 햅틱 이펙트는 사운드의 부분이 사용자에게 오디오로 출력되는 것과 거의 상관된 햅틱 피드백 디바이스(12)에 명령된다. 햅틱 이펙트는 햅틱 감각(44)이 사용자에게 출력되도록 한다. 서로다른 햅틱 이펙트들은 서로다른 사운드 특징들, 주파수 범위들, 진폭들 등과 결합될 수 있다.

Description

컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱 피드백 감각들{HAPTIC FEEDBACK SENSATIONS BASED ON AUDIO OUTPUT FROM COMPUTER DEVICES}
사용자는 게임의 플레이, 시뮬레이션 또는 가상 현실 환경의 경험, 디자인 시스템에 지원되는 컴퓨터의 사용, 그래픽 형태의 사용자 인터페이스(GUI), 웹 페이지들의 진행과 같은 컴퓨터를 통한 기능들과 작업들을 수행하기 위해 컴퓨터에 의해 디스플레이된 환경과 상호작용할 수 있다. 상기 상호작용을 위해 사용되는 공통의 인간-컴퓨터간 인터페이스 디바이스들은 마우스, 조이스틱, 트랙볼, 게임패드, 원격제어, 조종핸들, 스타일러스, 타블렛, 압력 감지식 구체, 또는 컴퓨터 환경을 제어하는 컴퓨터 시스템과 통신하는 장치 등을 포함한다. 컴퓨터는 조이스틱 핸들, 버튼, 또는 마우스와 같은 물리적인 조종장치들의 사용자 조작에 응답하여 환경을 업데이트시키며, 디스플레이 스크린 및 오디오 스피커들을 사용하는 사용자에게 시각 및 청각의 피드백을 제공한다. 컴퓨터는 컴퓨터에 위치 신호들을 전송하는 인터페이스 디바이스를 통해 제공되는 센서들을 통해 사용자 오브젝트의 사용자 조작을 감지한다.
임의의 인터페이스 디바이스들에서, 운동감각적 포스(kinesthetic force) 피드백 및/또는 촉각 피드백이 사용자에게 제공되며, 특히 본 명세서에서는 총체적으로 "햅틱 피드백"이라 공지된다. 상기 형태들의 인터페이스 디바이스들은 인터페이스 디바이스의 사용자 조종장치를 조작하는 사용자에 의해 감지되는 물리적 감각들을 제공할 수 있다. 하나 또는 그이상의 모터들 또는 다른 작동장치들은 조종장치에 연결되고 컴퓨터 제어 시스템에 접속된다. 컴퓨터 시스템은 제어 신호들 또는 작동장치로의 명령들을 전송함으로써 컴퓨터 이벤트들과 상호작용들과 관련되며 동격인 조종장치들을 통한 포스들을 제어한다. 컴퓨터 시스템은 사용자가 인터페이스 디바이스 또는 인터페이스 디바이스의 조작가능한 오브젝트를 손에 잡거나 접촉하는 것과 같이 다른 제공된 피드백과 관련하여 사용자에게 물리적 포스의 감각들을 전달할 수 있다.
사용자에게 제공되는 오디오 피드백은 다수의 애플리케이션 프로그램들, 특히 게임들의 고유한 부분이다. 임의의 현존하는 햅틱 피드백 디바이스들은 컴퓨터로부터의 사운드 출력에 기초하여 햅틱 감각들을 제공하도록 설계된다. 사운드 출력 파형은 인터페이스 디바이스에 직접 라우팅되어 진동들과 같은 햅틱 감각들은 스피커가 동작하는 방식과 같이 사운드 출력 파형 또는 상기 파형의 필터링된 부분을 기초로 한다
직접적인 사운드 파형들에 기초하는 현존하는 햅틱 감각들의 단점은 햅틱 감각들이 사운드 신호들에 직접 기초하는 간단한 이펙트들이라는 점이다. 사운드 신호의 어떤 평가나 처리도 햅틱 디바이스에 신호들을 전송하기 이전에는 수행되지 않는다. 상기 단점은 사운드 출력 모두가 햅틱 감각들로 직접 변환하기에 적합한 것은 아니기 때문에 바람직하지 않거나 혼란스러운 햅틱 감각들을 야기할 수 있다.
본 발명은 일반적으로 인간들이 컴퓨터 시스템들과 접속하도록 하기 위한 시스템에 관한 것이며, 특히 사운드 출력을 발생시키는 하나 또는 그이상의 컴퓨터 애플리케이션들과 접속하는 사용자에게 햅틱 피드백(haptic feedback)을 제공하기 위한 방법들에 관한 것이다.
도 1은 본 발명과 함께 사용하기에 적합한 햅틱 피드백 시스템의 일 실시예를 나타내는 블럭 다이어그램이다.
도 2는 본 발명과 함께 사용하기에 적합한 햅틱 피드백 디바이스의 마우스실시예의 횡단면도이다.
도 3은 제공된 사운드 데이터에 기초하여 햅틱 감각들로 출력되는 햅틱 이펙트들을 제공하기 위한 본 발명의 방법의 제 1 실시예를 나타내는 흐름도이다.
도 4는 버퍼에 저장된 사운드 데이터가 처리되고 분석되는 도 3의 단계에 대한 일 실시예를 나타내는 흐름도이다.
도 5는 버퍼에 저장된 사운드 데이터가 처리되고 분석되는 도 3의 단계에 대한 또다른 실시예를 나타내는 흐름도이다.
본 발명은 컴퓨터 장치로부터의 사운드 출력에 기초하여 햅틱 감각들의 출력을 트리거하는 것에 관한 것이다. 햅틱 감각들의 출력은 증가된 사용자 경험을 허용할 때, 특징들에 대한 사운드 데이터를 분석함으로써 지능적으로 트리거된다.
특히, 본 발명의 인터페이스 장치는 컴퓨터로부터의 사운드 출력에서 검출된 사운드 특징들로부터 햅틱 감각들을 트리거하기 위한 방법을 제공하며, 상기 햅틱 감각들은 컴퓨터와 통신하는 햅틱 피드백 디바이스들의 사용자에게 출력될 수 있다. 사운드 데이터의 일부분은 저장되어 사용자에게 컴퓨터를 구동하는 애플리케이션 프로그램으로부터의 오디오로서 출력되도록 한다. 사운드 데이터는 컴퓨터의 메모리 버퍼 내에 저장된다. 사운드 데이터 부분은 지능적인 발견법들을 사용하여 분석되어 사운드 데이터 부분으로부터 적어도 하나의 사운드를 추출하도록 한다. 적어도 하나의 햅틱 이펙트(haptic effect)의 실행은 사운드 특징(들)에 기초하여 트리거되며, 상기 햅틱 이펙트는 사용자에게 사운드의 부분을 오디오로 출력하는 것과 상관된 햅틱 피드백 디바이스에서 명령된다. 햅틱 이펙트는 햅틱 감각이 사용자에게 출력되도록 한다.
트리거된 햅틱 감각은 바람직하게 사운드 데이터에서 발견된 사운드 특징들에 할당된다. 임의의 실시예들에서, 사운드 데이터의 부분을 분석하는 것은 사운드 데이터를 다수의 서로다른 주파수 범위들로 처리하는 것과 각각의 주파수 범위들에서 사운드 특징을 탐색하는 것을 포함한다. 햅틱 이펙트는 사운드 특징이 주파수 범위 내에 존재하는 경우 각각의 주파수 범위에 대하여 트리거될 수 있다. 필터는 사운드 데이터에 적용될 수 있거나, 고속 푸리에 변환이 사용될 수 있다. 각각의 주파수 범위는 서로다른 햅틱 감각들과 결합되어 매핑될 수 있다. 예를 들면, 각각의 주파수 범위들은 서로다른 주파수를 가지는 주기적인 햅틱 감각과 결합될 수 있다. 다른 형태들의 햅틱 감각들은 사운드 특징들로 매핑되고 할당되어 상기 사운드 특징들의 출력시에 트리거하도록 할 수 있다.
본 발명은 유리하게 햅틱 피드백이 사운드 출력을 가지는 애플리케이션 프로그램을 구동시키는 컴퓨터 시스템에 의해 출력되도록 한다. 본 발명은 햅틱 감각들을 사운드 출력을 야기하는 애플리케이션 프로그램내의 이벤트들에 햅틱 피드백을 제공하도록 사운드 데이터내의 특징들에 햅틱 감각들을 제공한다. 이는 사운드 출력에 기초하는 햅틱 피드백의 사용자 경험시 전체적인 개선을 제공한다.
본 발명은 하기의 도면을 참조로 하여 상세히 설명될 것이다.
도 1은 호스트 컴퓨터(14)와 통신하는 햅틱 피드백 인터페이스 디바이스(12)를 포함하며, 본 발명과 함께 사용하기에 적합한 컴퓨터 시스템(10)을 도시한다.
호스트 컴퓨터(14)는 바람직하게, 호스트 마이크로프로세서(20), 클럭(22), 디스플레이 스크린(26), 및 오디오 출력 디바이스(24)를 포함한다. 호스트 컴퓨터는 또한 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및 입/출력(I/O) 전자회로들과 같은 공지된 다른 구성요소들(비도시)을 포함한다. 호스트 컴퓨터(14)는 다양한 형태로 구현될 수 있는 컴퓨팅 디바이스이다. 예를 들어, 설명되는 실시예들에서, 컴퓨터(14)는 PC 호환용 컴퓨터 또는 매킨토시 퍼스널 컴퓨터, 또는 Sun or Silicon Graphic사의 워크스테이션과 같은 퍼스널 컴퓨터 또는 워크스테이션이다. 상기 컴퓨터(14)는 windows™, MacOS™, Unix, MS-DOS, 또는 다른 오퍼레이팅 시스템하에 동작할 수 있다. 선택적으로, 호스트 컴퓨터(14)는 Nintendo, Sega, Sony, 또는 Microsoft로부터 사용가능한 시스템들과 같은 텔레비전 세트 또는 다른디스플레이에 공통 접속된 다양한 가정용 비디오게임 콘솔 시스템들 중 하나가 될 수 있다. 다른 실시예들에서, 호스트 컴퓨터(14)는 "셋탑 박스", "네트워크- 또는 인터넷-컴퓨터", 휴대용 컴퓨터 또는 게임 디바이스, 개인용 디지털 휴대장치(PDA)등이 될 수 있다.
호스트 컴퓨터(14)는 바람직하게 사용자가 적합하다면, 디바이스(12) 및 다른 주변장치들을 통해 상호작용하는 호스트 애플리케이션 프로그램을 구현한다. 본 발명의 내용에서, 호스트 애플리케이션 프로그램은 하기에서 더 상세히 설명되는 것과 같이 디지털 오디오 편집 프로그램이다. 디바이스(12)의 입력을 사용하고 디바이스(12)에 햅틱 피드백 명령들을 출력하는 다른 애플리케이션 프로그램들이 사용될 수있다. 호스트 애플리케이션 프로그램은 바람직하게 사용자에게 선택권을 제공하고 사용자로부터 입력을 수신하기 위한 그래픽 사용자 인터페이스(GUI)를 사용한다. 상기 애플리케이션 프로그램은 하기에서 설명되는 햅틱 피드백 기능을 포함할 수 있으며, 또는 햅틱 피드백 제어는 드라이버 또는 다른 애플리케이션 프로그램과 같은 호스트 컴퓨터를 통해 구동하는 또다른 프로그램에서 수행될 수 있다. 여기에서, 컴퓨터(14)는 그래픽 사용자 인터페이스, 게임, 시뮬레이션 또는 다른 시각적 환경이 될 수 있는 "그래픽 환경"을 제공하는 것으로 참조될 수 있다. 컴퓨터는 물리적인 오브젝트들은 아니지만, 데이터의 논리적인 소프트웨어 유니트 집합들 및/또는 당업자에게 공지된 것과 같이 디스플레이 스크린(26)상에서 컴퓨터(14)를 통한 이미지들로서 디스플레이 될 수 있는 절차들이 되는 "그래픽 오브젝트들" 또는 "컴퓨터 오브젝트들"을 디스플레이한다. 햅틱 피드백 디바이스들을 사용하여 소프트웨어에 접속하는 적절한 소프트웨어 드라이버들은 Immersion Corporation of San Jose, California로부터 사용가능하다.
디스플레이 디바이스(26)는 호스트 컴퓨터 시스템(14)에 포함될 수 있으며, 표준 디스플레이 스크린(LCD, CRT, 평판 등), 3-D 안경, 투영 디바이스, 또는 임의의 다른 시각 출력 디바이스가 될 수 있다. 디스플레이 디바이스(26)는 오퍼레이팅 시스템 애플리케이션, 시뮬레이션, 게임등에 의해 명령되는 것과 같은 이미지들을 디스플레이한다.
스피커들과 같은 오디오 출력 디바이스(24)는 사용자에게 사운드 출력을 제공한다. 본 발명의 내용에서, 스테레오 수신기들, 증폭기들등과 같은 다른 오디오-관련 디바이스들 또한 호스트 컴퓨터에 연결될 수 있다. 저장 디바이스들(하드디스크 드라이브, CD ROM 드라이브, 플로피 디스크 드라이브등), 프린터들 및 다른 입력 및 출력 디바이스들과 같은 다른 형태들의 주변장치들 또한 호스트 프로세서(20)에 연결될 수 있다.
마우스, 노브(knob), 게임패드, 트랙볼, 조이스틱, 원격제어 유니트, PDA 스크린 등과 같은 햅틱 피드백 인터페이스 디바이스(12)는 양방향 버스(30)에 의해 호스트 컴퓨터(14)에 연결된다. 양방향 버스는 호스트 컴퓨터(14)와 인터페이스 디바이스간의 어느 한 방향에서 신호들을 전송한다. 버스(30)는 RS232 직렬 인터페이스, RS-422, 범용 직렬 버스(USB), MIDI, 또는 당업자에게 공지된 다른 프로토콜들과 같은 직렬 인터페이스 버스 또는 병렬 버스, 또는 무선 링크가 될 수 있다. 임의의 인터페이스들은 또한 디바이스(12)의 작동장치들에 전력을 제공할 수 있다.
디바이스(12)는 로컬 프로세서(40)를 포함할 수 있다. 로컬 프로세서(40)는 마우스의 다른 구성요소들과의 효율적인 통신을 허용하기 위해 디바이스(12)의 하우징내에 선택적으로 포함될 수 있다. 프로세서(40)는 컴퓨터 호스트(14)로부터의 명령들 또는 요청들을 대기하고, 상기 명령 또는 요청을 디코딩하며, 상기 명령 또는 요청에 따라 입력 및 출력 신호들을 처리/제어하기 위한 소프트웨어 지시들과 함께 제공될 수 있다. 추가로, 프로세서(40)는 센서 신호들을 판독하여 그들의 센서 신호들, 시간 신호들, 및 호스트 명령에 따라 선택된 저장되거나 중계된 지시들로부터 적절한 포스(force)들 또는 명령들을 계산함으로써 호스트 컴퓨터(14)를 독립적으로 동작시킨다. 로컬 프로세서(40)로서 사용하기에 적합한 마이크로프로세서들은 예를 들어 Immersion Touchsense 프로세서와 같은 더 복잡한 포스(force) 피드백 프로세서들뿐만 아니라, MC68HC711E9 by Motorola, PIC16C74 by Microchip, 및 82930AX by Intel Corp.을 포함한다. 프로세서(40)는 하나의 마이크로프로세서 칩, 다수의 프로세서들 및/또는 코프로세서(co-processor) 칩들, 및/또는 디지털 신호 프로세서(DSP) 용량을 포함할 수 있다.
마이크로프로세서(40)는 센서(들)(42)로부터 신호들을 수신하여 버스(30)를 통해 호스트 컴퓨터(14)에 의해 제공되는 지시들에 따라 작동장치(44)에 신호들을 제공할 수 있다. 예를 들면, 로컬 제어 실시예에서, 호스트 컴퓨터(1)는 버스(30)를 통해 프로세서(40)에 높은 레벨의 감독 명령들을 제공하며, 프로세서(40)는 프로세서(40)는 상기 명령들을 디코딩하여 높은 레벨의 명령들에 따라 호스트 컴퓨터(14)에 독립적으로 센서들과 작동장치에서 낮은 레벨의 포스 제어 루프들을관리한다. 상기 동작은 USP 5,739,811 및 5,734,373에서 상세히 설명되며, 본 명세서에서 참조로서 통합된다. 호스트 제어 루프에서, 호스트 컴퓨터로부터의 포스 명령들은 지정된 특징들을 가지는 포스 또는 포스 감각들을 출력할 것을 프로세서에 명령한다. 로컬 프로세서(40)는 호스트 컴퓨터가 수행된 프로그램들을 업데이팅하기 위해 사용하는 위치적이며 다른 센서 데이터를 호스트 컴퓨터에 보고한다. 로컬 제어 루프에서, 작동장치 신호들은 프로세서(40)로부터 작동장치(44)로 제공되고, 센서 신호들은 센서(42) 및 다른 입력 디바이스들(48)로부터 프로세서(40)로 제공된다. 프로세서(40)는 이후에 저자오디는 명령들에 의해 적절한 출력의 작동장치 신호들을 결정하기 위해 입력된 센서 신호들을 처리할 수 있다. 이 때, "햅틱 감각" 또는 "촉각 감각"이라는 용어는 단일 포스 또는 사용자에게 감각을 제공하는 작동장치에 의해 출력되는 일련의 포스들 중 하나를 참조로 한다. "햅틱 이펙트"라는 용어는 일반적으로 햅틱 이펙트를 한정하는 디바이스에 전송된 명령들, 파라미터들, 및/또는 데이터를 참조로 하며, 이펙트가 디바이스에 의해 사용자에게 포스들로 출력되는 경우에 햅틱 감각을 생성한다.
다른 실시예들에서, 더 간단한 다른 하드웨어는 디바이스(12)에 국부적으로 제공되어 프로세서(40)로서의 기능성을 제공할 수 있다. 예를 들면, 하드웨어 상태 머신 또는 고정된 로직을 집적하는 ASIC는 작동기에 신호들을 제공하고, 센서들(42)로부터 센서 신호들을 수신하며, 미리 정의된 시퀀스, 알고리즘, 또는 프로세서에 따라 촉각 신호들을 출력하기 위해 사용될 수 있다.
서로다른 호스트-제어 실시예에서, 호스트 컴퓨터(14)는 버스(30)를 통해 프로세서(40)를 경유하여 작동장치(44)에 직접 전송되는 하위 레벨 포스 명령들을 제공할 수 있다. 따라서 호스트 컴퓨터(14)는 디바이스(12)로 및 디바이스(12)로부터 모든 신호들을 직접 제어하고 처리한다. 간단한 호스트 제어 실시예에서, 호스트로부터 디바이스로의 신호는 작동장치에게 미리 정의된 주파수 및 크기로 포스를 출력할 것을 명령할 수 있거나, 크기 및/또는 방향을 포함할 수 있거나, 바람직한 포스값을 시간에 적용할 것을 지시하는 간단한 명령이 될 수 있다.
RAM 및/또는 ROM과 같은 로컬 메모리(52)는 바람직하게 프로세서(40)에 대한 지시들을 저장하고 임시의 다른 데이터저장하기 위한 디바이스(12)내의 프로세서(40)와 연결된다. 예를 들면, 포스 프로파일들은 프로세서에 의해 출력될 수 있는 저장된 포스값들의 시퀀스, 또는 사용자 오브젝트의 현재 위치에 기초하여 출력될 포스값들의 검색 테이블과 같이 메모리(52)에 저장될 수 있다. 또한, 로컬 클럭(54)은 호스트 컴퓨터의 시스템 클럭과 유사한 타이밍 데이터를 제공하기 위해 프로세서(40)에 연결될 수 있으며, 상기 타이밍 데이터는 작동 장치에 의해 출력되는 포스들(예를 들면 계산된 속도들에 종속하는 포스들 또는 다른 시간에 따른 인자들)을 계산하도록 요구될 수 있다. USB 통신 인터페이스를 사용하는 실시예들에서, 프로세서(40)에 대한 타이밍 데이터는 USB 신호로부터 선택적으로 유도될 수 있다.
센서들(42)은 디바이스 및/또는 하나 또는 그이상의 매니퓰랜덤(manipulandum)들의 위치 또는 운동을 감지하거나 상기 위치 또는 운동을 나타내는 정보를 포함하는 신호들을 제어하여 프로세서(40)(또는 호스트(14))에제공한다. 매니퓰랜덤을 검출하기에 적합한 센서들은 디지털 광학 인코더들, 광학 센서 시스템들, 선형 광학 인코더들, 전위차계들, 광학 센서들, 속도 센서들, 가속 센서들, 변형계를 포함하거나 또는 다른 형태들의 센서들이 사용될 수 있으며, 상대적이거나 절대적인 센서들이 제공될 수 있다. 광학 센서 인터페이스(46)는 센서 신호들을 프로세서(40) 및/또는 호스트(14)에 의해 해석될 수 있는 신호로 변환하기 위해 사용될 수 있다.
작동장치(들)(44)은 프로세서(40) 및/또는 호스트 컴퓨터(14)로부터 수신되는 신호들에 응답하여 디바이스(12)의 하우징 또는 하나 또는 그이상의 매니퓰랜덤들에 대한 포스들을 전송함으로써 햅틱 감각들을 출력한다. 작동장치(44)는 DC 모터들과 같은 능동 작동장치들, 음성 코일들, 기압 또는 수압 작동장치들, 회전우력계들, 압전 작동장치들, 이동식 자기 작동장치들, 등등 또는 브레이크들과 같은 수동 작동장치를 포함하는 임의의 다양한 형태들인 작동 장치들이 될 수 있다.
작동장치 인터페이스(50)는 프로세서(40)로부터의 신호들을 작동장치(44)를 구동하기에 적절한 신호들로 변환시키기 위해 작동장치(44) 및 프로세서(40)사이에 선택적으로 접속될 수 있다. 인터페이스(50)는 당업자에게 공지된 것과 같이 전력증폭기들, 스위치들, 디지털-아날로그 제어기들(DACs), 아날로그-디지털 제어기들(ADCs), 및 다른 구성요소들을 포함할 수 있다. 다른 입력 디바이스들(48)은 디바이스(12)에 포함되고 사용자에 의해 조작되는 경우 입력 신호들을 프로세서(40) 또는 호스트(14)에 전송한다. 상기 입력 디바이스들은 버튼들, 스크롤 휠들, d-패드들, 다이얼들, 스위치들, 또는 다른 제어장치들 메커니즘들을 포함할 수 있다.
전원(56)은 작동장치에 전력을 제공하거나 개별 구성요소로서 제공되기 위한 작동장치 인터페이스(50) 및/또는 작동장치(44)에 연결되는 디바이스(12)에 선택적으로 포함될 수 있다. 선택적으로, 전력은 디바이스(12)와는 개별적인 전원으로부터 인가될 수 있거나 버스(30)를 통해 수신될 수 있다. 또한, 수신된 전력은 저장되고 디바이스(12)에 의해 조절될 수 있으며, 따라서 작동장치(44)를 구동하기 위해 요구되는 경우 사용되거나 추가 방식으로 사용될 수 있다. 임의의 실시예들은 디바이스 내의 전력 저장 디바이스를 사용하여 피크 포스들이 적용될 수 있도록(USP 5,929,607에 개시되며, 본 명세서에서 참조로서 통합되는)할 수 있다. 선택적으로, 상기 기술은 무선 디바이스에서 사용될 수 있으며, 이 경우에 배터리 전력은 촉각 작동장치들을 구동시키기 위해 사용된다. 안전 스위치(58)는 사용자가 안전성의 이유로 작동장치(44)를 활성 저하시키도록 하기 위해 선택적으로 포함될 수 있다.
다수 형태들의 인터페이스 또는 제어 디바이스들은 본 명세서에서 설명되는 본 발명과 함께 사용될 수 있다. 예를 들어, 상기 인터페이스 디바이스들은 햅틱 피드백 트랙볼, 조이스틱 핸들, 조종휠, 노브, 손에 들고 쓰는 원격 제어 디바이스, 비디오게임들 또는 컴퓨터 게임들을 위한 게임패드 제어기, 스타일러스, 그립, 휠, 버튼, 셀룰러 전화기, PDA, 터치패드, 또는 다른 조종가능한 오브젝트, 표면, 또는 하우징을 포함할 수 있다.
도 2는 본 발명과 함께 사용하기 위한 디바이스(12)의 마우스 실시예(100)의횡단면도이다.
마우스 장치(100)는 하우징(101), 감지 시스템(102), 및 작동장치(104)를 포함한다. 하우징(101)은 사용자가 2차원 자유도들에서 마우스를 이동시키고 버튼들(106)을 조작하는 동안 표준 마우스와 같이 사용자의 손을 고정시키는 형태를 갖는다. 다른 하우징 형태들은 다수의 서로다른 실시예들에서 제공될 수 있다.
센서(102)는 2차원 자유도들에서, 예를 들어 X 및 Y축들을 따라 마우스의 위치를 검출한다. 개시된 실시예에서, 센서(102)는 컴퓨터 시스템에 방향성 입력을 제공하기 위한 표준 마우스 볼(110)을 포함한다. 선택적으로, 광 센서 또는 다른 형태의 센서가 사용될 수 있다.
마우스 디바이스(100)는 마우스의 사용자에게 촉각 감각들과 같은 햅틱 피드백을 제공하기 위한 하나 또는 그이상의 작동장치들(104)을 포함한다. 작동장치(104)는 하우징(101)에 연결되어 사용자에게 햅틱 피드백을 제공한다. 일 실시예에서, 작동장치는 작동장치에 의해 이동되는 관성 매스(mass)에 연결된다. 관성 매스의 이동에 의해 야기되는 관성력들은 관성 매스와 관련하여 마우스의 하우징에 적용되며, 따라서 하우징을 접촉하는 사용자에게 촉각 감각들과 같은 햅틱 피드백을 전달한다. 임의의 실시예들은 작동 장치가 관성 매스로 그 자신을 이동시키도록 한다. 상기 실시예들은 USP 6,211,861 및 US 출원 번호 09/585,741에서 상세하게 설명되며, 여기에서 참조로서 통합된다. 게임 패드, 손에 잡히는 원격 제어장치들, 셀룰러 전화기들, PDA등과 같은 인터페이스 디바이스들의 다른 형태들은 관성 촉각 감각들을 위한 상기 작동장치를 포함할 수 있다.
인터페이스 디바이스들 및 작동장치들의 다른 형태들은 본 발명과 함께 사용될 수 있다. 예를 들면, 게임패드들, 마우스들, 또는 다른 디바이스들은 작동장치의 회전 샤프트(shaft)와 연결되어 되어 디바이스의 하우징 또는 매니퓰랜덤상에 중력 촉각 감각들을 제공하는 편심 회전 매스를 포함할 수 있다. 다른 형태의 햅틱 디바이스들은 조이스틱들, 노브들, 스크롤휠들, 게임패드들, 조종퓔들, 트랙볼들, 마우스들등과 같은 운동감각적 포스 피드백을 제공할 수 있으며, 상기 포스들은 매니퓰랜덤의 감지된 자유도(들)에서 출력된다. 예를 들면, 운동감각적 마우스 햅틱 디바이스의 실시예들은 USP 6,100,874 및 6,166,723에 개시되며, 본 명세서에서 참조로서 통합된다.
햅틱 피드백을 가지는 사운드 출력
본 발명은 호스트 컴퓨터를 구동하는 하나 또는 그이상의 애플리케이션 프로그램들(또는 다른 프로그램들)의 사운드 출력과 대응한 햅틱 감각들의 출력시 사용자 경험을 개선시킨다.
본 발명의 바람직할 실시예는 호스트 컴퓨터에 의해 출력되며 사용자에게 햅틱 감각들로서 출력되는 사운드 신호들 또는 데이터 출력에 기초하여 햅틱 피드백 디바이스들에 출력하기 위한 햅틱 이펙트들을 제공한다. 임의의 선택적인 실시예들에서, 햅틱 이펙트들은 예를 들면 마이크로폰 또는 오디오 디바이스로부터 컴퓨터 시스템에 입력된 사운드 신호들 또는 데이터에서의 특징들에 기초하여 유사하게 제공될 수 있다. 시간 특징들 및 사운드 특성들은 식별된 뒤 미리 프로그래밍된 햅틱 이펙트들로 맵핑되거나 이와 결합된다. 햅틱 이펙트들에 기초하는 햅틱 감각들은 햅틱 피드백 디바이스(12)상에서 즉시 렌더링 될 수 있고, 주어진 사운드의 "햅틱 프로파일"을 형성하기 위한 메모리에 저장될 수 있다. 본 발명의 방법은 종래기술에서 수행된 것과 같이 사운드 신호들을 햅틱 감각들로서의 출력을 위해 햅틱 디바이스에서 직접 라우트시키는 것이 아니라, 적절한 햅틱 감각들의 출력을 트리거시키기 위한 사운드 특징들을 사용하여 다양한 상위 레벨 사운드 특징들을 다양한 상위 레벨 햅틱 감각들과 결합시키는 것이다.
본 발명의 중요한 장점은 강제의 햅틱 감각들이 프로그램내에서 햅틱 이펙트들을 프로그래밍하도록 노력해야 하는 소프트웨어 애플리케이션 개발자 없이 애플리케이션 프로그램, 예를 들면 게임들에서 다양한 이벤트들을 위한 사운드들을 출력하는 임의의 프로그램을 위해 제공된다. 따라서, 임의의 대기중인 게임 프로그램 상기 게임이 햅틱 디바이스들을 제어하기 위한 코드를 포함하는지의 여부 또는 상기 게임이 단지 비-햅틱 피드백 디바이스들을 위해 개발되었는지의 여부에 관계없이 햅틱 피드백 디바이스들을 사용하여 동작하도록 용이하게 구성될 수 있으며, 사용자에게 다양한 프로그램들을 사용하여 더 강제적인 상호 작용 및 내수적인 경험을 허용한다. 또한, 본 발명은 사운드 이펙트들의 형태를 적절히 구분하고 서로다른 햅틱 감각들을 서로다른 이벤트들과 결합시킬 수 있으며, 사용자에게 매우 풍부한 경험을 허용한다.
일 실시예에서, 호스트 컴퓨터에서 구동되는 하위레벨 드라이버 프로그램은 본 발명의 방법들을 수행한다. 다른 실시예들에서, 호스트(또는 햅틱 피드백 디바이스의 마이크로프로세서)상에서 구동되는 다른 레벨의 소프트웨어는 본 발명의 특징들 또는 단계들(애플리케이션 프로그램, API, 등)의 일부 또는 모두를 수행할 수 있다. 본 발명을 구현하기 위한 프로그램 지시들은 전기 메모리, 자기 디스크, 광디스크, 광테이프등과 같은 컴퓨터 판독가능한 매체에 저장된 하드웨어(예를 들면 로직 구성 요소들) 또는 소프트웨어로서 저장될 수 있다.
도 3은 주어진 사운드 데이터 또는 사운드 신호에 기초하여 햅틱 감각들로서 출력될 햅틱 이펙트들을 제공하기 위한 본 발명의 방법의 제 1 실시예(200)를 나타내는 흐름도이다. 방법은 단계(202)에서 시작하며, 선택적인 단계(204)에서, 햅틱 이펙트들은 디바이스에 명령되고 사용자에게는 아직 출력되지 않는다. 예를 들면, 햅틱 디바이스(12)는 디바이스가 다수의 서로다른 햅틱 이펙트들에 대한 데이터를 저장하도록 하는 로컬 메모리를 포함할 수 있다. 디바이스 메모리내에 상주하는 햅틱 이펙트들은 호스트 명령이 수신되거나 다른 조건들(미리 결정된 시간 주기가 통과하는 등의)에 기초하는 경우에 플레이될 수 있다. 디바이스에 전송된 데이터는 햅틱 이펙트들, 예를 들면 주기적인 진동 이펙트들에 대한 파라미터를 포함할 수 있으며, 파라미터들은 주파수, 지속기간, 및 크기를 포함할 수 있다. 이펙트들은 단계(204)서 디바이스에 로딩될 수 있으며, 임의의 실시예들은 후속 단계에서 더 큰 크기들로 명령될 것에 대비하여 예를 들면 0의 크기에서 플레이하도록 명령될 수 있다. 단계(204)는 동일한 세트의 햅틱 감각들이 사용자에게 항상 출력되는 실시예에 가장 적합하다. 다른 실시예들에서, 햅틱 이펙트들은 사용자에게 출력되는 시간에 명령될 수 있다.
다음 단계(206)에서, 사운드 데이터는 애플리케이션 프로그램 또는 호스트컴퓨터를 구동시키는 다른 소프트웨어 계층 또는 프로그램으로부터 수신되거나, 선택적으로 외부 오디오 디바이스로부터 전송된다. 사운드 데이터는 바람직하게 MIDI와 같은 임의의 표준화된 포맷에서 wav 파일, mp3 파일등에서의 디지털 사운드 샘플들이 될 수 있는 디지털 데이터이다. 사운드 데이터는 스피커들과 같은 오디오 출력 디바이스들에 라우팅되고 사용자에게 사운드로 출력되어야 하는 경우에 단계(206)에서 수신된다. 일반적으로, 사운드 데이터는 게임 액션들 또는 이벤트들로부터 발생하는 게임, 게임이 시작하거나 다른 이벤트가 발생한 후에 플레이되는 게임 또는 다른 애플리케이션에서의 음악, 그래픽 사용자 인터페이스 상호작용시의 발신음, CD 또는 DVD로부터의 음악의 플레이 또는 다른 사운드 이벤트와 같이 애플리케이션에서 발생하는 사운드 이벤트로부터의 애플리케이션 프로그램에 의해 발생된다. 개시된 실시예에서, 상기 단계에서 수신된 사운드 데이터는 현재 분석을 위해 사용자에게 스피커들에 의해 출력되고 있다. 따라서, 사운드 데이터가 처리되는 시간과 하기에서 논의되는 것과 같이 출력된 햅틱 감각들에 의해, 사운드 데이터는 이미 사용자에게 출력된다. 그러나, 소량의 사운드 데이터가 저장되기 때문에 사운드와 햅틱 출력간에 수밀리초의 지연만이 발생하며, 사용자는 식별할 수 없다. 사운드 데이터 출력이 미리 공지된 다른 실시예들에서, 햅틱 감각들은 그들을 트리거하는 사운드 데이터와 동시에 또는 거의 동시에 출력될 수 있다.
단계(208)에서, 미리 결정된 양의 수신된 사운드 데이터는 호스트 컴퓨터(14)의 메모리 내의 임시 버퍼에 저장된다. 일 실시예에서, 이는 고속 처리 및 햅틱 감각들과의 결합을 허용하기에 상당히 적은 양이지만, 의미있는 처리와 분석을 수행하기에는 큰 양이다. 일 실시예에서, 약 10ms의 플레이와 동일한 사운드 데이터의 일부분이 저장되지만, 서로다른 양들은 다른 실시예들에서 저장될 수 있다. 예를 들면, 사운드는 호스트 컴퓨터상의 다이렉트 사운드 또는 다른 사운드 캡처 API를 사용하여 10ms 세그먼트내에 디지털로 기록될 수 있다.
단계(210)에서, 저장된 사운드 데이터는 어떤 햅틱 감각들이 출력되기 위한 것인지의 결정과 관련하여 지정된 특정 사운드 특성들 또는 특징들을 식별하기 위해 처리 및 분석되며, 즉, 상기 사운드 특징들은 햅틱 감각들의 출력을 트리거하기 위해 큐들로 동작하기 위한 것이다. 넓은 의미에서, 본 발명은 사운드 특징들을 추출하기 위해 지능적인 발견법들을 사용하며, 애플리케이션 프로그램에서 의미를 가지고 상기 사운드 특징들과 추출된 사운드 특징들과 상기 특징들이 나타내는 가능한 이벤트들을 적절히 상응시키는 미리결정되고 미리 프로그래밍된 햅틱 감각들과 결합시킬 수 있다. 예를 들어, 다수의 현 비디오게임 애플리케이션들에서 가능한 이벤트들은 폭탄들, 수류탄들, 미사일들, 등등으로부터의 폭발, 대포 또는 로켓과 같은 무기의 발사, 차량의 파괴, 발소리, 물에 떨어지는 오브젝트의 사운드, 게임사용자에게 임의의 게임 이벤트를 경고하는 경고 사운드, 등등이 될 수 있다. 상기 이벤트들은 적절한 분석 이후에 수신된 사운드 데이터로부터 인식될 수 있는 특정 사운드 특징들을 가질 수 있다.
데이터를 처리하기 위해 다수의 서로다른 방식들이 사용될 수 있으며, 임의의 실시예들이 도 4 및 도 5를 참조로 하여 하기에서 설명된다. 상기 특정 실시예들은 본 발명에 따라 사운드 데이터에 의해 표시되는 파형을 다수의 서로다른 주파수 범위들로 구분하기 위해 사운드 데이터의 처리를 수행한다. 각각의 사운드 주파수 범위는 특정 사운드 특징들을 위해 개별적으로 분석될 수 있다. 상기 주파수 범위의 구분은 사운드들이 종종 사운드를 트리거하는 이벤트에 기초하여 서로다른 주파수 범위들에서 발행하는 장점을 가지며, 예를 들어, 게임에서의 폭발은 낮은 주파수 사운드를 가질 수 있는 반면, 총성은 더 높은 주파수 사운드를 가질 수 있다. 그러므로 이벤트 형태들은 사운드가 지정된 주파수 범위에 기초하여 거의 구별될 수 있으며, 서로다른 햅틱 이펙트들이 명령되고 하기에서 설명되는 것과 같이 출력되도록 한다.
다음 단계(212)에서 사운드가 처리되고 분석되면, 햅틱 명령들은 햅틱 디바이스에 출력되어 햅틱 감각들이 디바이스를 조작하는 사용자에게 출력되도록 한다. 햅틱 명령들은 임의의 경우에 단계(210)에서 사운드 데이터에서 발견된 사운드 특징들에 기초하여 트리거된다. 지능적인 발견법들은 예를 들면 사운드들의 주파수들 또는 사운드들의 다른 특성들에 기초하는 서로다른 사운드 형태들에 서로다른 햅틱 감각들을 할당하기 위해 사용될 수 있다. 햅틱 명령들은 디바이스-상주형의 햅틱 이펙트들이 명령된 크기로 플레이를 시작하거나 플레이하도록 한다. 일 실시예에서, 단계(204)로부터 디바이스상의 메모리내에 이미 상주하는 햅틱 이펙트들은 원하는 햅틱 감각들을 구현하기에 적절한 새로운 파라미터들 또는 데이터를 사용하여 변경된다. 선택적으로, 새로운 햅틱 이펙트들은 디바이스에 의해 햅틱 감각들로 즉시 출력되도록 생성되고 명령될 수 있다. 전술된 바와 같이, 명령들로부터 발생하는 햅틱 감각들은 관련된 사운드 특징들이 음성으로 출력된 이후에 바로 출력될 수 있거나, 바람직하게 사용자가 지연이 존재한다고 말할 수 없기에 충분하다.
일 실시예에서, 명령된 햅틱 감각들은 관련된 주파수 범위에서의 사운드 데이터 크기와 비례하는 크기로 세팅될 수 있다. 예를 들어, 도 4 및 5를 참조로 하여 논의되는 실시예들에서 사운드 데이터는 필터링되거나 5개의 서로다른 주파수 범위들로 구성된다. 상기 주파수 범위들의 각각은 그와 관련된 서로다른 햅틱 감각을 가질 수 있다. 예를 들어, 사용가능한 관성 촉각 피드백 마우스를 사용하여, 서로다른 주파수의 주기적인 햅틱 이펙트는 각각의 주파수 범위들과 결합된다. 따라서, 예를 들어, 62Hz의 햅틱 주파수(예를 들어, 높은 크기의 감각들을 야기시키는 햅틱 디바이스의 제 1 공진 주파수 또는 그 인접 주파수)를 가지는 주기적인 햅틱 이펙트는 제 1 사운드 주파수 범위(예를 들면 0Hz 내지 150Hz)와 결합된다. 다른 주기적인 햅틱 이펙트들은 75Hz, 90Hz, 115Hz, 및 250Hz의 햅틱 주파수들을 가지며, 각각 오름차수로 또다른 사운드 주파수 범위와 상응한다(다른 주기적인 주파수들은 다른 실시예들에서 사용될 수 있다.). 상기 주기적인 햅틱 이펙트들 각각의 크기들은 관련된 주파수 범위에서 사운드 데이터의 크기와 비례하는 값으로 세팅될 수 있다. 주위의 사운드 레벨들의 크기의 동작 평균은 예를 들어 특정 주파수 범위에 대한 사운드 신호가 임계값 이상의 크기를 가지는 경우, 상기 주파수 범위와 관련된 햅틱 이펙트가 출력되도록 명령될 수 있거나 레벨 0 이상의 크기를 가지도록 명령될 수 있는 것과 같이 햅틱 이펙트 형성을 위한 최소 입계값으로서 사용될 수 있다.
따라서 전술된 방법은 사운드 데이터에 의해 표시되는 사운드 신호들의 서로다른 주파수 범위들에서 상응하게 변화하는 크기들에 기초하여 5개의 서로다른 햅틱 이펙트들의 크기들을 변화시킨다. 모든 주파수 범위들에서 구성요소들을 가지는 임의의 사운드들을 사용하여, 상기 방법은 5개의 서로다른 햅틱 이펙트들이 동시에 출력 되도록 할 수 있다. 그러나, 몇개의 주파수 범위들을 통해 확산된 다수의 사운드 특징들이 짧은 시간 동안 계속되기 때문에, 사용자는 단지 짧은 진동 또는 서로다른 주파수들의 머쉬(mush)보다는 펄스들의 시리즈들을 감지한다. 다른 더 지속되는 사운드 이펙트들은 단지 하나 또는 두개의 햅틱 이펙트들이 동시에 출력되도록 하는(다른 주파수 범위들에 대한 햅틱 이펙트들은 0의 크기로 세팅될 것이다) 오직 하나 또는 두개의 주파수 범위들에 집중될 수 있다. 따라서 사용자는 사운드 이펙트의 주파수와 대략 상응하는 햅틱 감각들을 감지할 것이다. 이는 또한 도 4를 참조로 하여 논의된다.
따라서, 특정 주파수 범위 또는 대역과 결합된 햅틱 감각의 크기는 전술된 바와 같이 상기 주파수 대역의 사운드 신호의 크기 레벨과 직접 상응할 것이다. 상기 연속적인 햅틱 출력에 부가하여, 사운드 신호에서의 크기의 갑작스런 스파이크들은 추가의 요동들, 펄스들, 또는 연속적인 진동 감각들 상에 오버레이될 수 있는 다른 짧고 강한 햅틱 감각들로 맵핑될 수 있다.
다른 실시예들에서, 더 정교한 햅틱 감각들은 단계(210)의 사운드 데이터 처리 및 분석과 지능적인 발견법들에 기초하여 출력될 수 있다. 게임들과 같은 다수의 애플리케이션들에서, 사운드 형태는 주로 위치되는 주파수 범위들에 기초하여결정될 수 있다. 이는 더 정교한 맵핑 방식을 허용하며, 상기 완전히 다른 햅틱 감각들은 서로다른 사운드 주파수 범위들로 맵핑될 수 있다. 이는 또한 도 5와 관련하여 논의될 수 있다.
예를 들면, 비디오게임에서 무기 발사가 높은 주파수 사운드의 급작스런 버스트와 관련되는 경우가 종종 있다. 상기 사실을 지능적인 발견법으로 사용할 때, 단계(210)에서, 게임으로부터의 사운드 출력 데이터가 분석될 수 있으며, 높은 주파수 사운드가 출력되는 것을 나타내는 특징이 식별될 수 있다. 예를 들어, 특정 주파수 범위가 사운드의 크기내의 급작스런 버스트 또는 스파이크에 대하여 검사될 수 있다. 단계(212)에서, 무기 발사와 관련된 햅틱 감각은 사운드내에서 발견되는 사운드 버스트에 기초하여 출력되도록 지능적으로 명령될 수 있다. 임의의 실시예들에서, 햅틱 감각은 사운드와 햅틱 감각들이 플레이되는 동안 진행하고 있는 도중에 변경될 수 있으며, 상기 햅틱 감각의 크기 및 지속기간은 미리결정된 임계값이상의 사운드 버스트의 크기, 버스트의 지속기간, 및/또는 버스트의 특정 주파수 컨텐트에 기초하여 계속적으로 조절된다.
임의의 실시예들에서, 완전히 다른 햅틱 프로파일은 사운드 특징의 종류들에 기초하는 사운드 특징을 위해 선택될 수 있고, 사운드 특성들과 햅틱 이펙트들 사이에서 상기 미리 프로그래밍된 맵핑이 고려된다(예를 들면, 검색 테이블 또는 데이터 테이블은 메모리내에 저장될 수 있다). 예를 들면, 매우 다른 주파수 범위내의 사운드 버스트는 완전히 다른 햅틱 감각들을 트리거할 수 있다. 비디오게임에서의 낮은 주파수의 사운드 버스트는 예를 들면, 캐릭터의 발걸음의 사운드가 될수 있다. 적절한 햅틱 감각은 낮은 주파수의 진동 또는 파상 포스와 같은 사운드 특징으로 맵핑될 수 있다.
임의의 게임들 또는 다른 프로그램들은 전술된 것과 같은 근사한 맵핑을 허용하기 위해 유사한 이벤트들에 대한 유사한 사운드 이펙트들을 출력할 수 있다. 그러나 다른 게임들 및 프로그램들은 유사한 소리가나는 사운드들과 관련된 서로 다른 이벤트들을 가질 수 있다. 그러므로, 일 실시예에서, 특정 검색 테이블 또는 다른 맵핑 데이터는 각각의 개별적인 게임(또는 다른 애플리케이션 프로그램)과 결합될 수 있다. 테이블을 사용하여, 본 발명의 방법은 어떤 게임이 플레이중인지를 테이블에서 식별할 수 있고, 상기 게임의 사운드 특성들간의 적절한 맵핑과 테이블의 제작자에 의해 할당된 햅틱 감각들을 발견할 수 있다. 이는 더 정확한 맵핑들을 가능하게 하는 특정 게임들을 위해 제작된 발견법들의 조정을 허용한다. 이는 그들의 게임들내에 햅틱 이펙트들 또는 맵핑들을 배치해야할 필요가 없는 개발자들에게 유리할 수 있지만, 햅틱 디바이스들의 제작자들은 사운드 출력에 기초하여 현재 사용가능한 게임들에 대한 햅틱 맵핑들을 포함하는 드라이버 업데이트들을 중단 시키는 것을 신뢰할 수 있다.
선택적인 실시예들에서, 발견된 사운드 특징들과 관련된 햅틱 이펙트들은 사용자에게 햅틱 감각들로 즉시 출력되지는 않지만, 주어진 사운드의 "햅틱 프로파일"을 형성하기 위해 메모리 내에 대신 저장된다. 이는 햅틱 이펙트들의 설계를 지원하기 위해 사용될 수 있다. 예를 들면, 사운드 파일은 로딩될 수 있고 사용자는 본 발명의 방법이 사운드와 상응하는 합성 햅틱 이펙트를 발생시키도록 그래픽사용자 인터페이스에서 제어를 선택할 수 있다. 발생된 햅틱 이펙트(또는 햅틱 크기들, 포스값들, 등등)는 발생된 합성 햅틱 이펙트들을 명령함으로써 프로그램에서 사용될 수 있다. 선택적으로 햅틱 프로파일(발생된 이펙트)은 개발자들이 상기 원래의 것들, 예를 들면, 생성될 수 있는 주기적인 이펙트들, 텍스처들, 임시 프로파일들, 등등에 기초하여 새로운 이펙트들을 생성하도록 하는데 기본이 되는 새로운 햅틱 이펙트가 될 수 있다.
예를 들면, 게임은 수백개의 사운드 이펙트들을 가질 수 있다. 본 발명의 방법은 게임의 사운드 파일들을 로딩하여 수초 내에 표준화된 포맷(Immersion Corp. of San Jose, California에 의해 생성된 프로토콜들에서 사용되는 .ifr 파일들과 같은)의 사운드 데이터로부터 햅틱 이펙트들을 생성한다. 따라서, 개발자는 다량의 개발 시간을 절약하여 각각의 햅틱 이펙트를 수동으로 생성할 필요는 없다. 개발자는 또한 만약 원한다면 발생된 햅틱 이펙트들을 검사하여 그들을 편집할 수 있다. 이는 개발자가 종래의 방식으로 햅틱 디바이스들에 햅틱 이펙트들을 명령하기 위해 그들의 게임에 코드를 추가하기를 원하지만, 적절한 햅틱 이펙트를 설계하는데 너무 많은 양의 시간을 소비하는 것을 원하지 않는 경우에 유리하다.
햅틱 감각의 출력 이후에, 방법은 단계(206)로 복귀하여 추가의 사운드 데이터가 수신되는지를 검사한다. 만약, 수신된다면, 사운드 데이터의 다음부분이 전술된 것과 같이 처리된다. 만약 추가의 사운드가 수신되지 않으면, 프로세스는 단계(242)(다음 시간 사운드 데이터가 출력되는 것이 다시 시작되기 위해)에서 종료한다.
도 4는 도 3의 단계(210)에 대한 일 실시예를 설명하는 흐름도이며, 버퍼에 저장된 사운드 데이터가 처리되고 분석된다. 방법은 (270)에서 시작하여 단계(272)에서 저장된 사운드 데이터는 다수의 필터들을 통해 서로다른 주파수 범위들을 구분하도록 세팅된다. 예를 들면, 사운드 데이터를 전술된 예에서 설명된 바와 같이 5개의 주파수 범위들로 구분하기 위해, 저역 통과 필터, 고역 통과 필터, 및 3개 대역 통과 필터들이 사용될 수 있다. 일 예로서, 저역 통과 필터는 0-170Hz를 제외한 주파수내에서 모든 데이터를 필터링할 수 있고, 제 1 대역 통과 필터는 170-430Hz를 제외한 모든 주파수들을 필터링 할 수 있고, 제 2 대역 통과 필터는 430Hz-2KHz를 제외한 모든 주파수들을 필터링 할 수 있고, 제 3 대역 통과 필터는 2-10KHz를 제외한 모든 주파수들을 필터링할 수 있으며, 고역 통과 필터는 10kHz이하의 모든 주파수들을 필터링 할 수 있다.
단계(274)에서, 각각의 필터 출력으로부터의 사운드 크기의 동작 평균이 유지된다. 이는 컴퓨터로부터 출력된 주위 사운드들이 평균되어 주위 레벨보다 소리가 큰 사운드들만이 햅틱 감각들을 트리거시킬 것이다. 다음 단계(276)에서, 각각의 필터들의 출력 크기의 제곱값이 스케일링 될 수 있다. 따라서 종래 기술에서와 같이 실제의 필터 출력들이 햅틱 감각들을 발생하기 위해 사용되는 것이 아니라 새로운 햅틱 명령들 및 이펙트들이 필터 출력들에 기초하여 생성된다.
임의의 실시예에서, 각 필터들의 출력 크기의 제곱값이 스케일링될 수 있다. 이는 임의의 실시예에서 사운드 데이터의 각각의 주파수 범위에서 더 큰 피크들 또는 스파이크들을 선택하여 검출되기에 너무 많은 피크들로부터 발생할 수 있는 디바이스의 지속되는 소음/진동을 감소시키기에 더 효율적일 수 있다.
다음 단계(278)에서, 주기적인 햅틱 이펙트들은 각각의 필터 출력들에 할당된다. 주기적인 이펙트들은 각각 각 필터에 대하여 발견된 스케일링된 크기와 동일한 크기로 할당될수 있다. 만약 필터가 출력값을 가지지 않으면, 즉 주파수 범위의 사운드가 사운드 데이터 내에서 제공되지 않는다면, 또는 만약 필터 출력이 미리설정된 임계 진폭 미만이면, 상기 주파수 범위에 할당된 햅틱 이펙트는 0의 크기로 할당될 것이다. 주기적인 감각들은 각각 상응하는 사운드 주파수를 전달하는데 효율적이도록 발견되는 5개의 햅틱 주파수들 중 하나를 가질 수 있다. 진동들 과 같이 상기 주기적인 햅틱 감각들은 게임 패드들 또는 관성 촉각 감각들을 제공하는 마우스들과 같은 촉각 디바이스들에 매우 적합하다. 진동들은 운동감각적 피드백 디바이스들에 의해 출력될 수 있다. 다른 형태의 햅틱 감각들은 또한 상기 결정된 스케일링된 크기들에 기초하는 크기들을 가지는 운동감각적 디바이스의 실시예들에 의해 출력될 수 있다. 할당된 햅틱 감각들의 형태는 폭발들, 요동들, 스프링들, 댐핑들, 등등과 같이 서로다른 실시예들에서 서로 상이할 수 있고, 스케일링된 크기들에 기초하는 크기들을 가지는 출력이 될 수 있으며, 예를 들어 미리 프로그래밍된 맵핑은 맵핑된 햅틱 이펙트를 할당하기 위해 참고될 수 있다.
방법은 그후에 단계(280)에서 종료한다. 할당된 주기적인 햅틱 감각들은 도 3의 다음 단계(212)에서 사용될 수 있으며, 상기 햅틱 감각들은 햅틱 이펙트들을 햅틱 피드백 디바이스에 명령함으로써 사용자에게 먼저 출력된다.
도 5는 도 3의 단계(210)의 서로다른 실시예(210')를 설명하는 흐름도이며,버퍼에 저장된 사운드 데이터는 처리되고 분석된다. 단계는 (290)에서 시작하며, 단계(292)에서, 고속 푸리에 변환(FFT)이 사운드 데이터를 통해 수행되며, 데이터를 데이터 주파수 스펙트럼의 서로다른 주파수 성분들로 필터링한다. 주파수 성분들은 각각 FFT에 의해 출력된 성분들의 수에 기초하는 주파수 범위와 커버링되는 전체 주파수 범위를 측정한다. 예를 들어, 만약 FFT가 512개의 출력들을 가지며, 사운드 데이터의 전체 주파수 범위가 약 22kHz이면, 각각의 FFT 출력 주파수 성분은 22kHz/512=약 43Hz의 주파수 범위를 갖는다. 상기 주파수 성분들은 바람직한 주파수 범위들로 합산하기 위해 그룹화될 수 있다. 예를 들면, 도 4의 실시예와 유사한 5개의 주파수 범위들을 달성하기 위해, 4개의 성분들은 0-170Hz의 제 1 주파수 범위를 커버링하도록 조합될 수 있고, 6개의 성분들은 170-430Hz의 범위를 커버하고, 37개의 성분들은 430Hz-2kHz의 범위를 커버하고, 185개의 성분들은 2kHz-10kHz의 범위를 커버하며, 256개의 성분들은 10-22kHz의 범위를 커버한다. 다른 주파수 범위들과 성분들은 다른 실시예들에서 사용될 수 있다.
다음 단계(294)에서, 방법은 단계(292)에서 그룹화된 임의의 주파수 범위들이 미리 결정된 특성들을 가지는지의 여부를 검사한다. 상기 특성들은 햅틱 감각들의 출력을 트리거시키기에 충분히 큰 사운드 데이터들의 특징들이다. 일 실시예에서, 평균 진폭은 각각의 주파수 범위동안 유지되며, 진폭의 스파이크가 검색된다. 만약 평균 진폭의 3-4배의 진폭에서 스파이크가 발견되면, 이는 중요한 것으로 간주되어 햅틱 이펙트는 할당되거나 상기 특징에 의해 트리거되어야만 한다.
만약 미리 결정된 특성들이 발견되면, 프로세스는 단계(296)로 진행하여 햅틱 이펙트들을 미리결정된 특성들을 가지는 그들의 주파수 범위들로 할당하고, 프로세스는 단계(298)에서 종료하고 방법은 도 3의 단계(212)로 복귀한다. 만약 단계(294)에서 바람직한 특성들을 가지기 위해 어떤 주파수 범위들도 발견되지 않았다면, 프로세스는 단계(198)에서 종료하고 방법은 도 3의 단계(212)로 복귀한다.
바람직한 특성들을 가지는 주파수 범위들에 할당된 햅틱 이펙트들은 몇개의 서로다른 형태들 중 임의의 형태들이 될 수 있고/있거나 서로다른 파라미터들을 가질 수 있으며, 사응하는 사운드 데이터의 진폭에 비례하는 크기를 가지지 않아야만 한다. 예를 들면, 요동, 펄스, 또는 멈춤은 임의의 추출된 사운드 특징들(진폭의 상승과 같은)로 맵핑될 수 있다. 요동 또는 멈춤의 크기는 진폭 스파이크가 발견되는 주파수 범위에 기초할 수 있으며, 예를 들어 낮은 주파수 범위들은 더 높은 크기의 햅틱 감각들(또는 이와 반대의)로 할당될 수 있다. 주기적인 감각들, 방향성 감각들(디바이스의 자유도들에서 특정 방향들로 포스를 출력할 수 있는 햅틱 디바이스들에 대한), 스프링 감각들, 댐핑 감각들, 등등은 서로다른 주파수 범위들로 맵핑될 수 있다. 일 실시예에서, 햅틱 감각은 증가된 사운드 데이터 진폭과 상응하는 크기로 증가될 수 있고, 햅틱 진폭은 자동적으로 0 레벨로 다시 램핑 다운될 수 있다. 다시말해서, 사운드 특징들과 햅틱 감각들 간에 미리 프로그래밍된 맵핑이 참조될 수 있다.
도 5의 실시예의 FFT 출력들은 더 효율적이며, 도 4의 실시예의 필터 출력들 보다 더 많은 정보를 제공한다. 예를 들어, FFT의 출력들은 진폭내의 스파이크가 파동들 또는 사운드 신호등의 특징들의 위상 오프셋을 발생시키는 경우에 관한 더상세한 주파수 정보를 제공할 수 있다. 도 5에 대하여 전술된 서로다른 형태의 햅틱 감각들의 할당 또는 트리거는 도 4의 실시예에서 수행될 수 있고, 도 4의 사운드 진폭들과 비례하는 햅틱 감각들의 크기들은 도 5의 실시예에서 수행될 수 있다.
임의의 애플리케이션들에서, 게임 애플리케이션들에서 배경 음악과 같은 주위 배경 사운드들은 무시될 수 있기 때문에 게임내에서 오직 사운드 이펙트만이 햅틱 감각들이 출력되도록 트리거한다. 종종, 사운드 이펙트 크기들은 배경 음악 크기들 보다 훨씬 더 크므로 사운드 이펙트들은 평균 진폭 이상의 스트라이크들로 발견된다. 다른 상황들에서, 배경 음악은 무시될 수 있고 사운드 이펙트들은 오디오 데이터의 형태로서 처리될 수 있다. 예를 들면, 만약 배경 음악이 MIDI 포맷내에 있고 사운드 이펙트들이 .wav 파일들이면, MIDI 데이터는 무시될 수 있고 wav 데이터는 본 발명에 의해 햅틱 감각들을 처리하도록 제공될 수 있다.
임의의 실시예들은 사용자가 사운드가 분석되는 방법, 햅틱 이펙트들이 할당되는 방법, 및 햅틱 감각들이 출력되는 방법을 조절할 수 있는 우선권들을 제하도록 할 수 있다. 예를 들면, 햅틱 이펙트의 세기, 사운드 특징을 인식하기 위한 진폭의 최소 임계 레벨(예를 들면, 배경음악이 게임에서 더 잘 무시될 수 있도록 하는), 등등이다.
본 발명은 또한 게임들 이외의 다른 형태의 애플리케이션 프로그램들에서 사용될 수 있다. 예를 들면, 오디오를 스트리밍하는 사용자의 경험은 햅틱 감각들에 오디오 출력을 추가시킴으로써 증가될 수 있기 때문에 만약 사용자가 오디오 출력을 청취하는 동안 햅틱 디바이스와 접촉하는 경우, 음악 비트들, 지원되는 음색들,음성의 특징들 등과 같은 오디오 특징들은 사용자에 의해 햅틱으로 경험될 수 있다. 또한, 본 발명은 예를 들면 인터넷과 같은 네트워크를 통해 비디오를 스트리밍하여 출력되는 사운드 트랙과 함께 사용될 수 있다.
개시된 실시예의 전술된 설명은 당업자가 본 발명을 구현하고 이용하기에 용이하도록 하기 위하여 제공되었다. 이들 실시예에 대한 여러 가지 변형은 당 업자에게 자명하며, 여기서 한정된 포괄적인 원리는 본 발명의 사용 없이도 다른 실시예에 적용될 수 있다. 따라서, 본 발명은 설명된 실시예에 한정되는 것이 아니며, 여기에 개시된 원리 및 신규한 특징에 나타낸 가장 넓은 범위에 따른다.

Claims (28)

  1. 컴퓨터로부터 출력된 사운드에서 검출되는 사운드 특징들로부터 상기 컴퓨터와 통신시 햅틱 피드백 디바이스의 사용자에게 전달될 수 있는 햅틱 감각들을 트리거하기 위한 방법으로서,
    상기 컴퓨터를 구동하는 애플리케이션 프로그램으로부터 사용자에게 오디오로 출력되는 사운드 데이터의 일부분을 저장하는 단계 - 상기 사운드 데이터의 상기 부분은 상기 컴퓨터의 메모리 버퍼내에 저장되며 - ;
    상기 사운드 데이터의 상기 부분으로부터 적어도 하나의 사운드 특징을 추출하기 위해 지능적인 발견법들을 사용하여 상기 사운드 데이터의 상기 부분을 분석하는 단계; 및
    상기 적어도 하나의 사운드 특징에 기초하여 적어도 하나의 햅틱 이펙트의 실행을 트리거하는 단계 - 상기 적어도 하나의 햅틱 이펙트는 상기 사운드 데이터의 상기 부분이 상기 사용자에게 오디오로서 출력되는 상기 출력과 거의 상관된 상기 햅틱 피드백 디바이스에 명령되고, 상기 햅틱 이펙트는 햅틱 감각이 상기 사용자에게 출력되도록 하는 - 를 포함하는 방법.
  2. 제 1항에 있어서, 상기 사운드 데이터의 상기 부분을 분석하는 상기 분석 단계는 상기 사운드 데이터를 다수의 서로다른 주파수 범위들로 처리하는 단계 및 상기 주파수 범위들의 각각으로부터 상기 사운드 특징을 추출하는 단계를 포함하는것을 특징으로 하는 방법.
  3. 제 2항에 있어서, 상기 햅틱 이펙트는 상기 사운드 특징이 상기 주파수 범위내에 존재하는 경우 상기 주파수 범위들의 각각과 결합되는 것을 특징으로 하는 방법.
  4. 제 2항에 있어서, 상기 사운드 데이터를 상기 다수의 서로다른 주파수 범위들로 처리하는 상기 처리 단계는 다수의 필터들을 상기 사운드 데이터의 상기 부분에 적용시키는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제 4항에 있어서, 상기 적어도 하나의 저역 통과 필터, 적어도 하나의 고역 통과 필터, 및 적어도 하나의 대역 통과 필터는 적어도 3개의 주파수 범위들을 제공하도록 상기 사운드 데이터의 상기 부분에 적용되는 것을 특징으로 하는 방법.
  6. 제 2항에 있어서, 상기 사운드 데이터를 상기 다수의 서로다른 주파수 범위들로 처리하는 상기 처리 단계는 고속 푸리에 변환(FFT)을 사용하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제 6항에 있어서, 상기 고속 푸리에 변환으로부터의 다수의 출력들은 상기 각각의 주파수 범위들을 제공하도록 그룹화되는 것을 특징으로 하는 방법.
  8. 제 4항에 있어서, 상기 각각의 주파수 범위들은 서로다른 햅틱 감각과 결합되는 것을 특징으로 하는 방법.
  9. 제 8항에 있어서, 상기 각각의 주파수 범위들은 서로다른 주파수를 가지는 주기적인 햅틱 감각과 결합되는 것을 특징으로 하는 방법.
  10. 제 1항에 있어서, 상기 적어도 하나의 사운드 특징에 의해 트리거되는 상기 적어도 하나의 햅틱 이펙트는 이전에 상기 적어도 하나의 사운드 특징에 맵핑되었던 것을 특징으로 하는 방법.
  11. 컴퓨터에 의해 플레이되는 사운드 데이터를 기초로 하며 상기 컴퓨터와 통신시 햅틱 피드백 디바이스의 사용자에게 햅틱 감각들로서 출력될 수 있는 햅틱 이펙트들을 제공하기 위한 방법으로서,
    상기 컴퓨터를 구동하는 애플리케이션 프로그램으로부터 출력되는 상기 사운드 데이터의 일부분을 저장하는 단계 - 상기 사운드 데이터의 상기 부분은 상기 컴퓨터의 메모리 버퍼내에 저장되며 - ;
    상기 사운드 데이터의 상기 부분으로부터 적어도 하나의 상위 레벨 사운드 특징을 추출하기 위해 지능적인 발견법들을 사용하여 사운드 데이터의 상기 부분을 분석하는 단계 - 상기 사운드 데이터의 상기 부분에서 상기 적어도 하나의 상위 레벨 사운드 특징은 적어도 하나의 상위 레벨 햅틱 이펙트와 결합되며 - ; 및
    상기 결합된 사운드 특징들이 상기 애플리케이션에 의해 플레이될 때 상기 결합된 적어도 하나의 햅틱 이펙트들이 거의 출력되도록 명령하는 단계를 포함하는 방법.
  12. 제 11항에 있어서, 상기 사운드 데이터의 상기 부분을 분석하는 상기 분석 단계는 상기 사운드 데이터를 다수의 서로다른 주파수 범위들로 처리하는 단계 및 상기 주파수 범위들의 각각으로부터 상기 사운드 특징을 추출하는 단계를 포함하는 것을 특징으로 하는 방법.
  13. 제 12항에 있어서, 상기 햅틱 이펙트는 상기 사운드 특징을 가지는 상기 주파수 범위들의 각각과 결합되는 것을 특징으로 하는 방법.
  14. 제 12항에 있어서, 상기 사운드 데이터를 상기 다수의 서로다른 주파수 범위들로 처리하는 상기 처리 단계는 다수의 필터들을 상기 사운드 데이터의 상기 부분에 적용시키는 단계를 포함하는 것을 특징으로 하는 방법.
  15. 제 12항에 있어서, 상기 사운드 데이터를 상기 다수의 서로다른 주파수 범위들로 처리하는 상기 처리 단계는 고속 푸리에 변환(FFT)을 사용하는 단계를 포함하는 것을 특징으로 하는 방법.
  16. 제 15항에 있어서, 상기 고속 푸리에 변환으로부터의 다수의 출력들은 상기 각각의 주파수 범위들을 제공하도록 그룹화되는 것을 특징으로 하는 방법.
  17. 제 13항에 있어서, 상기 각각의 주파수 범위들은 서로다른 햅틱 이펙트와 결합되는 것을 특징으로 하는 방법.
  18. 제 17항에 있어서, 상기 주파수 범위들의 각각은 서로다른 주파수를 가지는 주기적인 햅틱 이펙트와 결합되는 것을 특징으로 하는 방법.
  19. 제 11항에 있어서, 상기 명령된 적어도 하나의 햅틱 이펙트는 상기 햅틱 피드백 디바이스에 의해 상기 사용자에게 햅틱 감각으로서 출력되는 것을 특징으로 하는 방법.
  20. 제 11항에 있어서, 상기 명령된 햅틱 이펙트는 상기 사용자에게 출력되지는 않지만 상기 컴퓨터의 메모리내에 생성된 햅틱 이펙트로서 저장되는 것을 특징으로 하는 방법.
  21. 컴퓨터로부터 햅틱 피드백 디바이스의 사용자로 출력되는 사운드와 상관된 햅틱 감각들을 상기 컴퓨터와 통신시 제공하기 위한 프로그램 지시들을 포함하는컴퓨터 판독가능한 매체로서, 상기 프로그램 지시들은,
    상기 컴퓨터를 구동하는 애플리케이션 프로그램으로부터 사용자에게 오디오로 출력되는 사운드 데이터의 일부분을 저장하는 단계 - 상기 사운드 데이터의 상기 부분은 상기 컴퓨터의 메모리 버퍼내에 저장되며 - ;
    상기 사운드 데이터의 상기 부분으로부터 적어도 하나의 사운드 특징을 추출하기 위해 상기 사운드 데이터의 상기 부분을 분석하는 단계 ; 및
    적어도 하나의 햅틱 이펙트를 상기 적어도 하나의 사운드 특징에 할당하는 단계 - 상기 적어도 하나의 햅틱 이펙트는 상기 사운드의 상기 부분들이 상기 사용자에게 오디오로 출력되는 상기 출력동안 거의 상기 햅틱 피드백 디바이스에게 명령되며, 상기 햅틱 이펙트는 햅틱 감각이 상기 사용자에게 출력되도록 하며 - 를 포함하는 프로그램 지시들을 포함하는 컴퓨터 판독가능한 매체.
  22. 제 21항에 있어서, 상기 사운드 데이터의 상기 부분을 분석하는 상기 분석 단계는 상기 사운드 데이터를 다수의 서로다른 주파수 범위들로 처리하는 단계 및 상기 주파수 범위들의 각각으로부터 상기 사운드 특징을 추출하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독가능한 매체.
  23. 제 22항에 있어서, 상기 햅틱 이펙트는 만약 상기 사운드 특징이 상기 주파수 범위내에 존재하는 경우 상기 주파수 범위의 각각과 결합되는 것을 특징으로 하는 컴퓨터 판독가능한 매체.
  24. 제 22항에 있어서, 상기 사운드 데이터를 상기 다수의 서로다른 주파수 범위들로 처리하는 상기 처리 단계는 다수의 필터들을 상기 사운드 데이터의 상기 부분에 적용시키는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독가능한 매체.
  25. 제 22항에 있어서, 상기 사운드 데이터를 상기 다수의 서로다른 주파수 범위들로 처리하는 상기 처리 단계는 고속 푸리에 변환(FFT)을 사용하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독가능한 매체.
  26. 제 24항에 있어서, 상기 각각의 주파수 범위들은 서로다른 햅틱 감각과 결합되는 것을 특징으로 하는 컴퓨터 판독가능한 매체.
  27. 제 21항에 있어서, 상기 햅틱 피드백 디바이스에 명령된 상기 적어도 하나의 햅틱 이펙트는 이전에 상기 적어도 하나의 사운드 특징에 맵핑되었던 것을 특징으로 하는 컴퓨터 판독가능한 매체.
  28. 컴퓨터로부터 출력된 사운드에서 검출되는 사운드 특징들로부터 상기 컴퓨터와 통신시 햅틱 피드백 디바이스의 사용자에게 전달될 수 있는 햅틱 감각들을 트리거하기 위한 장치로서,
    상기 컴퓨터를 구동하는 애플리케이션 프로그램으로부터 사용자에게 오디오로 출력되는 사운드 데이터의 일부분을 저장하기 위한 수단 - 상기 사운드 데이터의 상기 부분은 상기 컴퓨터의 메모리 버퍼내에 저장되며 - ;
    상기 사운드 데이터의 상기 부분으로부터 적어도 하나의 사운드 특징을 추출하기 위해 지능적인 발견법들을 사용하여 상기 사운드 데이터의 상기 부분을 분석하기 위한 수단; 및
    상기 적어도 하나의 사운드 특징에 기초하여 적어도 하나의 햅틱 이펙트의 실행을 트리거하기 위한 수단 - 상기 적어도 하나의 햅틱 이펙트는 상기 사운드 데이터의 상기 부분의 상기 사용자에게 오디오로서 출력되는 상기 출력과 거의 상관된 상기 햅틱 피드백 디바이스에 명령되고, 상기 햅틱 이펙트는 햅틱 감각이 상기 사용자에게 출력되도록 하는 - 를 포함하는 장치.
KR1020047005145A 2001-10-09 2002-10-08 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들 KR100925293B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/974,759 2001-10-09
US09/974,759 US7623114B2 (en) 2001-10-09 2001-10-09 Haptic feedback sensations based on audio output from computer devices
PCT/US2002/031979 WO2003032289A1 (en) 2001-10-09 2002-10-08 Haptic feedback sensations based on audio output from computer devices

Publications (2)

Publication Number Publication Date
KR20040062559A true KR20040062559A (ko) 2004-07-07
KR100925293B1 KR100925293B1 (ko) 2009-11-04

Family

ID=25522407

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047005145A KR100925293B1 (ko) 2001-10-09 2002-10-08 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들

Country Status (8)

Country Link
US (3) US7623114B2 (ko)
EP (1) EP1438706B1 (ko)
JP (2) JP2005506613A (ko)
KR (1) KR100925293B1 (ko)
CN (2) CN100445930C (ko)
AT (1) ATE400032T1 (ko)
DE (1) DE60227398D1 (ko)
WO (1) WO2003032289A1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100891120B1 (ko) * 2008-09-01 2009-04-03 그로위드(주) 전기/전자기기의 감각소자 구동 및 제어용 패턴 파일 형성 방법과 패턴 파일을 이용한 전기/전자기기의 감각소자 구동 및 제어장치
KR20100124324A (ko) * 2008-03-12 2010-11-26 임머숀 코퍼레이션 햅틱으로 인에이블된 사용자 인터페이스
KR20120094849A (ko) * 2011-02-11 2012-08-27 임머숀 코퍼레이션 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템
KR20130090299A (ko) * 2012-02-03 2013-08-13 임머숀 코퍼레이션 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
KR101427993B1 (ko) * 2012-12-17 2014-08-08 포항공과대학교 산학협력단 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치
KR20140113390A (ko) * 2013-03-14 2014-09-24 임머숀 코퍼레이션 그룹 이벤트동안 방송되는 햅틱 효과
KR20140117958A (ko) * 2013-03-27 2014-10-08 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
KR20150028737A (ko) * 2013-09-06 2015-03-16 임머숀 코퍼레이션 주파수 천이를 사용한 햅틱 변환 시스템
KR20200017719A (ko) * 2018-08-09 2020-02-19 김정욱 음원 기반의 진동패턴 생성장치
KR20200101040A (ko) * 2019-02-19 2020-08-27 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치

Families Citing this family (250)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7091948B2 (en) * 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6822635B2 (en) 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US7877243B2 (en) * 2001-07-16 2011-01-25 Immersion Corporation Pivotable computer interface
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US7369115B2 (en) * 2002-04-25 2008-05-06 Immersion Corporation Haptic devices having multiple operational modes including at least one resonant mode
US8830161B2 (en) * 2002-12-08 2014-09-09 Immersion Corporation Methods and systems for providing a virtual touch haptic effect to handheld communication devices
US8059088B2 (en) * 2002-12-08 2011-11-15 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices
AU2003293449A1 (en) 2002-12-08 2004-06-30 Immersion Corporation Methods and systems for providing a virtual touch haptic effect to handheld communication devices
US8841847B2 (en) 2003-01-17 2014-09-23 Motorola Mobility Llc Electronic device for controlling lighting effects using an audio file
US8008561B2 (en) * 2003-01-17 2011-08-30 Motorola Mobility, Inc. Audio file format with mapped lighting effects and method for controlling lighting effects using an audio file format
JP4310127B2 (ja) * 2003-04-14 2009-08-05 アルプス電気株式会社 力覚付与型入力装置
JP4713070B2 (ja) * 2003-08-26 2011-06-29 ヤマハ株式会社 ポインティングデバイス
US7966034B2 (en) * 2003-09-30 2011-06-21 Sony Ericsson Mobile Communications Ab Method and apparatus of synchronizing complementary multi-media effects in a wireless communication device
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
US7982711B2 (en) * 2003-12-19 2011-07-19 Immersion Corporation Haptic profiling system and method
US7742036B2 (en) * 2003-12-22 2010-06-22 Immersion Corporation System and method for controlling haptic devices having multiple operational modes
US7791588B2 (en) * 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US20080111408A1 (en) * 2004-02-03 2008-05-15 Raymond Jamie Duran Video Game Chair
US20070257530A1 (en) * 2006-05-08 2007-11-08 Florez Richard E Video game chair
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US8115091B2 (en) * 2004-07-16 2012-02-14 Motorola Mobility, Inc. Method and device for controlling vibrational and light effects using instrument definitions in an audio file format
US20060017691A1 (en) * 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
CN100585546C (zh) * 2004-08-02 2010-01-27 皇家飞利浦电子股份有限公司 数据处理系统、压力敏感触摸屏以及便于用户与数据处理系统相互作用的方法
US20110191674A1 (en) * 2004-08-06 2011-08-04 Sensable Technologies, Inc. Virtual musical interface in a haptic virtual environment
US20100312129A1 (en) 2005-01-26 2010-12-09 Schecter Stuart O Cardiovascular haptic handle system
WO2007030603A2 (en) 2005-09-08 2007-03-15 Wms Gaming Inc. Gaming machine having display with sensory feedback
US8700791B2 (en) 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
WO2007117418A2 (en) 2006-03-31 2007-10-18 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
CN104063056B (zh) * 2006-04-06 2018-04-20 意美森公司 用于增强的触觉效果的系统和方法
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
WO2008054856A2 (en) * 2006-04-14 2008-05-08 The Regents Of The University California Novel enhanced haptic feedback processes and products for robotic surgical prosthetics
EP2064914A1 (en) 2006-08-24 2009-06-03 Koninklijke Philips Electronics N.V. Device for and method of processing an audio signal and/or a video signal to generate haptic excitation
KR20080029676A (ko) * 2006-09-29 2008-04-03 한국전자통신연구원 접촉 감각 정보 제공 장치
EP1936929A1 (en) * 2006-12-21 2008-06-25 Samsung Electronics Co., Ltd Haptic generation method and system for mobile phone
US8098234B2 (en) * 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
WO2008151642A1 (en) * 2007-06-12 2008-12-18 Nokia Corporation Directing shoe insole
CN101795654B (zh) * 2007-06-18 2014-10-01 布洛克·塞勒尔 震动鞋装置及应用该震动鞋装置的娱乐系统
JP4931240B2 (ja) * 2007-09-13 2012-05-16 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像の認識を支援するシステム
US8073676B2 (en) * 2007-09-21 2011-12-06 Sony Computer Entertainment Inc. Method and apparatus for emulation enhancement
US20090079690A1 (en) * 2007-09-21 2009-03-26 Sony Computer Entertainment America Inc. Method and apparatus for enhancing entertainment software through haptic insertion
US20090088220A1 (en) * 2007-10-01 2009-04-02 Sony Ericsson Mobile Communications Ab Cellular terminals and other electronic devices and methods using electroactive polymer transducer indicators
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
KR100930835B1 (ko) * 2008-01-29 2009-12-10 한국과학기술원 음향 재생 장치
EP2274668B1 (en) * 2008-03-27 2011-12-07 Cryptera A/S A secure keypad system
US20090259359A1 (en) * 2008-04-09 2009-10-15 David Michael Whitton Variable intensity haptic level control based on vehicle conditions
EP2741177B1 (en) 2008-07-15 2019-06-26 Immersion Corporation Systems and Methods for Transmitting Haptic Messages
CN102159290B (zh) * 2008-08-11 2015-03-25 意美森公司 一种用于音乐游戏的触觉感知游戏外设
US7969287B2 (en) * 2008-08-18 2011-06-28 Visteon Global Technologies, Inc. Haptic effect control system
US9639187B2 (en) * 2008-09-22 2017-05-02 Apple Inc. Using vibration to determine the motion of an input device
US8749495B2 (en) * 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
US9400555B2 (en) * 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
EP2353066A4 (en) * 2008-11-04 2014-10-15 Bayer Ip Gmbh ELECTRO-ACTIVE POLYMER TRANSDUCERS FOR TOUCH FEEDBACK DEVICES
GB2466242B (en) * 2008-12-15 2013-01-02 Audio Analytic Ltd Sound identification systems
WO2010118313A1 (en) * 2009-04-10 2010-10-14 Immerz Inc. Systems and methods for acousto-haptic speakers
US20110063218A1 (en) * 2009-09-15 2011-03-17 International Business Machines Corporation Embedded omni-directional pointer component for limited form factor computing devices
US8605053B2 (en) * 2009-12-02 2013-12-10 Analog Devices, Inc. Method and device for detecting user input
KR20110074333A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 휴대 단말의 진동 발생 방법 및 장치
US20110248930A1 (en) * 2010-04-08 2011-10-13 Research In Motion Limited Portable electronic device and method of controlling same to provide tactile feedback
US20130069871A1 (en) * 2010-06-03 2013-03-21 B-K Medical Aps Control device
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US9058728B2 (en) 2010-11-05 2015-06-16 Georgia Tech Research Corporation Haptic systems, devices, and methods using transmission of pressure through a flexible medium
US11314344B2 (en) * 2010-12-03 2022-04-26 Razer (Asia-Pacific) Pte. Ltd. Haptic ecosystem
US9448626B2 (en) * 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8942828B1 (en) 2011-04-13 2015-01-27 Stuart Schecter, LLC Minimally invasive cardiovascular support system with true haptic coupling
CN102208138A (zh) * 2011-05-23 2011-10-05 南京航空航天大学 基于纹理触觉再现的学习和认知系统
US9058714B2 (en) 2011-05-23 2015-06-16 Wms Gaming Inc. Wagering game systems, wagering gaming machines, and wagering gaming chairs having haptic and thermal feedback
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US9142083B2 (en) 2011-06-13 2015-09-22 Bally Gaming, Inc. Convertible gaming chairs and wagering game systems and machines with a convertible gaming chair
CN102843334A (zh) * 2011-06-20 2012-12-26 华为技术有限公司 在线应用的交互方法、服务器、客户端设备和系统
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
JP6541292B2 (ja) * 2012-02-15 2019-07-10 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ プリミティブを用いた高解像度ハプティック効果生成
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US10013082B2 (en) 2012-06-05 2018-07-03 Stuart Schecter, LLC Operating system with haptic interface for minimally invasive, hand-held surgical instrument
US9063570B2 (en) * 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system
US9030428B2 (en) * 2012-07-11 2015-05-12 Immersion Corporation Generating haptic effects for dynamic events
CA2882453C (en) 2012-08-27 2021-07-20 Universite Du Quebec A Chicoutimi Method to determine physical properties of the ground, foot-worn sensor therefore, and method to advise a user of a risk of falling based thereon
US9116546B2 (en) * 2012-08-29 2015-08-25 Immersion Corporation System for haptically representing sensor input
US9368005B2 (en) * 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
CN102929386B (zh) * 2012-09-16 2019-01-25 吴东辉 一种动感重现虚拟现实的方法及系统
US9092059B2 (en) * 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
DE102012223007A1 (de) * 2012-12-13 2014-06-18 Hilti Aktiengesellschaft Handgeführtes oder halbstationäres Werkzeuggerät und Verfahren zum Betreiben eines derartigen Werkzeuggeräts
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US8754757B1 (en) * 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9866924B2 (en) 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9274603B2 (en) * 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
DE112014002643T5 (de) 2013-05-30 2016-04-28 Nextinput, Inc. Multi-dimensionales Trackpad
TWI557596B (zh) 2013-08-19 2016-11-11 瑞昱半導體股份有限公司 具有觸感補償功能之音訊裝置及音訊使用方法
US9898085B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9898086B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9401079B2 (en) * 2013-09-06 2016-07-26 Immersion Corporation Method and apparatus of converting control tracks for providing haptic feedback
US9576445B2 (en) * 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US10162416B2 (en) * 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9711014B2 (en) * 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
DE112014004632T5 (de) 2013-10-08 2016-07-28 Tk Holdings Inc. Systeme und Verfahren zum Verriegeln eines mit der erkannten Berührungsposition in einem kraftbasierten Touchscreen verknüpften Eingabebereichs
US10328344B2 (en) * 2013-10-11 2019-06-25 Valve Corporation Game controller systems and methods
US9783137B2 (en) * 2013-10-30 2017-10-10 Powervoice Co., Ltd. Sound QR system for vehicular services
US9619029B2 (en) * 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9349378B2 (en) * 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US9671826B2 (en) * 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
US10437341B2 (en) 2014-01-16 2019-10-08 Immersion Corporation Systems and methods for user generated content authoring
FR3017220B1 (fr) * 2014-01-31 2017-11-03 Dav Dispositif de retour sensitif pour vehicule automobile et procede de generation d'un retour sensitif
JP2015166890A (ja) * 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2015170174A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
JP6322830B2 (ja) 2014-05-09 2018-05-16 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
JP6295342B2 (ja) * 2014-05-09 2018-03-14 株式会社ソニー・インタラクティブエンタテインメント 疑似ホワイトノイズを使用した音声信号に制御信号を埋め込むスキーム
US9928728B2 (en) 2014-05-09 2018-03-27 Sony Interactive Entertainment Inc. Scheme for embedding a control signal in an audio signal using pseudo white noise
US9330547B2 (en) * 2014-05-20 2016-05-03 Immersion Corporation Haptic effect authoring tool based on a haptification model
JP6327417B2 (ja) * 2014-05-30 2018-05-23 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US9613506B2 (en) * 2014-05-30 2017-04-04 Apple Inc. Synchronization of independent output streams
US9913033B2 (en) 2014-05-30 2018-03-06 Apple Inc. Synchronization of independent output streams
JP2015231098A (ja) * 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法
US10139907B2 (en) * 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
WO2016007426A1 (en) * 2014-07-07 2016-01-14 Immersion Corporation Second screen haptics
KR101641418B1 (ko) * 2014-07-25 2016-07-20 포항공과대학교 산학협력단 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치
JP6441612B2 (ja) * 2014-08-26 2018-12-19 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラム及び情報処理方法
JP6357387B2 (ja) 2014-08-26 2018-07-11 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラム及び情報処理方法
JP2016045848A (ja) 2014-08-26 2016-04-04 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラム及び情報処理方法
US10186138B2 (en) 2014-09-02 2019-01-22 Apple Inc. Providing priming cues to a user of an electronic device
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
US10466826B2 (en) 2014-10-08 2019-11-05 Joyson Safety Systems Acquisition Llc Systems and methods for illuminating a track pad system
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9812165B2 (en) 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
EP3037918A1 (en) * 2014-12-23 2016-06-29 Thomson Licensing System and method for localizing haptic effects on a body
US9466188B2 (en) * 2014-12-24 2016-10-11 Immersion Corporation Systems and methods for haptically-enabled alarms
JP6761225B2 (ja) * 2014-12-26 2020-09-23 和俊 尾花 手持ち型情報処理装置
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
EP3916525A1 (en) 2015-02-20 2021-12-01 Ultrahaptics IP Limited Perceptions in a haptic system
ES2908299T3 (es) 2015-02-20 2022-04-28 Ultrahaptics Ip Ltd Mejoras del algoritmo en un sistema háptico
US10613629B2 (en) 2015-03-27 2020-04-07 Chad Laurendeau System and method for force feedback interface devices
CN107667334B (zh) * 2015-06-03 2021-07-06 雷蛇(亚太)私人有限公司 触觉装置及控制触觉装置的方法
KR20170000845A (ko) 2015-06-24 2017-01-04 희성전자 주식회사 다방향 작업이 가능한 작업설비
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
US9967640B2 (en) * 2015-08-20 2018-05-08 Bodyrocks Audio Incorporation Devices, systems, and methods for vibrationally sensing audio
US9990815B2 (en) 2016-02-18 2018-06-05 Immersion Corporation Wearable haptic effects with permissions settings
CN105807868A (zh) * 2016-04-25 2016-07-27 王明 一种靓声大功率合并式电脑
JP6371328B2 (ja) * 2016-05-11 2018-08-08 本田技研工業株式会社 能動型効果音発生装置
KR101790892B1 (ko) * 2016-05-17 2017-10-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
WO2018017210A1 (en) 2016-07-22 2018-01-25 Harman International Industries, Incorporated Haptic guidance system
US10699538B2 (en) * 2016-07-27 2020-06-30 Neosensory, Inc. Method and system for determining and providing sensory experiences
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
JP6401758B2 (ja) * 2016-08-25 2018-10-10 株式会社ファセテラピー 触質コンテンツ生成装置、触質コンテンツ生成方法および触質コンテンツ利用機器
US10198076B2 (en) 2016-09-06 2019-02-05 Neosensory, Inc. Method and system for providing adjunct sensory information to a user
US10373452B2 (en) * 2016-11-29 2019-08-06 Immersion Corporation Targeted haptic projection
KR102669181B1 (ko) * 2016-11-30 2024-05-27 삼성전자주식회사 햅틱 신호 생성 방법 및 이를 지원하는 전자 장치
US10427039B2 (en) 2016-12-08 2019-10-01 Immersion Corporation Haptic surround functionality
US10943578B2 (en) 2016-12-13 2021-03-09 Ultrahaptics Ip Ltd Driving techniques for phased-array systems
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
CN106774891A (zh) * 2016-12-15 2017-05-31 北京小鸟看看科技有限公司 虚拟现实场景的音效产生方法、设备及虚拟现实设备
US10943503B2 (en) 2017-04-17 2021-03-09 Facebook, Inc. Envelope encoding of speech signals for transmission to cutaneous actuators
US10744058B2 (en) * 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
US10371544B2 (en) 2017-05-04 2019-08-06 Wearworks Vibrating haptic device for the blind
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
CN110709802B (zh) * 2017-06-27 2024-01-30 福特全球技术公司 触觉装置操作
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US20190041987A1 (en) 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
CN107464572B (zh) * 2017-08-16 2020-10-16 重庆科技学院 多模式交互音乐感知系统及其控制方法
KR102443324B1 (ko) * 2017-09-15 2022-09-14 풔스 디멘션 에스에이알엘 진동-촉각력 피드백 방법 및 디바이스
KR102518400B1 (ko) * 2017-11-22 2023-04-06 삼성전자주식회사 진동을 제공하는 방법 및 이를 지원하는 전자 장치
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
US11360546B2 (en) 2017-12-22 2022-06-14 Ultrahaptics Ip Ltd Tracking in haptic systems
EP3729418A1 (en) 2017-12-22 2020-10-28 Ultrahaptics Ip Ltd Minimizing unwanted responses in haptic systems
WO2019129427A1 (en) * 2017-12-25 2019-07-04 Arcelik Anonim Sirketi A system and a method for generating bass effect
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10572016B2 (en) 2018-03-06 2020-02-25 Microsoft Technology Licensing, Llc Spatialized haptic device force feedback
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
SG11202010752VA (en) 2018-05-02 2020-11-27 Ultrahaptics Ip Ltd Blocking plate structure for improved acoustic transmission efficiency
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US20210275905A1 (en) * 2018-07-10 2021-09-09 Sony Interactive Entertainment Inc. Controller apparatus and control method thereof
CN110719540A (zh) * 2018-07-12 2020-01-21 惠州迪芬尼声学科技股份有限公司 利用轨迹球调控均衡器的方法以及具有轨迹球的声音输出装置
CN109246554B (zh) * 2018-08-08 2021-02-09 瑞声科技(新加坡)有限公司 终端及其振动器的调控方法
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
US11098951B2 (en) 2018-09-09 2021-08-24 Ultrahaptics Ip Ltd Ultrasonic-assisted liquid manipulation
EP3847529A1 (en) * 2018-09-09 2021-07-14 Ultrahaptics IP Limited Event triggering in phased-array systems
US10800433B2 (en) 2018-09-14 2020-10-13 Honda Motor Co., Ltd. Seat haptic system and method of equalizing haptic output
US11378997B2 (en) 2018-10-12 2022-07-05 Ultrahaptics Ip Ltd Variable phase and frequency pulse-width modulation technique
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
GB2578454A (en) * 2018-10-28 2020-05-13 Cambridge Mechatronics Ltd Haptic feedback generation
EP3650956A1 (fr) * 2018-11-07 2020-05-13 Tissot S.A. Procede de diffusion d'un signal acoustique
CN109999488A (zh) * 2018-12-29 2019-07-12 瑞声科技(新加坡)有限公司 一种振动方法、终端及存储介质
WO2020141330A2 (en) 2019-01-04 2020-07-09 Ultrahaptics Ip Ltd Mid-air haptic textures
US11533557B2 (en) 2019-01-22 2022-12-20 Universal City Studios Llc Ride vehicle with directional speakers and haptic devices
JP7253183B2 (ja) * 2019-02-18 2023-04-06 株式会社東海理化電機製作所 制御装置およびプログラム
CN109947248A (zh) * 2019-03-14 2019-06-28 努比亚技术有限公司 振动控制方法、移动终端及计算机可读存储介质
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
EP3938867A4 (en) * 2019-04-26 2022-10-26 Hewlett-Packard Development Company, L.P. SPATIAL AUDIO AND HAPTICS
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
CN114008569A (zh) 2019-06-21 2022-02-01 思睿逻辑国际半导体有限公司 用于在装置上配置多个虚拟按钮的方法和设备
US11853479B2 (en) * 2019-09-16 2023-12-26 Jonah B Saunders Haptic garment
WO2021062276A1 (en) 2019-09-25 2021-04-01 Neosensory, Inc. System and method for haptic stimulation
US11374586B2 (en) 2019-10-13 2022-06-28 Ultraleap Limited Reducing harmonic distortion by dithering
CA3154040A1 (en) 2019-10-13 2021-04-22 Benjamin John Oliver LONG Dynamic capping with virtual microphones
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
WO2021138077A1 (en) 2019-12-30 2021-07-08 Joyson Safety Systems Acquisition Llc Systems and methods for intelligent waveform interruption
KR102286822B1 (ko) * 2020-01-06 2021-08-06 김수영 음향을 촉각 효과로 변환하는 시스템 및 방법
US11079854B2 (en) 2020-01-07 2021-08-03 Neosensory, Inc. Method and system for haptic stimulation
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN111610856B (zh) * 2020-04-30 2024-04-26 北京小米移动软件有限公司 震动反馈方法、震动反馈装置及存储介质
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
CN114205700A (zh) * 2020-09-17 2022-03-18 迪芬尼声学科技股份有限公司 耳机设备及其触觉反馈方法
WO2022058738A1 (en) 2020-09-17 2022-03-24 Ultraleap Limited Ultrahapticons
CN112083807B (zh) * 2020-09-20 2021-10-29 吉林大学 一种基于音触转换的足部地形触觉再现方法及装置
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
CN112506341B (zh) * 2020-12-01 2022-05-03 瑞声新能源发展(常州)有限公司科教城分公司 一种振动效果的生成方法、装置、终端设备及存储介质
JP2022097227A (ja) * 2020-12-18 2022-06-30 株式会社Ｊｖｃケンウッド 情報提供装置、情報提供方法、およびプログラム
KR102457452B1 (ko) * 2020-12-21 2022-10-21 신성호 촉감 발생 장치 및 그 구동 방법
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
CN115877945A (zh) * 2021-09-30 2023-03-31 株式会社电装天 信息处理装置、信息处理系统和信息处理方法
US11995240B2 (en) 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
CN114995638A (zh) * 2022-05-12 2022-09-02 北京有竹居网络技术有限公司 触觉信号生成方法、装置、可读介质及电子设备
US20240115937A1 (en) * 2022-10-11 2024-04-11 Sony Interactive Entertainment Inc. Haptic asset generation for eccentric rotating mass (erm) from low frequency audio content

Family Cites Families (269)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3157853A (en) 1957-12-06 1964-11-17 Hirsch Joseph Tactile communication system
US2972140A (en) 1958-09-23 1961-02-14 Hirsch Joseph Apparatus and method for communication through the sense of touch
GB958325A (en) 1962-07-08 1964-05-21 Communications Patents Ltd Improvements in or relating to ground-based flight training or simulating apparatus
US3623046A (en) 1965-10-05 1971-11-23 Lynch Corp Transducer system
US3497668A (en) 1966-08-25 1970-02-24 Joseph Hirsch Tactile control system
US3517446A (en) 1967-04-19 1970-06-30 Singer General Precision Vehicle trainer controls and control loading
US3623064A (en) 1968-10-11 1971-11-23 Bell & Howell Co Paging receiver having cycling eccentric mass
US3903614A (en) 1970-03-27 1975-09-09 Singer Co Apparatus for simulating aircraft control loading
US3765624A (en) 1971-09-29 1973-10-16 Us Navy Fluidically augmented variable gain artificial feel system
JPS4990914U (ko) 1972-11-25 1974-08-07
JPS5240841B2 (ko) * 1972-12-28 1977-10-14
JPS49118401U (ko) 1973-02-07 1974-10-09
JPS49118401A (ko) * 1973-03-12 1974-11-12
US3902687A (en) 1973-06-25 1975-09-02 Robert E Hightower Aircraft indicator system
JPS5245921Y2 (ko) 1973-06-30 1977-10-19
JPS57511B2 (ko) * 1973-07-05 1982-01-06
US3911416A (en) 1974-08-05 1975-10-07 Motorola Inc Silent call pager
JPS51123017A (en) * 1975-04-18 1976-10-27 Matsushita Electric Ind Co Ltd Voice responce indecator
US4081829A (en) * 1976-08-23 1978-03-28 Atari, Inc. Audio activated video display
US4160508A (en) 1977-08-19 1979-07-10 Nasa Controller arm for a remotely related slave arm
JPS6022805B2 (ja) 1977-08-23 1985-06-04 オリンパス光学工業株式会社 拘束解除用電磁石装置
US4127752A (en) 1977-10-13 1978-11-28 Sheldahl, Inc. Tactile touch switch panel
JPS54116618A (en) 1978-03-02 1979-09-11 Ricoh Co Ltd Step motor driving control system
US4262549A (en) 1978-05-10 1981-04-21 Schwellenbach Donald D Variable mechanical vibrator
US4236325A (en) 1978-12-26 1980-12-02 The Singer Company Simulator control loading inertia compensator
US4334280A (en) 1980-06-09 1982-06-08 Texas Instruments Incorporated System and method for providing an audible sound and a tactile feedback in an electronic data processing system
US4355348A (en) * 1980-07-30 1982-10-19 Williams Theodore R Audio signal responsive optical display
US4464117A (en) 1980-08-27 1984-08-07 Dr. Ing. Reiner Foerst Gmbh Driving simulator apparatus
US4333070A (en) 1981-02-06 1982-06-01 Barnes Robert W Motor vehicle fuel-waste indicator
US4382217A (en) 1981-05-15 1983-05-03 Gould Inc. Starting control circuit for an A.C. motor
US4599070A (en) 1981-07-29 1986-07-08 Control Interface Company Limited Aircraft simulator and simulated control system therefor
JPS5829754U (ja) 1981-08-21 1983-02-26 日立金属株式会社 ドアロツク用アクチユエ−タ
DE3380420D1 (en) 1982-01-22 1989-09-21 British Aerospace Control apparatus
US4484191A (en) 1982-06-14 1984-11-20 Vavra George S Tactile signaling systems for aircraft
US4937685A (en) 1983-12-02 1990-06-26 Lex Computer And Management Corporation Method of display presentation for video editing
US4581491A (en) 1984-05-04 1986-04-08 Research Corporation Wearable tactile sensory aid providing information on voice pitch and intonation patterns
US4935728A (en) 1985-01-02 1990-06-19 Altra Corporation Computer control
US5078152A (en) 1985-06-23 1992-01-07 Loredan Biomedical, Inc. Method for diagnosis and/or training of proprioceptor feedback capabilities in a muscle and joint system of a human patient
GB2179775B (en) 1985-08-30 1989-01-25 Unisys Corp Tactile alarm system for gaining the attention of an individual
US4713007A (en) 1985-10-11 1987-12-15 Alban Eugene P Aircraft controls simulator
US5275174B1 (en) 1985-10-30 1998-08-04 Jonathan A Cook Repetitive strain injury assessment
NL8503096A (nl) 1985-11-11 1987-06-01 Fokker Bv Simulator van mechanische eigenschappen van een besturingssysteem.
US4891764A (en) 1985-12-06 1990-01-02 Tensor Development Inc. Program controlled force measurement and control system
US4934694A (en) 1985-12-06 1990-06-19 Mcintosh James L Computer controlled exercise system
US5195179A (en) 1986-01-29 1993-03-16 Hitachi, Ltd. Coordinate input apparatus
US4768412A (en) 1986-05-09 1988-09-06 Sanderson Stephen N Low profile keyboard device and system for recording and scoring music
US4897582A (en) 1987-01-06 1990-01-30 Harris Corp. Linear dc motor vibration controller
US4794392A (en) 1987-02-20 1988-12-27 Motorola, Inc. Vibrator alert device for a communication receiver
JPS6443398U (ko) * 1987-09-10 1989-03-15
US5038089A (en) 1988-03-23 1991-08-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Synchronized computational architecture for generalized bilateral control of robot arms
US4885565A (en) 1988-06-01 1989-12-05 General Motors Corporation Touchscreen CRT with tactile feedback
NL8801653A (nl) 1988-06-29 1990-01-16 Stork Kwant Bv Besturingsstelsel.
US4930770A (en) 1988-12-01 1990-06-05 Baker Norman A Eccentrically loaded computerized positive/negative exercise machine
US4933584A (en) 1988-12-22 1990-06-12 General Electric Company Electronically commutated motor having skewed magnetics
JPH02185278A (ja) 1989-01-12 1990-07-19 Taito Corp 光線銃射撃ゲーム装置
US5186695A (en) 1989-02-03 1993-02-16 Loredan Biomedical, Inc. Apparatus for controlled exercise and diagnosis of human performance
US5019761A (en) 1989-02-21 1991-05-28 Kraft Brett W Force feedback control for backhoe
KR930010167B1 (ko) 1989-03-31 1993-10-15 샤프 가부시끼가이샤 신호 발생회로 및 이 회로를 이용한 컴프레서 제어장치
JPH0633752Y2 (ja) * 1989-11-24 1994-08-31 サンデン株式会社 振動装置
US5022407A (en) 1990-01-24 1991-06-11 Topical Testing, Inc. Apparatus for automated tactile testing
JPH03292524A (ja) 1990-04-11 1991-12-24 Oki Electric Ind Co Ltd カーソル移動方式
US5035242A (en) 1990-04-16 1991-07-30 David Franklin Method and apparatus for sound responsive tactile stimulation of deaf individuals
JPH0685820B2 (ja) 1990-04-25 1994-11-02 株式会社エポック社 体感ゲーム機
US5022384A (en) 1990-05-14 1991-06-11 Capitol Systems Vibrating/massage chair
JPH04230798A (ja) * 1990-05-28 1992-08-19 Matsushita Electric Ind Co Ltd 雑音予測装置
US5547382A (en) 1990-06-28 1996-08-20 Honda Giken Kogyo Kabushiki Kaisha Riding simulation system for motorcycles
US5165897A (en) 1990-08-10 1992-11-24 Tini Alloy Company Programmable tactile stimulator array system and method of operation
US5264836A (en) 1991-01-15 1993-11-23 Apple Computer, Inc. Three dimensional cursor
US5212473A (en) 1991-02-21 1993-05-18 Typeright Keyboard Corp. Membrane keyboard and method of using same
US5334027A (en) 1991-02-25 1994-08-02 Terry Wherlock Big game fish training and exercise device and method
US5194786A (en) 1991-02-27 1993-03-16 Kollmorgen Corporation Linear current source amplifier for brushless dc motor
US5240417A (en) 1991-03-14 1993-08-31 Atari Games Corporation System and method for bicycle riding simulation
EP0580729B1 (en) 1991-03-21 1996-07-10 Atari Games Corporation Vehicle simulator including cross-network feedback
US5203563A (en) 1991-03-21 1993-04-20 Atari Games Corporation Shaker control device
US5524187A (en) 1991-03-25 1996-06-04 The Trustees Of Columbia University Worlds-within-worlds nested display and interaction system and method
US5351412A (en) 1991-06-11 1994-10-04 International Business Machines Corporation Micro positioning device
US5388992A (en) 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
CA2113344A1 (en) 1991-07-12 1993-01-21 Phillip Raymond Michael Denne Electromagnetic apparatus for producing linear motion
US5321762A (en) 1991-08-05 1994-06-14 Aura Systems, Inc. Voice coil actuator
US5175459A (en) 1991-08-19 1992-12-29 Motorola, Inc. Low profile vibratory alerting device
US5186629A (en) 1991-08-22 1993-02-16 International Business Machines Corporation Virtual graphics display capable of presenting icons and windows to the blind computer user and method
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5271290A (en) 1991-10-29 1993-12-21 United Kingdom Atomic Energy Authority Actuator assembly
US5309140A (en) 1991-11-26 1994-05-03 The United States Of America As Represented By The Secretary Of The Navy Feedback system for remotely operated vehicles
US5471571A (en) 1991-12-27 1995-11-28 Xerox Corporation Method and apparatus for setting a graphical object's position and orientation with viscous dragging
JPH05192449A (ja) 1992-01-20 1993-08-03 Taito Corp ビデオ式銃撃戦ゲーム装置及びその装置を制御する方法
FR2688105B1 (fr) 1992-02-28 1994-05-06 Moving Magnet Technologies Sa Actionneur rotatif electromagnetique monophase de course entre 60 et 120 degres.
US5999185A (en) 1992-03-30 1999-12-07 Kabushiki Kaisha Toshiba Virtual reality control using image, model and control data to manipulate interactions
US5757358A (en) 1992-03-31 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback
US5189355A (en) 1992-04-10 1993-02-23 Ampex Corporation Interactive rotary controller system with tactile feedback
JP2677315B2 (ja) 1992-04-27 1997-11-17 株式会社トミー 運転玩具
US5245245A (en) 1992-05-04 1993-09-14 Motorola, Inc. Mass-loaded cantilever vibrator
US5437607A (en) 1992-06-02 1995-08-01 Hwe, Inc. Vibrating massage apparatus
US5327790A (en) 1992-06-19 1994-07-12 Massachusetts Institute Of Technology Reaction sensing torque actuator
JP2605550B2 (ja) 1992-07-14 1997-04-30 岩崎通信機株式会社 レーザー光用電子写真式平版印刷版
US5434549A (en) 1992-07-20 1995-07-18 Tdk Corporation Moving magnet-type actuator
US6008800A (en) 1992-09-18 1999-12-28 Pryor; Timothy R. Man machine interfaces for entering data into a computer
US5283970A (en) 1992-09-25 1994-02-08 Strombecker Corporation Toy guns
JPH06126041A (ja) * 1992-10-20 1994-05-10 Casio Comput Co Ltd ゲーム装置
US6131097A (en) 1992-12-02 2000-10-10 Immersion Corporation Haptic authoring
US5629594A (en) 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US6433771B1 (en) 1992-12-02 2002-08-13 Cybernet Haptic Systems Corporation Haptic device attribute control
US5526480A (en) 1992-12-28 1996-06-11 International Business Machines Corporation Time domain scroll bar for multimedia presentations in a data processing system
US5550562A (en) 1993-01-12 1996-08-27 Fujitsu Limited Data processing device that enables mouse-operated application programs to be operated from an operation pad, and an operation pad for use with the same
US5451924A (en) 1993-01-14 1995-09-19 Massachusetts Institute Of Technology Apparatus for providing sensory substitution of force feedback
US5675709A (en) * 1993-01-21 1997-10-07 Fuji Xerox Co., Ltd. System for efficiently processing digital sound data in accordance with index data of feature quantities of the sound data
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5785630A (en) 1993-02-02 1998-07-28 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5374942A (en) 1993-02-05 1994-12-20 Gilligan; Federico G. Mouse and method for concurrent cursor position and scrolling control
JPH0675438U (ja) * 1993-04-07 1994-10-25 並木精密宝石株式会社 ろうあ者向振動ペイジャー型音声検知装置
US5456341A (en) 1993-04-23 1995-10-10 Moog Inc. Method and apparatus for actively adjusting and controlling a resonant mass-spring system
US5524195A (en) 1993-05-24 1996-06-04 Sun Microsystems, Inc. Graphical user interface for interactive television with an animated agent
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5436622A (en) 1993-07-06 1995-07-25 Motorola, Inc. Variable frequency vibratory alert method and structure
US5466213A (en) 1993-07-06 1995-11-14 Massachusetts Institute Of Technology Interactive robotic therapist
JP2856036B2 (ja) 1993-07-12 1999-02-10 株式会社セガ・エンタープライゼス スライド式振動機構を備えたゲーム機用ガンユニット及びゲーム装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
US5461711A (en) 1993-12-22 1995-10-24 Interval Research Corporation Method and system for spatial accessing of time-based information
US5438529A (en) 1994-01-26 1995-08-01 Immersion Human Interface Corporation Percussion input device for personal computer systems
US6404107B1 (en) 1994-01-27 2002-06-11 Active Control Experts, Inc. Packaged strain actuator
CA2140164A1 (en) 1994-01-27 1995-07-28 Kenneth R. Robertson System and method for computer cursor control
US5554900A (en) 1994-02-04 1996-09-10 Schlenker Enterprises Ltd. Motor including embedded permanent-magnet rotor
US5564004A (en) 1994-04-13 1996-10-08 International Business Machines Corporation Method and system for facilitating the selection of icons
US5586257A (en) 1994-05-05 1996-12-17 Perlman; Stephen G. Network architecture to support multiple site real-time video games
US6160489A (en) 1994-06-23 2000-12-12 Motorola, Inc. Wireless communication device adapted to generate a plurality of distinctive tactile alert patterns
US5565887A (en) 1994-06-29 1996-10-15 Microsoft Corporation Method and apparatus for moving a cursor on a computer screen
CA2195227C (en) 1994-07-19 2002-10-29 Junji Furusho Virtual reality and telereality system
US5835693A (en) 1994-07-22 1998-11-10 Lynch; James D. Interactive system for simulation and display of multi-body systems in three dimensions
US5575761A (en) 1994-07-27 1996-11-19 Hajianpour; Mohammed-Ali Massage device applying variable-frequency vibration in a variable pulse sequence
US5808381A (en) 1994-08-09 1998-09-15 Hitachi Metals, Ltd. Linear motor
JPH10504920A (ja) 1994-08-18 1998-05-12 インターヴァル リサーチ コーポレイション ビデオ用の内容に基づく感覚入力装置
US5649020A (en) 1994-08-29 1997-07-15 Motorola, Inc. Electronic driver for an electromagnetic resonant transducer
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US5669818A (en) 1995-03-23 1997-09-23 Thorner; Craig Seat-based tactile sensation generator
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US5565840A (en) 1994-09-21 1996-10-15 Thorner; Craig Tactile sensation generator
US5570111A (en) 1994-10-03 1996-10-29 International Business Machines Corporation Graphical user interface cursor positioning device having a negative inertia transfer function
US5766016A (en) 1994-11-14 1998-06-16 Georgia Tech Research Corporation Surgical simulator and method for simulating surgical procedure
DE69525308T2 (de) 1994-11-15 2002-07-04 Microsoft Corp Hinausgleitender Schnittstellenbalken
US5696535A (en) 1994-11-17 1997-12-09 International Business Machines Corporation Graphics display pointer with integrated selection
IT1280212B1 (it) 1995-02-14 1998-01-05 Sintecna S R L Procedimento di controllo di dispositivi per il puntamento del cursore sullo schermo di sistemi interattivi e logica per la sua attuazione
US5565888A (en) 1995-02-17 1996-10-15 International Business Machines Corporation Method and apparatus for improving visibility and selectability of icons
JP3348265B2 (ja) 1995-03-27 2002-11-20 富士通株式会社 架間転送制御方式
DE69619592T2 (de) 1995-04-11 2002-11-07 Dragon Systems Inc Bewegung eines auf dem Bildschirm gezeigten Zeigers
US5651070A (en) * 1995-04-12 1997-07-22 Blunt; Thomas O. Warning device programmable to be sensitive to preselected sound frequencies
US5492312A (en) 1995-04-17 1996-02-20 Lord Corporation Multi-degree of freedom magnetorheological devices and system for using same
US5661446A (en) 1995-06-07 1997-08-26 Mts Systems Corporation Electromagnetic actuator
US6166723A (en) 1995-11-17 2000-12-26 Immersion Corporation Mouse interface device providing force feedback
US5650704A (en) 1995-06-29 1997-07-22 Massachusetts Institute Of Technology Elastic actuator for precise force control
JP3562049B2 (ja) 1995-07-21 2004-09-08 セイコーエプソン株式会社 映像表示方法および装置
US5628686A (en) 1995-07-31 1997-05-13 Microsoft Corporation Apparatus and method for bidirectional data communication in a game port
US5749533A (en) 1995-08-03 1998-05-12 Daniels; John J. Fishing reel with electronically variable brake for preventing backlash
US5977977A (en) 1995-08-04 1999-11-02 Microsoft Corporation Method and system for multi-pass rendering
US5864342A (en) 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks
EP0789160B1 (en) 1995-08-11 2003-10-29 Ebara Corporation Magnetically levitated vibration damping apparatus
US5805165A (en) 1995-08-31 1998-09-08 Microsoft Corporation Method of selecting a displayed control item
US5808601A (en) 1995-09-12 1998-09-15 International Business Machines Corporation Interactive object selection pointer method and apparatus
US5959613A (en) 1995-12-01 1999-09-28 Immersion Corporation Method and apparatus for shaping force signals for a force feedback device
EP0797139B1 (en) 1995-10-09 2003-06-18 Nintendo Co., Limited Three-dimensional image processing system
US5990875A (en) 1995-10-16 1999-11-23 Packard Bell Nec Double pen up event
US5896125A (en) 1995-11-06 1999-04-20 Niedzwiecki; Richard H. Configurable keyboard to personal computer video game controller adapter
US5767457A (en) 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
US5710574A (en) 1995-11-14 1998-01-20 International Business Machines Corporation Method and system for positioning a graphical pointer within a widget of a data processing system graphical user interface
JPH09140168A (ja) 1995-11-15 1997-05-27 Nikon Corp 振動モータの駆動装置
US6639581B1 (en) 1995-11-17 2003-10-28 Immersion Corporation Flexure mechanism for interface device
US5877748A (en) 1995-11-20 1999-03-02 Redlich; Sanford I. Computer control input interface system
JPH10513593A (ja) * 1995-11-24 1998-12-22 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 触覚刺激によって強調された仮想現実を示す方法と、この方法を実行するシステム
EP0864145A4 (en) 1995-11-30 1998-12-16 Virtual Technologies Inc TACTILE FEEDBACK FOR HUMAN / MACHINE INTERFACE
US6028593A (en) 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US5956484A (en) 1995-12-13 1999-09-21 Immersion Corporation Method and apparatus for providing force feedback over a computer network
US6147674A (en) 1995-12-01 2000-11-14 Immersion Corporation Method and apparatus for designing force sensations in force feedback computer applications
US6169540B1 (en) 1995-12-01 2001-01-02 Immersion Corporation Method and apparatus for designing force sensations in force feedback applications
US6300936B1 (en) 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
US6161126A (en) 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US6750877B2 (en) 1995-12-13 2004-06-15 Immersion Corporation Controlling haptic feedback for enhancing navigation in a graphical environment
US6078308A (en) 1995-12-13 2000-06-20 Immersion Corporation Graphical click surfaces for force feedback applications to provide user selection using cursor interaction with a trigger position within a boundary of a graphical object
KR19980032013A (ko) 1995-12-15 1998-07-25 모리시타요오이찌 진동 발생장치
EP0950239B1 (en) * 1996-03-08 2003-09-24 Motorola, Inc. Method and recognizer for recognizing a sampled sound signal in noise
ITPN960017A1 (it) 1996-03-12 1997-09-12 Sole Spa Macchina elettrica, in particolare motore elettrico
DE19613025A1 (de) 1996-03-19 1997-09-25 Peter Klose Eingabegerät zum Anschluß an einen Computer
US5668423A (en) 1996-03-21 1997-09-16 You; Dong-Ok Exciter for generating vibration in a pager
US6111577A (en) 1996-04-04 2000-08-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
JP3007047B2 (ja) * 1996-04-19 2000-02-07 建司 高橋 音響識別装置
US5857986A (en) 1996-05-24 1999-01-12 Moriyasu; Hiro Interactive vibrator for multimedia
US5737144A (en) 1996-06-05 1998-04-07 Quantum Corporation Switched boost voltage generator for actuator retract in disk drive
US5802353A (en) 1996-06-12 1998-09-01 General Electric Company Haptic computer modeling system
US5795228A (en) 1996-07-03 1998-08-18 Ridefilm Corporation Interactive computer-based entertainment system
US5791992A (en) 1996-07-31 1998-08-11 International Business Machines Corporation Video game system with internet cartridge
US5896139A (en) 1996-08-01 1999-04-20 Platinum Technology Ip, Inc. System and method for optimizing a scene graph for optimizing rendering performance
US6084587A (en) 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
US5877750A (en) 1996-09-17 1999-03-02 International Business Machines Corporation Method and apparatus for in-place line width selection for graphics applications
JPH10111958A (ja) 1996-10-04 1998-04-28 Olympus Optical Co Ltd コンピュータグラフィックスを用いたシミュレーションシステム及びシミュレーションシステムにおけるモデル表現方法
US5889506A (en) 1996-10-25 1999-03-30 Matsushita Electric Industrial Co., Ltd. Video user's environment
GB9622556D0 (en) 1996-10-30 1997-01-08 Philips Electronics Nv Cursor control with user feedback mechanism
US5884029A (en) 1996-11-14 1999-03-16 International Business Machines Corporation User interaction with intelligent virtual objects, avatars, which interact with other avatars controlled by different users
US5973670A (en) 1996-12-31 1999-10-26 International Business Machines Corporation Tactile feedback controller for computer cursor control device
US6111562A (en) 1997-01-06 2000-08-29 Intel Corporation System for generating an audible cue indicating the status of a display object
US5841710A (en) 1997-02-14 1998-11-24 Micron Electronics, Inc. Dynamic address remapping decoder
GB9706711D0 (en) 1997-04-02 1997-05-21 Philips Electronics Nv User interface with compound cursor
US6160907A (en) 1997-04-07 2000-12-12 Synapix, Inc. Iterative three-dimensional process for creating finished media content
JPH10295937A (ja) 1997-04-24 1998-11-10 Sony Computer Entertainment:Kk ゲーム機用操作装置
US6292170B1 (en) 1997-04-25 2001-09-18 Immersion Corporation Designing compound force sensations for computer applications
US6005551A (en) 1997-04-25 1999-12-21 Microsoft Corporation Offline force effect rendering
US7091948B2 (en) 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
US6285351B1 (en) * 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
US6215495B1 (en) 1997-05-30 2001-04-10 Silicon Graphics, Inc. Platform independent application program interface for interactive 3D scene management
US6071194A (en) 1997-06-19 2000-06-06 Act Labs Ltd Reconfigurable video game controller
US6057753A (en) 1997-07-03 2000-05-02 Projects Unlimited, Inc. Vibrational transducer
AUPO794697A0 (en) 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd A device (MEMS10)
US6292174B1 (en) 1997-08-23 2001-09-18 Immersion Corporation Enhanced cursor control using limited-workspace force feedback devices
US6002184A (en) 1997-09-17 1999-12-14 Coactive Drive Corporation Actuator with opposing repulsive magnetic forces
JP3560450B2 (ja) 1997-10-29 2004-09-02 アルプス電気株式会社 ゲーム機用操作装置
US6394239B1 (en) 1997-10-29 2002-05-28 Lord Corporation Controllable medium device and apparatus utilizing same
US6252583B1 (en) 1997-11-14 2001-06-26 Immersion Corporation Memory and force output management for a force feedback system
KR100263167B1 (ko) 1997-11-21 2000-08-01 윤종용 엘씨디 모니터의 해상도 변환장치
JPH11155955A (ja) * 1997-11-26 1999-06-15 Hisanobu Kaitani 恐怖症治療装置
US5896076A (en) 1997-12-29 1999-04-20 Motran Ind Inc Force actuator with dual magnetic operation
US5984880A (en) 1998-01-20 1999-11-16 Lander; Ralph H Tactile feedback controlled by various medium
TW404846B (en) * 1998-01-23 2000-09-11 Koninkl Philips Electronics Nv Multiperson tactual virtual environment
US6437770B1 (en) 1998-01-26 2002-08-20 University Of Washington Flat-coil actuator having coil embedded in linkage
US6219034B1 (en) 1998-02-23 2001-04-17 Kristofer E. Elbing Tactile computer interface
US6139324A (en) * 1998-03-04 2000-10-31 D-Box Audio Inc. Multi-sense home entertainment chair transducer system
US6210168B1 (en) 1998-03-16 2001-04-03 Medsim Ltd. Doppler ultrasound simulator
US6198206B1 (en) 1998-03-20 2001-03-06 Active Control Experts, Inc. Inertial/audio unit and construction
US6266053B1 (en) 1998-04-03 2001-07-24 Synapix, Inc. Time inheritance scene graph for representation of media content
US6078126A (en) 1998-05-29 2000-06-20 Motorola, Inc. Resonant piezoelectric alerting device
US5945772A (en) 1998-05-29 1999-08-31 Motorla, Inc. Damped resonant piezoelectric alerting device
US6686901B2 (en) 1998-06-23 2004-02-03 Immersion Corporation Enhancing inertial tactile feedback in computer interface devices having increased mass
JP2000024307A (ja) * 1998-07-09 2000-01-25 Sony Corp ゲーム体感装置及びゲーム体感方法
US6375471B1 (en) 1998-07-10 2002-04-23 Mitsubishi Electric Research Laboratories, Inc. Actuator for independent axial and rotational actuation of a catheter or similar elongated object
US6421048B1 (en) 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
JP2000056943A (ja) * 1998-08-07 2000-02-25 Mitsubishi Electric Corp 設定表示器
US6373463B1 (en) 1998-10-14 2002-04-16 Honeywell International Inc. Cursor control system with tactile feedback
US6282455B1 (en) 1998-10-19 2001-08-28 Rockwell Technologies, Llc Walk-through human/machine interface for industrial control
US6373465B2 (en) 1998-11-10 2002-04-16 Lord Corporation Magnetically-controllable, semi-active haptic interface system and apparatus
JP3457552B2 (ja) * 1998-11-17 2003-10-20 Ｎｅｃマイクロシステム株式会社 音声入力制御方法及び装置
JP2000163099A (ja) * 1998-11-25 2000-06-16 Brother Ind Ltd 雑音除去装置、音声認識装置および記憶媒体
JP2000157720A (ja) * 1998-11-26 2000-06-13 Square Co Ltd ゲーム装置、ゲームの制御方法並びに情報記録媒体
JP2000194427A (ja) 1998-12-25 2000-07-14 Tokai Rika Co Ltd タッチ操作入力装置
US6292776B1 (en) * 1999-03-12 2001-09-18 Lucent Technologies Inc. Hierarchial subband linear predictive cepstral features for HMM-based speech recognition
JP4587243B2 (ja) * 1999-08-31 2010-11-24 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置、エンタテインメントシステム、記録媒体及び振動設定方法
US7061486B2 (en) 1999-09-24 2006-06-13 Sun Microsystems, Inc. Using messaging to manage scene-based rendering
DE50008899D1 (de) 1999-11-27 2005-01-13 Ebm Papst St Georgen Gmbh & Co Elektronisch kommutierter Gleichstrommotor
US6339420B2 (en) 2000-01-25 2002-01-15 Michael B. Wittig Actuation device having multiple degrees of freedom of movement and reduced inertia
JP2001236085A (ja) * 2000-02-25 2001-08-31 Matsushita Electric Ind Co Ltd 音声区間検出装置、定常雑音区間検出装置、非定常雑音区間検出装置、及び雑音区間検出装置
JP2001314652A (ja) * 2000-05-10 2001-11-13 Sugiyama Electron:Kk ゲーム機用オーディオシステム及びオーディオシステム
US6819922B1 (en) 2000-08-14 2004-11-16 Hewlett-Packard Development Company, L.P. Personal digital assistant vehicle interface and method
CN100375993C (zh) 2000-09-28 2008-03-19 伊默逊股份有限公司 用于触觉反馈接口设备的有方向触觉反馈
WO2002037334A1 (en) * 2000-10-30 2002-05-10 Elias Arts Corporation System and method for performing content experience management
US6654003B2 (en) 2000-12-01 2003-11-25 International Business Machines Corporation Cursor control device
US6727916B1 (en) 2000-12-21 2004-04-27 Sprint Spectrum, L.P. Method and system for assisting a user to engage in a microbrowser-based interactive chat session
US6885876B2 (en) 2001-03-12 2005-04-26 Nokia Mobile Phones Ltd. Mobile phone featuring audio-modulated vibrotactile module
JP3564501B2 (ja) * 2001-03-22 2004-09-15 学校法人明治大学 乳幼児の音声解析システム
JP2002306849A (ja) * 2001-04-13 2002-10-22 Artoon:Kk 電子ゲーム装置
US6587091B2 (en) 2001-04-23 2003-07-01 Michael Lawrence Serpa Stabilized tactile output mechanism for computer interface devices
US6963762B2 (en) 2001-05-23 2005-11-08 Nokia Corporation Mobile phone using tactile icons
US6501203B2 (en) 2001-06-01 2002-12-31 Canadian Space Agency Vibration control apparatus
US6664664B2 (en) 2001-06-08 2003-12-16 Aerotech, Inc. Printed circuit linear motor
US6937211B2 (en) * 2001-09-27 2005-08-30 Koninklijke Philips Electronics N.V. Apparatus and system for abstract visual representation of audio signals
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US6940497B2 (en) 2001-10-16 2005-09-06 Hewlett-Packard Development Company, L.P. Portable electronic reading apparatus
US7127271B1 (en) 2001-10-18 2006-10-24 Iwao Fujisaki Communication device
US6854573B2 (en) 2001-10-25 2005-02-15 Lord Corporation Brake with field responsive material
US7171191B2 (en) 2002-04-08 2007-01-30 Gateway Inc. User dynamically definable centralized notification between portable devices
US7175642B2 (en) 2002-04-19 2007-02-13 Pelikan Technologies, Inc. Methods and apparatus for lancet actuation
US7161580B2 (en) 2002-04-25 2007-01-09 Immersion Corporation Haptic feedback using rotary harmonic moving mass
US7421088B2 (en) 2003-08-28 2008-09-02 Motorola, Inc. Multifunction transducer
JP5192449B2 (ja) 2009-06-18 2013-05-08 中外炉工業株式会社 鋼帯加熱装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100124324A (ko) * 2008-03-12 2010-11-26 임머숀 코퍼레이션 햅틱으로 인에이블된 사용자 인터페이스
US10338798B2 (en) 2008-03-12 2019-07-02 Immersion Corporation Haptically enabled user interface
US9513704B2 (en) 2008-03-12 2016-12-06 Immersion Corporation Haptically enabled user interface
KR100891120B1 (ko) * 2008-09-01 2009-04-03 그로위드(주) 전기/전자기기의 감각소자 구동 및 제어용 패턴 파일 형성 방법과 패턴 파일을 이용한 전기/전자기기의 감각소자 구동 및 제어장치
US10055950B2 (en) 2011-02-11 2018-08-21 Immersion Corporation Sound to haptic effect conversion system using waveform
KR20120094849A (ko) * 2011-02-11 2012-08-27 임머숀 코퍼레이션 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템
US10431057B2 (en) 2011-02-11 2019-10-01 Immersion Corporation Method, system, and device for converting audio signal to one or more haptic effects
KR20180084707A (ko) * 2011-02-11 2018-07-25 임머숀 코퍼레이션 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
KR20130090299A (ko) * 2012-02-03 2013-08-13 임머숀 코퍼레이션 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
KR101880764B1 (ko) * 2012-02-03 2018-07-20 임머숀 코퍼레이션 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
KR101427993B1 (ko) * 2012-12-17 2014-08-08 포항공과대학교 산학협력단 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치
KR20140113390A (ko) * 2013-03-14 2014-09-24 임머숀 코퍼레이션 그룹 이벤트동안 방송되는 햅틱 효과
KR20140117958A (ko) * 2013-03-27 2014-10-08 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
KR20150028737A (ko) * 2013-09-06 2015-03-16 임머숀 코퍼레이션 주파수 천이를 사용한 햅틱 변환 시스템
CN110413118A (zh) * 2013-09-06 2019-11-05 意美森公司 使用频移的触觉转换系统
KR20200017719A (ko) * 2018-08-09 2020-02-19 김정욱 음원 기반의 진동패턴 생성장치
KR20200101040A (ko) * 2019-02-19 2020-08-27 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
WO2020171614A1 (ko) * 2019-02-19 2020-08-27 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
CN113454575A (zh) * 2019-02-19 2021-09-28 动运科学技术有限公司 利用音频信号模式的触觉信号产生方法及装置
US11798382B2 (en) 2019-02-19 2023-10-24 Dong Woon Anatech Co., Ltd Haptic signal generating method and device using audio signal pattern

Also Published As

Publication number Publication date
US20100066512A1 (en) 2010-03-18
JP5319719B2 (ja) 2013-10-16
KR100925293B1 (ko) 2009-11-04
CN101424975B (zh) 2011-08-17
DE60227398D1 (de) 2008-08-14
US20130106691A1 (en) 2013-05-02
US7623114B2 (en) 2009-11-24
ATE400032T1 (de) 2008-07-15
US8441437B2 (en) 2013-05-14
US8686941B2 (en) 2014-04-01
EP1438706B1 (en) 2008-07-02
JP2005506613A (ja) 2005-03-03
US20030067440A1 (en) 2003-04-10
EP1438706A4 (en) 2006-01-18
CN1599925A (zh) 2005-03-23
JP2011141890A (ja) 2011-07-21
EP1438706A1 (en) 2004-07-21
WO2003032289A1 (en) 2003-04-17
CN100445930C (zh) 2008-12-24
CN101424975A (zh) 2009-05-06

Similar Documents

Publication Publication Date Title
KR100925293B1 (ko) 컴퓨터 디바이스들로부터의 오디오 출력에 기초하는 햅틱피드백 감각들
EP1438111B1 (en) Sound data output and manipulation using haptic feedback
US6424356B2 (en) Command of force sensations in a forceback system using force effect suites
US6285351B1 (en) Designing force sensations for computer applications including sounds
US7027032B2 (en) Designing force sensations for force feedback computer applications
US20020054021A1 (en) Designing force sensations for force feedback computer applications
CN110825257A (zh) 触觉输出系统
US10216277B2 (en) Modifying haptic effects for slow motion
WO2000067246A1 (en) Command of force sensations in a force feedback system using force effect suites

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121010

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131011

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141010

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151008

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 9