KR100914086B1 - 햅틱 피드백을 사용하는 사운드 데이터의 출력 및 조종 - Google Patents

햅틱 피드백을 사용하는 사운드 데이터의 출력 및 조종 Download PDF

Info

Publication number
KR100914086B1
KR100914086B1 KR1020047005242A KR20047005242A KR100914086B1 KR 100914086 B1 KR100914086 B1 KR 100914086B1 KR 1020047005242 A KR1020047005242 A KR 1020047005242A KR 20047005242 A KR20047005242 A KR 20047005242A KR 100914086 B1 KR100914086 B1 KR 100914086B1
Authority
KR
South Korea
Prior art keywords
sound data
sound
haptic
user
output
Prior art date
Application number
KR1020047005242A
Other languages
English (en)
Other versions
KR20040053156A (ko
Inventor
로니 엘. 추
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20040053156A publication Critical patent/KR20040053156A/ko
Application granted granted Critical
Publication of KR100914086B1 publication Critical patent/KR100914086B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/18—Selecting circuits
    • G10H1/26—Selecting circuits for automatically producing a series of tones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/04—Studio equipment; Interconnection of studios
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L99/00—Subject matter not provided for in other groups of this subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/195—Modulation effects, i.e. smooth non-discontinuous variations over a time interval, e.g. within a note, melody or musical transition, of any sound parameter, e.g. amplitude, pitch, spectral response, playback speed
    • G10H2210/241—Scratch effects, i.e. emulating playback velocity or pitch manipulation effects normally obtained by a disc-jockey manually rotating a LP record forward and backward
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/265—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors
    • G10H2220/311—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors with controlled tactile or haptic feedback effect; output interfaces therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/031—File merging MIDI, i.e. merging or mixing a MIDI-like file or stream with a non-MIDI file or stream, e.g. audio or video
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H2215/00—Tactile feedback
    • H01H2215/03—Sound
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H25/00—Switches with compound movement of handle or other operating part
    • H01H25/002—Switches with compound movement of handle or other operating part having an operating member rectilinearly slidable in different directions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H25/00—Switches with compound movement of handle or other operating part
    • H01H25/008—Operating part movable both angularly and rectilinearly, the rectilinear movement being perpendicular to the axis of angular movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Auxiliary Devices For Music (AREA)
  • Navigation (AREA)

Abstract

본 발명은 햅틱 피드백을 사용하여 사운드 데이터를 출력 및 조종하기 위한 것이다. 햅틱 감각들은 사운드 데이터와 결합되어 사운드 데이터의 네비게이팅 및 편집을 지원한다. 사운드 데이터는 컴퓨터 메모리에 로딩되어 사운드가 오디오 디바이스로부터 출력되도록 플레이된다. 사운드 플레이는 사운드 데이터를 통한 네비게이션을 위해 사용자 입력에 의해 제어된다. 햅틱 명령들은 사운드 데이터에 기초하여 발생되며 사용자에 의해 조종되는 햅틱 피드백 디바이스들에 의해 사용자에게 햅틱 감각들을 출력하기 위해 사용된다. 햅틱 감각들은 사운드 데이터의 하나 이상의 특성들과 상응하여 사운드 데이터의 네비게이션 및 편집 동안 사용자가 사운드 데이터의 특징들을 인식하는 것을 지원한다.

Description

햅틱 피드백을 사용하는 사운드 데이터의 출력 및 조종{SOUND DATA OUTPUT AND MANIPULATION USING HAPTIC FEEDBACK}
본 발명은 일반적으로 인간이 컴퓨터 시스템들에 접속하도록 하는 시스템들에 관한 것이며, 특히 컴퓨터 사운드의 편집 및 재생 환경들에서 사용자에게 햅틱 피드백을 제공하기 위한 방법들에 관한 것이다.
컴퓨터들은 음악 및 다른 오디오 관련 데이터의 창작과 편집시 광범위하게 사용되는 수단들이 되었다. 음악의 또는 다른 형태의 청각적인 작곡 또는 레코딩을 표현하는 디지털 데이터는 ProTools from Digidesign® 등과 같이 사용가능한 편집 소프트웨어를 사용하여 쉽게 창작되고/창작되거나 조종될 수 있다. 음악가는 사운드 파일 또는 사운드 데이터의 임의의 부분을 재생한 후, 상기 소프트웨어를 사용하여 데이터의 임의의 부분을 복사하거나, 편집하거나, 조종할 수 있다. 슬라이더들, 노브(knob)들, 버튼들, 포인터 또는 커서, 등등과 같은 그래픽형태의 사용자 인터페이스에서 그래픽 제어들은 일반적으로 사운드 데이터의 재생 및 편집을 제어하기 위해 사용자가 조종할 수 있는 컴퓨터 스크린상에 디스플레이된다. 사운드 데이터의 시각적인 표시는 일반적으로 하나 이상의 시간 대 크기 그래프들로서 디스플레이되어 사용자는 원하는 스케일로 맞출 수 있다. 몇 가지 더 정교한 시스템은 사용자가 사운드 선택을 재생하기 위해 앞뒤로 회전시킬 수 있는 스프링이 중앙에 배치된 노브인 조그셔틀 휠(jog-shuttle wheel)과 같은 하드웨어 제어장치를 제공한다.
그러나, 최신의 컴퓨터-조종되는 음악에서 도전되고 있는 것 중 하나는 음악가들이 자연 본래의 음악의 작곡 및 편집을 수행하는 경우에 컴퓨터들을 사용하도록 하는 것이다. 편집 및 작곡 프로세스의 대부분은 사람이 컴퓨터를 제어하기 위해 사용되는 물리적인 인터페이스들에 접속하는 방식으로 존재한다. 종래에, 음악가들은 사운드의 제작을 직접 물리적으로 조종하는 악기들(피아노의 기계장치 또는 입술의 진동에 대한 공명장치로서 트럼펫과 같은)을 사용하여 작업했다. 그러나 상기 형태의 물리적인 관계는 컴퓨터들로 재생하기에 어렵다. 오늘날에, 컴퓨터 간의 상호작용은 키보드와 마우스, 또는 더 낮은 주파수 환경에서 주문 개발된 전자 음악 제어장치와 같은 특정 하드웨어를 통해 발생한다. 상기 형태의 인터페이스들은 단방향성이며, 음악가 또는 다른 사용자가 컴퓨터에 물리적인 입력을 전송하도록 하지만, 물리적인 피드백의 수신을 고려하지는 않는다.
현재의 사운드 편집 시스템들은 음악가가 사운드들을 편집하는 동안 키보드들 및 마우스들, 수동 스크롤 휠들, 또는 수동 조이스틱들과 같은 입력 디바이스들을 사용할 것을 요구한다. 상기 경우에 음악가는 청각 및 시각적 피드백에 의존해야만 한다. 그러나, 음악가 또는 사용자는 종종 편집되거나 조종될 특정 영역들을 알아내기 위해 음악 또는 음성의 선택을 통한 네비게이팅과 같은 정밀성을 필요로 하는 반복적인 편집 작업들을 수행한다. 표준 입력 디바이스들 및 청각 및 시간의 피드백은 때때로 상기 네비게이션 및 편집 작업에서 다루기 힘들고, 비효율적이며, 정확성이 떨어질 수 있기 때문에 음악가의 창조적인 노력에 방해가 될 수 있다.
본 발명은 오디오의 출력과 결합하여 햅틱 감각들을 출력하는 방법에 관한 것이다. 햅틱 감각들은 오디오 출력과 결합되어 사용자가 사운드 데이터의 재생 및 편집을 더 정확하고 더 효율적으로 제어하도록 한다.
특히, 본 발명의 방법은 상기 사운드 데이터를 네비게이팅 및 편집하는 것을 지원하기 위해 사운드 데이터와 햅틱 감각들을 결합시킨다. 사운드 데이터의 적어도 일부분은 컴퓨터의 메모리로 로딩되며, 사운드 데이터는 플레이되어 오디오 신호가 발생되며, 이는 오디오 디바이스로부터 사운드를 출력하기 위해 사용된다. 사운드의 플레이는 사운드 데이터를 네비게이팅하기 위해 사용자로부터 컴퓨터에 의해 수신된 사용자 입력에 의해 제어된다. 햅틱 명령들은 사운드 데이터에 기초하여 발생되고 사용자에 의해 조종되는 햅틱 피드백 디바이스들에 의해 햅틱 감각들을 사용자에게 출력하기 위해 사용된다. 햅틱 감각들은 사운드 데이터의 네비게이션 및 편집 동안 사용자가 사운드 데이터의 특징들을 식별하는 것을 지원하도록 하나 이상의 사운드 데이터 특성들과 상응한다.
바람직하게, 사용자는 레이트 제어 또는 위치 제어 패러다임들을 사용하여 사운드 데이터의 플레이 속도 및/또는 방향을 제어할 수 있다. 햅틱 감각들은 사운드 데이터의 플레이 동안 계속해서 출력되고 현재 플레이되는 사운드 데이터의 크기에 기초하는 크기를 가지며; 또는 햅틱 감각들은 미리 결정된 특성들을 가지는 사운드 데이터의 특징들이 플레이될 때만 출력될 수 있다.
일 실시예는 사운드 데이터와 관련된 햅틱 감각들이 사운드 데이터가 사용자에게 플레이될 때 출력되도록 사운드 데이터를 사전처리한다. 메모리내의 사운드 데이터는 하나 이상의 미리 결정된 특성들을 가지는 사운드 특징을 알아내기 위해 처리된다. 사운드 특성이 발견되면, 표식들의 리스트에 표식이 저장되며, 상기 표식은 사운드 데이터 내의 관련된 사운드 특성들의 위치를 나타낸다. 위치는 적어도 하나의 햅틱 감각과 결합되어 사운드 데이터가 플레이되면 결합된 햅틱 감각은 사운드 데이터의 플레이 동안 표식이 도달될 때 사용자에게 출력되도록 한다.
또 다른 실시예에서, 사운드 데이터의 일부분은 제 2 버퍼에 저장되고 사운드 데이터의 부분은 사운드 데이터의 플레이 동안 실시간으로 사운드 데이터 내의 특성들을 발견하도록 처리된다. 사운드 데이터의 시각적인 표현과 플레이되고 있는 사운드 데이터의 현재 부분을 가리키는 움직이는 커서는 임의의 실시예들에서 컴퓨터에 의해 디스플레이될 수 있다.
본 발명은 유리하게 햅틱 피드백이 사운드 출력과 대등하게 사용자에 의해 경험되도록 한다. 예를 들면, 햅틱 피드백은 디지털 오디오 편집 시스템에 통합되어 사용자가 오디오 데이터의 재생과 직접 관련되며 오디오 데이터를 통해 수행되는 조종들과 관련되는 햅틱 감각들을 감지하도록 한다. 사용자는 사운드 데이터를 네비게이팅하여 데이터내의 특정 포인트들을 발견할 수 있고, 햅틱 감각들은 중요한 특징들이 플레이 되는 시각을 사용자에게 잘 알려줄 수 있다. 이는 네비게이션 및 편집 작업시 사용자를 더 많이 지원한다. 이는 더 높은 사용자 성능, 더 높은 레벨의 만족감, 및 사용자 경험의 전체적인 개선을 가져온다.
본 발명은 하기의 도면을 참조로 하여 더 상세히 설명된다.
도 1은 햅틱 피드백을 사용하여 증가되는 사용자의 사운드 데이터 조종 능력들을 제공하기 위한 시스템을 설명하는 블럭 다이어그램이다.
도 2는 호스트 컴퓨터와 통신시 햅틱 피드백 인터페이스 디바이스를 포함하는 도 1의 햅틱 피드백 시스템의 일 실시예를 설명하는 블럭 다이어그램이다.
도 3은 본 발명을 사용하기에 적합한 햅틱 피드백 장치인 마우스의 실시예의 횡단면도이다.
도 4는 본 발명을 사용하기에 적합한 인터페이스 디바이스(12)의 또다른 실시예의 투시도이다.
도 5는 본 발명에 따라 사운드 데이터를 사전처리하기 위한 방법의 흐름도이다.
도 6은 사운드 파형 및 사운드 파형과 상관되는 햅틱 감각들의 도식적인 설명이다.
도 7은 본 발명에 따라 사전처리된 사운드 데이터와 햅틱 감각들을 재생하기 위한 프로세스를 설명하는 흐름도이다.
도 8은 본 발명에 따른 사운드 재생에 따라 출력되는 햅틱 감각들의 실시간 재생 프로세스를 설명하는 흐름도이다.
도 9a 및 9b는 똑바른 출력들 및 그 반대 방향의 출력들 각각에서 연속적인 햅틱 출력에 대한 기본 시간 대 크기 형태의 사운드 및 햅틱 파형들을 보여주는 도식적인 설명이다.
도 10은 사용자가 기준값들 및 세팅값들을 입력하고 본 발명에 대한 사운드 재생을 제어하도록 할 수 있는 그래픽 사용자 인터페이스의 도식적인 설명이다.
도 11은 사용자가 본 발명에 대한 기준값들 및 세팅값들을 입력하도록 할 수 있는 또다른 그래픽 사용자 인터페이스의 도식적인 설명이다.
도 1은 사용자에게 햅틱 피드백을 사용하여 증가된 사운드 데이터 조종 능력들을 제공하기 위한 시스템(10)을 설명하는 블럭 다이어그램이다. 호스트 컴퓨터(14)는 사용자(16)가 호스트 컴퓨터에 명령들을 입력함으로써 사운드 데이터(15)를 조종하도록 하는 사운드 데이터 조종 애플리케이션 프로그램을 구동시킨다. 상기 명령들을 입력하기 위해, 사용자(16)는 햅틱 피드백 인터페이스 디바이스(12)를 조종한다. 햅틱 피드백 인터페이스 디바이스들은 사용자가 명령들 및 데이터를 입력하도록 하고 사용자에게 일반적으로 "햅틱 피드백"이라 공지되는 운동감각적 포스 피드백 또는 촉각 피드백을 제공한다. 모터들 또는 다른 형태의 작동장치들을 사용할 때, 상기 인터페이스 디바이스들은 디바이스를 접촉하거나 디바이스의 사용자 조종부분을 조종할 때 사용자에 의해 감지되는 물리적인 감각들을 제공할 수 있다. 예를 들면, 디바이스(12)는 노브, 마우스, 트랙볼, 조이스틱, 또는 사용자가 방향, 값, 크기들을 입력하기 위해 제공되는 자유도에서 이동하는 다른 장치들이 될 수 있다. 사용자가 입력을 제공하기 위해 디바이스(12)를 물리적으로 접촉하는 동안, 그 또는 그녀는 햅틱 디바이스(12)에 의해 출력되는 햅틱 감각들을 경험할 수 있다. 본 발명에서, 햅틱 감각들은 편집 및 호스트 컴퓨터의 애플리케이션 프로그램에서 발생하는 다른 사운드 조종 특징들과 관련되며, 사용자가 조종 작업들과 사운드 데이터를 사용하는 일을 더 용이하게 수행하도록 한다.
호스트 컴퓨터(14)는 또한 신호들을 오디오 스피커들(24)에 출력하여 사용자(16)가 사용자가 플레이되도록 하기 위해 선택한 사운드 데이터를 청취하도록 한다. 스피커들로부터의 사운드 데이터의 출력은 호스트 컴퓨터의 시각적인 디스플레이 및 햅틱 디바이스(12)로부터의 햅틱 감각들의 출력과 동등하며, 사용자가 사운드 데이터의 특정 이벤트들 또는 미리 선택된 이벤트들을 더 용이하게 경험하고 주목하도록 한다. 또한 사용자가 청각 및 시각에 추가로 촉각을 통해 상기 이벤트들을 식별함으로써 사운드를 더 용이하게 편집하도록 한다.
햅틱 피드백 디바이스는 컴퓨터 인터페이스로의 입력 및 출력을 조종할 수 있다. 햅틱 피드백 디바이스는 고속이고 효율적인 인간의 물리적 반응들이 결과를 좌우하는 실시간 작업들에 매우 강하다. 햅틱 피드백 인터페이스들은 컴퓨터 작업들을 수행하기 위해 요구되는 인식되는 로드를 감소시키는 반면 사용자 효율과 정확성을 개선시킬 수 있다. 상기 형태의 결과들은 효율적인 음악 인터페이스의 중요한 특징들 중 하나는 사용자가 특정의 물리적인 행위들을 잘 알아채지 못하는 음악적 경험시 몰두할 수 있도록 하는 것이기 때문에 음악의 창작 및 편집에 큰 장점이 될 수 있다. 본 발명은 저렴한 햅틱 디바이스들이 컴퓨터-지원되는 음악 및 사 운드 편집 및 창작에 통합되도록 한다.
도 2는 도 1의 햅틱 피드백 시스템의 일 실시예를 설명하는 블럭 다이어그램이며, 호스트 컴퓨터(14)와 통신하는 햅틱 피드백 인터페이스 디바이스(12)를 포함한다.
호스트 컴퓨터(14)는 바람직하게, 호스트 마이크로프로세서(20), 클럭(22), 디스플레이 스크린(26), 및 오디오 출력 디바이스(24)를 포함한다. 호스트 컴퓨터는 또한 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및 입/출력(I/O) 전자회로들과 같은 공지된 다른 구성요소들(비도시)을 포함한다. 호스트 컴퓨터(14)는 다양한 형태로 구현될 수 있는 컴퓨팅 디바이스이다. 예를 들어, 설명되는 실시예들에서, 컴퓨터(14)는 PC 호환용 컴퓨터 또는 매킨토시 퍼스널 컴퓨터, 또는 Sun or Silicon Graphic사의 워크스테이션과 같은 퍼스널 컴퓨터 또는 워크스테이션이다. 상기 컴퓨터(14)는 Windows™, MacOS™, Unix, MS-DOS, 또는 다른 오퍼레이팅 시스템하에 동작할 수 있다. 선택적으로, 호스트 컴퓨터(14)는 Nintendo, Sega, Sony, 또는 Microsoft로부터 사용가능한 시스템들과 같이 텔레비전 세트 또는 다른 디스플레이에 공통 접속된 다양한 가정용 비디오게임 콘솔 시스템들 중 하나가 될 수 있다. 다른 실시예들에서, 호스트 컴퓨터 시스템(14)은 "셋탑 박스", "네트워크- 또는 인터넷-컴퓨터", 휴대용 컴퓨터 또는 게임 디바이스, 주문형 전자 회로(스테레오 컴포넌트, 등), PDA 등이 될 수 있다.
호스트 컴퓨터(14)는 바람직하게 만약 적합하다면, 사용자가 디바이스(12) 및 다른 주변장치들을 통해 상호작용하는 호스트 애플리케이션 프로그램을 구현한다. 본 발명의 내용에서, 호스트 애플리케이션 프로그램은 하기에서 더 상세히 설명되는 것과 같은 디지털 오디오 편집 프로그램이다. 디바이스(12)의 입력을 사용하고 디바이스(12)에 햅틱 피드백 명령들을 출력하는 다른 애플리케이션 프로그램들이 사용될 수 있다. 호스트 애플리케이션 프로그램은 바람직하게 사용자에게 선택권을 제공하여 사용자로부터 입력을 수신하기 위한 그래픽 사용자 인터페이스(GUI)를 사용한다. 상기 애플리케이션 프로그램은 하기에서 설명되는 햅틱 피드백 기능을 포함할 수 있으며, 또는 햅틱 피드백 제어는 드라이버 또는 다른 애플리케이션 프로그램과 같은 호스트 컴퓨터를 구동하는 또다른 프로그램에서 수행될 수 있다. 여기에서, 컴퓨터(14)는 그래픽 사용자 인터페이스, 게임, 시뮬레이션 또는 다른 시각적 환경이 될 수 있는 "그래픽 환경"을 제공하는 것으로 참조될 수 있다. 컴퓨터는 물리적인 오브젝트들은 아니지만, 당업자에게 공지된 것과 같이 데이터의 논리적인 소프트웨어 유니트 집합들 및/또는 당업자에게 공지된 것과 같이 디스플레이 스크린(26)상에 컴퓨터(14)에 의한 이미지들로서 디스플레이될 수 있는 절차들이 되는 "그래픽 오브젝트들" 또는 "컴퓨터 오브젝트들"을 디스플레이한다. 햅틱 피드백 디바이스들을 사용하여 소프트웨어에 접속하는 적절한 소프트웨어 드라이버들은 Immersion Corporation of San Jose, California로부터 사용가능하다.
디스플레이 디바이스(26)는 호스트 컴퓨터 시스템(14)에 포함될 수 있으며, 표준 디스플레이 스크린(LCD, CRT, 평판 등), 3-D 안경들, 영사 디바이스, 또는 임의의 다른 시각적인 출력 디바이스가 될 수 있다. 디스플레이 디바이스(26)는 오퍼레이팅 시스템 애플리케이션, 시뮬레이션, 게임 등에 의해 명령되는 것과 같은 이미지들을 디스플레이한다. 스피커들과 같은 오디오 출력 디바이스(24)는 사용자에게 출력되는 사운드를 제공한다. 본 발명의 내용에서, 믹서들, 증폭기들, 특수화된 하드웨어 등과 같은 다른 오디오-관련 디바이스들 또한 호스트 컴퓨터에 연결될 수 있다. 저장 디바이스들(하드디스크 드라이브, CD ROM 드라이브, 플로피 디스크 드라이브 등), 프린터들 및 다른 입력 및 출력 디바이스들과 같은 다른 형태의 주변장치들 또한 호스트 프로세서(20)에 연결될 수 있다.
마우스, 노브(knob), 게임패드, 트랙볼, 조이스틱, 원격제어 유니트, PDA 스크린 등과 같은 햅틱 피드백 인터페이스 디바이스(12)는 양방향 버스(30)에 의해 호스트 컴퓨터(14)에 연결된다. 양방향 버스는 호스트 컴퓨터 시스템(14)과 인터페이스 디바이스간의 어느 한 방향에서 신호들을 전송한다. 버스(30)는 RS232 직렬 인터페이스, RS-422, 범용 직렬 버스(USB), MIDI, 또는 당업자에게 공지된 다른 프로토콜들과 같은 직렬 인터페이스 버스 또는 병렬 버스, 또는 무선 링크가 될 수 있다. 임의의 인터페이스들은 또한 디바이스(12)의 작동장치들에 전력을 제공할 수 있다.
디바이스(12)는 로컬 프로세서(40)를 포함할 수 있다. 로컬 프로세서(40)는 마우스의 다른 구성요소들과의 효율적인 통신을 허용하기 위해 디바이스(12)의 하우징내에 선택적으로 포함될 수 있다. 프로세서(40)는 컴퓨터 호스트(14)로부터의 명령들 또는 요청들을 대기하고, 상기 명령 또는 요청을 디코딩하여, 상기 명령 또는 요청에 따라 입력 및 출력 신호들을 처리/제어하기 위한 소프트웨어 지시들과 함께 제공될 수 있다. 추가로, 프로세서(40)는 센서 신호들을 판독하여 그들의 센서 신호들, 시간 신호들, 및 호스트 명령에 따라 선택된 저장되거나 중계된 지시들로부터 적절한 포스(force)들을 계산함으로써 호스트 컴퓨터(14)를 독립적으로 동작시킬 수 있다. 로컬 프로세서(40)로서 사용하기에 적합한 마이크로프로세서들은 예를 들어 Immersion Touchsense 프로세서와 같은 더 복잡한 포스(force) 피드백 프로세서들뿐만 아니라, MC68HC711E9 by Motorola, PIC16C74 by Microchip, 및 82930AX by Intel Corp.을 포함한다. 프로세서(40)는 하나의 마이크로프로세서 칩, 다수의 프로세서들 및/또는 코프로세서(co-processor) 칩들, 및/또는 디지털 신호 프로세서(DSP) 용량을 포함할 수 있다.
마이크로프로세서(40)는 센서(들)(42)로부터 신호들을 수신하여 버스(30)를 통해 호스트 컴퓨터(14)에 의해 제공되는 지시들에 따라 작동장치(44)에 신호들을 제공할 수 있다. 예를 들면, 로컬 제어 실시예에서, 호스트 컴퓨터(1)는 버스(30)를 통해 프로세서(40)에 높은 레벨의 관리 명령들을 제공하며, 프로세서(40)는 프로세서(40)는 상기 명령들을 디코딩하여 높은 레벨의 명령들에 따라 호스트 컴퓨터(14)와 독립적으로 센서들과 작동장치에서 낮은 레벨의 포스 제어 루프들을 관리한다. 상기 동작은 USP 5,739,811 및 5,734,373에서 상세히 설명되며, 본 명세서에서 참조로서 통합된다. 호스트 제어 루프에서, 호스트 컴퓨터로부터의 포스 명령들은 지정된 특징들을 가지는 포스 또는 포스 감각들을 출력할 것을 프로세서에 명령한다. 로컬 프로세서(40)는 호스트 컴퓨터가 수행된 프로그램들을 업데이팅하기 위해 사용하는 위치 데이터 및 다른 센서 데이터를 호스트 컴퓨터에 보고한다. 로컬 제어 루프에서, 작동장치 신호들은 프로세서(40)로부터 작동장치(44)로 제공되고, 센서 신호들은 센서(42) 및 다른 입력 디바이스들(48)로부터 프로세서(40)로 제공된다. 프로세서(40)는 이후에 저장되는 명령들에 의해 적절한 출력의 작동장치 신호들을 결정하기 위해 입력된 센서 신호들을 처리할 수 있다. 이 때, "햅틱 감각" 또는 "촉각 감각"이라는 용어는 단일 포스 또는 사용자에게 감각을 제공하는 작동장치에 의해 출력되는 일련의 포스들 중 하나를 참조로 한다.
다른 실시예들에서, 더 간단한 다른 하드웨어가 디바이스(12)에 국부적으로 제공되어 프로세서(40)로서의 기능성을 제공할 수 있다. 예를 들면, 하드웨어 상태 머신 또는 고정된 로직을 집적하는 ASIC는 작동기에 신호들을 제공하고, 센서들(42)로부터 센서 신호들을 수신하며, 미리 정의된 시퀀스, 알고리즘, 또는 프로세서에 따라 촉각 신호들을 출력하기 위해 사용될 수 있다.
서로 다른 호스트-제어 실시예에서, 호스트 컴퓨터(14)는 버스(30)를 통해 프로세서(40)를 경유하여 작동장치(44)에 직접 전송되는 하위 레벨 포스 명령들을 제공할 수 있다. 따라서 호스트 컴퓨터(14)는 디바이스(12)로 및 디바이스(12)로부터 모든 신호들을 직접 제어하고 처리한다. 간단한 호스트 제어 실시예에서, 호스트로부터 디바이스로의 신호는 작동장치에게 미리 정의된 주파수 및 크기로 포스를 출력할 것을 명령할 수 있거나, 크기 및/또는 방향을 포함할 수 있거나, 바람직한 포스값을 시간에 적용할 것을 지시하는 간단한 명령이 될 수 있다.
RAM 및/또는 ROM과 같은 로컬 메모리(52)는 바람직하게 프로세서(40)에 대한 지시들을 저장하고 임시의 다른 데이터를 저장하기 위한 디바이스(12)내의 프로세서(40)와 연결된다. 예를 들면, 포스 프로파일들은 프로세서에 의해 출력될 수 있는 저장된 포스값들의 시퀀스, 또는 사용자 오브젝트의 현재 위치에 기초하여 출력될 포스값들의 검색 테이블과 같이 메모리(52)에 저장될 수 있다. 또한, 로컬 클럭(54)은 호스트 컴퓨터의 시스템 클럭과 유사한 타이밍 데이터를 제공하기 위해 프로세서(40)에 연결될 수 있으며, 상기 타이밍 데이터는 작동 장치에 의해 출력되는 포스들(예를 들면 계산된 속도들에 종속하는 포스들 또는 다른 시간에 따른 인자들)을 계산하도록 요구될 수 있다. USB 통신 인터페이스를 사용하는 실시예들에서, 프로세서(40)에 대한 타이밍 데이터는 USB 신호로부터 선택적으로 유도될 수 있다.
센서들(42)은 디바이스 및/또는 하나 이상의 매니퓰랜덤(manipulandum)들의 위치 또는 운동을 감지하거나 상기 위치 또는 운동을 나타내는 정보를 포함하는 신호들을 제어하여 프로세서(40)(또는 호스트(14))에 제공한다. 매니퓰랜덤을 검출하기에 적합한 센서들은 디지털 광학 인코더들, 광학 센서 시스템들, 선형 광학 인코더들, 전위차계들, 광학 센서들, 속도 센서들, 가속 센서들, 변형계를 포함하거나 또는 다른 형태들의 센서들이 사용될 수 있으며, 상대적이거나 절대적인 센서들이 제공될 수 있다. 광학 센서 인터페이스(46)는 센서 신호들을 프로세서(40) 및/또는 호스트(14)에 의해 해석될 수 있는 신호로 변환하기 위해 사용될 수 있다.
작동장치(들)(44)는 프로세서(40) 및/또는 호스트 컴퓨터(14)로부터 수신되는 신호들에 응답하여 디바이스(12)의 하우징 또는 하나 이상의 매니퓰랜덤들(60)에 대한 포스들을 전송한다. 작동장치(44)는 DC 모터들과 같은 능동 작동장치들, 음성 코일들, 기압 또는 수압 작동장치들, 회전우력계들, 압전 작동장치들, 이동식 자기 작동장치들, 등등 또는 브레이크들과 같은 수동 작동장치를 포함하는 임의의 다양한 형태들의 작동 장치들이 될 수 있다.
작동장치 인터페이스(50)는 프로세서(40)로부터의 신호들을 작동장치(44)를 구동하기에 적절한 신호들로 변환시키기 위해 작동장치(44) 및 프로세서(40) 사이에 선택적으로 접속될 수 있다. 인터페이스(50)는 당업자에게 공지된 것과 같이 전력증폭기들, 스위치들, 디지털-아날로그 제어기들(DACs), 아날로그-디지털 제어기들(ADCs), 및 다른 구성요소들을 포함할 수 있다. 다른 입력 디바이스들(48)은 디바이스(12)에 포함되고 사용자에 의해 조종되는 경우 입력 신호들을 프로세서(40) 또는 호스트(14)에 전송한다. 상기 입력 디바이스들은 버튼들, 스크롤 휠들, d-패드들, 다이얼들, 스위치들, 또는 다른 제어장치들 메커니즘들을 포함할 수 있다.
전원(56)은 작동장치에 전력을 제공하거나 개별 구성요소로서 제공되기 위한 작동장치 인터페이스(50) 및/또는 작동장치(44)에 연결되는 디바이스(12)에 선택적으로 포함될 수 있다. 선택적으로, 전력은 디바이스(12)와는 별개인 전원으로부터 인가될 수 있거나 버스(30)를 통해 수신될 수 있다. 또한, 수신된 전력은 저장되고 디바이스(12)에 의해 조절될 수 있으며, 따라서 작동장치(44)를 구동하기 위해 요구되는 경우 사용되거나 추가 방식으로 사용될 수 있다. 임의의 실시예들은 디바이스내의 전력 저장 디바이스를 사용하여 피크 포스들이 적용될 수 있도록(USP 5,929,607에 개시되며, 본 명세서에서 참조로서 통합되는) 할 수 있다. 선택적으로, 상기 기술은 무선 디바이스에서 사용될 수 있으며, 이 경우에 배터리 전력은 촉각 작동장치들을 구동시키기 위해 사용된다. 안전 스위치(58)는 사용자가 안전성의 이유로 작동장치(44)를 활성 저하시키도록 하기 위해 선택적으로 포함될 수 있다.
작동장치(44)는 인터페이스 디바이스(12)의 하우징 및/또는 매니퓰랜덤(들)(60)에 포스들을 출력한다. 센서(42)는 하우징 또는 매니퓰랜덤(60)의 위치 또는 운동을 감지할 수 있다. 다수 형태들의 인터페이스 또는 제어 디바이스들은 본 명세서에서 설명되는 본 발명과 함께 사용될 수 있다. 예를 들어, 상기 인터페이스 디바이스들은 햅틱 피드백 트랙볼, 조이스틱 핸들, 조종휠, 노브, 손에 들고 쓰는 원격 제어 디바이스, 비디오게임들 또는 컴퓨터 게임들을 위한 게임패드 제어기, 스타일러스, 그립, 휠, 버튼, 셀룰러 전화기, PDA, 터치패드, 또는 다른 조종가능한 오브젝트, 표면, 또는 하우징을 포함할 수 있다.
도 3는 본 발명과 함께 사용하기에 적합한 디바이스(12)의 마우스 실시예(100)의 횡단면도이다.
마우스 디바이스(100)는 하우징(101), 감지 시스템(102), 및 작동장치(104)를 포함한다. 하우징(101)은 사용자가 2차원 자유도들에서 마우스를 이동시키고 버튼들(106)을 조종하는 동안 표준 마우스와 같이 사용자의 손을 고정시키는 형태를 갖는다. 다른 하우징 형태들은 다수의 서로 다른 실시예들에서 제공될 수 있다.
센서(102)는 2차원 자유도들에서, 예를 들어 X 및 Y축들을 따라 마우스의 위 치를 검출한다. 개시된 실시예에서, 센서(102)는 컴퓨터 시스템에 방향성 입력을 제공하기 위한 표준 마우스 볼(110)을 포함한다. 선택적으로, 광 센서 또는 다른 형태의 센서가 사용될 수 있다.
마우스 디바이스(100)는 마우스의 사용자에게 촉각 감각들과 같은 햅틱 피드백을 제공하기 위한 하나 이상의 작동장치들(104)을 포함한다. 작동장치(104)는 하우징(101)에 연결되어 사용자에게 햅틱 피드백을 제공한다. 일 실시예에서, 작동장치는 작동장치에 의해 이동되는 관성 매스(mass)에 연결된다. 관성 매스의 이동에 의해 야기되는 관성 포스들은 관성 매스와 관련하여 마우스의 하우징에 적용되며, 따라서 하우징을 접촉하는 마우스 사용자에게 촉각 감각들과 같은 햅틱 피드백을 전달한다. 임의의 실시예들은 작동 장치가 관성 매스로 그 자신을 이동시키도록 한다. 상기 실시예들은 USP 6,211,861 및 US 출원 번호 09/585,741에서 상세하게 설명되며, 여기에서 참조로서 통합된다. 게임 패드, 손에 잡히는 원격 제어장치들, 셀룰러 전화기들, PDA등과 같은 인터페이스 디바이스들의 다른 형태들은 관성 촉각 감각들을 위한 상기 작동장치를 포함할 수 있다.
인터페이스 디바이스들 및 작동장치들의 다른 형태들은 본 발명과 함께 사용될 수 있다. 예를 들면, 게임패드들, 마우스들, 또는 다른 디바이스들은 작동장치의 회전 샤프트(shaft)와 연결되어 되어 디바이스의 하우징 또는 매니퓰랜덤상에 중력 촉각 감각들을 제공하는 편심 회전 매스를 포함할 수 있다. 다른 형태의 햅틱 디바이스들은 조이스틱들, 노브들, 스크롤휠들, 게임패드들, 조종휠들, 트랙볼들, 마우스들등과 같은 운동감각적 포스 피드백을 제공할 수 있으며, 상기 포스들 은 매니퓰랜덤의 감지된 자유도(들)에서 출력된다. 예를 들면, 운동감각적 마우스 햅틱 디바이스의 실시예들은 USP 6,100,874 및 6,166,723에 개시되며, 본 명세서에서 참조로서 통합된다.
도 4는 본 발명과 함께 사용하기에 적합한 인터페이스 디바이스(12)의 또다른 실시예(150)의 투시도이다. 노브 디바이스(150)는 전자 디바이스 또는 호스트 컴퓨터(14)의 다양한 기능들을 제어하기 위해 사용자에 의해 조종되는 제어 노브(152)를 포함한다. 예를 들면, 노브 디바이스는 하기에서 설명되는 것과 같은 편집 소프트웨어를 구동하는 호스트 컴퓨터(14)에 접속되는 개별 하우징 유니트에 제공될 수 있거나, 원한다면 오디오 편집 또는 다른 제어 기능들에 관련된 다른 제어들을 포함하는 전체 제어 패널 내에 제공할 수 있다. 호스트 컴퓨터(14)의 디스플레이(26)(또는 노브 디바이스에 지정된 디스플레이)는 하기에서 설명되는 것과 같은 편집 제어들을 디스플레이할 수 있다.
제어 노브(152)는 사용자가 본 발명의 기능들 또는 세팅들을 직접 조종하도록 한다. 노브(152)는 사용자가 사용가능한 대략 원통형의 오브젝트가 될 수 있다. 바람직한 실시예에서, 노브(152)는 화살표(154)에 의해 도시되는 것과 같이 축 A와 같이 노브의 바깥으로 연장하는 축에 대한 단일 회전 자유도 내에서 회전한다. 사용자는 바람직하게 노브(152)의 원주면(156)을 잡거나 접촉하여 원하는 양만큼 회전시킨다. 선택적인 실시예들에서 다수의 노브들(152)이 제공될 수 있으며, 각각의 노브는 서로 다른 또는 유사한 제어 기능성을 제공한다.
또한, 제어 노브(152)의 임의의 실시예들은 사용자에 대한 추가의 제어 기능을 허용할 수 있다. 제어 노브(152)는 바람직하게 축 A를 따라(또는 축 A와 거의 평행으로) 자유도 내에서 누르고/누르거나 당겨질 수 있으며, 상기 운동은 축 스위치 또는 센서에 의해 감지된다. 이는 사용자에게 노브로부터 그 또는 그녀의 그립을 제거할 필요 없이 기능들 및 세팅들을 선택하는 추가 방법들을 제공한다. 예를 들어, 일 실시예에서, 사용자는 노브(152)의 회전을 사용하여 디스플레이(14)상에 디스플레이된 커서 또는 다른 지시자를 이동시킬 수 있고; 커서가 디스플레이상에서 원하는 세팅 또는 영역으로 이동되어야 하는 경우 사용자는 원하는 세팅을 선택하기 위해 노브(152)를 누를 수 있다. 노브(152)의 누름 및/또는 당김 기능은 스프링 리턴 바이어스를 사용하여 제공될 수 있거나, 사용자가 능동으로 노드를 새로운 위치로 이동시킬 때까지 눌러지거나 당겨진 위치를 유지하도록 구현될 수 있다.
다른 실시예들에서, 노브(152)는 사용자에 의해 회전축 A과 거의 수직인(직교하는) 면의 하나 이상의 횡단 및 측면 방향들로 이동될 수 있다. 상기 횡단 운동은 화살표(158)에 의해 표시된다. 예를 들면, 노브(152)는 도시된 4개의 직교 방향 및 4개의 대각 방향들에서 이동될 수 있다. 상기 노브(152)의 횡단 운동은 사용자가 모드 선택, 커서 위치결정, 또는 값이나 크기의 세팅과 같이 제어되는 디바이스의 추가 세팅들 또는 기능들을 선택하도록 할 수 있다.
노브(152)는 바람직하게 노브의 최소한의 회전 자유도에서 포스 피드백이 제공된다. 노브(152)에 접속된 샤프트를 가지는 회전 DC 모터와 같은 작동장치(160)가 제공될 수 있다. 작동장치는 상기 회전시 노브에 멈춤들, 도약들, 감소들, 장애들, 또는 다른 포스 감각들을 제공하기 위한 포스들을 출력할 수 있다. 노브의 회전 위치를 판독하기 위한 센서는 작동장치와 통합되거나 개별적으로 제공될 수 있다. 선택적으로 또는 추가로, 노브의 횡단 및/또는 선형축 운동들이 작동될 수 있다. 노브 하드웨어 구현들은 USP 6,154,201에 상세히 설명되며, 여기에서 참조로서 통합된다. 임의의 포스 감각들은 USP 5,734,373 및 6,154,201에서 설명되며, 여기에서 참조로서 통합된다.
햅틱 피드백을 사용한 사운드 데이터의 출력 및 조종
본 발명은 햅틱 피드백 인터페이스 디바이스에 의해 출력되는 햅틱 감각들을 사용하여 디지털 사운드 데이터("오디오 데이터"라 참조되는)의 조종시 사용자 경험을 개선시키기 위한 것이다.
도 5는 본 발명의 하나의 사전처리되는 실시예(200)의 흐름도이다. 상기 방법은 바람직한 실시예에서 사용되는 예가 되는 사운드 합성/편집 프로그램과 같은 애플리케이션 프로그램에 의해 구현될 수 있다. 선택적으로, 방법은 사운드 합성/편집 프로그램과 동시에 구동하는 드라이버 프로그램 또는 개별 애플리케이션 프로그램을 사용하여 수행될 수 있다. 다른 형태의 애플리케이션 프로그램들이 본 발명과 함께 사용될 수 있다.
방법(202)에서 시작하며, 단계(204)에서 사용자에 의해 수행되는 임의의 세팅들이 판독된다. 예를 들어, 사용자는 그래픽 사용자 인터페이스에 디스플레이된 필드들에서 미리 세팅을 수행하며, 상기 예들에서 사용자 인터페이스는 도 10 및 11을 참조로 하여 하기에서 설명된다. 세팅들은 사용자가 햅틱 감각들의 느낌 및 플레이되거나 편집된 사운드와의 관계를 직접 제작하도록 한다. 사용자 세팅들은 네트워크화된 저장장치 등을 통해 예를 들면 데이터베이스를 판독하는 프로그램에 의해 다른 방식들로 입력될 수 있다.
다음 단계(206)에서, 사운드 파일 또는 사운드 데이터 모두 또는 부분 또는 다른 데이터 중에서 사운드 데이터를 포함하는 파일은 메모리에 로딩된다. 사운드 데이터는 일반적으로 드라이버 또는 다른 I/O 프로그램 또는 디바이스에 당업자에게 공지된 것과 같이 샘플들로부터 오디오 신호를 발생시키는 방법을 지시하는 개별 디지털 사운드 샘플들의 시퀀스로 구성된다. 상기 사운드 데이터는 햅틱 감각들이 이후에 사운드 데이터가 스피커들 또는 다른 오디오 출력 디바이스들에 의해 사용자에게 플레이될 때 출력되도록 하기 위해 본 발명의 방법에 의해 사전처리될 수 있다. 만약 본 발명의 방법이 사운드 편집 또는 재생 프로그램과는 별개인 프로그램에 의해 수행되고 있다면, 별개의 프로그램은 사운드 데이터를 사전처리용 메모리에 로딩시킬 수 있다.
다음 단계(208)에서, 메모리에 로딩된 사운드 데이터는 햅틱 감각과 관련되는 바람직한 사운드 특성을 발견하기 위해 사전처리된다. 예를 들면, 방법은 사운드 파일이 예를 들면 시간 시퀀스 또는 다른 실시예들의 다른 시퀀스들에서 재생 디바이스에 의해 재생되거나 출력되는 방식으로 사운드 파일을 검사할 수 있다.
탐색되고 있는 바람직한 사운드 특성들은 다양한 실시예들에서 변화할 수 있으며 단계(204)에서 판독된 사용자 세팅들에 의해 영향받을 수 있다. 일 실시예에서, 방법은 사운드 데이터에서 크기의 급속한 상승들을 검사할 수 있다. 이는 도 6의 파형 다이어그램(220)에 도시된다. 사운드 데이터는 사운드 파형(222)을 나타내며 음악에서 드럼 비트들 또는 다른 타악기 사운드들과 같이 사운드 내에서 짧거나 급변하는 특징들에 상응하는 사운드의 짧은 피크값들(224)을 가질 수 있다. 제 1 피크값(224)에서의 크기의 상승은 예를 들어 단계(208)에서 검색되는 특성이 될 수 있다. 바람직하게, 크기의 최소 임계 상승값이 부과된다. 예를 들면, 사운드 파형의 평균 크기 이상의 미리 결정된 백분율은 예를 들어 50%의 임계값이 될 수 있다. 사운드 데이터의 평균크기는 단계(206)에서 메모리에 로딩된 사운드 데이터의 전체 양에 대하여 미리 계산될 수 있다. 임계값에 대한 백분율 값은 단계(204)에서 로딩된 사용자 세팅이 될 수 있거나 디폴트값이 될 수 있다.
방법은 예를 들면 잡음이 바람직한 사운드 특성으로 검출되지 않도록 에러 정정을 포함하는 더 상세한 방법들을 사용할 수 있다. 예를 들면, 햅틱 감각으로 할당된 사운드 데이터의 피크값으로 특징을 식별하기 위해, 방법은 상승 이후에 사운드 파형이 상기 특징에 대한 사운드 데이터의 포인트에서 평균값 이하의 임의의 백분율로 하락하여 사운드 데이터에 피크값으로 등록할 것을 요구한다. 만약 파형이 상기 하락을 가지지 않는다면, 발견된 크기의 하락은 예를 들면 잡음과 같은 폴스 하락으로 간주되어 실제 크기의 하락은 파형에서 이후에 발생할 것이다. 상기 검사는 크기의 최소 하락들을 야기하는 단 하나의 바람직한 피크값과 잡음이 존재하는 경우 다수의 피크값들을 실수로 발견하는 기회를 감소시킨다.
다른 에러 정정은 임의의 특징들이 바람직한 햅틱 특징들로 잘못 카운트되는 것을 방지하기 위해 사용될 수 있다. 예를 들어, 만약 방법이 사운드 데이터에서 피크값을 발견하면, 방법은 사운드 데이터에서 발견된 바로 이전의 사운드 피크값을 검사할 수 있다. 만약, 현재 발견된 피크값이 이전의 피크값으로부터 미리 결정된 최소 시간 간격만큼 떨어져 있지 않다면, 그 후에 현재의 피크값은 원하는 햅틱 사운드 특성으로 카운트될 수 없다. 이는 햅틱 감각들이 재생 동안 시간상으로 너무 인접하여 사용자가 구별할 수 없는 사운드 특성들로 할당되는 것을 방지하여 처리 시간을 절약한다. 현재의 사운드 특성과 이전에 발견된 특성(들) 간의 다른 비교들은 현재 특성을 햅틱 감각으로 할당할 수 있는지의 여부를 결정하기 위해 다른 실시예들에서 수행될 수 있다. 미리 결정된 진동들의 수, 미리 결정된 백분율의 크기 하락들, 등등과 같은 사운드 데이터의 다른 특성들이 탐색될 수 있다.
다음 단계(210)에서 사운드 특성이 사운드 데이터에서 발견되면, 표식은 발견된 사운드 특성의 위치를 나타내는 표식들의 연속적인 리스트에 추가된다. 표식은 발견된 특성이 시작하거나 사운드 샘플 또는 특성의 임의의 다른 표준화된 위치에서의 사운드 샘플(예를 들면 사운드 데이터의 시작으로부터 참조되는)의 개수를 나타내는 번호가 될 수 있다. 예를 들면, 표식은 피크값(224)의 시작에서 도 6의 점선(226)에 의해 표시되며; 선(226)의 위치에서 사운드 샘플의 식별 번호(또는 다른 식별자)가 표식 리스트에 저장될 수 있다.
표식들의 리스트는 본 방법의 이전 반복들에서 발견된 모든 바람직한 사운드 특성들을 포함하며, 예를 들어 순차적인 처리가 구현되는 경우 사운드 데이터 스트림에서 이전에 발생한 햅틱 결합에 대한 특성들과 같은 햅틱 감각들과 일치할 것이다. 리스트는 재생 동안 리스트 내의 사운드 샘플들이 현재 플레이되는 사운드 샘플들과 용이하게 비교될 수 있도록 조직된다.
임의의 실시예들은 리스트 내의 표식 및 멈춤과 같은 표준 햅틱 감각들과 관련된 표식들 모두를 제공할 수 있다. 따라서, 재생중에 표식이 도달할 때마다, 각각의 표식은 발견된 사운드 특성의 형태 또는 특성들에 기초하는 햅틱 감각의 형태와 결합될 수 있다. 다른 더 복잡한 실시예에서, 각각의 표식은 발견된 사운드 특성의 형태 또는 특성들에 기초하는 햅틱 감각의 형태와 결합될 수 있다. 예를 들어, 결합된 햅틱 감각(그 형태 및/또는 파라미터들)의 지시는 각각의 표식과 함께 표식 리스트에 저장될 수 있다. 다른 실시예들에서, 표식은 모든 사운드 샘플 또는 모든 소수의 사운드 샘플들마다 위치될 수 있고, 포스값은 상기 샘플에서의 사운드 크기와 비례하도록 각 표식과 결합하여 계산된다. 이는 햅틱 출력이 사운드 데이터의 크기를 계속하여 매칭시키도록 한다. 그러나, 상기 계속되는 매칭은 도 8을 참조로 하여 하기에서 설명되는 실시간 처리 실시예에서 더 잘 수행될 수 있다.
다음 단계(212)에서, 사운드 파일 또는 사운드 데이터의 종료가 도달되었는지의 여부 및 더 이상의 데이터가 사전처리되야 하는지의 여부가 검사된다. 만약 상기 경우가 아니라면, 방법은 또다른 바람직한 사운드 특성이 발견될 때까지 사운드 데이터를 추가로 사전처리하기 위해 단계(208)로 복귀한다. 만약 추가의 사운드 데이터가 더 이상 사전처리되지 않는다면, 방법은 (214)에서 종료한다.
도 7은 본 발명에 따라 사전처리된 사운드 데이터와 햅틱 감각들을 재생하기 위한 방법(250)을 설명하는 흐름도이다. 상기 방법에서, 사용자 또는 애플리케이션 프로그램은 스피커들 또는 다른 오디오 디바이스를 통해 사용자에게 사운드를 출력하는 것으로 가정된다. 일 실시예에서, 본 예시적인 방법은 주로 애플리케이션 프로그램이 사용자가 햅틱 디바이스(12)를 통한 사용자로부터의 입력에 기초하는 음악을 재생하도록 하는 음악 합성/편집 프로그램에 관한 것이다. 예를 들면, 사용자는 사운드를 빨리 감기 위해 노브를 한 방향으로 회전시키고 사운드를 되감기 위해 노브를 반대방향으로 회전으로써 노브를 조종하여 사운드를 재생할 수 있다. 또는 사용자는 마우스, 조이스틱 또는 다른 디바이스들을 사용할 수 있다. 사용자는 종종 상기 빨리감기 및 되감기를 수행하여 사용자가 막 편집한 사운드 샘플들 또는 애플리케이션을 사용하여 합성된 사운드 샘플들을 청취하며, 또한 상기 특징을 사용하여 사운드 데이터의 추가 편집을 위해 사운드 데이터 스트림의 원하는 위치에 커서를 위치시킬 수 있다.
방법은 (252)에서 시작하며, 단계(254)에서 방법은 사운드 재생이 초기화되거나 또는 계속되는지를 검사한다. 만약 아니면, 방법은 (256)에서 종료한다. 만약 초기화 또는 계속된다면, 단계(258)에서, 사용자의 노브 회전 또는 햅틱 디바이스의 새로운 위치로의 다른 조종과 같은 사용자 입력이 수신될 수 있다. 또는 새로운 입력이 사용자에게 제공되지 않을 수 있다. 단계(260)에서, 사운드 데이터는 사용자에 의해 지시되는 것과 같이 전 또는 후 방향 중 한방향으로 스피커를 통해 플레이된다. 방향은 노브의 회전 방향, 마우스 또는 조이스틱의 운동 방향 또는 휠의 방향 등과 상응할 수 있다.
임의의 실시예들은 레이트 제어 모드를 제공할 수 있으며, 사용자는 사운드 재생 속도를 제어한다. 재생 레이트는 기준 위치로부터 조종장치 또는 물체의 현재 위치에 기초한다. 예를 들어, 노브 실시예에서, 사용자가 원래 정지하고 있던 위치에서 노브를 더 회전시킬수록 사운드 재생의 속도는 빨라진다. 임의의 실시예들에서, 사용자는 상기 레이트 제어를 돕기위해 노브상에 스프링형의 레지스턴스를 갖는다. 다른 실시예들은 사용자의 조종장치가 이동할 때만 음악이 재생되며, 특정 이동량이 음악 재생의 특정 양 또는 지속기간에 해당하는 위치 제어 모드를 제공한다. 예를 들면, 위치 제어 모드에서, 사용자는 음악 재생을 청취하는 것을 계속하기 위해 시계방향으로 노브를 계속 회전시킬 수 있으며, 재생 속도를 조절하기 위해 회전 속도를 조절할 수 있다. 사용자가 노브를 회전시키는 것을 중지하면, 사운드 재생도 중지한다. 모드는 또한 어떤 햅틱 감각들이 출력되는 지를 결정할 수 있으며; 예를 들면 시간 기준의 총성 또는 요동들은 레이트 제어 모드에 적합할 수 있는 반면 위치 기준의 멈춤들 또는 도약들은 위치 제어 모드에서 출력된다.
다음 단계(262)에서, 방법은 사운드 데이터내의 표식이 도달되면 햅틱 이펙트를 플레이한다. 표식들은 바람직하게 도 5의 사전 처리에 기초하는 리스트에 위치되어 있으며, 각각의 표식은 사운드 데이터의 관련된 사운드 샘플 또는 위치를 갖는다. 사운드 샘플 또는 위치가 재생중에 도달되면, 상기 표식과 관련된 햅틱 이펙트가 출력되도록 명령된다. 예를 들면, 도 6에 도시된 바와 같이, 햅틱 감각들은 선(228)으로 지정된다. 표식(226)이 재생중에 도달되면, 관련된 햅틱 감각이 출력되어 본 예에서 선(228)의 움푹한 곳(230)에 의해 표시되는 포스 멈춤이 된다. 전술된 바와 같이, 임의의 실시예들은 다양한 서로 다른 햅틱 감각들이 출력되도록 하여 도달된 특정 표식과 함께 햅틱 감각을 저장할 수 있다.
따라서 햅틱 감각은 햅틱 디바이스에 의해 관련된 사운드 특징의 출력과 동시에 사용자에게 출력된다. 예를 들면, 출력된 드럼비트 사운드는 햅틱 디바이스로부터 사용자로의 포스 펄스 또는 요동의 출력과 동시에 대등하게 된다. 방법은 그 후에 단계(254)로 복귀하여 재생이 계속되는지를 검사하며; 만약 계속되면, 사운드는 플레이되고 표식들이 유사한 방식으로 도달될 때 햅틱 이펙트들이 플레이된다.
임의의 실시예들은 사용자 입력과 같은 다른 인자들에 기초하는 출력 햅틱 감각들을 변화시킬 수 있다. 예를 들면, 햅틱 감각들은 사용자에 의해 제어되는 것과 같은 사운드 재생 속도에 기초할 수 있다. 일 실시예에서, 멈춤들 또는 다른 햅틱 감각들의 크기는 재생 속도에 직접 비례하거나 미리 결정된 임계 속도와 관련된 현재의 재생 속도에 기초할 수 있다.
음악 이외에도, 음성과 같은 다른 사운드들은 영화 내에서 단지 오디오 또는 대화와 같이 재생될 수 있다. 햅틱 감각들은 사운드 데이터내의 음성 특성들에 기초할 수 있다. 임의의 프로그램들은 문장들 또는 문장들 내의 구문 및 단어 내의 포즈(pause)들 또는 문장들 또는 문장들 내의 구문과 단어들 사이의 포즈들과 같은 음성 특성들을 분할하여 사용자가 음성 출력을 나타내는 사운드 데이터를 편집하도록 한다.
따라서 본 발명은 사운드 데이터내의 특징들의 출력과 상관된 햅틱 감각들을 제공한다. 사용자는 사운드 데이터를 통해 직렬 데이터 내에서 특정 포인트들을 발견하기 위해 네비게이팅할 수 있고 햅틱 감각들은 사용자에게 피크값들과 같은 중요한 특징들이 애플리케이션 프로그램에 의해 제공되는 커서 또는 포인터에 의해 스크롤 되거나 위치되는 시각을 더 잘 알려줄 수 있다. 이는 네비게이션 및 편집 작업시 사용자를 상당히 지원한다.
도 8은 본 발명에 따른 사운드 재생에 따라 햅틱 감각들을 출력하는 실시간 재생 프로세스(300)를 설명하는 흐름도이다. 사운드 데이터가 실제 사운드 재생 이전에 특성들이 햅틱 감각들에 맵핑되도록 사전처리되는 도 5 및 7의 방법들과는 대조적으로, 본 발명에서 사운드 데이터는 재생 동안 처리되어 임의의 사전 처리 시간 및 계산 시간을 절약한다.
방법은 (302)에서 시작하여 단계(303)에서 사운드 데이터는 메모리(제 1 버퍼)에 로딩된다. 전술된 바와 같이, 이는 플레이될 사운드 파일 또는 플레이될 다른 데이터(예를 들면, 시각 데이터) 중에 사운드 데이터를 포함하는 파일이 될 수 있다. 단계(304)에서, 방법은 사운드 재생이 초기화 또는 계속되고 있는지를 검사한다. 만약 아니라면, 방법은 (306)에서 종료한다. 만약 초기화 또는 계속되고 있다면, 도 7에 대하여 전술된 것과 유사하게 단계(308)에서 사용자의 노브 회전 또는 햅틱 디바이스의 새로운 위치로의 조종과 같은 사용자 입력이 수신될 수 있다. 단계(310)에서, 사운드 데이터는 도 7의 방법에 대하여 설명된 것과 유사하게 스피커에 의해 사용자에 의해 지시되는 방향으로 플레이된다. 레이트 제어 모드, 위치 제어 모드, 또는 다른 제어 패러다임이 사용될 수 있다. 재생 동안, 재생 프로그램(음악 편집 프로그램과 같은)은 현재 플레이되고 있는 사운드 샘플 또는 사운드 데이터 내의 어떤 샘플이 다음에 플레이될 것인지를 나타내는 "재생 포인터"를 제공할 수 있고, 상기 포인터는 사운드 샘플들이 출력될 때마다 사운드 샘플들을 따라 간단히 이동된다.
다음 단계(312)에서, 재생 포인터 근처의 사운드 데이터의 일부분은 제 2 버퍼에 저장된다. 예를 들면, 이는 100 밀리초의 사운드와 같이 재생 포인터의 현재 위치 이후에 바로 플레이될 사운드 데이터의 미리 결정된 양이 될 수 있다. 단계(314)에서 제 2 사운드 버퍼내의 데이터는 사운드 특성들에 대하여 처리되고 분석된다. 상기 단계는 도 5의 처리 단계(208)와 유사할 수 있으며, 사운드 데이터 내에서 햅틱 감각들과 결합되기를 원하는 특징들이 발견된다. 예를 들면, 크기의 상승 및/또는 하락이 검사될 수 있다. 모든 사용자 기준들 또는 세팅들은 햅틱 감각과 맵핑될 사운드 특성이 존재하는지와 특정 햅틱 감각이 맵핑되어야 하는지를 결정하는 것을 돕기위해 사용될 수 있다. 햅틱 감각의 크기가 계속해서 사운드 크기를 뒤따르는 다른 실시예들(도 9a 및 9b에 도시)에서, 사운드의 특정 특징들은 전혀 발견될 수 없다.
다음 단계(316)에서, 햅틱 이펙트들은 햅틱 디바이스에 전송되어 단계(314)에서 발견된 사운드 특성들에 기초하여 플레이된다. 예를 들어, 만약 사운드 크기에서 상승이 발견되면, 도 7의 사전 처리 방법에서 방법이 표식을 발견했던 경우와 유사하게 멈춤 감각이 출력될 수 있다. 선택적으로, 햅틱 감각은 계속해서 사운드 크기에 기초하는 크기들을 가지도록 출력될 수 있다. 예를 들면, 도 9a는 기본 시간 대 크기 형식으로 두 개의 파형들(330 및 332)을 보여주는 도식적인 설명이다. 파형(330)은 시간에 걸쳐서 사운드 데이터의 사운드 진폭을 나타낸다. 본 발명의 실시간 처리 실시예에서, 방법은 파형(332)에 의해 표시되는 햅틱 감각들에 대한 크기를 계산할 수 있고 제 2 버퍼내의 사운드 데이터의 사운드 크기와 계속해서 비례한다. 예를 들면, 레지스턴스는 노브와 같은 조종장치를 통해 출력될 수 있으며, 레지스턴스의 크기는 현재의 사운드 크기와 상응하고 사운드 크기와 함께 변화한다. 도 9b에서, 사운드 파형 크기(330)는 유사하게 도시되지만, 햅틱 감각 크기(336)는 사용자에게 서로 다른 햅틱 경험을 제공하기 위해 계속해서 사운드 크기와는 반대로 변화될 수 있다. 다른 계속되는 햅틱 감각 맵핑들 또는 사운드 특성 햅틱 맵핑들 또한 사용될 수 있다.
바람직하게, 사운드 특성들이 발견되어 햅틱 감각들이 맵핑되고 출력되도록 명령된 이후에, 햅틱 감각들은 사용자에 의해 햅틱 감각들에 상응하는 사운드 샘플들이 스피커들에 의해 플레이되는 시간과 거의 비슷한 시간에 감지될 것이다. 햅틱 이펙트(들)이 발견된 사운드 특성들을 위해 플레이되면, 방법은 단계(304)로 복귀하여 사운드 재생이 계속되는지를 검사한다.
도 10은 사용자가 본 발명에 대한 기준들 및 세팅들을 입력하도록 할 뿐만 아니라 간단한 방식들로 사운드 재생을 제어하여 사용자 세팅들을 검사하도록 할 수 있는 그래픽 사용자 인터페이스(400)의 도식적인 설명이다. 예를 들면, 상기 세팅들은 사운드/음악 편집 프로그램과 같은 애플리케이션 프로그램으로 통합될 수 있거나 개별 테스트 프로그램에서 사용될 수 있다.
사운드 제어 파라미터들(402)은 사운드 파일 필드(404)를 포함할 수 있으며, 사용자가 햅틱 감각들이 상관될 사운드 데이터를 포함하는 바람직한 사운드 파일을 선택하여 재생하도록 한다. 사운드 파일은 메모리에 완전히 로딩될 수 있으며, 임의의 실시예에서, 파일의 역버전이 제 2 버퍼에 로딩되어 역재생을 허용할 수 있다. 상태 필드(406)는 파일의 개시, 사운드 데이터의 처리, 역재생을 위한 역버퍼의 생성, 등등과 같은 프로그램의 현재 상태를 디스플레이할 수 있다. 재생 조절 필드들(408)은 사용자가 사운드 데이터의 재생을 맞추기 위해 값들을 입력하도록 하고, 재생 속도를 조절하기 위한 주파수 필드(파일에 대한 재생의 공칭 주파수가 자동적으로 초기에 셋팅될 수 있도록), 좌우 스피커들 사이에서 재생 균형을 조절하기 위한 팬(pan) 필드, 및 사운드의 출력 크기를 조절하기 위한 볼륨 필드를 포함한다. 슬라이더 바(410)들은 상기 사용자 세팅들을 입력하기 위해 사용될 수 있다. 루프 사운드 박스(412)는 사운드 파일내에서 데이터의 종료에 도달하면 사용자가 사운드 파일의 재생을 반복할 것인지 정지시킬 것인지를 선택하도록 한다. 버튼들(414)은 사용자가 사운드 파일의 재생을 시작, 정지, 또는 중단하도록 한다.
처리 파라미터(420)는 사용자가 햅틱 감각들이 사운드 데이터에 기초하여 발생되는 방식들에 영향을 미치는 파라미터들을 조절하도록 한다. 피크 임계값 파라미터(422)는 평균 사운드 레벨과 비교하여 사운드 신호의 상승량을 지정하기 위해 사용될 수 있으며, 전술된 바와 같이 햅틱 이벤트를 트리거할 것이다. 파라미터는 평균 사운드 크기의 백분율로서 지정될 수 있으며, 예를 들어 평균 진폭의 50% 이상의 상승은 햅틱 감각들이 상기 상승과 결합되기에 충분히 클 것이다. 피크 리셋 파라미터(424)는 사용자가 상승이 검출된 이후에 사운드 크기(평균 사운드 크기와 비교되는)에서 백분율 하락을 규정하도록 하며, 신호 크기에서 피크값이 되고 햅틱 감각을 보장하며, 전술된 바와 같이 다수의 폴스 피크값을 발견하는 것을 방지하기에 충분히 클 것이다. 최소 비트 간격 파라미터(426)는 사용자가 카운트될 제 2 피크에 대한 두 개의 피크값들 사이에 존재하게 되는 최소 간격인 시간 간격(예를 들어, 수밀리초내의)을 규정하도록 하는 또다른 에러 검사 파라미터가되거나; 그렇지 않으면 제 2 피크값은 전술된 바와 같은 잡음에 의해 야기되는 폴스 피크값으로 간주된다. 윈도우 사이즈 파라미터(428)는 사운드 샘플들의 개수로 사운드 데이터 크기를 평균할 때 사용되는 분해능을 정의하는 윈도우 크기를 규정하며; 방법은 각각의 윈도우내의 샘플들을 평균화하여 평균 사운드 크기를 발견하기 위해 모든 윈도우들을 평균화한다.
디바이스 선택(430)은 사용자가 어떤 형태의 햅틱 디바이스(12)가 현재 시스템에서 사용되고 있으며 어떤 형태의 햅틱 디바이스(12)에 의해 햅틱 감각들이 출력될 것인지를 선택하도록 한다. 서로다른 디바이스들은 햅틱 감각들을 출력하기 위해 서로다른 명령들을 요구할 수 있다. 위치 제어 또는 레이트 제어를 수행하는 노브 디바이스, 감촉 피드백 마우스, 및 운동감각 피드백 마우스가 선택사양들로서 도시되지만, 임의의 햅틱 디바이스가 사용될 수 있다. 마우스 제어 필드(432)는 사용자가 마우스 커서를 사용하여 사운드 재생을 제어하도록 하며, 사운드 재생과 사용자의 기준들 및 세팅들에 의해 변경되는 것과 같은 햅틱 감각 출력을 테스트하기 위해 사용될 수 있다. 예를 들어, 셔틀 필드(436)는 사용자가 위치 제어 모드에서 사운드 파일을 재생하기 위해 셔틀 필드 내의 커서를 이동시키도록 한다. 커서가 셔틀 필드(436)내에서 좌우로 이동하고 버튼이 고정되는 동안, 음악은 커서의 스피드와 비례하는 레이트로 재생되며; 우향 이동은 빨리감기, 좌향 이동을 되감기이다. 스크롤 필드(434)는 사용자가 레이트 제어 모드에서 사운드 파일을 재생하기 위해 필드 내의 커서를 이동하도록 한다. 사용자는 재생 방향 및 속도에 영향을 주기 위해, 커서를 배치시키거나 이동시킨다. 필드(434)의 중간 포인트에서 우향으로의 커서의 위치는 커서와 중간 포인트간의 거리와 비례하는 속도로 빨리 감기를 수행하고 중간 포인트의 좌향으로의 커서 위치는 유사하게 비례하는 되감기를 수행한다.
테스트 버튼(438)은 도 5에서 설명된 사전 처리 실시예에서 사용자가 만약 처리 파라미터들 또는 디바이스 선택들이 변경되면 메모리 내의 사운드 데이터의 재처리를 초기화하도록 한다.
도 11은 본 발명에 대하여 사용자가 추가의 기준들과 세팅들을 입력하도록 할 수 있는 또다른 그래픽 사용자 인터페이스(500)의 도식적인 설명이다. 상기 세팅들 중 임의의 것 또는 모두는 단일 인터페이스에서 만약 원한다면 도 10의 세팅들 중 임의의 것 또는 모두와 통합될 수 있다. 사운드 파일 필드(502)는 사용자가 사운드 파일을 규정하도록 하고, 햅틱 디바이스 세팅들(504)은 사용자가 햅틱 디바이스의 형태를 선택하도록 한다.
필터들(506)은 사용자가 도 5 또는 도 8의 방법들의 사운드 데이터 처리단계들에서 본 발명의 임의의 실시예들에서 사용될 수 있는 필터들에 대한 주파수 범위들을 맞추도록 한다. 저역 통과 필터, 고역 통과 필터, 및/또는 대역 통과 필터는 햅틱 감각들이 적용될 수 있는 사운드 데이터의 서로 다른 주파수 범위들을 분리시키기 위해 사용될 수 있다. 사용자는 상기 필터들에 대한 컷오프 및 범위제한들을 세팅할 수 있고, 저역 통과 필터는 사용자 지정 컷오프 이상의 주파수들을 제거하고, 고역 통과 필터는 사용자 지정 컷오프 이하의 주파수들을 제거하며, 대역 통과 필터는 사용자가 지정한 주파수 범위 이외의 주파수들을 제거한다.
서로다른 사운드 형태들이 서로다른 주파수 범위들에 의존하기 때문에, 필터들은 사운드 편집 작업에서 사용될 수 있다. 예를 들면, 음성에서 의미 있는 정보는 일반적으로 높은 주파수들에서 존재하기 때문에 사용자 편집 음성은 고역 통과 필터를 적용하며, 적합한 주파수들만이 존재하게 된다. 원하는 음성 특징들은 상기 적합한 주파수들에서 더 쉽게 발견된다. 유사하게, 강하고 무거운 비트들 또는 리듬들(예를 들어, 락앤롤, 댄스뮤직, 랩과 같은)에 따라 결정되는 음악은 낮은 주파수들에서 많은 정보를 운반하는데 비해 더 고전적인 음악은 높거나 중간 범위의 주파수들에 집중하며; 적절한 필터들이 의미 있는 주파수 범위를 분리시키기 위해 플레이되는 음악의 스타일에서 사용될 수 있다. 필터들은 또한 주파수 컨텐츠가 악기의 특성들을 매칭시키기 위해 제어될 수 있기 때문에 사운드 데이터 내의 개별 악기들의 사운드들을 편집할 때 사용될 수 있다.
화성 트래킹 세팅(508)은 사용자에 의해 온 또는 오프로 세팅될 수 있다. 화성 트래킹 특징은 만약 온으로 세팅되면, 햅틱 감각들(예를 들면, 텍스처 또는 진동들)을 사운드의 화성 컨텐트 또는 음색으로 맵핑시킬 수 있다. 햅틱 텍스처는 멈춤들, 또는 요동들과 같은 짧은 햅틱 특징들의 패턴이며, 미리결정된 방식에서 배치되거나 조직되고, 햅틱 디바이스의 사용자 조종이 텍스처 필드의 각각의 "범프(bump)" 위치(예를 들면, 멈춤, 요동, 등과 같은)에서 이동되는 것과 같이 출력된다. 햅틱 텍스처는 출력 사운드의 음색과 관련될 수 있다. 예를 들면, 추가 배치된 "범프들"을 가지는 명확하고 간단한 햅틱 텍스처는 단음들이 사운드로 출력되는 동안 햅틱으로 출력될 수 있다. 대조적으로, 인접 배치된 덤프들을 가지는 복잡하고 난해한 텍스처들은 사운드의 복합음들이 출력될 때 햅틱으로 출력될 수 있다. 플룻의 사운드는 단음이며 매우 가볍고 단순한 햅틱 텍스처로 맵핑될 수 있거나 어떤 텍스처로도 전혀 맵핑될 수 없다. 스펙트럼의 다른 단부에서, 전기 기타의 왜곡된 사운드는 매우 복합적인 음이며 강하고 복잡한 햅틱 텍스처들로 맵핑될 수 있다. 텍스처들은 위치 제어 모드들에 더 적합하며, 레이트 제어 모드들에서, 진동들은 멀리 떨어진 텍스처들에 상응하는 낮은 주파수의 진동들과 인접하는 텍스처들에 상응하는 높은 주파수의 진동들과 함께 유사하게 출력될 수 있다.
이펙트들의 세팅들은 사용자가 임의의 햅틱 감각들을 감지하는 방법을 조절하도록 한다. 연속 세팅(510)은 사용자가 햅틱 출력이 계속해서 변하는지 아니면 이벤트에 기초하는지의 여부를 선택하도록 한다. 만약 "계속"이 선택되면, 햅틱 출력은 도 9a 및 9b를 참조로 하여 전술된 것과 같이 사운드 특성들이 변함에 따라 실시간으로 변화한다. 이는 만약 사용자가 네비게이션 동안 사운드의 크기를 계속하여 트래킹하기를 원했다면 선택될 수 있다. 만약 "이벤트 기반"이 선택되면, 도 6을 참조로 하여 전술된 크기의 상승과 같이 사운드 데이터 내의 중요한 이벤트들만이 햅틱 이벤트들을 트리거한다. 예를 들면, 비트, 크기 피크값은 햅틱 멈춤을 트리거시킬 수 있다. 다른 실시예들에서, 사용자는 레지스턴스 포스에서 오버레이되는 요동들 또는 멈춤들로 보충되는 계속적인 레지스턴스들과 같은 모든 연속적인 햅틱 출력과 이벤트 기반의 햅틱 출력을 허용하도록 선택할 수 있다.
사운드 대 포스 크기 맵핑 세팅(512)은 사용자가 햅틱 출력 응답이 출력되는 방법을 선택하도록 한다. 예를 들면, 직접 맵핑이 선택되면, 도 9a를 참조로 하여 전술된 것과 같이 더 큰 사운드 크기는 더 큰 크기의 햅틱 포스들을 발생한다. 반전된 맵핑이 선택되면, 도 9b를 참조로 하여 전술된 것과 같이 더 큰 사운드 크기는 더 약한 크기의 햅틱 포스들을 발생한다. 상기 맵핑은 연속성 세팅(510)의 계속 세팅 또는 이벤트 기반 세팅(예를 들어 반전된 멈춤들이 출력될 수 있는 것과 같이)에 적용할 수 있다.
파형(514)은 메모리에서 로딩되는 사운드 데이터를 나타내는 파형을 그래픽으로 표현한다. 파형은 예를 들면 사용자가 사운드 데이터를 통해 네비게이팅함으로써 디스플레이될 수 있다. 전체 사운드 데이터 파일은 파형으로 표현될 수 있으며, 또는 사운드 데이터의 섹션이 표현될 수 있다. 도시된 예에서, 커서(516)는 파형의 현재 재생 위치를 나타내는 수직 바이다. 사운드의 네비게이션 및 재생 동안, 커서(516)는 재생 방향과 상응하는 방향으로 이동하며, 재생 레이트로 이동한다(선택적으로, 전체 파형은 스크롤될 수 있고 커서는 안정적이다). 따라서 사용자는 커서가 사운드내의 특징들을 이동할 때 시각적으로 감지할 수 있고 상기 특징들에 상응하는 햅틱 감각을 느낄 수 있다. 햅틱 감각들로 맵핑된 사운드 특성들을 나타내기 위한 표식들을 저장하는 사전 처리 실시예에서, 표식들은 파형과 관련하여 그들의 위치가 디스플레이될 수 있다.
본 발명은 음악 또는 음성을 위해 사용되는 파일들과 같은, 다수의 표준화된 포맷들(wav, mp3, MIDI 등) 중 하나에서 존재할 수 있는 독립적인 사운드 파일들을 위해 사용될 수 있다. 추가로, 본 발명은 비디오, 영화, 및 애니메이션과 같은 시각적인 연출물들을 나타내는 다른 데이터와 함께 통합될 수 있는 사운드 데이터를 위해 사용될 수 있다.
개시된 실시예의 전술된 설명은 당업자가 본 발명을 구현하고 이용하기에 용이하도록 하기 위하여 제공되었다. 이들 실시예에 대한 여러 가지 변형은 당 업자에게 자명하며, 여기서 한정된 포괄적인 원리는 본 발명의 사용 없이도 다른 실시예에 적용될 수 있다. 따라서, 본 발명은 설명된 실시예에 한정되는 것이 아니며, 여기에 개시된 원리 및 신규한 특징에 나타낸 가장 넓은 범위에 따른다.

Claims (29)

  1. 사운드 데이터의 네비게이팅 및 편집을 지원하기 위해 햅틱 감각(haptic sensation)들과 사운드 데이터를 결합하는 방법으로서,
    상기 사운드 데이터의 적어도 일부분을 컴퓨터의 메모리에 로딩시키는 단계;
    오디오 신호가 발생되어 오디오 디바이스로부터 사운드를 출력하기 위해 사용되도록 상기 사운드 데이터를 플레이하는 단계 - 상기 사운드의 상기 플레이 단계는 상기 사운드 데이터의 네비게이션을 위해 사용자로부터 상기 컴퓨터에 의해 수신되는 사용자 입력에 의해 제어됨- ; 및
    상기 사운드 데이터에 기초하여 햅틱 명령들을 발생시키는 단계
    를 포함하며, 상기 햅틱 명령들은 상기 사용자에 의해 조종되고 상기 컴퓨터와 통신하는 햅틱 피드백 디바이스에 의하여 상기 사용자에게 햅틱 감각들을 출력하기 위해 사용되며, 상기 햅틱 감각들은 상기 사운드 데이터의 상기 네비게이션 및 편집 동안 상기 사용자가 상기 사운드 데이터의 특징들을 구분하는 것을 지원하도록 상기 사운드 데이터의 하나 이상의 특성들에 대응하는, 햅틱 감각들과 사운드 데이터의 결합 방법.
  2. 제 1항에 있어서,
    상기 사용자는 상기 사운드 데이터의 상기 플레이 단계의 속도를 제어할 수 있는 것을 특징으로 하는 햅틱 감각들과 사운드 데이터의 결합 방법.
  3. 제 1항에 있어서,
    상기 사용자는 상기 사운드 데이터의 상기 플레이 단계의 방향을 제어할 수 있으며, 상기 방향은 순방향 및 역방향을 포함하는 것을 특징으로 하는 햅틱 감각들과 사운드 데이터의 결합 방법.
  4. 제 1항에 있어서,
    상기 햅틱 감각들은 상기 사운드 데이터의 상기 플레이 단계 동안 계속해서 출력되고, 상기 출력된 햅틱 감각은 현재 플레이되고 있는 상기 사운드 데이터의 진폭에 기초하는 크기를 가지는 것을 특징으로 하는 햅틱 감각들과 사운드 데이터의 결합 방법.
  5. 제 4항에 있어서,
    상기 햅틱 감각들은 상기 플레이되는 사운드 데이터의 상기 진폭과 정비례하는 크기를 가지는 것을 특징으로 하는 햅틱 감각들과 사운드 데이터의 결합 방법.
  6. 제 4항에 있어서,
    상기 햅틱 감각들은 상기 플레이되는 사운드 데이터의 상기 진폭과 반비례하는 크기를 가지는 것을 특징으로 하는 햅틱 감각들과 사운드 데이터의 결합 방법.
  7. 제 1항에 있어서,
    상기 햅틱 감각들은 미리결정된 특성들을 가지는 상기 사운드 데이터의 피쳐들이 플레이될 때만 출력되는 것을 특징으로 하는 햅틱 감각들과 사운드 데이터의 결합 방법.
  8. 제 7항에 있어서,
    상기 미리결정된 특성들은 상기 사운드 데이터의 진폭의 미리결정된 임계값 이상으로의 상승을 포함하는 것을 특징으로 하는 햅틱 감각들과 사운드 데이터의 결합 방법.
  9. 제 8항에 있어서,
    상기 미리결정된 특성들은 상기 진폭의 상승 이후에 미리결정된 양의 진폭의 강하를 포함하는 것을 특징으로 하는 햅틱 감각들과 사운드 데이터의 결합 방법.
  10. 제 7항에 있어서,
    상기 미리결정된 특성들은 진폭의 두개의 피크값들 사이에서 발생해야만 하는 최소 시간 간격을 포함하여, 햅틱 감각이 상기 피크값들 중 두 번째 피크값이 플레이될 때 출력되는 것을 특징으로 하는 햅틱 감각들과 사운드 데이터의 결합 방법.
  11. 제 1항에 있어서,
    상기 사운드 데이터에 의해 발생되는 사운드의 원하지 않는 주파수들이 제거되고 원하는 범위의 주파수들만이 유지되도록 상기 사운드 데이터를 필터링 하는 단계를 더 포함하는 것을 특징으로 하는 햅틱 감각들과 사운드 데이터의 결합 방법.
  12. 제 11항에 있어서,
    상기 원하는 범위의 주파수들은 특정 타입의 햅틱 감각과 결합되는 것을 특징으로 하는 햅틱 감각들과 사운드 데이터의 결합 방법.
  13. 제 1항에 있어서,
    상기 사운드 데이터내의 특정 위치에 대해 이전에 저장된 표식(marker)이 상기 사운드의 상기 플레이 단계 동안 도달되면, 상기 햅틱 명령들 중 하나가 발생되어 햅틱 감각이 출력되는 것을 특징으로 하는 햅틱 감각들과 사운드 데이터의 결합 방법.
  14. 제 1항에 있어서,
    제 2 버퍼에 상기 사운드 데이터의 일부분을 저장하는 단계 및 상기 사운드 데이터의 상기 플레이 단계 동안 상기 사운드 데이터에서 상기 하나 이상의 특성들을 실시간으로 발견하기 위해 상기 사운드 데이터의 상기 부분을 처리하는 단계를 더 포함하는 것을 특징으로 하는 햅틱 감각들과 사운드 데이터의 결합 방법.
  15. 제 1항에 있어서,
    상기 사운드 데이터의 시각적인 표현 및 플레이되고 있는 상기 사운드 데이터의 현재 부분을 나타내기 위한 이동 커서를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 햅틱 감각들과 사운드 데이터의 결합 방법.
  16. 사운드 데이터가 사용자에게 플레이될 때 상기 사운드 데이터와 결합된 햅틱 감각들이 출력되도록, 사운드 데이터를 사전처리하는 방법으로서,
    사운드 파형을 표현하는(describe) 상기 사운드 데이터의 적어도 일부분을 컴퓨터의 메모리에 로딩시키는 단계;
    하나 이상의 미리결정된 특성들을 가지는 사운드 피쳐를 발견하기 위해 상기 사운드 데이터를 처리하는 단계; 및
    상기 사운드 피쳐가 발견되면, 표식들의 리스트에 표식을 저장하는 단계
    를 포함하며, 상기 표식은 상기 사운드 데이터 내에 상기 결합된 사운드 피쳐의 위치를 나타내며, 상기 위치는 적어도 하나의 햅틱 감각과 결합되어 상기 사운드 데이터가 플레이될 때, 상기 사운드 데이터의 상기 플레이 단계 동안 상기 표식이 도달되면 상기 결합된 적어도 하나의 햅틱 감각이 사용자에게 출력되도록 하는, 사운드 데이터의 사전처리 방법.
  17. 제 16항에 있어서,
    상기 하나 이상의 미리결정된 특성들은 상기 사운드 데이터에 의해 표현되는 상기 사운드 파형의 진폭의 상승을 포함하며, 상기 진폭의 상승은 미리결정된 임계값 진폭 이상인 것을 특징으로 하는 사운드 데이터의 사전처리 방법.
  18. 제 16항에 있어서,
    상기 하나 이상의 미리결정된 특성들은 상기 진폭의 상승 이후에 미리결정된 양의 진폭의 강하를 포함하는 것을 특징으로 하는 사운드 데이터의 사전처리 방법.
  19. 제 16항에 있어서,
    상기 하나 이상의 미리결정된 특성들은 상기 사운드 파형의 진폭에서 두개의 피크값들 사이에서 발생해야만 하는 최소 시간 간격을 포함하여, 햅틱 감각이 상기 피크값들 중 두 번째 피크값이 플레이될 때 출력되는 것을 특징으로 하는 사운드 데이터의 사전처리 방법.
  20. 제 16항에 있어서,
    상기 사운드 데이터의 상기 처리 단계는 상기 사운드 데이터의 원하지 않는 주파수들이 제거되도록 상기 사운드 데이터를 필터링 하는 단계를 포함하는 것을 특징으로 하는 사운드 데이터의 사전처리 방법.
  21. 제 16항에 있어서,
    상기 표식들 중 특정 표식과 결합될 하나 이상의 특정 햅틱 감각들의 지시자를 저장하는 단계를 더 포함하는 것을 특징으로 하는 사운드 데이터의 사전처리 방법.
  22. 제 21항에 있어서,
    상기 하나 이상의 특정 햅틱 감각들의 타입은 상기 특정 표식이 참조하는 상기 사운드 피쳐의 상기 하나 이상의 미리결정된 특성들에 기초하는 것을 특징으로 하는 사운드 데이터의 사전처리 방법.
  23. 사운드 데이터의 네비게이팅 및 편집을 지원하도록 햅틱 감각들과 상기 사운드 데이터를 결합하는 단계들을 수행하기 위한 프로그램 명령어들을 포함하는 컴퓨터 판독 가능한 매체로서, 상기 단계들은,
    상기 사운드 데이터의 적어도 일부분을 컴퓨터의 메모리에 로딩시키는 단계;
    오디오 신호가 발생되어 오디오 디바이스로부터 오디오 사운드를 출력하기 위해 사용되도록 상기 사운드 데이터를 플레이하는 단계 - 상기 사운드의 상기 플레이 단계는 상기 사운드 데이터의 네비게이션을 위해 사용자로부터 상기 컴퓨터에 의해 수신되는 사용자 입력에 의해 제어됨 - ; 및
    상기 사운드 데이터에 기초하여 햅틱 명령들을 발생시키는 단계
    를 포함하며, 상기 햅틱 명령들은 상기 사용자에 의해 조종되고 상기 컴퓨터와 통신하는 햅틱 피드백 디바이스에 의하여 상기 사용자에게 햅틱 감각들을 출력하기 위해 사용되며, 상기 햅틱 감각들은 상기 사운드 데이터의 상기 네비게이션 및 편집 동안 상기 사용자가 상기 사운드 데이터의 피쳐들을 구분하는 것을 지원하도록 상기 사운드 데이터의 하나 이상의 특성들에 대응하는, 컴퓨터 판독 가능한 매체.
  24. 제 23항에 있어서,
    상기 사용자는 상기 사운드 데이터의 상기 플레이 단계의 속도를 제어할 수 있는 것을 특징으로 하는 컴퓨터 판독 가능한 매체.
  25. 제 23항에 있어서,
    상기 사용자는 상기 사운드 데이터의 상기 플레이 단계의 방향을 조절할 수 있으며, 상기 방향은 순방향 및 역방향을 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 매체.
  26. 제 23항에 있어서,
    상기 햅틱 감각들은 상기 사운드 데이터의 상기 플레이 단계 동안 계속해서 출력되고, 상기 출력된 햅틱 감각은 현재 플레이되고 있는 상기 사운드 데이터의 진폭에 기초하는 크기를 가지는 것을 특징으로 하는 컴퓨터 판독 가능한 매체.
  27. 제 23항에 있어서,
    상기 햅틱 감각들은 미리결정된 특성들을 가지는 상기 사운드 데이터의 피쳐들이 플레이될 때만 출력되는 것을 특징으로 하는 컴퓨터 판독 가능한 매체.
  28. 제 23항에 있어서,
    상기 사운드 데이터내의 특정 위치에 대해 이전에 저장된 표식이 상기 사운드의 상기 플레이 단계 동안 도달되면 상기 햅틱 명령들 중 하나가 발생되어 햅틱 감각이 출력되는 것을 특징으로 하는 컴퓨터 판독 가능한 매체.
  29. 제 23항에 있어서,
    제 2 버퍼에 상기 사운드 데이터의 일부분을 저장하는 단계 및 상기 사운드 데이터의 상기 플레이 단계 동안 상기 사운드 데이터 내에서 상기 하나 이상의 특성들을 실시간으로 발견하기 위해 상기 사운드 데이터의 상기 부분을 처리하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 매체.
KR1020047005242A 2001-10-10 2002-10-08 햅틱 피드백을 사용하는 사운드 데이터의 출력 및 조종 KR100914086B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/975,320 US6703550B2 (en) 2001-10-10 2001-10-10 Sound data output and manipulation using haptic feedback
US09/975,320 2001-10-10
PCT/US2002/031980 WO2003032538A2 (en) 2001-10-10 2002-10-08 Sound data output and manipulation using haptic feedback

Publications (2)

Publication Number Publication Date
KR20040053156A KR20040053156A (ko) 2004-06-23
KR100914086B1 true KR100914086B1 (ko) 2009-08-27

Family

ID=25522910

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047005242A KR100914086B1 (ko) 2001-10-10 2002-10-08 햅틱 피드백을 사용하는 사운드 데이터의 출력 및 조종

Country Status (7)

Country Link
US (4) US6703550B2 (ko)
EP (1) EP1438111B1 (ko)
JP (3) JP4751019B2 (ko)
KR (1) KR100914086B1 (ko)
CN (1) CN100350992C (ko)
AU (1) AU2002347829A1 (ko)
WO (1) WO2003032538A2 (ko)

Families Citing this family (348)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7225404B1 (en) * 1996-04-04 2007-05-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US6084587A (en) * 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
US7091948B2 (en) * 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
US7808479B1 (en) * 2003-09-02 2010-10-05 Apple Inc. Ambidextrous mouse
US6421048B1 (en) 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
US6552722B1 (en) * 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
US7202851B2 (en) 2001-05-04 2007-04-10 Immersion Medical Inc. Haptic interface for palpation simulation
US6937033B2 (en) * 2001-06-27 2005-08-30 Immersion Corporation Position sensor with resistive element
US7877243B2 (en) * 2001-07-16 2011-01-25 Immersion Corporation Pivotable computer interface
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US7084856B2 (en) * 2001-10-22 2006-08-01 Apple Computer, Inc. Mouse having a rotary dial
US7345671B2 (en) * 2001-10-22 2008-03-18 Apple Inc. Method and apparatus for use of rotational user inputs
US7046230B2 (en) * 2001-10-22 2006-05-16 Apple Computer, Inc. Touch pad handheld device
US7312785B2 (en) * 2001-10-22 2007-12-25 Apple Inc. Method and apparatus for accelerated scrolling
US7333092B2 (en) * 2002-02-25 2008-02-19 Apple Computer, Inc. Touch pad for handheld device
US7656393B2 (en) 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
BR0313750A (pt) * 2002-08-23 2005-06-21 Pfizer Prod Inc Aparelho para distribuição de artigos
US7358963B2 (en) * 2002-09-09 2008-04-15 Apple Inc. Mouse having an optically-based scrolling feature
WO2004061594A2 (en) * 2002-12-16 2004-07-22 Microsoft Corporation Systems and metzhods for interfacing with computer devices
AU2003297172A1 (en) * 2002-12-16 2004-07-22 Microsoft Corporation Systems and methods for interfacing with computer devices
JP2006510335A (ja) * 2002-12-16 2006-03-23 マイクロソフト コーポレーション コンピュータ装置とインタフェースをとるシステム及び方法
JP4019996B2 (ja) * 2003-04-02 2007-12-12 ヤマハ株式会社 制御装置
US7310498B2 (en) * 2003-04-09 2007-12-18 Standard Microsystems Corporation Communication protocol for personal computer system human interface devices over a low bandwidth, bi-directional radio frequency link
US20040203480A1 (en) * 2003-04-09 2004-10-14 Dutton Drew J. Configuration and management of human interface and other attached devices through bi-directional radio frequency link
JP4310127B2 (ja) * 2003-04-14 2009-08-05 アルプス電気株式会社 力覚付与型入力装置
US7477237B2 (en) * 2003-06-03 2009-01-13 Immersion Corporation Systems and methods for providing a haptic manipulandum
US7010442B2 (en) * 2003-08-07 2006-03-07 Agilent Technologies, Inc. Systems and methods for operating a measurement and testing instrument
US20060181517A1 (en) * 2005-02-11 2006-08-17 Apple Computer, Inc. Display actuator
US20070152977A1 (en) 2005-12-30 2007-07-05 Apple Computer, Inc. Illuminated touchpad
US7499040B2 (en) 2003-08-18 2009-03-03 Apple Inc. Movable touch pad with added functionality
JP4713070B2 (ja) * 2003-08-26 2011-06-29 ヤマハ株式会社 ポインティングデバイス
US7495659B2 (en) * 2003-11-25 2009-02-24 Apple Inc. Touch pad for handheld device
US8059099B2 (en) 2006-06-02 2011-11-15 Apple Inc. Techniques for interactive input to portable electronic devices
US7719142B2 (en) 2003-12-22 2010-05-18 Lear Corporation Audio and tactile switch feedback for motor vehicle
US7742036B2 (en) * 2003-12-22 2010-06-22 Immersion Corporation System and method for controlling haptic devices having multiple operational modes
US7112737B2 (en) * 2003-12-31 2006-09-26 Immersion Corporation System and method for providing a haptic effect to a musical instrument
US7336256B2 (en) * 2004-01-30 2008-02-26 International Business Machines Corporation Conveying the importance of display screen data using audible indicators
US7166795B2 (en) * 2004-03-19 2007-01-23 Apple Computer, Inc. Method and apparatus for simulating a mechanical keyboard action in an electronic keyboard
US7289106B2 (en) * 2004-04-01 2007-10-30 Immersion Medical, Inc. Methods and apparatus for palpation simulation
WO2006004894A2 (en) 2004-06-29 2006-01-12 Sensable Technologies, Inc. Apparatus and methods for haptic rendering using data in a graphics pipeline
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US20060017691A1 (en) * 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
US20080129707A1 (en) * 2004-07-27 2008-06-05 Pryor Timothy R Method and apparatus employing multi-functional controls and displays
US20110191674A1 (en) * 2004-08-06 2011-08-04 Sensable Technologies, Inc. Virtual musical interface in a haptic virtual environment
CN100555200C (zh) * 2004-08-16 2009-10-28 苹果公司 触敏器件和提高触敏器件的空间分辨率的方法
US20060060068A1 (en) * 2004-08-27 2006-03-23 Samsung Electronics Co., Ltd. Apparatus and method for controlling music play in mobile communication terminal
US20100231506A1 (en) * 2004-09-07 2010-09-16 Timothy Pryor Control of appliances, kitchen and home
JP2006085045A (ja) * 2004-09-17 2006-03-30 Sony Corp 情報処理装置および方法、記録媒体、プログラム、並びに情報処理システム
US9046922B2 (en) * 2004-09-20 2015-06-02 Immersion Corporation Products and processes for providing multimodal feedback in a user interface device
WO2006051581A1 (ja) * 2004-11-09 2006-05-18 Takahiko Suzuki 触覚フィードバックコントローラ及びその制御方法並びに触覚フィードバックコントローラを用いたメッセージ伝達方法
JP4672347B2 (ja) * 2004-12-01 2011-04-20 アルパイン株式会社 振動機能付き操作入力装置
JP4848288B2 (ja) * 2004-12-20 2011-12-28 パイオニア株式会社 情報処理装置および情報処理方法
US7724239B2 (en) * 2005-02-22 2010-05-25 Research In Motion Limited Handheld electronic device, cursor positioning sub-system and method employing cursor scaling control
US20060205439A1 (en) * 2005-03-09 2006-09-14 Nokia Corporation System and method for background sound scan element of a user interface
US20060256293A1 (en) * 2005-05-11 2006-11-16 Lawson Jack L Image projection system
US7710397B2 (en) * 2005-06-03 2010-05-04 Apple Inc. Mouse with improved input mechanisms using touch sensors
US7671837B2 (en) 2005-09-06 2010-03-02 Apple Inc. Scrolling input arrangements using capacitive sensors on a flexible membrane
WO2007030603A2 (en) * 2005-09-08 2007-03-15 Wms Gaming Inc. Gaming machine having display with sensory feedback
US7880729B2 (en) * 2005-10-11 2011-02-01 Apple Inc. Center button isolation ring
US8700791B2 (en) 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US8077147B2 (en) * 2005-12-30 2011-12-13 Apple Inc. Mouse with optical sensing surface
US20070152983A1 (en) 2005-12-30 2007-07-05 Apple Computer, Inc. Touch pad with symbols based on mode
JP4752562B2 (ja) * 2006-03-24 2011-08-17 ヤマハ株式会社 鍵駆動装置及び鍵盤楽器
US7745713B2 (en) * 2006-03-28 2010-06-29 Yamaha Corporation Electronic musical instrument with direct print interface
JP2007271861A (ja) * 2006-03-31 2007-10-18 Yamaha Corp 電子楽器およびプログラム
US8210942B2 (en) * 2006-03-31 2012-07-03 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
CN104063056B (zh) * 2006-04-06 2018-04-20 意美森公司 用于增强的触觉效果的系统和方法
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) * 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US20100292706A1 (en) * 2006-04-14 2010-11-18 The Regents Of The University California Novel enhanced haptic feedback processes and products for robotic surgical prosthetics
US20080005262A1 (en) * 2006-06-16 2008-01-03 Henry Wurzburg Peripheral Sharing USB Hub for a Wireless Host
US8022935B2 (en) 2006-07-06 2011-09-20 Apple Inc. Capacitance sensing electrode with integrated I/O mechanism
US9360967B2 (en) * 2006-07-06 2016-06-07 Apple Inc. Mutual capacitance touch sensing device
US8743060B2 (en) 2006-07-06 2014-06-03 Apple Inc. Mutual capacitance touch sensing device
US20080006454A1 (en) * 2006-07-10 2008-01-10 Apple Computer, Inc. Mutual capacitance touch sensing device
US7795553B2 (en) 2006-09-11 2010-09-14 Apple Inc. Hybrid button
JP5028931B2 (ja) * 2006-09-28 2012-09-19 ヤマハ株式会社 パラメータ設定装置
US8274479B2 (en) * 2006-10-11 2012-09-25 Apple Inc. Gimballed scroll wheel
US20080088600A1 (en) * 2006-10-11 2008-04-17 Apple Inc. Method and apparatus for implementing multiple push buttons in a user input device
US20080088597A1 (en) * 2006-10-11 2008-04-17 Apple Inc. Sensor configurations in a user input device
US8482530B2 (en) * 2006-11-13 2013-07-09 Apple Inc. Method of capacitively sensing finger position
KR101515767B1 (ko) * 2006-12-27 2015-04-28 임머숀 코퍼레이션 진동 촉각 피드백을 통한 가상 디텐트
KR100842733B1 (ko) * 2007-02-05 2008-07-01 삼성전자주식회사 터치스크린을 구비한 멀티미디어 재생장치의 사용자인터페이스 방법
JP5066966B2 (ja) * 2007-03-23 2012-11-07 ヤマハ株式会社 演奏支援装置、コントローラ及びプログラム
US8199033B2 (en) * 2007-07-06 2012-06-12 Pacinian Corporation Haptic keyboard systems and methods
US7741979B2 (en) 2007-07-06 2010-06-22 Pacinian Corporation Haptic keyboard systems and methods
US8248277B2 (en) * 2007-07-06 2012-08-21 Pacinian Corporation Haptic keyboard systems and methods
US9654104B2 (en) 2007-07-17 2017-05-16 Apple Inc. Resistive force sensor with capacitive discrimination
US8683378B2 (en) 2007-09-04 2014-03-25 Apple Inc. Scrolling techniques for user interfaces
CN201315050Y (zh) 2007-09-04 2009-09-23 苹果公司 紧凑输入装置
US20090073130A1 (en) * 2007-09-17 2009-03-19 Apple Inc. Device having cover with integrally formed sensor
US20090091479A1 (en) * 2007-10-04 2009-04-09 Motorola, Inc. Keypad haptic communication
FR2922035B1 (fr) * 2007-10-08 2016-09-30 Dav Procede de commande d'un dispositif de commande a surface tactile et dispositif de commande electrique a surface tactile comportant des moyens de mise en oeuvre dudit procede
KR100814685B1 (ko) * 2007-10-12 2008-03-18 그로위드(주) 진동 마우스 구동 장치
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
KR101464740B1 (ko) * 2007-10-18 2014-11-25 엘지전자 주식회사 음원 재생 장치 및 음원 재생 장치의 리듬 게임 구현 방법
US8416198B2 (en) 2007-12-03 2013-04-09 Apple Inc. Multi-dimensional scroll wheel
FR2925708B1 (fr) * 2007-12-20 2009-12-18 Dav Procede de detection d'une variation angulaire d'une trajectoire de commande sur une surface tactile et module de commande correspondant
US9159325B2 (en) * 2007-12-31 2015-10-13 Adobe Systems Incorporated Pitch shifting frequencies
US8547339B2 (en) 2008-01-04 2013-10-01 Tactus Technology, Inc. System and methods for raised touch screens
US8928621B2 (en) 2008-01-04 2015-01-06 Tactus Technology, Inc. User interface system and method
US8570295B2 (en) 2008-01-04 2013-10-29 Tactus Technology, Inc. User interface system
US9128525B2 (en) 2008-01-04 2015-09-08 Tactus Technology, Inc. Dynamic tactile interface
US9552065B2 (en) 2008-01-04 2017-01-24 Tactus Technology, Inc. Dynamic tactile interface
US9367132B2 (en) 2008-01-04 2016-06-14 Tactus Technology, Inc. User interface system
US9588683B2 (en) 2008-01-04 2017-03-07 Tactus Technology, Inc. Dynamic tactile interface
US9274612B2 (en) 2008-01-04 2016-03-01 Tactus Technology, Inc. User interface system
US8243038B2 (en) 2009-07-03 2012-08-14 Tactus Technologies Method for adjusting the user interface of a device
US9612659B2 (en) 2008-01-04 2017-04-04 Tactus Technology, Inc. User interface system
US20160187981A1 (en) 2008-01-04 2016-06-30 Tactus Technology, Inc. Manual fluid actuator
US9063627B2 (en) 2008-01-04 2015-06-23 Tactus Technology, Inc. User interface and methods
US9298261B2 (en) 2008-01-04 2016-03-29 Tactus Technology, Inc. Method for actuating a tactile interface layer
US9280224B2 (en) 2012-09-24 2016-03-08 Tactus Technology, Inc. Dynamic tactile interface and methods
US8553005B2 (en) 2008-01-04 2013-10-08 Tactus Technology, Inc. User interface system
US8456438B2 (en) 2008-01-04 2013-06-04 Tactus Technology, Inc. User interface system
US9720501B2 (en) 2008-01-04 2017-08-01 Tactus Technology, Inc. Dynamic tactile interface
US9430074B2 (en) 2008-01-04 2016-08-30 Tactus Technology, Inc. Dynamic tactile interface
US8922510B2 (en) 2008-01-04 2014-12-30 Tactus Technology, Inc. User interface system
US9052790B2 (en) 2008-01-04 2015-06-09 Tactus Technology, Inc. User interface and methods
US8947383B2 (en) 2008-01-04 2015-02-03 Tactus Technology, Inc. User interface system and method
US8179375B2 (en) * 2008-01-04 2012-05-15 Tactus Technology User interface system and method
US9557915B2 (en) 2008-01-04 2017-01-31 Tactus Technology, Inc. Dynamic tactile interface
US9013417B2 (en) 2008-01-04 2015-04-21 Tactus Technology, Inc. User interface system
US9423875B2 (en) 2008-01-04 2016-08-23 Tactus Technology, Inc. Dynamic tactile interface with exhibiting optical dispersion characteristics
US8154527B2 (en) 2008-01-04 2012-04-10 Tactus Technology User interface system
US8125461B2 (en) 2008-01-11 2012-02-28 Apple Inc. Dynamic input graphic display
US8310444B2 (en) 2008-01-29 2012-11-13 Pacinian Corporation Projected field haptic actuation
US8820133B2 (en) 2008-02-01 2014-09-02 Apple Inc. Co-extruded materials and methods
US8294600B2 (en) * 2008-02-15 2012-10-23 Cody George Peterson Keyboard adaptive haptic response
US8203531B2 (en) * 2008-03-14 2012-06-19 Pacinian Corporation Vector-specific haptic feedback
US9454256B2 (en) 2008-03-14 2016-09-27 Apple Inc. Sensor configurations of an input device that are switchable based on mode
JP5499030B2 (ja) * 2008-08-11 2014-05-21 イマージョン コーポレーション 音楽ゲームのための触覚的に使用可能にしたゲーム周辺機器
US8890869B2 (en) * 2008-08-12 2014-11-18 Adobe Systems Incorporated Colorization of audio segments
US20100058251A1 (en) * 2008-08-27 2010-03-04 Apple Inc. Omnidirectional gesture detection
DE102008039967A1 (de) * 2008-08-27 2010-03-04 Breidenbrücker, Michael Verfahren zum Betrieb eines elektronischen Klangerzeugungsgerätes und zur Erzeugung kontextabhängiger musikalischer Kompositionen
KR100891120B1 (ko) * 2008-09-01 2009-04-03 그로위드(주) 전기/전자기기의 감각소자 구동 및 제어용 패턴 파일 형성 방법과 패턴 파일을 이용한 전기/전자기기의 감각소자 구동 및 제어장치
US8749495B2 (en) 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
US8816967B2 (en) 2008-09-25 2014-08-26 Apple Inc. Capacitive sensor having electrodes arranged on the substrate and the flex circuit
JP4623390B2 (ja) * 2008-10-03 2011-02-02 ソニー株式会社 再生装置、再生方法及び再生プログラム
CA2742289A1 (en) * 2008-11-04 2010-05-14 Bayer Materialscience Ag Electroactive polymer transducers for tactile feedback devices
JP4748215B2 (ja) * 2008-12-09 2011-08-17 ソニー株式会社 サウンド設定装置及びサウンド設定方法
US8395590B2 (en) 2008-12-17 2013-03-12 Apple Inc. Integrated contact switch and touch sensor elements
WO2010078597A1 (en) 2009-01-05 2010-07-08 Tactus Technology, Inc. User interface system
US9588684B2 (en) 2009-01-05 2017-03-07 Tactus Technology, Inc. Tactile interface for a computing device
WO2010078596A1 (en) 2009-01-05 2010-07-08 Tactus Technology, Inc. User interface system
US8760413B2 (en) * 2009-01-08 2014-06-24 Synaptics Incorporated Tactile surface
US8547326B2 (en) * 2009-02-24 2013-10-01 Blackberry Limited Handheld electronic device having gesture-based control and a method of using same
TW201104498A (en) * 2009-03-10 2011-02-01 Artificial Muscle Inc Electroactive polymer transducers for tactile feedback devices
US8686951B2 (en) 2009-03-18 2014-04-01 HJ Laboratories, LLC Providing an elevated and texturized display in an electronic device
US9354751B2 (en) 2009-05-15 2016-05-31 Apple Inc. Input device with optimized capacitive sensing
CN105260110A (zh) 2009-07-03 2016-01-20 泰克图斯科技公司 用户界面增强系统
US8872771B2 (en) 2009-07-07 2014-10-28 Apple Inc. Touch sensing device having conductive nodes
KR101045668B1 (ko) * 2009-08-14 2011-07-14 한국과학기술원 시계열 데이터를 사운드 파일에 인코딩하는 방법, 인코딩된 사운드 파일로부터 시계열 데이터를 디코딩하는 방법 및 이들 방법을 이용한 시계열 데이터 입출력 시스템
US20110063218A1 (en) * 2009-09-15 2011-03-17 International Business Machines Corporation Embedded omni-directional pointer component for limited form factor computing devices
US10068728B2 (en) * 2009-10-15 2018-09-04 Synaptics Incorporated Touchpad with capacitive force sensing
US8624839B2 (en) 2009-10-15 2014-01-07 Synaptics Incorporated Support-surface apparatus to impart tactile feedback
CN102725716B (zh) 2009-12-21 2016-04-13 泰克图斯科技公司 用户界面系统
EP2517089A4 (en) 2009-12-21 2016-03-09 Tactus Technology USER INTERFACE SYSTEM
US9298262B2 (en) 2010-01-05 2016-03-29 Tactus Technology, Inc. Dynamic tactile interface
US8619035B2 (en) 2010-02-10 2013-12-31 Tactus Technology, Inc. Method for assisting user input to a device
US20110199342A1 (en) 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
WO2011133605A1 (en) 2010-04-19 2011-10-27 Tactus Technology Method of actuating a tactile interface layer
CN101850183A (zh) * 2010-05-26 2010-10-06 浙江大学 基于触觉的交互式音乐娱乐设备
US20130116852A1 (en) * 2010-07-16 2013-05-09 Koninklijke Philips Electronics N.V. Device including a multi-actuator haptic surface for providing haptic effects on said surface
KR20120028003A (ko) * 2010-09-14 2012-03-22 삼성전자주식회사 ３차원 촉각 전달 장치 및 방법
JP5647353B2 (ja) 2010-10-20 2014-12-24 タクタス テクノロジーＴａｃｔｕｓ Ｔｅｃｈｎｏｌｏｇｙ ユーザインタフェースシステム
US11314344B2 (en) * 2010-12-03 2022-04-26 Razer (Asia-Pacific) Pte. Ltd. Haptic ecosystem
US20120166188A1 (en) * 2010-12-28 2012-06-28 International Business Machines Corporation Selective noise filtering on voice communications
US8309870B2 (en) 2011-01-04 2012-11-13 Cody George Peterson Leveled touchsurface with planar translational responsiveness to vertical travel
US8912458B2 (en) 2011-01-04 2014-12-16 Synaptics Incorporated Touchsurface with level and planar translational travel responsiveness
US8847890B2 (en) 2011-01-04 2014-09-30 Synaptics Incorporated Leveled touchsurface with planar translational responsiveness to vertical travel
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US9058714B2 (en) 2011-05-23 2015-06-16 Wms Gaming Inc. Wagering game systems, wagering gaming machines, and wagering gaming chairs having haptic and thermal feedback
US9566710B2 (en) 2011-06-02 2017-02-14 Brain Corporation Apparatus and methods for operating robotic devices using selective state space training
US20150127154A1 (en) * 2011-06-02 2015-05-07 Brain Corporation Reduced degree of freedom robotic controller apparatus and methods
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US9142083B2 (en) 2011-06-13 2015-09-22 Bally Gaming, Inc. Convertible gaming chairs and wagering game systems and machines with a convertible gaming chair
US9762719B2 (en) * 2011-09-09 2017-09-12 Qualcomm Incorporated Systems and methods to enhance electronic communications with emotional context
KR101121785B1 (ko) * 2011-10-05 2012-03-09 (주)이미지스테크놀로지 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법
US20130222267A1 (en) * 2012-02-24 2013-08-29 Research In Motion Limited Portable electronic device including touch-sensitive display and method of controlling same
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
EP3444711A1 (en) 2012-04-19 2019-02-20 Nokia Technologies Oy A display apparatus
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
JP6002836B2 (ja) 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
EP2847658B1 (en) 2012-05-09 2017-06-21 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
JP6273263B2 (ja) 2012-05-09 2018-01-31 アップル インコーポレイテッド ユーザ接触に応答して追加情報を表示するための、デバイス、方法、及びグラフィカルユーザインタフェース
EP2847662B1 (en) 2012-05-09 2020-02-19 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
EP2847660B1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US9891709B2 (en) 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
US8860563B2 (en) * 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9063570B2 (en) * 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system
WO2014025786A1 (en) 2012-08-06 2014-02-13 Synaptics Incorporated Touchsurface assembly utilizing magnetically enabled hinge
US9040851B2 (en) 2012-08-06 2015-05-26 Synaptics Incorporated Keycap assembly with an interactive spring mechanism
US9218927B2 (en) 2012-08-06 2015-12-22 Synaptics Incorporated Touchsurface assembly with level and planar translational responsiveness via a buckling elastic component
US9177733B2 (en) 2012-08-06 2015-11-03 Synaptics Incorporated Touchsurface assemblies with linkages
US9368005B2 (en) * 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
CN109710057B (zh) * 2012-09-16 2022-04-12 吴东辉 一种动感重现虚拟现实的方法及系统
JP6071372B2 (ja) * 2012-09-21 2017-02-01 キヤノン株式会社 電子機器及び電子機器の制御方法
US9405417B2 (en) 2012-09-24 2016-08-02 Tactus Technology, Inc. Dynamic tactile interface and methods
US9411507B2 (en) 2012-10-02 2016-08-09 Toyota Motor Engineering & Manufacturing North America, Inc. Synchronized audio feedback for non-visual touch interface system and method
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
EP2936839B1 (en) * 2012-12-20 2020-04-29 Strubwerks LLC Systems and methods for providing three dimensional enhanced audio
BR112015020670B1 (pt) 2013-02-27 2021-12-28 Interdigital Madison Patent Holdings, Sas Método e dispositivo de reprodução de pelo menos uma sequência de um conteúdo de vídeo filmado usando uma câmera e mídia de armazenamento legível por computador
US8754757B1 (en) * 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9384919B2 (en) 2013-03-14 2016-07-05 Synaptics Incorporated Touchsurface assembly having key guides formed in a sheet metal component
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
US9992491B2 (en) 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
KR20140115836A (ko) * 2013-03-22 2014-10-01 삼성전자주식회사 햅틱 효과를 제공하는 휴대 단말 및 방법
US9213372B2 (en) 2013-04-19 2015-12-15 Synaptics Incorporated Retractable keyboard keys
US9390630B2 (en) * 2013-05-03 2016-07-12 John James Daniels Accelerated learning, entertainment and cognitive therapy using augmented reality comprising combined haptic, auditory, and visual stimulation
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9242372B2 (en) 2013-05-31 2016-01-26 Brain Corporation Adaptive robotic interface apparatus and methods
CN105339871B (zh) * 2013-06-11 2018-09-28 苹果公司 用于电子设备的旋转输入机构
US9753436B2 (en) 2013-06-11 2017-09-05 Apple Inc. Rotary input mechanism for an electronic device
US9792546B2 (en) 2013-06-14 2017-10-17 Brain Corporation Hierarchical robotic controller apparatus and methods
US9314924B1 (en) 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
US9557813B2 (en) 2013-06-28 2017-01-31 Tactus Technology, Inc. Method for reducing perceived optical distortion
KR102430508B1 (ko) 2013-08-09 2022-08-09 애플 인크. 전자 디바이스용 촉각 스위치
TWI557596B (zh) 2013-08-19 2016-11-11 瑞昱半導體股份有限公司 具有觸感補償功能之音訊裝置及音訊使用方法
US10599218B2 (en) * 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9401079B2 (en) * 2013-09-06 2016-07-26 Immersion Corporation Method and apparatus of converting control tracks for providing haptic feedback
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9898085B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9711014B2 (en) * 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9579789B2 (en) 2013-09-27 2017-02-28 Brain Corporation Apparatus and methods for training of robotic control arbitration
US9463571B2 (en) 2013-11-01 2016-10-11 Brian Corporation Apparatus and methods for online training of robots
US9597797B2 (en) 2013-11-01 2017-03-21 Brain Corporation Apparatus and methods for haptic training of robots
US9358685B2 (en) 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
US10048802B2 (en) 2014-02-12 2018-08-14 Apple Inc. Rejection of false turns of rotary inputs for electronic devices
JP2015166890A (ja) * 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9542801B1 (en) 2014-04-28 2017-01-10 Bally Gaming, Inc. Wearable wagering game system and methods
US9346167B2 (en) 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US9330547B2 (en) 2014-05-20 2016-05-03 Immersion Corporation Haptic effect authoring tool based on a haptification model
US9323331B2 (en) * 2014-05-21 2016-04-26 International Business Machines Corporation Evaluation of digital content using intentional user feedback obtained through haptic interface
JP2015231098A (ja) 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法
US9715279B2 (en) * 2014-06-09 2017-07-25 Immersion Corporation Haptic devices and methods for providing haptic effects via audio tracks
US10139907B2 (en) * 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
CN104091360A (zh) * 2014-07-28 2014-10-08 周立刚 动感影院生成运动数据的方法与装置
KR102497720B1 (ko) 2014-09-02 2023-02-10 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
WO2016036747A1 (en) 2014-09-02 2016-03-10 Apple Inc. Wearable electronic device
CN111035364A (zh) 2014-09-24 2020-04-21 泰克宣技术有限公司 用于向用户的皮肤施加运动的设备
US9858751B2 (en) 2014-09-26 2018-01-02 Bally Gaming, Inc. Wagering game wearables
CN105527822B (zh) * 2014-09-29 2019-04-26 联想(北京)有限公司 电子设备
US9630318B2 (en) 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
KR101666532B1 (ko) * 2014-12-01 2016-10-14 김정훈 실시간 진동 피드백을 제공하는 진동 마우스
US9919208B2 (en) 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
US9717387B1 (en) 2015-02-26 2017-08-01 Brain Corporation Apparatus and methods for programming and training of robotic household appliances
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
EP3251139B1 (en) 2015-03-08 2021-04-28 Apple Inc. Compressible seal for rotatable and translatable input mechanisms
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US10613629B2 (en) 2015-03-27 2020-04-07 Chad Laurendeau System and method for force feedback interface devices
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10261582B2 (en) * 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10573139B2 (en) 2015-09-16 2020-02-25 Taction Technology, Inc. Tactile transducer with digital signal processing for improved fidelity
GB201516553D0 (en) 2015-09-18 2015-11-04 Microsoft Technology Licensing Llc Inertia audio scrolling
GB201516552D0 (en) * 2015-09-18 2015-11-04 Microsoft Technology Licensing Llc Keyword zoom
US10248207B2 (en) 2015-10-28 2019-04-02 Capital One Services, Llc Systems and methods for providing variable haptic feedback
US9990815B2 (en) * 2016-02-18 2018-06-05 Immersion Corporation Wearable haptic effects with permissions settings
KR101790892B1 (ko) * 2016-05-17 2017-10-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
US9947305B2 (en) * 2016-07-01 2018-04-17 Intel Corporation Bi-directional music synchronization using haptic devices
US10061399B2 (en) 2016-07-15 2018-08-28 Apple Inc. Capacitive gap sensor ring for an input device
US10019097B2 (en) 2016-07-25 2018-07-10 Apple Inc. Force-detecting input structure
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
US10469971B2 (en) 2016-09-19 2019-11-05 Apple Inc. Augmented performance synchronization
EP3544495A4 (en) 2016-11-25 2020-08-19 Kinaptic, LLC HAPTIC HUMAN-MACHINE INTERFACE AND METHODS AND APPARATUS WITH PORTABLE ELECTRONIC ELEMENTS
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US11009957B2 (en) 2017-06-27 2021-05-18 Ford Global Technologies, Llc Haptic device operation
US10962935B1 (en) 2017-07-18 2021-03-30 Apple Inc. Tri-axis force sensor
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
CN111971016B (zh) * 2018-04-13 2022-09-16 保迪弗兰德有限公司 声音输出组件以及按摩装置
EP3783903A1 (en) 2018-04-27 2021-02-24 Spotify AB Media playback actions based on knob rotation
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11009954B2 (en) * 2018-06-02 2021-05-18 Harman International Industries, Incorporated Haptics device for producing directional sound and haptic sensations
US11360440B2 (en) 2018-06-25 2022-06-14 Apple Inc. Crown for an electronic watch
US11561515B2 (en) 2018-08-02 2023-01-24 Apple Inc. Crown for an electronic watch
CN109254651A (zh) * 2018-08-08 2019-01-22 瑞声科技(新加坡)有限公司 一种人机交互方法及装置、终端和计算机可读存储介质
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
US11181863B2 (en) 2018-08-24 2021-11-23 Apple Inc. Conductive cap for watch crown
CN211293787U (zh) 2018-08-24 2020-08-18 苹果公司 电子表
US11194298B2 (en) 2018-08-30 2021-12-07 Apple Inc. Crown assembly for an electronic watch
CN209625187U (zh) 2018-08-30 2019-11-12 苹果公司 电子手表和电子设备
JP7373499B2 (ja) * 2018-10-02 2023-11-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報提供方法、音響機器の制御方法及び情報処理装置
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
US11533557B2 (en) 2019-01-22 2022-12-20 Universal City Studios Llc Ride vehicle with directional speakers and haptic devices
US11194299B1 (en) 2019-02-12 2021-12-07 Apple Inc. Variable frictional feedback device for a digital crown of an electronic watch
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US20220244784A1 (en) * 2019-05-28 2022-08-04 Sony Group Corporation Information processing device, information processing method, and program
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
JP7171530B2 (ja) * 2019-09-20 2022-11-15 日本電信電話株式会社 触覚振動配信装置、触覚振動配信方法、触覚振動配信プログラム
WO2021074107A1 (en) * 2019-10-14 2021-04-22 Lofelt Gmbh Systems and methods for authoring an audio signal and for transforming the authored audio signal into a haptic data file
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662820B2 (en) 2020-01-08 2023-05-30 Dell Products, Lp System for a solid-state keyboard and touchpad providing haptic feedback
US11301053B2 (en) 2020-01-31 2022-04-12 Dell Products, Lp System for providing haptic feedback across full palm rest in fixed position of information handling system
US11579695B2 (en) 2020-01-31 2023-02-14 Dell Products, Lp System and method for generating sound effects on fingertips with piezoelectric actuators of a haptic keyboard
US11294469B2 (en) 2020-01-31 2022-04-05 Dell Products, Lp System and method for processing user input via a reconfigurable haptic interface assembly for displaying a modified keyboard configuration
US11175745B2 (en) 2020-01-31 2021-11-16 Dell Products, Lp System and method for application of piezo electric haptic keyboard personal typing profile
US10860112B1 (en) 2020-01-31 2020-12-08 Dell Products, Lp System for a solid-state keyboard and touchpad with a single sheet cover for providing haptic feedback
US11093048B1 (en) 2020-01-31 2021-08-17 Dell Products, Lp System for modified key actions and haptic feedback for smart typing assist with a solid-state keyboard and touchpad
US11106286B2 (en) 2020-01-31 2021-08-31 Dell Products, Lp System and method for mood detection via piezo haptic keyboard dynamics
US11067269B1 (en) 2020-01-31 2021-07-20 Dell Products, Lp System and method for backlight integration with electrical contact foil in piezoelectric haptic keyboard
US11079849B1 (en) 2020-01-31 2021-08-03 Dell Products, Lp System for extended key actions and haptic feedback and optimized key layout for a solid-state keyboard and touchpad
US11079816B1 (en) 2020-01-31 2021-08-03 Dell Products, Lp System and method for vapor chamber directional heat dissipation for a piezoelectric keyboard assembly
US11106772B2 (en) 2020-01-31 2021-08-31 Dell Products, Lp System and method for continuous user identification via piezo haptic keyboard and touchpad dynamics
US10936073B1 (en) 2020-01-31 2021-03-02 Dell Products, Lp System and method for generating high-frequency and mid-frequency audible sound via piezoelectric actuators of a haptic keyboard
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11550268B2 (en) 2020-06-02 2023-01-10 Apple Inc. Switch module for electronic crown assembly
US11756516B2 (en) * 2020-12-09 2023-09-12 Matthew DeWall Anatomical random rhythm generator
KR102457452B1 (ko) * 2020-12-21 2022-10-21 신성호 촉감 발생 장치 및 그 구동 방법
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
EP4375829A1 (en) * 2022-11-24 2024-05-29 Go Touch VR Method and apparatus of generating haptic effect from audio content

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5959613A (en) * 1995-12-01 1999-09-28 Immersion Corporation Method and apparatus for shaping force signals for a force feedback device
JP2000056943A (ja) * 1998-08-07 2000-02-25 Mitsubishi Electric Corp 設定表示器
US6285351B1 (en) * 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
KR200258353Y1 (ko) * 2000-01-19 2001-12-29 임머숀 코퍼레이션 터치패드용 햅틱 피드백 및 기타 터치 제어장치

Family Cites Families (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3157853A (en) 1957-12-06 1964-11-17 Hirsch Joseph Tactile communication system
US2972140A (en) * 1958-09-23 1961-02-14 Hirsch Joseph Apparatus and method for communication through the sense of touch
GB958325A (en) 1962-07-08 1964-05-21 Communications Patents Ltd Improvements in or relating to ground-based flight training or simulating apparatus
US3497668A (en) 1966-08-25 1970-02-24 Joseph Hirsch Tactile control system
US3517446A (en) 1967-04-19 1970-06-30 Singer General Precision Vehicle trainer controls and control loading
US3623064A (en) 1968-10-11 1971-11-23 Bell & Howell Co Paging receiver having cycling eccentric mass
US3903614A (en) 1970-03-27 1975-09-09 Singer Co Apparatus for simulating aircraft control loading
US3902687A (en) 1973-06-25 1975-09-02 Robert E Hightower Aircraft indicator system
US3911416A (en) 1974-08-05 1975-10-07 Motorola Inc Silent call pager
US4160508A (en) 1977-08-19 1979-07-10 Nasa Controller arm for a remotely related slave arm
US4127752A (en) * 1977-10-13 1978-11-28 Sheldahl, Inc. Tactile touch switch panel
US4262549A (en) * 1978-05-10 1981-04-21 Schwellenbach Donald D Variable mechanical vibrator
US4236325A (en) 1978-12-26 1980-12-02 The Singer Company Simulator control loading inertia compensator
US4334280A (en) * 1980-06-09 1982-06-08 Texas Instruments Incorporated System and method for providing an audible sound and a tactile feedback in an electronic data processing system
US4355348A (en) * 1980-07-30 1982-10-19 Williams Theodore R Audio signal responsive optical display
US4464117A (en) * 1980-08-27 1984-08-07 Dr. Ing. Reiner Foerst Gmbh Driving simulator apparatus
US4333070A (en) * 1981-02-06 1982-06-01 Barnes Robert W Motor vehicle fuel-waste indicator
US4599070A (en) 1981-07-29 1986-07-08 Control Interface Company Limited Aircraft simulator and simulated control system therefor
DE3382431D1 (de) 1982-01-22 1991-11-14 British Aerospace Steuerungsgeraet.
US4484191A (en) * 1982-06-14 1984-11-20 Vavra George S Tactile signaling systems for aircraft
US4937685A (en) 1983-12-02 1990-06-26 Lex Computer And Management Corporation Method of display presentation for video editing
US4581491A (en) 1984-05-04 1986-04-08 Research Corporation Wearable tactile sensory aid providing information on voice pitch and intonation patterns
US5078152A (en) 1985-06-23 1992-01-07 Loredan Biomedical, Inc. Method for diagnosis and/or training of proprioceptor feedback capabilities in a muscle and joint system of a human patient
US4713007A (en) 1985-10-11 1987-12-15 Alban Eugene P Aircraft controls simulator
US5275174B1 (en) 1985-10-30 1998-08-04 Jonathan A Cook Repetitive strain injury assessment
NL8503096A (nl) 1985-11-11 1987-06-01 Fokker Bv Simulator van mechanische eigenschappen van een besturingssysteem.
US4891764A (en) 1985-12-06 1990-01-02 Tensor Development Inc. Program controlled force measurement and control system
US4934694A (en) 1985-12-06 1990-06-19 Mcintosh James L Computer controlled exercise system
US4768412A (en) * 1986-05-09 1988-09-06 Sanderson Stephen N Low profile keyboard device and system for recording and scoring music
US4794392A (en) 1987-02-20 1988-12-27 Motorola, Inc. Vibrator alert device for a communication receiver
US5038089A (en) 1988-03-23 1991-08-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Synchronized computational architecture for generalized bilateral control of robot arms
US4885565A (en) * 1988-06-01 1989-12-05 General Motors Corporation Touchscreen CRT with tactile feedback
NL8801653A (nl) 1988-06-29 1990-01-16 Stork Kwant Bv Besturingsstelsel.
US4930770A (en) 1988-12-01 1990-06-05 Baker Norman A Eccentrically loaded computerized positive/negative exercise machine
JPH02185278A (ja) 1989-01-12 1990-07-19 Taito Corp 光線銃射撃ゲーム装置
US5186695A (en) * 1989-02-03 1993-02-16 Loredan Biomedical, Inc. Apparatus for controlled exercise and diagnosis of human performance
US5019761A (en) 1989-02-21 1991-05-28 Kraft Brett W Force feedback control for backhoe
US5022407A (en) 1990-01-24 1991-06-11 Topical Testing, Inc. Apparatus for automated tactile testing
US5035242A (en) 1990-04-16 1991-07-30 David Franklin Method and apparatus for sound responsive tactile stimulation of deaf individuals
JPH0685820B2 (ja) 1990-04-25 1994-11-02 株式会社エポック社 体感ゲーム機
US5022384A (en) * 1990-05-14 1991-06-11 Capitol Systems Vibrating/massage chair
US5547382A (en) 1990-06-28 1996-08-20 Honda Giken Kogyo Kabushiki Kaisha Riding simulation system for motorcycles
US5165897A (en) * 1990-08-10 1992-11-24 Tini Alloy Company Programmable tactile stimulator array system and method of operation
US5212473A (en) 1991-02-21 1993-05-18 Typeright Keyboard Corp. Membrane keyboard and method of using same
US5334027A (en) 1991-02-25 1994-08-02 Terry Wherlock Big game fish training and exercise device and method
US5240417A (en) 1991-03-14 1993-08-31 Atari Games Corporation System and method for bicycle riding simulation
US5203563A (en) 1991-03-21 1993-04-20 Atari Games Corporation Shaker control device
WO1992016922A1 (en) 1991-03-21 1992-10-01 Atari Games Corporation Vehicle simulator including cross-network feedback
JP3097764B2 (ja) * 1991-03-27 2000-10-10 日本電信電話株式会社 ガイダンス音声付き音声入力装置
US5388992A (en) 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
US5175459A (en) * 1991-08-19 1992-12-29 Motorola, Inc. Low profile vibratory alerting device
US5186629A (en) 1991-08-22 1993-02-16 International Business Machines Corporation Virtual graphics display capable of presenting icons and windows to the blind computer user and method
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5271290A (en) 1991-10-29 1993-12-21 United Kingdom Atomic Energy Authority Actuator assembly
US5309140A (en) 1991-11-26 1994-05-03 The United States Of America As Represented By The Secretary Of The Navy Feedback system for remotely operated vehicles
JPH05192449A (ja) 1992-01-20 1993-08-03 Taito Corp ビデオ式銃撃戦ゲーム装置及びその装置を制御する方法
US5189355A (en) 1992-04-10 1993-02-23 Ampex Corporation Interactive rotary controller system with tactile feedback
JP2677315B2 (ja) 1992-04-27 1997-11-17 株式会社トミー 運転玩具
US5437607A (en) * 1992-06-02 1995-08-01 Hwe, Inc. Vibrating massage apparatus
US7084859B1 (en) * 1992-09-18 2006-08-01 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
JP3381074B2 (ja) * 1992-09-21 2003-02-24 ソニー株式会社 音響構成装置
US5283970A (en) * 1992-09-25 1994-02-08 Strombecker Corporation Toy guns
US6131097A (en) 1992-12-02 2000-10-10 Immersion Corporation Haptic authoring
US5629594A (en) 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US5451924A (en) 1993-01-14 1995-09-19 Massachusetts Institute Of Technology Apparatus for providing sensory substitution of force feedback
US5785630A (en) 1993-02-02 1998-07-28 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5690582A (en) * 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5436622A (en) * 1993-07-06 1995-07-25 Motorola, Inc. Variable frequency vibratory alert method and structure
WO1995002233A1 (en) 1993-07-06 1995-01-19 Cybernet Systems Corporation Method and system for simulating medical procedures including virtual reality and control method and system for use therein
US5466213A (en) 1993-07-06 1995-11-14 Massachusetts Institute Of Technology Interactive robotic therapist
JP2856036B2 (ja) 1993-07-12 1999-02-10 株式会社セガ・エンタープライゼス スライド式振動機構を備えたゲーム機用ガンユニット及びゲーム装置
JP2698320B2 (ja) * 1993-08-31 1998-01-19 日本電信電話株式会社 常装着型入力システム、常装着型意図伝達システム、常装着型音楽用キーボードシステム及び常装着型点字入出力システム
US5438529A (en) * 1994-01-26 1995-08-01 Immersion Human Interface Corporation Percussion input device for personal computer systems
US6160489A (en) * 1994-06-23 2000-12-12 Motorola, Inc. Wireless communication device adapted to generate a plurality of distinctive tactile alert patterns
US5575761A (en) * 1994-07-27 1996-11-19 Hajianpour; Mohammed-Ali Massage device applying variable-frequency vibration in a variable pulse sequence
DE69514926T2 (de) 1994-08-18 2000-10-05 Interval Research Corp Eingabevorrichtung für video mit taktilem feedback, das von dem inhalt des videos abhängt
US6422941B1 (en) * 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US5565840A (en) 1994-09-21 1996-10-15 Thorner; Craig Tactile sensation generator
US5669818A (en) 1995-03-23 1997-09-23 Thorner; Craig Seat-based tactile sensation generator
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US5766016A (en) 1994-11-14 1998-06-16 Georgia Tech Research Corporation Surgical simulator and method for simulating surgical procedure
US5767457A (en) 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
JPH10513593A (ja) * 1995-11-24 1998-12-22 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 触覚刺激によって強調された仮想現実を示す方法と、この方法を実行するシステム
JP2000501033A (ja) 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間／機械インターフェース
US6219032B1 (en) * 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
US6300936B1 (en) 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
US6161126A (en) 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
JPH09222885A (ja) * 1996-02-16 1997-08-26 Matsushita Electric Ind Co Ltd オーディオデータ編集装置
DE69725172T2 (de) * 1996-03-08 2004-04-08 Motorola, Inc., Schaumburg Verfahren und gerät zum erkennen von geräuschsignalproben aus einem geräusch
US6111577A (en) * 1996-04-04 2000-08-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US5857986A (en) 1996-05-24 1999-01-12 Moriyasu; Hiro Interactive vibrator for multimedia
US5795228A (en) 1996-07-03 1998-08-18 Ridefilm Corporation Interactive computer-based entertainment system
JP4096376B2 (ja) * 1996-07-09 2008-06-04 セイコーエプソン株式会社 リラックス指導装置
JPH10153946A (ja) * 1996-11-25 1998-06-09 Mitsubishi Electric Corp 感覚情報提示装置
US6292170B1 (en) 1997-04-25 2001-09-18 Immersion Corporation Designing compound force sensations for computer applications
US6005551A (en) 1997-04-25 1999-12-21 Microsoft Corporation Offline force effect rendering
US7091948B2 (en) * 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
JP4149574B2 (ja) * 1997-08-29 2008-09-10 ゼロックス コーポレイション ユーザインターフェースサポートデバイス、及び情報入力方法
US6252583B1 (en) 1997-11-14 2001-06-26 Immersion Corporation Memory and force output management for a force feedback system
US5984880A (en) 1998-01-20 1999-11-16 Lander; Ralph H Tactile feedback controlled by various medium
US6219034B1 (en) 1998-02-23 2001-04-17 Kristofer E. Elbing Tactile computer interface
US6198206B1 (en) 1998-03-20 2001-03-06 Active Control Experts, Inc. Inertial/audio unit and construction
CN2350837Y (zh) * 1998-04-17 1999-11-24 东莞龙昌玩具有限公司 一种发音装置
JP2000047813A (ja) * 1998-07-24 2000-02-18 Casio Comput Co Ltd イベント信号発生装置及びそれを用いた電子機器
US6389403B1 (en) * 1998-08-13 2002-05-14 International Business Machines Corporation Method and apparatus for uniquely identifying a customer purchase in an electronic distribution system
JP2000157720A (ja) * 1998-11-26 2000-06-13 Square Co Ltd ゲーム装置、ゲームの制御方法並びに情報記録媒体
JP3437776B2 (ja) * 1999-01-12 2003-08-18 株式会社ソニー・コンピュータエンタテインメント エンタテインメントシステム、エンタテインメント装置及び記録媒体
JP3766770B2 (ja) * 1999-10-28 2006-04-19 シャープ株式会社 情報提示装置、情報提示方法、及び情報提示プログラムを記録したコンピュータで読取可能な記録媒体
US6292776B1 (en) * 1999-03-12 2001-09-18 Lucent Technologies Inc. Hierarchial subband linear predictive cepstral features for HMM-based speech recognition
WO2000070523A1 (en) * 1999-05-19 2000-11-23 Digimarc Corporation Methods and systems employing digital watermarking in music and other media
DE20014425U1 (de) * 1999-08-18 2001-01-04 Immersion Corp Mechanismen für Steuerknöpfe und andere Schnittstellenvorrichtungen
JP4587243B2 (ja) * 1999-08-31 2010-11-24 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置、エンタテインメントシステム、記録媒体及び振動設定方法
US6541692B2 (en) * 2000-07-07 2003-04-01 Allan Miller Dynamically adjustable network enabled method for playing along with music
EP1330811B1 (en) * 2000-09-28 2012-08-22 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
JP3076960U (ja) * 2000-10-12 2001-04-27 峰 徐 振動機能を具えたマウス
US6885876B2 (en) * 2001-03-12 2005-04-26 Nokia Mobile Phones Ltd. Mobile phone featuring audio-modulated vibrotactile module
JP3564501B2 (ja) * 2001-03-22 2004-09-15 学校法人明治大学 乳幼児の音声解析システム
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5959613A (en) * 1995-12-01 1999-09-28 Immersion Corporation Method and apparatus for shaping force signals for a force feedback device
US6285351B1 (en) * 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
JP2000056943A (ja) * 1998-08-07 2000-02-25 Mitsubishi Electric Corp 設定表示器
KR200258353Y1 (ko) * 2000-01-19 2001-12-29 임머숀 코퍼레이션 터치패드용 햅틱 피드백 및 기타 터치 제어장치

Also Published As

Publication number Publication date
CN1620327A (zh) 2005-05-25
CN100350992C (zh) 2007-11-28
US7208671B2 (en) 2007-04-24
US6703550B2 (en) 2004-03-09
US20030068053A1 (en) 2003-04-10
EP1438111B1 (en) 2019-01-09
JP2005506614A (ja) 2005-03-03
JP5770766B2 (ja) 2015-08-26
WO2003032538A2 (en) 2003-04-17
US20070193436A1 (en) 2007-08-23
EP1438111A4 (en) 2010-01-20
WO2003032538A3 (en) 2003-08-21
US7425675B2 (en) 2008-09-16
JP4751019B2 (ja) 2011-08-17
EP1438111A2 (en) 2004-07-21
JP2013117996A (ja) 2013-06-13
JP2011198373A (ja) 2011-10-06
JP5662230B2 (ja) 2015-01-28
US20040161118A1 (en) 2004-08-19
US20090002315A1 (en) 2009-01-01
US8125442B2 (en) 2012-02-28
AU2002347829A1 (en) 2003-04-22
KR20040053156A (ko) 2004-06-23

Similar Documents

Publication Publication Date Title
KR100914086B1 (ko) 햅틱 피드백을 사용하는 사운드 데이터의 출력 및 조종
JP5319719B2 (ja) コンピュータ装置からのオーディオ出力に基づく触覚フィードバック感覚
US7701438B2 (en) Design of force sensations for haptic feedback computer interfaces
US7027032B2 (en) Designing force sensations for force feedback computer applications
US6285351B1 (en) Designing force sensations for computer applications including sounds
US6169540B1 (en) Method and apparatus for designing force sensations in force feedback applications
JP2002251186A (ja) 楽音制御システム
WO2000055839A1 (en) Designing compound force sensations for computer applications
JP4039761B2 (ja) 楽音コントローラ
JP4479735B2 (ja) 演奏装置およびプログラム
JP5389876B2 (ja) 音声制御装置、音声制御方法、及び音声制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120806

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130808

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140805

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150805

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160808

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170809

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180808

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190807

Year of fee payment: 11