KR102024940B1 - 프리미티브를 이용한 hd 햅틱 효과 생성 - Google Patents

프리미티브를 이용한 hd 햅틱 효과 생성 Download PDF

Info

Publication number
KR102024940B1
KR102024940B1 KR1020130016521A KR20130016521A KR102024940B1 KR 102024940 B1 KR102024940 B1 KR 102024940B1 KR 1020130016521 A KR1020130016521 A KR 1020130016521A KR 20130016521 A KR20130016521 A KR 20130016521A KR 102024940 B1 KR102024940 B1 KR 102024940B1
Authority
KR
South Korea
Prior art keywords
parameter
input
haptic effect
haptic
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020130016521A
Other languages
English (en)
Other versions
KR20130094262A (ko
Inventor
후안 마누엘 크루즈-헤르난데즈
리웬 우
크리스토퍼 제이. 울리치
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20130094262A publication Critical patent/KR20130094262A/ko
Application granted granted Critical
Publication of KR102024940B1 publication Critical patent/KR102024940B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N—ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N30/00—Piezoelectric or electrostrictive devices
    • H10N30/20—Piezoelectric or electrostrictive devices with electrical input and mechanical output, e.g. functioning as actuators or vibrators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

햅틱-지원 시스템은, 복수의 입력 파라미터를 포함하는 햅틱 효과 프리미티브를 수신하고, 또한 센서로부터 입력을 수신한다. 이 시스템은 햅틱 효과 프리미티브로부터 햅틱 효과 신호를 생성하며, 햅틱 효과 신호는 복수의 출력 파라미터를 포함하고, 출력 파라미터 중 적어도 하나는 센서 입력에 기초하여 변경된다. 이후, 이 시스템은 햅틱 효과 신호를 액추에이터에 인가한다.

Description

프리미티브를 이용한 HD 햅틱 효과 생성{HIGH DEFINITION HAPTIC EFFECTS GENERATION USING PRIMITIVES}
<관련 출원에 대한 상호 참조>
본 출원은 2012년 2월 15일자로 출원된 미국 가특허출원 제61/599,173호의 우선권을 주장하며, 그 전문 내용을 본원에서 원용하기로 한다.
본 발명의 일 실시예는 햅틱 효과(haptic effects)에 관한 것으로, 특히, 프리미티브(primitives)를 이용한 HD(high definition) 햅틱 효과 생성에 관한 것이다.
전자 기기 제조사들은 사용자를 위해 풍부한(rich) 인터페이스를 만들려고 노력하고 있다. 통상의 기기들은 시각 및 청각 큐(cues)를 이용하여 사용자에게 피드백을 제공한다. 일부 인터페이스 기기 중에는, 일반적으로는 총칭하여 "햅틱 피드백" 또는 "햅틱 효과"로 잘 알려져 있는, 신체 감각 피드백(예를 들어, 활동력 및 저항력 피드백) 및/또는 촉각 피드백(예를 들어, 진동, 감촉 및 열) 또한 사용자에게 제공된다. 햅틱 피드백은 사용자 인터페이스를 향상시키고 단순화시키는 큐를 제공할 수 있다. 구체적으로 기술하자면, 사용자에게 특정 이벤트를 의식하게 하거나, 모의 또는 가상 환경 내에서의 더 높은 감각적인 몰입을 발생시키기 위한 현실감(realistic) 피드백을 제공하기 위한 큐를 전자 기기의 사용자에게 제공함에 있어 진동 효과, 또는 진동 및 촉각(vibrotactile) 햅틱 효과가 유용할 수 있다.
진동 효과를 발생시키기 위해, 많은 기기들은 임의 종류의 액추에이터(actuator) 또는 햅틱 출력 디바이스를 이용할 수 있다. 이런 목적으로 이용되는 공지의 액추에이터로서는, 편심 질량체(eccentric mass)를 모터에 의해 이동시키는 ERM(Eccentric Rotating Mass) 등의 전자기 액추에이터, 스프링에 매달린 질량체를 앞뒤로 구동시키는 LRA(Linear Resonant Actuator), 또는 압전, 전자-활성 중합체(piezoelectric, electro-active polymers) 또는 형상 기억 합금 등의 "스마트 물질(smart material)"이 포함된다. 또한, 햅틱 출력 디바이스는, 정전 마찰("ESF"), 초음파 표면 마찰("USF")을 이용하는 디바이스, 초음파 햅틱 트랜스듀서에 의해 어쿠스틱 방사 압력을 유도하는 디바이스, 햅틱 기판 및 가요성이거나 변형가능한 표면을 이용하는 디바이스, 공기 분류(air jet) 등을 이용한 공기의 뿜음 등의 프로젝트형 햅틱 출력을 제공하는 디바이스 등의 비진동성 디바이스 또는 비기계적 디바이스일 수 있다.
본 발명의 일 실시예는 복수의 입력 파라미터를 포함하는 햅틱 효과 프리미티브를 수신하고, 또한 센서로부터 입력을 수신하는 햅틱-지원 시스템이다. 상기 시스템은 상기 햅틱 효과 프리미티브로부터 햅틱 효과 신호를 생성하며, 상기 햅틱 효과 신호는 복수의 출력 파라미터를 포함하고, 상기 출력 파라미터 중 적어도 하나는 센서 입력에 기초하여 변경된다. 이후, 상기 시스템은 상기 햅틱 효과 신호를 액추에이터에 인가한다.
도 1은 본 발명의 일 실시예에 따른 햅틱-지원(haptically-enabled) 시스템의 블록도.
도 2는 일 실시예에 따라 시뮬레이션되는, 선택가능한 악기의 그래픽 화상을 포함하는 시스템의 사시도.
도 3은 일 실시예에 따른 선형 사상(linear mapping)을 나타내는 주파수 대 가속도의 그래프.
도 4는 일 실시예에 따라 HD 햅틱 효과 프리미티브로부터 HD 햅틱 효과 신호를 생성할 때의, 도 1의 HD 햅틱 효과 생성 모듈의 기능 흐름도.
도 5는 물리적으로 영향을 받은 확률적 이벤트 모델링 알고리즘(Physically Inspired Stochastic Event Modeling algorithm)의 블럭도 표현.
도 6은 일 실시예에 따라 HD 햅틱 효과 프리미티브로부터 HD 햅틱 효과 신호를 생성할 때의, 도 1의 HD 햅틱 효과 생성 모듈의 기능 흐름도.
본 발명의 일 실시예는, HD(high-definition) 액추에이터에서 사용하기 위한 진동형 햅틱 효과를 생성하는 햅틱 효과 생성 시스템이다. 햅틱 효과는, 햅틱 효과를 정의하는데 기간, 지속 기간(duration) 및 진폭 등의 파라미터들이 사용되는 햅틱 "프리미티브"의 형태로 표현되며, 이후 상기 파라미터들은, 엔진에 의해 해석되어 출력 파라미터를 포함하며 HD 액추에이터에 인가되는 모터 전압 신호로 변환된다.
ERM 및 LRA형 액추에이터는, 햅틱 효과를 생성할 때 제한된 주파수 범위를 갖는 점에서 "LD(low definition)" 액추에이터로 볼 수 있다. 이에 반해, 피에조, 전자활성 중합체 또는 정전 기반의 액추에이터 등의 HD 액추에이터는 보다 빠른 램프-업(ramp-up) 시간과 보다 큰 동적 범위의 높은 주파수 성분을 출력할 수 있다. 따라서, HD 액추에이터에 의해 생성된 햅틱 효과는 LD 액추에이터에 의해 생성된 햅틱 효과보다 풍부하고 보다 현실감 있을 수 있다. LD 액추에이터용으로 개발된 햅틱 효과 파라미터/프리미티브도 일반적으로는 HD 액추에이터에서 사용될 수 있지만, 이들은 일반적으로 이들 HD 특성을 이용하지 못한다. 또한, HD 프리미티브들은, 진폭 등의 단 하나의 파라미터를 가질 수도 있는 LD 프리미티브들보다 많은 파라미터를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 햅틱 지원 시스템(10)의 블록도이다. 시스템(10)은 하우징(15) 내에 장착된 터치 감응 면(11) 또는 다른 유형의 사용자 인터페이스를 포함하며, 기계적인 키/버튼(13)을 포함할 수 있다. 시스템(10)의 내부는 시스템(10)에 진동을 발생시키는 햅틱 피드백 시스템이다. 일 실시예에서, 진동은 터치 감응 면(11)에서 발생된다.
햅틱 피드백 시스템은 프로세서, 즉 컨트롤러(12)를 포함한다. 프로세서(12)에는 메모리(20) 및 액추에이터 구동 회로(16)가 연결되며, 액추에이터 구동 회로(16)는 HD 액추에이터(18)(예컨대, 피에조, 전자활성 중합체 등)에 연결된다. HD 액추에이터(18)는, 소정 실시예에서, 매크로 파이버 복합재("MFC") 액추에이터 등의 변형가능한 액추에이터일 수 있다. 프로세서(12)는 임의 유형의 범용 프로세서일 수 있거나, 햅틱 효과를 제공하도록 특수하게 설계된 주문형 반도체(ASIC) 등의 프로세서일 수 있다. 프로세서(12)는 시스템(10) 전체를 동작시키는 바로 그 프로세서일 수 있거나, 별도의 프로세서일 수 있다. 프로세서(12)는 어떤 햅틱 효과를 내야 하는지와, 상위 레벨 파라미터에 기초하여 햅틱 효과를 내는 순서를 결정할 수 있다. 일반적으로, 특수 햅틱 효과를 규정하는 상위 레벨 파라미터는 크기(magnitude), 주파수(frequency) 및 지속 기간(duration)을 포함한다. 또한, 스트리밍 모터 커맨드 등의 하위 레벨 파라미터를 이용하여 특수 햅틱 효과를 결정할 수도 있다. 햅틱 효과가 이 효과가 발생될 때 이들 파라미터의 일부 변동 또는 사용자의 상호작용에 기초한 이들 파라미터의 변동을 포함할 경우, 햅틱 효과는 "동적(dynamic)"인 것으로 여겨질 수 있다.
프로세서(12)는 제어 신호를 구동 회로(16)에 출력하며, 구동 회로(16)는 원하는 햅틱 효과를 일으키는 데 필요한 전류 및 전압(즉, "모터 신호")을 HD 액추에이터(18)에 공급하는 데 사용되는 전자 부품 및 회로들을 포함한다. 시스템(10)은 둘 이상의 HD 액추에이터(18)(또는 다른 형태의 액추에이터)를 포함할 수 있으며, 각각의 HD 액추에이터는 개별 구동 회로(16)를 포함할 수 있으며, 이들 모두는 공통 프로세서(12)에 연결된다. 메모리 장치(20)는 랜덤 액세스 메모리("RAM") 또는 판독 전용 메모리("ROM") 등의, 임의 유형의 기억 장치 또는 컴퓨터-판독가능 매체일 수 있다. 메모리 장치(20)는 오퍼레이팅 시스템 명령어 등의 프로세서(12)에 의해 실행되는 명령어들을 기억한다. 이들 명령어들 가운데, 메모리 장치(20)는, 이하에서 개시된 바와 같이, 프로세서(12)에 의해 실행될 때, HD 햅틱 효과 프리미티브로부터 HD 햅틱 효과 신호(즉, 구동 회로(16)를 통해 HD 액추에이터(18)에 인가되는 모터 신호)를 생성하는 명령어들인 HD 햅틱 효과 생성 모듈(22)을 포함한다. 메모리 장치(20)는 또한 프로세서(12) 내부에 위치되거나, 내부와 외부 메모리의 임의 조합일 수 있다.
터치 감응 면(11)은 터치를 인식하며, 또한, 터치 면에서의 터치의 위치 및 크기를 인식한다. 터치에 대응하는 데이터가 프로세서(12) 또는 시스템(10) 내의 또 다른 프로세서로 전송되어, 프로세서(12)는 그 터치를 해석하고, 응답으로 햅틱 효과 신호를 발생한다. 터치 감응 면(11)은 용량성 감지, 저항성 감지, 탄성 표면파(surface acoustic wave) 감지, 압력 감지, 광학적 감지 등을 포함한 임의 감지 기술을 이용하여 터치를 감지할 수 있다. 터치 감응 면(11)은 멀티-터치 접촉을 감지할 수 있어, 동시에 발생하는 다수의 터치들을 구별할 수 있다. 터치 감응 면(11)은 사용자가 키, 다이얼 등을 이용하여 상호작용하기 위한 이미지들을 생성하여 디스플레이하는 터치스크린일 수 있거나, 최소한의 이미지를 갖거나 이미지를 갖지 않는 터치패드일 수 있다.
시스템(10)은 셀 폰, PDA, 스마트폰, 컴퓨터 태블릿, 게이밍 콘솔 등의 휴대형 기기일 수 있거나, 사용자 인터페이스를 제공하며 하나 이상의 액추에이터를 포함하는 햅틱 효과 시스템을 포함하는 임의 다른 유형의 기기일 수 있다. 사용자 인터페이스는 터치 감응 면일 수 있거나, 또는 마우스, 터치패드, 미니-조이스틱, 스크롤 휠, 트랙볼, 게임 패드나 게임 제어기 등의 임의 다른 유형의 사용자 인터페이스일 수 있다. 시스템(10)은 또한, 하나 이상의 센서를 포함할 수 있다. 일 실시예에서는, 센서 중 하나는 시스템(10)의 가속도를 측정하는 가속도계(미도시)이다.
동적 햅틱 효과는, 하나 이상의 입력 파라미터에 응답할 때, 시간의 경과에 따라 전개되는 햅틱 효과를 일컫는다. 동적 햅틱 효과는, 주어진 입력 신호의 상태에 있어서의 변화를 나타내도록 시스템(10) 등의 햅틱 디바이스 상에 디스플레이되는 햅틱 또는 촉각 효과이다. 입력 신호는, 위치, 가속도, 압력, 배향(orientation) 또는 근접도(proximity) 등의, 햅틱 피드백을 갖는 디바이스 상의 센서에 의해 캡처되는 신호이거나, 다른 디바이스에 의해 캡처된 후 햅틱 디바이스로 보내져서 햅틱 효과의 생성에 영향을 끼치는 신호일 수 있다.
동적 효과 신호는 임의 유형의 신호일 수 있지만, 복잡해야할 필요는 없다. 예를 들어, 동적 효과 신호는, 당해 효과 신호의 변화하는 특성에 대해 입력 파라미터를 맵핑하는 맵핑 스키마(schema)에 따라 실시간으로 반응하거나 시간 경과에 따라 변하는 크기, 주파수 또는 위상 등의 소정의 특성을 갖는 간단한 사인파일 수 있다. 입력 파라미터는, 디바이스에 의해 제공될 수 있는 임의 유형의 입력일 수 있으며, 전형적으로는 디바이스 센서 신호 등의 임의 유형의 신호일 수 있다. 디바이스 센서 신호는 임의 수단에 의해 생성될 수 있으며, 전형적으로는 디바이스로 사용자 제스처를 캡처하여 생성될 수 있다. 동적 효과는 제스처 인터페이스에 매우 유용할 수 있지만, 동적 신호를 형성하는데 제스처 또는 센서의 이용이 반드시 요구되는 것은 아니다.
일 실시예는 악기의 현실감 있는 기계적 시뮬레이션을 생성하기 위해 HD 햅틱 효과를 이용한다. 도 2는 일 실시예에 따라 시뮬레이션 될 선택가능한 악기의 그래픽 화상을 포함하는 시스템(10)에 대한 사시도이다. 디스플레이되는 악기는 마라카스(maraca)(202), 에그 쉐이커(egg shaker)(204), 쉐케레(shekere)(206), 카바사(cabasa)(208), 카우벨(cow bell)(210) 및 워시 보드(wash board)(212)를 포함한다. 사용자는 이들 악기 중 하나를 선택하고, 실제 악기와 상호작용하는 것처럼 시스템(10)과 상호작용할 수 있다. 예를 들면, 시스템(10)은, 마라카스(202)가 선택되면 떨릴 수 있고, HD 액추에이터(18)에 적절한 햅틱 효과 신호를 제공함으로써 마라카스를 흔드는 실제적인 느낌을 제공하는 HD 햅틱 효과가 생성되게 된다. 그러므로, 사용자가 시스템(10) 등의 모바일 디바이스를 흔드는 동안, 사용자는, 당해 폰 내부의 마라카스 "비즈(beads)"가 충돌하고 있는 듯한 느낌을 재현 또는 제공하는 HD 햅틱 효과의 생성 덕분에, 실제의 마라카스가 흔들어지고 있는 것 같은 햅틱 효과를 느낄 것이다. 마찬가지로, 사운드 및 그 대응하는 햅틱 효과를 위해 카우벨(210)을 탭핑할 수 있거나, 디바이스 전체가, 사용자가 카우벨을 움직이고 있는 것처럼 움직여질 수 있다. 이에 응답하여, 벨 노커가 좌우로 움직일 때의 벨의 무게감을 포함하여, 사용자가 그들 자신이 실제의 카우벨을 움직이고 있는 것처럼 느끼도록 하는 HD 햅틱 효과가 생성된다.
주파수 기반 HD 햅틱 효과 생성
주파수 변경
일 실시예는 주파수 변경 및 주파수 변조("FM")를 이용하여 HD 햅틱 프리미티브로부터 햅틱 효과 신호를 생성한다. 일 실시예에서, 생성된 HD 햅틱 효과 신호의 주파수는, 시스템(10)의 가속도계에 의해 생성된 가속도 신호 등의, 대응하는 입력 센서 신호에 기초하여 변경된다. 이에 반해, 일부 종래 기술의 LD 햅틱 효과 시스템은, 주파수는 일정하게 유지하면서 시간 경과에 따른 크기의 변경만을 허용한다.
일 실시예에서, HD 프리미티브로부터 HD 햅틱 효과 신호를 생성하는데 있어 오디오 신호를 생성하는데 이용되는 것으로 알려진 이하의 식이 또한 이용될 수 있다.
Figure 112013013901697-pat00001
4개의 입력 HD 햅틱 효과 파라미터에서, 진폭 "ac"와 "am"(각각, 캐리어 진폭 및 변조 진폭) 및 주파수 "fc"와 "fm"(각각, 캐리어 주파수 및 변조 주파수)가 도 1의 모듈(22)에 입력되고, 이에 응답하여 HD 햅틱 효과 모터 신호 "afm"가 생성되어 HD 액추에이터(18)에 인가된다. 그러나, 식1은 주파수값이 수백 킬로헤르쯔 범위 이상인 오디오 신호에 이용되는 것이 이상적이다. 일반적으로 킬로헤르쯔 미만의 신호를 갖는 햅틱 효과에 이용될 경우, 생성된 HD 햅틱 효과는 통상적으로 요구되는 것만큼 현실감을 주지 못하다.
그러므로, 실시예는 HD 햅틱 효과를 위해 식1을 변경한다. 일 실시예에서, 입력 주파수 파라미터는, 터치스크린(11) 상의 손가락 위치, 온 보드 가속도계에 의해 측정되는 시스템(10)의 가속도, 표면 압력 등과 같은 외부 신호 "Sval"의 함수로서 변경된다. 이 실시예에서, 주파수 변경된 출력 신호 "afv"는,
Figure 112013013901697-pat00002
이고, 여기서 fvar=fc+Sval이고 Sval ∈ [-fmin, +fmax]이고, Sval은 상기 신호의 주파수 캐리어를 변경하는 값의 범위에 맵핑되는, 임의의 주어진 시간에서의 센서값이다.
식2에 나타낸 바와 같이, 신호의 주파수 성분은 fc-fmin과 fc+fmax 사이에서 변하는 fvar의 값을 참조하여 알 수 있다. 예를 들어, 가속도의 함수로서 주파수가 변할 필요가 있고 가속도값이 -10m/sec2과 10m/sec2 사이에 있고, Sval의 값이 ∈ [-50, 60]이고 fc=150㎐이면, 가속도 값 Acc를 주파수 값 fvar에 맵핑하기 위한 함수가 이용될 수 있고, 이 함수는 어떠한 종류이어도 좋다. 도 3은 일 실시예에 따른 선형 사상을 나타내는 주파수 대 가속도의 그래프이다. 추가의 실시예에서는 다른 맵핑을 이용할 수도 있다.
다른 실시예에서, 식 2에서의 fvar는 값의 범위와는 달리 스케일링 팩터를 이용하여 표현되고, 따라서 fvar는 다음과 같이 표현된다.
Figure 112013013901697-pat00003
여기서, 주파수는 0과 Smax 사이에서 정규화된 스칼라 Sval의 함수로서 변할 것이다. 예컨대, 가속도가 0과 2.1 사이의 값으로 스케일링되고 fc=100㎐일 경우, 이 스케일링된 가속도가 0이면, fvar=100㎐이고, 이 스케일링된 가속도가 2.1이면 fvar=210㎐이다. 일 실시예에서는 상기 스케일링된 가속도가 선형 방식으로 -10과 10 사이에서 0과 2.1 사이의 값으로 맵핑되는 것으로 상정되지만, 다른 실시예에서 상기 스케일링은 선형, 이차 지수 또는 다른 종류의 맵핑을 이용하여 이루어질 수 있다.
다른 실시예에서, 식2의 크기 ac 파라미터는, 어떤 외부 신호의 함수로서 변할 수 있으며, 그러한 변경은 fvar에 대해 설명한 바와 유사한 방식으로 이루어질 수 있다.
위상 변조
일 실시예는 FM 신호의 간접적 생성으로 볼 수 있는 위상 변조를 이용하여 HD 햅틱 신호를 생성한다. 이 실시예에서는, 위의 식1이 아래로 변경된다.
Figure 112013013901697-pat00004
여기서, 두 번째 항은 신호의 위상이며, 사인값에만 의존하며, 식1과 같이 사인값과 시간의 곱(product)에는 의존하지 않는다. 식4에 의해 생성된 햅틱 효과는 시간의 함수로서만 변한다. 그러나, 상기한 바와 같이, 센서에 의해 캡처되는 휴먼 제스처나 센서 값과 같이, 어떤 다른 외부 변수의 함수로서의 변함을 가질 필요가 있다. 그러므로, 일 실시예에서 식4의 파라미터들은 위의 식2의 파라미터와 유사한 방식으로 변경된다. 변경된 실시예들은 이하를 포함한다.
● 센서의 함수로서 fc를 변경함:
Figure 112013013901697-pat00005
● 센서의 함수로서 am을 변경함:
Figure 112013013901697-pat00006
● 센서의 함수로서 fm을 변경함:
Figure 112013013901697-pat00007
● 센서의 함수로서 ac를 변경함:
Figure 112013013901697-pat00008

주파수 변조
일 실시예는, 식4의 위상을 증배(multiply)시키는 1회성(one-time) 팩터로 식4의 위상 변조를 변경함으로써 FM을 이용한다.
Figure 112013013901697-pat00009
식5는 일반적으로 시간 도메인(t)에서만 변한다. 그러나, 항 ac, fc, am 및 fm은, 위상 변조 실시예와 결부하여 위에서 설명한 바와 같이, 센서에 의해 생성된 어떤 외부 신호(예컨대, 가속도, 자계, 압력)의 함수로서 변할 수 있다.
도 4는, 일 실시예에 따라 HD 햅틱 효과 프리미티브로부터 HD 햅틱 효과 신호를 생성할 때의, 도 1의 HD 햅틱 효과 생성 모듈(22)의 기능 흐름도이다. 일 실시예에서, 도 4 및 이하의 도 6의 흐름도의 기능은 메모리 또는 기타의 컴퓨터 판독가능하거나 유형인 매체에 저장되며 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예에서는, 이 기능은 하드웨어(예를 들어, 주문형 반도체 회로("ASIC"), 프로그래머블 게이트 어레이("PGA"), 필드 프로그래머블 게이트 어레이("FPGA") 등의 이용을 통해) 또는 하드웨어와 소프트웨어의 임의 조합에 의해 수행될 수 있다.
단계(402)에서, HD 햅틱 효과 프리미티브가 수신된다. HD 효과 프리미티브는 상위 레벨 입력 파라미터 형태로 표현된다.
단계(404)에서, 가속도계 등의 센서로부터 또는 임의 유형의 외부 신호로부터의 입력이 수신된다.
단계(406)에서, 단계(402)에서 수신된 HD 햅틱 효과 프리미티브로부터 HD 햅틱 효과 신호가 생성된다. 상기 신호의 생성은 단계(404)에서의 센서 입력에 기초하여 신호의 주파수를 변경하는 것을 포함한다. 주파수는, 주파수 변경, 주파수 변조, 스케일링 및 위상 변조를 포함하여, 위에서 개시한 바와 같이 변경될 수 있다.
단계(408)에서, 생성된 HD 햅틱 효과 신호는 HD 액추에이터(18)에 인가되고, HD 액추에이터(18)는 시스템(10)에 진동성 햅틱 효과를 생성한다. 생성된 출력 햅틱 효과 신호는 주파수 등의 복수의 출력 파라미터를 포함한다.
PhISEM 기반 HD 햅틱 효과 생성
일 실시예는, 확률 프로세스를 이용하여, 시스템(10)의 가속도계에 의해 생성된 가속도 신호 등의, 대응하는 입력 센서 신호에 기초하여 HD 햅틱 효과 신호의 성분을 변경함으로써, HD 햅틱 프리미티브로부터 HD 햅틱 효과 신호를 생성한다. 이 변경은 신호의 크기에 대한 것이지만, 주파수 또는 다른 파라미터도 또한 변경할 수 있다. 이 실시예에서 이용되는 확률 프로세스는 물리적으로 영향을 받은 확률적 이벤트 모델링(Physically Inspired Stochastic Event Modeling; PhISEM)이다. PhISEM은 P. Cook 외의 "Using DSP-based Parametric Physical Synthesis Models to Study Human Sound Perception"(2003년)("Cook")에 개시되어 있는 공지의 알고리즘이며, 랜덤한 파티클 시스템에 본질적으로 기초하여 사운드를 만들어내는 일부 타악기의 사운드를 합성하기 위한 디지털 신호 처리에서 이용되어 왔다.
도 5는 상기 "Cook"에 개시된 바와 같은 PhISEM 알고리즘의 블럭도 표현이다. PhISEM 알고리즘은 에너지와 댐핑을 제각기 갖고 있으며 서로 충돌하는 상이한 파티클의 동적 시스템 시뮬레이션으로부터 도출되었다. PhISEM 알고리즘은 동적 모델의 시뮬레이션에서 이용되는 파라미터들에 직접적으로 관련된 모델에 있어서의 파라미터를 갖는 정적인 모델에 대한 동적 모델의 거동을 캡처한다.
본 발명의 실시예는 HD 햅틱 효과 프리미티브로부터 HD 햅틱 효과 신호의 생성에 이용하도록 PhISEM 알고리즘을 수정 및 개조한다. 실시예들은 공진 필터에서 이용되는 주파수의 범위와 햅틱 신호를 합성한다. 예를 들어, 사운드의 합성은, 마라카스 등의 적어도 타악기의 경우에는 1㎑ 위의 값을 필요로 한다. 일 실시예에서, 햅틱 구현을 위해, 필터들은 대략 200㎐ 이하의 공진을 갖는다. 다른 실시예에서, 이 수치는 최대 4000㎐에 이를 수 있다. 실시예에서 이용되는 필터의 개수는 하나와 같이 적을 수도 있지만, 그 이상을 이용할 수도 있다.
일 실시예에서, HD 햅틱 효과 생성 모듈(22)에 의해 다음의 의사 코드(pseudo-code)가 구현되어 HD 햅틱 효과 프리미티브로부터 HD 햅틱 효과 신호를 생성한다.
Figure 112013013901697-pat00010
상기 구현체에서:
● "getEnergy()"는 외부 센서 또는 다른 신호로부터 시스템 내로의 에너지의 값을 구한다. 이 에너지는, 가속도계, 가상 센서, 주기 신호 등의 센서 신호일 수 있다.
● "SYSTEM_DECAY" 파라미터는 0과 1 사이의 값을 취할 수 있으며, 도 5의 "system energy decay" 파라미터이다.
● "num_beans"는 타악기에서 충돌하는 요소들의 개수이다. 이 파라미터의 변경은 햅틱 효과의 합성을 변경한다. 다른 실시예에서, 이 파라미터는 외부 신호(센서, 데이터 추출/처리, 주기 신호 등)의 함수로서 변할 수 있다.
● "gain"은 신호의 전체 크기를 레벨 업하는 미리 산출된 값이다.
● "noise_tick()"는 진동의 랜덤한 특성을 발생시키는 함수이다.
● "VIBE_DECAY" 파라미터는 0과 1 사이의 값을 취할 수 있으며, 도 5의 "제어 엔벨로프" 파라미터이다.
● "filterSignal()"은 "filterCoef"에 의해 규정된 필터(들)를 이용하여 랜덤 신호를 필터링한다. 일 실시예에서, 10㎐와 4000㎐ 사이의 공진 주파수를 갖는 공진 필터들을 사용할 수 있으며, 단 하나의 필터를 사용할 수도 있다.
도 6은 일 실시예에 따라 HD 햅틱 효과 프리미티브로부터 HD 햅틱 효과 신호를 생성할 때의, 도 1의 HD 햅틱 효과 생성 모듈(22)의 기능 흐름도이다.
단계(602)에서, HD 햅틱 효과 프리미티브가 수신된다. HD 효과 프리미티브는 상위 레벨 입력 파라미터 형태로 표현된다.
단계(604)에서, 가속도계 등의 센서로부터의 입력 또는 임의 형태의 외부 신호로부터의 입력이 수신된다.
단계(606)에서, 단계(602)에서 수신된 HD 햅틱 효과 프리미티브로부터 HD 햅틱 효과 신호가 생성된다. 신호의 생성은, PhISEM 알고리즘에 따라 단계(604)에서의 센서 입력에 기초하여 신호의 크기를 변경하는 것을 포함한다.
단계(608)에서, 생성된 HD 햅틱 효과 신호는 HD 액추에이터(18)에 인가되고, HD 액추에이터는 시스템(10)에 진동형 햅틱 효과를 생성한다. 생성된 HD 햅틱 효과 신호는 복수의 출력 파라미터를 포함한다.
개시한 바와 같이, HD 햅틱 효과는 HD 햅틱 효과 프리미티브를 수신하고 외부 센서 신호를 이용하여 생성된 HD 햅틱 효과 출력 신호의 파라미터를 변경함으로써 생성된다. 변경된 파라미터는, 일 실시예에서는 주파수일 수도 있고, 다른 실시형태에서는 PhISEM 알고리즘을 이용하는 크기일 수도 있다.
일 실시예에서는, 주파수 기반의 알고리즘이나 PhISEM 알고리즘을 이용하여 HD 햅틱 효과를 생성하는 것 이외에, 동일한 일반적인 알고리즘을 개조/수정하여 상기한 바와 같은 오디오를 생성한다. 이어서, 시스템(10)은 사운드와 HD 햅틱 효과를 실질적으로 정확히 동기하여 생성한다. 이 실시예에서는, 사운드와 햅틱을 생성하기 위해, 손가락 속도나 가속도 등의 외부 입력 신호가 각각의 알고리즘에 공급될 수 있고 일관된 사운드 및 햅틱이 생성될 것이다.
본원에서는 일부 실시예들에 대해 구체적으로 예시 및/또는 기술하였다. 그러나, 본 발명의 사상 및 의도된 범주를 벗어나지 않는 한, 앞서 설명한 교시에 의해 그리고 첨부된 특허청구범위의 이해 범위 내에서 상기 예시된 실시예들의 수정 및 변경이 포함됨을 이해할 수 있을 것이다.

Claims (16)

  1. 햅틱 피드백 생성 방법으로서,
    햅틱 효과를 정의하는 복수의 입력 파라미터를 포함하는 햅틱 효과 프리미티브(primitive)를 수신하는 단계 - 상기 입력 파라미터는 입력 주파수 파라미터를 포함하고, 상기 햅틱 효과 프리미티브는 액추에이터에 인가될 때 상기 햅틱 효과를 생성하도록 구성됨 - 와,
    센서로부터 입력을 수신하는 단계 - 상기 입력은 시간에 따라 변함 - 와,
    상기 입력 주파수 파라미터를 사용함으로써 상기 햅틱 효과 프리미티브로부터 햅틱 효과 신호를 생성하는 단계 - 상기 햅틱 효과 신호는 복수의 출력 파라미터를 포함하고, 상기 출력 파라미터는 출력 주파수 파라미터를 포함하고, 상기 출력 주파수 파라미터는 상기 입력 주파수 파라미터에 있어서의 변화에 기초하여 변경되고, 상기 입력 주파수 파라미터에 있어서의 변화는 상기 시간에 따라 변하는 상기 입력의 함수임 - 와,
    상기 햅틱 효과 신호를 상기 햅틱 효과를 생성하기 위해 액추에이터에 인가하는 단계를 포함하는,
    햅틱 피드백 생성 방법.
  2. 제1항에 있어서,
    상기 출력 주파수 파라미터는 상기 햅틱 효과 신호의 주파수인, 햅틱 피드백 생성 방법.
  3. 제2항에 있어서,
    상기 출력 주파수 파라미터는 주파수 변조를 이용하여 변경되는, 햅틱 피드백 생성 방법.
  4. 제3항에 있어서,
    상기 주파수 변조를 결정하기 위해 다음 식
    Figure 112019040538026-pat00017
    을 사용하는, 햅틱 피드백 생성 방법.
  5. 제2항에 있어서,
    상기 출력 주파수 파라미터는 위상 변조를 이용하여 변경되는, 햅틱 피드백 생성 방법.
  6. 제5항에 있어서,
    상기 위상 변조를 결정하기 위해 다음 식
    Figure 112019040538026-pat00018
    을 사용하는 단계를 더 포함하는, 햅틱 피드백 생성 방법.
  7. 제2항에 있어서,
    상기 출력 주파수 파라미터는 스케일링 팩터(scaling factor)를 이용하여 변경되는, 햅틱 피드백 생성 방법.
  8. 제1항에 있어서,
    상기 출력 파라미터는 출력 크기 파라미터를 더 포함하고, 상기 출력 크기 파라미터는 상기 햅틱 효과 신호의 크기이고, 상기 크기는 물리적으로 영향을 받은 확률적 이벤트 모델링 알고리즘(Physically Inspired Stochastic Event Modeling algorithm)을 이용하여 변경되는, 햅틱 피드백 생성 방법.
  9. 제1항에 있어서,
    상기 입력은 가속도이고 상기 센서는 가속도계인, 햅틱 피드백 생성 방법.
  10. 제1항에 있어서,
    상기 액추에이터는 공진 액추에이터를 포함하는, 햅틱 피드백 생성 방법.
  11. 제10항에 있어서,
    상기 공진 액추에이터는 피에조(piezo) 액추에이터, 전자활성 중합체(electroactive polymer) 액추에이터 또는 정전(electrostatic) 액추에이터 중 하나를 포함하는, 햅틱 피드백 생성 방법.
  12. 제1항에 있어서,
    상기 햅틱 효과 신호를 생성하는 단계는 다음 식
    Figure 112019040538026-pat00019
    을 사용하는 단계를 포함하고,
    Figure 112019040538026-pat00020
    이고,
    Figure 112019040538026-pat00021
    및
    Figure 112019040538026-pat00022
    인, 햅틱 피드백 생성 방법.
  13. 제1항에 있어서,
    상기 입력 파라미터는 입력 크기 파라미터를 더 포함하고,
    상기 출력 파라미터는 출력 크기 파라미터를 더 포함하고, 상기 출력 크기 파라미터는 상기 입력 크기 파라미터에서의 변화에 기초하여 변경되고, 상기 입력 크기 파라미터에서의 변화는 상기 시간에 따라 변하는 상기 입력의 함수인, 햅틱 피드백 생성 방법.
  14. 제1항에 있어서,
    상기 입력 파라미터는 입력 지속 기간 파라미터를 더 포함하고,
    상기 출력 파라미터는 출력 지속 기간 파라미터를 더 포함하고, 상기 출력 지속 기간 파라미터는 상기 입력 지속 기간 파라미터의 변화에 기초하여 변경되고, 상기 입력 지속 기간 파라미터에서의 변화는 상기 시간에 따라 변하는 상기 입력의 함수인, 햅틱 피드백 생성 방법.
  15. 프로세서에 의해 실행될 때, 제1항 내지 제14항 중 어느 한 항에 따른 방법을 포함하여 상기 프로세서로 하여금 햅틱 효과를 생성하도록 하는 명령어들이 기억된 컴퓨터 판독가능 매체.
  16. 햅틱-지원(haptically enabled) 시스템으로서,
    프로세서와,
    상기 프로세서에 연결되고 명령어를 기억하는 기억 장치와,
    상기 프로세서에 연결된 액추에이터와,
    상기 프로세서에 연결된 센서를 포함하고,
    상기 프로세서는, 복수의 입력 파라미터를 포함하는 햅틱 효과 프리미티브, 및 상기 센서로부터의 입력을 수신함에 응답하여, 제1항 내지 제14항 중 어느 한 항에 따른 방법을 수행하는, 햅틱 지원 시스템.
KR1020130016521A 2012-02-15 2013-02-15 프리미티브를 이용한 hd 햅틱 효과 생성 Expired - Fee Related KR102024940B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261599173P 2012-02-15 2012-02-15
US61/599,173 2012-02-15

Publications (2)

Publication Number Publication Date
KR20130094262A KR20130094262A (ko) 2013-08-23
KR102024940B1 true KR102024940B1 (ko) 2019-09-24

Family

ID=47843050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130016521A Expired - Fee Related KR102024940B1 (ko) 2012-02-15 2013-02-15 프리미티브를 이용한 hd 햅틱 효과 생성

Country Status (5)

Country Link
US (4) US9513706B2 (ko)
EP (2) EP2629178B1 (ko)
JP (2) JP6541292B2 (ko)
KR (1) KR102024940B1 (ko)
CN (2) CN103294191B (ko)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2313820B1 (en) 2008-07-15 2017-04-05 Immersion Corporation Systems and methods for physics-based tactile messaging
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
WO2012177719A2 (en) * 2011-06-21 2012-12-27 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9098984B2 (en) * 2013-03-14 2015-08-04 Immersion Corporation Haptic effects broadcasting during a group event
US9041647B2 (en) * 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9401079B2 (en) 2013-09-06 2016-07-26 Immersion Corporation Method and apparatus of converting control tracks for providing haptic feedback
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9317120B2 (en) 2013-09-06 2016-04-19 Immersion Corporation Multiplexing and demultiplexing haptic signals
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9158379B2 (en) * 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9711014B2 (en) * 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
CN103616951B (zh) * 2013-12-02 2017-04-19 深圳超多维光电子有限公司 力反馈的实现系统及方法
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
US9958963B2 (en) * 2014-02-19 2018-05-01 American Greetings Corporation Systems, methods, and apparatuses for creating digital glitter with accelerometer
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9846484B2 (en) * 2014-12-04 2017-12-19 Immersion Corporation Systems and methods for controlling haptic signals
US9891714B2 (en) * 2014-12-24 2018-02-13 Immersion Corporation Audio enhanced simulation of high bandwidth haptic effects
EP3304251B1 (en) * 2015-06-03 2023-10-11 Razer (Asia-Pacific) Pte. Ltd. Haptics devices and methods for controlling a haptics device
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
US10564725B2 (en) * 2017-03-23 2020-02-18 Immerson Corporation Haptic effects using a high bandwidth thin actuation system
US10606357B2 (en) 2017-03-28 2020-03-31 Tanvas, Inc. Multi rate processing device for rendering haptic feedback
GB2578454A (en) * 2018-10-28 2020-05-13 Cambridge Mechatronics Ltd Haptic feedback generation
US20200301510A1 (en) * 2019-03-19 2020-09-24 Nvidia Corporation Force estimation using deep learning
US11750037B2 (en) * 2021-06-22 2023-09-05 Nucurrent, Inc. Dynamic operation adjustment in wireless power transfer system
US11456627B1 (en) 2021-06-22 2022-09-27 Nucurrent, Inc. Dynamic operation adjustment in wireless power transfer system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001033760A2 (en) * 1999-10-19 2001-05-10 Immersion Corporation Hybrid control of haptic feedback for host computer and interface device
JP2011159110A (ja) * 2010-02-01 2011-08-18 Tohoku Univ 力覚提示方法および力覚提示装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP2002082751A (ja) * 2000-09-08 2002-03-22 Mitsubishi Electric Corp 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム
US6864877B2 (en) 2000-09-28 2005-03-08 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
KR100950822B1 (ko) * 2001-03-09 2010-04-02 임머숀 코퍼레이션 랩톱 컴퓨터 및 기타 휴대 장치용 햅틱 인터페이스
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US8992322B2 (en) * 2003-06-09 2015-03-31 Immersion Corporation Interactive gaming systems with haptic feedback
JP2006079238A (ja) 2004-09-08 2006-03-23 Alpine Electronics Inc タッチパネル装置
US20070118241A1 (en) * 2005-12-16 2007-05-24 Outland Research, Llc Shake Jamming Portable Media Player
US7920694B2 (en) * 2006-02-03 2011-04-05 Immersion Corporation Generation of consistent haptic effects
JP2008033739A (ja) 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US11325029B2 (en) * 2007-09-14 2022-05-10 National Institute Of Advanced Industrial Science And Technology Virtual reality environment generating apparatus and controller apparatus
US8098235B2 (en) * 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US8325144B1 (en) * 2007-10-17 2012-12-04 Immersion Corporation Digital envelope modulator for haptic feedback devices
EP2313820B1 (en) * 2008-07-15 2017-04-05 Immersion Corporation Systems and methods for physics-based tactile messaging
US8749495B2 (en) * 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
US8686952B2 (en) * 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
JP2010231609A (ja) * 2009-03-27 2010-10-14 Hitachi Maxell Ltd 触感呈示装置及び方法
GB0905692D0 (en) * 2009-04-02 2009-05-20 Tno Touch sensitive device
CN102341766B (zh) * 2009-09-03 2014-09-24 松下电器产业株式会社 触感再现方法和装置
US8487759B2 (en) * 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
US20110267181A1 (en) * 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
US10120446B2 (en) * 2010-11-19 2018-11-06 Apple Inc. Haptic input device
RU2608322C2 (ru) * 2011-10-20 2017-01-17 Конинклейке Филипс Н.В. Голографические пользовательские интерфейсы для медицинских процедур
US8711118B2 (en) 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8570296B2 (en) 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001033760A2 (en) * 1999-10-19 2001-05-10 Immersion Corporation Hybrid control of haptic feedback for host computer and interface device
JP2011159110A (ja) * 2010-02-01 2011-08-18 Tohoku Univ 力覚提示方法および力覚提示装置

Also Published As

Publication number Publication date
CN107688393A (zh) 2018-02-13
JP6541292B2 (ja) 2019-07-10
US20130207917A1 (en) 2013-08-15
JP2018026159A (ja) 2018-02-15
US10175760B2 (en) 2019-01-08
CN103294191B (zh) 2017-09-08
JP2013168153A (ja) 2013-08-29
US20170045944A1 (en) 2017-02-16
US20190079587A1 (en) 2019-03-14
US9513706B2 (en) 2016-12-06
EP2629178A1 (en) 2013-08-21
US10318006B2 (en) 2019-06-11
US20190317603A1 (en) 2019-10-17
CN103294191A (zh) 2013-09-11
EP3321780A1 (en) 2018-05-16
KR20130094262A (ko) 2013-08-23
EP2629178B1 (en) 2018-01-10

Similar Documents

Publication Publication Date Title
KR102024940B1 (ko) 프리미티브를 이용한 hd 햅틱 효과 생성
US8981915B2 (en) System and method for display of multiple data channels on a single haptic display
US8624864B2 (en) System and method for display of multiple data channels on a single haptic display
KR102104851B1 (ko) 배향 조정 가능 멀티-채널 햅틱 장치
US8937603B2 (en) Method and apparatus for haptic vibration response profiling and feedback
CN104020844B (zh) 具有线性共振致动器的触觉设备
US20140300567A1 (en) Electronic apparatus
KR20130140578A (ko) 햅틱 효과 변환 시스템 및 컴퓨터-판독가능 저장 매체
CN110413099A (zh) 触觉反馈系统及方法
JP2019519856A (ja) マルチモーダルハプティック効果
US8884884B2 (en) Haptic effect generation with an eccentric rotating mass actuator
KR102227452B1 (ko) 터치 및 햅틱 디바이스
EP3462285A1 (en) Haptic pitch control
US20200142492A1 (en) Haptic effects using a high bandwidth thin actuation system

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20240919

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20240919