KR20140113420A - 접촉기-기반의 햅틱 피드백 생성 - Google Patents

접촉기-기반의 햅틱 피드백 생성 Download PDF

Info

Publication number
KR20140113420A
KR20140113420A KR1020140028911A KR20140028911A KR20140113420A KR 20140113420 A KR20140113420 A KR 20140113420A KR 1020140028911 A KR1020140028911 A KR 1020140028911A KR 20140028911 A KR20140028911 A KR 20140028911A KR 20140113420 A KR20140113420 A KR 20140113420A
Authority
KR
South Korea
Prior art keywords
contactor
haptic effect
haptic
type
contact
Prior art date
Application number
KR1020140028911A
Other languages
English (en)
Inventor
빈센트 레베스크
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20140113420A publication Critical patent/KR20140113420A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

햅틱 효과를 생성하는 시스템은 인터페이스상에서 접촉기/객체에 의한 접촉을 감지한다. 시스템은 그 후 접촉기의 하나 이상의 특성을 결정하고, 상기 접촉에 응답하여 햅틱 효과의 유형을 생성한다. 햅틱 효과의 유형은 적어도 상기 하나 이상의 특성에 기초한다.

Description

접촉기-기반의 햅틱 피드백 생성{CONTACTOR-BASED HAPTIC FEEDBACK GENERATION}
일 실시예는 전반적으로 햅틱 피드백 시스템에 관한 것이며, 특히 접촉기 특성에 기초한 햅틱 피드백 시스템에 관한 것이다.
전자 장치 제조사들은 사용자를 위한 풍부한 인터페이스(rich interface)를 생성하려고 노력하고 있다. 종래의 장치들은 시각적 큐(cue) 및 청각적 큐를 사용하여 사용자에게 피드백을 제공한다. 일부 인터페이스 장치에서, (능동적 저항력 피드백(active and resistive force feedback)과 같은) 운동감각적 피드백(kinesthetic feedback) 및/또는 (진동, 감촉(texture), 및 열과 같은) 촉감 피드백(tactile feedback)도 사용자에게 제공되는데, 더 일반적으로 "햅틱 피드백" 또는 "햅틱 효과"라고 알려져 있다. 햅틱 피드백은 사용자 인터페이스를 향상시키고 간략화하는 큐들을 제공할 수 있다. 구체적으로, 전자 장치들의 사용자에게 특정 이벤트들을 알리거나, 시뮬레이션 또는 가상 환경 내에 더 큰 감각적 몰입(sensory immersion)을 불러 일으키기 위한 사실적인 피드백을 제공하기 위한 큐를 제공함에 있어, 진동 효과(vibration effect) 또는 진동촉감 햅틱 효과(vibrotactile haptic effect)가 유용할 수 있다.
햅틱 피드백은 또한 셀룰러 폰, 개인 휴대 단말기(PDA), 스마트폰, 휴대형 게임 장치 및 다양한 다른 휴대형 전자 장치 등의 휴대형 전자 장치에 점점 더 통합되고 있다. 예를 들어, 일부 휴대형 게임 애플리케이션은 햅틱 피드백을 제공하도록 구성된 대규모의 게임 시스템에 사용되는 컨트롤 장치(예를 들어, 조이스틱 등)와 유사한 방식으로 진동할 수 있다. 또한, 셀룰러 폰 및 PDA 등의 장치는 다양한 경고를 진동에 의해 사용자에게 제공할 수 있다. 예를 들어, 셀룰러 폰은 착신 전호 호출을 진동에 의해 사용자에게 알릴 수 있다. 이와 유사하게, PDA 또는 스마트폰은 스케줄링된 캘린더 아이템을 사용자에게 알리거나 "해야 할 일" 리스트 아이템 또는 캘린더 약속에 대한 리마인더를 사용자에게 제공할 수 있다.
휴대형 장치는 터치스크린-전용(touchscreen-only) 인터페이스에 유용한 물리적 버튼과는 점점 더 멀어지고 있다. 이러한 변화는, 유연성 향상, 부품 수 감소 및 고장나기 쉬운 기계식 버튼에 대한 의존성 감소를 허용하며, 제품 설계 시의 발전 동향과 함께한다. 터치스크린 입력 장치를 사용하는 경우, 버튼 누르기 등의 기계식 확인 또는 기타 사용자 인터페이스 동작이 햅틱과 시뮬레이션될 수 있다.
진동 효과를 생성하기 위해, 많은 장치는 일부 유형의 액추에이터 또는 햅틱 출력 장치를 사용한다. 이런 목적을 위해 사용되는 액추에이터는 편심 질량체(eccentric mass)가 모터에 의해 이동되는 ERM(Eccentric Rotating Mass)와 같은 전자기 액추에이터, 스프링에 부착된 질량체가 앞뒤로 구동되는 LRA(Linear Resonant Actuator), 또는 압전 전기능동 폴리머 또는 형상 메모리 합금과 같은 "스마트 소재"를 포함한다. 햅틱 출력 장치들은 또한 ESF(electrostatic friction) 장치 및 USF(ultrasonic surface friction) 장치 등의 장치, 또는 초음파 햅틱 트랜스듀서를 이용하여 음향 방사압을 유도하는 장치일 수 있다. 기타 장치는 햅틱 기판 및 플렉시블 또는 변형가능한 표면을 사용하며, 공기 분사를 이용한 훅 부는 입김 등의 계획된 햅틱 출력을 제공하는 장치일 수 있다. 이들 액추에이터는 강한 진폭의 햅틱 출력을 생성할 수 있다. 이들 액추에이터는 또한 터치스크린 장치의 터치 감응 입력을 구동시킬 경우 사용자에게 피드백을 제공하는데 사용된다.
일 실시예는 햅틱 효과를 생성하는 시스템이다. 시스템은 인터페이스상에서 접촉기/객체에 의한 접촉을 감지한다. 그 후, 시스템은 접촉기의 하나 이상의 특성을 결정하고, 접촉에 응답하여 햅틱 효과의 유형을 생성한다. 햅틱 효과의 유형은 적어도 하나 이상의 특성에 기반한다.
도 1은 본 발명의 실시예들에 따른 햅틱 가능 시스템의 블록도이다.
도 2a 내지 도 2d는 본 발명의 실시예들에 따른 접촉기 특성에 기반하여 생성되는 일례의 햅틱 효과를 도시한 도면이다.
도 3은 본 발명의 실시예들에 따른 햅틱 피드백 생성 시스템의 블록도이다.
도 4는, 일 실시예에 따라 장치의 입력 영역에 접촉한 객체에 응답하여 햅틱 효과를 생성하는 경우 도 1의 시스템의 기능 흐름도이다.
일 실시예는 "접촉기(contactor)"(즉, 인터페이스와 접촉하는 몸의 부위 또는 객체)에 의해 접촉되는 인터페이스를 구비한 시스템이다. 시스템은 접촉기의 특성을 결정하고, 상기 특성에 기초하여 변할 수 있는 햅틱 효과를 생성한다. 따라서, 햅틱 효과는 시스템과 접촉하는 어떤 객체/접촉기에도 적응될 수 있다.
도 1은 본 발명의 일 실시예를 구현할 수 있는 햅틱 가능 모바일 장치 또는 시스템(10)의 블록도이다. 시스템(10)은 터치 감응 표면(11) 또는 하우징(15) 내에 장착된 다른 유형의 사용자 인터페이스를 포함하며, 기계적 키/버튼(13)을 포함할 수 있다. 시스템(10)의 내부에는 시스템(10)상에서 진동을 발생시키는 햅틱 피드백 시스템이 존재한다. 일 실시예에서, 진동은 터치 표면(11)상에서, 또는 시스템(10)의 임의의 다른 부분상에서 발생된다.
햅틱 피드백 시스템은 프로세서 또는 컨트롤러(12)를 포함한다. 프로세서(12)에는 메모리(20) 및 액추에이터 구동 회로(16)가 결합되어 있고, 액추에이터 구동 회로는 액추에이터(18)에 결합되어 있다. 프로세서(12)는 임의의 유형의 범용 프로세서일 수 있거나, 햅틱 효과를 제공하도록 구체적으로 설계된, 특수 목적용 집적 회로(ASIC) 등의 프로세서일 수 있다. 프로세서(12)는 전체 시스템(10)을 동작시키는 프로세서이거나, 별도의 프로세서일 수 있다. 프로세서(12)는 어느 햅틱 효과를 재생할지를 결정하고, 고 레벨의 파라미터들에 기반하여 햅틱 효과가 재생되는 순서를 결정할 수 있다. 일반적으로, 햅틱 효과를 규정하는 고 레벨의 파라미터들은, 진폭, 주파수 및 지속시간을 포함한다. 스트리밍 모터 커맨드 등의 저 레벨의 파라미터들은 또한 특정 햅틱 효과를 결정하는데 사용될 수 있다. 햅틱 효과는, 햅틱 효과가 생성될 때 이들 파라미터의 일부 변동, 혹은 사용자 상호작용에 기반한 이들 파라미터의 변동을 포함하는 경우, "동적"이라고 간주될 수 있다.
프로세서(12)는 컨트롤 신호를 액추에이터 구동 회로(16)에 출력하고, 액추에이터 구동 회로는 원하는 햅틱 효과를 발생시키는데 필요한 전류 및 전압(즉, "모터 신호")을 액추에이터(18)에 공급하는데 사용되는 전자 부품 및 회로를 포함한다. 시스템(10)은 둘 이상의 액추에이터(18)를 포함할 수 있고, 각 액추에이터는 별도의 구동 회로(16)를 포함하며, 이들 구동 회로 모두는 공통의 프로세서(12)에 결합되어 있다. 메모리 장치(20)는 랜덤 액세스 메모리(RAM) 또는 판독 전용 메모리(ROM) 등의 임의의 유형의 저장 장치 또는 컴퓨터 판독가능 매체일 수 있다. 메모리(20)는, 프로세서(12)에 의해 실행되는, 운영 체제 명령어 등의 명령어를 저장한다. 명령어들 중에서, 메모리(20)는, 프로세서(12)에 의해 실행될 때, 접촉기 기반의 햅틱 효과를 생성하는 명령어들인 햅틱 효과 생성 모듈(22)을 포함하며, 이하에 보다 상세히 설명한다. 메모리(20)는 또한 프로세서(12)의 내부에 위치될 수 있거나, 내부 및 외부 메모리의 임의의 조합일 수 있다.
터치 표면(11)은 터치들을 인식하고, 해당 표면에서의 터치의 위치 및 진폭을 인식할 수도 있다. 이들 터치에 대응하는 데이터는 프로세서(12), 또는 시스템(10) 내의 다른 프로세서에 전송되고, 프로세서(12)는 터치들을 해석하여 이에 응답하여 햅틱 효과 신호를 생성한다. 터치 표면(11)은, 용량 감지, 저항 감지, 표면 음향파 감지, 압력 감지, 광 감지 등을 포함하여, 임의의 감지 기술을 이용하여 터치들을 감지할 수 있다. 터치 표면(11)은 멀티-터치 접촉을 감지할 수 있고, 동시에 발생되는 멀티 터치를 구별할 수 있다. 터치 표면(11)은, 사용자가 상호작용할 수 있는, 키, 버튼, 다이얼 등의 이미지를 생성 및 디스플레이하는 터치스크린일 수 있거나, 최소의 이미지 또는 이미지를 갖지 않는 터치패드일 수 있다.
시스템(10)은 셀룰러 폰, 개인 휴대 단말기(PDA), 스마트폰, 컴퓨터 태블릿, 게임 콘솔 등의 핸드헬드 장치일 수 있거나, 사용자 인터페이스를 제공하며 하나 이상의 액추에이터를 포함하는 햅틱 효과 시스템을 포함하는 임의의 다른 유형의 장치일 수 있다. 사용자 인터페이스는 마우스, 터치패드, 미니-조이스틱, 스크롤 휠, 트랙볼, 문 손잡이, 게임 패드 또는 게임 컨트롤러 등의 임의의 다른 유형의 사용자 인터페이스일 수 있다.
액추에이터(18)는 편심 질량체(eccentric mass)가 모터에 의해 이동되는 ERM(Eccentric Rotating Mass), 스프링에 부착된 질량체가 앞뒤로 구동되는 LRA(Linear Resonant Actuator)을 포함하여 임의의 유형의 액추에이터, 또는 압전 전기능동 폴리머 또는 형상 메모리 합금과 같은 "스마트 소재"일 수 있다. 장치(10)가 진동 햅틱 피드백을 생성하는데 사용되는 액추에이터(18)를 도시하고 있지만, 햅틱 출력 장치들은 또한 ESF(electrostatic friction), USF(ultrasonic surface friction)을 이용하는 장치, 초음파 햅틱 트랜스듀서를 이용하여 음향 방사압을 유도하는 장치, 햅틱 기판 및 플렉시블 또는 변형가능한 표면을 이용하는 장치, 공기 분사를 이용한 훅 부는 입김 등의 계획된 햅틱 출력을 제공하는 장치이거나, 임의의 유형의 비기계적 또는 비진동 장치일 수 있다.
시스템(10)은 하나 이상의 센서(28)를 더 포함한다. 센서(28)는 전체 장치 가속도, 자이로스코프 정보, 분위기 정보 또는 접근 정보(예를 들어, 객체의 인터페이스(11)로의 접근) 등의 센서 데이터 및 장치 센서 신호를 프로세서(12)에 제공한다. 장치 센서 신호는, 가속도계 또는 자이로스코프 등의 장치에 의해 가능한 임의의 유형의 센서 입력, 또는 마이크로폰, 광도계, 온도계 또는 고도계, 또는 피부 온도 또는 체온, 혈압(BP), 심박수 측정기(HRM), 뇌파(EEG) 또는 전기 피부 반응(GSR; galvanic skin response) 등의 임의의 유형의 생체 측정기 등으로부터의 임의의 유형의 분위기 센서 신호, 또는 원격으로 결합된 장치로부터 수신된 정보 또는 신호일 수 있다.
상술된 바와 같이, 일 실시예에서 시스템(10)은 인터페이스(11)와 접촉하고 있는 접촉기 또는 객체의 일부 특성을 검출한다. 이러한 처리는 센서(28)에 의한 물리량의 감지 및 프로세서(12)에 의한 감지된 데이터의 해석을 수반한다. 특성을 검출하는 한가지 목적은 접촉기 또는 접촉기의 양상을 식별하기 위해서이다.
일 실시예에서, 장치의 입력 영역에 접촉하는 접촉기/객체의 특성은 객체의 입력 영역에의 충돌 사운드를 분류함으로써 결정된다. 이 접근법은 펜 또는 스타일러스 등의 수동적인 도구를 식별할 수 있고, 이 접근법은 또한 손가락의 끝, 핑거패드(fingerpad), 손가락 관절 및 손톱 등의 손가락의 서로 다른 부위를 식별할 수 있다. 서로 다른 소재는 서로 다른 음향 특징을 생성하고 서로 다른 공진 주파수를 갖는다. 일 실시예의 하나의 컴포넌트는 광학식, 저항식 및 용량식 터치스크린 중 하나 이상을 사용하여 객체의 위치를 검출 및 추적한다. 일 실시예의 제2 컴포넌트는 음향 특징을 이용하여 객체의 입력 영역에의 충돌을 듣고, 분할하고, 분류한다. 입력의 분류가 행해진 후에, 그것은 입력 영역으로부터 최종 이벤트와 쌍(pair)을 이룬다. 일 실시예는 표면 음향 전송을 이용하여 객체를 식별한다.
다른 실시예는 용량식 터치 감지를 이용하여 객체를 식별한다. 전자기 신호 주파수 스위프(sweep)는 객체로부터 주파수의 범위를 포착하는데 사용된다. 결과적으로, 실시예들은 하나의 손가락, 여러 손가락 또는 손바닥 전체 등의, 장치를 유지하고 있는 손가락의 구성을 결정할 수 있다. 확산 적외선 조명에 의해 손가락 방향 및 손의 형상 등의 터치 치수를 포착할 수 있다.
이들 및 다른 실시예들은 장치의 입력 영역에 접촉하는 객체를 식별하고, 이어서 햅틱 피드백을 사용자에게 제공하는데 이용된다. 햅틱 피드백은 장치의 입력 영역에 접촉하는 객체의 감지된 특성에 기초하여 수정될 수 있다. 이는 소정의 이벤트의 통지 등의 일정한 햅틱 자극을 제공하거나 동일한 의도된 효과를 생성할 것이다. 이하의 예들은 생성된 햅틱 효과의 유형이 적어도 부분적으로 접촉기 특성에 기초하는 본 발명의 실시예들의 개념 및 특징 중 일부를 설명한다.
장치의 입력 영역은 핑거패드 또는 손가락 관절과 접촉될 수 있으며, 이들 모두 진동촉감 피드백을 생성할 것이다. 하지만, 도 2a에 도시된 바와 같이, 손가락 관절은 핑거패드보다 덜 감각적일 수 있어, 그 낮은 촉감 감도를 보상하기 위해서 손가락 관절에 대해서는 진동의 강도가 증가될 수 있다. 손가락 관절의 파형은 또한 손가락 관절에 대한 피드백이 부정적으로 인지되지 않도록 부드러운 파형을 생성하도록 수정될 수 있는데, 그 이유는 일부 효과가 살집있는 몸의 부위에 비하여 뼈있는 몸의 부위에 인가될 때 불편한 것으로 인식되기 때문이다.
장치의 입력 영역은 손가락 부위 대신에 연필 또는 스타일러스와 접촉될 수 있다. 예를 들어, 태블릿은 촉감 감도에 대한 자체 지식을 이용하여 이에 따라 피드백을 구성할 수 있다. 연필 또는 스타일러스는 진동을 약화시키고 따라서 더 강한 피드백을 요구할 수 있다. 한편, 다른 진동 패턴에 의해 스타일러스는 입력 영역에 대하여 불편하게 바운스하게 될 수 있다.
또한, 접촉기의 특성은 ESF 유형의 햅틱 효과를 느낄 수 없으며 약화된 진동을 느끼는 장갑 낀 손 또는 손가락의 검출을 허용할 수 있다. 일 실시예에서, 장갑은 접촉의 사운드로부터 검출될 수 있거나, 용량 터치스크린 상의 터치 입력 없이 진동 또는 사운드에 의한 접촉의 검출로부터 잠재적으로 검출될 수 있다. 일 실시예에서, 접촉기의 특성은 장갑 특징을 포함할 것이며, 햅틱 효과는 이러한 특성에 기초하여 선택될 수 있다(예를 들어, 단지 햅틱 효과에 기초한 진동을 선택하고 크기를 증가시켜, 그 진동이 장갑을 통해 느껴진다).
문 손잡이(즉, 문 손잡이는 "인터페이스"임)의 형태의 실시예는 문과 문 뒤의 방의 상태를 나타내기 위해서, 예를 들어, 비상 사태 시에만 문이 열려있어야 한다는 것을 제시하기 위해, 햅틱 피드백을 생성할 수 있다. 문 손잡이는 사용자가 쥐고 있음을 감지할 수 있고 문 손잡이에서 햅틱 피드백(예를 들어, 진동)이 생성되도록 구성할 수 있다. 예를 들어, 2개의 손가락으로 느슨하게 쥐고 있는 경우, 전체 손으로 강하게 쥐고 있는 것보다 약한 햅틱 효과가 요구될 수 있다. 다른 경우, 피드백은 2개의 손가락을 사용할 경우에는 깜작 놀랄 정도이거나, 전체 손을 사용하는 경우에는 간신히 인식가능할 정도일 수 있다.
본 발명의 실시예들은 햅틱 피드백을 정규화할 수 있어, 사용된 접촉기에 상관없이, 동일한 인지된 피드백이 사용자에 의해 수신되게 될 것이다. 결과적으로, 햅틱 피드백은 이벤트 또는 특정 결과의 통지 등의 동일한 의도된 효과를 생성할 것이다.
역으로, 장치의 입력 영역에 접촉하고 있는 객체의 감지된 특성, 또는 측정된 파라미터는 또한 애플리케이션의 사용자 인터페이스와 관련되어 적절하고 구별된 햅틱 효과를 생성하는데 사용될 수 있다. 예로서, 스마트폰 상의 비디오 게임은 손톱을 이용한 탭 또는 손가락 관절을 이용한 탭을 구별할 수 있다. 도 2b에 도시된 바와 같이, 각 객체는 구별된 햅틱 피드백을 사용자에게 생성하고, 여기서 진동의 "버튼 누르기" 시뮬레이션 햅틱 효과가 손가락 끝 터치에 응답하여 생성되고, 햅틱 효과에 기초한 변형가능한 표면은 손가락 관절 탭에 응답하여 생성된다. 보다 구체적인 예에서, 터치스크린 디스플레이상에 도시된 "바나나"를 손톱으로 자르는 것은 터치스크린 디스플레이상에 도시된 "코코넛"을 손가락 관절로 으깨는 것과는 다르게 느껴질 것인데, 그 이유는 2개의 서로 다른 유형의 햅틱 효과가 생성될 것이기 때문이다. 따라서, 사용자에게 주어지는 의도된 지각은 사용자 인터페이스에 의해 생성된 각각의 의도된 동작마다 다를 것이다.
햅틱 효과는 또한 객체의 정확한 검출을 확인해주는데 사용될 수 있다. 예로서, 손가락 관절 탭은 큰 소리의 햅틱 효과를 생성할 수 있으며, 반면에 손톱 탭은 일련의 날까로운 진동을 생성할 수 있다. 따라서, 도 2c에 도시된 바와 같이, 입력에 대한 오역이 사용자에게 즉각적으로 인식되며, 여기서 햅틱 효과는 검출된 터치의 유형을 나타내며, 핑거패드 탭이 손가락 관절 탭으로 잘못 검출되었을 경우 이를 쉽게 인식하게 한다. 다른 예로서, 슬라이딩 제스처는 ESF를 이용하여 구별된 촉감 효과를 생성할 수 있다. 이는 올바르게 해석된 입력 또는 잘못 해석된 입력으로서 사용자에게 즉각 인식될 것이다.
장치의 입력 영역에 접촉하고 있는 접촉기/객체의 파라미터를 측정 및 해석하여 피드백에 대한 적절한 모달리티(modality)를 결정할 수 있다. 예로서, 피드백 생성 시스템은, 도 2d에 도시된 바와 같이, 입력 영역이 핑거패드 또는 스타일러스에 의해 접촉되었는지에 따라, ESF와 진동촉감 피드백을 전환할 수 있다. 입력 영역이 통상의 스타일러스에 의해 접촉되었을 경우, ESF가 느껴질 수 없으며, 그것은 손가락에 의해서만 느껴질 수 있거나 일부 유형의 특수화된 스타일러스 또는 무생물 객체에 의해서 느껴질 수 있는 것이기 때문이다. 역으로, 피드백 생성 시스템이 스타일러스가 진동촉감 햅틱 피드백을 느낄 수 없는 것이라고 판단할 때, 피드백 생성 시스템은 시각적 또는 청각적 피드백을 사용할 수 있다.
도 3은 본 발명의 실시예들에 따른 햅틱 피드백 생성 시스템(300)의 블록도이다. 일 실시예에서, 시스템(300)의 기능은 도 1의 시스템(10)에 의해 구현된다. 햅틱 피드백 생성 시스템(300)은 접촉기 감지 컴포넌트(310), 해석 및 피드백 컴포넌트(320) 및 햅틱 출력 컴포넌트(330)를 포함한다. 접촉기 감지 컴포넌트(310)는 장치의 입력 영역 또는 임의의 다른 영역에 접촉하는 접촉기/객체의 소정의 특성을 검출할 수 있다. 프로세서는 접촉기 파라미터의 물리적 양으로부터 감지된 데이터를 수신하고 감지된 데이터를 해석한다. 실시예들은 도 3에 도시된 컴포넌트들 중 일부 또는 전부를 포함할 수 있다.
접촉기 감지 컴포넌트(310)는 스웹트(swept) 주파수 용량 감지 컴포넌트(311)를 포함한다. 용량 감지는, 단일 주파수에 신호를 인가하고 객체의 용량 결합에 의해 발생된 리턴 신호에서 임의의 왜곡을 측정함으로써, 객체로부터의 접촉을 검출한다. 스웹트 주파수 용량 감지는 주파수 영역에 걸쳐 스캔하고, 결과를 측정하여 용량 프로파일을 획득한다. 프로파일의 형상은 객체와 입력 표면의 접촉에 대한 정보를 제공함으로써 객체를 식별한다. 이 프로파일의 형상은 손과 계측된 표면의 접촉에 대한 정보를 제공할 수 있다. 예를 들어, 문 손잡이는 하나의 손가락의 터치, 두 손가락의 핀치, 원형의 움켜쥠 또는 전체 움켜쥠 간의 차이를 검출할 수 있다. 스마트폰은 하나의 손가락의 터치, 두 손가락의 핀치 또는 5개의 손가락을 이용한 핀칭 간의 차이를 검출할 수 있다.
접촉기 감지 컴포넌트(310)는 청각 감지 컴포넌트(312)를 포함한다. 객체와 입력 영역의 접촉에 의해 방출되는 사운드는 마이크로폰에 의해 포착되고 분석된다. 핑거패드, 손가락의 끝, 손가락 관절, 손톱 및 펜의 양단 사이의 차이가 검출될 수 있다.
접촉기 감지 컴포넌트(310)는 진동 감지 컴포넌트(313)를 포함한다. 객체와 입력 영역의 접촉에 의해 발생된 진동은 하나 이상의 가속도계에 의해 포착 및 분석될 수 있다.
접촉기 감지 컴포넌트(310)는 용량 감지 컴포넌트(314)를 포함한다. 용량 센서는 핑거패드와 표면의 접촉 영역을 결정할 수 있다. 시간에 따라 영역의 크기와 형상에서의 변화는 손가락의 자세를 추정하는데 사용될 수 있다. 예를 들어, 한쪽 끝으로부터 서서히 줄어드는 타원체 영역은 손가락이 편평한 방향으로부터 각진 방향으로 이동하는 것을 나타낼 수 있다.
접촉기 감지 컴포넌트(310)는 지문 감지 컴포넌트(315)를 포함한다. 지문 센서는, 손가락 자세를 추론하는데 사용될 수 있는, 표면과 접촉하고 있는 핑거패드의 일부를 나타낼 수 있다. 예를 들어, 핑거패드의 우측의 소용돌이(swirl)는 핑거패드의 좌측이 표면을 터치하고 있음을 나타낼 수 있다.
햅틱 피드백 생성 시스템(300)은 또한 접촉기 특성을 해석하고 그것들이 햅틱 출력에 어떠한 영향을 줄지를 판단하는 해석 및 피드백 컴포넌트(320)를 포함한다. 해석 및 피드백 컴포넌트(320)는 접촉기(즉, 장치의 입력 영역에 접촉하고 있는 객체)의 접촉 특성에 기초하여 출력을 수정하는 정규화 컴포넌트(321)를 포함한다. 정규화 컴포넌트(321)는 햅틱 피드백이 균일함을 보장한다. 따라서, 진동의 강도는 접촉기의 서로 다른 부위의 촉감 감도에 기초하여 수정되어 일관된 햅틱 피드백을 반환한다. 예를 들어, 진동의 강도는 손가락의 서로 다른 부위 - 핑거패드, 손가락 관절, 손톱 등의 촉감 감도에 기초하여 수정될 수 있다. 유사하게는, 손톱 및 핑거패드에 대한 자극이 인식의 편차에 상관없이 긍정적인 것으로 인식되는 것을 보장하도록 정서적인 결과를 고려할 수 있다. ESF를 이용하는 예에서는, 균일한 응답을 보장하도록 핑거패드의 서로 다른 부위의 전도성 및 건조함을 고려할 수 있다.
해석 및 피드백 컴포넌트(320)는 사용자 인터페이스 컴포넌트(322)를 포함한다. 햅틱 피드백 출력은 정상적인 사용자 인터페이스 동작으로 연계된다. 햅틱 피드백은 사용자 인터페이스의 접촉기-의존적 특징과 함께 변할 필요가 있다. 따라서, 서로 다른 사용자 인터페이스 결과 및 상태는 각각의 서로 다른 햅틱 피드백으로 이어진다.
해석 및 피드백 컴포넌트(320)는 확인 컴포넌트(323)를 포함하다. 검출된 접촉기는 서로 다른 햅틱 효과 및 감촉에 반영되고, 이는 잘못된 접촉기 검출에 대한 정정을 용이하게 한다. 확인 컴포넌트(323)는 검출 에러의 영향을 감소시키고 현재의 입력 모드에 대한 향상된 인식을 제공함으로써 인식 부하를 줄인다.
해석 및 피드백 컴포넌트(320)는 모달리티 선택 컴포넌트(324)를 포함한다. 출력 모달리티는 접촉기와 선호되는 모달리티 사이의 매핑에 기초하여 서로 다른 상황에서 선택된다. 따라서, 모달리티 선택 컴포넌트(324)는 햅틱 인식에서의 편차에 상관없이 모든 접촉기에 대한 최적화된 피드백을 제공한다.
햅틱 피드백 생성 시스템(300)은 또한 햅틱 출력 컴포넌트(330)를 포함한다. 햅틱 출력 컴포넌트(330)(도 1의 액추에이터(18) 등)의 햅틱 피드백은 진동 액추에이터, ESF 디스플레이, 전기촉감 어레이 및 힘 피드백 장치를 포함하지만, 이에 한정되는 것은 아니다. 햅틱 피드백은, 하나 이상의 물리적 액추에이터, 구동 전자장치, 및 장치의 운영 체제의 내부 또는 외부에 존재할 수 있는 렌더링 엔진 등의 관련 소프트웨어에 의해 생성된다.
도 4는, 일 실시예에 따른 장치의 입력 영역에 접촉하는 객체에 응답하여 햅틱 효과를 생성하는 경우, 도 1의 시스템(10)의 기능 흐름도이다. 일 실시예에서, 도 4의 기능 흐름도는 메모리 또는 기타 컴퓨터 판독가능한 또는 유형의 매체에 저장된 소프트웨어에 의해 구현되며, 프로세서에 의해 실행된다. 다른 실시예에서, 기능은 하드웨어에 의해(예를 들어, ASIC(application-specific integrated circuit), PGA(programmable gate array), FPGA(field programmable gate array) 등의 사용을 통해), 또는 하드웨어와 소프트웨어의 임의의 조합에 의해 실행될 수 있다.
단계(402)에서, 시스템(10)은 접촉기에 의한 장치와의 접촉을 감지한다. 예를 들어, 손가락 또는 스타일러스는 터치스크린에 접촉할 수 있다.
단계(404)에서, 시스템(10)은 접촉기의 하나 이상의 특성을 결정한다. 예를 들어, 시스템은 접촉기가 핑거패드, 손톱 또는 손가락 관절, 또는 스타일러스, 연필 지우개 또는 펜 끝 등의 무생물 객체인지를 판단할 수 있다.
단계(406)에서, 시스템은 접촉에 응답하여 햅틱 효과의 유형을 생성하고, 햅틱 효과의 유형은 적어도 하나 이상의 특성에 기초한다. 햅틱 효과의 유형은, 진동 햅틱 장치, ESF 장치 또는 변형가능한 햅틱 장치 중에서 선택 등의, 햅틱 출력 장치의 선택(즉, 모달리티)에 기초하여, 다른 햅틱 효과와 다를 수 있다. 또한, 햅틱 효과의 유형은, 크기, 주파수 또는 지속시간 파라미터 등의 햅틱 효과의 파라미터를 달리함으로써 다른 햅틱 효과와 다를 수 있다. 접촉기의 유형/특성에 상관없이 햅틱 효과가 사용자에게 동일하게 느껴지도록 햅틱 효과를 정규화하기 위해, 파라미터를 가변할 수 있다.
상술된 바와 같이, 접촉기가 터치스크린과 접촉하는 경우에, 접촉기의 특성은 햅틱 효과를 생성하는데 사용될 수 있다. 기타 실시예들에서, 접촉기가 접촉하기 전에는, 가정된 접촉기 특성이 사용될 수 있다. 햅틱 효과의 유형을 생성하는 경우, 햅틱 효과의 진행과 공간 모션을 동기화함으로써, 사실적인 햅틱 효과의 렌더링이 행해지는 경우가 자주 있다. 예를 들어, 기계식 버튼이 그 이동 번위 내에서 움직이는 경우, 운동감각적 햅틱이 특정 힘 프로파일을 뒤따른다. 이는 통상적으로 힘의 램프업(ramp-up)을 포함하고, 후속하여 버튼이 트리거링될 때에 갑작스런 저하가 일어난다. 유사한 효과가 진동촉감 액추에이터로 생성될 수 있다.
한편, 터치스크린상에, 개념적으로는 스크린에 수직으로 발생되는 시뮬레이션된 위젯 모션으로부터 유래되는 햅틱 효과는, 일반적으로 실제 이동이 없으므로 일시적 프로파일에 제한된다. 따라서, 일 실시예에서, 도 1의 센서(28)는 접촉기가 장치의 인터페이스와 접촉하기 전에 접촉기를 검출하는데 사용될 수 있는 접근 센서이다. 접근 감지는, 핑거패드가 예를 들어 표면에 접근하는 경우, 공간 굴절 프로파일을 생성하는데 사용된다. 햅틱 효과는 터치스크린에 대한 실제 충격이 굴절 프로파일에서 결정적 순간에 발생하도록 공간적으로 중첩될 수 있다. 예를 들어, 손가락이 스크린에 접근하는 경우 진동은 점진적으로 증가할 수 있고, 터치스크린에 가해진 충격은 버튼이 실제로 트리거링되는 순간에 발생할 수 있다.
다른 실시예에서, 접근 센서는 처리 지연을 방지하기 위해 접촉 이전에 햅틱 출력 장치를 활성화하는데 사용된다. 예를 들어, 핑거패드가 스크린을 터치하기 전에 ESF 감촉이 활성화되어, 터치가 발생하자마자 임의의 처리 지연 없이 올바른 효과가 느껴지게 할 수 있다. 이런 실시예에서, 액추에이션 지연보다는 터치 검출과 출력의 활성화 간의 처리 지연이 계산되고, 이는 ESF의 경우에는 거의 즉각적이다.
다른 실시예에서, 시스템은 접근 센서에 의해 판단된 터치 이벤트 전의 시간을 이용하여, 터치 입력에 앞서 복잡한 계산을 행한다. 예를 들어, 그 시간은 이제 곧 터치될 표면의 모델을 로딩하고, 물리적 시뮬레이션을 행하고, 파형 등의 햅틱 효과를 준비하는데 사용될 수 있다.
다른 실시예에서는, 접촉기가 인터페이스에 접촉하기 전에 접촉기의 특성이 결정되도록, 디폴트 접촉이 결정되어 있다. 그 후 접근 센서가, 상술된 바와 같이, 햅틱 효과를 결정하기 위해 접촉기 특성와 연관되어 사용될 수 있다. 접촉기가 디폴트 접촉기 이외의 다른 어떤 것으로 판명되면, 시스템은 객체를 올바르게 식별하고 이에 따라 응답한다. 예를 들어, 제1 액추에이터는 접촉기의 예상된 접촉에 응답하여 활성화될 수 있다. 접촉기가 입력 영역에 접촉하면, 실제 접촉기가 디폴트 또는 가정된 접촉기와 다른 경우, 제2 액추에이터가 실제 입력에 응답하여 활성화될 수 있다.
논의된 바와 같이, 접촉기 특성이 접촉기에 의한 접촉에 응답하여 생성될 햅틱 효과의 유형을 결정하는데 사용된다. 해당 유형은, 햅틱 효과가 접촉기에 상관없이 동일하게 인식되도록 선택되거나, 접촉기 특성에 따른 정보를 제공하도록 선택될 수 있다.
몇몇 실시예들이 본원에 구체적으로 도시 및/또는 기술되어 있다. 하지만, 개시된 실시예들의 수정 및 변형이 상기 기술들에 의해 포괄되고, 본 발명의 정신 및 의도된 영역 내에서 첨부된 청구항들의 범위 내에 있다.

Claims (12)

  1. 장치(10)상에서 햅틱 효과를 생성하는 방법으로서,
    접촉기에 의한 장치와의 접촉을 감지하는 단계;
    상기 접촉기의 하나 이상의 특성을 결정하는 단계; 및
    상기 접촉에 응답하여 햅틱 효과의 유형을 생성하는 단계 - 상기 햅틱 효과의 유형은 적어도 상기 하나 이상의 특성에 기초함 -
    을 포함하는, 햅틱 효과 생성 방법.
  2. 제1항에 있어서,
    상기 햅틱 효과의 유형은 상기 햅틱 효과의 파라미터를 결정함으로써 생성되는, 햅틱 효과 생성 방법.
  3. 제2항에 있어서,
    상기 햅틱 효과는 진동 햅틱 효과이고, 상기 파라미터는 크기, 주파수 또는 지속시간 중 적어도 하나를 포함하는, 햅틱 효과 생성 방법.
  4. 제1항에 있어서,
    상기 햅틱 효과의 유형은, 상기 햅틱 효과의 복수의 햅틱 출력 장치 중에서 하나의 햅틱 출력 장치(18)를 선택함으로써 생성되는, 햅틱 효과 생성 방법.
  5. 제4항에 있어서,
    상기 복수의 햅틱 출력 장치는 진동 장치, 정전기 마찰 장치 또는 변형가능한 표면 중 적어도 하나를 포함하는, 햅틱 효과 생성 방법.
  6. 제1항에 있어서,
    상기 하나 이상의 특성은 상기 접촉기가 핑거패드(fingerpad), 손톱 또는 손가락 관절 중 하나임을 나타내고, 상기 햅틱 효과의 유형은 상기 접촉기의 하나 이상의 특성에 대하여 정규화되는, 햅틱 효과 생성 방법.
  7. 제1항에 있어서,
    상기 햅틱 효과의 유형은 또한 적어도 상기 접촉기의 올바른 검출에 대한 확인에 기초하는, 햅틱 효과 생성 방법.
  8. 제1항에 있어서,
    상기 감지하는 단계는 상기 접촉기의 상기 장치로의 접근을 결정하는 단계를 포함하고, 상기 감지하는 단계는 상기 접촉 전에 행해지는, 햅틱 효과 생성 방법.
  9. 제1항에 있어서,
    상기 감지하는 단계는 상기 장치의 터치 표면(11)으로부터 신호를 수신하는단계를 포함하는, 햅틱 효과 생성 방법.
  10. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항 내지 제9항 중 어느 한 항에 따른 방법을 실행하게 하는 명령어들을 저장한 컴퓨터 판독가능 매체.
  11. 접촉기에 의한 접촉을 감지하는 인터페이스(11);
    상기 접촉기의 하나 이상의 특성을 결정하는 접촉기 특성 모듈(310); 및
    상기 접촉에 응답하여 햅틱 효과의 유형을 생성하며 상기 인터페이스에 결합되는 햅틱 출력 장치(18) - 상기 햅틱 효과의 유형은 적어도 상기 하나 이상의 특성에 기초함 -
    을 포함하는, 시스템.
  12. 제11항에 있어서,
    프로세서(12);
    상기 프로세서(12)에 결합되며 제9항에 따른 컴퓨터 판독가능 매체
    를 더 포함하는, 시스템.
KR1020140028911A 2013-03-14 2014-03-12 접촉기-기반의 햅틱 피드백 생성 KR20140113420A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/803,103 2013-03-14
US13/803,103 US9436282B2 (en) 2013-03-14 2013-03-14 Contactor-based haptic feedback generation

Publications (1)

Publication Number Publication Date
KR20140113420A true KR20140113420A (ko) 2014-09-24

Family

ID=50287869

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140028911A KR20140113420A (ko) 2013-03-14 2014-03-12 접촉기-기반의 햅틱 피드백 생성

Country Status (5)

Country Link
US (1) US9436282B2 (ko)
EP (1) EP2778847B1 (ko)
JP (1) JP6411756B2 (ko)
KR (1) KR20140113420A (ko)
CN (1) CN104049795B (ko)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0905692D0 (en) * 2009-04-02 2009-05-20 Tno Touch sensitive device
KR102027601B1 (ko) * 2011-10-18 2019-10-01 카네기 멜론 유니버시티 터치 감지 표면 상의 터치 이벤트를 분류하는 방법 및 장치
US10744060B2 (en) * 2013-03-15 2020-08-18 Sambhu Choudhury Garment with remote controlled vibration array
US9949890B2 (en) * 2013-03-15 2018-04-24 Sambhu Choudhury Garment with remote controlled vibration array
US10470971B2 (en) * 2013-03-15 2019-11-12 Sambhu Choudhury Garment with remote controlled vibration array
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US9013452B2 (en) * 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US20150242009A1 (en) * 2014-02-26 2015-08-27 Qeexo, Co. Using Capacitive Images for Touch Type Classification
KR101846256B1 (ko) * 2014-05-09 2018-05-18 삼성전자주식회사 필기감을 제공하는 촉각 피드백 장치 및 방법
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
US9195879B1 (en) 2014-08-31 2015-11-24 Qualcomm Incorporated Air/object determination for biometric sensors
US9582705B2 (en) * 2014-08-31 2017-02-28 Qualcomm Incorporated Layered filtering for biometric sensors
US9665763B2 (en) * 2014-08-31 2017-05-30 Qualcomm Incorporated Finger/non-finger determination for biometric sensors
KR102096146B1 (ko) 2014-09-02 2020-04-28 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
GB2530036A (en) * 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US9791929B2 (en) * 2014-10-31 2017-10-17 Elwha Llc Tactile control system
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US9971406B2 (en) 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
FR3030070B1 (fr) * 2014-12-15 2018-02-02 Dav Dispositif et procede de commande pour vehicule automobile
CN104598106A (zh) * 2014-12-31 2015-05-06 深圳市金立通信设备有限公司 一种终端
ES2908299T3 (es) 2015-02-20 2022-04-28 Ultrahaptics Ip Ltd Mejoras del algoritmo en un sistema háptico
KR20160120560A (ko) 2015-04-08 2016-10-18 현대자동차주식회사 사용자 입력 인식장치 및 방법
DE102015006605B3 (de) * 2015-05-21 2016-09-22 Audi Ag Bedienvorrichtung und Verfahren zum Ansteuern von Funktionseinheiten eines Kraftfahrzeugs und Kraftfahrzeug
CN105183217B (zh) * 2015-08-20 2016-11-09 京东方科技集团股份有限公司 触控显示设备及触控显示方法
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
JP6834962B2 (ja) 2015-09-08 2021-02-24 ソニー株式会社 情報処理装置、方法およびコンピュータプログラム
DE102015012178A1 (de) 2015-09-16 2017-03-16 e.solutions GmbH Berührungsempfindliche Vorrichtung mit haptischer Rückmeldung
JP6100355B1 (ja) * 2015-12-15 2017-03-22 レノボ・シンガポール・プライベート・リミテッド キーボード及びその制御方法
CN105892746A (zh) * 2016-03-31 2016-08-24 联想(北京)有限公司 一种触控方法以及电子设备
US20170285774A1 (en) * 2016-04-01 2017-10-05 Kunjal Parikh Characterization and simulation of writing instruments
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
CN105997252A (zh) * 2016-06-20 2016-10-12 深圳市罗伯医疗科技有限公司 机器人在手术中反馈触摸力的方法和机器人
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
DK201670720A1 (en) * 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
US10564724B1 (en) * 2016-09-20 2020-02-18 Apple Inc. Touch-based input device with haptic feedback
US10452145B2 (en) * 2016-11-14 2019-10-22 Immerson Corporation Systems and methods for haptically-enhanced smart home architectures
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
US10725549B2 (en) * 2018-03-29 2020-07-28 Cirrus Logic, Inc. Efficient detection of human machine interface interaction using a resonant phase sensing system
US10908200B2 (en) 2018-03-29 2021-02-02 Cirrus Logic, Inc. Resonant phase sensing of resistive-inductive-capacitive sensors
US11537242B2 (en) 2018-03-29 2022-12-27 Cirrus Logic, Inc. Q-factor enhancement in resonant phase sensing of resistive-inductive-capacitive sensors
US11092657B2 (en) 2018-03-29 2021-08-17 Cirrus Logic, Inc. Compensation of changes in a resonant phase sensing system including a resistive-inductive-capacitive sensor
US10642435B2 (en) 2018-03-29 2020-05-05 Cirrus Logic, Inc. False triggering prevention in a resonant phase sensing system
US10921159B1 (en) 2018-03-29 2021-02-16 Cirrus Logic, Inc. Use of reference sensor in resonant phase sensing system
SG11202010752VA (en) 2018-05-02 2020-11-27 Ultrahaptics Ip Ltd Blocking plate structure for improved acoustic transmission efficiency
US20190384394A1 (en) * 2018-06-15 2019-12-19 Immersion Corporation Method and apparatus for providing resistive feedback
JPWO2019244716A1 (ja) * 2018-06-19 2021-06-24 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10852831B2 (en) * 2018-11-26 2020-12-01 Zinitix Co., Ltd. User interface device driving chip for providing improved input feedback and electronic device using the same
CN109669612A (zh) * 2018-11-29 2019-04-23 惠州Tcl移动通信有限公司 移动终端控制方法、装置、移动终端及存储介质
US11536758B2 (en) 2019-02-26 2022-12-27 Cirrus Logic, Inc. Single-capacitor inductive sense systems
US11402946B2 (en) 2019-02-26 2022-08-02 Cirrus Logic, Inc. Multi-chip synchronization in sensor applications
US10935620B2 (en) 2019-02-26 2021-03-02 Cirrus Logic, Inc. On-chip resonance detection and transfer function mapping of resistive-inductive-capacitive sensors
US10948313B2 (en) 2019-02-26 2021-03-16 Cirrus Logic, Inc. Spread spectrum sensor scanning using resistive-inductive-capacitive sensors
JP7207017B2 (ja) * 2019-03-01 2023-01-18 株式会社デンソー 入力装置
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11079874B2 (en) 2019-11-19 2021-08-03 Cirrus Logic, Inc. Virtual button characterization engine
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
US11579030B2 (en) 2020-06-18 2023-02-14 Cirrus Logic, Inc. Baseline estimation for sensor system
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
US11868540B2 (en) 2020-06-25 2024-01-09 Cirrus Logic Inc. Determination of resonant frequency and quality factor for a sensor system
US11835410B2 (en) 2020-06-25 2023-12-05 Cirrus Logic Inc. Determination of resonant frequency and quality factor for a sensor system
DE102020004363A1 (de) * 2020-07-20 2022-01-20 Daimler Ag Verfahren zum Erzeugen einer haptischen Rückmeldung
WO2022058738A1 (en) 2020-09-17 2022-03-24 Ultraleap Limited Ultrahapticons
US11619519B2 (en) 2021-02-08 2023-04-04 Cirrus Logic, Inc. Predictive sensor tracking optimization in multi-sensor sensing applications
US11821761B2 (en) 2021-03-29 2023-11-21 Cirrus Logic Inc. Maximizing dynamic range in resonant sensing
US11808669B2 (en) 2021-03-29 2023-11-07 Cirrus Logic Inc. Gain and mismatch calibration for a phase detector used in an inductive sensor
US11507199B2 (en) 2021-03-30 2022-11-22 Cirrus Logic, Inc. Pseudo-differential phase measurement and quality factor compensation
US11979115B2 (en) 2021-11-30 2024-05-07 Cirrus Logic Inc. Modulator feedforward compensation
US11854738B2 (en) 2021-12-02 2023-12-26 Cirrus Logic Inc. Slew control for variable load pulse-width modulation driver and load sensing
JP7444939B1 (ja) 2022-09-08 2024-03-06 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1483656A1 (en) 2002-01-31 2004-12-08 Nokia Corporation Method, system and device for distinguishing pointing means
US7890863B2 (en) 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
TWI340338B (en) * 2007-05-15 2011-04-11 Htc Corp Method for identifying the type of input tools for a handheld device
KR101424259B1 (ko) * 2007-08-22 2014-07-31 삼성전자주식회사 휴대단말에서 입력 피드백 제공 방법 및 장치
US8098235B2 (en) * 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
TW200930015A (en) 2007-12-26 2009-07-01 Htc Corp A user interface of portable device and operating method thereof
US8525802B2 (en) * 2008-03-31 2013-09-03 Lg Electronics Inc. Portable terminal capable of sensing proximity touch and method for providing graphic user interface using the same
GB2462465B (en) * 2008-08-08 2013-02-13 Hiwave Technologies Uk Ltd Touch sensitive device
JP5309793B2 (ja) * 2008-08-27 2013-10-09 日本電気株式会社 タッチパネル振動方法およびタッチパネル装置
US8686952B2 (en) * 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
US20100156823A1 (en) * 2008-12-23 2010-06-24 Research In Motion Limited Electronic device including touch-sensitive display and method of controlling same to provide tactile feedback
GB0905692D0 (en) * 2009-04-02 2009-05-20 Tno Touch sensitive device
US8224392B2 (en) * 2009-04-29 2012-07-17 Lg Electronics Inc. Mobile terminal capable of recognizing fingernail touch and method of controlling the operation thereof
WO2011011025A1 (en) * 2009-07-24 2011-01-27 Research In Motion Limited Method and apparatus for a touch-sensitive display
CN102339123B (zh) * 2010-07-14 2014-10-29 Tcl集团股份有限公司 根据接触面积控制振动的方法
US20120032891A1 (en) * 2010-08-03 2012-02-09 Nima Parivar Device, Method, and Graphical User Interface with Enhanced Touch Targeting
EP2603844B1 (en) * 2010-08-12 2020-05-20 Google LLC Finger identification on a touchscreen
US8674961B2 (en) * 2011-01-31 2014-03-18 National Semiconductor Corporation Haptic interface for touch screen in mobile device or other device
US20120256848A1 (en) * 2011-04-08 2012-10-11 Research In Motion Limited Tactile feedback method and apparatus
CN106095119A (zh) * 2011-09-06 2016-11-09 意美森公司 触觉输出设备和在触觉输出设备内产生触觉效果的方法
US9582178B2 (en) * 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces
US8493354B1 (en) * 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9063570B2 (en) * 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system
US8743072B2 (en) * 2012-09-28 2014-06-03 Lg Electronics Inc. Display device and control method thereof
US9715300B2 (en) * 2013-03-04 2017-07-25 Microsoft Technology Licensing, Llc Touch screen interaction using dynamic haptic feedback

Also Published As

Publication number Publication date
EP2778847A3 (en) 2014-10-22
EP2778847A2 (en) 2014-09-17
US20140267065A1 (en) 2014-09-18
JP6411756B2 (ja) 2018-10-24
EP2778847B1 (en) 2017-05-03
JP2014179088A (ja) 2014-09-25
CN104049795A (zh) 2014-09-17
US9436282B2 (en) 2016-09-06
CN104049795B (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
US9436282B2 (en) Contactor-based haptic feedback generation
US10564730B2 (en) Non-collocated haptic cues in immersive environments
US8031172B2 (en) Method and apparatus for wearable remote interface device
US20170336871A1 (en) User Interface Impact Actuator
US8963882B2 (en) Multi-touch device having dynamic haptic effects
US7952566B2 (en) Apparatus and method for touch screen interaction based on tactile feedback and pressure measurement
JP2020038685A (ja) 摩擦効果及び振動触覚効果を生成するシステム及び方法
EP3096206A1 (en) Haptic effects based on predicted contact
WO2013104919A1 (en) Haptic feedback and pressure sensing
JP2016081524A (ja) リジッド部品を有し、触覚を利用可能で変形可能な装置
US20180011538A1 (en) Multimodal haptic effects
CN110209303B (zh) 电子设备和控制方法
CN109254658A (zh) 触觉反馈方法、触觉反馈装置及触摸显示装置
WO2019225328A1 (ja) 測定装置及び測定装置の制御方法
JP2017174211A (ja) ペン型入力装置、及び、電子機器

Legal Events

Date Code Title Description
WITB Written withdrawal of application