KR20160019468A - 압력 기반 햅틱 효과들을 위한 시스템들 및 방법들 - Google Patents

압력 기반 햅틱 효과들을 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20160019468A
KR20160019468A KR1020157036716A KR20157036716A KR20160019468A KR 20160019468 A KR20160019468 A KR 20160019468A KR 1020157036716 A KR1020157036716 A KR 1020157036716A KR 20157036716 A KR20157036716 A KR 20157036716A KR 20160019468 A KR20160019468 A KR 20160019468A
Authority
KR
South Korea
Prior art keywords
user
haptic
pressure
haptic effect
user interface
Prior art date
Application number
KR1020157036716A
Other languages
English (en)
Inventor
크리스토퍼 제이. 율리히
아마야 웨들
화 위
데이비드 번바움
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20160019468A publication Critical patent/KR20160019468A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 명세서에 개시된 하나의 예시적인 시스템은, 터치 표면과의 사용자 상호작용을 검출하고, 사용자 상호작용의 압력과 연관된 데이터를 포함하는 센서 신호를 송신하도록 구성된 센서를 포함한다. 이 예시적인 시스템은 센서와 통신하는 프로세서를 또한 포함하고, 프로세서는, 센서 신호를 수신하고, 센서 신호에 기초하여 압력 레벨을 결정하고, 압력 레벨에 적어도 부분적으로 기초하여 사용자 인터페이스 레벨을 결정하고, 사용자 상호작용 및 사용자 인터페이스 레벨과 연관된 기능을 수행하고, 사용자 상호작용 및 사용자 인터페이스 레벨에 적어도 부분적으로 기초하여 햅틱 효과를 결정하고, 햅틱 효과에 적어도 부분적으로 기초하여 햅틱 신호를 발생시키고, 햅틱 신호를 송신하도록 구성된다. 이 예시적인 시스템은, 햅틱 신호를 수신하고, 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스를 더 포함한다.

Description

압력 기반 햅틱 효과들을 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR PRESSURE-BASED HAPTIC EFFECTS}
관련 출원에 대한 참고
본 출원은, 2013년 6월 11일자로 출원되었으며 발명의 명칭이 "Rendering of Haptic Effects Based on Discrete Pressure Values"인 미국 가특허 출원 제61/833,626호에 대해 우선권을 주장하며, 이 가특허 출원의 전체내용은 참고로 본 명세서에 포함되어 있다.
기술분야
본 발명은 사용자 인터페이스 디바이스들의 분야에 관한 것이다. 보다 구체적으로는, 본 발명은 압력 기반 햅틱 효과들에 관한 것이다.
컴퓨터 기반 시스템들이 보다 널리 보급됨에 따라, 사람들이 이러한 시스템들과 상호작용하게 하는 인터페이스들의 품질이 점점 더 중요하게 되고 있다. 직관적이며 상호적인 속성으로 인해 인기가 상승하고 있는 한가지 인터페이스는 터치스크린 디스플레이이다. 터치스크린 디스플레이를 통하여, 사용자는 사용자의 손가락으로 터치스크린의 영역에 접촉함으로써 각종 태스크들을 수행할 수 있다. 더 직관적인 증대된 사용자 경험을 생성하기 위해서, 설계자들은 종종 물리적 상호작용들을 이용하여 사용자 경험을 레버리징한다. 일반적으로, 이것은 시각적, 오디오 및/또는 햅틱 피드백을 통해 물리적 세계(physical world)와의 상호작용들의 일부 양태들을 재현함으로써 행해진다. 햅틱 피드백은 종종 기계적 진동의 형태를 취한다. 햅틱 피드백을 발생시키기 위한 부가적인 시스템들 및 방법들이 필요하다.
본 개시물의 실시예들은 압력 기반 햅틱 효과들을 특징으로 하는 컴퓨팅 디바이스들을 포함한다. 일 실시예에서, 본 개시물의 시스템은, 터치 표면과의 사용자 상호작용을 검출하고, 사용자 상호작용의 압력과 연관된 데이터를 포함하는 센서 신호를 송신하도록 구성된 센서를 포함할 수 있다. 이 시스템은 센서와 통신하는 프로세서를 또한 포함할 수 있고, 프로세서는, 센서 신호를 수신하고, 센서 신호에 기초하여 압력 레벨을 결정하고, 압력 레벨에 적어도 부분적으로 기초하여 사용자 인터페이스 레벨을 결정하도록 구성된다. 프로세서는, 사용자 상호작용 및 사용자 인터페이스 레벨과 연관된 기능을 수행하고, 사용자 상호작용 및 사용자 인터페이스 레벨에 적어도 부분적으로 기초하여 햅틱 효과를 결정하고, 햅틱 효과에 적어도 부분적으로 기초하여 햅틱 신호를 발생시키고, 햅틱 신호를 송신하도록 또한 구성될 수 있다. 이 시스템은 프로세서와 통신하는 햅틱 출력 디바이스를 더 포함할 수 있고, 햅틱 출력 디바이스는 햅틱 신호를 수신하고, 햅틱 효과를 출력하도록 구성된다.
다른 실시예에서, 본 개시물의 방법은, 센서로부터 센서 신호를 수신하는 단계를 포함할 수 있고, 센서 신호는 터치 표면과의 사용자 상호작용의 압력과 연관된 데이터를 포함한다. 이 방법은, 센서 신호에 기초하여 압력 레벨을 결정하는 단계; 및 압력 레벨에 적어도 부분적으로 기초하여 사용자 인터페이스 레벨을 결정하는 단계를 또한 포함할 수 있다. 이 방법은, 사용자 상호작용 및 사용자 인터페이스 레벨과 연관된 기능을 수행하는 단계; 사용자 상호작용 및 사용자 인터페이스 레벨에 적어도 부분적으로 기초하여 햅틱 효과를 결정하는 단계; 햅틱 효과에 적어도 부분적으로 기초하여 햅틱 신호를 발생시키는 단계; 및 햅틱 신호를 햅틱 출력 디바이스로 송신하는 단계 - 햅틱 출력 디바이스는 햅틱 신호를 수신하고, 햅틱 효과를 출력하도록 구성됨 - 를 더 포함할 수 있다. 또 다른 실시예는 이러한 방법을 구현하기 위한 컴퓨터 판독가능 매체를 포함한다.
이러한 예시적인 실시예들은 본 발명 대상의 한계를 정의하거나 제한하기 위한 것이 아니라 그것의 이해를 돕기 위한 예들을 제공하기 위해 언급된다. 예시적인 실시예들은 발명을 실시하기 위한 구체적인 내용에서 논의되며, 추가의 설명이 거기에 제공되어 있다. 다양한 실시예들에 의해 제공되는 이점들은 본 명세서를 검토함으로써 그리고/또는 청구 대상의 하나 이상의 실시예를 실시함으로써 추가로 이해될 수 있다.
상세하고 실시가능한 개시물이 본 명세서의 나머지 부분에 보다 구체적으로 제시되어 있다. 본 명세서는 다음의 첨부 도면들을 참조한다.
도 1은 일 실시예에 따른 압력 기반 햅틱 효과들을 위한 시스템을 도시하는 블록도이다.
도 2는 압력 기반 햅틱 효과들을 위한 시스템을 도시하는 다른 블록도이다.
도 3은 압력 기반 햅틱 효과들을 위한 시스템의 실시예를 도시한다.
도 4는 압력 기반 햅틱 효과들을 위한 시스템의 다른 실시예를 도시한다.
도 5는 압력 기반 햅틱 효과들을 위한 시스템의 또 다른 실시예를 도시한다.
도 6은 압력 기반 햅틱 효과들을 위한 시스템의 또 다른 실시예를 도시한다.
도 7은 압력 기반 햅틱 효과들을 위한 시스템의 다른 실시예를 도시한다.
도 8은 일 실시예에 따른 압력 기반 햅틱 효과들을 제공하기 위한 방법을 수행하기 위한 단계들의 플로우차트이다.
이하, 다양한 그리고 대안적인 예시적인 실시예들 및 첨부 도면들에 대한 참조가 상세하게 이루어질 것이다. 각각의 예는 제한이 아니라 설명으로서 제공된다. 수정들 및 변형들이 행해질 수 있다는 것이 관련 기술분야의 통상의 기술자에게 명백할 것이다. 예를 들어, 일 실시예의 일부로서 예시되거나 설명된 특징들은 다른 실시예에서 이용되어, 또 다른 실시예를 산출할 수 있다. 따라서, 본 개시물은 첨부된 청구항들 및 그들의 등가물들의 범위 내에 있는 수정들 및 변형들을 포함하는 것으로 의도된다.
압력 기반 햅틱 효과들의 예시적인 예들
본 개시물의 하나의 예시적인 실시예는 스마트 폰, 태블릿 또는 e-리더와 같은 컴퓨팅 디바이스를 포함한다. 컴퓨팅 디바이스는 터치 스크린 디스플레이, 메모리, 카메라, 및 이러한 요소들 각각과 통신하는 프로세서를 포함한다.
예시적인 실시예에서, 터치 스크린 디스플레이는 사용자 인터페이스를 출력하도록 구성된다. 예를 들어, 터치 스크린 디스플레이는 카메라 애플리케이션과 연관된 사용자 인터페이스를 출력할 수 있다. 사용자는 예를 들어 사진이나 비디오를 촬영하기 위해 카메라 애플리케이션과 상호작용할 수 있다. 사용자 인터페이스는 사용자가 상호작용할 수 있는 다수의 사용자 인터페이스 레벨을 포함한다. 각각의 사용자 인터페이스 레벨은 컴퓨팅 디바이스가 하나 이상의 기능을 수행하게 하도록 구성될 수 있다. 예를 들어, 제1 사용자 인터페이스 레벨은 사용자가 카메라의 뷰 내의 객체(예를 들어, 사람, 동물, 나무, 자동차 또는 건물)에 포커싱하는 것을 허용하도록 구성될 수 있다. 제2 사용자 인터페이스 레벨은 객체의 사진을 촬영하도록 구성될 수 있다.
예시적인 실시예에서, 사용자는 상이한 사용자 인터페이스 레벨과 연관된 압력의 양을 터치 스크린 디스플레이에 가함으로써 그 레벨과 상호작용할(또는 그 레벨을 활성화할) 수 있다. 컴퓨팅 디바이스는 압력의 양을 검출하고 복수의 압력 레벨(즉, 2개의 압력 임계치 사이에 있는 압력들의 범위) 중 하나로 카테고리화하도록 구성될 수 있다. 각각의 압력 레벨은 사용자 인터페이스 레벨과 연관될 수 있다. 예를 들어, 압력 없음(예를 들어, 사용자가 터치 표면 상에 어떠한 압력도 가하지 않거나 소량의 압력을 가하고 있는 것)은 사용자 인터페이스 레벨과 연관되지 않을 수 있다. 소프트 압력(soft pressure)(예를 들어, 사용자가 낮은 압력으로 터치 표면에 접촉하고 있는 것)은 제1 사용자 인터페이스 레벨과 연관될 수 있다. 따라서, 사용자는 터치 스크린 디스플레이에 소프트 압력을 가함으로써 카메라를 객체에 포커싱가능할 수 있다. 단호한 압력(firm pressure)(예를 들어, 사용자가 소프트 압력 레벨보다 더 큰 압력으로 터치 표면에 접촉하고 있는 것)은 제2 사용자 인터페이스 레벨과 연관될 수 있다. 따라서, 사용자는 터치 스크린 디스플레이에 단호한 압력을 가함으로써 객체의 사진을 촬영가능할 수 있다.
예시적인 실시예에서, 컴퓨팅 디바이스는 햅틱 출력 디바이스와 또한 통신한다. 햅틱 출력 디바이스는 컴퓨팅 디바이스로부터 신호를 수신하고, 사용자에 의해 지각가능한 햅틱 효과를 출력하도록 구성된다.
예시적인 실시예에서, 컴퓨팅 디바이스는, 사용자 인터페이스 레벨에 적어도 부분적으로 기초하여, 출력할 햅틱 효과를 결정하도록 구성된다. 예를 들어, 예시적인 실시예에서, 사용자가 터치 스크린 디스플레이 상에 어떠한 압력도 가하지 않거나 소량의 압력을 가하고 있다고 컴퓨팅 디바이스가 결정하는 경우에는, 컴퓨팅 디바이스는 햅틱 효과 없음을 결정할 수 있다. 예시적인 실시예에서, 사용자가 터치 스크린 디스플레이 상에 소프트 압력을 가하고 있다고 컴퓨팅 디바이스가 결정하는 경우에는, 컴퓨팅 디바이스는 햅틱 효과(예를 들어, 카메라 렌즈의 움직임을 시뮬레이팅하도록 구성된 햅틱 효과)를 출력한다. 또한, 예시적인 실시예에서, 사용자가 터치 스크린 디스플레이 상에 단호한 압력을 가하고 있다고 컴퓨팅 디바이스가 결정하는 경우에는, 컴퓨팅 디바이스는 다른 햅틱 효과(예를 들어, 사진을 촬영하는 카메라의 셔터 및 다음의 프레임으로 진행하는 필름을 시뮬레이팅하도록 구성된 햅틱 효과)를 출력한다. 따라서, 사용자는 사용자의 손가락을 터치 스크린 디스플레이 상의 단일의 위치로부터 움직일 필요 없이 카메라를 객체에 포커싱하고 객체의 사진을 촬영가능할 수 있다. 이는 카메라 애플리케이션과의 상호작용들을 사용자에 대해 더 쉽게 할 수 있다.
일부 실시예들에서, 2개 이상의 사용자 인터페이스 레벨과 연관된 햅틱 효과들은 동일할 수 있다. 예를 들어, 일부 실시예들에서, 제1 사용자 인터페이스 레벨 및 제2 사용자 인터페이스 레벨과 연관된 햅틱 효과들은 동일할 수 있다(예를 들어, 진동). 다른 실시예들에서, 2개 이상의 사용자 인터페이스 레벨과 연관된 햅틱 효과들은 상이할 수 있다. 예를 들어, 일부 실시예들에서, 제1 사용자 인터페이스 레벨과 연관된 햅틱 효과는 진동을 포함할 수 있고, 제2 사용자 인터페이스 레벨과 연관된 햅틱 효과는 지각가능한 마찰 계수에서의 변화, 또는 제1 진동과 명확하게 구별가능한 제2 진동을 포함할 수 있다.
이상에서의 예시적인 실시예의 설명은 단지 일례로서 제공되어 있다. 본 발명의 다양한 다른 실시예들이 본 명세서에 설명되어 있고, 이러한 실시예들의 변형들이 관련 기술분야의 통상의 기술자에 의해 이해될 것이다. 다양한 실시예들에 의해 제공되는 이점들은 본 명세서를 검토함으로써 그리고/또는 청구 대상의 하나 이상의 실시예를 실시함으로써 추가로 이해될 수 있다.
압력 기반 햅틱 효과들을 위한 예시적인 시스템들
도 1은 일 실시예에 따른 압력 기반 햅틱 효과들을 위한 시스템(100)을 도시하는 블록도이다. 도 1에 도시된 바와 같이, 시스템(100)은 컴퓨팅 디바이스(101)를 포함한다. 컴퓨팅 디바이스(101)는 예를 들어 모바일 폰, 태블릿, e-리더, 랩톱 컴퓨터, 데스크톱 컴퓨터, 자동차 컴퓨터 시스템, 의료용 디바이스, 게임 콘솔, 게임 제어기 또는 휴대용 게이밍 디바이스를 포함할 수 있다. 또한, 일부 실시예들에서, 컴퓨팅 디바이스(101)는 다기능 제어기, 예를 들어 키오스크, 자동차, 경보 시스템, 서모스탯 또는 다른 타입의 컴퓨팅 디바이스에서 사용하기 위한 제어기를 포함할 수 있다. 시스템(100)이 도 1에서 단일의 디바이스로서 도시되어 있지만, 다른 실시예들에서, 시스템(100)은 다수의 디바이스, 예컨대 게임 콘솔 및 하나 이상의 게임 제어기를 포함할 수 있다.
컴퓨팅 디바이스(101)는 버스(106)를 통해 다른 하드웨어와 통신하는 프로세서(102)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적합한 유형의(tangible)(그리고 비일시적인) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(104)는 컴퓨팅 디바이스(101)의 동작을 구성하는 프로그램 컴포넌트들을 구현한다. 도시된 실시예에서, 컴퓨팅 디바이스(101)는 하나 이상의 네트워크 인터페이스 디바이스(110), 입/출력(I/O) 컴포넌트들(112) 및 저장소(114)를 더 포함한다.
네트워크 인터페이스 디바이스(110)는 네트워크 접속을 용이하게 하는 임의의 컴포넌트들 중 하나 이상을 나타낼 수 있다. 예들은, 셀룰러 전화 네트워크에 액세스하기 위한 라디오 인터페이스들(예를 들어, CDMA, GSM, UMTS 또는 다른 모바일 통신 네트워크에 액세스하기 위한 송수신기/안테나), 블루투스 또는 IEEE 802.11과 같은 무선 인터페이스들, 및/또는 이더넷, USB, IEEE 1394와 같은 유선 인터페이스들을 포함하지만, 이에 제한되지는 않는다.
I/O 컴포넌트들(112)은, 데이터를 입력하거나 데이터를 출력하는데 사용되는 하나 이상의 디스플레이(134), 게임 제어기, 키보드, 마우스, 조이스틱, 카메라, 버튼, 스피커, 마이크로폰 및/또는 다른 하드웨어와 같은 디바이스들에 대한 유선 또는 무선 접속을 용이하게 하기 위해 사용될 수 있다. 저장소(114)는, 컴퓨팅 디바이스(101)에 포함되거나 프로세서(102)에 연결된 자기, 광학 또는 다른 저장 매체와 같은 비휘발성 저장소를 나타낸다.
시스템(100)은, 이 예에서 컴퓨팅 디바이스(101)로 통합되는 터치 감응 표면(116)을 더 포함한다. 터치 감응 표면(116)은 사용자의 촉각 입력을 감지하도록 구성되는 임의의 표면을 나타낸다. 하나 이상의 터치 센서(108)는 객체가 터치 감응 표면(116)에 접촉할 때에 터치 영역에서의 터치를 검출하고, 프로세서(102)에 의해 이용하기에 적절한 데이터를 제공하도록 구성된다. 임의의 적합한 개수, 타입 또는 배열의 센서들이 사용될 수 있다. 예를 들어, 저항성 및/또는 용량성 센서들이 터치 감응 표면(116)에 임베딩되어, 터치의 위치 및 다른 정보, 예컨대 압력, 속도 및/또는 방향을 결정하는데 이용될 수 있다. 다른 예로서, 터치 감응 표면(116)의 뷰를 갖는 광학 센서들이 터치 위치를 결정하는데 사용될 수 있다.
다른 실시예들에서, 터치 센서(108)는 LED 검출기를 포함할 수 있다. 예를 들어, 일 실시예에서, 터치 감응 표면(116)은 디스플레이(134)의 측면 상에 장착된 LED 손가락 검출기를 포함할 수 있다. 일부 실시예들에서, 프로세서(102)는 단일의 터치 센서(108)와 통신하고, 다른 실시예들에서, 프로세서(102)는 복수의 터치 센서(108), 예를 들어 제1 터치 스크린 및 제2 터치 스크린과 통신한다. 터치 센서(108)는 사용자 상호작용을 검출하고, 사용자 상호작용에 기초하여 신호들을 프로세서(102)로 송신하도록 구성된다. 일부 실시예들에서, 터치 센서(108)는 사용자 상호작용의 다수의 양태를 검출하도록 구성될 수 있다. 예를 들어, 터치 센서(108)는 사용자 상호작용의 속도 및 압력을 검출하고, 이 정보를 인터페이스 신호에 통합할 수 있다.
터치 감응 표면(116)은, 시스템(100)의 특정 구성에 따라, 디스플레이(134)를 포함(또는 다른 방식으로 디스플레이에 대응)할 수도 있고 그렇지 않을 수도 있다. 일부 실시예들은, 디바이스의 디스플레이(134)와 터치 감응 표면(116)을 결합하는 터치 가능 디스플레이(touch enabled display)를 포함한다. 터치 감응 표면(116)은 디스플레이(134) 외부에 대응하거나 또는 디스플레이(134) 상에 제시된 컴포넌트들 위의 하나 이상의 재료 층에 대응할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(101)는, 컴퓨팅 디바이스(101)에 인터페이스되며 시스템(100)에 포함된 디스플레이(134)에 제공되는 그래픽 사용자 인터페이스에 매핑될 수 있는 터치 감응 표면(116)을 포함한다. 예를 들어, 도 2에 도시된 바와 같이, 컴퓨팅 디바이스(201)는, 컴퓨팅 시스템(220)에 포함된 디스플레이(222)에 제공되는 그래픽 사용자 인터페이스에 매핑될 수 있는 터치 감응 표면(216)을 포함한다. 컴퓨팅 시스템(220)은 컴퓨팅 디바이스(201)에 통신가능하게 연결된다. 컴퓨팅 디바이스(201)는 예를 들어 마우스, 트랙패드 또는 다른 디바이스를 포함할 수 있다. 컴퓨팅 시스템(220)은 예를 들어 랩톱 컴퓨터, 데스크톱 컴퓨터, 셋톱 박스(예를 들어, DVD 플레이어, DVR, 케이블 텔레비전 박스) 또는 다른 컴퓨팅 시스템을 포함할 수 있다. 디스플레이(222)와 통합되든지 그렇지 않든지 간에, 본 명세서의 예들에서의 평면 터치 감응 표면들(216)의 도시는 제한하는 것으로 여겨지지는 않는다. 다른 실시예들은 곡선형 또는 불규칙한 터치 감응 표면들(216)을 포함할 수 있다.
도 1을 참조하면, 시스템(100)은 압력 센서(132)를 더 포함한다. 압력 센서(132)는 컴퓨팅 디바이스(101)와 연관된 표면(예를 들어, 터치 감응 표면(116))에 대하여 사용자에 의해 가해진 압력의 양을 검출하도록 구성된다. 압력 센서(132)는 센서 신호들을 프로세서(102)에 송신하도록 또한 구성된다. 압력 센서(132)는 예를 들어 용량성 센서, 스트레인 게이지(strain gauge), 불완전 내부 전반사(frustrated total internal reflection) 센서, 또는 FSR을 포함할 수 있다. 일부 실시예들에서, 압력 센서(132)는 컴퓨팅 디바이스(101)와 연관된 표면과 사용자 사이의 접촉의 표면적을 결정하도록 구성될 수 있다. 일부 실시예들에서, 터치 감응 표면(116) 또는 터치 센서(108)는 압력 센서(132)를 포함할 수 있다.
시스템(100)은 하나 이상의 부가적인 센서(130)를 포함한다. 일부 실시예들에서, 센서(130)는, 예를 들어, 카메라, 자이로스코프, 가속도계, GPS(global positioning system) 유닛, 온도 센서, 스트레인 게이지, 힘 센서, 거리 센서(range sensor) 또는 깊이 센서를 포함할 수 있다. 일부 실시예들에서, 자이로스코프, 가속도계 및 GPS 유닛은 컴퓨팅 디바이스(101)의 배향, 가속도 및 위치를 각각 검출할 수 있다. 일부 실시예들에서, 카메라, 거리 센서 및/또는 깊이 센서는 컴퓨팅 디바이스(101)와 외부 객체(예를 들어, 사용자의 손, 머리, 팔, 발 또는 다리; 다른 사람; 자동차; 나무; 건물; 또는 가구) 사이의 거리를 검출할 수 있다. 도 1에 도시된 실시예는 컴퓨팅 디바이스(101) 내부에 있는 센서(130)를 도시하고 있지만, 일부 실시예들에서, 센서(130)는 컴퓨팅 디바이스(101) 외부에 있을 수 있다. 예를 들어, 일부 실시예들에서, 하나 이상의 센서(130)는 사용자의 신체에 연결되고/되거나 착용가능 디바이스(예를 들어, 반지, 팔찌, 소매, 칼라, 모자, 셔츠, 장갑, 의복 또는 안경)와 연관될 수 있다. 일부 실시예들에서, 프로세서(102)는 단일의 센서(130)와 통신할 수 있고, 다른 실시예들에서, 프로세서(102)는 복수의 센서(130), 예를 들어 자이로스코프 및 가속도계와 통신할 수 있다. 센서(130)는 센서 신호를 프로세서(102)로 송신하도록 구성된다.
시스템(100)은 프로세서(102)와 통신하는 햅틱 출력 디바이스(118)를 더 포함한다. 햅틱 출력 디바이스(118)는 햅틱 신호에 응답하여 햅틱 효과를 출력하도록 구성된다. 일부 실시예들에서, 햅틱 효과는, 예를 들어, 진동, 지각된 마찰 계수에서의 변화, 시뮬레이팅된 텍스처, 온도 변화, 스트로킹 감각(stroking sensation), 전기-촉각 효과(electro-tactile effect), 또는 표면 변형 중 하나 이상을 포함할 수 있다.
도 1에 도시된 실시예에서, 햅틱 출력 디바이스(118)는 프로세서(102)와 통신하고, 컴퓨팅 디바이스(101)의 내부에 있다. 다른 실시예들에서, 햅틱 출력 디바이스(118)는 컴퓨팅 디바이스(101)로부터 원격에 있을 수 있지만, 프로세서(102)에 통신가능하게 연결될 수 있다. 예를 들어, 햅틱 출력 디바이스(118)는 컴퓨팅 디바이스(101)의 외부에 있고, 라디오 인터페이스, 블루투스 또는 IEEE 802.11과 같은 무선 인터페이스, 및/또는 이더넷, USB, IEEE 1394와 같은 유선 인터페이스를 통해 이 컴퓨팅 디바이스와 통신할 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는 컴퓨팅 디바이스(101)로부터 원격에 있을 수 있는 착용가능 디바이스에 연결될 수 있다. 일부 실시예들에서, 착용가능 디바이스는 신발, 소매, 재킷, 안경, 장갑, 반지, 손목시계, 손목 밴드, 팔찌, 의복, 모자, 머리띠 및/또는 장신구를 포함할 수 있다. 이러한 실시예에서, 착용가능 디바이스는 사용자의 신체의 일부, 예를 들어 사용자의 손가락, 팔, 손, 발, 다리, 머리 또는 다른 신체 부위와 연관될 수 있다.
일부 실시예들에서, 햅틱 출력 디바이스(118)는 진동을 포함하는 햅틱 효과를 출력하도록 구성될 수 있다. 햅틱 출력 디바이스(118)는, 예를 들어, 압전 액추에이터, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금(shape memory alloy), 전기 활성 폴리머(electro-active polymer), 솔레노이드, 편심 회전 질량 모터(ERM: eccentric rotating mass motor) 또는 선형 공진 액추에이터(LRA: linear resonant actuator) 중 하나 이상을 포함할 수 있다.
일부 실시예들에서, 햅틱 출력 디바이스(118)는, 컴퓨팅 디바이스(101)와 연관된 표면(예를 들어, 터치 감응 표면(116)) 상에 지각된 마찰 계수에서의 변화를 포함하는 햅틱 효과를 출력하도록 구성될 수 있다. 일 실시예에서, 햅틱 출력 디바이스(118)는 초음파 액추에이터를 포함한다. 초음파 액추에이터는 컴퓨팅 디바이스(101)와 연관된 표면(예를 들어, 터치 감응 표면(116)) 상의 지각된 마찰 계수를 증가시키거나 감소시키는 초음파 주파수, 예를 들어 20㎑로 진동할 수 있다. 일부 실시예들에서, 초음파 액추에이터는 압전 재료를 포함할 수 있다.
다른 실시예들에서, 햅틱 출력 디바이스(118)는, 햅틱 효과를 출력하기 위해서, 예를 들어 정전 액추에이터(electrostatic actuator)의 사용에 의해 정전 인력(electrostatic attraction)을 이용할 수 있다. 이러한 실시예에서, 햅틱 효과는 컴퓨팅 디바이스(101)와 연관된 표면(예를 들어, 터치 감응 표면(116)) 상의 마찰 계수에서의 지각된 변화, 스트로킹 감각, 시뮬레이팅된 진동, 또는 시뮬레이팅된 텍스처를 포함할 수 있다. 일부 실시예들에서, 정전 액추에이터는 전도층 및 절연층을 포함할 수 있다. 전도층은 임의의 반도체 또는 다른 전도성 재료, 예컨대 구리, 알루미늄, 금 또는 은일 수 있다. 절연층은 유리, 플라스틱, 폴리머 또는 임의의 다른 절연 재료일 수 있다. 또한, 프로세서(102)는 전도층에 전기 신호, 예를 들어 AC 신호를 인가함으로써 정전 액추에이터를 동작시킬 수 있다. 일부 실시예들에서, 고전압 증폭기가 AC 신호를 발생시킬 수 있다. 전기 신호는, 햅틱 출력 디바이스(118)를 터치하거나 그 근처에 있는 객체(예를 들어, 사용자의 손가락, 머리, 발, 팔, 어깨, 다리 또는 다른 신체 부위, 또는 스타일러스)와 전도층 사이에 용량성 결합을 발생시킬 수 있다. 일부 실시예들에서, 객체와 전도층 사이의 인력 레벨을 변화시키는 것은 컴퓨팅 디바이스(101)와 상호작용하는 사용자에 의해 지각되는 햅틱 효과를 변화시킬 수 있다.
일부 실시예들에서, 햅틱 출력 디바이스(118)는 변형 디바이스를 포함할 수 있다. 변형 디바이스는 햅틱 출력 디바이스(118)와 연관된 표면(예를 들어, 컴퓨팅 디바이스(101)의 하우징 또는 터치 감응 표면(116))을 변형시킴으로써 햅틱 효과를 출력하도록 구성될 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는, 강성(stiffness), 볼륨, 투명도 및/또는 컬러를 변화시키는 것에 의해 자극 또는 자극들에 반응하는 스마트 젤(smart gel)을 포함할 수 있다. 일부 실시예들에서, 강성은 햅틱 출력 디바이스(118)와 연관된 표면의 변형에 대한 저항성(resistance)을 포함할 수 있다. 일 실시예에서, 하나 이상의 와이어가 스마트 젤에 임베딩되거나 스마트 젤에 연결된다. 전류가 와이어들을 통해 흐름에 따라, 열이 방출되고, 스마트 젤을 확장시키거나 수축시켜 햅틱 출력 디바이스(118)와 연관된 표면을 변형시킨다.
다른 실시예들에서, 햅틱 출력 디바이스(118)는, 변형 컴포넌트를 회전시키는, 아암(arm)에 연결된 액추에이터를 포함할 수 있다. 액추에이터는 압전 액추에이터, 회전/선형 액추에이터, 솔레노이드, 전기 활성 폴리머 액추에이터, 매크로 섬유 복합재(MFC: macro fiber composite) 액추에이터, 형상 기억 합금(SMA) 액추에이터 및/또는 다른 액추에이터를 포함할 수 있다. 액추에이터가 변형 컴포넌트를 회전시킴에 따라, 변형 컴포넌트는 햅틱 출력 디바이스(118)와 연관된 표면을 이동시켜 그것이 변형되게 할 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는 컴퓨팅 디바이스(101)의 컴포넌트 또는 컴퓨팅 디바이스(101)의 하우징의 일부를 포함할 수 있다. 다른 실시예들에서, 햅틱 출력 디바이스(118)는 컴퓨팅 디바이스(101)의 컴포넌트 또는 컴퓨팅 디바이스(101)를 오버레이하는 연성 하우징 내부에 하우징될 수 있다.
일부 실시예들에서, 햅틱 출력 디바이스(118)는 열 또는 전기-촉각 햅틱 효과를 출력하도록 구성될 수 있다. 예를 들어, 햅틱 출력 디바이스(118)는 햅틱 출력 디바이스(118)와 연관된 표면의 온도 변화를 포함하는 햅틱 효과를 출력하도록 구성될 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는 열 또는 전기-촉각 효과를 출력하기 위한 전도체(예를 들어, 와이어 또는 전극)를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 햅틱 출력 디바이스(118)는 햅틱 출력 디바이스(118)와 연관된 표면에 임베딩된 전도체를 포함할 수 있다. 컴퓨팅 디바이스(101)는 전도체에 전류를 전송함으로써 햅틱 효과를 출력할 수 있다. 전도체는 전류를 수신하고, 예를 들어 열을 발생시키고, 그에 따라 햅틱 효과를 출력할 수 있다.
단일의 햅틱 출력 디바이스(118)가 여기에 도시되어 있지만, 일부 실시예들은, 햅틱 피드백을 제공하기 위해서 동일한 또는 상이한 타입의 다수의 햅틱 출력 디바이스를 사용할 수 있다. 일부 햅틱 효과들은 디바이스의 하우징에 연결된 액추에이터를 사용할 수 있고, 일부 햅틱 효과들은 다수의 액추에이터를 순차적으로 그리고/또는 일제히 사용할 수 있다. 예를 들어, 일부 실시예들에서, 상이한 햅틱 효과들을 제공하기 위해서 다수의 진동 액추에이터 및 정전 액추에이터가 단독으로 또는 일제히 사용될 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는, 터치 감응 표면(116)에 연결될 수 있는 솔레노이드 또는 다른 힘이나 변위 액추에이터를 포함할 수 있다. 또한, 햅틱 출력 디바이스(118)는 강성 또는 연성일 수 있다.
메모리(104)를 참조하면, 디바이스가 일부 실시예들에서 압력 기반 햅틱 효과들을 제공하도록 구성될 수 있는 방법을 나타내기 위해 프로그램 컴포넌트들(124, 126 및 128)이 도시되어 있다. 이 예에서, 검출 모듈(124)은 터치의 위치를 결정하기 위해서 터치 센서(108)를 통해 터치 감응 표면(116)을 모니터링하도록 프로세서(102)를 구성한다. 예를 들어, 검출 모듈(124)은, 터치의 존재 또는 부재를 추적하고, 터치가 존재하는 경우에 터치의 위치, 경로, 속도, 가속도, 압력 및/또는 다른 특성 중 하나 이상을 추적하기 위해서 터치 센서(108)를 샘플링할 수 있다.
햅틱 효과 결정 모듈(126)은, 데이터를 분석하여, 발생시킬 햅틱 효과를 결정하는 프로그램 컴포넌트를 나타낸다. 햅틱 효과 결정 모듈(126)은, 예를 들어 터치 감응 표면(116)과의 상호작용에 기초하여, 출력할 햅틱 효과를 결정하는 코드, 및 효과를 출력하기 위해 제공할 하나 이상의 햅틱 효과를 선택하는 코드를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 터치 감응 표면(116)의 영역의 전부 또는 일부는 그래픽 사용자 인터페이스에 매핑될 수 있다. 햅틱 효과 결정 모듈(126)은, 터치 감응 표면(116)의 표면 상에 피처(예를 들어, 가상 아바타, 자동차, 동물, 만화 캐릭터, 버튼, 레버, 슬라이더, 목록, 메뉴, 로고 또는 사람)의 압력을 시뮬레이팅하기 위해서 터치의 위치에 기초하여 상이한 햅틱 효과들을 선택할 수 있다. 일부 실시예들에서, 이러한 피처들은 인터페이스 상의 피처의 가시적 표현에 대응할 수 있다. 그러나, 대응하는 요소가 인터페이스에 디스플레이되지 않더라도 햅틱 효과들이 출력될 수 있다(예를 들어, 인터페이스에서의 경계가 디스플레이되지 않더라도, 이 경계가 가로질러지는 경우에 햅틱 효과가 제공될 수 있다).
일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 가상 객체와 연관된 특성(예를 들어, 가상 크기, 폭, 길이, 컬러, 텍스처, 재료, 궤적, 타입, 움직임, 패턴 또는 위치)에 적어도 부분적으로 기초하여 햅틱 효과를 선택할 수 있다. 예를 들어, 일 실시예에서, 햅틱 효과 결정 모듈(126)은, 가상 객체와 연관된 컬러가 청색인 경우에 진동을 포함하는 햅틱 효과를 결정할 수 있다. 이러한 실시예에서, 햅틱 효과 결정 모듈(126)은, 가상 객체와 연관된 컬러가 적색인 경우에 온도 변화를 포함하는 햅틱 효과를 결정할 수 있다. 다른 예로서, 햅틱 효과 결정 모듈(126)은, 가상 객체가 모래질이거나 거친 연관된 가상 텍스처를 포함하는 경우에 모래의 텍스처를 시뮬레이팅하도록 구성된 햅틱 효과를 결정할 수 있다.
일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 압력 센서(132)로부터의 신호에 적어도 부분적으로 기초하여 햅틱 효과를 선택할 수 있다. 즉, 햅틱 효과 결정 모듈(126)은, 컴퓨팅 디바이스(101)와 연관된 표면(예를 들어, 터치 감응 표면(116))에 대해 사용자가 가하는 압력의 양에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 일부 실시예들에서, 햅틱 효과 결정 모듈(126)은, 사용자가 표면에 대해 압력을 거의 또는 전혀 가하지 않는 경우에 제1 햅틱 효과를 출력하거나 어떠한 햅틱 효과도 출력하지 않을 수 있다. 일부 실시예들에서, 햅틱 효과 결정 모듈(126)은, 사용자가 표면에 대해 낮은 압력을 가하는 경우에 제2 햅틱 효과를 출력하거나 어떠한 햅틱 효과도 출력하지 않을 수 있다. 또한, 일부 실시예들에서, 햅틱 효과 결정 모듈(126)은, 사용자가 표면에 대해 단호한 압력을 가하는 경우에 제3 햅틱 효과를 출력하거나 어떠한 햅틱 효과도 출력하지 않을 수 있다. 일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 압력 없음, 소프트 압력 및/또는 단호한 압력과 상이한 햅틱 효과들을 연관시킬 수 있다. 다른 실시예들에서, 햅틱 효과 결정 모듈(126)은 압력 없음, 소프트 압력 및/또는 단호한 압력과 동일한 햅틱 효과를 연관시킬 수 있다.
일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 유한 상태 머신을 포함할 수 있다. 유한 상태 머신은 수학적 계산 모델을 포함할 수 있다. 수학적 모델에 입력을 적용하면, 유한 상태 머신은 현재의 상태를 새로운 상태로 전이할 수 있다. 이러한 실시예에서, 유한 상태 머신은 상태들 사이의 전이에 기초하여 햅틱 효과들을 선택할 수 있다. 일부 실시예들에서, 이러한 상태 전이들은 압력 센서(132)로부터의 센서 신호에 부분적으로 기초하여 구동될 수 있다.
일부 실시예들에서, 햅틱 효과 결정 모듈(126)은, 센서(130)로부터의 신호들(예를 들어, 온도, 주변 광의 양, 가속도계 측정치 또는 자이로스코프 측정치)에 적어도 부분적으로 기초하여 햅틱 효과를 결정하는 코드를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 주변 광의 양에 기초하여 햅틱 효과를 결정할 수 있다. 이러한 실시예들에서, 주변 광이 감소함에 따라, 햅틱 효과 결정 모듈(126)은, 컴퓨팅 디바이스(101)의 표면을 변형시키거나 또는 햅틱 출력 디바이스(118)와 연관된 표면 상의 지각된 마찰 계수를 변화시키도록 구성된 햅틱 효과를 결정할 수 있다. 일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 온도에 기초하여 햅틱 효과들을 결정할 수 있다. 예를 들어, 온도가 감소함에 따라, 햅틱 효과 결정 모듈(126)은, 사용자가 햅틱 출력 디바이스(118)와 연관된 표면 상의 감소하는 마찰 계수를 지각하는 햅틱 효과를 결정할 수 있다.
햅틱 효과 발생 모듈(128)은, 선택된 햅틱 효과를 발생시키기 위해서 프로세서(102)가 햅틱 신호를 햅틱 출력 디바이스(118)로 송신하게 하는 프로그래밍을 나타낸다. 예를 들어, 햅틱 효과 발생 모듈(128)은 햅틱 출력 디바이스(118)로 송신할 저장된 파형들 또는 커맨드들에 액세스할 수 있다. 다른 예로서, 햅틱 효과 발생 모듈(128)은 햅틱 신호를 결정하기 위한 알고리즘들을 포함할 수 있다. 햅틱 효과 발생 모듈(128)은 햅틱 효과에 대한 타깃 좌표들을 결정하기 위한 알고리즘들을 포함할 수 있다. 이러한 타깃 좌표들은 예를 들어 터치 감응 표면(116)의 위치를 포함할 수 있다.
도 3은 압력 기반 햅틱 효과들을 위한 시스템의 실시예를 도시한다. 시스템(300)은 컴퓨팅 디바이스(302)를 포함한다. 위에서 언급된 바와 같이, 일부 실시예들에서, 컴퓨팅 디바이스(302)는 태블릿, e-리더, 자동차 컴퓨터(예를 들어, 스테레오, HVAC, 조명, 내비게이션 또는 다른 차량 기능들과 같은 하나 이상의 자동차 시스템 또는 디바이스를 제어하기 위한 컴퓨터), 의료용 디바이스, 랩톱 컴퓨터, 데스크톱 컴퓨터, 게임 시스템, 휴대용 게이밍 디바이스, 게임패드 또는 다른 전자 디바이스를 포함할 수 있다. 다른 실시예들에서, 컴퓨팅 디바이스(302)는 다기능 제어기, 예를 들어 키오스크, 자동차, 경보 시스템, 서모스탯 또는 다른 타입의 컴퓨팅 디바이스에서 사용하기 위한 제어기를 포함할 수 있다. 도 3에 도시된 실시예에서, 컴퓨팅 디바이스(302)는 스마트 폰과 같은 모바일 폰을 포함한다.
이 예에서, 컴퓨팅 디바이스(302)는 디스플레이와 터치 감응 표면을 결합하는 터치 스크린 디스플레이(304)를 또한 포함한다. 터치 스크린 디스플레이(304)는 사용자 인터페이스(예를 들어, 게임)를 출력하고 있다. 일부 실시예들에서, 사용자 인터페이스는 하나 이상의 가상 객체(306)를 포함할 수 있다. 도 3에 도시된 실시예에서, 가상 객체(306)는 가상 총을 포함한다.
사용자(308)는 예를 들어 터치 스크린 디스플레이(304) 상에서의 탭핑, 터치 또는 제스처(예를 들어, 2-손가락 핀치 또는 스와이프)에 의해 사용자 인터페이스와 상호작용할 수 있다. 일부 실시예들에서, 사용자(308)는 비디오 게임을 플레이하기 위해, 예를 들어 가상 타깃에 가상 총을 쏘기 위해 사용자 인터페이스와 상호작용할 수 있다.
위에서 논의된 바와 같이, 일부 실시예들에서, 사용자 인터페이스는 사용자(308)가 상호작용할 수 있는 다수의 레벨을 포함할 수 있다. 사용자(308)는 상이한 사용자 인터페이스 레벨과 연관된 압력의 레벨을 가함으로써 그 사용자 인터페이스 레벨과 상호작용할 수 있다. 예를 들어, 일 실시예에서, 사용자(308)는 소프트 압력을 가함으로써 사용자 인터페이스에서 객체들과 연관된 텍스처들을 느낄 수 있다. 이러한 실시예에서, 사용자(308)는 더 강한 압력을 가함으로써 객체들을 선택할 수 있다. 따라서, 컴퓨팅 디바이스(302)는 가상 객체(306)와의 상호작용의 다수의 계층을 제공할 수 있으며, 이는 사용자 경험을 증대시킬 수 있다.
도 3에 도시된 실시예에서, 사용자는 예를 들어 비디오 게임을 플레이하기 위해 가상 객체(들)(306)와 상호작용할 수 있다. 사용자(308)는 예를 들어 게임 기능들을 수행하기 위해 터치 스크린 디스플레이(304)에 상이한 양의 압력을 가함으로써 가상 객체(306)와 상호작용할 수 있다. 예를 들어, 사용자는 가상 객체(306)(예를 들어, 가상 총)에 소프트 압력을 가함으로써 제1 사용자 인터페이스 레벨과 상호작용할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(302)는 제1 사용자 인터페이스 레벨과 연관된 게임 기능(예를 들어, 탄약 탄창을 가상 총에 장전하는 것 또는 가상 총을 겨누는 것)을 수행할 수 있다. 또한, 일부 실시예들에서, 사용자는 가상 객체(306)에 단호한 압력을 가함으로써 제2 사용자 인터페이스 레벨과 상호작용할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(302)는 제2 사용자 인터페이스 레벨과 연관된 게임 기능(예를 들어, 가상 총을 발사하는 것)을 수행할 수 있다. 일부 실시예들에서, 사용자가 가상 객체(306) 상의 단호한 압력을 해제하면, 컴퓨팅 디바이스(306)는 제1 사용자 인터페이스 레벨과 연관된 다른 게임 기능(예를 들어, 가상 총으로부터 소비된 케이스를 꺼내는 것)을 수행할 수 있다. 따라서, 사용자(306)는 가상 객체(306)로부터 손가락을 움직일 필요 없이 복수의 게임 기능을 수행가능할 수 있다. 이것은 사용자에 대해 더 직관적이며 단순화된 경험을 제공할 수 있다.
컴퓨팅 디바이스(302)는 사용자 인터페이스 레벨에 적어도 부분적으로 기초하여 햅틱 효과를 결정하도록 구성된다. 예를 들어, 일부 실시예들에서, 사용자(308)가 가상 객체(306) 상에 어떠한 압력도 가하지 않는 경우, 컴퓨팅 디바이스(302)는 햅틱 효과 없음을 결정할 수 있다. 사용자(308)가 가상 객체(306)에 소프트 압력을 가하는 경우, 컴퓨팅 디바이스(302)는 제1 사용자 인터페이스 레벨과 연관된 햅틱 효과를 출력할 수 있다. 예를 들어, 총 핸들 또는 그립의 텍스처를 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 나무 또는 고무 텍스처). 또한, 일부 실시예들에서, 사용자(308)가 가상 객체(306)에 단호한 압력을 가하는 경우, 컴퓨팅 디바이스(302)는 제2 사용자 인터페이스 레벨과 연관된 햅틱 효과를 출력할 수 있다. 예를 들어, 총의 발사를 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 더 짧은 지속시간을 갖는 높은 크기의 진동). 일부 실시예들에서, 컴퓨팅 디바이스(302)는 햅틱 효과에 부가하여 사용자 인터페이스 레벨과 연관된 사운드(예를 들어, 사격 사운드)를 출력할 수 있다. 따라서, 사용자는 하나 이상의 사용자 인터페이스 레벨과 연관된 햅틱 및/또는 오디오 피드백을 수신할 수 있다. 이것은 사용자에게 증대된 게이밍 경험을 제공할 수 있다. 예를 들어, 사용자(308)는 터치 스크린 디스플레이(304)를 볼 필요 없이 가상 무기에 소프트 압력을 가하여 그것이 어느 타입의 무기인지를 결정가능할 수 있다. 또한, 사용자(308)는 터치 스크린 디스플레이(304)를 볼 필요 없이 가상 무기에 단호한 압력을 가하여 이 무기를 조작하거나 발사가능할 수 있다. 따라서, 사용자는 다른 게임 액티비티들에 사용자의 주의를 자유롭게 집중시킬 수 있다.
일부 실시예들에서, 사용자 인터페이스 레벨은 복수의 기능과 연관될 수 있다. 예를 들어, 일부 실시예들에서, 사용자(308)가 단호한 압력을 해제하는 경우, 컴퓨팅 디바이스(302)는 제1 사용자 인터페이스 레벨과 연관된 다른 기능을 수행할 수 있다. 예를 들어, 컴퓨팅 디바이스(302)는 소비된 탄약 라운드(spent ammunition round)를 가상 총으로부터 가상으로 꺼낼 수 있다. 또한, 복수의 햅틱 효과는 사용자 인터페이스 레벨과 연관될 수 있다. 예를 들어, 사용자가 단호한 압력을 해제하면, 컴퓨팅 디바이스(302)는 제1 사용자 인터페이스 레벨과 연관된 다른 햅틱 효과를 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(302)는 사용된 탄약 라운드를 가상 총으로부터 꺼내는 것을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 더 짧은 지속시간을 갖는 낮은 크기의 진동)를 출력할 수 있다. 또한, 사용자(308)가 소프트 압력을 해제하는 경우, 컴퓨팅 디바이스(302)는 다른 기능을 수행하고/하거나 햅틱 효과를 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(302)는 무기로부터 탄창을 빼내는 것을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 더 긴 지속시간을 갖는 낮은 크기의 진동)를 출력할 수 있다. 따라서, 사용자(308)는 사용자 인터페이스에 디스플레이된 하나 이상의 가상 객체에 상이한 레벨의 압력을 가함으로써 상이한 기능들을 수행할 수 있다. 또한, 컴퓨팅 디바이스(302)는 기능 및/또는 압력 레벨과 연관된 상이한 햅틱 효과들을 결정하여 출력할 수 있다.
다른 예로서, 일부 실시예들에서, 컴퓨팅 디바이스(302)는 시뮬레이터를 포함할 수 있다. 시뮬레이터는 가상 객체(306)를 출력하고, 이 객체와의 물리적 상호작용들을 시뮬레이팅하도록 구성될 수 있다. 예를 들어, 시뮬레이터는 가상 탄산 음료 캔(예를 들어, 소다 또는 맥주 캔)을 출력하며, 실제 탄산 음료 캔과의 상호작용들을 시뮬레이팅하도록 구성될 수 있다. 일부 실시예들에서, 사용자(308)가 가상 탄산 음료 캔에 소프트 압력을 가하면, 컴퓨팅 디바이스(302)는 제1 사용자 인터페이스 레벨과 연관된 햅틱 효과를 출력할 수 있다. 예를 들어, 탄산화의 해제를 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 더 긴 지속시간을 갖는 낮은 크기의 진동). 일부 실시예들에서, 사용자(308)가 가상 객체(306)에 단호한 압력을 가하면, 컴퓨팅 디바이스(302)는 제2 사용자 인터페이스 레벨과 연관된 햅틱 효과를 출력할 수 있다. 예를 들어, 캔의 꼭지를 따는 것을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 더 짧은 지속시간을 갖는 높은 크기의 진동). 사용자(308)가 단호한 터치를 해제하면, 컴퓨팅 디바이스(302)는 제1 사용자 인터페이스 레벨과 연관된 다른 햅틱 효과를 출력할 수 있다. 예를 들어, 음료를 따르는 것을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 흐름 감각).
또 다른 예는 가상 자동차를 포함하는 가상 객체(306)를 포함할 수 있다. 사용자(306)는 비디오 게임에서 가상 자동차를 운전가능할 수 있다. 일부 실시예들에서, 사용자(308)가 가상 객체(306)에 소프트 압력을 가하는 경우, 컴퓨팅 디바이스(302)는 예를 들어 가상 자동차의 엔진을 시동시킬 수 있다. 컴퓨팅 디바이스(302)는 예를 들어 엔진 시동의 굉음(rumble)을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 긴 저주파수 진동)를 또한 출력할 수 있다. 일부 실시예들에서, 사용자(308)가 가상 객체(406)에 단호한 압력을 가하는 경우, 컴퓨팅 디바이스(302)는 예를 들어 가상 자동차를 가속화할 수 있다. 컴퓨팅 디바이스(302)는 예를 들어 자동차의 액셀러레이터를 밟는 것을 시뮬레이팅하도록 구성된 햅틱 효과를 출력할 수 있다. 일부 실시예들에서, 사용자(308)가 단호한 압력을 해제하면, 컴퓨팅 디바이스(302)는 예를 들어 자동차를 멈추고/멈추거나 자동차의 점화 장치를 턴 오프할 수 있다. 컴퓨팅 디바이스(302)는 예를 들어 자동차의 점화 장치를 턴 오프하는 것을 시뮬레이팅하도록 구성된 다른 햅틱 효과를 또한 출력할 수 있다(예를 들어, 컴퓨팅 디바이스(302)는 햅틱 효과의 출력을 멈출 수 있다). 따라서, 사용자는 가상 객체로부터 손가락을 움직일 필요 없이 비디오 게임을 플레이가능할 수 있는데, 이는 비디오 게임의 플레이를 더 쉽게 할 수 있다.
일부 실시예들에서, 가상 객체(306)는 가상 기타를 포함할 수 있다. 사용자(306)는 비디오 게임에서 가상 기타를 플레이가능할 수 있다. 일부 실시예들에서, 사용자(308)가 가상 객체(306)에 소프트 압력을 가하는 경우, 컴퓨팅 디바이스(302)는 예를 들어 가상 기타를 가볍게 칠 수 있다. 컴퓨팅 디바이스(302)는 예를 들어 기타 줄의 진동을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 시간에 따라 감소하는 크기를 갖는 진동)를 또한 출력할 수 있다. 일부 실시예들에서, 사용자(308)가 가상 객체(406)에 단호한 압력을 가하는 경우, 컴퓨팅 디바이스(302)는 예를 들어 가상 기타를 강하게 칠 수 있다. 컴퓨팅 디바이스(302)는 예를 들어 기타 줄을 강하게 치는 것을 시뮬레이팅하도록 구성된 햅틱 효과를 출력할 수 있다. 따라서, 사용자는 손가락을 움직일 필요 없이 사용자가 치는 것의 강도의 가상 변조를 플레이가능할 수 있다. 이것은 비디오 게임의 플레이를 더 쉽게 할 수 있다.
일부 실시예들에서, 사용자(308)는 사용자 인터페이스 레벨과 연관된 압력의 양을 이용하여 가상 객체(306)의 다수의 부분과 상호작용가능할 수 있다. 가상 객체(306)의 각각의 부분은 상이한 기능과 연관될 수 있다. 예를 들어, 가상 객체(306)는 물그릇을 포함할 수 있다. 사용자(308)는 사용자 인터페이스 레벨과 연관된 기능(예를 들어, 가상 물그릇을 선택하는 것)을 수행하기 위해 가상 물그릇의 테두리와 상호작용가능할 수 있다. 또한, 사용자(308)는 사용자 인터페이스 레벨과 연관된 다른 기능(예를 들어, 비디오 게임의 일부로서 물을 튀기는 것)을 수행하기 위해 물그릇의 가상 물과 상호작용가능할 수 있다.
또한, 컴퓨팅 디바이스(302)는 사용자와 상호작용하고 있는 가상 객체(306)에 적어도 부분적으로 기초하여 햅틱 효과를 출력할 수 있다. 예를 들어, 전술한 실시예에서, 사용자(308)가 가상 물그릇의 물에 약한 압력을 가하는 경우, 컴퓨팅 디바이스(302)는 물 및 제1 사용자 인터페이스 레벨과 연관된 햅틱 효과를 출력할 수 있다. 예를 들어, 물의 느낌을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 터치 스크린 디스플레이(304)의 표면 상의 지각된 마찰 계수에서의 감소 또는 시뮬레이팅된 물 텍스처). 또한, 사용자(308)가 가상 물그릇의 테두리에 약한 압력을 가하는 경우, 컴퓨팅 디바이스(302)는 테두리 및 제1 사용자 인터페이스 레벨과 연관된 다른 햅틱 효과를 출력할 수 있다. 예를 들어, 그릇의 테두리의 느낌을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 시뮬레이팅된 세라믹 또는 유리 텍스처). 일부 실시예들에서, 사용자(308)가 가상 물그릇의 물에 단호한 압력을 가하는 경우, 컴퓨팅 디바이스(302)는 물 및 제2 사용자 인터페이스 레벨과 연관된 햅틱 효과를 출력할 수 있다. 예를 들어, 물을 튀기는 것을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 짧은 지속시간들을 갖는 복수의 고주파수 진동). 이러한 실시예에서, 사용자(308)가 가상 물그릇의 테두리에 단호한 압력을 가하는 경우, 컴퓨팅 디바이스(302)는 테두리 및 제2 사용자 인터페이스 레벨과 연관된 다른 햅틱 효과를 출력할 수 있다. 예를 들어, 유리가 깨지는 것을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 복수의 짧은 진동).
도 4는 압력 기반 햅틱 효과들을 위한 시스템의 다른 실시예를 도시한다. 시스템(400)은 컴퓨팅 디바이스(402), 예를 들어 스마트폰 또는 태블릿을 포함한다.
컴퓨팅 디바이스(402)는 터치 스크린 디스플레이(404)를 또한 포함한다. 컴퓨팅 디바이스(402)는 터치 스크린 디스플레이(404) 상에 가상 객체(406)를 출력할 수 있다. 가상 객체(406)는 임의의 타입 또는 개수의 객체들, 예를 들어 버튼들, 슬라이더들, 노브들, 목록들, 메뉴들을 포함할 수 있다. 예를 들어, 일부 실시예들에서, 가상 객체(406)는 전화 번호 입력 스크린을 포함할 수 있다. 전화 번호 입력 스크린은, 예를 들어 숫자 0-9, 별 심볼 및 파운드 심볼을 갖는 복수의 버튼을 포함할 수 있다. 도 4에 도시된 실시예에서, 가상 객체(406)는 가상 키보드를 포함한다. 사용자(408)는 터치 스크린 디스플레이(404)를 통해 가상 객체(406)와 상호작용할 수 있다.
위에서 논의된 바와 같이, 컴퓨팅 디바이스(402)는 사용자(408)에 의해 컴퓨팅 디바이스(402) 상에 가해진 압력을 복수의 압력 레벨(예를 들어, 압력 없음, 소프트 압력 또는 단호한 압력) 중 하나로 카테고리화하도록 구성된다. 임의의 개수 또는 구성의 압력 레벨이 가능할 수 있다. 압력 레벨들은 개별적일(즉, 분리되며 별개일) 수 있다. 일부 실시예들에서, 각각의 압력 레벨은 사용자 인터페이스 레벨과 연관될 수 있다.
일부 실시예들에서, 사용자 인터페이스 레벨은 안내 정보를 사용자에게 제공하도록 구성된 햅틱 효과들과 연관될 수 있다. 예를 들어, 일부 실시예들에서, 사용자(408)는 사용자 인터페이스 레벨과 연관된 압력의 양을 이용하여 손가락으로 가상 객체(406)를 탐구할 수 있다. 예를 들어, 사용자(408)는 소프트 압력을 이용하여, 예를 들어 손가락으로 약하게 스크린을 누르는 것에 의해 가상 키보드를 탐구할 수 있다. 사용자(408)가 가상 객체(406)의 에지와 상호작용하면, 컴퓨팅 디바이스(402)는 햅틱 효과를 출력할 수 있다. 예를 들어, 사용자(408)가 가상 키보드 키의 에지와 상호작용하면, 컴퓨팅 디바이스(402)는 햅틱 효과를 출력할 수 있다. 햅틱 효과는 가상 객체의 에지를 시뮬레이팅하도록 구성될 수 있다. 예를 들어, 컴퓨팅 디바이스(402)는, 사용자(408)에 의해 지각가능한 범프 또는 릿지를 발생시키기 위해 터치 스크린 디스플레이(404)의 표면을 변형시킴으로써 키보드 키의 에지를 시뮬레이팅하도록 구성된 햅틱 효과를 출력할 수 있다. 이것은 사용자(408)가 사용자의 손가락의 위치를 결정하는 것을 허용할 수 있다. 예를 들어, 사용자(408)는, 사용자(408)가 가상 키보드를 탐구할 때에 사용자의 손가락이 가상 키보드 키들 사이를 전이하고 있는지 여부를 결정가능할 수 있다.
일부 실시예들에서, 사용자가 키의 에지에 위치한 이후에, 사용자는 키를 눌러 그 키와 연관된 문자를 입력할 수 있다. 이러한 실시예에서, 사용자는 키를 누르기 위해서 상이한 사용자 인터페이스 레벨, 예를 들어 단호한 압력과 연관된 레벨을 이용할 수 있다. 따라서, 일부 실시예들에서, 하나의 사용자 인터페이스 레벨은 안내를 위해(예를 들어, 디스플레이 상의 위치들에 대해 사용자에게 경고하기 위해) 이용될 수 있으며, 다른 사용자 인터페이스 레벨은 추가 상호작용을 위해 특정 가상 아이템을 선택하는 것과 연관될 수 있다.
또한, 일부 실시예들에서, 사용자가 키를 선택하면, 컴퓨팅 디바이스(302)는 사용자 인터페이스 레벨과 연관된 햅틱 효과를 출력할 수 있다. 예를 들어, 햅틱 효과는 키 누름이 수신되었다는 확인을 사용자에게 제공하도록 구성될 수 있다(예를 들어, 짧은 진동). 따라서, 사용자는 터치 스크린 디스플레이(404)를 볼 필요 없이 컴퓨팅 디바이스(402)가 키 누름을 나타내는지 여부를 결정가능할 수 있다.
일부 실시예들에서, 사용자(408)가 가상 객체의 다른 부분과 상호작용하면, 컴퓨팅 디바이스(402)는 상이한 햅틱 효과를 출력할 수 있다. 예를 들어, 사용자가 가상 키보드 키의 중심과 상호작용하면, 컴퓨팅 디바이스(402)는 햅틱 효과를 출력할 수 있다. 이 햅틱 효과는 키보드 키의 텍스처, 예를 들어 플라스틱 텍스처를 시뮬레이팅하도록 구성될 수 있다. 이것은, 사용자의 손가락이 가상 키보드 키의 중심 위에 있다고 사용자(408)가 결정하는 것을 허용할 수 있다. 다른 예로서, 일부 실시예들에서, 사용자(408)가 "F" 키 및 "J" 키와 같은 가상 키보드 상의 하나 이상의 배향 키(예를 들어, 키보드 상의 사용자(408)의 손가락의 위치로 사용자를 배향시키도록 구성된 키보드 상의 키)와 상호작용하면, 컴퓨팅 디바이스(402)는 햅틱 효과를 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(402)는 짧은 지속시간을 갖는 낮은 크기의 진동을 출력할 수 있다. 이것은 사용자(408)가 가상 키보드 상의 사용자의 손가락의 위치를 결정하는 것을 허용할 수 있다.
일부 실시예들에서, 사용자 인터페이스는 실세계 객체들과의 물리적 상호작용들을 시뮬레이팅하도록 구성될 수 있다. 예를 들어, 일부 실시예들에서, 가상 객체(406)는 가상 벽돌을 포함할 수 있다. 사용자(408)는 소프트 압력을 가하면서 가상 객체(406)와 상호작용함으로써 가상 객체(406)를 "잡을"(예를 들어, 선택할) 수 있다. 사용자(408)가 가상 객체(406)를 잡으면, 컴퓨팅 디바이스(402)는 햅틱 효과를 출력할 수 있다. 예를 들어, 벽돌을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 시뮬레이팅된 벽돌 텍스처). 또한, 사용자(408)는, 예를 들어, 단호한 압력을 가하면서 터치 스크린 디스플레이(404)를 따라 손가락을 움직임으로써 가상 객체(406)를 새로운 위치로 드래그할 수 있다. 사용자(408)가 가상 벽돌을 움직이면, 컴퓨팅 디바이스(402)는 햅틱 효과를 출력할 수 있다. 예를 들어, 벽돌을 움직이는 것을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 터치 스크린 디스플레이(404)의 표면 상의 마찰 계수에서의 지각가능한 증가). 사용자(408)는 예를 들어 단호한 압력을 해제함으로써 가상 객체(406)를 새로운 위치에 떨어뜨릴 수 있다. 일부 실시예들에서, 사용자가 가상 객체를 떨어뜨릴 때, 컴퓨팅 디바이스(402)는 예를 들어 벽돌을 떨어뜨리는 것을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 높은 크기의 짧은 지속시간 진동)를 출력할 수 있다.
다른 예로서, 일부 실시예들에서, 컴퓨팅 디바이스(402)는 게임을 포함할 수 있다. 게임은 버블 랩을 포함하는 가상 객체(406)를 포함할 수 있다. 사용자(408)가 터치 스크린 디스플레이(404)와 상호작용할 때, 컴퓨팅 디바이스(402)는 햅틱 효과를 출력할 수 있다. 예를 들어, 버블 랩의 느낌을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 시뮬레이팅된 플라스틱 텍스처). 이러한 실시예에서, 사용자(408)가 터치 스크린 디스플레이(404)에 부가적인 압력을 가할 때, 사용자는 가상 버블 랩을 터뜨릴 수 있다. 이러한 실시예에서, 컴퓨팅 디바이스(402)는 버블이 터지는 것을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 높은 크기의 짧은 지속시간 진동)를 출력할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(402)는 또한 버블 랩이 터지는 것의 하나 이상의 이미지를 출력하고/하거나 터지는 사운드를 플레이할 수 있다.
도 5는 압력 기반 햅틱 효과들을 위한 시스템의 또 다른 실시예를 도시한다. 시스템(500)은 컴퓨팅 디바이스(502)를 포함한다. 이 예에서, 컴퓨팅 디바이스(502)는 스마트폰, e-리더 또는 태블릿을 포함한다.
컴퓨팅 디바이스(502)는 터치 스크린 디스플레이(504)를 또한 포함한다. 컴퓨팅 디바이스(502)는 터치 스크린 디스플레이(504)를 통해 복수의 가상 객체를 포함하는 사용자 인터페이스를 출력할 수 있다. 사용자(510)는 터치 스크린 디스플레이(504) 및/또는 가상 객체들과 상호작용할 수 있다. 전술한 바와 같이, 컴퓨팅 디바이스(502)는 사용자(510)에 의해 컴퓨팅 디바이스(502) 상에 가해진 압력을 복수의 압력 레벨(예를 들어, 압력 없음, 소프트 압력 또는 단호한 압력) 중 하나로 카테고리화하도록 구성된다. 일부 실시예들에서, 각각의 압력 레벨은 사용자 인터페이스 레벨과 연관될 수 있다.
일부 실시예들에서, 사용자 인터페이스는 사용자에게 정보를 제공하도록 구성될 수 있다. 예를 들어, 일부 실시예들에서, 사용자(510)는 가상 객체(506)와 연관된 하이퍼링크와 상호작용할(예를 들어, 하이퍼링크를 터치할) 수 있다. 사용자(510)는, 예를 들어, 기능을 수행하기 위해 사용자 인터페이스 레벨과 연관된 압력의 양을 이용하여 하이퍼링크와 상호작용할 수 있다. 예를 들어, 사용자는 (예를 들어 팝업 버블에서) 연관된 웹페이지의 프리뷰를 뷰잉하기 위해 소프트 압력을 이용하여 하이퍼링크와 상호작용할 수 있다. 다른 예로서, 사용자는 이 웹페이지와 연관된 다른 데이터(예를 들어, 웹페이지 콘텐츠 내에 인코딩된 메타데이터, 웹사이트 통계나 트렌드, 또는 HTML이나 다른 코드)를 뷰잉하기 위해 소프트 압력을 이용하여 하이퍼링크와 상호작용할 수 있다. 컴퓨팅 디바이스(502)는 사용자 인터페이스 레벨과 연관된 햅틱 효과(예를 들어, 중간 크기의 중간 지속시간 진동)를 출력할 수 있다. 일부 실시예들에서, 사용자(510)는 예를 들어 다른 기능을 수행하기 위해 다른 사용자 인터페이스 레벨과 연관된 압력의 다른 양을 이용하여 하이퍼링크와 상호작용할 수 있다. 예를 들어, 사용자(510)는 단호한 압력을 이용하여 하이퍼링크와 상호작용할 수 있다. 일부 실시예들에서, 단호한 압력은 컴퓨팅 디바이스(502)가 하이퍼링크와 연관된 웹페이지로 지향되는 브라우저 윈도우를 열게 할 수 있다. 이러한 실시예에서, 컴퓨팅 디바이스(502)는 햅틱 효과를 출력할 수 있다. 예를 들어, 버튼 누름을 시뮬레이팅하도록 구성된 햅틱 효과.
일부 실시예들에서, 컴퓨팅 디바이스(502)는 사용자 인터페이스와 연관된 사용자 상호작용들을 단순화하도록 구성된 하나 이상의 햅틱 효과를 출력할 수 있다. 예를 들어, 일부 실시예들에서, 사용자(510)는 텍스트를 스크롤하기 위해 소프트 압력을 이용하여 터치 스크린 디스플레이(504)를 따라 손가락을 스와이프할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(502)는 터치 스크린 디스플레이(504)의 표면 상의 마찰 계수를 감소시키도록 구성된 햅틱 효과를 출력할 수 있다. 터치 스크린 디스플레이(504)의 표면 상의 마찰 계수를 감소시키는 것은 사용자가 터치 스크린 디스플레이(504)의 표면을 따라 손가락을 움직여 텍스트를 스크롤하는 것을 더 쉽게 할 수 있다.
또한, 일부 실시예들에서, 사용자(510)는 다른 기능을 수행하기 위해 다른 사용자 인터페이스 레벨과 연관된 압력의 양(예를 들어, 단호한 압력)을 이용하여 가상 객체(506)와 상호작용할 수 있다. 예를 들어, 사용자(510)는 텍스트를 선택하기 위해 단호한 압력을 이용하여 가상 객체(506)와 상호작용할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(502)는 햅틱 효과를 출력할 수 있다. 예를 들어, 텍스트가 선택되었다고 사용자(510)에게 통지하도록 구성된 햅틱 효과(예를 들어, 중간 크기의 짧은 지속시간 진동). 이것은 사용자(510)가 텍스트를 에러있게 선택하거나 수정하는 것을 방지할 수 있다.
일부 실시예들에서, 사용자가 사용자 인터페이스 레벨과 연관된 압력의 양으로 가상 객체(508)(예를 들어, 달력)와 상호작용하면, 컴퓨팅 디바이스(502)는 하나 이상의 새로운 가상 객체(512)를 디스플레이할(또는 가상 객체(508)를 업데이트할) 수 있다. 예를 들어, 일부 실시예들에서, 컴퓨팅 디바이스(502)는, 사용자가 가상 객체와 상호작용하면, 툴 팁(tool tip)(예를 들어, 사용자에게 정보를 제공하도록 구성된 팝업)을 출력할 수 있다. 컴퓨팅 디바이스(502)는 햅틱 효과를 또한 출력할 수 있다. 일부 실시예들에서, 사용자(510)가 부가적인 압력을 가하는 경우, 컴퓨팅 디바이스(502)는 터치 스크린 디스플레이(504) 상의 가상 객체(508)를 변경하거나 업데이트할 수 있다. 예를 들어, 컴퓨팅 디바이스(502)는 가상 달력 상의 월 출력을 12월로부터 1월로 변경할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(502)는 햅틱 효과를 또한 출력할 수 있다.
일부 실시예들에서, 사용자(510)는 다양한 양의 압력(예를 들어, 압력 없음, 소프트 압력 또는 단호한 압력)을 이용하여 새로운 가상 객체(512)(예를 들어, 툴 팁)와 상호작용가능할 수 있다. 예를 들어, 일부 실시예들에서, 사용자(510)가 소프트 압력으로 툴 팁과 상호작용하는 경우, 컴퓨팅 디바이스(502)는 부가적인 텍스트 정보를 출력할 수 있다. 컴퓨팅 디바이스(502)는 햅틱 효과를 또한 출력할 수 있다. 이러한 실시예에서, 사용자(510)가 단호한 압력으로 툴 팁과 상호작용하는 경우, 컴퓨팅 디바이스는 (예를 들어, 부가적인 비-텍스트 정보를 사용자에게 제공하기 위해) 사운드 또는 비디오를 플레이할 수 있다. 사용자(510)는 임의의 개수의 사용자 인터페이스 레벨 중 하나와 연관된 압력의 양을 이용하여 임의의 개수의 가상 객체와 상호작용가능할 수 있다.
도 6은 압력 기반 햅틱 효과들을 위한 시스템의 또 다른 실시예를 도시한다. 시스템(600)은 컴퓨팅 디바이스(602)를 포함한다. 이 예에서, 컴퓨팅 디바이스(602)는 데스크톱 컴퓨터를 포함한다. 컴퓨팅 디바이스(602)는 사용자 입력 디바이스(606)(예를 들어, 키보드)와 통신한다. 컴퓨팅 디바이스(602)는 터치 감응 표면(608)과 또한 통신한다. 사용자는 사용자 입력 디바이스(606)를 통해 컴퓨팅 디바이스(602)와 상호작용할 수 있다. 또한, 사용자는 터치 감응 표면(608)을 터치하거나, 터치 감응 표면 상에서 제스처하거나 또는 다른 방식으로 터치 감응 표면과 상호작용함으로써 컴퓨팅 디바이스(602)와 상호작용할 수 있다.
컴퓨팅 디바이스(602)는 디스플레이(604)를 더 포함한다. 컴퓨팅 디바이스(602)는 디스플레이(604) 상에 가상 객체(610)를 포함하는 사용자 인터페이스를 출력할 수 있다. 도 6에 도시된 실시예에서, 컴퓨팅 디바이스(602)는 복숭아를 포함하는 가상 객체(610)를 출력하고 있다.
일부 실시예들에서, 컴퓨팅 디바이스(602)는 상이한 깊이들에서 가상 객체(610)와 상호작용하는 것 또는 가상 객체(610)의 상이한 표면들과 상호작용하는 것을 시뮬레이팅하도록 구성될 수 있다. 예를 들어, 사용자는 소프트 압력을 이용하여 가상 복숭아와 상호작용할 수 있다. 이에 응답하여, 컴퓨팅 디바이스(602)는 소프트 압력과 연관된 햅틱 효과를 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(602)는 복숭아의 잔털 또는 껍질을 시뮬레이팅하도록 구성된 햅틱 효과를 출력할 수 있다. 또한, 일부 실시예들에서, 사용자는 단호한 압력을 이용하여 가상 객체(610)와 상호작용할 수 있다. 이에 응답하여, 컴퓨팅 디바이스(602)는 단호한 압력과 연관된 햅틱 효과를 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(602)는, 사용자가 복숭아를 누를 때에 복숭아의 내부의 물렁물렁하거나 소프트한 텍스처를 시뮬레이팅하도록 구성된 햅틱 효과를 출력할 수 있다. 이러한 방식으로, 사용자는 상이한 압력들을 이용하여 사용자 인터페이스와 상호작용함으로써 가상 객체(610)의 상이한 표면들 또는 깊이들을 지각할 수 있다.
다른 예로서, 일부 실시예들에서, 가상 객체(610)는 네일들로 채워진 판지 상자를 포함할 수 있다. 일부 실시예들에서, 사용자는 소프트 압력으로 가상 판지 상자와 상호작용할 수 있다. 이에 응답하여, 컴퓨팅 디바이스(602)는 판지를 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 판지 텍스처)를 출력할 수 있다. 일부 실시예들에서, 사용자는 단호한 압력을 이용하여 네일들의 가상 판지 상자와 상호작용할 수 있다. 이에 응답하여, 컴퓨팅 디바이스(602)는 판지 상자 내부의 네일들을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 금속 텍스처)를 출력할 수 있다. 따라서, 사용자는 상이한 양의 압력을 이용하여 판지 상자와 상호작용함으로써 가상 판지 상자 내부 및 외부 양쪽 모두를 지각할 수 있다.
일부 실시예들에서, 가상 객체(610)는 하나 이상의 아이콘을 포함할 수 있다. 사용자는 소프트 압력을 이용하여 아이콘과 상호작용할 수 있다. 이에 응답하여, 컴퓨팅 디바이스(602)는 기능을 수행할 수 있는데, 예를 들어 컴퓨팅 디바이스(602)는 아이콘을 강조할 수 있다. 아이콘을 강조하는 것은 아이콘이 활성화될 수 있다(예를 들어, 클릭가능하다)는 것을 사용자에게 경고할 수 있다. 컴퓨팅 디바이스(602)는 예를 들어 아이콘이 활성화될 수 있다는 것을 사용자에게 경고하도록 구성된 햅틱 효과를 또한 출력할 수 있다. 이러한 실시예에서, 사용자는 단호한 압력을 이용하여 아이콘과 상호작용할 수 있다. 이에 응답하여, 컴퓨팅 디바이스(602)는 기능을 수행할 수 있는데, 예를 들어 컴퓨팅 디바이스(602)는 아이콘과 연관된 프로그램을 열 수 있다. 컴퓨팅 디바이스(602)는 프로그램과 연관된 햅틱 효과를 출력하거나 또는 다른 방식으로 아이콘을 활성화하는 것과 연관된 커맨드를 실행할 수 있다. 예를 들어, 컴퓨팅 디바이스(602)는 프로그램의 제조자 또는 브랜드와 연관되도록 구성된 햅틱 효과를 출력할 수 있다. 따라서, 일부 실시예들에서, 사용자는 디스플레이(604)를 뷰잉할 필요 없이 활성화될 수 있는 아이콘들의 위치를 찾기가능할 수 있다. 또한, 사용자는 디스플레이(604)를 뷰잉할 필요 없이 프로그램들을 열거나 또는 아이콘들과 연관된 다른 커맨드들을 실행가능할 수 있다. 따라서, 사용자는 사용자 인터페이스와 상호작용하면서 다른 액티비티들에 집중하는 것을 자유롭게 할 수 있다.
도 7은 압력 기반 햅틱 효과들을 위한 시스템의 다른 실시예를 도시한다. 시스템(700)은 컴퓨팅 디바이스를 포함한다. 이 예에서, 컴퓨팅 디바이스는 자동차 컴퓨터(예를 들어, 하나 이상의 자동차 시스템 또는 디바이스를 제어하기 위한 컴퓨터)를 포함한다. 시스템(700)은 터치 스크린 디스플레이(702)를 포함한다. 컴퓨팅 디바이스는 터치 스크린 디스플레이(702)를 통해 하나 이상의 가상 객체를 포함하는 사용자 인터페이스를 출력할 수 있다. 사용자는 터치 스크린 디스플레이(702)와 상호작용함으로써 컴퓨팅 디바이스에 입력을 제공할 수 있다. 시스템(700)은 하나 이상의 터치 감응 버튼(704), 조이스틱, 기어 시프터 또는 다른 사용자 인터페이스 디바이스를 또한 포함할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스는, 사용자가 시각적으로 사용자 인터페이스에 포커싱할 필요 없이 사용자 인터페이스와 상호작용하는 것을 허용하도록 구성된 사용자 인터페이스를 출력할 수 있다. 예를 들어, 일부 실시예들에서, 컴퓨팅 디바이스는 (예를 들어, 내비게이션을 위해) 지도를 포함하는 사용자 인터페이스를 출력할 수 있다. 일부 실시예들에서, 사용자는 소프트 압력을 이용하여 지도와 상호작용할 수 있다. 컴퓨팅 디바이스는 소프트 압력을 검출하고, 예를 들어 GPS 내비게이션을 턴 온하도록 구성된 사용자 인터페이스 레벨과 소프트 압력을 연관시킬 수 있다. 컴퓨팅 디바이스는 연관된 햅틱 효과를 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스가 내비게이션을 턴 온하였다고 확인하도록 구성된 햅틱 효과(예를 들어, 작은 크기의 짧은 지속시간 진동).
또한, 일부 실시예들에서, 사용자는 단호한 압력을 이용하여 가상 지도 상의 지점과 상호작용할 수 있다. 컴퓨팅 디바이스는 단호한 압력을 검출하고, 이 지점과 연관된 정보를 출력하도록 구성된 사용자 인터페이스 레벨과 단호한 압력을 연관시킬 수 있다. 정보는, 예를 들어, 인근의 주유소, 식당, 영화관, 경찰서 또는 병원, 또는 교통 상태, 속도 제한 또는 도시 역사와 같은 다른 정보를 포함할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스는 정보의 콘텐츠에 적어도 부분적으로 기초하여 햅틱 효과를 출력할 수 있다. 예를 들어, 정보가 인근의 주유소를 포함하는 경우, 컴퓨팅 디바이스는 자동차 엔진의 굉음을 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 낮은 크기의 긴 지속시간 진동)를 출력할 수 있다. 다른 예로서, 정보가 열악한 교통 상태를 포함하는 경우, 컴퓨팅 디바이스는 "가다 서다 하는(stop-and-go)" 교통 상태를 시뮬레이팅하도록 구성된 햅틱 효과(예를 들어, 동일한 시간 간격들에 의해 이격되는, 짧은 지속시간들을 갖는 4개의 중간 크기의 진동)를 출력할 수 있다. 이러한 방식으로, 사용자는 도로에서 사용자의 눈을 뗄 필요 없이 시스템(700)과 상호작용하며 정보를 수신가능할 수 있다.
압력 기반 햅틱 효과들을 위한 예시적인 방법들
도 8은 일 실시예에 따른 압력 기반 햅틱 효과들을 제공하기 위한 방법을 수행하기 위한 단계들의 플로우차트이다. 일부 실시예들에서, 도 8의 단계들은 프로세서, 예를 들어 범용 컴퓨터, 모바일 디바이스 또는 서버의 프로세서에 의해 실행되는 프로그램 코드로 구현될 수 있다. 일부 실시예들에서, 이러한 단계들은 프로세서들의 그룹에 의해 구현될 수 있다. 일부 실시예들에서, 도 8에 도시된 하나 이상의 단계는 생략되거나 상이한 순서로 수행될 수 있다. 유사하게, 일부 실시예들에서, 도 8에 도시되지 않은 부가적인 단계들이 또한 수행될 수 있다. 이하, 도 1에 도시된 시스템(100)과 관련하여 전술한 컴포넌트들을 참조하여 이러한 단계들이 설명된다.
또한, 단계들은 드로잉 애플리케이션을 참조하여 후술된다. 사용자는 가상 그림을 드로잉하기 위해 드로잉 애플리케이션과 상호작용할 수 있다. 사용자는 예를 들어 터치 감응 표면(116)의 표면을 따라 손가락을 스와이프함으로써 드로잉 애플리케이션과 상호작용할 수 있다.
이 방법(800)은, 프로세서(102)가 압력 센서(132)로부터 센서 신호를 수신할 때의 단계(802)에서 시작한다. 센서 신호는, 사용자가 터치 감응 표면(116)과 상호작용할 수 있는 압력의 양과 연관될 수 있다. 예를 들어, 사용자는 드로잉 애플리케이션과 연관된 기능을 수행하기 위해, 예컨대 선을 드로잉하기 위해 터치 감응 표면(116)을 따라 손가락을 스와이프할 수 있다. 압력 센서(132)는 스와이프와 연관된 압력의 양을 검출하고, 센서 신호를 프로세서(102)에 송신할 수 있다.
이 방법(800)은, 프로세서(102)가 (예를 들어, 센서 신호에 기초하여) 압력 레벨을 결정할 때의 단계(804)에서 계속된다. 위에서 언급된 바와 같이, 압력 레벨은 2개의 압력 임계치 사이에 있는 압력들의 범위를 포함한다. 일부 실시예들에서, 프로세서(102)는, 검출된 압력이 압력 레벨(예를 들어, 소프트 압력 레벨 또는 단호한 압력 레벨)과 연관된 압력들의 범위 내에 있는지 여부를 결정할 수 있다. 검출된 압력이 압력들의 범위 내에 있는 경우, 프로세서(102)는 압력 레벨을 결정할 수 있다. 예를 들어, 검출된 압력이 소프트 압력 레벨의 범위 내에 있는 경우, 프로세서(102)는 소프트 압력 레벨을 결정할 수 있다.
이 방법(800)은, 프로세서(102)가 압력 레벨에 적어도 부분적으로 기초하여 사용자 인터페이스 레벨을 결정할 때의 단계(806)에서 계속된다. 일부 실시예들에서, 프로세서(102)는 메모리(104)에 포함된 프로그래밍에 의존하여, 사용자 인터페이스 레벨을 결정할 수 있다. 예를 들어, 일부 실시예들에서, 메모리(104)는 룩업 테이블을 포함할 수 있다. 일부 실시예들에서, 프로세서(102)는 룩업 테이블을 이용하여, 압력 레벨들과 특정 사용자 인터페이스 레벨들을 연관시킬 수 있다. 예를 들어, 프로세서(102)는 룩업 테이블을 참고하여, 소프트 압력 레벨과 제1 사용자 인터페이스 레벨을 연관시킬 수 있다.
일부 실시예들에서, 프로세서(102)는 단일의 압력 레벨과 사용자 인터페이스 레벨을 연관시킬 수 있다. 예를 들어, 프로세서(102)는 소프트 압력과 제1 사용자 인터페이스 레벨을 연관시키고, 단호한 압력과 제2 사용자 인터페이스 레벨을 연관시킬 수 있다. 다른 실시예들에서, 프로세서(102)는 복수의 압력 레벨과 사용자 인터페이스 레벨을 연관시킬 수 있다. 예를 들어, 일부 실시예들에서, 프로세서(102)는 소프트 압력 및 단호한 압력과 단일의 사용자 인터페이스 레벨을 연관시킬 수 있다.
이 방법은, 프로세서(102)가 사용자 상호작용 및/또는 사용자 인터페이스 레벨과 연관된 기능을 수행할 때의 단계(808)에서 계속된다. 일부 실시예들에서, 이 기능은 사용자 인터페이스에서 가상 객체를 삭제하는 것, 업데이트하는 것, 변경하는 것, 제거하는 것 또는 출력하는 것을 포함할 수 있다. 예를 들어, 사용자가 터치 감응 표면(116)에 소프트 압력을 가하는 경우, 프로세서(102)는 사용자 상호작용 및 제1 사용자 인터페이스 레벨과 연관된 기능을 수행할 수 있다. 이 기능은, 예를 들어, 터치 감응 표면(116)을 따라 사용자의 손가락이 움직이는 경로를 모방하는 형상으로 드로잉 애플리케이션에서 흑색 선을 드로잉하는 것을 포함할 수 있다. 사용자가 터치 감응 표면(116)에 단호한 압력을 가하는 경우, 프로세서(102)는 사용자 상호작용 및 제2 사용자 인터페이스 레벨과 연관된 기능을 수행할 수 있다. 이 기능은, 예를 들어, 사용자 상호작용과 연관된 가상 그림의 일부를 지우는 것을 포함할 수 있다.
다른 실시예들에서, 이 기능은 오디오 데이터, 비디오 데이터 또는 정보(예를 들어, 인근의 주유소, 식당, 영화관, 경찰서 또는 병원, 또는 교통 상태나 속도 제한)를 출력하는 것을 포함할 수 있다. 예를 들어, 일부 실시예들에서, 사용자가 터치 감응 표면(116)에 단호한 압력을 가하면, 프로세서(102)는 드로잉 애플리케이션을 어떻게 이용할지에 대한 명령어들을 포함하는 오디오 데이터를 출력할 수 있다. 일부 실시예들에서, 이 기능은 전화 통화를 거는 것; 텍스트 메시지, SMS 메시지 또는 전자 메일을 송신하는 것; 웹 브라우저를 열거나 웹사이트에 액세스하는 것; 애플리케이션을 여는 것; 배경 처리를 수행하는 것; 전경 처리를 수행하는 것; 파일을 저장하는 것; 파일을 여는 것; 게임 기능을 수행하는 것; 데이터를 수신하는 것; 데이터를 송신하는 것; 또는 임의의 다른 개수 또는 구성의 컴퓨터 기능들을 포함할 수 있다. 예를 들어, 일부 실시예들에서, 사용자가 터치 감응 표면(116)으로부터 압력을 제거하면, 프로세서(102)는 가상 그림을 저장할 수 있다.
이 방법은, 프로세서(102)가 사용자 상호작용에 적어도 부분적으로 기초하여 디스플레이 상에 출력되는 가상 객체의 특성(예를 들어, 가시성, 타입, 크기, 형상, 폭, 길이, 컬러, 패턴, 위치, 움직임 또는 콘텐츠)을 변경할 때의 단계(810)에서 계속된다. 예를 들어, 사용자가 터치 감응 표면(116)에 소프트 압력을 가하면, 프로세서(102)는 사용자 상호작용과 연관된 커서 이미지를 디폴트 이미지로부터 페인트 브러시로 변경할 수 있다. 이것은 사용자가 소프트 압력을 이용하여 선을 드로잉할 수 있다는 것을 사용자에게 나타낼 수 있다. 또한, 사용자가 터치 감응 표면(116)에 단호한 압력을 가하면, 프로세서(102)는 커서 이미지를 지우개로 변경할 수 있다. 이것은 사용자가 단호한 압력을 이용하여 가상 이미지의 일부를 지울 수 있다는 것을 사용자에게 나타낼 수 있다.
이 방법(800)은, 프로세서(102)가 사용자 상호작용 및 사용자 인터페이스 레벨에 적어도 부분적으로 기초하여 햅틱 효과를 결정할 때의 단계(812)에서 계속된다. 일부 실시예들에서, 프로세서(102)는 햅틱 효과 결정 모듈(126)에 포함된 프로그래밍에 의존하여, 햅틱 효과를 결정할 수 있다. 일부 실시예들에서, 프로세서(102)는 복수의 햅틱 효과와 각각의 사용자 인터페이스 레벨 또는 사용자 상호작용을 연관시킬 수 있다.
일부 실시예들에서, 프로세서(102)는 각각의 사용자 인터페이스 레벨 또는 사용자 상호작용에 대해 상이한 햅틱 효과를 연관시킬 수 있다. 예를 들어, 프로세서(102)는 터치 감응 표면(116)의 표면 상의 지각가능한 마찰 계수에서의 감소를 포함하는 햅틱 효과와 제1 사용자 인터페이스 레벨을 연관시킬 수 있다. 이것은 드로잉을 사용자에 대해 더 쉽게 할 수 있는데, 그 이유는 사용자가 터치 감응 표면(116)의 표면을 따라 손가락을 더 쉽게 움직일 수 있을 수 있기 때문이다. 프로세서(102)는 진동을 포함하는 햅틱 효과와 제2 사용자 인터페이스 레벨을 연관시킬 수 있다. 이것은 설정이 변경되는 것을 사용자에게 경고할 수 있는데, 이는 제2 사용자 인터페이스 레벨과 연관된 기능이 예를 들어 페인트 설정의 변경(예를 들어, 페인트 툴의 컬러의 변경)을 포함하는 경우에 적절할 수 있다.
일부 실시예들에서, 프로세서(102)는 사용자 상호작용과 연관된 압력의 양에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 일부 실시예들에서, 프로세서(102)는, 사용자가 압력 임계치 미만으로 터치 감응 표면(116)과 상호작용하는 경우에 햅틱 효과를 결정할 수 있다. 예를 들어, 프로세서(102)는, 사용자가 소프트 압력으로 터치 감응 표면(116)과 상호작용하는 경우에 정전 햅틱 효과(예를 들어, 지각가능한 마찰 계수에서의 변화)를 포함하는 햅틱 효과를 결정할 수 있다. 또한, 일부 실시예들에서, 프로세서(102)는, 사용자가 압력 임계치 초과로 터치 감응 표면(116)과 상호작용하는 경우에 상이한 햅틱 효과를 결정할 수 있다. 예를 들어, 프로세서(102)는, 사용자가 단호한 압력으로 터치 감응 표면(116)과 상호작용하는 경우에 진동을 포함하는 햅틱 효과를 결정할 수 있다. 일부 실시예들에서, 프로세서(102)는 압력의 양에 기초하여 상이한 햅틱 효과들을 출력할 수 있는데, 그 이유는 사용자에 의해 지각되는 바와 같은 햅틱 효과의 품질이 압력에 따라 변할 수 있기 때문이다. 예를 들어, 정전 햅틱 효과의 품질은, 사용자가 터치 감응 표면(116)에 더 큰 압력을 가하는 경우에 사용자에 의해 더 열등한 것으로서 지각될 수 있다.
일부 실시예들에서, 프로세서(102)는, 알고리즘, 이벤트, 센서(130), 또는 터치 센서(108)로부터의 신호에 부분적으로 기초하여 햅틱 효과를 결정할 수 있다. 본 명세서에서 이용된 바와 같이, 이벤트는, 임의의 상호작용, 액션, 충돌, 또는 연관된 햅틱 효과를 잠재적으로 포함할 수 있는, 디바이스의 동작 중에 발생하는 다른 이벤트이다. 일부 실시예들에서, 이벤트는 사용자 입력(예를 들어, 버튼 누름, 조이스틱 조작, 터치 감응 표면과의 상호작용, 사용자 인터페이스 디바이스의 기울임 또는 배향), 시스템 상태(예를 들어, 낮은 배터리, 낮은 메모리, 또는 시스템이 착신 통화를 수신하는 것에 기초하여 발생된 통지와 같은 시스템 통지), 데이터 송신, 데이터 수신, 또는 프로그램 이벤트(예를 들어, 프로그램이 게임인 경우, 프로그램 이벤트는 폭발, 사격, 충돌, 게임 캐릭터들 사이의 상호작용, 새로운 레벨로의 승격, 또는 울퉁불퉁한 지형에서의 운전을 포함할 수 있음)를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 프로세서(102)는 진동을 포함하는 햅틱 효과와 착신 통화를 연관시킬 수 있다. 사용자가 사용자 인터페이스 레벨과 연관된 압력의 양으로 착신 통화 중에 컴퓨팅 디바이스(101)에 접촉하고 있는 경우, 프로세서(102)는 낮은 크기의 진동을 포함하는 햅틱 효과를 결정할 수 있다. 사용자가 다른 사용자 인터페이스 레벨과 연관된 압력의 양으로 착신 통화 중에 전화기에 접촉하고 있는 경우, 프로세서(102)는 상이한 햅틱 효과, 예를 들어 높은 크기의 진동을 포함하는 햅틱 효과를 결정할 수 있다.
일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 룩업 테이블을 포함할 수 있다. 일부 실시예들에서, 프로세서(102)는 룩업 테이블을 이용하여, 이벤트들, 사용자 상호작용들 또는 사용자 인터페이스 레벨들과 특정 햅틱 효과들(예를 들어, 텍스처들)을 연관시킬 수 있다. 일부 실시예들에서, 룩업 테이블은 복수의 이용가능한 햅틱 효과, 및 사용자 인터페이스 또는 사용자 인터페이스 레벨들의 특징들과 연관된 데이터를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 룩업 테이블은 복수의 이용가능한 햅틱 효과, 및 사용자의 손가락을 가상 버튼 위에서 슬라이딩하는 것과 같은 사용자 인터페이스와의 사용자 상호작용들과 연관된 데이터를 포함할 수 있다. 예를 들어, 이러한 실시예에서, 사용자가 손가락을 가상 버튼 위에서 슬라이딩하는 것에 응답하여, 프로세서(102)는 룩업 테이블을 참고할 수 있다. 룩업 테이블에 기초하여, 프로세서(102)는 햅틱 출력 디바이스(118)에 의해 출력될 햅틱 효과를 결정할 수 있는데, 여기서 터치 감응 표면(116) 상의 지각된 마찰 계수가 증가한다. 일부 실시예들에서, 증가의 양은 사용자 인터페이스 레벨에 기초할 수 있다. 일부 실시예들에서, 복수의 이용가능한 햅틱 효과는 복수의 텍스처를 포함할 수 있다. 예를 들어, 복수의 텍스처는 텍스처들: 모래, 유리, 얼음, 고무, 물 또는 임의의 다른 이용가능한 텍스처 중 하나 이상을 포함할 수 있다.
일부 실시예들에서, 사용자들은 "햅틱 프로파일들"을 가질 수 있는데, 여기서 사용자가 특정 이벤트들, 사용자 상호작용들 및/또는 사용자 인터페이스 레벨들과 연관시키고자 하는 햅틱 효과들의 "프로파일"을 사용자가 결정하고 메모리(104)에 저장할 수 있다. 예를 들어, 일부 실시예들에서, 사용자는 이용가능한 햅틱 효과들의 목록으로부터 선택하고, 이러한 햅틱 효과들 중 하나 이상과 사용자 상호작용을 연관시킬 수 있다. 일 실시예에서, 목록은, 예를 들어, 빠른 흐름 감각, 느린 흐름 감각, 강한 진동, 약한 진동, 또는 텍스처, 예컨대 울퉁불퉁함, 탄력있음(rubbery) 또는 평탄함(smooth)과 같은 햅틱 효과들을 포함할 수 있다. 일부 실시예들에서, 사용자는 특정 가상 객체와 다수의 햅틱 효과를 연관시킬 수 있고, 일부 실시예들에서는 각각의 햅틱 효과는 상이한 사용자 상호작용과 연관될 수 있다. 프로세서(102)는 어느 햅틱 효과를 발생시킬지를 결정하기 위해서 사용자의 햅틱 프로파일을 참고할 수 있다. 예를 들어, 사용자의 햅틱 프로파일이 가상 슬라이더를 따른 스와이프와 진동을 연관시키는 경우, 사용자가 가상 슬라이더를 따라 스와이프하는 것에 응답하여, 프로세서(102)는 사용자가 진동을 지각하는 햅틱 효과를 결정할 수 있다.
이 방법은, 프로세서(102)가 가상 객체의 특성을 결정할 때의 단계(814)에서 계속된다. 일부 실시예들에서, 이 특성은 가상 객체의 가시성, 타입, 크기, 형상, 폭, 길이, 컬러, 패턴, 위치, 움직임 또는 콘텐츠를 포함할 수 있다. 일부 실시예들에서, 프로세서(102)는, 예를 들어, 터치 감응 표면(116)을 통해 사용자와 상호작용한 가상 객체의 특성을 결정할 수 있다. 예를 들어, 프로세서(102)는 사용자에 의해 드로잉되는 가상 그림과 연관된 하나 이상의 컬러를 결정할 수 있다. 예를 들어, 프로세서(102)는 가상 그림과 연관된 컬러들이 오렌지색과 청색이라고 결정할 수 있다.
이 방법은, 프로세서(102)가 가상 객체의 특성에 적어도 부분적으로 기초하여 햅틱 효과를 결정할 때의 단계(816)에서 계속된다. 예를 들어, 프로세서(102)는, 가상 객체의 가시성, 타입, 크기, 형상, 폭, 길이, 컬러, 패턴, 위치, 움직임 또는 콘텐츠에 적어도 부분적으로 기초하여 햅틱 효과를 결정할 수 있다. 일부 실시예들에서, 프로세서(102)는 단계(812)와 관련하여 설명된 방법들(예를 들어, 알고리즘, 햅틱 프로파일 또는 룩업 테이블) 중 임의의 것을 이용하여, 가상 객체의 특성에 적어도 부분적으로 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 프로세서(102)는 룩업 테이블을 참고하고, 오렌지색과 청색 컬러들의 혼합과 진동을 포함하는 햅틱 효과를 연관시킬 수 있다. 이것은, 오렌지색과 청색이 미학적으로 함께 매력적이지 않을 수 있다는 것을 사용자에게 나타낼 수 있다.
이 방법(800)은, 프로세서(102)가 햅틱 효과와 연관된 햅틱 신호를 발생시킬 때의 단계(818)에서 계속된다. 햅틱 신호는 햅틱 효과에 적어도 부분적으로 기초한다. 일부 실시예들에서, 프로세서(102)는, 메모리(104)에 저장되며 특정 햅틱 효과들과 연관된 구동 신호들에 액세스할 수 있다. 다른 실시예에서, 저장된 알고리즘에 액세스하며 햅틱 효과와 연관된 파라미터들을 입력함으로써 신호가 발생된다. 예를 들어, 이러한 실시예에서, 알고리즘은 진폭 및 주파수 파라미터들에 기초하여 구동 신호를 발생시키는데 이용하기 위한 데이터를 출력할 수 있다. 다른 예로서, 햅틱 신호는, 액추에이터에 의해 디코딩될 데이터를 포함할 수 있다. 예를 들어, 액추에이터는 진폭 및 주파수와 같은 파라미터들을 특정하는 커맨드들에 응답할 수 있다. 햅틱 신호는 아날로그 또는 디지털일 수 있다.
이 방법(800)은, 프로세서(102)가 햅틱 신호를 햅틱 출력 디바이스(118)로 송신할 때의 단계(820)에서 계속된다. 햅틱 출력 디바이스(118)는 햅틱 신호를 수신하고, 햅틱 효과를 출력하도록 구성된다. 예를 들어, 햅틱 출력 디바이스(118)는 햅틱 신호를 수신하고, 예를 들어 진동 및/또는 터치 감응 표면(116) 상에서의 지각가능한 마찰 계수에서의 감소를 포함하는 햅틱 효과를 출력할 수 있다. 이러한 햅틱 효과들은, 예를 들어, 드로잉을 사용자에 대해 더 쉽게 하거나, 또는 미학적으로 함께 매력적이지 않을 수 있는 사용자의 가상 그림에서의 컬러들에 대해 사용자에게 경고할 수 있다.
압력 기반 햅틱 효과들의 이점들
압력 기반 햅틱 효과들에 대한 다수의 이점이 존재한다. 이러한 시스템들은 사용자가 디바이스를 보지 않고 상태 결정을 행하는(예를 들어, 디바이스가 놓여 있는 모드를 결정하는) 것을 허용할 수 있다. 따라서, 사용자는 다른 태스크에 대한 포커스를 유지가능할 수 있다. 예를 들어, 사용자는 디스플레이에 시각적으로 포커싱할 필요 없이 사용자 인터페이스 상에서 또는 프로그램에서 이용가능한 동작들과 관련하여 결정가능할 수 있다. 유사하게, 햅틱 효과는, 동작이 이용가능하거나, 완료되었거나 또는 특정 중요도 레벨을 갖는다는 확인의 역할을 할 수 있다.
일부 실시예들에서, 압력 기반 햅틱 효과들은 보다 고유하고 상호적이며 효과적인 사용자 인터페이스들을 허용할 수 있다. 예를 들어, 일부 실시예들에서, 사용자는 단일의 사용자 인터페이스 컴포넌트에 대해 가변량의 압력을 가함으로써 이러한 사용자 인터페이스 컴포넌트와 상호작용하면서 더 넓은 범위의 기능들을 수행가능할 수 있다. 또한, 일부 실시예들에서, 사용자는 하나의 압력 양(예를 들어, 소프트 압력)을 이용하여 사용자 인터페이스 컴포넌트의 위치를 찾고, 다른 압력 양(예를 들어, 단호한 압력)을 이용하여 사용자 인터페이스 컴포넌트를 활성화가능할 수 있다. 따라서, 사용자는 사용자의 손가락을 사용자 인터페이스로부터 제거할 필요 없이 사용자 인터페이스 컴포넌트들의 위치를 찾고 연관된 기능들을 실행가능할 수 있다. 이것은, 사용자가 사용자 인터페이스로부터 사용자의 손가락을 제거하고 탭핑을 수행하여 사용자 인터페이스 컴포넌트를 활성화해야 할 수 있는 종래의 사용자 인터페이스와는 다르다. 이러한 탭핑은, 예를 들어, 주변 움직임, 인지 부하 및 시각적 분산(visual distractions)이 사용자 인터페이스 컴포넌트 상에서 정밀하게 탭핑하는 것을 어렵게 할 수 있는 움직이는 차량에서는 어려울 수 있다.
다른 실시예들에서, 압력 기반 햅틱 효과들은 비시각적 인터페이스들을 가능하게 할 수 있다. 예를 들어, 일부 실시예들에서, 사용자는 사용자 인터페이스 레벨과 연관된 압력의 양을 이용하여 사용자의 손가락으로 비시각적 사용자 인터페이스를 탐구가능할 수 있다. 사용자의 손가락이 비가시적인 인터페이스 컴포넌트(예를 들어, 가상 볼륨 스위치)의 위치와 상호작용하면, 컴퓨팅 디바이스는 햅틱 피드백을 출력할 수 있다. 이것은 사용자가 비가시적인 인터페이스 컴포넌트의 위치를 식별하는 것을 허용할 수 있다. 인터페이스 컴포넌트의 위치를 식별하면, 사용자는, 예를 들어, 비가시적인 인터페이스 컴포넌트와 연관된 기능(예를 들어, 볼륨을 증가시키는 것)을 수행하기 위해서, 다른 사용자 인터페이스 레벨과 연관된 압력의 양으로 인터페이스 컴포넌트와 상호작용할(예를 들어, 이러한 컴포넌트를 누를) 수 있다. 이에 응답하여, 시스템은, 예를 들어 사용자 입력의 수신을 확인하기 위해서, 사용자에게 햅틱 피드백을 제공하고/하거나 기능을 수행할 수 있다.
일부 실시예들에서, 압력 기반 햅틱 효과들은 더 사실적이거나 실감나는 사용자 경험을 제공할 수 있다. 예를 들어, 일부 실시예들에서, 사용자는 압력 레벨과 연관된 압력의 양을 이용하여 가상 객체와 상호작용할 수 있다. 사용자는 가상 객체와 연관된 표면(예를 들어, 과일의 외부)을 시뮬레이팅하도록 구성된 햅틱 피드백을 수신할 수 있다. 사용자는 다른 압력 레벨과 연관된 압력의 양을 이용하여 가상 객체와 또한 상호작용할 수 있다. 사용자는 가상 객체와 연관된 상이한 표면(예를 들어, 과일의 내부)을 시뮬레이팅하도록 구성된 햅틱 피드백을 수신할 수 있다. 일부 실시예들에서, 이것은 가상 객체를 더 사실적으로 그리고/또는 3차원적으로 느껴지게 할 수 있다. 또한, 상이한 햅틱 효과들과 상이한 압력 레벨들을 연관시킴으로써, 사용자는 단일의 가상 객체와 상호작용하면서 복수의 햅틱 효과를 지각가능할 수 있다. 이것은 더 큰 범위의 햅틱 경험들을 허용할 수 있다.
일부 실시예들에서, 압력 기반 햅틱 효과들은 더 안전한 사용자 경험을 제공할 수 있다. 예를 들어, 종래의 터치 감응 인터페이스들의 경우, 컴퓨팅 디바이스가 사용자 입력을 나타내도록 터치 감응 표면과 상호작용할 때 사용자가 얼마나 많은 압력을 가할지(또는 사용자가 얼마나 많은 압력을 가하고 있는지)를 결정하는 것이 어려울 수 있다. 이것은 사용자가 높은 양의 압력으로 터치 감응 표면과 상호작용하게 할 수 있는데, 이는 터치 감응 표면을 손상시키고, 사용자를 다치게 하거나 또는 피로나 스트레인을 야기시킬 수 있다. 그러나, 일부 실시예들에서, 압력 기반 햅틱 효과들은, 컴퓨팅 디바이스가 사용자 입력을 수신하였음 또는 사용자가 올바른 양의 압력으로 가상 객체와 상호작용하였음을 사용자에게 통지할 수 있다. 따라서, 사용자는 더 적은 전체 압력을 이용하여 터치 감응 표면과 상호작용함으로써, 컴퓨팅 디바이스에 대한 손상 또는 사용자에 대한 상처를 방지할 수 있다.
또한, 일부 실시예들에서, 압력 기반 햅틱 효과들은 컴퓨팅 디바이스들이 종래의 스위치들을 대체하는 것을 허용할 수 있다. 이것은 컴퓨팅 디바이스들이 다기능 제어기들로서 동작하고/하거나 이전에 사용되지 않은 장소들에서 사용되는 것을 허용할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스들을 다기능 제어기들로서 사용하거나 또는 이전에 사용되지 않은 장소들에서 사용하는 것은 비용을 감소시키며, 전체 사용자 만족도를 증가시킬 수 있다.
일반 고려사항들
위에서 논의된 방법들, 시스템들 및 디바이스들은 예들이다. 다양한 구성들은 적절하게 다양한 절차들 또는 컴포넌트들을 생략하거나, 대체하거나 또는 추가할 수 있다. 예를 들어, 대안적인 구성들에서, 방법들은 설명된 것과는 상이한 순서로 수행될 수 있고/있거나, 다양한 스테이지들이 추가, 생략 및/또는 결합될 수 있다. 또한, 특정 구성들과 관련하여 설명된 특징들은 다양한 다른 구성들에서 결합될 수 있다. 구성들의 상이한 양태들 및 요소들은 유사한 방식으로 결합될 수 있다. 또한, 기술이 발전되고, 그에 따라 많은 요소들은 예들이며, 본 개시물 또는 청구항들의 범위를 제한하지는 않는다.
(구현들을 포함한) 예시적인 구성들의 철저한 이해를 제공하기 위해서 본 설명에서 특정 상세들이 주어진다. 그러나, 구성들은 이러한 특정 상세들 없이 실시될 수 있다. 예를 들어, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들 및 기술들은 이러한 구성들을 모호하게 하는 것을 회피하기 위해서 불필요한 상세 없이 제시되었다. 이 설명은 단지 예시적인 구성들만을 제공하며, 청구항들의 구성들, 적용가능성 또는 범위를 제한하지는 않는다. 오히려, 선행하는 구성들의 설명은, 설명된 기술들을 구현할 수 있게 하는 설명을 관련 기술분야의 통상의 기술자에게 제공할 것이다. 본 개시물의 사상 또는 범위로부터 벗어나지 않고 요소들의 배열 및 기능에서 다양한 변경들이 이루어질 수 있다.
또한, 구성들은 블록도 또는 흐름도로 도시되는 프로세스로서 설명될 수 있다. 각각 순차적인 프로세스로서 동작들을 설명할 수 있지만, 많은 동작들은 병행하여 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 부가적인 단계들을 가질 수 있다. 또한, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어(hardware description languages), 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 태스크들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 비일시적인 컴퓨터 판독가능 매체에 저장될 수 있다. 프로세서들은 설명된 태스크들을 수행할 수 있다.
수개의 예시적인 구성들을 설명하였지만, 본 개시물의 사상으로부터 벗어나지 않고 다양한 수정물들, 대안적인 구성들 및 등가물들이 이용될 수 있다. 예를 들어, 전술한 요소들은 더 큰 시스템의 컴포넌트들일 수 있는데, 여기서 다른 규칙들은 본 발명의 애플리케이션보다 우선하거나 또는 다른 방식으로 이를 수정할 수 있다. 또한, 전술한 요소들이 고려되기 이전에, 그 동안에 또는 그 이후에 다수의 단계들이 수행될 수 있다. 따라서, 전술한 설명은 청구항들의 범위를 한정하지는 않는다.
본 명세서에서의 "~하도록 되어 있는(adapted to)" 또는 "~하도록 구성되는(configured to)"의 이용은 부가적인 태스크들 또는 단계들을 수행하도록 되어 있거나 구성된 디바이스들을 배제하지 않는 개방적이며 포괄적인 언어를 의미한다. 부가적으로, "~에 기초하는(based on)"의 이용은, 하나 이상의 언급된 조건 또는 값에 "기초하는" 프로세스, 단계, 계산 또는 다른 액션이 실제로 언급된 것들을 넘는 부가적인 조건들 또는 값들에 기초할 수 있다는 점에서, 개방적이며 포괄적인 것을 의미한다. 본 명세서에 포함된 표제들, 목록들 및 넘버링은 설명의 용이성을 위한 것일 뿐이며, 제한하는 것으로 의도된 것은 아니다.
본 발명 대상의 양태들에 따른 실시예들은 디지털 전자 회로에서, 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 선행하는 것들의 조합으로 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 연결된 랜덤 액세스 메모리(RAM)와 같은 컴퓨터 판독가능 매체를 포함하거나 또는 이러한 매체에 액세스한다. 프로세서는, 전술한 방법들을 수행하기 위해 센서 샘플링 루틴, 선택 루틴 및 다른 루틴을 비롯한 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어들을 실행한다.
이러한 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP: digital signal processor), 주문형 집적 회로(ASIC: application-specific integrated circuit), 필드 프로그램가능 게이트 어레이(FPGA: field programmable gate array) 및 상태 머신을 포함할 수 있다. 이러한 프로세서들은, PLC, PIC(programmable interrupt controller), PLD(programmable logic device), PROM(programmable read-only memory), 전기적 프로그램가능 판독 전용 메모리(EPROM 또는 EEPROM), 또는 다른 유사한 디바이스와 같은 프로그램가능 전자 디바이스들을 더 포함할 수 있다.
이러한 프로세서들은, 프로세서에 의해 실행될 때, 이 프로세서로 하여금, 프로세서에 의해 수행되거나 지원되는 바와 같은 본 명세서에 설명된 단계들을 수행하도록 할 수 있는 명령어들을 저장할 수 있는 매체, 예를 들어 유형의 컴퓨터 판독가능 매체를 포함할 수 있거나, 또는 이러한 매체와 통신할 수 있다. 컴퓨터 판독가능 매체의 실시예들은, 웹 서버에서의 프로세서와 같은 프로세서에 컴퓨터 판독가능 명령어들을 제공할 수 있는 모든 전자, 광학, 자기 또는 다른 저장 디바이스들을 포함할 수 있지만, 이에 제한되지는 않는다. 매체의 다른 예들은 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이에 제한되지는 않는다. 또한, 라우터, 사설 또는 공중 네트워크, 또는 다른 전송 디바이스와 같은 다양한 다른 디바이스들이 컴퓨터 판독가능 매체를 포함할 수 있다. 설명된 프로세서 및 처리는 하나 이상의 구조로 이루어질 수 있으며, 하나 이상의 구조를 통해 분산될 수 있다. 프로세서는 본 명세서에 설명된 방법들 중 하나 이상(또는 방법들의 부분들)을 수행하기 위한 코드를 포함할 수 있다.
본 발명 대상은 그것의 특정 실시예들과 관련하여 상세하게 설명되었지만, 관련 기술분야의 통상의 기술자라면, 전술한 내용을 이해하게 되면, 이러한 실시예들에 대한 변경물들, 변형물들 및 등가물들을 손쉽게 생성할 수 있다는 것이 인식될 것이다. 따라서, 본 개시물은 제한이 아니라 예시를 위해 제시되었으며, 관련 기술분야의 통상의 기술자에게 손쉽게 명백하게 되는 바와 같이 본 발명 대상에 대한 이러한 수정물들, 변형물들 및/또는 추가물들의 포함을 배제하지는 않는다는 것이 이해되어야 한다.

Claims (20)

  1. 시스템으로서,
    터치 표면과의 사용자 상호작용을 검출하고, 상기 사용자 상호작용의 압력과 연관된 데이터를 포함하는 센서 신호를 송신하도록 구성된 센서;
    상기 센서와 통신하는 프로세서 - 상기 프로세서는,
    상기 센서 신호를 수신하고,
    상기 센서 신호에 기초하여 압력 레벨을 결정하고,
    상기 압력 레벨에 적어도 부분적으로 기초하여 사용자 인터페이스 레벨을 결정하고,
    상기 사용자 상호작용 및 상기 사용자 인터페이스 레벨과 연관된 기능을 수행하고,
    상기 사용자 상호작용 및 상기 사용자 인터페이스 레벨에 적어도 부분적으로 기초하여 햅틱 효과를 결정하고,
    상기 햅틱 효과에 적어도 부분적으로 기초하여 햅틱 신호를 발생시키고,
    상기 햅틱 신호를 송신하도록
    구성됨 -; 및
    상기 프로세서와 통신하는 햅틱 출력 디바이스 - 상기 햅틱 출력 디바이스는 상기 햅틱 신호를 수신하고, 상기 햅틱 효과를 출력하도록 구성됨 -
    를 포함하는 시스템.
  2. 제1항에 있어서,
    상기 압력 레벨은 복수의 압력 레벨로부터 선택되는 시스템.
  3. 제1항에 있어서,
    상기 햅틱 효과를 결정하는 것은 햅틱 효과 없음을 결정하는 것을 포함하는 시스템.
  4. 제1항에 있어서,
    상기 터치 표면은 터치 스크린 디스플레이를 포함하는 시스템.
  5. 제1항에 있어서,
    상기 기능은 카메라를 포커싱하는 것, 사진을 촬영하는 것 또는 게임 기능을 포함하는 시스템.
  6. 제1항에 있어서,
    상기 프로세서는, 상기 사용자 상호작용에 적어도 부분적으로 기초하여 디스플레이 상에 출력되는 가상 객체의 특성을 변경하도록 또한 구성되는 시스템.
  7. 제1항에 있어서,
    상기 센서는 용량성 센서, 스트레인 게이지(strain gauge), 불완전 내부 반사(frustrated internal reflection) 압력 센서, 또는 FSR(force sensitive resistor) 센서를 포함하는 시스템.
  8. 제1항에 있어서,
    상기 복수의 압력 레벨 각각은 상이한 햅틱 효과와 연관되는 시스템.
  9. 제1항에 있어서,
    상기 햅틱 효과를 결정하는 것은,
    가상 객체의 특성을 결정하는 것; 및
    상기 특성에 적어도 부분적으로 기초하여 상기 햅틱 효과를 결정하는 것
    을 더 포함하는 시스템.
  10. 방법으로서,
    센서로부터 센서 신호를 수신하는 단계 - 상기 센서 신호는 터치 표면과의 사용자 상호작용의 압력과 연관된 데이터를 포함함 -;
    상기 센서 신호에 기초하여 압력 레벨을 결정하는 단계;
    상기 압력 레벨에 적어도 부분적으로 기초하여 사용자 인터페이스 레벨을 결정하는 단계;
    상기 사용자 상호작용 및 상기 사용자 인터페이스 레벨과 연관된 기능을 수행하는 단계;
    상기 사용자 상호작용 및 상기 사용자 인터페이스 레벨에 적어도 부분적으로 기초하여 햅틱 효과를 결정하는 단계;
    상기 햅틱 효과에 적어도 부분적으로 기초하여 햅틱 신호를 발생시키는 단계; 및
    상기 햅틱 신호를 햅틱 출력 디바이스로 송신하는 단계 - 상기 햅틱 출력 디바이스는 상기 햅틱 신호를 수신하고, 상기 햅틱 효과를 출력하도록 구성됨 -
    를 포함하는 방법.
  11. 제10항에 있어서,
    상기 압력 레벨은 복수의 압력 레벨로부터 선택되는 방법.
  12. 제10항에 있어서,
    상기 햅틱 효과를 결정하는 단계는 햅틱 효과 없음을 결정하는 단계를 포함하는 방법.
  13. 제10항에 있어서,
    상기 터치 표면은 터치 스크린 디스플레이를 포함하는 방법.
  14. 제10항에 있어서,
    상기 기능은 카메라를 포커싱하는 것, 사진을 촬영하는 것 또는 게임 기능을 포함하는 방법.
  15. 제10항에 있어서,
    상기 사용자 상호작용에 적어도 부분적으로 기초하여 디스플레이 상에 출력되는 가상 객체의 특성을 변경하는 단계를 더 포함하는 방법.
  16. 제10항에 있어서,
    상기 센서는 용량성 센서, 스트레인 게이지, 불완전 내부 반사 압력 센서, 또는 FSR(force sensitive resistor) 센서를 포함하는 방법.
  17. 제10항에 있어서,
    가상 객체의 특성을 결정하는 단계; 및
    상기 특성에 적어도 부분적으로 기초하여 상기 햅틱 효과를 결정하는 단계
    를 더 포함하는 방법.
  18. 프로그램 코드를 포함하는 비일시적인 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    센서로부터 센서 신호를 수신하게 하고 - 상기 센서 신호는 터치 표면과의 사용자 상호작용의 압력과 연관된 데이터를 포함함 -;
    상기 센서 신호에 기초하여 압력 레벨을 결정하게 하고;
    상기 압력 레벨에 적어도 부분적으로 기초하여 사용자 인터페이스 레벨을 결정하게 하고;
    상기 사용자 상호작용 및 상기 사용자 인터페이스 레벨과 연관된 기능을 수행하게 하고;
    상기 사용자 상호작용 및 상기 사용자 인터페이스 레벨에 적어도 부분적으로 기초하여 햅틱 효과를 결정하게 하고;
    상기 햅틱 효과에 적어도 부분적으로 기초하여 햅틱 신호를 발생시키게 하며;
    상기 햅틱 신호를 햅틱 출력 디바이스로 송신하게 하도록 - 상기 햅틱 출력 디바이스는 상기 햅틱 신호를 수신하고, 상기 햅틱 효과를 출력하도록 구성됨 -
    구성되는 비일시적인 컴퓨터 판독가능 매체.
  19. 제18항에 있어서,
    상기 압력 레벨은 복수의 압력 레벨로부터 선택되는 비일시적인 컴퓨터 판독가능 매체.
  20. 제18항에 있어서,
    상기 기능은 카메라를 포커싱하는 것, 사진을 촬영하는 것 또는 게임 기능을 포함하는 비일시적인 컴퓨터 판독가능 매체.
KR1020157036716A 2013-06-11 2014-06-11 압력 기반 햅틱 효과들을 위한 시스템들 및 방법들 KR20160019468A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361833626P 2013-06-11 2013-06-11
US61/833,626 2013-06-11
PCT/US2014/041964 WO2014201151A1 (en) 2013-06-11 2014-06-11 Systems and methods for pressure-based haptic effects

Publications (1)

Publication Number Publication Date
KR20160019468A true KR20160019468A (ko) 2016-02-19

Family

ID=51168386

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157036716A KR20160019468A (ko) 2013-06-11 2014-06-11 압력 기반 햅틱 효과들을 위한 시스템들 및 방법들

Country Status (6)

Country Link
US (4) US9632581B2 (ko)
EP (2) EP3144780A1 (ko)
JP (2) JP6538657B2 (ko)
KR (1) KR20160019468A (ko)
CN (2) CN110109534A (ko)
WO (1) WO2014201151A1 (ko)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105144035B (zh) * 2013-04-26 2019-03-22 意美森公司 利用触觉单元阵列模拟有形用户界面交互和手势
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
KR20160019468A (ko) 2013-06-11 2016-02-19 임머숀 코퍼레이션 압력 기반 햅틱 효과들을 위한 시스템들 및 방법들
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
JP2015114836A (ja) * 2013-12-11 2015-06-22 キヤノン株式会社 画像処理装置、触感制御方法及びプログラム
JP6351964B2 (ja) * 2013-12-11 2018-07-04 株式会社東海理化電機製作所 入力装置
WO2015115447A1 (ja) * 2014-01-30 2015-08-06 京セラドキュメントソリューションズ株式会社 タッチパネル装置及びタッチパネル制御方法
JP6319328B2 (ja) * 2014-02-14 2018-05-09 富士通株式会社 教育用触感提供装置、及び、システム
US10031583B2 (en) 2014-03-21 2018-07-24 Immersion Corporation Systems and methods for force-based object manipulation and haptic sensations
US9432498B2 (en) * 2014-07-02 2016-08-30 Sony Corporation Gesture detection to pair two wearable devices and perform an action between them and a wearable device, a method and a system using heat as a means for communication
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
US10146308B2 (en) 2014-10-14 2018-12-04 Immersion Corporation Systems and methods for impedance coupling for haptic devices
US11366521B2 (en) * 2014-11-17 2022-06-21 Thika Holdings Llc Device for intuitive dexterous touch and feel interaction in virtual worlds
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US9937839B2 (en) * 2014-12-31 2018-04-10 Harman International Industries, Incorporated Feedback by modifying stiffness
US9763628B2 (en) * 2014-12-31 2017-09-19 Immersion Corporation Systems and methods for providing enhanced haptic feedback
KR101681893B1 (ko) * 2015-07-03 2016-12-05 (주)이미지스테크놀로지 터치 압력을 사용자 기준에 따라 재배치하여 사용할 수 있는 터치스크린 단말기
US20170060241A1 (en) * 2015-08-26 2017-03-02 Fujitsu Ten Limited Input device, display device, method of controlling input device, and program
US20170083096A1 (en) * 2015-09-22 2017-03-23 Immersion Corporation Pressure-based haptics
KR102468314B1 (ko) * 2015-10-21 2022-11-17 삼성전자주식회사 Ui 제공 방법 및 이를 수행하는 전자 장치
US9990078B2 (en) 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects
KR102462941B1 (ko) 2016-01-26 2022-11-03 삼성디스플레이 주식회사 표시 장치
US11042288B2 (en) 2016-02-04 2021-06-22 Huawei Technologies Co., Ltd. Information processing method and electronic device for obtaining a touch gesture operation on a suspended button
JP2017149225A (ja) * 2016-02-23 2017-08-31 京セラ株式会社 車両用コントロールユニット
US9898903B2 (en) 2016-03-07 2018-02-20 Immersion Corporation Systems and methods for haptic surface elements
WO2022076480A1 (en) 2020-10-06 2022-04-14 Sensel, Inc. Haptic keyboard system
US10564839B2 (en) 2016-03-31 2020-02-18 Sensel Inc. Method for detecting and characterizing inputs on a touch sensor surface
US11460926B2 (en) 2016-03-31 2022-10-04 Sensel, Inc. Human-computer interface system
US10866642B2 (en) 2016-03-31 2020-12-15 Sensel Inc. System and method for detecting and responding to touch inputs with haptic feedback
US11422631B2 (en) 2016-03-31 2022-08-23 Sensel, Inc. Human-computer interface system
JP6728386B2 (ja) 2016-03-31 2020-07-22 センセル インコーポレイテッドＳｅｎｓｅｌ，Ｉｎｃ． 人間コンピュータインタフェースシステム
KR101886209B1 (ko) * 2016-04-19 2018-08-08 (주)휴맥스 미디어 서비스 제공 장치 및 방법
CN107305467A (zh) * 2016-04-20 2017-10-31 富泰华工业（深圳）有限公司 触觉互动系统、方法及电子装置
US9983675B2 (en) * 2016-06-10 2018-05-29 Immersion Corporation Systems and methods for monitoring insulation integrity for electrostatic friction
US10401962B2 (en) 2016-06-21 2019-09-03 Immersion Corporation Haptically enabled overlay for a pressure sensitive surface
US20170371415A1 (en) * 2016-06-28 2017-12-28 Intel Corporation Tactile user interface
EP3270262A1 (en) 2016-07-12 2018-01-17 Vestel Elektronik Sanayi ve Ticaret A.S. Touch-screen control device with haptic feedback
JP2018018205A (ja) * 2016-07-26 2018-02-01 株式会社デンソーテン 表示手段の画面上の位置を決定する入力システム、検知装置、制御装置、プログラム及び方法
KR102573234B1 (ko) * 2016-08-02 2023-08-31 삼성전자주식회사 전면 스크린을 채용한 전자 장치
CN109564497A (zh) * 2016-08-05 2019-04-02 索尼公司 信息处理设备、信息处理方法以及程序
DK201670728A1 (en) 2016-09-06 2018-03-19 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Feedback During Interaction with an Intensity-Sensitive Button
US10296091B2 (en) 2016-10-13 2019-05-21 Immersion Corporation Contextual pressure sensing haptic responses
US11175738B2 (en) 2016-12-13 2021-11-16 Immersion Corporation Systems and methods for proximity-based haptic feedback
EP3555733A4 (en) * 2016-12-16 2020-08-05 Sensel Inc. HUMAN-COMPUTER INTERFACING SYSTEM
DE102016225534B4 (de) * 2016-12-20 2018-08-02 Audi Ag Bedienvorrichtung für ein Kraftfahrzeug mit einem Kraftsensor und einer Aktuatoreinrichtung, und Verfahren zum Betreiben der Bedieneinrichtung, Steuereinrichtung, und Kraftfahrzeug
US10055949B2 (en) * 2017-01-05 2018-08-21 Immersion Corporation Adjustable haptic wearables
CN106919282A (zh) * 2017-02-10 2017-07-04 南昌欧菲显示科技有限公司 触觉反馈显示屏
EP3385831A1 (en) 2017-04-04 2018-10-10 Lg Electronics Inc. Mobile terminal
TWI670639B (zh) * 2017-05-18 2019-09-01 美商愛特梅爾公司 用於識別使用者介面元件之技術以及使用其之系統及裝置
JP6802760B2 (ja) * 2017-06-12 2020-12-16 アルプスアルパイン株式会社 ユーザインターフェース装置、表示制御方法及びプログラム
KR102406072B1 (ko) * 2017-06-13 2022-06-10 삼성전자주식회사 압력 입력에 따라 전자 장치의 동작을 제어하는 전자 장치 및 방법
US10969870B2 (en) * 2017-07-10 2021-04-06 Sharp Kabushiki Kaisha Input device
WO2019023726A1 (de) * 2017-07-31 2019-02-07 Keba Ag Industriebedienpanel
CN111133404B (zh) * 2017-07-31 2024-02-20 Keba工业自动化有限责任公司 工业操作面板
EP3447613A3 (en) * 2017-08-22 2019-03-13 InterDigital CE Patent Holdings Haptic immersive device with touch surfaces for virtual object creation
US11061556B2 (en) * 2018-01-12 2021-07-13 Microsoft Technology Licensing, Llc Computer device having variable display output based on user input with variable time and/or pressure patterns
US10684689B2 (en) * 2018-04-20 2020-06-16 Immersion Corporation Cross-platform dynamic haptic effect design tool for augmented or virtual reality environments
US10613645B2 (en) * 2018-04-27 2020-04-07 Microsoft Technology Licensing, Llc Mechanism for pen interoperability with pressure sensor design
US10649532B2 (en) * 2018-06-15 2020-05-12 Immersion Corporation Systems and methods for multi-rate control of haptic effects with sensor fusion
KR20200023932A (ko) * 2018-08-27 2020-03-06 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US10775894B2 (en) 2018-11-02 2020-09-15 Immersion Corporation Systems and methods for providing customizable haptic playback
JP7141927B2 (ja) * 2018-11-26 2022-09-26 ホシデン株式会社 振動付与装置及び振動制御方法
CN109669612A (zh) * 2018-11-29 2019-04-23 惠州Tcl移动通信有限公司 移动终端控制方法、装置、移动终端及存储介质
DE112019006071T5 (de) * 2018-12-07 2021-09-09 Sony Group Corporation Feedbacksystem, feedbacksteuerverfahren und elektronische vorrichtung
CN109621410A (zh) * 2018-12-29 2019-04-16 努比亚技术有限公司 一种游戏控制方法、终端及计算机可读存储介质
JP7309466B2 (ja) * 2019-06-11 2023-07-18 キヤノン株式会社 電子機器およびその制御方法
US11820215B2 (en) * 2019-11-04 2023-11-21 Hyundai Mobis Co., Ltd. System and method for controlling display of vehicle
WO2021091567A1 (en) * 2019-11-08 2021-05-14 Hewlett-Packard Development Company, L.P. Keyboards with haptic outputs
CN111158474B (zh) * 2019-12-19 2021-10-22 维沃移动通信有限公司 交互方法和电子设备
CN111796709B (zh) * 2020-06-02 2023-05-26 南京信息工程大学 一种在触摸屏上再现图像纹理特征的方法
TWI796891B (zh) * 2021-05-05 2023-03-21 寶德科技股份有限公司 搖桿組件及遊戲手把
US11745101B2 (en) 2021-09-11 2023-09-05 Sony Interactive Entertainment Inc. Touch magnitude identification as input to game
WO2023126664A1 (en) * 2021-12-29 2023-07-06 Bosch Car Multimedia Portugal S.A System and method for providing a web browser online user interface with haptic feedback for an automotive setting
WO2023126665A1 (en) * 2021-12-29 2023-07-06 Bosch Car Multimedia Portugal S.A Device and method for providing an e-reader interactive surface with haptic feedback for an automotive setting
WO2023126660A1 (en) * 2021-12-29 2023-07-06 Bosch Car Multimedia Portugal S.A Haptic and thermal feedback touchpad device, system and method thereof for an automotive setting

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030040361A1 (en) * 1994-09-21 2003-02-27 Craig Thorner Method and apparatus for generating tactile feedback via relatively low-burden and/or zero burden telemetry
EP0760118B1 (en) 1995-03-13 2002-07-03 Koninklijke Philips Electronics N.V. Vertical translation of mouse or trackball enables truly 3d input
US6147684A (en) 1998-02-06 2000-11-14 Sun Microysytems, Inc. Techniques for navigating layers of a user interface
US7084869B2 (en) * 2000-03-31 2006-08-01 Massachusetts Institute Of Technology Methods and apparatus for detecting and correcting penetration between objects
US7535454B2 (en) * 2001-11-01 2009-05-19 Immersion Corporation Method and apparatus for providing haptic feedback
KR101289110B1 (ko) 2001-11-01 2013-08-07 임머숀 코퍼레이션 촉각을 제공하기 위한 방법 및 장치
US6904823B2 (en) * 2002-04-03 2005-06-14 Immersion Corporation Haptic shifting devices
US6812833B2 (en) 2002-04-12 2004-11-02 Lear Corporation Turn signal assembly with tactile feedback
WO2004029901A1 (de) 2002-09-03 2004-04-08 Daimlerchrysler Ag Vorrichtung und verfahren zur funkbasierten gefahrenwarnung
US8164573B2 (en) * 2003-11-26 2012-04-24 Immersion Corporation Systems and methods for adaptive interpretation of input from a touch-sensitive input device
US7205981B2 (en) * 2004-03-18 2007-04-17 Immersion Corporation Method and apparatus for providing resistive haptic feedback using a vacuum source
JP2005332063A (ja) * 2004-05-18 2005-12-02 Sony Corp 触覚機能付き入力装置、情報入力方法及び電子機器
US7385308B2 (en) * 2005-09-26 2008-06-10 Visteon Global Technologies, Inc. Advanced automotive control switches
US7714701B2 (en) 2005-11-16 2010-05-11 Gm Global Technology Operations, Inc. Active material based haptic alert system
US20070244641A1 (en) 2006-04-17 2007-10-18 Gm Global Technology Operations, Inc. Active material based haptic communication systems
US7603228B2 (en) * 2006-05-25 2009-10-13 Ford Global Technologies, Llc Haptic apparatus and coaching method for improving vehicle fuel economy
JP2008033739A (ja) 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
JP2010521022A (ja) * 2007-02-23 2010-06-17 ティーピーアイ カンパニー リミテッド デジタル機器に使われるポインティング装置を利用した仮想キーボード入力システム
KR20090019161A (ko) 2007-08-20 2009-02-25 삼성전자주식회사 전자 장치 및 이를 조작하는 방법
US20090140989A1 (en) * 2007-12-04 2009-06-04 Nokia Corporation User interface
US20090259359A1 (en) * 2008-04-09 2009-10-15 David Michael Whitton Variable intensity haptic level control based on vehicle conditions
JP2010015551A (ja) * 2008-06-03 2010-01-21 Univ Of Electro-Communications 触覚情報提示装置及び触覚情報提示システム
EP2141574B1 (en) * 2008-07-01 2017-09-27 LG Electronics Inc. Mobile terminal using proximity sensor and method of controlling the mobile terminal
KR101495559B1 (ko) 2008-07-21 2015-02-27 삼성전자주식회사 사용자 명령 입력 방법 및 그 장치
KR101569176B1 (ko) * 2008-10-30 2015-11-20 삼성전자주식회사 오브젝트 실행 방법 및 장치
US8547244B2 (en) 2008-12-22 2013-10-01 Palm, Inc. Enhanced visual feedback for touch-sensitive input device
US9696803B2 (en) * 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
CN102349038B (zh) * 2009-03-12 2016-08-24 意美森公司 用于纹理引擎的系统和方法
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US8248270B2 (en) * 2009-04-09 2012-08-21 Verne Nieves Tactile warning system for a vehicle
CA2761700C (en) * 2009-07-24 2014-12-02 Research In Motion Limited Method and apparatus for a touch-sensitive display
US9927874B2 (en) * 2009-07-29 2018-03-27 Kyocera Corporation Input apparatus and control method for input apparatus
JP2011048686A (ja) * 2009-08-27 2011-03-10 Kyocera Corp 入力装置
JP2011053974A (ja) 2009-09-02 2011-03-17 Sony Corp 操作制御装置、操作制御方法およびコンピュータプログラム
US10068728B2 (en) * 2009-10-15 2018-09-04 Synaptics Incorporated Touchpad with capacitive force sensing
US8633916B2 (en) * 2009-12-10 2014-01-21 Apple, Inc. Touch pad with force sensors and actuator feedback
JP5766398B2 (ja) * 2009-12-21 2015-08-19 京セラ株式会社 触感呈示装置
JP5635274B2 (ja) * 2010-01-27 2014-12-03 京セラ株式会社 触感呈示装置および触感呈示方法
US20110248930A1 (en) 2010-04-08 2011-10-13 Research In Motion Limited Portable electronic device and method of controlling same to provide tactile feedback
JP2011242386A (ja) * 2010-04-23 2011-12-01 Immersion Corp 接触センサと触覚アクチュエータとの透明複合圧電材結合体
US20110267294A1 (en) 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
US20120327006A1 (en) * 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
US8576171B2 (en) * 2010-08-13 2013-11-05 Immersion Corporation Systems and methods for providing haptic feedback to touch-sensitive input devices
US8754854B1 (en) 2010-09-28 2014-06-17 Google Inc. Keyboard integrated with trackpad
US20120146955A1 (en) 2010-12-10 2012-06-14 Research In Motion Limited Systems and methods for input into a portable electronic device
WO2012108203A1 (ja) 2011-02-10 2012-08-16 京セラ株式会社 電子機器及び電子機器の制御方法
JP2012221074A (ja) * 2011-04-06 2012-11-12 Sony Corp 操作装置
US20140185834A1 (en) * 2011-04-11 2014-07-03 Nokia Corporation Volume control apparatus
KR101349278B1 (ko) 2011-06-07 2014-01-15 엘지전자 주식회사 이동통신 단말기 및 그 동작방법
WO2013015070A1 (ja) * 2011-07-22 2013-01-31 Kddi株式会社 指の移動を伴うことなく画像スクロールが可能なユーザインタフェース装置、画像スクロール方法及びプログラム
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
JP5613126B2 (ja) * 2011-09-09 2014-10-22 Kddi株式会社 画面内の対象が押圧によって操作可能なユーザインタフェース装置、対象操作方法及びプログラム
JP2013070303A (ja) * 2011-09-26 2013-04-18 Kddi Corp 画面への押圧で撮影が可能な撮影装置、撮影方法及びプログラム
US9582178B2 (en) * 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces
US9383000B2 (en) * 2011-11-11 2016-07-05 Volkswagen Ag Gearshift knob and method for operating a vehicle
US8922507B2 (en) 2011-11-17 2014-12-30 Google Inc. Providing information through tactile feedback
US8600450B2 (en) 2011-12-28 2013-12-03 Sony Corporation Receiving user input on a graphical user interface
GB201200587D0 (en) 2012-01-13 2012-02-29 Hiwave Technologies Uk Ltd Haptic feedback and pressure sensing
WO2013169302A1 (en) * 2012-05-09 2013-11-14 Yknots Industries Llc Varying output for a computing device based on tracking windows
US20140002374A1 (en) * 2012-06-29 2014-01-02 Lenovo (Singapore) Pte. Ltd. Text selection utilizing pressure-sensitive touch
KR101946365B1 (ko) 2012-08-20 2019-02-11 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR20140029834A (ko) * 2012-08-30 2014-03-11 한국전자통신연구원 차량용 햅틱 피드백 장치 및 이를 이용한 방법
US9046925B2 (en) * 2012-09-11 2015-06-02 Dell Products L.P. Method for using the GPU to create haptic friction maps
US9330544B2 (en) 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US20140277614A1 (en) * 2013-03-15 2014-09-18 Caterpillar Inc. Programmable user interface for a machine
US9163718B2 (en) * 2013-04-24 2015-10-20 Ford Global Technologies, Llc Haptic feedback shift knob
KR20160019468A (ko) 2013-06-11 2016-02-19 임머숀 코퍼레이션 압력 기반 햅틱 효과들을 위한 시스템들 및 방법들
US9729730B2 (en) 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
US9251630B2 (en) 2013-12-17 2016-02-02 At&T Intellectual Property I, L.P. Method, computer-readable storage device and apparatus for exchanging vehicle information

Also Published As

Publication number Publication date
EP3008550A1 (en) 2016-04-20
US20190018490A1 (en) 2019-01-17
JP6538657B2 (ja) 2019-07-03
US10488931B2 (en) 2019-11-26
US20140362014A1 (en) 2014-12-11
CN110109534A (zh) 2019-08-09
CN105556423A (zh) 2016-05-04
US9939904B2 (en) 2018-04-10
CN105556423B (zh) 2019-01-15
US20170192510A1 (en) 2017-07-06
WO2014201151A1 (en) 2014-12-18
JP2019194872A (ja) 2019-11-07
EP3144780A1 (en) 2017-03-22
US20180188811A1 (en) 2018-07-05
US9632581B2 (en) 2017-04-25
JP2016521891A (ja) 2016-07-25

Similar Documents

Publication Publication Date Title
US10488931B2 (en) Systems and methods for pressure-based haptic effects
US10248210B2 (en) Systems and methods for haptically-enabled conformed and multifaceted displays
US10496174B2 (en) Systems and methods for surface elements that provide electrostatic haptic effects
US10444829B2 (en) Systems and methods for viewport-based augmented reality haptic effects
EP2889717B1 (en) Systems and methods for a haptically-enabled projected user interface
US9535550B2 (en) Systems and methods for deformation-based haptic effects
US9696806B2 (en) Systems and methods for multi-output electrostatic haptic effects
KR20180044877A (ko) 압력-기반 햅틱들

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application