KR20140064647A - 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 시스템 및 방법 - Google Patents

햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20140064647A
KR20140064647A KR20130139259A KR20130139259A KR20140064647A KR 20140064647 A KR20140064647 A KR 20140064647A KR 20130139259 A KR20130139259 A KR 20130139259A KR 20130139259 A KR20130139259 A KR 20130139259A KR 20140064647 A KR20140064647 A KR 20140064647A
Authority
KR
South Korea
Prior art keywords
haptic
haptic effect
user
virtual
touch
Prior art date
Application number
KR20130139259A
Other languages
English (en)
Inventor
빈센트 레베스크
후안 마누엘 크루즈-헤르난데즈
아마야 비 웨들
데이비드 엠 번바움
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20140064647A publication Critical patent/KR20140064647A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G06F1/1692—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes the I/O peripheral being a secondary touch screen used as control interface, e.g. virtual buttons or sliders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N—ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N30/00—Piezoelectric or electrostrictive devices
    • H10N30/20—Piezoelectric or electrostrictive devices with electrical input and mechanical output, e.g. functioning as actuators or vibrators

Abstract

본 개시의 시스템은, 터치 표면과의 사용자 상호작용을 검출하고 사용자 상호작용과 연관된 센서 신호를 전송하도록 구성된 센서; 센서와 통신하는 프로세서로서, 센서 신호에 기초하여 사용자 상호작용의 위치를 결정하고, 사용자 상호작용의 위치와 연관된 피쳐(feature)를 결정하며, 피쳐와 연관된 장치를 제어하고, 부분적으로 사용자 상호작용에 기초하여 디스플레이 신호를 수정하며, 적어도 부분적으로 사용자 상호작용 및 위치에 기초하여 생성하려는 햅틱 효과 ―햅틱 효과는 상기 피쳐를 시뮬레이트하도록 선택됨― 를 선택하고, 햅틱 효과를 생성하기 위해 햅틱 신호를 전송하도록 구성된, 상기 프로세서; 및 프로세서와 통신하고 터치 표면에 결합되며, 햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성된 햅틱 출력 장치를 포함할 수 있다.

Description

햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 시스템 및 방법{SYSTEM AND METHOD FOR SIMULATED PHYSICAL INTERACTIONS WITH HAPTIC EFFECTS}
관련 출원에 대한 상호참조
본 출원은, 참조에 의해 그 전체를 본 명세서에 포함하는, 2012년 11월 20일 출원된 발명의 명칭이 "Systems and Methods for Providing Mode or State Awareness with Programmable Surface Texture"인 가출원 번호 제61/728,665호; 2012년 11월 20일 출원된 발명의 명칭이 "System and Method for Feedforward and Feedback with Electrostatic Friction"인 가출원 번호 제61/728,661호; 2012년 11월 20일 출원된 발명의 명칭이 "System and Method for Simulated Physical Interactions with Electrostatic Friction"인 가출원 번호 제61/728,727호; 2013년 3월 14일 출원된 발명의 명칭이 "System and Method For Simulated Physical Interactions With Haptic Effects"인 정규 출원 번호 제13/830,087호의 우선권을 주장한다.
터치 지원(touch enabled) 장치는 갈수록 인기를 얻고 있다. 예를 들어, 모바일 및 기타의 장치들은 터치-감응 디스플레이로 구성되어, 사용자가 터치-감응 디스플레이의 부분들을 터치함으로써 입력을 제공할 수 있다. 또 다른 예로서, 디스플레이로부터 분리된 터치 지원 표면이, 트랙패드, 마우스, 또는 기타의 장치와 같이 입력용으로 이용될 수 있다. 또한, 일부 터치 지원 장치는, 햅틱 효과(haptic effects), 예를 들어, 터치-표면 상에서 사용자가 느끼는 마찰 계수를 변화시키는 햅틱 효과를 이용한다. 이러한 유형의 햅틱 효과는 사용자에게 다양한 정보를 제공하는데 이용될 수 있다.
따라서, 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용에 대한 필요성이 존재한다.
본 개시의 실시예들은 터치 영역 내의 하나 이상의 피쳐(feature)들을 시뮬레이트하는 표면-기반의 햅틱 효과를 특징으로 하는 장치를 포함한다. 피쳐들은, 예를 들어, 질감, 마찰 계수에서의 변화, 및/또는 경계, 장애물, 또는 표면과 접촉하는 물체의 이용을 통해 인지될 수 있는 터치 표면에서의 기타의 불연속성의 시뮬레이션을 포함할 수 있다. 표면-기반의 햅틱 효과를 포함하는 장치는 더 사용자 친화적일 수 있고, 더욱 매력적인 사용자 경험을 제공할 수 있다.
한 실시예에서, 본 개시의 시스템은, 터치 표면과의 상호작용을 검출하고 상호작용과 연관된 센서 신호를 전송하도록 구성된 센서; 센서와 통신하는 프로세서로서, 장치 상에서 이용가능한 동작 ―이 동작은 제1 사용자 상호작용과 연관됨―을 결정하고; 이 동작과 연관된 시뮬레이트되는 질감을 결정하며; 시뮬레이트되는 질감과 연관된 햅틱 신호를 출력하고; 제2 사용자 상호작용에 기초하여 상기 동작을 수행할지를 결정하도록 구성된, 상기 프로세서; 및 프로세서와 통신하고 터치 표면에 결합되며, 햅틱 신호를 수신하고 부분적으로 햅틱 신호에 기초하여 터치 표면 상에 햅틱 효과를 출력하도록 구성된 햅틱 출력 장치를 포함할 수 있다.
이 실시예는 본 요지를 제한하거나 그 한계를 정의하기 위한 것이 아니고, 그 이해를 돕기 위한 예를 제공하기 위한 것이다. 실시예들은 상세한 설명에서 논의되며, 추가의 설명이 상세한 설명에서 제공된다. 다양한 실시예들에 의해 제공되는 이점들은, 본 명세서의 검토 및/또는 청구 대상의 하나 이상의 실시예의 실행에 의해 더 이해될 수 있다.
명세서의 나머지 부분에서는 전체적이고 실시를 가능케하는 개시가 더욱 구체적으로 제시된다. 상세한 설명은 이하의 첨부된 도면들을 참조한다.
도 1a는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 예시적 시스템을 도시한다;
도 1b는 도 1a에 도시된 시스템의 한 실시예의 외관도를 도시한다;
도 1c는 도 1a에 도시된 시스템의 또 다른 실시예의 외관도를 나타낸다;
도 2a 및 도2b는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용에 대한 실시예를 나타낸다;
도 3a는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 예시적 시스템을 도시한다;
도 3b는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 예시적 시스템을 도시한다;
도 3c는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 예시적 시스템을 도시한다;
도 4a는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 예시적 시스템을 도시한다;
도 4b는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 예시적 시스템을 도시한다;
도 5는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 시스템도이다;
도 6은 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 방법을 수행하기 위한 단계들의 플로우 차트이다;
도 7은 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 시스템도이다;
도 8은 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 또 다른 시스템도이다;
도 9는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 역시 또 다른 시스템도이다;
도 10a 및 도 10b는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 역시 또 다른 시스템도이다;
도 11a 내지 도 11c는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 역시 또 다른 시스템도이다;
도 12a 및 도 12b는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 역시 또 다른 시스템도이다;
도 13a 및 도 13b는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 역시 또 다른 시스템도이다.
이제 다양한 대안적 실시예들 및 첨부된 도면들을 상세히 참조할 것이다. 각 예는 설명을 위해 제공되는 것이지, 제한으로서 제공되는 것은 아니다. 수정과 변형이 이루어질 수 있다는 것은 당업자에게 명백할 것이다. 예를 들어, 한 실시예의 일부로서 예시되거나 설명되는 피쳐들은 또 다른 실시예에 이용되어 추가의 또 다른 실시예를 생성할 수 있다. 따라서, 본 개시는 수정과 변형들이 첨부된 청구항 및 그 등가물의 범위 내에 드는 것으로 의도한다.
시뮬레이트된 물리적 상호작용에 햅틱 효과(Haptic Effect)를 제공하기 위한 장치의 예.
설계자들은 종종 사용자 경험을 물리적 상호작용으로 레버리징하여 디지털 인터페이스를 이용하기에 더욱 효과적이고 즐겁게 한다. 이것은 일반적으로 물리적 세계와의 상호작용의 일부 양태를 시각적 및/또는 오디오 피드백을 통해 재현함으로써 이루어진다. 이러한 타입의 상호작용은 터치스크린에서 특히 강력할 수 있다. 일부 실시예에서, 터치-감응 시스템에서 시뮬레이트된 물리적 상호작용의 현실감과 유용성을 증가시키기 위해 정전 마찰(ESF; Electrostatic Friction) 피드백이 이용될 수 있다. 예를 들어, 본 개시의 일부 실시예에서, 물리적 상호작용과 연관된 느낌을 부분적으로 재현하도록 현실감 있는 촉각 피드백을 출력하기 위해 ESF 또는 액추에이터가 이용될 수 있다. 또한, 일부 실시예에서, ESF 또는 액추에이터를 이용하여 추상적인 촉각 피드백도 역시 가능하다.
본 개시의 한 예시적 실시예는 스마트폰, 태블릿, 또는 휴대 음악 장치와 같은 컴퓨팅 시스템을 포함한다. 컴퓨팅 시스템은, 가속도계와 같은 하나 이상의 센서 뿐만 아니라, 이 예에서는 장치의 스크린에 대응하는 디스플레이 영역에 관한 터치의 위치를 결정하기 위한 센서(예를 들어, 광학식, 저항식, 또는 용량식)를 포함하고/하거나 이들과 통신할 수 있다.
사용자가 장치와 상호작용할 때, 하나 이상의 햅틱 출력 장치, 예를 들어, 액추에이터가 촉각 효과를 제공하기 위해 이용된다. 예를 들어, 햅틱 효과는 사용자가 장치의 표면을 가로질러 자신의 손가락을 이동시킬 때 사용자에 의해 인지되는 마찰 계수를 변화시키도록 구성될 수 있다. 하나의 이러한 실시예에서, 사용자의 손가락이 표면을 가로질러 이동할 때, 사용자가 느끼는 마찰 계수를 변화시키도록 진동, 전기장, 또는 기타의 효과가 출력될 수 있다. 마찰이 어떻게 변하는지에 따라, 사용자는, 표면 마찰이 변경되지 않았을 경우라면 동일하게(또는 전혀) 느끼지 않았을, 터치 표면 상의 피쳐(feature)를 인지할 수 있다. 특정한 예로서, 마찰은, 사용자가, 피쳐, 예를 들어, 가상 버턴, 슬라이더, 놉(knob), 또는 기타의 인터페이스와 같은 온-스크린 위젯(widget)의 가장자리에 대응하는 범프, 경계, 또는 기타의 장애물을 인지하도록 변할 수 있다. 일부 실시예에서, 이 위젯은 위젯과 연관된 시스템을 제어하도록 구성될 수 있다. 예를 들어, 한 실시예에서, 위젯은 온도를 제어하도록 구성된 가상 놉을 포함할 수 있다. 따라서, 가상 놉과 상호작용함으로써, 사용자는 온도 설정을 조절할 수 있다.
다른 실시예에서, 전술된 유형의 햅틱 효과가 출력되어 많은 잠재적 효과들 중 하나를 시뮬레이트할 수 있다. 예를 들어, 한 실시예에서, 장치는 가상 데스크탑을 디스플레이할 수 있다. 이러한 실시예에서, 사용자가 가상 데스크탑의 다양한 피쳐들과 상호작용할 때, 사용자는 데스크탑 상의 항목들과 연관된 효과를 느낄 수 있다. 예를 들어, 이러한 실시예에서, 사용자가 가상 데스크탑 상의 종이 더미와 상호작용할 때, 사용자는 질감 또는 마찰에서의 변화와 같은 햅틱 효과를 느낄 수 있다. 예를 들어, 하나의 이러한 실시예에서, 사용자가 가상 종이 더미와 상호작용할 때, 장치는 종이들이 서로 문질러질 때 사용자가 느끼는 마찰을 증가시키는 햅틱 효과를 출력할 수 있다. 마찬가지로, 이러한 실시예에서, 디스플레이는 햅틱 효과에 대응하는 시각적 효과를 나타낼 수 있다, 예를 들어, 디스플레이는 사용자가 종이와 상호작용할 때 종이 더미가 움직이는 것을 나타낼 수 있다. 추가의 실시예에서, 사용자가 종이 더미를 밀 때, 장치는 종이 더미가 떨어지는 것과 연관된 햅틱 효과를 출력할 수 있다. 마찬가지로, 이러한 실시예에서, 디스플레이는 종이 더미가 떨어지는 것과 연관된 화상을 나타낼 수 있다.
전술된 유형의 햅틱 효과는 추가의 실시예들에서도 역시 이용될 수 있다. 예를 들어, 하나의 실시예에서, 사용자는 장치에서 비디오 게임을 플레이하고 있을 수 있다. 이러한 실시예에서, 장치는 사용자가 취하는 동작과 연관된 햅틱 효과를 출력할 수 있다. 예를 들어, 하나의 이러한 실시예에서, 사용자는 비디오 게임 내의 캐릭터를 스크린을 가로질러 이동시킬 수 있다. 이러한 실시예에서, 장치는 게임 내의 캐릭터가 지나쳐 갈 수도 있는 질감(texture)에서의 변화를 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 마찬가지로, 이러한 실시예에서, 장치는, 사용자가 캐릭터의 가상 세계에서 캐릭터를 상이한 표면들을 가로질러 이동시킬 때 사용자가 느끼는 마찰을 변화시킬 수 있다. 예를 들어, 한 실시예에서, 사용자가 캐릭터를 거친 표면 위로 이동시킬 때, 장치는, 사용자가 디스플레이의 표면을 가로질러 자신의 손가락을 이동시킬 때 사용자가 느끼는 마찰 계수를 증가시키도록 구성된 햅틱 효과를 출력할 수 있다. 또 다른 실시예에서, 사용자는 가상의 새총(slingshot)과 연관된 게임을 플레이할 수도 있다. 이러한 실시예에서, 사용자가 가상 새총을 당길 때, 장치는 증가된 장력을 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 하나의 이러한 실시예에서, 이 햅틱 효과는 사용자가 스크린의 표면을 가로질러 자신의 손가락을 이동시켜 새총을 잡아당길 때 사용자가 느끼는 마찰 계수를 증가시키도록 구성된 효과를 포함할 수 있다.
또한, 일부 실시예에서, 장치는 제스쳐가 이용가능하다는 확인을 사용자에게 제공하기 위해, 마찰 계수를 변화시키거나, 질감을 시뮬레이트하도록 구성된 효과를 출력할 수도 있다. 예를 들어, 사용자가 터치 스크린의 표면을 가로질러 손가락을 이동시킬 때 사용자는 터치 스크린의 표면 상에서 버턴, 슬라이더, 또는 기타의 입력 장치 위를 지나갈 수 있다. 사용자의 손가락이 이러한 입력 장치 위를 지나갈 때, 장치는 마찰 계수를 변화시키거나 질감을 시뮬레이트하여 사용자가 자신의 손가락이 입력 장치 위를 지났음을 알게 하도록 구성된 햅틱 효과를 출력할 수 있다. 예를 들어, 한 실시예에서, 사용자의 손가락이 버턴의 상부(top) 위로 지나갈 때, 장치는 사용자가 자신의 손가락이 버턴 위를 지났다는 것을 알게 하기 위해 마찰 계수를 증가시키도록 구성된 햅틱 효과를 출력할 수 있다.
또한, 일부 실시예에서, 장치는, 시뮬레이트되는 입력 장치(예를 들어, 터치 스크린 디스플레이 상의 버턴, 스위치, 슬라이더, 또는 기타의 입력 장치)를 제어하기 위해 상이한 유형의 상호작용들이 이용될 수 있다는 확인을 사용자에게 제공하기 위해, 마찰 계수를 증가시키거나, 질감을 시뮬레이트하도록 구성된 효과를 출력할 수도 있다. 예를 들어, 한 실시예에서, 사용자가 터치 스크린의 표면을 가로질러 자신의 손가락을 이동시킬 때, 사용자는 전술된 바와 같이 버턴을 느낄 수 있다. 또한, 장치는 소정의 동작이 이용가능하다는 것을 식별하도록 구성된 햅틱 효과를 출력할 수도 있다. 예를 들어, 한 실시예에서, 장치는 버턴으로부터 손가락을 들어 올리는 것이 버턴을 작동할 것임을 나타내는 질감을 출력할 수도 있다. 또 다른 실시예에서, 사용자가 터치 스크린의 표면을 가로질러 손가락을 이동시킬 때 사용자는 슬라이더의 가장자리를 느낀다. 이러한 실시예에서, 사용자가 슬라이더 위로 손가락을 이동시킬 때, 장치는 슬라이더가 쓸어올림(swiping)에 의해 작동될 수 있다는 것을 나타내기 위해 인지되는 마찰 계수를 변화시키도록 구성되거나 질감을 시뮬레이트하는 효과를 출력할 수도 있다. 역시 또 다른 실시예에서, 햅틱 효과는 소정의 상호작용이 이용가능하지 않다는 것을 식별하는데 이용될 수 있다. 예를 들어, 한 실시예에서, 사용자가 현재 활성이지 않은 버턴과 연관된 터치 스크린의 구획 위로 자신의 손가락을 이동시킬 때, 장치는 그 버턴이 현재 활성이지 않다는 것을 사용자가 알게 하는 햅틱 효과(예를 들어, 무딘 질감을 시뮬레이트하도록 구성된 효과)를 출력할 수도 있다.
마찬가지로, 일부 실시예에서, 터치 스크린 상의 항목은 그 중요도를 식별케하는 연관된 햅틱 효과를 가질 수도 있다. 예를 들어, 한 실시예에서, 버턴과 같은 가상 입력 장치는 다른 가상 입력 장치보다 더 중요한 동작을 가질 수 있다. 예를 들어, 한 실시예에서, 버턴은 장치를 오프하거나 장치를 "에어플레인 모드(airplane mode)"에 두는 것과 연관될 수 있다. 다른 실시예에서, 장치는 중요도의 다른 표시자를 이용할 수도 있다. 예를 들어, 하나의 실시예에서, 사용자는 장치에서 뉴스 애플리케이션을 시청하고 있을 수도 있다. 이러한 실시예에서, 장치는 헤드라인과 연관된 시뮬레이트된 질감이나 변화된 마찰 계수를 적용하도록 구성될 수 있다. 마찬가지로, 사용자가 "높은 중요도"로 마킹된 메시지를 수신하면, 장치는 시뮬레이트되는 질감이나 마찰 계수를 이 메시지와 연관시키도록 구성될 수 있다.
다른 실시예에서, 동작의 확인 또는 모드의 활성화를 제공하기 위해 시뮬레이트된 질감이나 마찰 계수에서의 변화가 이용될 수 있다. 예를 들어, 사용자가 터치 패드 또는 터치 스크린 상에서 다양한 제스쳐를 행할 때, 장치는 제스쳐가 수신되었음을 나타내기 위해 마찰 계수를 변환시키거나 질감을 시뮬레이트할 수 있다. 예를 들어, 한 실시예에서, 시뮬레이트된 질감이나 마찰 계수에서의 변화는 줌(zoom)을 위한 핀치 제스쳐(pinch to zoom gesture)와 연관될 수 있다. 이러한 실시예에서, 장치가 줌을 위한 핀치 제스쳐를 검출하면, 장치는 제스쳐가 수신되었다는 것을 확인시키기(confirm) 위해 질감이나 마찰 계수에서의 변화를 시뮬레이트하도록 구성된 효과를 출력할 수 있다. 또 다른 실시예에서, 홈 스크린으로 복귀하는 4손가락 제스쳐의 수신을 확인시키기 위해 시뮬레이트된 질감이나 마찰 계수에서의 변화가 출력될 수도 있다. 역시 또 다른 실시예에서, 시뮬레이트된 질감이나 마찰 계수에서의 변화는 좌/우 또는 상/하 스크롤과 같은 제스쳐와 연관될 수도 있다. 일부 실시예에서, 이것은 사용자가 장치에서 복수의 제스쳐 상호작용을 신속하게 연속하여 이용할 수 있게 할 수 있는데, 이는 시뮬레이트된 질감이나 마찰 계수에서의 변화가 그 상호작용이 수신되었음을 확인시켜 사용자가 즉각 다음 상호작용으로 이동할 수 있기 때문이다.
또한, 일부 실시예에서, 시뮬레이트된 질감이나 마찰 계수에서의 변화는, 특정한 장치 동작, 예를 들어, 음성 메일로의 통화 전송, 텍스트 메시지 전송, 전자메일 전송, 업데이트의 다운로딩, 게임이나 애플리케이션과 연관된 일부 동작, 또는 어떤 다른 동작과 연관될 수 있다. 마찬가지로, 일부 실시예에서, 시뮬레이트된 질감이나 마찰 계수에서의 변화는 장치 제어하에 있는 시스템과 연관될 수도 있다. 예를 들어, 한 실시예에서, 장치는 기온 제어 시스템을 제어하도록 구성될 수 있다. 이러한 실시예에서, 사용자가 사용자 인터페이스에서 위젯과 상호작용할 때, 사용자는, 예를 들어, 온도 설정이나 팬(fan) 설정을 제어할 수 있다. 마찬가지로, 이러한 실시예에서, 사용자가 위젯과 상호작용할 때, 장치는 사용자 입력이 수신되었음을 확인시키거나 시스템이 제어중임을 확인시키기 위해 시뮬레이트된 질감이나 마찰 계수에서의 변화를 출력할 수 있다.
이하에서 더 상세히 논의되는 바와 같이, 표면 상의 질감을 시뮬레이트하거나 마찰 계수를 변화시키는 것은 사용자에게 정보를 제공하도록 임의 개수의 방식으로 이용될 수 있다. 추가로, 터치 표면에서의 피쳐의 존재는, 질감을 시뮬레이트하거나 마찰 계수를 변화시키는 것에 추가하여 또는 이를 대신하여, 효과를 이용하여 시뮬레이트될 수 있다. 마찬가지로, 디스플레이 이외의 장치의 표면 상에서 질감의 느낌을 시뮬레이트하기 위해 햅틱 효과가 출력될 수 있다.
햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 제공하기 위한 예시적 시스템.
도 1a는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 제공하기 위한 예시적 시스템(100)을 도시한다. 이 예에서, 시스템(100)은 버스(106)를 통해 다른 하드웨어와 인터페이싱된 프로세서(102)를 갖는 컴퓨팅 장치(101)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적절한 유형의 (및 비-일시적인) 컴퓨터-판독가능한 매체를 포함할 수 있는 메모리(104)는 컴퓨팅 장치의 동작을 구성하는 프로그램 컴포넌트들을 구현한다. 이 예에서, 컴퓨팅 장치(101)는, 하나 이상의 네트워크 인터페이스 장치(110), 입력/출력(I/O) 인터페이스 컴포넌트(112), 추가의 스토리지(114)를 더 포함한다.
네트워크 장치(110)는 네트워크 접속을 가능하게 하는 임의의 컴포넌트들 중 하나 이상을 나타낼 수 있다. 예로서는, Ethernet, USB, IEEE 1394와 같은 유선 인터페이스, 및/또는 IEEE 802.11, Bluetooth와 같은 무선 인터페이스, 또는 셀룰러 전화망에 액세스하기 위한 라디오(radio) 인터페이스(예를 들어, CDMA, GSM, UMTS, 또는 기타의 모바일 통신망에 액세스하기 위한 트랜시버/안테나)가 포함되지만, 이것으로 제한되는 것은 아니다.
I/O 컴포넌트(112)는 하나 이상의 디스플레이, 키보드, 마우스, 스피커, 마이크로폰, 및/또는 데이터를 입력 또는 출력하는데 이용되는 기타의 하드웨어와 같은 장치들로의 접속을 가능케하는데 이용될 수 있다. 스토리지(114)는, 장치(101)에 포함된 자기식, 광학식, 또는 기타의 스토리지 매체와 같은 비휘발성 스토리지를 나타낸다.
시스템(100)은, 이 예에서는 장치(101)에 통합된 터치 표면(116)을 더 포함한다. 터치 표면(116)은 사용자의 촉각 입력을 감지하도록 구성된 임의의 표면을 나타낸다. 하나 이상의 센서(108)는, 물체가 터치 표면에 접속할 때 터치 영역에서의 터치를 감지하고 프로세서(102)가 사용할 적절한 데이터를 제공하도록 구성된다. 센서들의 임의의 적절한 개수, 유형, 또는 어레이가 이용될 수 있다. 예를 들어, 저항식 및/또는 용량식 센서들이 터치 표면(116)에 임베딩되어, 터치의 위치 및 압력과 같은 기타의 정보를 결정하는데 이용될 수 있다. 또 다른 예로서, 터치 표면의 뷰(view)를 갖춘 광학적 센서들이 터치 위치를 결정하는데 이용될 수 있다. 일부 실시예에서, 센서(108) 및 터치 표면(116)은 터치-스크린 또는 터치-패드를 포함할 수 있다. 예를 들어, 일부 실시예에서, 터치 표면(116) 및 센서(108)는 디스플레이 신호를 수신하고 사용자에게 화상을 출력하도록 구성된 디스플레이 위에 탑재된 터치-스크린을 포함할 수 있다. 다른 실시예들에서, 센서(108)는 LED 검출기를 포함할 수 있다. 예를 들어, 한 실시예에서, 터치 표면(116)은 디스플레이의 측면에 탑재된 LED 손가락 검출기를 포함할 수 있다. 일부 실시예에서, 프로세서는 하나의 센서(108)와 통신하고, 다른 실시예에서는, 프로세서는 복수의 센서(108), 예를 들어, 제1 터치 스크린 및 제2 터치 스크린과 통신한다. 센서(108)는 사용자 상호작용을 검출하고, 사용자 상호작용에 기초하여, 신호를 프로세서(102)에 전송하도록 구성된다. 일부 실시예에서, 센서(108)는 사용자 상호작용의 여러 양태를 검출하도록 구성될 수 있다. 예를 들어, 센서(108)는 사용자 상호작용의 속도 및 압력을 검출하고, 이 정보를 인터페이스 신호 내에 병합한다.
이 예에서, 프로세서(102)와 통신하는 햅틱 출력 장치(118)는 터치 표면(116)에 결합되어 있다. 일부 실시예에서, 햅틱 출력 장치(118)는 햅틱 신호에 응답하여 터치 표면 상에서 질감을 시뮬레이트하는 햅틱 효과를 출력하도록 구성된다. 추가적으로 또는 대안으로서, 햅틱 출력 장치(118)는 제어된 방식으로 터치 표면을 이동시키는 진동촉각 햅틱 효과(vibrotactile haptic effect)를 제공할 수 있다. 일부 햅틱 효과는 장치의 하우징에 결합된 액추에이터를 이용할 수 있고, 일부 햅틱 효과는 복수의 액추에이터를 순서대로 및/또는 일제히 이용할 수 있다. 예를 들어, 일부 실시예에서, 표면을 상이한 주파수들에서 진동시킴으로써 표면 질감이 시뮬레이트되거나 인지되는 마찰 계수가 변화(예를 들어, 줄어들거나 증가)될 수 있다. 이러한 실시예에서, 햅틱 출력 장치(118)는, 예를 들어, 압전 액추에이터, 전기 모터, 전기-자기 액추에이터, 음성 코일, 형상 기억 합금, 전기-활성 폴리머, 솔레노이드, 편심 회전 질량 모터(ERM; eccentric rotating mass motor), 또는 선형 공진 액추에이터(LRA; linear resonant actuator) 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 햅틱 출력 장치(118)는 복수의 액추에이터, 예를 들어, ERM 및 LRA를 포함할 수 있다.
여기서는 하나의 햅틱 출력 장치(118)가 도시되어 있지만, 실시예는 터치 표면 상의 표면 질감을 시뮬레이트하기 위해 동일하거나 상이한 유형의 복수의 햅틱 출력 장치를 이용할 수 있다. 예를 들어, 일부 실시예에서 20 kHz보다 큰 주파수에서 움직이는 액추에이터를 이용하는 것과 같이, 한 실시예에서는, 터치 표면(116)의 일부 또는 전부를 초음파 주파수에서 수직으로 및/또는 수평으로 변위시키기 위해 압전 액추에이터가 이용될 수 있다. 일부 실시예에서, 편심 회전 질량 모터 및 선형 공진 액추에이터와 같은 복수의 액추에이터들이 상이한 질감 및 기타의 햅틱 효과를 제공하기 위해 단독으로 또는 일제히 이용될 수 있다.
역시 또 다른 실시예에서, 햅틱 출력 장치(118)는, 터치 표면(116)을 가로질러 자신의 손가락을 이동시킬 때 터치 표면(116)의 표면 상에서 질감을 시뮬레이트하기 위해 또는 사용자가 느끼는 마찰 계수를 변화시키기 위해, 정전 인력, 예를 들어, 정전 표면 액추에이터를 이용할 수 있다. 예를 들어, 한 실시예에서, 햅틱 출력 장치(118)는 햅틱 효과를 생성하기 위해 전기진동촉각(electrovibrotactile) 디스플레이 또는 기계적 움직임 대신에 전압 및 전류를 인가하는 기타 임의의 장치를 포함할 수 있다. 이러한 실시예에서, 정전 액추에이터는 도전층과 절연층을 포함할 수 있다. 이러한 실시예에서, 도전층은 임의의 반도체, 또는 구리, 알루미늄, 금, 또는 은과 같은 기타의 도전성 재료일 수 있다. 그리고, 절연층은 유리, 플라스틱, 폴리머, 또는 기타 임의의 절연 재료일 수 있다. 또한, 프로세서(102)는 도전층에 전기 신호를 인가함으로써 정전 액추에이터를 작동시킬 수 있다. 전기 신호는, 일부 실시예에서는 도전층을 터치 표면(116) 부근의 물체 또는 터치 표면(116)에 터칭하는 물체와 용량적으로 결합하는 AC 신호일 수 있다. 일부 실시예에서, AC 신호는 고전압 증폭기에 의해 생성될 수 있다. 다른 실시예에서, 용량성 결합은 터치 표면(116) 상에서 마찰 계수 또는 질감을 시뮬레이트할 수 있다. 예를 들어, 한 실시예에서, 터치 표면(116)의 표면은 평활(smooth)할 수 있지만, 용량성 결합은 터치 표면(116)에 근접한 물체와의 사이에 인력을 생성할 수 있다. 일부 실시예에서, 물체와 도전층 사이의 인력의 레벨을 변화시키는 것은 터치 표면(116)의 표면을 가로질러 이동하는 물체에 관한 시뮬레이트된 질감을 변화시킬 수 있다. 또한, 일부 실시예에서, 정전 액추에이터는, 터치 표면(116)의 표면 상에서 시뮬레이트되는 질감을 변화시키기 위해 전통적인 액추에이터와 연계하여 이용될 수 있다. 예를 들어, 액추에이터는 터치 표면(116)의 표면의 질감에서의 변화를 시뮬레이트하도록 진동할 수 있고, 동시에; 정전 액추에이터는 터치 표면(116)의 표면 상에서 상이한 질감을 시뮬레이트할 수 있다.
당업자라면, 마찰 계수를 변화시키는 것 외에도, 표면 상에서 질감을 시뮬레이트하기 위해 다른 기술 또는 방법들이 이용될 수 있다는 것을 이해할 것이다. 예를 들어, 일부 실시예에서, 질감은, (예를 들어, 섬유, 나노튜브, 전기 활성 폴리머, 압전 소자, 또는 형상 기억 합금을 포함하지만, 이것으로 제한되지 않는) 표면 재구성가능한 햅틱 기판(surface reconfigurable haptic substrate) 또는 자기유변학적 유체(magnetorheological fluid)로부터의 접촉에 기초하여 그 질감을 변화시키도록 구성된 가요성 표면층을 이용하여 시뮬레이트 또는 출력될 수 있다. 또 다른 실시예에서, 표면 질감은, 예를 들어, 변형 메커니즘, 공기 또는 액체 포켓, 재료의 국지적 변형, 공진 기계 요소, 압전 재료, 미세-전자기계 시스템("MEMS") 요소, 열 유체 포켓, MEMS 펌프, 가변 다공성 멤브레인, 또는 층류 변조(laminar flow modulation)를 이용하여, 하나 이상의 표면 피쳐를 높이거나 낮춤으로써 변화될 수 있다.
일부 실시예에서, 터치 표면(116) 부근의 신체 또는 물체의 일부를 자극함으로써 햅틱 효과를 생성하기 위해 정전 액추에이터가 이용될 수 있다. 예를 들어, 일부 실시예에서, 정전 액추에이터는, 사용자 손가락의 피부 내의 신경 말단, 또는 정전 액추에이터에 응답할 수 있는 스타일러스 내의 컴포넌트를 자극할 수 있다. 피부 내의 신경 말단은, 예를 들어, 자극되어 정전 액추에이터(예를 들어, 용량성 결합)를 진동이나 어떤 다른 특정한 감각으로서 감지할 수 있다. 예를 들어, 한 실시예에서, 정전 액추에이터의 도전층은 사용자 손가락의 도전부와 결합하는 AC 전압 신호를 수신할 수 있다. 사용자가 터치 표면(116)을 터치하여 그 손가락을 터치 표면 상에서 이동시킬 때, 사용자는, 따끔거림(prickliness), 오돌토돌함(graininess), 울퉁불퉁함(bumpiness), 거칠기(roughness), 끈적거림(stickiness), 또는 어떤 다른 질감을 느낄 수 있다.
메모리(104)로 돌아가면, 일부 실시예에서 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 제공하도록 장치가 어떻게 구성될 수 있는지를 나타내기 위해 예시적 프로그램 컴포넌트(124, 126 및 128)가 도시되어 있다. 이 예에서, 검출 모듈(124)은 센서(108)를 통해 터치 표면(116)을 모니터링하여 터치의 위치를 결정하도록 프로세서(102)를 구성한다. 예를 들어, 모듈(124)은 터치의 존재 또는 부재를 추적하고, 터치가 존재한다면, 시간 경과에 따라 터치의 위치, 경로, 속도, 가속도, 압력 및/또는 기타의 특성 중 하나 이상을 추적하기 위하여 센서(108)를 샘플링할 수 있다.
햅틱 효과 결정 모듈(126)은, 생성할 햅틱 효과를 선택하기 위해 터치 특성에 관한 데이터를 분석하는 프로그램 컴포넌트를 나타낸다. 특히, 모듈(126)은, 터치의 위치에 기초하여, 터치 표면의 표면에 출력할 햅틱 효과를 결정하는 코드와, 효과를 시뮬레이트하기 위하여 제공할 하나 이상의 햅틱 효과를 선택하는 코드를 포함할 수 있다. 예를 들어, 터치 표면(116)의 영역의 일부 또는 전부가 그래픽 사용자 인터페이스에 맵핑될 수 있다. 인터페이스에서 피쳐의 대응하는 표현을 볼 수 있을 때 그 피쳐가 느껴지도록 터치 표면(116)의 표면 상에서 질감을 시뮬레이트함으로써 피쳐의 존재를 시뮬레이트하기 위하여 터치의 위치에 기초하여 상이한 햅틱 효과들이 선택될 수 있다. 그러나, 햅틱 효과는 대응하는 요소가 인터페이스에서 디스플레이되지 않더라도 터치 표면(116)을 통해 제공될 수 있다(예를 들어, 햅틱 효과는, 인터페이스의 경계가 교차되거나, 심지어 경계가 디스플레이되지 않더라도 제공될 수 있다).
햅틱 효과 생성 모듈(128)은, 적어도 터치가 발생 중일 때 선택된 햅틱 효과를 생성하기 위해 프로세서(102)로 하여금 햅틱 신호를 생성하여 액추에이터(118)에 전송하게 하는 프로그래밍을 나타낸다. 예를 들어, 생성 모듈(128)은 햅틱 출력 장치(118)에 전송할 저장된 파형 또는 명령에 액세스할 수 있다. 또 다른 예로서, 햅틱 효과 생성 모듈(128)은 원하는 유형의 질감을 수신하고 햅틱 출력 장치(118)에 전송할 적절한 신호를 생성하는 신호 처리 알고리즘을 이용할 수 있다. 추가의 예로서, 하나 이상의 액추에이터에 전송되는 질감에 대한 타겟 좌표 및 적절한 파형과 함께 원하는 질감이 표시되어 질감을 제공하도록 표면(및/또는 기타의 장치 컴포넌트)의 적절한 변위를 생성할 수 있다. 일부 실시예는 피쳐를 시뮬레이트하기 위해 복수의 햅틱 출력 장치를 일제히 이용할 수 있다. 예를 들어, 진동촉각 효과가 버턴이 눌러질 때의 반응을 시뮬레이트하면서 인터페이스 상의 버턴간 경계 교차를 시뮬레이트하기 위해 질감에서의 변화가 이용될 수 있다.
터치 표면은, 컴퓨팅 시스템의 특정 구성에 따라, 디스플레이를 오버레이하거나 오버레이하지 않을 수 있다(또는 기타의 방식으로 디스플레이에 대응할 수 있다). 도 1b에서, 컴퓨팅 시스템(100b)의 외부 조망이 도시되어 있다. 컴퓨팅 장치(101)는 장치의 터치 표면과 디스플레이를 결합하는 터치 지원 디스플레이(116)를 포함한다. 터치 표면은 디스플레이 외부 또는 실제의 디스플레이 컴포넌트들 위의 하나 이상의 재료층에 대응할 수 있다.
도 1c는 터치 표면이 디스플레이를 오버레이하지 않는 터치 지원 컴퓨팅 시스템(100C)의 또 다른 예를 나타낸다. 이 예에서, 컴퓨팅 장치(101)는 장치(101)에 인터페이싱된 컴퓨팅 시스템(120)에 포함되는 디스플레이(122)에 제공된 그래픽 사용자 인터페이스에 맵핑될 수 있는 터치 표면(116)을 포함한다. 예를 들어, 컴퓨팅 장치(101)는, 마우스, 트랙패드, 또는 기타의 장치를 포함할 수 있고, 컴퓨팅 시스템(120)은 데스크탑 또는 랩탑 컴퓨터, 셋탑 박스(예를 들어, DVD 플레이어, DVR, 케이블 텔레비전 박스), 또는 다른 컴퓨팅 시스템을 포함할 수 있다. 또 다른 예로서, 터치 표면(116)과 디스플레이(122)는, 디스플레이(122)를 포함하는 랩탑 컴퓨터의 터치 지원 트랙패드와 같은 동일한 장치에 배치될 수도 있다. 디스플레이와 통합되거나 그 외의 경우, 여기 예에서의 평면형 터치 표면의 묘사는 제한적인 것을 의미하는 것은 아니다. 다른 실시예는, 표면-기반의 햅틱 효과를 제공하도록 추가로 구성된 만곡형 또는 불규칙한 터치 지원 표면을 포함한다.
도 2a 및 도2b는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 시스템 및 방법의 예시의 실시예를 나타낸다. 도 2a는 터치 지원 디스플레이(202)를 포함하는 컴퓨팅 장치(201)를 포함하는 시스템(200)의 외관도를 나타내는 도면이다. 도 2b는 장치(201)의 단면도를 도시한다. 장치(201)는 도 1a의 장치(101)와 유사하게 구성될 수 있지만, 프로세서, 메모리, 센서 등과 같은 컴포넌트들은 명료성을 위해 이 도면에서는 도시되지 않았다.
도 2b에서 알 수 있는 바와 같이, 장치(201)는 복수의 햅틱 출력 장치(218)와 추가의 햅틱 출력 장치(222)를 포함한다. 햅틱 출력 장치(218-1)는 디스플레이(202)에 수직력을 부여하도록 구성된 액추에이터를 포함하는 반면, 햅틱 출력 장치(218-2)는 디스플레이(202)를 측방향으로 움직일 수 있다. 이 예에서, 햅틱 출력 장치(218, 222)는 디스플레이에 직접 결합되지만, 햅틱 출력 장치(218, 222)는 디스플레이(202)의 상부의 재료층과 같은 또 다른 터치 표면에 결합될 수 있다는 것을 이해하여야 한다. 또한, 하나 이상의 햅틱 출력 장치(218 또는 222)는 전술된 바와 같이 정전 액추에이터를 포함할 수 있다는 것을 이해하여야 한다. 또한, 햅틱 출력 장치(222)는 장치(201)의 컴포넌트들을 포함하는 하우징에 결합될 수도 있다. 도 2a 및 도 2b의 예에서, 디스플레이(202)의 영역은 터치 영역에 대응하지만, 이 원리는 디스플레이와 완전히 분리된 터치 표면에 적용될 수 있다.
한 실시예에서, 햅틱 출력 장치(218) 각각은 압전 액추에이터를 포함하는 반면, 추가의 햅틱 출력 장치(222)는 편심 회전 질량 모터, 선형 공진 액추에이터, 또는 다른 압전 액추에이터를 포함한다. 햅틱 출력 장치(222)는 프로세서로부터의 햅틱 신호에 응답하여 진동촉각 햅틱 효과를 제공하도록 구성될 수 있다. 진동촉각 햅틱 효과는 표면-기반의 햅틱 효과와 연계하여 및/또는 기타의 목적에 이용될 수 있다. 예를 들어, 각각의 액추에이터는 디스플레이(202)의 표면 상에서 질감을 시뮬레이트하기 위해 함께 이용될 수도 있다.
일부 실시예에서, 햅틱 출력 장치(218-1 및 218-2) 중 어느 하나 또는 양쪽 모두는 압전 액추에이터 이외의 액추에이터를 포함할 수 있다. 예를 들어, 햅틱 출력 장치(218-1 및 218-2)는, 예를 들어, 압전 액추에이터, 전자기 액추에이터, 전기 활성 폴리머, 형상 기억 합금, 가요성 복합 압전 액추에이터(예를 들어, 가요성 소재를 포함하는 액추에이터), 정전식 및/또는 자왜식(magnetostrictive) 액추에이터를 포함할 수 있다. 추가로, 햅틱 출력 장치(222)가 도시되어 있지만, 복수의 다른 햅틱 출력 장치가 장치(201)의 하우징에 결합될 수 있고/있거나 햅틱 출력 장치(222)들이 다른 곳에 결합될 수도 있다. 장치(201)는 또한 상이한 위치에서 터치 표면에 결합된 햅틱 출력 장치(218-1/218-2)를 특징으로 할 수 있다.
도 3a를 참조하면, 시스템(300)은 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용의 예시이다. 도 3a는 터치 지원 디스플레이(302)를 포함하는 컴퓨팅 장치(301)를 포함하는 시스템(300)의 외관도를 나타내는 도면이다. 한 실시예에서, 컴퓨팅 장치(301)는 다기능 제어기를 포함할 수 있다. 예를 들어, 키오스크, ATM, 자동차, 비행기, 제어기, 온도 조절 장치, 또는 기타 유형의 컴퓨팅 장치에서 사용하기 위한 제어기일 수 있다. 또 다른 실시예에서, 컴퓨팅 장치는 스마트폰, 태블릿, 또는 기타 유형의 컴퓨터를 포함할 수 있다. 한 실시예에서, 컴퓨팅 장치(301)는 음악 재생기를 제어하도록 구성될 수 있다. 이러한 실시예에서, 컴퓨팅 장치(301)는 디스플레이(302) 상에 하나 이상의 가상 제어기를 포함할 수 있다. 이들 제어기들은 음악 재생기의 기능과 연관될 수 있으므로, 사용자는 음악 재생기의 기능을 제어하기 위해 제어기들과 상호작용할 수 있다. 예를 들어, 도 3a에 도시된 실시예에서, 컴퓨팅 장치(301)는, 도 3a에서 제어기(304) 및 제어기(306)로 도시된 바와 같은, 하나 이상의 위젯 또는 가상 인터페이스를 포함한다. 이러한 실시예에서, 제어기(304)는 음악 재생기의 설정을 제어하도록 구성된 놉, 예를 들어, 라디오 방송국을 선택하거나, 새로운 노래를 선택하거나, 음량을 조절하기 위한 놉의 화상을 포함할 수 있다. 마찬가지로, 제어기(306)는 음악 재생기의 또 다른 피쳐를 조절하도록 구성된 슬라이더의 화상을 포함할 수 있다. 다른 실시예에서, 컴퓨팅 장치(301)는 터치 지원 디스플레이의 상에 복수의 다른 가상 제어기를 포함할 수 있고, 가상 제어기들 각각은, 시스템, 예를 들어, 음악 재생기 또는 기타의 시스템의 다른 양태들을 제어하도록 구성된다.
전술된 실시예에서, 컴퓨팅 장치(301)는 음악 재생기 애플리케이션으로부터 카 스테레오로 음악을 출력하는데 이용되거나, 스테레오 그 자체의 컴포넌트일 수 있다. 이러한 실시예에서, 사용자는 음악 재생기 애플리케이션 상의 설정을 조정하기 위하여 도로에서 시선을 떼 놓기를 원하지 않는 운전자일 수 있다. 이러한 실시예에서, 컴퓨팅 장치(301)는, 사용자가 터치 지원 디스플레이(302) 상에 시각적으로 집중하지 않고도 이용가능한 기능을 식별하는 것을 허용하기 위해 햅틱 효과를 구현할 수도 있다. 예를 들어, 한 실시예에서, 장치(301)는 터치 지원 디스플레이(302)의 표면 상에서 질감을 시뮬레이트하기 위해 햅틱 출력 장치를 이용할 수도 있다. 이러한 실시예에서, 햅틱 출력 장치는, 예를 들어, 자갈, 모래, 사포, 펠트, 가죽, 금속, 얼음, 물, 풀, 또는 다른 물체의 질감을 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수도 있다. 이 질감에 기초하여, 사용자는 컴퓨팅 장치(301)가 현재 제어 중인 시스템 또는 장치의 유형을 결정하는 것이 가능할 수 있다. 예를 들어, 한 실시예에서, 사용자는 하나의 질감, 예를 들어, 자갈의 질감이 음악 재생기 컨트롤과 연관되어 있다는 것을 알 수도 있다. 이러한 실시예에서, 사용자가 터치 지원 디스플레이의 표면 상에서 자갈의 질감을 느낄 때, 그 사용자는 컨트롤을 주목할 필요 없이도 컴퓨팅 장치(301)가 현재 음악 재생기의 음량을 제어하는 중임을 알게 된다. 추가의 실시예에서, 사용자는 컴퓨팅 장치(301)가 제어할 수 있는 다양한 모드에 질감을 할당할 수 있다. 따라서, 예를 들어, 사용자는 컴퓨팅 장치(301)가 제어할 수 있는 다양한 기능들과 연관될 특정한 질감을 선택할 수도 있다.
추가의 실시예에서, 컴퓨팅 장치(301)는 사용자가 제어기(304 및 306) 각각을 터치하거나 움직일 때 또 다른 햅틱 효과를 출력할 수도 있다. 예를 들어, 한 실시예에서, 제어기(304)는 놉(304)을 포함할 수도 있다. 이러한 실시예에서, 사용자가 놉(304)과 상호작용할 때, 사용자가 자신이 놉(304)을 터치하고 있는 중임을 알게 하도록 구성된 소정의 햅틱 효과를 느낄 수도 있다. 예를 들어, 한 실시예에서, 놉(304)은 터치 지원 디스플레이(302) 상에서 배경의 질감과는 상이한 질감을 가질 수도 있다. 따라서, 사용자는 터치 지원 디스플레이 위로 자신의 손가락을 이동시킬 수 있고, 자신이 놉(304)을 터치하고 있는 중임을 질감 변화에 의해 알 수 있다. 역시 또 다른 실시예에서, 컴퓨팅 장치(301)는 사용자가 놉(304)을 조정할 때 상이한 질감을 출력할 수도 있다. 예를 들어, 한 실시예에서, 놉(304)은 오디오 출력 시스템의 음량을 제어할 수 있다. 이러한 실시예에서, 컴퓨팅 장치(301)는 사용자가 음량을 조절할 때 터치 지원 디스플레이(302)의 표면 상에서 시뮬레이트되는 질감을 조절할 수 있다. 따라서, 예를 들어, 사용자가 음량을 증가시킬 때, 컴퓨팅 장치(301)는 터치 지원 디스플레이(302)의 표면 상에서 더욱 거칠어지는 질감을 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수도 있다. 일부 실시예에서, 이러한 햅틱 효과는 컴퓨팅 장치(301)가 사용자 입력을 수신했다는 확인으로서 역할할 수 있다.
마찬가지로, 일부 실시예에서, 토글 스위치를 시뮬레이트하기 위해 전술된 유형의 햅틱 효과가 이용될 수 있다. 예를 들어, 한 실시예에서, 제어기(306)는 슬라이더가 아니라 토글 스위치를 포함할 수도 있다. 이러한 실시예에서, 토글 스위치는, 손가락이 터치 지원 디스플레이(302)에 맞대어 슬라이딩될 때 2개의 상태들 사이에서 스위칭할 수 있다. 일부 실시예에서, 예를 들어, 상태 천이 동안에 정전 피드백의 펄스를 출력함으로써 상태 천이와 연관된 햅틱 효과가 출력될 수 있다. 또 다른 실시예에서, 일단 상태가 변하면 갑작스럽게 떨어지는 증가된 강도의 질감을 시뮬레이트하도록 구성된 햅틱 효과를 출력함으로써 스위치의 점진적 록킹(rocking)이 시뮬레이트될 수 있다.
일부 실시예에서, 토글 스위치가 터치 지원 디스플레이(302)에서 트랙에 대해 수평으로 슬라이딩하는 버턴으로서 표현될 수 있다. 일부 실시예에서, 이러한 버턴은 다른 위치로 이동하게끔 수평으로 드래그되도록 구성될 수 있다. 일부 실시예에서, 버턴은, 릴리스될 때 가장 가까운 안정 위치(rest position)로 이동하거나 "스냅"하도록 구성될 수 있다. 일부 실시예에서, 버턴은 터치 지원 디스플레이(302)의 영역과 상호작용함으로써, 예를 들어, 버턴과 직접 연관된 영역을 터치하거나, 버턴 주변의 더 큰 영역 내부에서 터치함으로써 포획될 수 있다. 이러한 실시예에서, 그 다음, 버턴은 그 최대 이동거리에 도달할 때까지 손가락의 수평 이동에 대응하는 양만큼 이동할 수 있다. 마찬가지로 슬라이딩 토글은 수직 방향으로 구현될 수 있다.
일부 실시예에서, 토글은, 버턴이 사용자 상호작용에 의해 드래그될 때 촉각적 피드백을 생성한다. 일부 실시예에서, 토글이 슬라이딩할 때 프로세서는 햅틱 출력 장치에 신호를 출력할 수 있고, 이 신호는, 활성일 때 100% 강도에서 50 Hz 사각파와 비활성일 때 50% 강도에서 200 Hz 정현파를 포함한다. 일부 실시예에서, 신호에서의 이러한 차이는 사용자에 의해 질감 차이로서 느껴질 수 있다. 또한, 일부 실시예에서, 이들 신호들은 더 높거나 더 낮은 주파수와, 또 다른 형상의 파형, 예를 들어, 톱니파, 무작위 파, 화이트 노이즈 파(white noise wave), 또는 핑크 노이즈 파(pink noise wave)를 포함할 수도 있다. 일부 실시예에서, 신호는, 위젯이 좌 또는 우로 토글될 때 동작 도중에 변한다. 일부 실시예에서, 이러한 신호 변화는, 위젯이 한 상태(예를 들어, 온)에서 또 다른 상태(예를 들어, 오프)로 이동할 때, 천이 효과와 연관될 수 있다. 일부 실시예에서, 신호는, 일단 위젯이 그 최대 이동거리에 도달하고 나면 디스에이블될 수 있다. 일부 실시예에서, 위젯의 최대 이동거리 위치에서, 컴퓨팅 장치는 충격(impact)과 연관된 효과를 출력할 수도 있다.
일부 실시예에서, 햅틱 효과는 수 개의 방법으로 구현될 수 있다. 예를 들어, 한 실시예에서, 컴퓨팅 장치(301)는 위젯이 그 이동거리 범위의 중간에 도달할 때 짧은 펄스의 ESF를 출력할 수도 있다. 일부 실시예에서, 이것은 위젯이 다른 상태로 토글되었다는 표시로서 역할할 수 있다. 일부 실시예에서, 컴퓨팅 장치(301)는 토글 위치에서 잠시 중단하도록 균일한 일시적인 질감을 출력하도록 구성될 수도 있다.
또한, 일부 실시예에서, 가상 토글 스위치의 시각적 외관은, 예를 들어, 일부 실시예에서, 달라질 수 있다; 가상 토글 스위치는 차량 대쉬보드 및 기타의 인터페이스에서 이용되는 물리적 스위치의 외관과 유사한 외관을 포함할 수 있다. 일부 실시예에서, 컴퓨팅 장치(301)는 스위치의 물리적 모델 및 시각적 외관에 맞춘 햅틱 효과를 출력하도록 구성될 수 있다. 예를 들어, 한 실시예에서, 스위치의 쌍안정(bi-stable) 성질은, 스위치의 움직이는 부분(moving parts)을, 터치 지원 디스플레이(302)를 그 스위치의 위치에서 누르고 있는 손가락보다 느리게 움직이는 것으로 디스플레이함으로써 보강될 수 있다. 이러한 실시예에서, 그러면 스위치는 토글 포인트에 도달할 때 시각적으로 갑작스럽게 따라잡을 수 있다. 또한, 이러한 실시예에서, 햅틱 효과의 강도는 움직이는 부분에 대비한 힘의 느린 증강을 정합하도록 구성될 수 있다.
일부 실시예에서, 2개 상태에서의 토글링을 나타내기 위해 또 다른 햅틱 렌더링이 이용될 수 있다. 이러한 실시예에서, 주기적 구동 신호의 진폭 또는 주파수는 현재의 스위치 상태 또는 슬라이딩 제스쳐의 위치의 함수로서 변조될 수 있다. 또한, 일부 실시예에서, 주기적 구동 신호의 선택된 파라미터(예를 들어, 주파수, 진폭, 펄스 폭, 또는 펄스 형상)는 스위치 또는 슬라이더가 꾸준히 활성화됨에 따라 점진적으로 증가될 수 있다. 한 실시예에서, 선택된 파라미터는, 스위치 또는 슬라이더가 그 토글링 임계치에 도달할 때 그 최대치에 도달할 수 있다. 일부 실시예에서, 그 다음, 파라미터는 임계치가 교차되고 토글이 발생하면 갑작스럽게 더 낮은 값으로 떨어질 수 있다. 또 다른 실시예에서, 파라미터는 스위치 또는 슬라이더 활성화가 계속 증가하면 더 낮은 값에 머물러 있을 수 있다. 일부 실시예에서, 활성화가 과정을 역전시키면, 파라미터는 기울기에 따라 선형적으로 증가하여 스위치나 슬라이더가 역방향으로 임계치에 도달하는 동시에 최대값에 도달한다. 일부 실시예에서, 파라미터는 임계치가 교차될 때 다시 최소값으로 떨어질 수 있다. 또한, 이러한 실시예에서, 제스쳐가 끝날 때까지, 예를 들어, 사용자가 표면으로부터 자신의 손가락을 들어 올릴 때까지, 동일한 프로세스가 반복될 수 있다.
또한, 일부 실시예에서, 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 시스템 및 방법이 용수철 버턴(spring loaded button)을 시뮬레이트하는데 이용될 수 있다. 예를 들어, 한 실시예에서, 도 3a에 도시된 제어기(306)는 가상 용수철 버턴을 포함할 수 있다. 이러한 실시예에서, 가상 용수철 버턴(306)은, 예를 들어, 비디오나 오디오 재생기 애플리케이션에서 빨리감기(fast-forward) 버턴으로서 이용될 수 있다. 또한, 일부 실시예에서, 슬라이딩 토글과 시각적으로 유사하지만, 용수철 버턴(306)은 릴리스될 때 그 안정 위치로 복귀할 수 있어서, 예를 들어, 스프링에 부착된 스위치의 동작을 시뮬레이트한다.
일부 실시예에서, 가상 용수철 버턴(306)은 슬라이딩 버턴을 수직으로 드래깅함으로써 동작된다(일부 실시예에서, 도 3a에는 도시되어 있지 않지만, 가상 용수철 버턴은 또 다른 방향, 예컨데 중심으로부터, 예를 들어, 수평, 대각선, 또는 비선형 방향으로 움직일 수 있다). 일부 실시예에서, 용수철 버턴(306)은, 일단 이동거리 한계에 도달하고 나면 움직임을 정지한다. 일부 실시예에서, 버턴을 맞물리게하면 배경 색상이 드러나고, 버턴의 작동을 암시한다. 또 다른 실시예에서, 스프링형 메커니즘이 대신에 디스플레이되고 애니메이트된다. 일부 실시예에서, 이것은, 예를 들어, 버턴이 맞물릴 때 확장되는 아코디언형 구조, 코일형 스프링 또는 질감이 입혀진 재료의 형태를 취할 수 있다.
일부 실시예에서, 사용자가 용수철 버턴(306)과 상호작용할 때, 촉각 피드백은 스프링과 그 저항의 존재를 시뮬레이트한다. 하나의 이러한 실시예에서, 사용자가 용수철 버턴과 처음 상호작용하여 접촉을 시뮬레이트할 때 50-ms 펄스 신호가 햅틱 출력 장치에 출력될 수 있다. 또한, 이러한 실시예에서, 이 다음에는 햅틱 출력 장치에 대한 100 Hz와 200 Hz 사각파의 가중치부여된 중첩이 후속될 수 있다. 일부 실시예에서, 이것은, 버턴이 맞물릴 때 크기에서 감소하는 저주파 질감과 크기에서 증가하는 고주파 질감을 시뮬레이트할 수 있다. 일부 실시예에서, 이것은 스프링의 확장 동안의 감각을 시뮬레이트할 수 있다. 또한, 일부 실시예에서, 감각은, 가상 용수철 버턴(306)을 움직일 때 사용자가 느끼는 저항 증가로서 해석될 수 있다. 일부 실시예에서, 이 저항은 가상 용수철 버턴(306)을 한 방향으로 움직이는 동안에만, 예를 들어, 도 3a에 도시된 실시예에서 위쪽으로(또는 도 3a에 도시되지 않은 실시예에서, 좌 또는 우로) 버턴을 움직이는 동안에만 생성된다. 이러한 실시예에서, 사용자는 가상 용수철 버턴을 반대 방향으로 움직일 때는, 예를 들어, 도 3a에 도시된 실시예에서는 아래로(또는 도 3a에 도시되지 않은 실시예에서는 좌 또는 우 또는 기타의 방향으로) 움직일 때는, 아무런 효과도 느끼지 못할 수 있다. 또한, 일부 실시예에서, 이 촉각 피드백의 다른 변형이 이용될 수 있다, 예를 들어, 한 실시예에서, 사용자가 가상 용수철 버턴(306)과 상호작용할 때, 사용자는 증가하는 강도의 하나의 일시적 질감을 느낄 수 있다.
다른 실시예에서, 전술된 유형의 효과가 다른 버턴이나 위젯에 적용될 수 있다. 예를 들어, 일부 실시예에서, 제어기(304)는 조그 다이얼(304)을 포함할 수도 있다. 이러한 실시예에서, 조그 다이얼(304)은 용수철 버턴에서 발견되는 저항 뿐만 아니라 보통의 다이얼(예를 들어, 디텐트(detent))에서 발견되는 효과의 조합을 포함할 수 있다. 마찬가지로, 전술된 유형의 효과들이, 예를 들어, 발견을 위한 가장자리 효과 및 질감을 위한 푸시 버턴에 적용될 수 있다. 역시 다른 실시예에서, 전술된 유형의 효과가 헤더 탭(header tab)에 적용될 수 있다. 예를 들어, 동작 모드들간의 변경을 위한 탭(헤더 탭은 도 4b를 참조하여 이하에서 더 상세히 논의된다).
또 다른 실시예에서, 정전 피드백 또는 고주파 진동과 같은 햅틱 피드백은 디텐트 및 정지구(stop) 뿐만 아니라 물리적 슬라이더의 저항을 모사하는데 이용될 수 있다. 마찬가지로, 한 실시예에서, 조이스틱은 중앙집중력(centering force)의 존재를 시뮬레이트하기 위해 햅틱 효과를 이용함으로써 시뮬레이트될 수 있다. 일부 실시예에서, 이 힘은 증가하는 강도에서 진동(oscillate)할 수 있는 햅틱 신호를 출력함으로써 시뮬레이트될 수 있다.
이제 도 3b를 참조하면, 도 3b는 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용의 예시적 시스템을 도시한다. 도 3b는 터치 지원 디스플레이(322)를 포함하는 컴퓨팅 장치(321)를 포함하는 시스템(320)의 외관도를 나타낸다. 도 3b에 도시된 실시예에서, 컴퓨팅 장치(321)는 도 3a에 관하여 설명된 컴퓨팅 장치(301)의 실시예를 포함할 수 있다. 도 3b에 도시된 바와 같이, 시스템(320)은 가상 선형 슬라이더(325)를 포함한다. 가상 선형 슬라이더(325)는 선형 움직임을 통해 연속적 파라미터에 대한 조절을 허용할 수 있다. 일부 실시예에서, 슬라이더는 하나 이상의 장치를 제어하도록 구성될 수 있다. 예를 들어, 일부 실시예에서, 가상 선형 슬라이더(325)는 차량의 환기 시스템으로부터 기류, 오디오 시스템(예를 들어, 음량, 트랙 선택, 트랙 내에서의 위치, 또는 오디오 출력과 연관된 피쳐 등), 또는 비디오 시스템(예를 들어, 비디오 선택, 비디오 내에서의 위치, 재생 속도 등)을 제어하도록 구성될 수 있다.
일부 실시예에서 각 움직임에 응답하는 것 대신에, 선형 슬라이더(325)는 선형 움직임에 응답한다. 이러한 실시예에서, 선형 슬라이더(325)는 그에 따라 이동한 각도 대신에 이동한 거리에 기초하여 동작한다. 일부 실시예에서, 선형 슬라이더(325)는 터치 지원 디스플레이의 미리정의된 영역과 상호작용함으로써 동작될 수 있다. 일부 실시예에서, 이 영역은 선형 슬라이더(325)를 약간 지나 연장되는 직사각형일 수 있다. 사용자는, 선형 슬라이더와 연관된 물체(예를 들어, 휠)를 수평으로 좌 또는 우로 드래깅함으로써 선형 슬라이더와 상호작용할 수 있다. 일부 실시예에서, 휠은, 사용자가 물체와 더 이상 상호작용하지 않는 이후에도 수평 이동거리에 기초하여 선택사항적으로 움직임을 계속할 수 있다. 일부 실시예에서, 이 움직임은 가상 선형 슬라이더(325)의 모멘텀(momentum)을 시뮬레이트할 수 있다.
일부 실시예에서, 도 3b에 도시된 바와 같이, 물체를(도 3b에 도시된 실시예에서는 터치 지원 디스플레이(322) 상에 디스플레이된 휠)을 돌리는 것은 표시등(indicator light) 세트가 온으로 되게끔 한다. 예를 들어, 도 3b에 도시된 실시예에서, 선형 슬라이더(325)는 3개의 위치(326, 328, 및 330)에 도시되어 있다. 도 3b에 도시된 실시예에서, 이들 위치들 각각은 상이한 구성의 표시등을 포함한다. 일부 실시예에서, 이들 표시등은 선형 슬라이더의 움직임과 연관된 측정, 어떤 유형의 장치가 가상 선형 슬라이더(325)와 연관되어 있는지에 따라, 예를 들어, 기류의 레벨, 오디오 볼륨, 또는 영화의 재생 위치와 연관될 수 있다.
일부 실시예에서, 도 3b에 도시된 유형의 선형 슬라이더와 연관된 휠은 복수의 틱 마크(tick mark)를 더 포함할 수 있다. 일부 실시예에서, 사용자가 휠과 상호작용할 때, 사용자는 휠의 움직임 또는 이들 틱 마크와의 상호작용을 시뮬레이트하도록 구성된 햅틱 효과를 느낄 수도 있다. 예를 들어, 한 실시예에서, 가상 선형 슬라이더(325)는 도 3a에 관하여 전술된 제어기(304 및 306)의 경우와 유사한 햅틱 피드백 효과를 생성할 수 있다. 다른 실시예에서, 햅틱 출력 장치는 사용자가 가상 선형 슬라이더(325)와 상호작용할 때 디텐트를 시뮬레이트하도록 구성된 효과를 출력할 수 있다. 이러한 실시예에서, 이들 디텐트는 선형 변위에 의존하는 45-픽셀 펄스와 연관될 수 있다. 또한, 일부 실시예에서, 디텐트는, 가상 선형 슬라이더(325)가 움직일 때 밀도와 위치에서 시각적 디텐트와 정합하도록 설계될 수 있다.
도 3c를 참조하면, 도 3c는 터치 지원 디스플레이(352)를 포함하는 컴퓨팅 장치(351)를 포함하는 시스템(350)을 도시한다. 도 3c에 도시된 실시예에서, 컴퓨팅 장치(301)는 도 3a 및 도 3b에 관하여 설명된 컴퓨팅 장치(301)의 한 실시예를 포함할 수 있다.
일부 실시예에서, 여기서 설명된 유형의 햅틱 효과는 "연속 위젯"과 연관된 햅틱 효과를 시뮬레이트하는데 이용될 수 있다. 연속 위젯은, 예를 들어, 일부 실시예에서 도 3a 및 도 3b에 관하여 전술된 가상 인터페이스와 유사할 수 있는 다이얼일 수 있다.
도 3c에 도시된 시스템(350)은 가상 다이얼(354)을 포함한다. 일부 실시예에서, 사용자는 가상 다이얼(354)과 연관된 파라미터를 제어하기 위해 터치 지원 디스플레이(352)의 표면 상에서 원형 제스쳐를 이용할 수 있다. 일부 실시예에서, 이 파라미터는, 예를 들어, 컴퓨팅 장치에 의해 제어되는 온도 조절 장치(예를 들어, 자동차의 기온 조절에 관한 온도 조절 장치)에 관한 온도 파라미터, 음량 파라미터, 밝기 파라미터, 속도 파라미터(예를 들어, 오디오 또는 비디오 파일의 재생 속도), 또는 다이얼에 의해 제어될 수 있는 어떤 다른 파라미터를 포함할 수 있다.
일부 실시예에서, 사용자는 가상 다이얼(354)과 상호작용할 수 있다. 이러한 실시예에서, 사용자의 상호작용에 기초하여, 가상 다이얼(354)은, 사용자의 손가락이 가상 다이얼(354)의 중심 주변에서 원형 제스쳐를 그릴 때 돌아갈 수 있다. 일부 실시예에서, 가상 다이얼(354)의 각도 변위, 예를 들어, 가상 다이얼(354)의 중심 주위의 터치 입력 회전 θ는, 가상 다이얼(354)의 동등한 회전 θ를 야기한다. 또 다른 실시예에서, 가상 다이얼(354)의 회전은 동적 중심 주변에서 사용자의 손가락을 추적할 수 있어서, 예를 들어, 사용자가 산만해져 터치 지원 디스플레이(352)로부터 눈길을 돌릴 경우에 발생할 수도 있는 바와 같이, 제스쳐가 가상 다이얼(354)로부터 멀리 표류할 수 있다. 일부 실시예에서, 이것은, 예를 들어, 현재의 제스쳐 곡률의 추정에 기초하여 원형 제스쳐의 중심을 계속해서 추정하는 것을 포함할 수 있다. 마찬가지로, 회전의 방향은 곡률과 반전(reversal)의 검출에 기초하여 추정될 수 있다.
일부 실시예에서, 가상 다이얼(354)은 터치 지원 디스플레이(352)의 표면 바깥으로 솟구친 원반으로서 시각적으로 표시될 수 있다. 일부 실시예에서, 가상 다이얼(354)의 바깥 테두리는 틱 마크(tick mark)로 덮여 있고, 그 중심은 가상 다이얼(354)의 회전과 연관된 표시자를 포함할 수 있다. 예를 들어, 한 실시예에서, 가상 다이얼(354)의 중심은, 가상 다이얼(354)이 돌아갈 때 색상이 변하는 적색 및 청색 아크(arc)를 포함할 수 있다. 이러한 실시예에서, 가상 다이얼(354)은 다이얼이 한 방향으로 회전함에 따라 밝은 청색에서 회색으로 색상이 점진적으로 변하고, 다이얼이 계속 회전함에 따라 점진적으로 적색으로 된다. 이러한 실시예에서, 다이얼은 온도 제어를 위한 온도 조절 장치와 연관될 수 있고, 색상 표시는 온도 설정과 연관될 수도 있다. 다른 실시예에서, 이 시각적 표현은, 물리적 제어 또는 추상화에 기초하여, 다이얼의 다른 묘사로 대체될 수 있다.
일부 실시예에서, 가상 다이얼(354)은 제한된 이동 범위, 예를 들어, 제한된 회전수(예를 들어, 4회전)를 포함할 수 있다. 이러한 실시예에서, 이동 범위가 초과될 때, 시스템은 가상 다이얼(354)에 의해 더 이상 제어되지 않을 수 있다(예를 들어, 온도, 음량 등이 더 이상이 변하지 않는다). 또한, 일부 실시예에서, 이동의 범위가 초과될 때, 가상 다이얼(354)은 손가락의 추적을 중단할 수 있다. 일부 실시예에서, 이러한 유형의 정지는 시각적으로 상이한 방식으로 표현될 수 있다. 예를 들어, 한 실시예에서, 가상 다이얼(354)은 움직임을 완전히 중단하거나 손가락이 한계치를 넘어 계속 회전할 때 살짝 요동(jiggle)하도록 프로그램될 수 있다. 한 실시예에서, 후자는 가상 다이얼(354)을 과도한 손가락 회전의 함수로서 진동할 수 있는 각도량만큼 이동시킴으로써 달성될 수 있다. 예를 들어, 한 실시예에서, "요동"의 양은 Δ = θ modulo 5로서 계산되어, 손가락이 계속 회전함에 따라 0°부터 5°까지 반복적으로 증가한 다음 다시 0°로 떨어진다.
한 실시예에서, 가상 다이얼(354)은 움직임의 범위의 한계에 도달된 후에 뚜렷한 피드백을 생성할 수 있다. 일부 실시예에서, 이 햅틱 효과는 사각형 또는 정현파 중 어느 하나인 50-Hz의 주기적인 일시적 신호와 연관될 수 있다. 다른 실시예에서, 다른 시간적 또는 공간적 질감이 움직임의 범위의 끝에서 출력될 수 있다. 예를 들어, 일부 실시예에서, 움직임의 범위의 끝은 디텐트의 조밀한 배열 또는 더 복잡한 일시적 패턴과 연관될 수 있다. 일부 실시예에서, 이 효과는 가상 다이얼(354)의 시각적 틱 마크에 맞대어 문지르는 사용자의 손가락 느낌을 시뮬레이트하도록 조정될 수 있다. 또 다른 실시예에서, 이러한 유형의 효과는 가상 다이얼(354)이 그 한계에 도달할 때 클릭킹하고 있다는 느낌을 시뮬레이트하도록 조정될 수 있다.
일부 실시예에서, 다른 햅틱 효과가 가상 다이얼(354)의 움직임과 연관될 수 있다. 예를 들어, 한 실시예에서, 햅틱 효과는 가상 다이얼(354)이 용수철이 적재된 것처럼 회전에 저항하는것 처럼 보이도록 비선형 맵핑과 연관될 수 있다. 일부 실시예에서, 선택사항으로서 가상 다이얼(354)은 릴리스될 때 이산적인 틱 위치들에 스냅될 수 있다. 일부 실시예에서, 각도 움직임으로부터 다이얼 변위로의 맵핑은 가상 다이얼(354)이 움직임을 릴리스하는 것처럼 시각적으로 보이도록 비선형적일 수 있다. 일부 실시예에서, 이들 유형의 효과는 다이얼의 내부 메커니즘에서 물리적 효과의 착시를 강화할 수 있다.
일부 실시예에서, 사용자는 가상 다이얼(354)과 상호작용하는 동안 햅틱 효과를 느낄 수도 있다. 예를 들어, 가상 다이얼(354)이 그 이동 범위 내에 있는 동안, 컴퓨팅 장치(351)는 짧은 펄스의 정전 피드백의 형태로 디텐트 효과를 출력하도록 구성될 수 있다. 한 실시예에서, 이들 펄스는, 공간 ESF 패턴을 야기하는 각도 변위의 함수로서 생성될 수도 있다. 예를 들어, 한 실시예에서, 가상 다이얼(354)이 틱 위로 회전할 때 7.2° 이상 연장되는 펄스가 생성될 수 있다. 더 정확하게는, 이러한 공간 맵핑을 생성하는 파형은 현재 및 과거의 각도 변위에 기초하여 각 샘플링 간격으로 생성될 수 있다. 일부 실시예에서, 이러한 유형의 신호는 약간의 렌더링 지연을 초래할 수 있다.
또한, 일부 실시예에서, 컴퓨팅 장치(351)는 가상 다이얼(354)이 회전할 때 별개의 디텐트들을 시뮬레이트하도록 구성된 햅틱 효과를 생성할 수도 있다. 예를 들어, 한 실시예에서, 컴퓨팅 장치(351)는 가상 다이얼(354)의 회전시마다 10개의 디텐트를 시뮬레이트하도록 구성된 햅틱 효과를 생성할 수도 있다. 일부 실시예에서, 디텐트의 개수는 가상 다이얼(354)의 시각적 표현과 정합하도록 조정될 수 있다. 예를 들어, 이 개수는 명료한 물리적 모델을 확립하도록 시각적 틱 마크의 개수 또는 그 분수와 같을 수 있다.
다른 실시예에서, 연속일 수 있는 가상 다이얼의 움직임의 범위 내의 상이한 영역들은 상이한 효과들과 연관될 수 있다. 예를 들어, 한 실시예에서, ESF의 사각 펄스는 가상 다이얼(354)의 움직임의 범위 내의 한 영역과 연관될 수 있다. 마찬가지로, 이러한 실시예에서, 정현파 펄스는 가상 다이얼(354)의 움직임의 범위 내의 또 다른 영역과 연관될 수 있다. 일부 실시예에서, 사각 펄스는 정현파 펄스보다 사용자에게 더 날카롭게 느껴질 수 있다. 따라서, 예를 들어, 한 실시예에서, 가상 다이얼(354)은 온도 제어와 연관될 수 있다. 이러한 실시예에서, 따뜻한 온도는 사각 펄스와 연관되고, 정현파 펄스는 찬 온도와 연관될 수도 있다. 다른 실시예에서, 햅틱 효과를 출력하기 위해 다른 펄스 유형, 예를 들어, 다양한 강도, 폭, 형상 등의 펄스가 이용될 수 있다.
다른 실시예에서, 컴퓨팅 장치(351)는 가상 다이얼(354)과 연관된 상이한 유형의 햅틱 효과를 출력하도록 구성될 수도 있다. 예를 들어, 한 실시예에서, 햅틱 효과는, 가상 다이얼(354)이 회전시에 하나의 틱 마크로부터 다음 틱 마크로 움직일 때 ESF 출력을 점진적으로 증가시킴으로써 출력될 수 있다. 또한, 이러한 실시예에서, 출력은 틱에 도달할 때 갑작스럽게 감소될 수 있다. 이러한 실시예는 각 틱에서의 갑작스런 변화를 시뮬레이트할 수 있다. 또한, 일부 실시예에서, 일시적 질감(주기적 신호) 또는 일련의 펄스와 같은 촉각적 효과의 크기도 역시 가상 다이얼(354)의 위치에 기초하여 변조될 수 있다. 예를 들어, 가상 다이얼(354)이 온도 기능을 제어하도록 구성된 실시예에서, 컴퓨팅 장치(351)는 중립점으로부터 증가하거나 감소할 때 펄스의 변조나 강도를 증가시키도록 구성될 수 있다.
이제, 스위치의 이동거리의 50%에서 발생하는 천이 효과와 함께, ON과 OFF 상태에서 교대하는 슬라이딩 토글 스위치에 대한 햅틱 피드백의 이용의 한 실시예를 나타내는 도 4a를 참조한다. 일부 실시예에서, 이 알고리즘은, (도 5에 관하여 후술되는) 한 화상으로부터 다음 화상으로의 전환을 나타내는, 영상들의 캐로셀(carrousel)이 수평으로 스크롤링될 때의 천이 효과에 적용될 수 있다. 또한, 일부 실시예에서, 이 알고리즘은 전자서적 리더기에서 페이지 교체, 또는 스마트폰 운영 체제에서 홈 페이지의 교체에도 적용될 수 있다.
도 4a에 도시된 바와 같이, 주기적 구동 신호의 진폭은 토글 스위치의 현재 위치 및 토글 스위치의 과거 이력에 기초하여 변조된다. (a)에 도시된 바와 같이, 토글은 OFF 상태에서 시작하고 햅틱 출력은 최소 진폭으로 설정된다. 그 다음, (b)에 도시된 바와 같이, 토글은 우측으로 슬라이딩하고 햅틱 출력의 진폭은 선형적으로 증가한다. 그 다음 (c)에서, 토글은 햅틱 출력의 진폭이 그 최대치에 도달할 때 그 임계치 xT에 도달한다. 그 다음 (d)에서, 햅틱 출력은 최소값으로 갑작스럽게 떨어진다. 그 다음 (e)에서, 햅틱 출력은 토글 스위치가 우측으로 계속 슬라이딩함에 따라 최소치에 머문다. 일부 실시예에서, 토글 스위치가 그 최대 이동 거리에 도달하기 이전에 좌측으로 다시 슬라이딩한다면, 햅틱 출력은 도달된 최대 x값을 기준으로 이용하여 다시 한번 선형적으로 증가하기 시작한다. 그 다음 (f)에서, 토글이 우측으로 다시 이동한다면 진폭은 다시 감소하여 동일한 진폭-위치 곡선을 따른다. 토글이 임계치 xT 아래로 이동한다면, 토글 스위치는 다시 OFF 상태로 전환되고 햅틱 출력은 다시 최소치로 떨어진다. 일부 실시예에서, 토글이 방향을 전환하면 유사한 프로세스가 반복될 수 있다.
이제 도 4b를 참조하면, 도 4b는 3개 세트의 가상 헤더 탭(410, 420, 및 430)을 도시한다. 일부 실시예에서, 가상 헤더 탭(410, 420, 및 430)은 슬라이딩 제스쳐의 이용을 가능케하도록 네비게이션 헤더를 대체하는 네비게이션 위젯을 포함할 수 있다. 또한, 일부 실시예에서, 도 4b에 도시된 가상 헤더 탭은 사용자 인터페이스의 상이한 기능 패널들의 디스플레이를 제어할 수 있다. 도 4b에 도시된 실시예에서, 가상 헤더 탭들은, 하단의 그립 바(gripping bar)와 더불어, 접혀진(folded) 것처럼 표시되어 있다. 일부 실시예에서, 이러한 유형의 가상 헤더 탭은 헤더 상의 임의의 장소에서 사용자 상호작용에 의해 활성화될 수 있다. 예를 들어, 한 실시예에서, 가상 헤더 탭은, 의도한 탭쪽으로 수평으로 슬라이딩한 다음 그 탭을 펼쳐(unfold) 작동시키기 위해 아래로 슬라이딩하는 사용자 상호작용에 의해 활성화될 수 있다. 일부 실시예에서, 현재 활성의 가상 헤더 탭은, 새로이 선택된 가상 헤더 탭이 펼쳐질 때 점진적으로 접혀질 수 있다. 이것이, 미디어(media) 탭이 410의 위치로부터 420의 위치를 거쳐 430의 위치로 천천히 펼쳐짐과 동시에, 기온(climate) 탭은 410의 위치로부터, 420의 위치를 거쳐, 430의 위치로 천천히 접혀지는 것으로 예시되고 있다. 다른 실시예에서, 탭은 릴리스될 때 반대 위치로 스냅될 수 있다.
또한, 일부 실시예에서, 사용자가 도 4b에 도시된 가상 헤더 탭들 중 하나 이상과 상호작용할 때, 컴퓨팅 장치는 햅틱 효과를 출력할 수도 있다. 한 실시예에서, 이 햅틱 효과는 일시적 질감을 포함할 수 있다. 한 실시예에서, 이 효과는 비활성 탭에 대해서는 50% 강도의 200 Hz 사각파를 포함하는 햅틱 신호를 전송하고, 활성 탭에 대해서는 100% 강도의 50 Hz 사각파를 전송함으로써 출력될 수도 있다. 일부 실시예에서, 이러한 유형의 햅틱 신호는 질감 또는 인지되는 마찰 계수에서의 변화를 시뮬레이트하도록 구성된 햅틱 출력 장치에 출력될 수 있다. 일부 실시예에서, 이 시뮬레이트된 질감은 사용자의 손가락이 탭들 사이를 지날 때 중단되므로, 천이 효과를 시뮬레이트한다. 또한, 일부 실시예에서, 햅틱 효과는 100 픽셀의 거리에 걸쳐 질감의 강도를 선형적으로 줄이고 다시 증가시킴으로써 생성될 수 있다. 일부 실시예에서, 탭과 상호작용하는 것은 진폭과 주파수의 선형적 천이를 트리거하여, 비활성 질감을 활성 질감으로 변환할 수 있다. 또한, 일부 실시예에서, 햅틱 출력은, 일단 탭이 완전히 확장되고 나면 갑작스럽게 종료되어, 가장자리 효과(edge effect)를 트리거한다.
일부 실시예에서, 도 3a 내지 도 4b에 관하여 전술된 위젯들은, 이들이 스크린에 맞대어 슬라이딩하는 동안 이들을 활성화시키지 않고 발견될 수 있도록 하는 방식으로 구현되었다. 일부 실시예에서, 사용자는 위젯이 없는 위치에서 스크린 상에서 아래로 터치할 때 탐색 모드(exploration mode)로 진입할 수도 있다. 이러한 실시예에서, 위젯은 무반응성이 될 수 있지만, 컴퓨팅 장치(301)는 위젯의 위치를 나타내는 햅틱 효과를 생성할 수도 있다. 또한, 일부 실시예에서, 이 햅틱 효과는 이들 위젯들 각각의 상태와 연관될 수 있다. 예를 들어, 일부 실시예에서, 사용자의 손가락이 위젯의 경계 영역에 들어오거나 떠날 때 펄스가 전송될 수 있다. 한 실시예에서, 이 햅틱 효과는 50 ms 사각 신호를 포함할 수 있다. 또한, 일부 실시예에서, 이 신호는, 사용자의 손가락이 위젯의 경계 부근에 있을 때에 출력될 수 있다. 이러한 실시예에서, 위젯의 경계는 계산 효율을 위해 단순화될 수 있다(예를 들어, 경계 박스나 원에 위젯을 배치).
마찬가지로, 일부 실시예에서, 컴퓨팅 장치(301)는 또한, 사용자의 손가락이 위젯의 내부에서 슬라이딩할 때 인지되는 마찰 계수를 변화시키도록 구성된 효과 또는 질감을 출력할 수도 있다. 일부 실시예에서, 이 효과는, 사용자의 손가락이 위젯 위로 슬라이딩할 때 100 Hz 정현파를 포함하는 햅틱 신호와 연관될 수 있는 일시적 질감을 포함할 수 있다. 또한, 일부 실시예에서, 이 햅틱 효과는 위젯의 상태: 예를 들어, ON인지 OFF인지, 감응인지 비감응인지 등에 따라 달라질 수 있다.
이제 도 5를 참조하면, 도 5는 프로그래머블 표면 질감을 동반한 모드 또는 상태 인지의 실시예를 나타낸다. 도 5는 터치 지원 디스플레이(502)를 포함하는 컴퓨팅 장치(501)를 포함하는 시스템(500)의 외관도를 나타내는 도면이다. 일부 실시예에서, 컴퓨팅 장치(501)는, 스마트폰, 태블릿, 포켓 오거나이저, GPS 수신기, 또는 종래 기술에 공지된 기타의 핸드헬드 장치와 같은, 핸드헬드 장치를 포함할 수 있다.
도 5는 또한, 3개의 상이한 제스쳐 상호작용(504, 506 및 508)을 도시한다. 제스쳐 상호작용(504, 506, 및 508)들 각각은 터치 지원 디스플레이(502)와의 사용자 상호작용을 포함한다. 예를 들어, 좌/우 스크롤(504)은, 사용자가 터치 지원 디스플레이(502)의 표면을 가로질러 자신의 손가락을 좌측 또는 우측으로 쓸어올리는(swipe) 상호작용을 포함한다. 본 분야에 공지된 바와 같이, 이와 같은 제스쳐는 터치 지원 디스플레이(502) 상에 도시된 스크린이 좌측 또는 우측으로 스크롤되게 할 수 있다. 마찬가지로, 상/하 스크롤(506)은, 사용자가 터치 지원 디스플레이(502)의 표면을 가로질러 자신의 손가락을 상측 또는 하측으로 쓸어올리는 상호작용을 포함한다. 이러한 제스쳐는 컴퓨팅 장치(501)로 하여금 터치 지원 디스플레이(502) 상에 도시된 스크린을 스크롤 업 또는 스크롤 다운으로 변경하게끔 한다. 마지막으로, 4 손가락 핀치(pinch)(508)는 4개 또는 5개 손가락을 이용할 때 발생할 수 있으며, 사용자는 터치 지원 디스플레이(502)의 표면 상에서 핀치 제스쳐를 행할 수 있다. 이러한 제스쳐는 컴퓨팅 장치(501)로 하여금 터치 지원 디스플레이(502) 상에 "홈" 스크린을 디스플레이하게 한다. 다른 실시예에서, 터치 지원 표면(502)에 의해 검출된 기타의 제스쳐들이 컴퓨팅 장치(501)를 제어할 수 있다. 예를 들어, 몇 가지 알려진 제스쳐는, 줌 제스쳐, 프로그램 변경 제스쳐, 또는 되돌아 가기 제스쳐일 수 있다.
또한, 도 5에 도시된 실시예에서, 컴퓨팅 장치(501)는 제스쳐의 수신을 확인시키기 위해 햅틱 효과를 출력할 수 있다. 예를 들어, 사용자가 좌/우 스크롤 제스쳐를 행할 때, 컴퓨팅 장치(501)는 이 제스쳐의 수신을 확인시키는 햅틱 효과를 출력할 수 있다. 일부 실시예에서, 이 햅틱 효과는, 터치 지원 디스플레이(502)의 표면 상에서 질감을 시뮬레이트하도록 구성된 햅틱 효과를 포함할 수 있다. 다른 실시예에서, 이 햅틱 효과는, 터치 지원 디스플레이(502)의 표면 위에서 자신의 손가락을 이동시킬 때 사용자가 느끼는 마찰 계수를 변화시키도록 구성된 햅틱 효과를 포함할 수 있다. 예를 들어, 한 실시예에서, 햅틱 효과는 200 Hz 정현파를 포함하는 햅틱 신호와 연관될 수 있다. 또한, 이러한 실시예에서, 햅틱 신호의 크기는, 스크린이 새로운 페이지로 변화하는 포인트 또는 그 부근에서 변할 수도 있다. 일부 실시예에서, 사용자는, 예를 들어, 사진 앨범을 스크롤하고 있을 수 있다. 이러한 실시예에서, 사용자가 각 사진을 스크롤할 때, 컴퓨팅 장치(501)는, 사용자가 각 사진을 좌 또는 우로 쓸어올릴시에 증가하는 강도의 시뮬레이트된 질감을 출력할 수 있다. 또한, 컴퓨팅 장치(501)는, 다음 사진이 터치 지원 디스플레이(502) 상의 이전의 사진 위치에 교체될 때 날카로운 디텐트(sharp detent)를 출력할 수 있다.
마찬가지로, 일부 실시예에서, 업/다운 스크롤(506) 또는 4 손가락 핀치(508)와 같은 제스쳐의 수신을 확인시키기 위해 추가의 햅틱 효과가 출력될 수 있다. 일부 실시예에서, 이들 햅틱 효과는 상이한 햅틱 효과들을 포함할 수 있다. 이러한 실시예에서, 햅틱 효과는 장치가 제스쳐를 수신했음을 사용자가 알게 할 수 있다. 따라서, 사용자는 또 다른 제스쳐로 신속하게 이동할 수 있고, 그에 따라, 컴퓨팅 장치(501)를 더욱 신속하게 제어할 수 있을 것이다. 예를 들어, 사용자가 새로운 페이지로 스크롤하기 위한 한 제스쳐를 시작할 때, 햅틱 확인은, 사용자가 그 상호작용이 수신되었다고 신속하게 결정하고, 새로운 제스쳐, 예를 들어, 프로그램 열기와 연관된 제스쳐로 이동할 수 있게 허용할 수 있다. 또한, 햅틱 효과는 프로그램이 열렸다는 확인을 제공하여, 사용자가 그 프로그램에서의 동작과 연관된 제스쳐로 신속하게 이동할 수 있게 허용한다.
일부 실시예에서, 도 5에 관하여 전술된 제스쳐들은 디스플레이 상에 캐로셀(carrousel)을 시뮬레이트하는데 이용될 수 있다. 예를 들어, 한 실시예에서, 앨범 디스플레이는 천이 시퀀스를 통한 앨범 커버의 선택을 허용한다. 일부 실시예에서, 이러한 원리는 더 일반적으로 화상과 같은 콘텐츠의 캐로셀에 적용될 수 있다.
일부 실시예에서, 앨범 디스플레이는 수평 쓸어올림 제스쳐를 이용하여 한 세트의 앨범 커버를 시각적으로 스크롤하는 대화식 위젯(interactive widget)이다. 일부 실시예에서, 사용자는, 손가락을 표면 위에 두고 앨범 커버를 수평으로 드래그함으로써 객체와 상호작용 또는 "캡춰"한다. 일부 실시예에서, 앨범 커버들의 크기와 음영은 이들이 포커스 내로 슬라이드됨에 따라 수정되고, 앨범들은 릴리스시에 가장 가까운 위치 내로 스냅된다.
일부 실시예에서, 컴퓨팅 장치(501)는, 한계에 도달할 때의 격자 질감 뿐만 아니라 앨범들이 교체될 때 점진적 천이 효과를 생성할 수 있다. 일부 실시예에서, 천이 효과는, 질감을 시뮬레이트하도록 구성된 햅틱 출력 장치에 출력되는 200 Hz 사각파의 강도를, 강도가 갑작스럽게 떨어지는 포인트인 천이가 발생할 때까지 선형적으로 증가시킴으로써 생성될 수 있다. 이러한 실시예에서, 강도는 과정을 역전시키거나 다음 앨범을 포커스 내에 슬라이딩하는 경우에 다시 한번 증가될 수 있다. 일부 실시예에서, 한계 효과(limit effect)는, 50 화소의 피치를 갖는 속도-기반의 격자 질감을 포함하는 효과를 출력함으로써 생성될 수 있다. 예를 들어, 일부 실시예에서, 이 효과는, 터치 스크린의 표면 상의 물체(예를 들어, 손가락 또는 스타일러스)의 속도에 기초하여 햅틱 출력 장치에 출력되는 사각파의 주파수를 주기적으로 증가시키거나 감소시킴으로써 생성될 수 있다. 일부 실시예에서, 속도의 측정은, 주어진 시간 길이에서 사용자의 손가락이 통과하는 화소의 개수에 부분적으로 기초할 수 있다.
일부 실시예에서, 이러한 유형의 상호작용은 다른 유형의 햅틱 효과로 보강될 수 있다. 예를 들어, 한 실시예에서, 한 앨범 커버에서 다음 앨범 커버로 전환할 때 예를 들어 단순 펄스가 느껴질 수 있다. 또한, 일부 실시예에서, 햅틱 피드백은 앨범이 이동되는 것을 허용하는 메커니즘의 물리적 모델과 정합하도록 조정될 수 있다. 예를 들어, 한 실시예에서, 앨범 캐로셀은 기어에 의해 작동된다는 느낌을 시뮬레이트하도록 구성된 햅틱 효과를 포함할 수 있다. 일부 실시예에서, 이것은 캐로셀의 내용이 스크롤될 때 디텐트를 출력함으로써 시뮬레이트될 수 있다.
햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 제공하기 위한 예시적 방법.
도 6은 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 제공하기 위한 예시적 방법(600)을 도시하는 플로우 차트이다. 일부 실시예에서, 도 6의 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 장치 또는 서버 내의 프로세서에 의해 실행되는 프로그램 코드로 구현될 수 있다. 일부 실시예에서, 이들 단계들은 프로세서 그룹에 의해 구현될 수 있다. 이하의 단계들은 도 1에 도시된 시스템(100)에 관하여 전술된 컴포넌트들을 참조하여 설명된다.
방법(600)은 센서(108)가 터치 표면(116)과의 사용자 상호작용을 검출할 때 단계(602)에서 시작된다. 센서(108)는 본 분야에 공지된 복수의 센서들 중 하나 이상을 포함할 수 있고, 예를 들어, 저항식 및/또는 용량식 센서가 터치 표면(116)에 임베딩되어 터치의 위치 및 압력 등의 기타 정보를 결정하는데 이용될 수 있다. 또 다른 예로서, 터치 표면의 뷰를 갖춘 광학적 센서들이 터치 위치를 결정하는데 이용될 수 있다. 역시 다른 일부 실시예에서, 센서(108) 및 터치 표면(116)은 터치-스크린 디스플레이를 포함할 수 있다. 또한, 제1 상호작용을 검출하면, 센서(108)는 그 상호작용과 연관된 신호를 프로세서(102)에 전송할 수 있다.
방법(600)은 프로세서(102)가 사용자 상호작용과 연관된 센서 신호를 전송할 때 계속된다. 일부 실시예에서, 센서 신호는 사용자 상호작용의 위치를 포함할 수 있다. 예를 들어, 터치 표면(116)의 표면 상의 위치를 포함할 수 있다. 또한, 일부 실시예에서, 이 위치는 전술된 유형의 가상 인터페이스 또는 "위젯"과 연관될 수도 있다. 마찬가지로, 일부 실시예에서, 센서 신호는 사용자 상호작용의 속도 또는 힘과 연관된 데이터를 포함할 수 있다. 예를 들어, 센서 신호는, 사용자의 손가락이 얼마나 빨리 움직이는지를 나타내거나, 사용자가 터치 표면(116) 상에서 힘을 갖고 누르고 있는지를 나타낼 수 있다.
이 방법은 프로세서(102)가 사용자 상호작용과 연관된 피쳐를 결정하는 단계(606)에서 계속된다. 일부 실시예에서, 프로세서(102)는 부분적으로 센서 신호에 기초하여 사용자 상호작용의 위치를 결정할 수 있다. 또한, 일부 실시예에서, 프로세서는, 사용자 상호작용이, 예를 들어, 선행 단락에서 설명된 유형의 위젯을 포함할 수 있는 피쳐와 연관되어 있다고 결정할 수 있다. 예를 들어, 프로세서(102)는 사용자 상호작용이 위젯의 상부 위라고 결정할 수 있다. 일부 실시예에서, 위젯은, 버턴, 스위치, 놉, 가상 데스크톱, 또는 여기서 설명된 기타 유형의 가상 인터페이스를 포함할 수 있다. 또한, 프로세서(102)는, 사용자 상호작용의 위치에 기초하여 사용자가 위젯과 상호작용하고 있다고 결정할 수 있다. 예를 들어, 프로세서(102)는, 사용자 상호작용이 디스플레이 상의 위젯의 경계 내에 있거나, 위젯의 소정 경계 부근 내에 있다고 결정하고, 이 결정에 기초하여, 사용자가 위젯과 상호작용하고 있다고 결정할 수 있다.
이 방법은, 프로세서(102)가 피쳐와 연관된 장치를 제어하는 단계(608)에서 계속된다. 일부 실시예에서, 이 장치는, 컴퓨팅 장치, 모바일 장치, 장치 상의 애플리케이션, 자동차 상의 기능, 버스 상의 기능, 비행기 상의 기능, 또는 버턴, 스위치, 놉, 다이얼, 슬라이더 등과 같은 전통적인 인터페이스에 의해 제어될 수 있는 어떤 다른 기능 중 하나 이상을 포함할 수 있다. 사용자가 위젯과 상호작용할 때, 프로세서(102)는 위젯에 의해 제어되는 시스템의 동작을 수정할 수 있다. 예를 들어, 한 실시예에서, 사용자가 팬과 연관된 놉을 돌릴 때, 프로세서(102)는 팬의 속도를 수정하도록 구성된 신호를 전송할 수 있다. 마찬가지로, 또 다른 실시예에서, 사용자가 음악 재생기 애플리케이션과 연관된 위젯과 상호작용할 때, 프로세서(102)는 음악 재생기에 의해 출력되는 음량, 또는 음악 재생기와 연관된 어떤 다른 기능(예를 들어, 트랙 선택, 트랙 내의 위치 선택, 또는 오디오 출력 설정)을 수정할 수 있다.
이 방법은, 프로세서(102)가 디스플레이 신호를 수정하는 단계(610)에서 계속된다. 디스플레이 신호는 I/O 컴포넌트(112)에 출력되어 사용자에게 디스플레이될 수 있다. 예를 들어, 일부 실시예에서, I/O 컴포넌트(112)는 디스플레이 또는 터치 스크린 디스플레이를 포함할 수 있다. 이러한 실시예에서, 디스플레이는 모드와 연관된 화상을 보여줄 수 있다. 예를 들어, 한 실시예에서, 디스플레이는 도 3a 내지 도 5에 도시된 시스템들 중 하나와 연관된 화상을 포함할 수 있다. 프로세서(102)는 디스플레이 신호의 하나 이상의 피쳐를 수정할 수 있다. 예를 들어, 한 실시예에서, 사용자는 가상 스위치 또는 가상 놉과 같은 위젯과 상호작용할 수 있다. 이러한 실시예에서, 프로세서(102)는, 부분적으로 사용자 상호작용에 기초하여 가상 스위치 또는 가상 놉과 연관된 위치에서 디스플레이 신호를 변경할 수 있다. 이 디스플레이 신호는, 수정된 가상 스위치 또는 가상 놉을 사용자에게 디스플레이하는 I/O 컴포넌트(112)에 출력될 수 있다.
이 방법은, 프로세서(102)가 생성할 햅틱 신호를 선택하는 단계(612)에서 계속된다. 프로세서는 햅틱 효과를 선택하거나 결정하기 위해 햅틱 효과 결정 모듈(126)에 포함된 프로그래밍에 의존할 수 있다. 예를 들어, 프로세서(102)는 메모리(104)에 저장되고 특정한 햅틱 효과와 연관된 구동 신호에 액세스할 수 있다. 또 다른 예로서, 신호는, 저장된 알고리즘에 액세스하고 효과와 연관된 파라미터들을 입력함으로써 생성될 수 있다. 예를 들어, 알고리즘은 진폭 및 주파수 파라미터에 기초하여 구동 신호를 생성하는데 이용하기 위한 데이터를 출력할 수 있다. 또 다른 예로서, 햅틱 신호는, 액추에이터에 전송되어 액추에이터에 의해 디코딩되는 데이터를 포함할 수 있다. 예를 들어, 액추에이터 자체는 진폭 및 주파수와 같은 파라미터를 지정하는 명령에 응답할 수 있다. 일부 실시예에서, 햅틱 효과는 복수의 가용 질감들 중 하나일 수 있다. 예를 들어, 복수의 질감은: 물, 풀, 얼음, 금속, 모래, 자갈, 벽돌, 모피, 가죽, 피부, 직물, 고무, 잎, 또는 기타의 사용 가능한 질감, 예를 들어, 폭발이나 불과 연관된 질감들 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 질감은, 사용자에게 디스플레이되는 위젯과 같은, 사용자 인터페이스의 피쳐와 연관될 수 있다. 예를 들어, 한 실시예에서, 특정한 질감, 예를 들어, 모래의 질감이 가상 다이얼과 연관될 수 있다. 또한, 이러한 실시예에서, 사용자가 예를 들어 가상 다이얼의 각도 회전을 수정함으로써 가상 다이얼과 상호작용할 때, 프로세서(102)는 상이한 질감을 출력할 수 있다. 예를 들어, 사용자가 가상 다이얼을 돌릴 때, 햅틱 효과는 모래의 입도 변화를 시뮬레이트하도록 구성될 수 있다. 따라서, 사용자가 가상 다이얼을 한 방향으로 돌릴 때, 사용자는, 자갈을 시뮬레이트하는 햅틱 효과를 느낄 수 있고, 사용자가 가상 다이얼을 다른 방향으로 돌릴 때, 사용자는 분말(powder)의 느낌을 시뮬레이트하는 햅틱 효과를 느낄 수 있다.
이 방법은, 프로세서(102)가 햅틱 효과를 출력하는 햅틱 출력 장치(118)에 햅틱 효과와 연관된 햅틱 신호를 전송하는 단계(614)에서 계속된다. 일부 실시예에서, 프로세서(102)는 햅틱 출력 장치(118)가 햅틱 효과를 생성하게 하도록 구성된 햅틱 신호를 출력한다. 일부 실시예에서, 햅틱 출력 장치(118)는 터치 표면(116)에 결합된 압전 액추에이터 또는 전기 모터 또는 컴퓨팅 장치(101) 내의 다른 컴포넌트와 같은 전통적인 액추에이터를 포함할 수 있다. 다른 실시예에서, 햅틱 출력 장치(118)는, 정전기장을 이용하여 터치 표면(116) 상의 질감을 시뮬레이트하거나 인지되는 마찰 계수를 변화시키도록 구성된 하나 이상의 정전 액추에이터를 포함할 수 있다.
그 다음, 프로세서(102)는 제2 햅틱 효과를 결정한다(618). 일부 실시예에서, 제2 햅틱 효과는, 단계(608)에 관하여 논의된 동작이 완료되었다는 확인을 포함할 수 있다. 다른 실시예에서, 이 햅틱 효과는, 단계(608)에 관하여 논의된 동작이 완료되지 않았다는 경고를 포함할 수 있다. 프로세서는 제2 햅틱 효과를 결정하기 위해 햅틱 효과 결정 모듈(126)에 포함된 프로그래밍에 의존할 수 있다. 예를 들어, 프로세서(102)는 메모리(104)에 저장되고 특정한 햅틱 효과와 연관된 구동 신호에 액세스할 수 있다. 또 다른 예로서, 신호는, 저장된 알고리즘에 액세스하고 효과와 연관된 파라미터들을 입력함으로써 생성될 수 있다. 예를 들어, 알고리즘은 진폭 및 주파수 파라미터에 기초하여 구동 신호를 생성하는데 이용하기 위한 데이터를 출력할 수 있다. 또 다른 예로서, 햅틱 신호는, 액추에이터에 전송되어 액추에이터에 의해 디코딩되는 데이터를 포함할 수 있다. 예를 들어, 액추에이터 자체는 진폭 및 주파수와 같은 파라미터를 지정하는 명령에 응답할 수 있다. 일부 실시예에서, 햅틱 효과는 복수의 가용 질감들 중 하나일 수 있다. 예를 들어, 복수의 질감은: 물, 풀, 얼음, 금속, 모래, 자갈, 벽돌, 모피, 가죽, 피부, 직물, 고무, 잎, 또는 기타의 사용 가능한 질감들 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 질감은 위젯 또는 위젯 내부의 피쳐와 연관될 수 있다. 예를 들어, 한 실시예에서, 특정한 질감, 예를 들어, 모래의 질감이 음악 재생기를 제어하도록 구성된 위젯과 연관될 수 있다. 또한, 이러한 실시예에서, 상이한 유형의 음악들 각각은 위젯에 출력될 수 있는 별개의 질감들을 포함할 수 있다. 예를 들어, 블루 그래스 음악이 재생될 때, 질감은 풀과 연관된 질감을 포함할 수 있고, 헤비 메탈이 재생될 때, 질감은 금속의 질감을 포함할 수 있다.
이 방법(600)은, 프로세서(102)가 제2 햅틱 효과를 출력하는 햅틱 출력 장치(118)에 제2 햅틱 효과와 연관된 제2 햅틱 신호를 전송하는 단계(618)에서 계속된다. 일부 실시예에서, 프로세서(102)는 햅틱 출력 장치(118)가 햅틱 효과를 생성하게 하도록 구성된 햅틱 신호를 출력한다. 일부 실시예에서, 햅틱 출력 장치(118)는 터치 표면(116)에 결합된 압전 액추에이터 또는 전기 모터 또는 컴퓨팅 장치(101) 내의 다른 컴포넌트와 같은 전통적인 액추에이터를 포함할 수 있다. 다른 실시예에서, 햅틱 출력 장치(118)는, 정전기장을 이용하여 질감을 시뮬레이트하도록 구성된 하나 이상의 정전 액추에이터를 포함할 수 있다.
햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 시스템의 추가 실시예
본 개시의 일부 실시예에서, 사용자를 즐겁게 하거나, 산만하게하거나, 진정시키는 것 이외의 임의의 특정한 목적없이 장치 상에서 물리적 상호작용이 이용될 수 있다. 예를 들어, 한 실시예에서, 예를 들어, "라이브 월페이퍼"가 사용자의 터치에 반응할 수 있다. 본 개시의 일부 실시예에서, 물리적 상호작용은, 햅틱 효과, 예를 들어, 정전 마찰 효과에 의해 보강될 수 있다. 일부 실시예에서, 이들 햅틱 효과는 촉각적 경험만을 생성하는 다른 효과를 전적으로 대체할 수 있다. 또한, 일부 실시예에서, 터치스크린 애플리케이션에서 유사한 상호작용이 이용될 수 있다. 예를 들어, 한 실시예에서, 터치스크린 애플리케이션은 사용자를 집중케하거나 산만하게 하는 효과를 포함할 수 있다.
이제, 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용의 한 실시예를 나타내는 도 7을 참조한다. 도 7에 도시된 실시예는 컴퓨팅 장치(701)의 터치 지원 디스플레이(702) 상에 타일(704)의 어레이를 포함한다. 일부 실시예에서, 사용자가 터치 지원 디스플레이(702)의 표면을 가로질러 자신의 손가락을 이동시킬 때, 사용자는 하나 이상의 타일과 상호작용한다. 사용자가 타일(704)과 상호작용할 때, 타일(704)은 손가락의 이동에 의해 교란되어, 스크린 내로 푸시되거나 기울어진다. 일부 실시예에서, 컴퓨팅 장치(701)는 이 상호작용과 연관된 햅틱 효과를 출력할 수 있다. 예를 들어, 한 실시예에서, 컴퓨팅 장치(701)는, 사용자의 손가락이 하나 이상의 타일과 상호작용할 때 터치 지원 디스플레이의 표면 상에서 질감을 시뮬레이트하거나 인지되는 마찰 계수를 변화시키도록 구성된 정전 효과를 출력할 수 있다. 예를 들어, 이러한 실시예에서, 시뮬레이트된 질감은, 타일이 눌러질 때 떨어질 수 있고, 사용자의 손가락이 각 타일을 가로질러 문질러질 때 또 다른 짧은 효과가 출력될 수 있다. 또 다른 실시예에서, 타일이 기울어질 때 동적 효과가 출력될 수 있어서, 타일의 불안정성을 사용자에게 햅틱적으로 전달할 수 있다.
이제, 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용의 한 실시예를 나타내는 도 8을 참조한다. 본 개시의 일부 실시예에서, 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용은, 시뮬레이트된 3차원 효과와 물리적 상호작용을 이용하여 인기있는 데스크탑 메타포어를 확장하는데 이용될 수 있다. 도 8에 도시된 실시예는 컴퓨팅 장치(801)의 터치 지원 디스플레이(802) 상에 가상 데스크탑(804)의 화상을 포함한다. 일부 실시예에서, 사용자가, 아이콘(806), 문서(808), 연필(810) 또는 공(812)과 같은 가상 데스크탑(804)의 다양한 피쳐들과 상호작용할 때, 사용자는 터치 지원 디스플레이(802)의 표면 상에서 대응하는 햅틱 효과를 느낄 수 있다.
예를 들어, 본 개시의 한 실시예에서, 가상 데스크탑(804)은, 하나 이상의 문서(예를 들어, e메일, 텍스트 파일, 스프레드쉬트, 프리젠테이션 등)와 연관될 수 있는 문서(808)를 포함할 수 있다. 이러한 실시예에서, 문서(808)는, 터치 지원 디스플레이(802) 상에서 종이더미(pile)에 관해 수평으로 쓸어올리는 손가락에 의해 무너뜨릴 수 있는 종이더미에 배치될 수 있다. 일부 실시예에서, 이 상호작용은, 물리적 효과와 정합하는 정전 피드백과 같은 햅틱 피드백에 의해 보강될 수 있다. 예를 들어, 이러한 실시예에서, 손가락이 문서(808)에 충격을 줄 때 정전 출력에서의 짧은 증가를 통해 충격이 느껴질 수 있다. 마찬가지로, 일부 실시예에서, 서로 맞대어 슬라이딩하다가 정지되는 문서(808) 내의 항목들의 느낌을 시뮬레이트하기 위해 문지르는 질감과 디텐트가 출력될 수 있다. 일부 실시예에서, 진동-기반의 피드백에 의해 유사하거나 추가적인 효과가 생성될 수 있다.
본 개시의 또 다른 실시예에서, 사용자는 문서에 대해 퉁기는 제스쳐를 행함으로써 터치 지원 디스플레이(802)의 스크린을 가로질러 문서(808)를 던질 수도 있다. 일부 실시예에서, 문서와의 충격은 정전 출력에서의 증가에 의해 시뮬레이트될 수 있다. 일부 실시예에서, 진동-기반의 피드백에 의해 이들 효과 또는 다른 효과들이 생성될 수 있다.
본 개시의 또 다른 실시예에서, 사용자는 5손가락 제스쳐에 의해서 문서들을 합침으로써 종이더미 내에 문서를 집합시킬 수도 있다. 이러한 실시예에서, 컴퓨팅 장치(801)는, 문서들이 서로 부딪혀 종이더미 내로 슬라이딩할 때 문서의 충격과 문지르기를 시뮬레이트하기 위해 정전 햅틱 효과를 출력할 수 있다. 일부 실시예에서, 진동-기반의 피드백에 의해 이들 효과 또는 다른 효과들이 생성될 수 있다.
본 개시의 또 다른 실시예에서, 사용자는 자신의 손가락의 긴측을 터치 지원 디스플레이(802)에 맞대어 눌러서 문서(808)에 맞대어 누름으로써 복수의 문서(808)를 이동시킬 수 있다. 이러한 실시예에서, 상이한 문서들과의 충격을 시뮬레이트하기 위해 정전 피드백이 이용될 수 있다. 마찬가지로, 가상 데스크탑(804)의 표면에 맞대어 문지르는 문서(808)를 피드백하기 위해 정전 피드백이 이용될 수 있다. 역시 다른 실시예에서, 컴퓨팅 장치(802)는 문서의 수와 유형에 기초하여 효과의 강도를 변조할 수 있다. 일부 실시예에서, 진동-기반의 피드백에 의해 이들 효과 또는 다른 효과들이 생성될 수 있다.
또한, 일부 실시예에서, 사용자가 아이콘(806), 연필(810) 또는 공(812)과 상호작용할 때 유사한 햅틱 효과가 출력될 수 있다. 예를 들어, 컴퓨팅 장치(801)는, 사용자가 연필(810)을 이용하여 그리거나 필기할 때 인지되는 마찰 계수에서의 변화와 연관된 햅틱 효과를 출력하도록 구성될 수 있다. 마찬가지로, 컴퓨팅 장치(801)는, 사용자가 터치 지원 디스플레이(802)를 가로질러 공(812)을 밀 때 충격을 시뮬레이트하는 햅틱 효과를 출력하도록 구성될 수 있다. 일부 실시예에서, 공(812)은 가상 데스크탑(804) 내의 다른 물체들에 충격을 줄 수 있고, 컴퓨팅 장치(801)는 이들 충격과 연관된 햅틱 효과를 출력하도록 구성될 수 있다.
다른 실시예에서, 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용은 다른 애플리케이션들 내에 병합될 수 있다. 예를 들어, 일부 실시예에서, 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용은 전자 서적, 예를 들어, 전자 서적 내의 텍스트나 그래픽 내에 병합될 수 있다.
이제, 터치 지원 디스플레이(902)를 포함하는 컴퓨팅 장치(901)를 포함하는 도 9를 참조한다. 도 9에 도시된 바와 같이, 터치 지원 디스플레이(902)는, 4개의 그래픽, 즉, 도 9에 도시된 실시예에서는, 4마리의 동물들, 양(904), 늑대(906), 물고기(908), 및 아르마딜로(910)를 포함한다. 또한, 일부 실시예에서, 사용자가 터치 지원 디스플레이(902)의 표면을 가로질러 자신의 손가락을 이동시킬 때, 컴퓨팅 장치(901)는 동물들 각각과 연관된 햅틱 효과를 출력하도록 구성될 수 있다. 일부 실시예에서, 이 햅틱 효과는 인지되는 마찰 계수를 변화(예를 들어, 증가 또는 감소)시키도록 구성된 햅틱 효과를 포함할 수 있다. 다른 실시예에서, 이 햅틱 효과는, 터치 지원 디스플레이(902)의 표면에 출력되는 질감을 포함할 수 있다.
일부 실시예에서, 4마리의 동물들 각각은 상이한 햅틱 효과를 포함할 수 있다. 또한, 일부 실시예에서, 사용자는, 터치 지원 디스플레이(902) 상의 동물 위로 자신의 손가락을 슬라이딩할 때에만 각 동물과 연관된 햅틱 효과를 느낄 수 있다. 또한, 일부 실시예에서, 사용자는 동물의 비-제로 값을 갖는 부분 위로 자신의 손가락을 슬라이딩할 때에만 햅틱 효과를 느낄 수도 있다. 예를 들어, 일부 실시예에서, 그래픽의 알파 채널은 그 그래픽의 투명도를 포함할 수 있다. 이러한 실시예에서, 햅틱 효과는, 그래픽이 제로보다 큰 알파 값을 가질 때에만 출력될 수 있다. 또한, 일부 실시예에서, 비트맵은, 햅틱 효과가 출력되어야 하는지 및 그래픽 내의 어느 위치에서 출력되어야 하는지를 지정할 수 있다. 마찬가지로, 일부 실시예에서, 이 비트맵은 햅틱 효과의 진폭 및 주파수와 연관된 데이터를 포함할 수 있다. 일부 실시예에서, 이 비트맵은 그래픽과 연관된 햅틱 데이터를 포함할 수 있다. 예를 들어, 일부 실시예에서, 햅틱 효과의 진폭 및 주파수는, 색상, 명암, 밝기, 선명도, 명료성, 패턴 또는 그래픽이나 그래픽의 구성 요소와 연관된 어떤 다른 구성 요소 중 하나 이상과 연관될 수 있다. 또한, 일부 실시예에서, 햅틱 정보는 그래픽 내에 임베딩될 수도 있다. 따라서, 예를 들어, 햅틱 효과, 예를 들어, 질감은, 사용자가 그래픽 내의 위치들과 상호작용할 때 출력될 수 있다. 일부 실시예에서, 이들 햅틱 효과는 그래픽의 외관과 연관되지 않을 수도 있다. 예를 들어, 일부 실시예에서, 햅틱 효과와 연관된 햅틱 값을 포함하는 셀들의 격자 또는 어레이는 그래픽의 영역 내에 포함될 수 있다. 따라서, 사용자가 이들 셀들과 연관된 위치와 상호작용할 때, 컴퓨팅 장치는 햅틱 값과 연관된 햅틱 효과를 출력할 수 있다. 일부 실시예에서, 이것은 햅틱 설계자에게, 그래픽과 연관된 영역에서 어떤 햅틱 효과가 지정될 수 있는지에 관해 더 많은 제어를 부여할 수 있다.
일부 실시예에서, 물고기(908)의 몸체는 질감을 포함할 수 있지만, 물고기(908)의 지느러미는 제로값을 포함할 수 있으므로, 질감과 연관되지 않을 수 있다. 또한, 일부 실시예에서, 동물들 각각은 그 동물의 질감과 연관된 햅틱 효과를 포함할 수 있다. 예를 들어, 한 실시예에서, 사용자가 양(904)과 상호작용할 때, 컴퓨팅 장치(901)는 소프트 햅틱 효과를 출력할 수 있다. 일부 실시예에서, 이 햅틱 효과는 75 Hz 정현파를 포함하는 햅틱 신호에 의해 출력될 수 있다. 또한, 이러한 실시예에서, 늑대(906)는 상이하고 더욱 거친 햅틱 효과를 포함할 수 있다. 일부 실시예에서, 이 햅틱 효과는 50% 크기에서의 300 Hz 사각 주기파와 50% 크기에서의 200 Hz 레이트의 스토케스틱(stochastic) 파형을 포함하는 햅틱 신호에 의해 출력될 수 있다. 또한, 일부 실시예에서, 물고기(908)는 비늘과 연관된 햅틱 효과를 포함할 수 있다. 따라서, 사용자는 물고기(908)의 표면을 가로질러 상이한 방향으로 자신의 손가락을 이동시킬 때 상이한 햅틱 효과를 느낄 수 있다. 일부 실시예에서, 이 햅틱 효과는, 물고기(908)의 표면을 가로질러 우측으로 이동할 때 25 픽셀의 피치를 갖는 공간 격자(예를 들어, 사용자 움직임에 기초하여 햅틱 효과의 주파수와 진폭을 변화시키는 것)와 물고기(908)의 표면을 가로질러 좌측으로 이동할 때 75% 진폭에서의 500 Hz 사각 주기파를 포함하는 햅틱 신호에 의해 출력될 수 있다. 또한, 이러한 실시예에서, 아르마딜로(910)는 그 껍질과 연관된 햅틱 효과를 포함할 수 있다. 일부 실시예에서, 이 햅틱 효과는 50 픽셀의 피치를 갖는 공간 격자를 포함하는 햅틱 신호에 의해 출력될 수 있다.
도 9에 관하여 전술된 동물들과 햅틱 효과는 예이다. 당업자라면, (동물, 인간 또는 기타 유형의 물체와 같은) 복수의 물체들 중 임의의 물체가 터치 지원 디스플레이 상에 보여질 수 있다는 것을 인식할 것이다. 또한, 사용자가 이들 물체들 각각과 연관된 터치 지원 디스플레이의 영역과 상호작용할 때 복수의 햅틱 효과들 중 임의의 효과가 출력될 수 있다.
이제, 터치 지원 디스플레이(1002)를 포함하는 컴퓨팅 장치(1001)를 각각 포함하는 도 10a 및 도 10b를 참조한다. 도 10a에 도시된 바와 같이, 터치 지원 디스플레이는 또한, 서리(frost)(1004)의 영역을 디스플레이한다. 사용자가 서리(1004)의 영역과 상호작용할 때, 사용자는 서리(1004)를 털어 낼 수도 있다. 일부 실시예에서, 사용자가 터치 지원 디스플레이(1002)와 상호작용할 때, 서리(1004)의 양은 점진적으로 감소될 수 있다. 또한, 일부 실시예에서, 사용자가 상호작용의 속도를 증가시킬 때, 서리의 제거 속도가 증가될 수 있다. 예를 들어, 한 실시예에서, 각 사용자 상호작용(예를 들어, 사용자 손가락의 각각의 쓸어올림)에 대해 제거되는 서리의 양은 마지막 터치 이벤트 이후의 시간에 따라 10% 내지 30%에서 선형적으로 변한다. 예를 들어, 한 실시예에서, 사용자가 서리(1004)를 처음 터치할 때, 50 픽셀 반경과 10% 강도의 원반이 사용자가 터치하는 서리(1004)의 영역으로부터 제거될 수 있다. 또한, 이러한 실시예에서, 사용자가 후속해서 서리(1004)를 터치할 때, 터치 위치 뿐만 아니라 현재와 이전의 터치 위치 사이의 대역에서도 원반이 마찬가지로 제거될 수 있다. 일부 실시예에서, 제거되는 서리(1004)의 강도는 10% 내지 30%까지 변한다. 일부 실시예에서, 이것은 사용자가 신속하게 움직인다면, 치워진 경로에서 간극이 없을 것임을 보장한다.
도 10b를 참조하면, 일단 사용자가 서리를 충분히 털어 내고 나면, 사용자는 또 다른 물체를 노출시킬 수 있다. 도 10b에 도시된 실시예에서, 사용자는 서리를 털어 내어 괴물(1006)을 노출시켰다. 일부 실시예에서, 컴퓨팅 장치(1001)는, 사용자가 서리(1004) 및 괴물(1006)과 상호작용할 때 하나 이상의 햅틱 효과를 출력하도록 구성될 수 있다. 일부 실시예에서, 이 햅틱 효과는 인지되는 마찰 계수를 변화(예를 들어, 증가 또는 감소)시키도록 구성된 햅틱 효과를 포함할 수 있다. 다른 실시예에서, 이 햅틱 효과는, 터치 지원 디스플레이(1002)의 표면에 출력되는 질감을 포함할 수 있다. 일부 실시예에서, 서리와 연관된 햅틱 효과는, 서리의 현재 레벨(예를 들어, 사용자가 얼마나 서리를 제거했는지)에 따라 선형적으로 변하는 크기를 갖는 200 Hz 사각 주기파와 연관된 햅틱 효과일 수 있다. 마찬가지로, 서리(1004)를 털어낸 후에, 사용자는 괴물(1006)과 연관된 햅틱 효과를 느낄 수 있다. 일부 실시예에서, 이 햅틱 효과는 50% 크기에서의 300 Hz 사각 주기파와 50% 크기에서의 200 Hz 레이트의 스토케스틱 파형을 포함하는 햅틱 신호에 의해 출력될 수 있다.
이제, 터치 지원 디스플레이(1102)를 포함하는 컴퓨팅 장치(1101)를 각각 포함하는 도 11a 내지 도 11c를 참조한다. 도 11a는 2개의 로프(1104)에 의해 매달린 자동차를 더 포함한다. 도 11a에 도시된 실시예에서, 좌측의 로프는 얇은 반면, 우측의 로프는 두껍다. 이러한 실시예에서, 좌측의 얇은 로프는 쓸어올림 제스쳐에 의해 절단될 수 있다. 대조적으로, 우측의 로프는 두껍고 로프의 절단은 톱 아이콘과의 반복된 후방 및 전방 제스쳐를 요구할 수 있다. 일부 실시예에서, 톱 아이콘은 톱 아이콘과 연관된 터치 지원 디스플레이(1102)의 영역을 터치함으로써 선택될 수 있다.
도 11a에 도시된 실시예에서, 사용자는 톱 아이콘으로 두꺼운 로프를 절단하는 과정에 있다. 일부 실시예에서, 두꺼운 로프는, 로프를 절단하는데 요구되는 이동의 픽셀수와 연관된 두께를 가질 수 있다. 한 실시예에서, 두꺼운 로프는 1700의 초기 강도를 포함할 수 있다. 일부 실시예에서, 이것은 로프를 절단하기 위해 사용자는 톱으로 로프 위에서 1700 픽셀의 움직임을 행해야 한다는 것을 의미한다. 일부 실시예에서, 이것은 톱을 이용한 10회의 풀 스트로크(full stroke)일 수 있다. 또한, 이러한 실시예에서, 톱이 움직일 때마다, 로프의 길이로부터 톱이 주파한 거리가 감산된다. 이러한 실시예에서, 강도가 제로에 도달하면, 톱은 사라지고 로프는 점진적으로 사라진다. 일부 실시예에서, 이 점진적 희미해짐은 초기의 60% 강도로까지 떨어지는데 0.3초의 사라짐 시간을 포함할 수 있다.
도 11b에 도시된 바와 같이, 일단 사용자가 두꺼운 로프를 절단하고 나면, 두꺼운 로프와 연관되었던 자동차(1104)의 우측이 아래로 떨어진다. 또한, 이러한 실시예에서, 얇은 로프는, 얇은 로프와 연관된 터치 지원 디스플레이(1102)의 구획 위에서의 사용자의 손가락의 1회의 쓸어올림에 의해 절단될 수 있다. 일부 실시예에서, 얇은 로프가 절단되면, 얇은 로프는 사라지고 두꺼운 로프와 동일한 방식으로 자동차를 내려 놓게 된다.
도 11c에 도시된 바와 같이, 일단 양쪽 로프가 절단되고 나면, 자동차(1104)는 바닥에 떨어진다. 일부 실시예에서, 일단 자동차(1104)가 땅에 떨어지고 나면, 자동차는 소정 기간 동안 터치 지원 디스플레이(1102) 상에서 디스플레이되어 유지된다. 일부 실시예에서, 소정 기간이 경과하고 나면, 자동차(1104)는 스크린으로부터 우측이나 좌측으로 이동될 수 있다. 예를 들어, 한 실시예에서, 양쪽 로프가 절단되면, 자동차는 0.5초간 스크린 상에 머문 후에, 예를 들어, 2000 픽셀/초의 속도로 이동할 수 있다.
일부 실시예에서 로프들 각각은, 사용자가 로프와 연관된 터치 지원 디스플레이(1102)의 구획과 상호작용할 때 컴퓨팅 장치(1101)가 출력하는 연관된 햅틱 효과를 포함한다. 또한, 일부 실시예에서, 로프가 절단될 때 또는 자동차(1104)가 바닥과 부딪힐 때 별개의 햅틱 효과가 출력될 수 있다. 예를 들어, 일부 실시예에서, 사용자가 두꺼운 로프와 상호작용할 때, 컴퓨팅 장치(1101)는 톱이 사용될 때 30 픽셀의 피치를 갖는 공간 격자와 연관된 햅틱 효과를 출력할 수 있다. 또한, 일부 실시예에서, 공간 격자의 강도는, 톱의 각각의 쓸어올림이 로프 위를 지날 때 100% 내지 40%까지 선형적으로 떨어질 수 있다. 또한, 일부 실시예에서, 각 로프가 절단될 때, 컴퓨팅 장치(1101)는 별개의 효과를 출력할 수 있다. 예를 들어, 한 실시예에서, 절단시 양쪽 로프는 50 ms 일시적 펄스와 연관될 수 있다.
이제, 터치 지원 디스플레이(1202)를 포함하는 컴퓨팅 장치(1201)를 각각 포함하는 도 12a 및 도 12b를 참조한다. 도 12a는 탭(1204)을 포함하는 대화형 가상 종이책(paper book)을 포함한다. 도 12a 및 도 12b에 도시된 바와 같이, 사용자는 (도 12a 및 도 12b에서 서핑하는 개로서 도시된) 물체를 움직이기 위해 탭(1204)과 상호작용할 수 있다. 일부 실시예에서, 탭(1204)은 가상 얼음과자 스틱과 유사한 외관을 포함할 수 있다. 다른 실시예에서, 탭(124)은 상이한 외관(예를 들어, 종이, 금속, 놉, 또는 어떤 다른 물체)을 포함할 수 있다.
일부 실시예에서, 컴퓨팅 장치(1201)는 사용자가 탭(1204)과 상호작용할 때마다 햅틱 효과를 출력하도록 구성될 수 있다. 예를 들어, 한 실시예에서, 컴퓨팅 장치(1201)는, 사용자가 탭(1204)과 상호작용할 때마다 50 ms 펄스를 포함하는 햅틱 신호와 연관된 햅틱 효과를 출력하도록 구성될 수 있다. 마찬가지로, 일부 실시예에서, 물체가 움직이고 있을 때마다 또 다른 햅틱 효과가 출력된다. 일부 실시예에서, 이 햅틱 효과는 인지되는 마찰 계수를 변화(예를 들어, 증가 또는 감소)시키는 것과 연관된 햅틱 효과를 포함할 수 있다. 마찬가지로, 일부 실시예에서, 햅틱 효과는 질감과 연관된 햅틱 효과를 포함할 수 있다. 한 실시예에서, 햅틱 효과는 50% 크기에서의 100 Hz 정현파와 50% 크기에서의 100 Hz 스토케스틱 효과를 포함하는 햅틱 신호와 연관된 효과를 포함할 수 있다.
이제, 터치 지원 디스플레이(1302)를 포함하는 컴퓨팅 장치(1301)를 각각 포함하는 도 13a 및 도 13b를 참조한다. 도 13a는 대화형 가상 금고(1304)를 포함한다. 도 13a에 도시된 실시예에서, 사용자는 가상 금고(1304)와 상호작용함으로써 가상 금고(1304)를 잠금해제할 수 있다. 일부 실시예에서, 이 상호작용은 가상 금고(1304)의 다이얼을 돌리는 것을 포함할 수 있다. 예를 들어, 한 실시예에서, 사용자는 표준 다이얼 기반의 잠금장치에서와 같이 (예를 들어, 다양한 프리셋 좌표에 대해 좌 및 우로 다이얼을 돌림으로써) 가상 금고(1304)에서의 번호를 입력할 수 있다. 일부 실시예에서, 컴퓨팅 장치(1301)는 가상 금고(1304)의 번호에 관한 힌트를 제공하기 위해 화살표를 디스플레이하도록 구성될 수 있다. 예를 들어, 한 실시예에서, 화살표는 사용자가 가상 금고(1304)를 잠금해제하기 위해 잘못된 방향으로 다이얼을 움직일 때마다 점진적으로 페이드 인(fade in)하고 페이드 아웃(fade out)할 수 있다. 한 실시예에서, 이들 화살표는, 잘못된 방향으로 움직일 때 불투명도에서 초당 5% 속도로 증가하고, 올바른 방향으로 움직일 때 초당 20% 속도로 사라질 수 있다.
도 13b는 사용자가 가상 금고(1306)를 열어 둔 실시예를 도시한다. 이러한 실시예에서, 사용자는 문을 밀고 꽝 닫는 상호작용에 의해 가상 금고(1306)를 닫을 수 있다. 또한, 일부 실시예에서, 사용자는 또한 다이얼을 돌림으로써 금고를 잠글 수 있다.
일부 실시예에서, 컴퓨팅 장치(1301)는 사용자가 금고(1304)의 상이한 구성요소들과 상호작용할 때 상이한 효과들을 출력할 수 있다. 예를 들어, 한 실시예에서, 사용자가 문과 상호작용할 때, 컴퓨팅 장치는 75 Hz 정현파를 포함하는 햅틱 신호와 연관된 햅틱 효과를 출력할 수 있다. 마찬가지로, 컴퓨팅 장치(1301)는 금고를 열거나 닫는 것과 연관된 상이한 햅틱 효과를 출력할 수 있다. 또한, 사용자가 금고의 다이얼과 상호작용할 때, 컴퓨팅 장치(1301)는 도 3a 내지 도 3c에 관해 전술된 것과 유사한 햅틱 효과를 출력하도록 구성될 수 있다.
일부 실시예에서, 터치 지원 디스플레이는 햅틱 효과가 출력될 것인지의 여부를 제어하도록 구성될 수 있는 아이콘을 포함할 수 있다. 일부 실시예에서, 이 아이콘은, 사용자가 햅틱 효과를 온 또는 오프하기 위해 상호작용할 수 있는 버턴, 플래그, 또는 아이콘과 같은 위젯을 포함할 수 있다. 또한, 일부 실시예에서, 사용자는 특정한 위치의 아이콘을 셋팅함으로써(예를 들어, 가상 스위치를 소정 포인트로 밀거나, 가상 플래그를 특정 위치에 밀거나/잡아당김으로써) 햅틱 효과의 강도를 변화시킬 수 있다. 일부 실시예에서, 컴퓨팅 장치는 사용자가 이 위젯과 상호작용할 때 햅틱 효과를 출력하도록 구성될 수 있다.
역시 다른 실시예에서, 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용은 게임들 내에 병합될 수 있다. 예를 들어, 게임은 정합하는 정전 기반의 효과에 의해 보강될 수 있는 물리적 상호작용을 종종 포함할 수 있다. 예를 들어, 한 실시예에서, 사용자가 가상 새총, 예를 들어, 소정 그룹의 물체들 중 한 물체를 쏘아 맞추는 게임에서 새총을 뒤로 잡아 당길 때, 컴퓨팅 장치는 저항 증가와 연관된 효과를 출력할 수 있다. 마찬가지로, 사용자가 가상 새총을 릴리스하지 않고, 대신에 새총에 관한 장력을 점진적으로 감소시킬 때, 컴퓨팅 장치는 대신에, 감소된 장력을 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 한 실시예에서, 이 효과는 감소되는 질감 또는 감소되는 마찰 계수를 시뮬레이트하도록 구성된 효과를 포함할 수 있다. 예를 들어, 이러한 햅틱 효과는 정전 액추에이터 또는 (예를 들어, 20 kHz보다 큰) 초음파 주파수에서 진동하도록 구성된 액추에이터에 의해 출력될 수 있다.
다른 실시예에서, 햅틱 효과는 절단의 느낌을 시뮬레이트하기 위해 출력될 수 있다. 예를 들어, 터치 스크린 게임에서 사용자가 사용자의 손가락의 쓸어올림 제스쳐를 이용하여 물체를 슬라이스(slice)하는 게임을 들 수 있다. 본 개시의 일부 실시예에서, 이들 상호작용은 물체와 사용자의 상호작용과 연관된 효과를 출력하는 정전적 또는 진동-기반의 효과로 보강될 수 있다. 또한, 일부 실시예에서, 제2 효과는 슬라이싱 동안에 물체를 시뮬레이트하기 위해 출력될 수 있다.
역시 다른 실시예에서, 햅틱 효과는 슬라이딩의 느낌을 시뮬레이트하기 위해 출력될 수 있다. 예를 들어, 스크린에 대해 슬라이딩하거나 서로에 대해 슬라이딩하는 물체들을 포함하는 게임에서, 이러한 상호작용을 시뮬레이트하기 위해 햅틱 효과가 출력될 수 있다. 예를 들어, 한 실시예에서, 통나무들이 그들의 장축을 따라 이동할 때, 서로에 맞댄 통나무들의 문질러짐을 시뮬레이트하도록 구성된 질감을 시뮬레이트하기 위해 정전 효과가 출력될 수 있다. 마찬가지로, 한 통나무가 다른 통나무나 장벽과 부딪히는 충격을 모사하기 위해 정전 펄스가 이용될 수 있다. 다른 실시예에서, 터치 스크린의 표면을 가로질러 자신의 손가락을 드래그할 때 사용자가 인지하는 마찰 계수를 변화시키기 위해 정전 효과가 출력될 수 있다. 다른 실시예에서, 고주파 진동을 이용하여 유사한 효과가 출력될 수 있다.
역시 다른 실시예에서, 특정 위치에서 종료하는 것, 또는 "도킹"하는 것을 시뮬레이트하기 위해 햅틱 효과가 출력될 수 있다. 예를 들어, 비행 시뮬레이터 게임에서, 들어오는 비행기에 대한 사용자 추적 경로(user trace path)는 비행기가 정확하게 접근하고 있다는 것을 사용자에게 확인시키는 햅틱 효과를 더 포함할 수 있다. 이러한 실시예에서, 정전 효과는 시뮬레이트된 질감을 생성하거나 사용자가 느끼는 마찰 계수를 변화시킬 수 있다. 마찬가지로, 햅틱 효과는 활주로에 비행기가 착륙할 때의 충격을 모사할 수 있다.
본 개시의 컴퓨팅 장치는 복수의 햅틱 효과들 중 하나 이상을 출력하도록 구성될 수 있다. 일부 실시예에서, 이들 햅틱 효과는 질감들과 연관될 수 있다. 일부 실시예에서, 이 질감은 액체, 예를 들어, 물, 기름, 페인트, 또는 어떤 다른 유형의 액체의 질감을 포함할 수 있다. 이러한 실시예에서, 사용자의 손가락이 터치 지원 디스플레이의 상부 위로 이동할 때, 이러한 이동은 액체를 교란시킬 수 있다. 한 실시예에서, 이것은 터치 지원 디스플레이의 표면 상에서 볼 수 있는 잔물결 또는 기타의 섭동을 생성할 수 있다. 또한, 이러한 실시예에서, 컴퓨팅 장치는 잔물결이나 섭동을 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 예를 들어, 한 실시예에서, 잔물결은 평활 정전 마찰 격자를 통해 느껴질 수 있다. 또 다른 실시예에서, 터치 지원 디스플레이의 표면 상에서의 질감을 시뮬레이트하거나 마찰 계수를 변화시키도록 구성된 햅틱 효과가 출력될 수 있다. 이 햅틱 효과는 액체에서의 잔물결 또는 기타 유형의 섭동의 존재를 시뮬레이트할 수 있다.
또 다른 실시예에서, 질감은 열 또는 불과 연관된 질감을 포함할 수 있다. 이러한 실시예에서, 사용자의 손가락이 터치 지원 디스플레이의 상부 위로 이동할 때, 이러한 이동은 불꽃을 교란시킬 수 있다. 또한, 일부 실시예에서, 햅틱 효과는 불꽃의 강도를 시뮬레이트할 수 있다. 예를 들어, 불꽃의 존재를 시뮬레이트하기 위해 질감을 시뮬레이트하거나 마찰 계수를 변화시키도록 구성된 햅틱 효과가 출력될 수 있다. 일부 실시예에서, 이 햅틱 효과는 정전 액추에이터에 의해 출력될 수도 있다. 다른 실시예에서, 이것은 초음파 주파수에서 진동하는 액추에이터에 의해 출력될 수 있다.
또 다른 실시예에서, 질감은 컴퓨팅 장치의 터치 지원 디스플레이 상에서 입상 재료(granular material), 예를 들어, 모래, 자갈, 또는 분말과 연관된 질감을 포함할 수 있다. 이러한 실시예에서, 사용자의 손가락이 터치 지원 디스플레이의 표면을 가로질러 이동할 때, 손가락은 입상 재료 더미와 상호작용한다. 사용자가 입상 재료와 상호작용할 때, 컴퓨팅 장치는 이 상호작용을 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 예를 들어, 한 실시예에서, 입상 재료의 슬라이딩은 입자적 합성에 의해 생성되는 시뮬레이트된 질감과 같은, 정전 피드백의 정합을 수반한다. 다른 실시예에서, 햅틱 효과는 초음파 주파수에서 진동하는 액추에이터에 의해 출력될 수 있다. 일부 실시예에서, 햅틱 효과는 터치 지원 디스플레이의 표면 상에서 질감을 시뮬레이트하도록 구성된다. 다른 실시예에서, 터치 지원 디스플레이의 표면 상에서 사용자가 느끼는 마찰 계수를 변화시키도록 구성된다.
또 다른 실시예에서, 질감은, 예를 들어, 컴퓨팅 장치의 터치 지원 디스플레이 상에서 물이나 분말과 같은 침전물과 연관될 수 있다. 이러한 실시예에서, 사용자의 손가락이 터치 지원 디스플레이의 표면을 가로질러 이동할 때, 손가락은 침전물과 상호작용한다. 한 실시예에서, 손가락이 표면을 가로질러 문질러질 때(rub), 마찰을 변조하기 위해, 예를 들어, 기저의 잔디 표면이 드러날 때 마찰을 증가시키기 위해 정전 효과가 이용될 수 있다. 다른 실시예에서, 또 다른 유형의 액추에이터가 이용될 수 있다. 역시 다른 실시예에서, 햅틱 효과는 터치 지원 디스플레이의 표면 상에서 연관된 질감을 시뮬레이트하도록 구성될 수 있다.
상기 실시예들은 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용의 실시예들이다. 다른 실시예에서, 추가의 효과들이 출력될 수 있다. 에를 들어, 본 개시의 실시예들은 터치 지원 디스플레이의 표면 상에서 염주(worry bead)를 시뮬레이트하는데 이용될 수 있다. 이러한 실시예에서, 염주의 서로간의 충격 뿐만 아니라 배경에 대한 염주의 슬라이딩을 시뮬레이트하기 위해 정전 마찰이 이용될 수 있다. 또 다른 실시예에서, 디스플레이 상에 버블 랩(bubble wrap)이 표시되고, 사용자는 이들과 상호작용함으로써 기포를 터뜨릴 수 있다. 이러한 실시예에서, 사용자가 각 기포에 대해 손가락을 슬라이딩할 때 햅틱 효과가 출력될 수 있다.
햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용의 이점
햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용은 많은 이점이 있다. 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용은 사용자가 장치를 보지 않고도 상태 결정을 내리는 것(예를 들어, 장치가 처해 있는 모드를 결정)을 허용할 수 있다. 따라서, 사용자는 다른 작업에 대한 집중을 유지할 수 있다. 예를 들어, 사용자는, 디스플레이에 시각적으로 집중하지 않고도 사용자 인터페이스 상에서 이용가능한 동작들에 관하여 결정을 내릴 수 있다. 마찬가지로, 햅틱 효과는, 동작이 이용가능하다, 동작이 완료되었다, 또는 동작이 소정 레벨의 중요도를 갖고 있다는 확인으로서 역할할 수 있다.
다른 실시예에서, 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용은 사용자가 소프트웨어 및 사용자 인터페이스를 더욱 효과적으로 이용하는 것을 가능케 할 수 있다. 예를 들어, 사용자는, 디스플레이에 시각적으로 집중하지 않고도 프로그램에서 이용가능한 동작들에 관하여 결정을 내릴 수 있다. 또한, 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용은 터치 스크린 장치가 종래의 스위치를 대체하는 것을 허용할 수 있다. 이것은 터치 스크린 기반의 장치가 다기능 제어기로서 동작하는 것을 허용할 수 있다. 이것은 터치 스크린 기반의 장치가 이전에 사용되지 않은 장소에서 사용될 수 있게 허용할 수 있다. 이것은 비용을 줄이고, 전반적인 사용자 만족을 증가시킬 수 있다.
일반적 고찰
전술된 방법, 시스템, 및 장치들은 예이다. 다양한 구성들이 생략되거나, 대체되거나, 필요하다면 다양한 프로시져나 컴포넌트들을 추가할 수 있다. 예를 들어, 대안적 구성에서, 방법은 설명된 것과는 상이한 순서로 수행될 수 있고, 및/또는 다양한 단계들이 추가되거나, 생략되거나, 및/또는 결합될 수 있다. 또한, 소정 구성에 관하여 설명된 피쳐들은 다양한 다른 구성들에서 결합될 수 있다. 구성의 상이한 양태들 및 요소들은 유사한 방식으로 결합될 수 있다. 또한, 기술은 진보하기 때문에, 많은 요소들은 예일 뿐이고, 본 발명 또는 청구항의 범위를 제한하지 않는다.
예시적 (구현을 포함한) 구성의 철저한 이해를 제공하기 위해 특정한 세부사항이 상세한 설명에 제공되었다. 그러나, 구성은 이들 구체적인 세부사항 없이도 실시될 수 있다. 예를 들어, 공지된 회로, 프로세스, 알고리즘, 구조, 및 기술들은, 구성을 불명확하게하는 것을 피하기 위해 불필요한 부분을 제외하고 도시되었다. 본 설명은 예시적인 구성만을 제공하며, 청구항의 범위, 적용가능성, 또는 구성을 제한하지 않는다. 오히려, 구성에 관한 상기의 설명은 당업자에게 설명된 기술을 구현하기 위한 지원 설명을 제공할 것이다. 본 발명의 사상이나 범위로부터 벗어나지 않고 요소들의 배열 및 기능에 있어서 다양한 변경이 이루어질 수 있다.
또한, 구성은 흐름도 또는 블록도로서 도시되어 있는 프로세스로서 설명될 수 있다. 각각이 순차적 프로세스로서 동작들을 설명하고 있지만, 많은 동작들은 병렬로 또는 동시에 수행될 수 있다. 또한, 동작의 순서는 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 추가 단계들을 포함할 수 있다. 또한, 방법의 예들은, 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어(hardware description language) 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현될 때, 필요한 작업을 수행하는 프로그램 코드나 코드 세그먼트들은 저장 매체와 같은 비일시적 컴퓨터-판독가능한 매체에 저장될 수 있다. 프로세서들은 설명된 작업들을 수행할 수 있다.
수 개의 예시적 구성을 설명했지만, 본 발명의 사상으로부터 벗어나지 않고 다양한 수정, 대안적인 구조, 및 등가물이 이용될 수 있다. 예를 들어, 상기 요소들은 더 큰 시스템의 컴포넌트들일 수 있고, 여기서, 다른 규칙들이 주도권을 쥐거나 본 발명의 적용을 기타의 방식으로 수정할 수 있다. 또한, 상기 요소들이 고려되기 이전에, 상기 요소들이 고려되는 동안에, 또는 상기 요소들이 고려된 이후에, 다수의 단계들이 취해질 수 있다. 따라서, 상기 설명은 청구항의 범위를 제한하지 않는다.
본 명세서에서 "~하도록 적응된" 또는 "~하도록 구성된"이라는 표현의 사용은, 추가의 작업이나 단계를 수행하도록 적응되거나 구성된 장치를 배제하지 않는 개방적이고 포함적인 용어(open and inclusive language)를 의미한다. 추가적으로, "~에 기초한"이라는 표현의 사용은, 하나 이상의 기재된 조건이나 값들에 "기초한" 프로세스, 단계, 계산, 또는 기타의 동작은 사실상 기재된 것 이외의 추가적인 조건이나 값들에 기초할 수 있다는 점에서, 개방적이고 포괄적인 것을 의미한다. 본 명세서에 포함된 제목, 목록, 및 번호매김은 설명의 편의를 위한 것일 뿐이고 제한을 의미하는 것은 아니다.
본 요지의 양태들에 따른 실시예들은, 디지털 전자 회로, 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 한 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는, 프로세서에 결합된 랜덤 액세스 메모리(RAM)와 같은, 컴퓨터-판독가능한 매체를 포함하거나 이에 액세스한다. 프로세서는, 센서 샘플링 루틴, 선택 루틴, 및 전술된 방법을 수행하기 위한 기타의 루틴을 포함한 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같은, 메모리에 저장된 컴퓨터-실행가능한 프로그램 명령어를 실행한다.
이러한 프로세서들은, 마이크로프로세서, 디지털 신호 처리기(DSP), 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 및 상태 머신을 포함할 수 있다. 이러한 프로세서들은, PLC, PIC(programmable interrupt controller), PLD(programmable logic device), PROM(programmable read-only memory), EPROM 또는 EEPROM(electronically programmable read-only memory), 또는 기타의 유사한 장치와 같은 프로그래머블 전자 장치를 더 포함할 수 있다.
이러한 프로세서들은, 예를 들어, 프로세서에 의해 실행될 때, 프로세서로 하여금 본 명세서에 설명된 단계들을 수행하게 하는, 프로세서에 의해 실행되거나 보조되는 명령어들을 저장할 수 있는 매체, 예를 들어 유형의 컴퓨터-판독가능한 매체를 포함하거나 이와 통신할 수 있다. 컴퓨터 판독가능한 매체의 예로서는, 모든 전자적, 광학적, 자기적, 또는 웹 서버 내의 프로세서와 같은 프로세서에 컴퓨터 판독가능한 명령어를 제공할 수 있는 기타의 저장 장치를 포함하지만, 이것으로 제한되지 않는다. 매체의 다른 예로서는, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 기타의 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 기타 임의의 매체가 포함되지만, 이것으로 제한되지 않는다. 또한, 다양한 다른 장치들은, 라우터, 사설 또는 공중망, 또는 기타의 전송 장치와 같은 컴퓨터-판독가능한 매체를 포함할 수 있다. 설명된 프로세서, 프로세싱은 하나 이상의 구조일 수 있고, 하나 이상의 구조를 통해 분산될 수 있다. 프로세서는 본 명세서에 설명된 방법(또는 방법의 일부)들 중 하나 이상을 실행하기 위한 코드를 포함할 수 있다.
본 요지가 특정한 실시예에 관하여 상세히 설명되었지만, 당업자라면 상기 내용의 이해를 통해, 이러한 실시예들의 수정, 변형, 및 등가물들을 용이하게 생성할 수 있을 것이라는 것을 이해할 것이다. 따라서, 본 발명은 제한이 아닌 예시의 목적을 위해 제공되었고, 당업자에게 용이하게 명백한 바와 같이, 본 요지에 대한 이러한 수정, 변형, 및/또는 추가의 포함을 배제하지 않는다는 것을 이해하여야 한다.

Claims (21)

  1. 터치 표면과의 사용자 상호작용을 검출하고 상기 사용자 상호작용과 연관된 센서 신호를 전송하도록 구성된 센서;
    상기 센서와 통신하는 프로세서로서,
    상기 센서 신호에 기초하여 상기 사용자 상호작용의 위치를 결정하고,
    상기 사용자 상호작용의 상기 위치와 연관된 피쳐(feature)를 결정하며,
    상기 피쳐와 연관된 장치를 제어하고,
    부분적으로 상기 사용자 상호작용에 기초하여 디스플레이 신호를 수정하며,
    적어도 부분적으로 상기 사용자 상호작용 및 상기 위치에 기초하여 생성하려는 햅틱 효과(haptic effect) ―상기 햅틱 효과는 상기 피쳐를 시뮬레이트하도록 선택됨― 를 선택하고,
    상기 햅틱 효과를 생성하기 위해 햅틱 신호를 전송하도록 구성된, 상기 프로세서; 및
    상기 프로세서와 통신하고 상기 터치 표면에 결합되며, 상기 햅틱 신호를 수신하고 상기 햅틱 효과를 출력하도록 구성된 햅틱 출력 장치
    를 포함하는, 시스템.
  2. 제1항에 있어서, 상기 햅틱 효과는 상기 터치 표면 상에서의 시뮬레이트되는 질감 또는 마찰 계수를 변화시키도록 구성된 효과를 포함하는, 시스템.
  3. 제1항에 있어서, 상기 햅틱 출력 장치는 정전기장(electrostatic field)을 생성하도록 구성된 장치를 포함하는, 시스템.
  4. 제1항에 있어서, 디스플레이는 상기 센서를 포함하는, 시스템.
  5. 제1항에 있어서, 상기 피쳐는 가상 데스크탑 내의 파일과 연관된, 시스템.
  6. 제5항에 있어서, 상기 햅틱 효과는 상기 파일을 이동시키는 것과 연관된, 시스템.
  7. 제1항에 있어서, 상기 피쳐는 게임 내의 물체와 연관된, 시스템.
  8. 제7항에 있어서, 상기 햅틱 효과는 상기 물체의 움직임과 연관된, 시스템.
  9. 제1항에 있어서, 상기 피쳐는 시뮬레이트된 입력 장치와 연관된, 시스템.
  10. 제9항에 있어서, 상기 시뮬레이트된 입력 장치는: 가상 스위치, 가상 슬라이더, 가상 버턴, 가상 조이스틱, 가상 마우스, 또는 가상 다이얼 중 하나 이상을 포함하는, 시스템.
  11. 제9항에 있어서, 상기 시뮬레이트된 입력 장치는 상기 시스템의 기능을 제어하도록 구성된, 시스템.
  12. 터치 표면과의 사용자 상호작용을 검출하는 단계;
    상기 사용자 상호작용과 연관된 센서 신호를 전송하는 단계;
    상기 사용자 상호작용의 위치와 연관된 피쳐를 결정하는 단계;
    상기 피쳐와 연관된 장치를 제어하는 단계;
    부분적으로 상기 사용자 상호작용에 기초하여 디스플레이 신호를 수정하는 단계;
    적어도 부분적으로 상기 사용자 상호작용 및 상기 위치에 기초하여 생성하려는 햅틱 효과 ―상기 햅틱 효과는 상기 피쳐를 시뮬레이트하도록 선택됨― 를 선택하는 단계; 및
    상기 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 장치에 전송하는 단계
    를 포함하는, 방법.
  13. 제12항에 있어서, 상기 햅틱 효과는 상기 터치 표면 상에서의 시뮬레이트되는 질감 또는 마찰 계수를 변화시키도록 구성된 효과 중 하나를 포함하는, 방법.
  14. 제12항에 있어서, 상기 피쳐는 가상 데스크탑 내의 파일과 연관된, 방법.
  15. 제13항에 있어서, 상기 햅틱 효과는 상기 파일을 이동시키는 것과 연관된, 방법.
  16. 제12항에 있어서, 상기 피쳐는 게임 내의 캐릭터(character)와 연관된, 방법.
  17. 제16항에 있어서, 상기 햅틱 효과는 상기 캐릭터의 움직임과 연관된, 방법.
  18. 제12항에 있어서, 상기 피쳐는 시뮬레이트된 입력 장치와 연관된, 방법.
  19. 제18항에 있어서, 상기 시뮬레이트된 입력 장치는: 가상 스위치, 가상 슬라이더, 가상 버턴, 가상 조이스틱, 가상 마우스, 또는 가상 다이얼을 포함하는, 방법.
  20. 제18항에 있어서, 상기 시뮬레이트된 입력 장치는 시스템의 기능을 제어하도록 구성된, 방법.
  21. 프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능한 매체로서, 상기 프로그램 코드는, 프로세서에 의해 실행될 때 상기 프로세서로 하여금:
    터치 표면과의 사용자 상호작용을 검출하고;
    상기 사용자 상호작용과 연관된 센서 신호를 전송하며;
    상기 사용자 상호작용의 위치와 연관된 피쳐를 결정하고;
    상기 피쳐와 연관된 장치를 제어하며;
    부분적으로 상기 사용자 상호작용에 기초하여 디스플레이 신호를 수정하고,
    적어도 부분적으로 상기 사용자 상호작용에 기초하여 생성하려는 햅틱 효과 ―상기 햅틱 효과는 상기 피쳐를 시뮬레이트하도록 선택되고, 상기 햅틱 효과는 상기 터치 표면 상에서의 시뮬레이트되는 질감 또는 마찰 계수를 변화시키도록 구성된 효과를 포함함― 를 선택하고;
    상기 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 장치에 전송하게 하도록 구성된, 비일시적 컴퓨터 판독가능한 매체.
KR20130139259A 2012-11-20 2013-11-15 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 시스템 및 방법 KR20140064647A (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201261728727P 2012-11-20 2012-11-20
US201261728665P 2012-11-20 2012-11-20
US201261728661P 2012-11-20 2012-11-20
US61/728,665 2012-11-20
US61/728,661 2012-11-20
US61/728,727 2012-11-20
US13/830,087 US9330544B2 (en) 2012-11-20 2013-03-14 System and method for simulated physical interactions with haptic effects
US13/830,087 2013-03-14

Publications (1)

Publication Number Publication Date
KR20140064647A true KR20140064647A (ko) 2014-05-28

Family

ID=49584603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130139259A KR20140064647A (ko) 2012-11-20 2013-11-15 햅틱 효과를 동반한 시뮬레이트된 물리적 상호작용을 위한 시스템 및 방법

Country Status (5)

Country Link
US (2) US9330544B2 (ko)
EP (2) EP2733576A1 (ko)
JP (2) JP6499392B2 (ko)
KR (1) KR20140064647A (ko)
CN (2) CN108897424A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190027781A (ko) * 2016-07-12 2019-03-15 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 촉각 피드백을 가진 터치스크린 제어 장치
KR20200071721A (ko) * 2017-10-24 2020-06-19 마이크로칩 테크놀로지 인코포레이티드 구성 가능한 가상 위젯들을 포함하는 터치 감지 사용자 인터페이스
KR20210068974A (ko) * 2019-12-02 2021-06-10 한국과학기술원 고대역폭 고해상도 질감 표현을 위한 이중 계층 햅틱 모델을 제공하는 전자 장치 및 그의 동작 방법

Families Citing this family (161)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US8525778B2 (en) * 2007-03-21 2013-09-03 Northwestern University Haptic device with controlled traction forces
KR101404367B1 (ko) 2008-07-15 2014-06-20 임머숀 코퍼레이션 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
WO2012177719A2 (en) * 2011-06-21 2012-12-27 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
US9339691B2 (en) 2012-01-05 2016-05-17 Icon Health & Fitness, Inc. System and method for controlling an exercise device
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US10504339B2 (en) * 2013-02-21 2019-12-10 Immersion Corporation Mobile device with instinctive alerts
US9189098B2 (en) 2013-03-14 2015-11-17 Immersion Corporation Systems and methods for syncing haptic feedback calls
EP2969058B1 (en) 2013-03-14 2020-05-13 Icon Health & Fitness, Inc. Strength training apparatus with flywheel and related methods
US20140267035A1 (en) * 2013-03-15 2014-09-18 Sirius Xm Connected Vehicle Services Inc. Multimodal User Interface Design
US9041647B2 (en) 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
US20140292668A1 (en) * 2013-04-01 2014-10-02 Lenovo (Singapore) Pte. Ltd. Touch input device haptic feedback
US9672553B2 (en) * 2013-04-15 2017-06-06 Ebay Inc. Searchable texture index
WO2014201151A1 (en) 2013-06-11 2014-12-18 Immersion Corporation Systems and methods for pressure-based haptic effects
US9729730B2 (en) 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
US9304667B2 (en) * 2013-07-12 2016-04-05 Felix Houston Petitt, JR. System, devices, and platform for education, entertainment
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
WO2015045063A1 (ja) * 2013-09-26 2015-04-02 富士通株式会社 駆動制御装置、電子機器、及び駆動制御方法
KR101516926B1 (ko) * 2013-09-26 2015-05-04 후지쯔 가부시끼가이샤 구동 제어 장치, 전자 기기 및 구동 제어 방법
CN105683865B (zh) 2013-09-30 2018-11-09 苹果公司 用于触觉响应的磁性致动器
US10328344B2 (en) 2013-10-11 2019-06-25 Valve Corporation Game controller systems and methods
US10157294B2 (en) 2013-11-26 2018-12-18 CaffeiNATION Signings (Series 3 of Caffeinaton Series, LLC) Systems, methods and computer program products for managing remote execution of transaction documents
JP6010012B2 (ja) * 2013-12-03 2016-10-19 富士フイルム株式会社 導電シート、静電容量式タッチパネル及び表示装置
JP6351964B2 (ja) * 2013-12-11 2018-07-04 株式会社東海理化電機製作所 入力装置
WO2015100429A1 (en) 2013-12-26 2015-07-02 Icon Health & Fitness, Inc. Magnetic resistance mechanism in a cable machine
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
JPWO2015121955A1 (ja) * 2014-02-14 2017-03-30 富士通株式会社 電子機器、入力装置、及び駆動制御方法
WO2015121963A1 (ja) * 2014-02-14 2015-08-20 富士通株式会社 ゲームコントローラ
JPWO2015121972A1 (ja) * 2014-02-14 2017-03-30 富士通株式会社 駆動制御装置、電子機器、システム、及び駆動制御方法
WO2015121956A1 (ja) * 2014-02-14 2015-08-20 富士通株式会社 電子機器及び駆動制御方法
FR3018122A1 (fr) * 2014-02-28 2015-09-04 Orange Procede de controle d'acces par retour haptique
US10433612B2 (en) 2014-03-10 2019-10-08 Icon Health & Fitness, Inc. Pressure sensor to quantify work
WO2015143121A1 (en) 2014-03-21 2015-09-24 Immersion Corporation System, method and computer-readable medium for force-based object manipulation and haptic sensations
WO2015163842A1 (en) 2014-04-21 2015-10-29 Yknots Industries Llc Apportionment of forces for multi-touch input devices of electronic devices
US10426989B2 (en) 2014-06-09 2019-10-01 Icon Health & Fitness, Inc. Cable system incorporated into a treadmill
WO2015195965A1 (en) 2014-06-20 2015-12-23 Icon Health & Fitness, Inc. Post workout massage device
US9710063B2 (en) * 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
KR102384103B1 (ko) * 2014-08-26 2022-04-07 엘지디스플레이 주식회사 터치 패널의 구동 장치
JP6258513B2 (ja) * 2014-09-09 2018-01-10 三菱電機株式会社 触感制御システムおよび触感制御方法
US9904463B2 (en) * 2014-09-23 2018-02-27 Sulake Corporation Oy Method and apparatus for controlling user character for playing game within virtual environment
CN106716979B (zh) * 2014-09-25 2020-09-01 瑞典爱立信有限公司 具有可变摩擦的移动通信设备
WO2016053789A1 (en) * 2014-10-01 2016-04-07 Northwestern University Interfaces and methods of digital composition and editing of textures for rendering on tactile surfaces
FR3026867A1 (fr) * 2014-10-02 2016-04-08 Dav Dispositif et procede de commande pour vehicule automobile
FR3026866B1 (fr) * 2014-10-02 2019-09-06 Dav Dispositif et procede de commande pour vehicule automobile
US10414274B2 (en) * 2014-11-26 2019-09-17 Toyota Motor Engineering & Manufacturing North America, Inc. Channel selection interface for a vehicle
US9971406B2 (en) 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
US20160162092A1 (en) * 2014-12-08 2016-06-09 Fujitsu Ten Limited Operation device
JP6393604B2 (ja) * 2014-12-08 2018-09-19 株式会社デンソーテン 操作装置
KR101628894B1 (ko) * 2014-12-09 2016-06-14 한승희 터치 센싱 방법, 터치 센싱 콘트롤러 및 이를 갖는 터치 센싱 장치
US9919208B2 (en) * 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
FR3030070B1 (fr) * 2014-12-15 2018-02-02 Dav Dispositif et procede de commande pour vehicule automobile
FR3030071B1 (fr) * 2014-12-15 2018-02-02 Dav Dispositif et procede de commande pour vehicule automobile
US9600076B2 (en) * 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US9836124B2 (en) * 2014-12-31 2017-12-05 Harman International Industries, Incorporated Techniques for dynamically changing tactile surfaces of a haptic controller to convey interactive system information
US10258828B2 (en) 2015-01-16 2019-04-16 Icon Health & Fitness, Inc. Controls for an exercise device
CN107407963A (zh) * 2015-02-25 2017-11-28 意美森公司 用于与弯曲显示器的用户交互的系统和方法
US9619034B2 (en) 2015-02-25 2017-04-11 Immersion Corporation Overlaying of haptic effects
CN107249704B (zh) 2015-02-27 2020-09-15 索尼公司 信息处理设备、信息处理方法和信息处理系统
US10391361B2 (en) 2015-02-27 2019-08-27 Icon Health & Fitness, Inc. Simulating real-world terrain on an exercise device
CN104767655B (zh) * 2015-03-17 2018-09-21 微梦创科网络科技（中国）有限公司 一种模拟结果检测方法及装置
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
CN107615213A (zh) 2015-04-21 2018-01-19 意美森公司 蚀刻输入的动态呈现
GB201511042D0 (en) * 2015-06-23 2015-08-05 Royal College Of Art And Kong Ming Sensor device and method
DE102015110578A1 (de) * 2015-07-01 2017-01-05 Rwe Effizienz Gmbh Thermostat für Heizungs-, Klima- und/oder Lüftungsanlagen
EP3714954B1 (en) * 2015-07-01 2021-12-15 Praevidi, LLC Motion control seat input device
US10537764B2 (en) 2015-08-07 2020-01-21 Icon Health & Fitness, Inc. Emergency stop with magnetic brake for an exercise device
US20170060241A1 (en) * 2015-08-26 2017-03-02 Fujitsu Ten Limited Input device, display device, method of controlling input device, and program
US10953305B2 (en) 2015-08-26 2021-03-23 Icon Health & Fitness, Inc. Strength exercise mechanisms
WO2017044618A1 (en) 2015-09-08 2017-03-16 Apple Inc. Linear actuators for use in electronic devices
EP3144774A1 (en) * 2015-09-15 2017-03-22 Thomson Licensing Methods and apparatus of transmitting a rotation angle information to a set of actuators associated with a surface
US10664053B2 (en) 2015-09-30 2020-05-26 Apple Inc. Multi-transducer tactile user interface for electronic devices
DE102015015075A1 (de) * 2015-11-20 2017-05-24 Audi Ag Verfahren zum Betreiben einer Eingabevorrichtung und Eingabevorrichtung
US20170210484A1 (en) * 2016-01-25 2017-07-27 Ge Aviation Systems Llc Virtual Aircraft Operations Checklist
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US9898903B2 (en) 2016-03-07 2018-02-20 Immersion Corporation Systems and methods for haptic surface elements
US10625137B2 (en) 2016-03-18 2020-04-21 Icon Health & Fitness, Inc. Coordinated displays in an exercise device
US10493349B2 (en) 2016-03-18 2019-12-03 Icon Health & Fitness, Inc. Display on exercise device
US10561894B2 (en) 2016-03-18 2020-02-18 Icon Health & Fitness, Inc. Treadmill with removable supports
US10293211B2 (en) 2016-03-18 2019-05-21 Icon Health & Fitness, Inc. Coordinated weight selection
US10272317B2 (en) 2016-03-18 2019-04-30 Icon Health & Fitness, Inc. Lighted pace feature in a treadmill
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
WO2017197298A1 (en) * 2016-05-13 2017-11-16 Numenta, Inc. Inferencing and learning based on sensorimotor input data
US10252109B2 (en) 2016-05-13 2019-04-09 Icon Health & Fitness, Inc. Weight platform treadmill
JP6326194B2 (ja) * 2016-05-25 2018-05-16 レノボ・シンガポール・プライベート・リミテッド 形状記憶合金を利用したアクチュエータの駆動システム、駆動方法および電子機器
US9983675B2 (en) 2016-06-10 2018-05-29 Immersion Corporation Systems and methods for monitoring insulation integrity for electrostatic friction
US9886829B2 (en) * 2016-06-20 2018-02-06 Immersion Corporation Systems and methods for closed-loop control for haptic feedback
US10441844B2 (en) 2016-07-01 2019-10-15 Icon Health & Fitness, Inc. Cooling systems and methods for exercise equipment
US10471299B2 (en) 2016-07-01 2019-11-12 Icon Health & Fitness, Inc. Systems and methods for cooling internal exercise equipment components
CN109416584B (zh) * 2016-07-07 2022-08-02 索尼公司 信息处理装置、信息处理方法和程序
EP3455704A4 (en) * 2016-07-08 2019-11-13 Immersion Corporation MULTIMODAL HAPTIC EFFECTS
US10416771B2 (en) * 2016-08-03 2019-09-17 Apple Inc. Haptic output system for user input surface
CN109564497A (zh) * 2016-08-05 2019-04-02 索尼公司 信息处理设备、信息处理方法以及程序
US10591993B2 (en) 2016-09-21 2020-03-17 Apple Inc. Haptic structure for providing localized haptic output
US10671705B2 (en) 2016-09-28 2020-06-02 Icon Health & Fitness, Inc. Customizing recipe recommendations
US10500473B2 (en) 2016-10-10 2019-12-10 Icon Health & Fitness, Inc. Console positioning
US10207148B2 (en) 2016-10-12 2019-02-19 Icon Health & Fitness, Inc. Systems and methods for reducing runaway resistance on an exercise device
US10376736B2 (en) 2016-10-12 2019-08-13 Icon Health & Fitness, Inc. Cooling an exercise device during a dive motor runway condition
TWI637770B (zh) 2016-11-01 2018-10-11 美商愛康運動與健康公司 用於固定式腳踏車的落入式樞軸配置
US10625114B2 (en) 2016-11-01 2020-04-21 Icon Health & Fitness, Inc. Elliptical and stationary bicycle apparatus including row functionality
US10661114B2 (en) 2016-11-01 2020-05-26 Icon Health & Fitness, Inc. Body weight lift mechanism on treadmill
TWI646997B (zh) 2016-11-01 2019-01-11 美商愛康運動與健康公司 用於控制台定位的距離感測器
US10402161B2 (en) 2016-11-13 2019-09-03 Honda Motor Co., Ltd. Human-vehicle interaction
DE102017219332A1 (de) * 2016-11-13 2018-05-17 Honda Motor Co., Ltd. Mensch-fahrzeug-interaktion
TWI680782B (zh) 2016-12-05 2020-01-01 美商愛康運動與健康公司 於操作期間抵銷跑步機的平台之重量
US20180164885A1 (en) * 2016-12-09 2018-06-14 Immersion Corporation Systems and Methods For Compliance Illusions With Haptics
EP3343318B1 (en) 2016-12-29 2019-09-11 Vestel Elektronik Sanayi ve Ticaret A.S. Method and device for generating a haptic effect
US20180188905A1 (en) * 2017-01-04 2018-07-05 Google Inc. Generating messaging streams with animated objects
US10209804B2 (en) * 2017-01-10 2019-02-19 Rockwell Collins, Inc. Emissive Display over resistive touch sensor with force sensing
WO2018132741A1 (en) 2017-01-14 2018-07-19 Icon Health & Fitness, Inc. Exercise cycle
US9928700B1 (en) * 2017-01-25 2018-03-27 Immersion Corporation Method and apparatus for controlling generation of electrostatic friction effects for a plurality of electrodes
CN106919282A (zh) * 2017-02-10 2017-07-04 南昌欧菲显示科技有限公司 触觉反馈显示屏
US10467912B2 (en) * 2017-03-14 2019-11-05 Honeywell International Inc. System and method to revise vertical profile of a flight plan
US10656714B2 (en) 2017-03-29 2020-05-19 Apple Inc. Device having integrated interface system
WO2018194569A1 (en) * 2017-04-18 2018-10-25 Hewlett-Packard Development Company, L.P. Virtual input devices for pressure sensitive surfaces
FR3066959B1 (fr) * 2017-05-31 2020-11-06 Dav Procede de generation d'un retour sensitif pour une interface et interface associee
DE102017111897B3 (de) 2017-05-31 2018-09-06 Trw Automotive Electronics & Components Gmbh Bedienvorrichtung für eine Fahrzeugkomponente sowie Verfahren zum Erzeugen einer Rückmeldung
DE102017113660B3 (de) 2017-06-21 2018-10-25 Trw Automotive Electronics & Components Gmbh Kraftfahrzeugbedienvorrichtung
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
DE102017118079A1 (de) * 2017-08-09 2019-02-14 HELLA GmbH & Co. KGaA Bedieneinheit für ein Kraftfahrzeug und System, umfassend ein Kraftfahrzeug und eine Bedieneinheit
TWI744546B (zh) 2017-08-16 2021-11-01 美商愛康運動與健康公司 抗軸向衝擊之用於提供扭矩的系統
US10503313B2 (en) 2017-08-21 2019-12-10 Apple Inc. Unified input/output interface for electronic device
DE102017214941A1 (de) 2017-08-25 2019-02-28 Dometic Sweden Ab Freizeitfahrzeug, Kühlvorrichtung, Steuerungssystem und Verfahren zur Steuerung der Kühlvorrichtung
US10509473B2 (en) 2017-09-21 2019-12-17 Paypal, Inc. Providing haptic feedback on a screen
US10684734B2 (en) 2017-09-28 2020-06-16 Apple Inc. Transparent high-resistivity layer for electrostatic friction modulation over a capacitive input sensor
WO2019071018A1 (en) * 2017-10-04 2019-04-11 The Regents Of The University Of California ACTUATION SYSTEM WITH VIRTUAL AND PHYSICAL PARTS
US10955922B2 (en) * 2017-11-29 2021-03-23 International Business Machines Corporation Simulating tactile information for haptic technology
US10729965B2 (en) 2017-12-22 2020-08-04 Icon Health & Fitness, Inc. Audible belt guide in a treadmill
WO2019150591A1 (ja) 2018-01-31 2019-08-08 東芝キヤリア株式会社 タッチパネル式の操作スイッチ、設備管理装置、および設備管理画面生成方法
US11205329B2 (en) 2018-03-16 2021-12-21 The Board Of Trustees Of The Leland Stanford Junior University Haptic devices to create the sensation of continuous lateral motion
US20190302889A1 (en) * 2018-03-30 2019-10-03 Apple Inc. Static Pattern Electrostatic Haptic Electrodes
US11175769B2 (en) * 2018-08-16 2021-11-16 Apple Inc. Electronic device with glass enclosure
US10705570B2 (en) 2018-08-30 2020-07-07 Apple Inc. Electronic device housing with integrated antenna
US11258163B2 (en) 2018-08-30 2022-02-22 Apple Inc. Housing and antenna architecture for mobile device
US11046182B2 (en) 2018-10-22 2021-06-29 Nio Usa, Inc. System and method for providing momentum scrolling via a rotary user interface device
US10671271B2 (en) 2018-10-22 2020-06-02 Nio Usa, Inc. Jog dial user interface device
JP6781236B2 (ja) * 2018-11-16 2020-11-04 株式会社デンソーテン 操作装置
US11498270B2 (en) 2018-11-21 2022-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Programmable matter
US11479308B2 (en) 2019-01-09 2022-10-25 Toyota Motor Engineering & Manufacturing North America, Inc. Active vehicle interface for crosswind management
CN111475088B (zh) * 2019-01-23 2021-07-20 百度在线网络技术（北京）有限公司 页面滚动的方法、装置、存储介质和终端设备
FR3092415B1 (fr) * 2019-01-31 2021-03-05 Valeo Comfort & Driving Assistance Procédé de génération d’un retour sensitif pour une interface et interface associée
US11473567B2 (en) * 2019-02-07 2022-10-18 Toyota Motor Engineering & Manufacturing North America, Inc. Programmable surface
CN114399014A (zh) 2019-04-17 2022-04-26 苹果公司 无线可定位标签
CN111984178A (zh) * 2019-05-23 2020-11-24 阿里巴巴集团控股有限公司 数据显示方法、设备及存储介质
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US11079874B2 (en) * 2019-11-19 2021-08-03 Cirrus Logic, Inc. Virtual button characterization engine
CN111176455B (zh) * 2020-01-07 2021-01-19 北京航空航天大学 一种温度和纹理一致性呈现的柔性触觉反馈装置
CN111506191B (zh) * 2020-04-13 2024-04-26 维沃移动通信有限公司 控制方法及电子设备
DE102020004363A1 (de) 2020-07-20 2022-01-20 Daimler Ag Verfahren zum Erzeugen einer haptischen Rückmeldung
DE102020005333A1 (de) 2020-08-31 2022-03-03 Daimler Ag Verfahren zum Erzeugen einer haptischen Rückmeldung
EP3971691A1 (en) * 2020-09-18 2022-03-23 Dometic Sweden AB A recreational vehicle user interface
US11334166B2 (en) 2020-09-30 2022-05-17 International Business Machines Corporation Multi-sensory notifications
CN112596612A (zh) * 2020-12-28 2021-04-02 北京小米移动软件有限公司 触感反馈生成方法、触感反馈生成装置及存储介质
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
TWI796891B (zh) * 2021-05-05 2023-03-21 寶德科技股份有限公司 搖桿組件及遊戲手把
WO2022248816A1 (en) * 2021-05-27 2022-12-01 Kano Computing Limited Audio output device
US11347392B1 (en) * 2021-06-16 2022-05-31 Microsoft Technology Licensing, Llc User interactions and feedback signals for sharing items to a network destination
CN113533777B (zh) * 2021-07-29 2022-04-22 中铁水利水电规划设计集团有限公司 水利工程安全监测移动物联网感知设备
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
US20240042312A1 (en) * 2022-08-03 2024-02-08 Sony Interactive Entertainment Inc. Haptics support for ui navigation

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5381158A (en) * 1991-07-12 1995-01-10 Kabushiki Kaisha Toshiba Information retrieval apparatus
US5734373A (en) * 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
US6161126A (en) * 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
JP3949912B2 (ja) * 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
US7671851B1 (en) * 2001-02-22 2010-03-02 Pryor Timothy R Reconfigurable tactile controls and displays
US6703924B2 (en) 2001-12-20 2004-03-09 Hewlett-Packard Development Company, L.P. Tactile display apparatus
EP1517224A3 (de) 2003-09-16 2007-02-21 Volkswagen Aktiengesellschaft Berührungsempfindliche Anzeigevorrichtung
US7742036B2 (en) 2003-12-22 2010-06-22 Immersion Corporation System and method for controlling haptic devices having multiple operational modes
US20060209037A1 (en) * 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
US7382357B2 (en) * 2005-04-25 2008-06-03 Avago Technologies Ecbu Ip Pte Ltd User interface incorporating emulated hard keys
US8405618B2 (en) 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
US8139035B2 (en) * 2006-06-21 2012-03-20 Nokia Corporation Touch sensitive keypad with tactile feedback
US7916002B2 (en) * 2006-06-30 2011-03-29 Nokia Corporation Haptic operative user interface input apparatus
JP2008033739A (ja) 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
KR101580227B1 (ko) 2007-09-18 2015-12-24 센세그 오와이 감지 자극에 대한 장치 및 방법
US10488926B2 (en) * 2007-11-21 2019-11-26 Immersion Corporation Method and apparatus for providing a fixed relief touch screen with locating features using deformable haptic surfaces
US9857872B2 (en) * 2007-12-31 2018-01-02 Apple Inc. Multi-touch display screen with localized tactile feedback
US9513704B2 (en) * 2008-03-12 2016-12-06 Immersion Corporation Haptically enabled user interface
US20090295739A1 (en) * 2008-05-27 2009-12-03 Wes Albert Nagara Haptic tactile precision selection
JP2010086471A (ja) 2008-10-02 2010-04-15 Sony Corp 操作感提供装置、および操作感フィードバック方法、並びにプログラム
WO2010037894A1 (en) 2008-10-03 2010-04-08 Senseg Oy Techniques for presenting vehicle-related information
US9600070B2 (en) * 2008-12-22 2017-03-21 Apple Inc. User interface having changeable topography
US8345013B2 (en) * 2009-01-14 2013-01-01 Immersion Corporation Method and apparatus for generating haptic feedback from plasma actuation
US8077021B2 (en) * 2009-03-03 2011-12-13 Empire Technology Development Llc Dynamic tactile interface
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
EP2406705B1 (en) * 2009-03-12 2017-10-04 Immersion Corporation System and method for using textures in graphical user interface widgets
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
KR101885740B1 (ko) * 2009-03-12 2018-08-06 임머숀 코퍼레이션 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
KR101670109B1 (ko) * 2009-03-12 2016-10-27 임머숀 코퍼레이션 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법
US9874935B2 (en) 2009-03-12 2018-01-23 Immersion Corporation Systems and methods for a texture engine
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
CN102349038B (zh) * 2009-03-12 2016-08-24 意美森公司 用于纹理引擎的系统和方法
KR101713358B1 (ko) * 2009-07-22 2017-03-07 임머숀 코퍼레이션 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법
JP2011048686A (ja) * 2009-08-27 2011-03-10 Kyocera Corp 入力装置
JP4672075B2 (ja) 2009-08-27 2011-04-20 京セラ株式会社 入力装置
US8334840B2 (en) * 2010-01-19 2012-12-18 Visteon Global Technologies, Inc. System and method of screen manipulation using haptic enable controller
US20110199321A1 (en) * 2010-02-12 2011-08-18 Electronics And Telecommunications Research Institute Apparatus for providing self-morphable haptic and visual information and method thereof
JP4846857B2 (ja) 2010-03-03 2011-12-28 株式会社東芝 情報処理装置及び入力制御方法
US20110216013A1 (en) * 2010-03-05 2011-09-08 Sony Ericsson Mobile Communications Ab Touch-sensitive input device, touch screen device, mobile device and method for operating a touch-sensitive input device
KR101855535B1 (ko) * 2010-04-23 2018-05-04 임머숀 코퍼레이션 햅틱 효과를 제공하는 시스템 및 방법
US9501145B2 (en) 2010-05-21 2016-11-22 Disney Enterprises, Inc. Electrovibration for touch surfaces
EP2393000B1 (en) * 2010-06-04 2019-08-07 Lg Electronics Inc. Mobile terminal capable of providing multiplayer game and method of controlling operation of the mobile terminal
WO2012001208A1 (en) * 2010-06-28 2012-01-05 Nokia Corporation Haptic surface compression
US8710968B2 (en) * 2010-10-07 2014-04-29 Motorola Mobility Llc System and method for outputting virtual textures in electronic devices
US20120133494A1 (en) 2010-11-29 2012-05-31 Immersion Corporation Systems and Methods for Providing Programmable Deformable Surfaces
US9501217B2 (en) * 2011-01-14 2016-11-22 Apple Inc. Target region for removing icons from dock
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US20130021235A1 (en) * 2011-07-21 2013-01-24 Frederick Umminger Apparatus, system, and method for providing feedback sensations of texture and hardness-softness to a controller
US20130021234A1 (en) * 2011-07-21 2013-01-24 Frederick Umminger Apparatus, system, and method for providing feedback sensations of temperature and texture to a controller
CN106095119A (zh) 2011-09-06 2016-11-09 意美森公司 触觉输出设备和在触觉输出设备内产生触觉效果的方法
US8869625B2 (en) * 2011-09-28 2014-10-28 DigitalOptics Corporation MEMS MEMS actuator/sensor
US20130207715A1 (en) * 2012-02-13 2013-08-15 Nokia Corporation Method, Apparatus, Computer Program, Cable and System
US9208662B2 (en) * 2012-03-16 2015-12-08 Qualcomm Incorporated Methods and devices for selectively controlling and varying surface texture and/or force levels on a mobile device using haptic feedback
US8570296B2 (en) * 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
US9196134B2 (en) 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
US20140139451A1 (en) 2012-11-20 2014-05-22 Vincent Levesque Systems and Methods For Providing Mode or State Awareness With Programmable Surface Texture
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US9729730B2 (en) * 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
FR3019704B1 (fr) * 2014-04-02 2017-09-01 Studec Procede de transmission d'informations via un canal video entre deux terminaux
US10866697B2 (en) * 2017-10-24 2020-12-15 Microchip Technology Incorporated Touch-sensitive user-interface including configurable virtual widgets

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190027781A (ko) * 2016-07-12 2019-03-15 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 촉각 피드백을 가진 터치스크린 제어 장치
KR20200071721A (ko) * 2017-10-24 2020-06-19 마이크로칩 테크놀로지 인코포레이티드 구성 가능한 가상 위젯들을 포함하는 터치 감지 사용자 인터페이스
KR20210068974A (ko) * 2019-12-02 2021-06-10 한국과학기술원 고대역폭 고해상도 질감 표현을 위한 이중 계층 햅틱 모델을 제공하는 전자 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
US20140139450A1 (en) 2014-05-22
JP6499392B2 (ja) 2019-04-10
CN108897424A (zh) 2018-11-27
CN103838423A (zh) 2014-06-04
JP2014102830A (ja) 2014-06-05
EP3217261A1 (en) 2017-09-13
US9330544B2 (en) 2016-05-03
EP2733576A1 (en) 2014-05-21
JP2018136958A (ja) 2018-08-30
CN103838423B (zh) 2018-07-13
US20160216765A1 (en) 2016-07-28
JP6574283B2 (ja) 2019-09-11

Similar Documents

Publication Publication Date Title
JP6574283B2 (ja) 触覚効果によってシミュレートされる物理相互作用のためのシステム及び方法
US10013063B2 (en) Systems and methods for determining haptic effects for multi-touch input
JP6563983B2 (ja) 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果
JP6355642B2 (ja) プログラム可能な表面テクスチャによってモードまたは状態認識を提供するシステムおよび方法
US20180052556A1 (en) System and Method for Feedforward and Feedback With Haptic Effects
JP5694205B2 (ja) 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果
JP2012520523A5 (ko)
CN104123035A (zh) 用于支持触觉的可变形表面的系统和方法

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application