KR20190015624A - 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체 - Google Patents

표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체 Download PDF

Info

Publication number
KR20190015624A
KR20190015624A KR1020197003472A KR20197003472A KR20190015624A KR 20190015624 A KR20190015624 A KR 20190015624A KR 1020197003472 A KR1020197003472 A KR 1020197003472A KR 20197003472 A KR20197003472 A KR 20197003472A KR 20190015624 A KR20190015624 A KR 20190015624A
Authority
KR
South Korea
Prior art keywords
touch
haptic effect
friction
haptic
actuator
Prior art date
Application number
KR1020197003472A
Other languages
English (en)
Inventor
후안 마누엘 크루즈-헤르난데즈
대니 에이. 그랜트
알리 모다레스
앤드류 고슬린
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/697,042 external-priority patent/US10564721B2/en
Priority claimed from US12/696,908 external-priority patent/US10007340B2/en
Priority claimed from US12/697,037 external-priority patent/US9927873B2/en
Priority claimed from US12/696,893 external-priority patent/US9746923B2/en
Priority claimed from US12/697,010 external-priority patent/US9874935B2/en
Priority claimed from US12/696,900 external-priority patent/US9696803B2/en
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20190015624A publication Critical patent/KR20190015624A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H02N2/06—Drive circuits; Control arrangements or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Abstract

표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법이 기술되어 있다. 한가지 기술된 시스템은 객체가 터치 표면에 접촉할 때 터치 영역에서의 터치를 검출하도록 구성되어 있는 센서를 포함한다. 터치 표면은 디스플레이 영역에 대응할 수 있거나, 컴퓨팅 장치 또는 컴퓨팅 장치와 인터페이스하는 주변 장치의 비디스플레이 표면에 대응할 수 있다. 이 시스템은, 프로세서와 통신하고 터치 표면에 결합되어 있는 액츄에이터 - 액츄에이터는 햅틱 효과를 출력하도록 구성되어 있음 -, 및 생성할 햅틱 효과를 선택하도록 구성된 프로세서를 추가로 포함할 수 있다. 터치의 위치 그리고 터치에 의해 제공된 입력 제스처 및/또는 터치에 또는 그 근방에 있는 터치 영역에서의 위치에 매핑되는 장소에서 그래픽 사용자 인터페이스에 표시된 콘텐츠를 인식한 것에 기초하여 햅틱 효과가 선택될 수 있다. 햅틱 효과는 텍스처를 제공하고, 장애물을 시뮬레이트하며, 및/또는 표면의 마찰 계수를 조정할 수 있다.

Description

표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체{SYSTEMS AND METHODS FOR INTERFACES FEATURING SURFACE-BASED HAPTIC EFFECTS, AND TANGIBLE COMPUTER-READABLE MEDIUM}
관련 출원들의 상호 참조
이 특허 출원은 2009년 3월 12일자로 출원된, 발명의 명칭이 "Locating Features Using a Friction Display(마찰 디스플레이를 사용한 특징부의 위치 확인)"인 미국 가특허 출원 제61/159,482호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2009년 11월 17일자로 출원된, 발명의 명칭이 "System and Method for Increasing Haptic Bandwidth in an Electronic Device(전자 장치에서 햅틱 대역폭을 증가시키는 시스템 및 방법)"인 미국 가특허 출원 제61/262,041호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2009년 11월 17일자로 출원된, 발명의 명칭이 "Friction Rotary Device for Haptic Feedback(햅틱 피드백을 위한 마찰 회전 장치)"인 미국 가특허 출원 제61/262,038호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Providing Features In A Friction Display(마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법)"인 미국 실용 특허 출원 제12/696,893호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Friction Displays And Additional Haptic Effects(마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법)"인 미국 실용 특허 출원 제12/696,900호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Interfaces Featuring Surface-Based Haptic Effects(표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법)"인 미국 실용 특허 출원 제12/696,908호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For A Texture Engine(텍스처 엔진에 대한 시스템 및 방법)"인 미국 실용 특허 출원 제12/697,010호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Using Textures In Graphical User Interface Widgets(그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법)"인 미국 실용 특허 출원 제12/697,037호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Using Multiple Actuators To Realize Textures(다수의 액츄에이터를 사용하여 텍스처를 실현하는 시스템 및 방법)"인 미국 실용 특허 출원 제12/697,042호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
터치-인에이블드 장치(touch-enabled device)가 점점 더 널리 보급되고 있다. 예를 들어, 사용자가 터치 감응 디스플레이의 일부분을 터치함으로써 입력을 제공할 수 있도록 모바일 장치 및 기타 장치가 터치 감응 디스플레이로 구성될 수 있다. 다른 일례로서, 트랙패드(trackpad), 마우스 또는 기타 장치와 같이, 입력을 위해 디스플레이와 분리되어 있는 터치-인에이블드 표면(touch-enabled surface)이 사용될 수 있다.
예를 들어, 사용자는 버튼 또는 컨트롤과 같은 온-스크린 그래픽 사용자 인터페이스(GUI)에 매핑되는 디스플레이 또는 표면의 일부분을 터치할 수 있다. 다른 일례로서, 일련의 하나 이상의 터치, 표면을 가로지르는 드래그(drag), 또는 장치에 의해 감지되는 다른 인식가능한 패턴과 같은 제스처가 제공될 수 있다. 터치-인에이블드 디스플레이 및 기타 터치-기반 인터페이스가 장치 기능을 크게 향상시켰지만, 단점은 여전히 있다. 예를 들어, 키보드가 화면 상에 표시되더라도, 물리적 키보드에 익숙해져 있는 사용자는 터치-인에이블드 장치를 사용하는 동안 동일한 경험을 하지 못할지도 모른다.
본 발명의 실시예는 텍스처의 변화, 터치 표면의 마찰 계수의 변화, 및/또는 터치 표면 상의 경계 또는 장애물의 시뮬레이션(이들로 제한되지 않음)을 포함하는 표면-기반 햅틱 효과를 특징으로 하는 터치-인에이블드 장치를 제공할 수 있다. 이러한 특징부를 사용하여, 장치는 더 사용자에 친숙할 수 있고, 전체적으로 보다 매력적인 사용자 경험을 제공할 수 있다.
일 실시예에서, 시스템은 객체가 터치 표면에 접촉할 때 터치 영역에서의 터치를 검출하도록 구성된 센서를 포함하고, 터치 영역은 그래픽 사용자 인터페이스의 디스플레이 영역에 매핑된다. 터치 표면은 디스플레이 영역에 대응할 수 있거나, 컴퓨팅 장치 또는 컴퓨팅 장치와 인터페이스하는 주변 장치의 비디스플레이 표면에 대응할 수 있다.
시스템은, 프로세서와 통신하고 터치 표면에 결합되어 있는 액츄에이터 - 액츄에이터는 햅틱 효과를 출력하도록 구성되어 있음 - 를 더 포함할 수 있다. 시스템은 액츄에이터 및 센서와 통신하는 하나 이상의 프로세서를 포함할 수 있고, 프로세서는 터치의 위치를 식별한 것과 (a) 터치에 의해 제공된 입력 제스처를 인식한 것 또는 (b) 터치에 또는 그 근방에 있는 터치 영역에서의 위치에 매핑되는 디스플레이 영역에서의 장소에서 그래픽 사용자 인터페이스에 표시되는 콘텐츠 중 적어도 하나에 기초하여 생성할 햅틱 효과를 선택하도록 구성되어 있다. 프로세서는 터치가 일어나는 동안 선택된 햅틱 효과를 생성하라고 액츄에이터에 명령할 수 있으며, 그로써 텍스처를 제공하고, 장애물 또는 경계를 시뮬레이트하며 및/또는 디스플레이의 조정된 마찰 계수를 제공할 수 있다. 이들 효과는 햅틱 효과(진동촉각 효과를 포함하지만, 이것으로 제한되지 않음)를 제공하기 위해 하나 이상의 액츄에이터를 사용하여 및/또는 제어된 방식으로 디스플레이의 마찰 계수를 변경하는 액츄에이터를 사용하여 달성될 수 있다.
이 예시적인 실시예는 본 발명 대상의 범위를 제한하거나 한정하기 위한 것이 아니라 본 발명의 이해를 돕기 위한 일례를 제공하기 위해 언급되어 있다. 예시적인 실시예가 상세한 설명에서 논의되고 있으며, 추가적인 설명이 그곳에 제공되어 있다. 다양한 실시예에 의해 제공되는 이점이 또한 본 명세서를 살펴보면 및/또는 청구된 발명 대상의 하나 이상의 실시예를 실시해보면 이해될 수 있다.
상세하고 실시가능한 개시 내용이 명세서의 나머지 부분에 더 구체적으로 기술되어 있다. 명세서에서는 이하의 첨부 도면을 참조하고 있다.
도 1a는 표면-기반 햅틱 효과를 제공하는 예시적인 시스템을 나타낸 도면.
도 1b는 도 1a에 도시된 시스템의 일 실시예의 외형도.
도 1c는 도 1a에 도시된 시스템의 다른 실시예를 나타낸 도면.
도 2는 일부 실시예에서 햅틱 효과를 선택하기 위해 사용될 수 있는 픽셀들의 어레이(200)를 나타내는 도면.
도 3은 표면-기반 햅틱 효과를 갖는 인터페이스를 제공하는 예시적인 방법을 나타낸 플로우차트.
도 4a는 터치-인에이블드 디스플레이를 특징으로 하는 컴퓨팅 장치를 포함하는 시스템의 외형도를 나타낸 도면.
도 4b는 도 4a의 장치의 단면도.
도 4c 및 도 4d는 프로세서가 페이지 넘기기 입력 제스처를 인식한 것에 응답하여 햅틱 효과를 선택하도록 구성되어 있을 때 도 4a의 장치에서의 그래픽 사용자 인터페이스의 일례를 제공하는 도면.
도 5a 및 도 5b 각각은 터치 표면을 특징으로 하고 별도의 디스플레이와 인터페이스하는 컴퓨팅 장치를 포함하는 시스템을 나타낸 도면.
이제부터, 다양한 대안의 예시적인 실시예 및 첨부 도면에 대해 상세히 언급할 것이다. 각각의 일례는 제한이 아니라 설명으로서 제공되어 있다. 여러 수정 및 변형이 행해질 수 있다는 것이 당업자에게는 명백할 것이다. 예를 들어, 일 실시예의 일부로서 예시되거나 기술된 특징부가 다른 실시예에서 사용되어 또 다른 실시예를 생성할 수 있다. 따라서, 본 개시 내용이 첨부된 특허청구범위 및 그 등가물의 범위 내에 속하는 여러 수정 및 변형을 포함하는 것으로 보아야 한다.
가변 마찰 인터페이스를 사용하는 장치의 예시적인 일례
본 발명의 한 예시적인 실시예는 iPod® 휴대용 음악 장치 또는 iPhone® 모바일 장치(둘다 미국 캘리포니아주 쿠퍼티노 소재의 Apple Inc.로부터 입수가능함) 또는 Zune® 휴대용 장치(미국 워싱턴주 레드몬드 소재의 Microsoft Corporation으로부터 입수가능함)와 같은 컴퓨팅 시스템을 포함한다. 컴퓨팅 시스템은 가속도계와 같은 하나 이상의 센서는 물론 디스플레이 영역(이 일례에서, 장치의 화면에 대응함)에 대한 터치의 위치를 결정하는 (예를 들어, 광학, 저항성 또는 용량성) 센서를 포함할 수 있고 및/또는 그와 통신하고 있을 수 있다.
사용자가 장치와 상호작용할 때, 촉각 효과를 제공하기 위해 하나 이상의 액츄에이터가 사용된다. 예를 들어, 사용자가 장치를 가로질러 손가락을 움직일 때, 손가락의 위치, 속도 및/또는 가속도에 기초하여 화면의 마찰 계수가 변화될 수 있다. 마찰이 어떻게 변화되는지에 따라, 사용자는 특징부 및/또는 텍스처를 인지할 수 있다. 특정의 일례로서, 사용자가 범프, 경계, 또는 온-스크린 버튼의 가장자리에 대응하는 기타 장애물을 인지하도록 마찰이 변화될 수 있다. 이하에서 더 상세히 논의될 것인 바와 같이, 마찰 계수를 변화시키는 것은 사용자에게 피드백을 제공하기 위해 다수의 방식으로 사용될 수 있다.
표면-기반 햅틱 효과를 제공하는 예시적인 시스템
도 1a는 표면-기반 햅틱 효과를 제공하는 예시적인 시스템(100)을 나타낸 것이다. 상세하게는, 이 일례에서, 시스템(100)은 버스(106)를 통해 다른 하드웨어와 인터페이스하는 프로세서(102)를 특징으로 하는 컴퓨팅 장치(101)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적당한, 유형의(tangible)(비일시적) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(104)는 컴퓨팅 장치의 동작을 구성하는 프로그램 구성요소를 구현한다. 이 일례에서, 컴퓨팅 장치(101)는 하나 이상의 네트워크 인터페이스 장치(110), 입/출력(I/O) 인터페이스 구성요소(112) 및 부가의 저장 장치(114)를 추가로 포함한다.
네트워크 장치(들)(110)는 네트워크 연결을 용이하게 해주는 임의의 구성요소를 나타낼 수 있다. 일례로는 이더넷, USB, IEEE 1394와 같은 유선 인터페이스(wired interface) 및/또는 IEEE 802.11, 블루투스와 같은 무선 인터페이스(wireless interface), 또는 휴대폰 네트워크에 액세스하는 무선 인터페이스(radio interface)(예를 들어, CDMA, GSM, UMTS 또는 기타 이동 통신 네트워크에 액세스하는 송수신기/안테나)가 있지만, 이들로 제한되지 않는다.
I/O 구성요소(112)는 하나 이상의 디스플레이, 키보드, 마우스, 스피커, 마이크, 및/또는 데이터를 입력하거나 데이터를 출력하는 데 사용되는 기타 하드웨어와 같은 장치에의 연결을 용이하게 해주는 데 사용될 수 있다. 저장 장치(114)는 장치(101)에 포함되어 있는 자기, 광학, 또는 기타 저장 매체와 같은 비휘발성 저장 장치를 나타낸다.
시스템(100)은, 이 일례에서, 장치(101)와 일체로 되어 있는 터치 표면(116)을 추가로 포함한다. 터치 표면(116)은 사용자의 촉각 입력을 감지하도록 구성되어 있는 임의의 표면을 나타낸다. 하나 이상의 센서(108)는 객체가 터치 표면에 접촉할 때 터치 영역에서의 터치를 검출하고 프로세서(102)에서 사용하기에 적절한 데이터를 제공하도록 구성되어 있다. 임의의 적당한 수, 유형 또는 배열의 센서가 사용될 수 있다. 예를 들어, 저항성 및/또는 용량성 센서가 터치 표면(116)에 매몰되어 있을 수 있고 터치의 위치 및 기타 정보(압력 등)를 결정하는 데 사용될 수 있다. 다른 일례로서, 광 센서가 터치 위치를 결정하는 데 사용될 수 있다.
이 일례에서, 프로세서(102)와 통신하고 있는 액츄에이터(118)는 터치 표면(116)에 결합되어 있다. 일부 실시예에서, 액츄에이터(118)는 햅틱 신호에 응답하여 터치 표면의 마찰 계수를 변화시키는 햅틱 효과를 출력하도록 구성되어 있다. 그에 부가하여 또는 다른 대안으로서, 액츄에이터(118)는 제어된 방식으로 터치 표면을 움직이는 햅틱 효과를 제공할 수 있다. 어떤 햅틱 효과는 장치의 하우징에 결합된 액츄에이터를 이용할 수 있고, 어떤 햅틱 효과는 다수의 액츄에이터를 순차적으로 및/또는 동시에 사용할 수 있다. 예를 들어, 표면을 상이한 주파수로 진동시킴으로써 마찰 계수가 변화될 수 있다. 텍스처의 느낌을 시뮬레이트하기 위해 상이한 변동 조합/순서가 사용될 수 있다.
여기에 하나의 액츄에이터(118)가 도시되어 있지만, 실시예는 터치 표면의 마찰 계수를 변화시키기 위해 동일한 또는 상이한 유형의 다수의 액츄에이터를 사용할 수 있다. 예를 들어, 일부 실시예에서, 터치 표면(116)의 일부 또는 전부를 초음파 주파수로 수직으로 및/또는 수평으로 변위시키기 위해 압전 액츄에이터가 사용된다. 일부 실시예에서, 상이한 텍스처, 마찰 변동 및 기타 햅틱 효과를 제공하기 위해 ERM 모터(eccentric rotating mass motor) 및 선형 공진 액츄에이터(linear resonant actuator)와 같은 다수의 액츄에이터가 단독으로 또는 동시에 사용될 수 있다. 액츄에이터의 다른 일례는 전기활성 고분자(electroactive polymer), 형상 기억 합금, 정전기 및 자기 변형 액츄에이터를 포함한다.
메모리(104)와 관련하여, 일부 실시예에서 어떻게 장치가 가변 마찰 디스플레이(variable-friction display)를 제공하도록 구성될 수 있는지를 설명하기 위해 예시적인 프로그램 구성요소(124, 126, 128)가 나타내어져 있다. 이 일례에서, 검출 모듈(124)은 터치의 위치를 결정하기 위해 센서(들)(108)를 통해 터치 표면(116)을 모니터링하도록 프로세서(102)를 구성한다. 예를 들어, 모듈(124)은 터치의 존재 또는 부존재를 추적하고, 터치가 존재하는 경우, 시간에 따른 터치의 위치, 경로, 속도, 가속도, 압력 및/또는 기타 특성을 추적하기 위해 센서(108)를 샘플링할 수 있다.
햅틱 효과 결정 모듈(126)은 터치 특성에 관한 데이터를 분석하여 생성할 햅틱 효과를 선택하는 프로그램 구성요소를 나타낸다. 예를 들어, 일부 실시예에서, 하나 이상의 터치의 시퀀스를 포함하는 입력 제스처가 인식되고 하나 이상의 햅틱 효과와 상관될 수 있다. 다른 일례로서, 터치 표면(116)의 영역의 일부 또는 전부가 그래픽 사용자 인터페이스에 매핑될 수 있다. 특징부의 대응하는 표현이 인터페이스에 보여질 때 특징부가 "느껴지도록" 터치 표면(116)의 마찰을 변화시킴으로써 특징부의 존재를 시뮬레이트하기 위해 터치의 위치에 기초하여 상이한 햅틱 효과가 선택될 수 있다. 그렇지만, 대응하는 요소가 인터페이스에 표시되지 않더라도 터치 표면(116)을 통해 햅틱 효과가 제공될 수 있다(예를 들어, 경계가 표시되지 않더라도 인터페이스에서의 경계를 가로지르는 경우 햅틱 효과가 제공될 수 있다).
햅틱 효과 생성 모듈(128)은, 적어도 터치가 일어나고 있을 때 선택된 햅틱 효과를 생성하기 위해, 프로세서(102)로 하여금 햅틱 신호를 생성하여 액츄에이터(들)(118)로 전송하게 하는 프로그래밍을 나타낸다. 예를 들어, 생성 모듈(128)은 액츄에이터(118)로 전송할 저장된 파형 또는 명령에 액세스할 수 있다. 다른 일례로서, 햅틱 효과 생성 모듈(128)은 원하는 마찰 계수를 수신하고 신호 처리 알고리즘을 이용하여 액츄에이터(들)(118)로 전송할 적절한 신호를 생성할 수 있다. 추가의 일례로서, 표면 (및/또는 기타 장치 구성요소)의 적절한 변위를 생성하여 텍스처를 제공하기 위해 하나 이상의 진동촉각 액츄에이터로 전송되는 적절한 파형 및 텍스처에 대한 목표 좌표와 함께, 원하는 텍스처가 표시될 수 있다.
터치 표면은, 컴퓨팅 시스템의 특정의 구성에 따라, 디스플레이를 오버레이(또는 그렇지 않다면 디스플레이에 대응)하거나 그렇지 않을 수 있다. 도 1b에, 컴퓨팅 시스템(100B)의 외형도가 도시되어 있다. 컴퓨팅 장치(101)는 터치 표면 및 장치의 디스플레이를 겸비하고 있는 터치-인에이블드 디스플레이(116)를 포함한다. 터치 표면은 디스플레이 외부 또는 실제 디스플레이 구성요소 상의 하나 이상의 물질층에 대응할 수 있다.
이 일례에서, 그래픽 사용자 인터페이스(130)에 표시되는 텍스트의 내용에 기초하여 햅틱 효과가 선택된다. 상세하게는, 인터페이스 요소(132)로 나타낸 바와 같이, 검색 쿼리(search query)를 트리거하기 위해 "찾기" 명령이 사용되었다. 검색된 콘텐츠에 대응하는 사용자 인터페이스에서의 위치에 매핑되는 터치 영역에서의 위치에 햅틱 효과를 생성하기 위해 햅틱 효과가 선택될 수 있다. 이 일례에서, 터치 표면은 디스플레이 영역에 직접 매핑되고, 따라서 검색된 콘텐츠(단어 "patent")를 찾아내었을 때, 134, 136, 및 138에 도시된 바와 같이 인터페이스(130)에서 그 콘텐츠가 하이라이트된다.
본 발명 대상의 측면들에 따라, 134, 136, 및/또는 138에서 또는 그 근방에서 사용자가 화면(116)을 터치할 때, 화면의 마찰 계수가 변화되도록, 장치(101)의 프로세서(들)가 적절한 햅틱 효과를 선택할 수 있다. 예를 들어, 이것은 사용자가 손가락을 사용하여 텍스트를 "훑고 지나갈" 수 있게 해줄 수 있고, 관심의 텍스트가 높은(또는 낮은) 마찰 계수를 가지거나 다른 표시된 콘텐츠와 구별되는 텍스처를 가짐으로써 촉각적으로 하이라이트된다. 더 복잡한 효과도 역시 생성될 수 있고; 예를 들어, 하이라이트된 단어 부근의 경계 또는 텍스처가 장치(101)의 하나 이상의 액츄에이터를 사용하여 생성될 수 있다.
앞서 살펴본 바와 같이, 터치 표면이 디스플레이를 오버레이할 필요는 없다. 도 1c는 터치-인에이블드 컴퓨팅 시스템(100C)의 다른 일례를 나타낸 것이다. 이 일례에서, 컴퓨팅 장치(101)는 장치(101)와 인터페이스하는 컴퓨팅 시스템(120)에 포함되어 있는 디스플레이(122)에 제공된 그래픽 사용자 인터페이스에 매핑되는 터치 표면(116)을 특징으로 한다. 예를 들어, 컴퓨팅 장치(101)는 마우스, 트랙패드, 또는 기타 장치를 포함할 수 있는 반면, 시스템(120)은 데스크톱 또는 랩톱 컴퓨터, 셋톱 박스(예를 들어, DVD 플레이어, DVR, 케이블 텔레비전 박스) 또는 다른 컴퓨팅 시스템을 포함할 수 있다. 다른 일례로서, 디스플레이(122)를 특징으로 하는 랩톱 컴퓨터에 있는 터치-인에이블드 트랙패드와 같이, 터치 표면(116) 및 디스플레이(122)가 동일한 장치에 포함될 수 있다.
디스플레이와 일체로 되어 있든 그렇지 않든 간에, 본 명세서에서의 일례에서 2D 직사각형 터치 표면을 나타내고 있는 것은 제한하기 위한 것이 아니다. 다른 실시예는 추가로 표면-기반 햅틱 효과를 제공하도록 구성되어 있는 곡면이거나 불규칙한 터치-인에이블드 표면을 포함한다.
도 1c로 돌아와서, 이 일례에서, 터치 표면(116)을 통해 입력된 사용자 제스처에 응답하여 선택되는 프로세스에서 사용자 인터페이스는 텍스트 콘텐츠(단어 "Examination")를 중요 부분으로 하고 있다. 상세하게는, 터치 표면(116)의 영역(150)을 통한 손가락(146)의 움직임에 기초하여 제1 부분(140)이 하이라이트된다. 단어가 선택될 때, 손가락(146)은 148로 나타낸 위치로 움직일 것인 반면, 그래픽 사용자 인터페이스에서, 단어의 부분들(142 및 144)이 하이라이트된다.
제스처에 응답하여 및/또는 단어의 내용에 기초하여 햅틱 효과가 제공될 수 있다. 예를 들어, 영역들(150, 152, 및 154)의 상이한 교차-해칭으로 나타낸 바와 같이, 단어가 하이라이트될 때 표면(116)의 마찰 계수가 변경될 수 있다. 일부 실시예들에서, 선택된 텍스트 또는 기타 항목의 내용이 햅틱 효과를 결정하는 데 사용된다.
예를 들어, 짧은 문자("e", "r")는 낮은 높이를 갖고 긴 문자("l", "f" 등)는 높은 높이를 가지는, 선택된 텍스트의 "높이 맵(height map)"에 기초하여 마찰이 변할 수 있다. 단어의 주파수 성분(frequency content)을 찾아내기 위해 주파수 변환이 사용될 수 있고; 다른 대안으로서, 단어에 대한 "느낌"을 결정하기 위해 문자 사이의 거리가 사용될 수 있다. 다른 일례로서, 단어, 구 또는 다른 단위의 끝에 도달될 때 마찰이 증가하는 것과 같이, 마찰이 단지 선택에 기초하여 조정될 수 있고; 이것은 사용자가 인접한 콘텐츠의 원하지 않는 부분을 선택하는 것을 피하는 데 도움을 줄 수 있다. 물론, 단어 사이의 경계가 공백을 식별함으로써 인식될 수 있는 반면, 기술 분야에 공지된 바와 같은 문법 분석(예를 들어, 문맥, 용법을 분석하는 것)이 구(phrase)들을 인식하는 데 사용될 수 있다.
이 일례에서, 텍스트 선택은 좌에서 우로의 하이라이트(left-to-right highlighting)에 기초하여 기술되었다. 표면-기반 텍스트 효과(surface-based textual effect)가 다른 유형의 선택 동작들과 연관될 수 있다. 예를 들어, 사용자는 제2 객체를 사용하여 원점에서 터치를 하고 이어서 바깥쪽으로 드래그함으로써 상자를 그릴 수 있고, 2개의 점은 경계 상자의 마주하는 코너를 나타낸다. 선택이 진행 중인 동안 및/또는 선택이 완료된 후에 변하는 마찰 또는 텍스처와 같은 햅틱 효과가 제공될 수 있다. 그에 부가하여 또는 다른 대안으로서, 영역이 선택되는 동안, 선택된 영역에 대응하는 터치 영역의 부분이 구별되는 텍스처 또는 마찰 계수를 가질 수 있다. 다른 일례로서, 선택된 영역은 경계 또는 주변에 의해 햅틱적으로 표시될 수 있다(예를 들어, 터치가 선택된 영역 내로 또는 선택된 영역 밖으로 가로질러 갈 때를 식별해주는 햅틱 클릭, 팝, 또는 마찰 변동).
제공할 햅틱 효과를 결정하는 예시적인 방법
도 2는, 일부 실시예들에서, 검출된 터치를 하나 이상의 픽셀 위치에 매핑하는 것에 기초하여 제공할 햅틱 효과를 선택하는 데 사용될 수 있는 픽셀들의 어레이(200)를 나타내는 도면이다. 어레이(200)는, 예를 들어, 각각의 픽셀과 연관된 하나 이상의 값을 갖는 비트맵 또는 기타 이미지 파일을 포함할 수 있고, 이 값(들)은 햅틱 효과가 어떻게 제공되어야 하는지를 결정하는 데 사용된다. 이 일례는 비교적 적은 수의 픽셀을 나타내고 있지만, 실제로 어레이는 수천개 또는 수백만개의 픽셀을 포함할 수 있다.
일부 실시예들에서, 터치 표면에 의해 정의되는 터치 영역 내의 터치의 위치가 반환될 수 있고 이어서 하나 이상의 픽셀 주소로 변환될 수 있다. 햅틱 장치(가변 마찰 장치 또는 장치들을 포함함)의 액츄에이터(들)를 구동하기 위해 픽셀 주소(들)와 연관된 값 또는 값들이 액세스되고 사용될 수 있다. 예를 들어, 각각의 픽셀 주소가 압전 액츄에이터를 구동하는 데 사용되어야 하는 진폭에 상관되어 있는 강도 값과 연관될 수 있다. 더 복잡한 일례로서, 각각의 픽셀 주소가 3개의 강도 값(즉, RGB)과 연관되어 있을 수 있다. 3개의 강도 값 각각은, 일부 실시예들에서, 상이한 액츄에이터 강도와 연관되어 있을 수 있다. 다른 일례로서, 어떤 값들은 강도를 지정할 수 있고, 다른 값들은 동작의 지속기간을 지정할 수 있다. 추가의 일례로서, 상이한 픽셀 강도 값들이 하나의 텍스처를 시뮬레이트하기 위해 액츄에이터를 구동하는 데 사용되는 상이한 원하는 텍스처들 또는 성분들과 상관될 수 있다. 게다가, 각각의 계층이 특정의 액츄에이터에 대응하는 다중-계층 RGB 이미지 파일이 사용될 수 있다.
이 일례에서, 제1 복수의 픽셀들(202)은 강도 값들과 연관되어 있고 "블록"을 형성하는 반면, 제2 복수의 픽셀들(204)은 다른 패턴을 형성한다. 객체가 패턴에 어떻게 도달하는지에 기초하여 상이한 패턴으로부터 상이한 효과가 얻어질 수 있다. 예를 들어, 상부에서 하부로 움직이는 객체는 패턴(202)에 의해 야기되는 마찰의 제1 변화를 만날 수 있고 이어서 패턴(204)에 의해 야기되는 다른 변동을 만날 수 있지만; 반대 순서로(즉, 하부에서 상부로) 만나게 되는 동일한 패턴은 완전히 상이한 느낌을 시뮬레이트할 수 있다.
터치 표면과 그래픽 사용자 인터페이스 사이의 매핑은 절대적일 수 있거나 스케일링될 수 있다. 예를 들어, 일부 실시예에서, 터치 위치는 대응하는 픽셀 주소(또는 픽셀 주소들)에 직접 상관되고, 연관된 값들이 액츄에이터(들)를 구동할 햅틱 효과를 선택하는 데 사용된다. 다른 실시예에서, 터치 위치 및 속도가 고려된다. 예를 들어, 실제 터치 주소가 패턴(202) 위쪽에 있을 수 있지만 패턴(202) 쪽으로의 움직임을 나타내는 벡터와 연관되어 있을 수 있으며, 따라서 패턴(202)에서의 픽셀의 값이 적절히 재생될 햅틱 효과에 대해 적시에 액츄에이터를 구동하는 데 사용된다.
도 3은 표면-기반 햅틱 효과를 갖는 인터페이스를 제공하는 예시적인 방법(300)을 나타낸 플로우차트이다. 블록(302)은 터치 영역에서의 터치의 위치를 결정하는 것을 나타낸다. 예를 들어, 프로세서는 표면 상에서의 터치의 위치를 추적하기 위해 터치-인에이블드 디스플레이 또는 표면에 매몰되어 있거나 이를 보고 있는 하나 이상의 센서를 이용할 수 있다. 터치의 현재 및/또는 과거 위치에 기초하여, 터치 영역에 매핑되는 그래픽 사용자 인터페이스와의 상호작용이 결정될 수 있다. 상호작용에 기초하여, 터치 표면의 마찰을 변화시키는 것 및/또는 기타 효과와 같은 하나 이상의 햅틱 효과가 선택될 수 있다.
이 일례에서, 블록 304 및 312에서 상호작용이 인식되고, 여기서 방법은 먼저, 304에서, 제스처가 표시되었는지를 판정한다. 화면을 가로질러 가는 스와이프(swipe)의 방향 및 길이, 패턴에서의 개별 터치의 시퀀스, 또는 다른 인식가능한 상호작용에 기초하는 등과 같이, 제스처가 하나 이상의 터치 또는 터치 패턴의 시퀀스로서 인식될 수 있다. 이 일례에서, 제스처가 인식되는 경우, 흐름은 제스처와 연관된 원하는 햅틱 효과를 결정하는 것을 나타내는 블록(306)으로 이동한다.
예를 들어, 제스처가 진행 중인 동안 장치의 프로세서에 의해 수행되는 패턴 인식에 기초하여 "Z"자-형상의 터치 궤적이 일종의 입력 제스처로서 인식될 수 있다. 제스처가 진행 중인 동안 및/또는 제스처가 완료된 후에 출력할 효과를 나타내는 하나 이상의 햅틱 효과가 프로세서에 의해 액세스가능한 데이터에서 "Z"자 제스처와 연관될 수 있다. 예를 들어, 제스처가 거의 완료될 때 데이터는 텍스처 또는 마찰의 변화를 띠게 될 표면을 제공할 수 있다. 그에 부가하여 또는 다른 대안으로서, 제스처의 입력을 확인해주기 위해 제스처가 인식된 후에 디스플레이의 텍스처 또는 마찰 계수가 변할 수 있다.
블록(304)에서 제스처가 인식되지 않는 경우, 흐름은 방법이 터치의 위치에 또는 그 근방에 GUI-기반 특징부가 존재하는지를 평가하는 블록(312)으로 이동한다. 본 명세서에서 논의된 바와 같이, 터치 표면에 매핑되는 그래픽 사용자 인터페이스에 다양한 특징부가 존재할 수 있고, 특징부는 햅틱 효과와 연관될 수 있다. 특징부는 그래픽 사용자 인터페이스에 실제로 표시되는 콘텐츠에 대응하거나 그렇지 않을 수 있다. 블록(312)은 이러한 특징부들 중 하나 이상의 특징부가 터치된 위치에 있는지 터치된 위치의 근방에 있는지를 판정하는 것을 나타내고, 블록(314)은 특징부에 대응하는 하나 이상의 햅틱 효과를 결정하는 것을 나타낸다.
예를 들어, 현재 픽셀 위치 및/또는 터치의 속도에 기초한 터치의 예상된 픽셀 위치가 다양한 픽셀 위치에 대한 햅틱 효과를 지정하는 비트맵과 비교될 수 있다. 햅틱 효과(들)에 기초하여, 비트맵에 지정된 출력을 제공하기 위해 적당한 햅틱 신호가 액세스/생성될 수 있다.
다른 일례로서, 터치의 현재 또는 예상된 위치가 GUI 특징부(컨트롤, 텍스트 콘텐츠, 경계, 기타 등등)의 위치를 식별해주는 데이터와 비교될 수 있다. 이어서, GUI 특징부가 그 위치에서 식별되는 경우, 하나 이상의 햅틱 효과를 특징부와 연관시키는 데이터가 액세스될 수 있다. 예를 들어, 프로세서는 터치의 위치를 추적하고, 터치가 그래픽 사용자 인터페이스에서 특정의 컨트롤(예를 들어, 버튼)에 매핑되는 터치 영역 내의 위치에 있거나 그에 근접하고 있는 것으로 판정할 수 있다. 프로세서는 이어서 버튼과 연관된 햅틱 효과(예를 들어, 텍스처, 마찰 변동)를 결정하기 위해 인터페이스 요소의 목록을 조회하고, 햅틱 효과에 기초하여, 햅틱 효과를 생성하기 위해 추가의 조치를 취할 수 있다.
이 일례에서, 블록(306) 및 블록(314) 둘다는 선택된 햅틱 효과(들)를 생성하기 위해 하나 이상의 햅틱 신호에 액세스하거나 이를 생성하는 것을 나타내는 블록(308)으로 간다. 예를 들어, 프로세서는, 메모리에 저장되어 있고 특정의 햅틱 효과와 연관되어 있는 구동 신호에 액세스할 수 있다. 다른 일례로서, 저장된 알고리즘에 액세스하고 효과와 연관된 파라미터를 입력함으로써 신호가 생성될 수 있다. 예를 들어, 알고리즘은 진폭 및 주파수 파라미터에 기초하여 구동 신호를 생성하는 데 사용하기 위한 데이터를 출력할 수 있다. 다른 일례로서, 햅틱 신호는 액츄에이터로 전송되어 액츄에이터에 의해 디코딩되는 데이터를 포함할 수 있다. 예를 들어, 액츄에이터 자체가 진폭 및 주파수와 같은 파라미터를 지정하는 명령에 응답할 수 있다.
블록(310)은 원하는 효과(들)를 생성하기 위해 햅틱 신호를 액츄에이터(들)로 전송하는 것을 나타낸다. 예를 들어, 아날로그 구동 신호가 제공되어야 하는 경우, 프로세서는 그 신호를 생성하기 위해 온보드 D/A 변환기를 이용할 수 있다. 디지털 명령이 액츄에이터에 제공되는 경우, 프로세서의 I/O 버스에 의해 적절한 메시지가 생성될 수 있다. 터치 지점에서 및/또는 다른 곳에서 햅틱 효과가 느껴질 수 있다. 예를 들어, 2-손가락 입력 제스처가 제공되는 경우, 제2 손가락의 움직임을 인식한 것에 응답하여 제1 손가락에서의 텍스처/마찰 계수가 변경될 수 있다.
일부 실시예에서, 장치가 생성할 수 있는 잠재적인 효과의 범위를 향상시키기 위해, 선택된 햅틱 효과가 없을 때에도 주변 햅틱 효과(ambient haptic effect)를 생성하기 위해 기준선 햅틱 신호(baseline haptic signal)가 액츄에이터(들)로 전송될 수 있다. 따라서, 햅틱 신호를 전송하는 것은 적절하게 강도를 감소시키기 위해 "정지" 명령, "0" 또는 최소 신호, 또는 다른 신호를 액츄에이터로 전송하는 것을 포함할 수 있다.
일례로서, 압전 액츄에이터와 같은 특정의 액츄에이터를 사용하는 것은 마찰 계수의 증가가 아니라 터치 표면의 마찰 계수의 감소를 가능하게 해줄 수 있다. 일정 범위의 옵션을 제공하기 위해, 터치 표면의 "보통의" 마찰 레벨이 정지해 있을 때 터치 표면이 가지게 될 마찰 계수 미만이도록 기준선 신호가 제공될 수 있다. 그에 따라, 햅틱 효과가 정지 값(static value)이 아닌 기준선 값에 대해 정의될 수 있다. 최대 마찰이 요망되는 경우, 표면의 움직임을 중단시키기 위해 "영" 신호가 압전 액츄에이터로 전송될 수 있다.
표면-기반 햅틱 효과가 임의의 적당한 형태를 취할 수 있다. 예를 들어, 어떤 햅틱 효과는 터치 표면의 마찰의 변동을 포함할 수 있다 - 어떤 부분은 다른 부분보다 "더 매끄럽게" 또는 "더 거칠게" 렌더링될 수 있다 -. 다른 일례로서, 진동 또는 일련의 진동과 같은 진동촉각 효과가 사용될 수 있다. 경계 또는 장애물과 같은 뚜렷한 특징부의 느낌을 시뮬레이트하기 위해 진동촉각 효과 및/또는 마찰 변동이 사용될 수 있다. 예를 들어, 경계 또는 가장자리가 마찰 증가에 의해 시뮬레이트될 수 있고, (어떤 경우에) 경계를 지나가는 경우 마찰이 감소된다.
다양한 텍스처를 시뮬레이트하기 위해 진동촉각 효과 및/또는 마찰의 변동이 그에 부가하여 또는 다른 대안으로서 사용될 수 있다. 텍스처의 생성 및 사용에 관한 부가의 상세는 앞서 언급한 미국 특허 출원 제12/697,010호, 제12/697,042호, 및 제12/697,037호에서 찾아볼 수 있으며, 이들 출원의 발명의 명칭은 각각 "Systems and Methods for a Texture Engine(텍스처 엔진에 대한 시스템 및 방법)"(대리인 사건 번호 IMM354 (51851-383720)), "Systems and Methods for Using Multiple Actuators to Realize Textures(텍스처를 실현하기 위해 다수의 액츄에이터를 사용하는 시스템 및 방법)"(대리인 사건 번호 IMM355 (51851-383719)), 및 "Systems and Methods for Using Textures in Graphical User Interface Widgets(그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법)"(대리인 사건 번호 IMM356 (51851-383718))이다, 예를 들어, 벽돌, 돌(rocks), 모래, 잔디, 모피, 다양한 직물 유형, 물, 당밀(molasses) 및 기타 액체, 가죽, 목재, 얼음, 도마뱀 가죽, 금속, 및 기타 텍스처 패턴과 같은 텍스처의 느낌을 흉내내기 위해 상이한 마찰의 패턴 또는 진동의 패턴이 제공될 수 있다. "위험" 텍스처가 요망될 때 크기가 큰 진동촉각 또는 기타 피드백과 같은 실세계 텍스처와 유사하지 않은 다른 텍스처도 역시 사용될 수 있다.
이 일례에서 블록(304 및 312)이 양자 택일 방식으로 고려되었지만, 일부 실시예에서, 방법은 터치가 하나 이상의 촉각 특징부를 갖는 GUI의 부분에 매핑되는 위치에서 일어나고 있는지도 평가하면서 제스처가 진행 중인지를 고려할 수 있다.
인터페이스 거동의 부가의 예시적인 실시예
도 4a는 터치-인에이블드 디스플레이(402)를 특징으로 하는 컴퓨팅 장치(401)를 포함하는 시스템(400)의 외형도를 나타낸 도면이다. 도 4b는 장치(401)의 단면도를 나타낸 것이다. 장치(401)가 도 1a의 장치(101)와 유사하게 구성될 수 있지만, 명확함을 위해 프로세서, 메모리, 센서 등과 같은 구성요소가 동 도면에 도시되어 있지 않다.
도 4b에서 알 수 있는 바와 같이, 장치(401)는 복수의 액츄에이터(418) 및 부가의 액츄에이터(422)를 특징으로 한다. 액츄에이터(418-1)는 디스플레이(402)에 수직 힘을 가하는 액츄에이터를 포함할 수 있는 반면, 액츄에이터(418-2)는 디스플레이(402)를 측방으로 움직일 수 있다. 이 일례에서, 액츄에이터가 디스플레이에 직접 결합되어 있지만, 액츄에이터가 디스플레이(402) 상부의 물질층과 같은 다른 터치 표면에 결합될 수 있다는 것을 잘 알 것이다. 부가의 액츄에이터(422)는 장치(401)의 구성요소를 포함하는 하우징에 결합될 수 있다. 도 4a 내지 도 4d의 일례에서, 디스플레이(402)의 영역이 터치 영역에 대응하지만, 이 원리가 디스플레이와 완전히 분리되어 있는 터치 표면에 적용될 수 있다.
일 실시예에서, 액츄에이터(418) 각각은 압전 액츄에이터를 포함하는 반면, 부가의 액츄에이터(422)는 ERM 모터(eccentric rotating mass motor), 선형 공진 액츄에이터(linear resonant actuator), 또는 다른 압전 액츄에이터를 포함한다. 액츄에이터(422)는 프로세서로부터의 햅틱 신호에 응답하여 진동촉각 햅틱 효과를 제공하도록 구성될 수 있다. 진동촉각 햅틱 효과는 표면-기반 햅틱 효과와 관련하여 및/또는 다른 목적을 위해 이용될 수 있다.
일부 실시예에서, 액츄에이터들(418-1 및 418-2) 중 어느 하나 또는 둘다는 압전 액츄에이터 이외의 액츄에이터를 포함할 수 있다. 또한, 하나의 액츄에이터(422)가 도시되어 있지만, 다수의 다른 액츄에이터가 장치(401)의 하우징에 결합될 수 있고 및/또는 다른 액츄에이터(422)가 다른 곳에 결합되어 있을 수 있다. 장치(401)는 또한 상이한 위치에서 터치 표면에 결합되어 있는 다수의 액츄에이터(418-1/418-2)를 특징으로 할 수 있다.
다시 도 4a를 참조하면, 그래픽 사용자 인터페이스가 420에서 일반화된 특징부(430)를 포함하는 것으로 도시되어 있다. 이 일례에서, 손가락(426)이 아래쪽으로 위치(428)로 움직이는 것에 의해 표현된 터치의 위치에 기초하여 출력할 햅틱 효과가 선택된다. 상세하게는, 도 4b에서 알 수 있는 바와 같이, 432, 434 및 436으로 나타낸 바와 같은 표면-기반 햅틱 피드백을 제공하기 위해 액츄에이터들(418-1, 418-2, 및/또는 422)는 적절한 햅틱 신호를 제공받는다. 상이한 교차-해칭(cross-hatching)은 액츄에이터로 인한 터치 표면의 다른 "느낌"을 나타내기 위한 것이다. 예를 들어, 432, 434 및 436은 원하는 햅틱 효과를 생성하는 터치 표면의 텍스처 또는 마찰 계수의 변동을 나타낼 수 있다. 일 실시예에서, 높은 마찰의 제1 영역(432)과 그 다음에 오는 낮은 마찰의 제2 영역(434) 및 높은 마찰의 제3 영역(436)을 가지는 것에 의해 상자의 느낌이 시뮬레이트될 수 있다.
도 4c 및 도 4d는 프로세서가 페이지 넘기기 입력 제스처를 인식한 것에 응답하여 햅틱 효과를 선택하도록 구성되어 있는 그래픽 사용자 인터페이스(424)의 일례를 제공하며, 여기서 햅틱 효과는 제스처가 제공될 때 페이지 넘기기 입력 제스처의 방향으로 터치 표면을 변화시키도록 선택된다. 도 4c는 손가락(438)이 페이지 적층(440)의 온-스크린 표현을 터치하고 있는 제1 인터페이스 상태(424-1)를 나타낸 것이다.
도 4d에서 442에 도시된 바와 같이, 손가락은 우에서 좌로의 입력 제스처를 제공하였다. 이 일례에서, 컴퓨팅 장치(401)의 소프트웨어는 페이지 코너로부터 시작하는 우에서 좌로의 궤적을 페이지 넘기기 입력 제스처로서 인식하도록 프로세서를 구성한다. 따라서, 인터페이스는 페이지 코너가 들어 올려지고 444에서 그 다음 페이지가 보이는 상태(424-2)로 간다. 또한, 제스처가 진행 중일 때 (및/또는 제스처가 인식된 후에), 표면-기반 햅틱 효과가 제공될 수 있다. 예를 들어, 손가락(438)이 우에서 좌로 움직일 때, 페이지 넘기기의 느낌을 시뮬레이트하기 위해 터치 표면의 마찰 계수가 변화(예를 들어, 증가)될 수 있다. 다른 일례로서, 일련의 마찰 변화가 제공될 수 있거나, 하나 이상의 텍스처 변화가 일어날 수 있다.
도 5a 및 도 5b 각각은 터치 표면(502)을 특징으로 하는 컴퓨팅 장치(501)를 포함하는 시스템(500)을 나타낸 것이다. 컴퓨팅 장치(501)는 도 4 및 도 1의 장치들(401 및 101)과 유사하게 구성될 수 있다. 이들 일례에서, 터치 표면(502)은 터치 영역에 매핑되는 그래픽 사용자 인터페이스를 특징으로 하는 디스플레이와 분리되어 있다. 분리된 디스플레이(504)는 도 5a 및 도 5b에 도시되어 있으며 장치(501)와 인터페이스 되어 있다.
예를 들어, 장치(501)는 디스플레이(504)와 인터페이스 되어 있는 컴퓨팅 장치(터치 표면에 대응하는 내장된 트랙패드를 갖는 랩톱 컴퓨터 등과 같은)를 나타낼 수 있다. 다른 일례로서, 컴퓨팅 장치(501) 자체는 터치 표면(502), 액츄에이터, 및 장치(501)와 인터페이스 되어 있는 컴퓨팅 장치로부터 명령을 받는 적당한 처리 회로를 포함하는 주변 장치일 수 있다. 어느 경우든지, 도 5a 및 도 5b에서 논의된 원리가 터치 표면이 디스플레이 또는 디스플레이 상의 물질에 대응하는 실시예에 똑같이 적용될 수 있다는 것을 잘 알 것이다. 또한, 터치 표면이 디스플레이와 분리되어 있을 때에도(예를 들어, 마우스, 컴퓨터 트랙패드 등 상의 터치 표면) 물론 이 원리가 사용될 수 있다.
도 5a를 참조하면, 이 일례에서, 장치(501)의 프로세서는 제1 장소에서 제2 장소로의 온-스크린 콘텐츠 항목의 움직임을 나타내는 제스처를 인식한 것에 응답하여 햅틱 효과를 선택하도록 구성되어 있다. 그래픽 사용자 인터페이스(506)는 창들(508 및 510)을 포함한다. 요소(512)는 화면 상에서 조작될 수 있는 파일, 폴더, 또는 기타 요소를 나타낼 수 있다. 이들 요소 각각은 터치 표면(502)에 의해 정의된 바와 같이 터치 영역 내의 508', 510', 및 512'에 나타낸 각각의 장소에 매핑된다. 사용자는 터치 표면(502) 및 512'에 또는 그 근방에 손가락 또는 기타 객체를 위치시킬 수 있다. 이 입력은 항목(512)의 선택으로서 인식될 수 있다. 영역(512')은, 일부 실시예에서, 항목(512)의 콘텐츠 또는 식별자와 연관된 독특한 텍스처 또는 기타 햅틱 효과를 가질 수 있다.
항목(512)을 창(510)으로 움직이기 위해, 사용자는 터치 표면(502)을 가로질러 인터페이스(506)에서의 창들(508 및 510)의 경계에 대응하는 경계들(514' 및 516')를 넘어 드래그할 수 있다. 제2 장소(이 일례에서 창(510))가 보호된 영역(예를 들어, 시스템 또는 기타 보호된 폴더)에 대응하는 경우, 경계(516')에 가까와지거나 경계(516')를 넘어갈 때 적절한 표면-기반 햅틱 효과가 제공될 수 있다. 다른 일례로서, 요소(512)가 보호된 파일을 나타내는 경우, 경계(514')에서 또는 그 근방에서 햅틱 효과가 제공될 수 있다. 예를 들어, 창(508) 밖으로 및/또는 창(510) 내로의 움직임을 저지시키기 위해 마찰 계수가 상당히 증가될 수 있다. 다른 일례로서, 다른 보호되지 않은 요소(도시 생략)의 움직임과 비교하여 영역(512')으로부터의 움직임이 시작될 때, 요소(512)의 상태가 영역(512')에서의 특정의 텍스처 또는 특히 높은 마찰 계수에 의해 표시될 수 있다.
도 5b는 프로세서가 터치의 위치에 또는 그 근방에 있는 터치 영역에서의 위치에 매핑되는 장소에서 그래픽 사용자 인터페이스에 표시되는 컨트롤에 기초하여 햅틱 효과를 선택하도록 구성되어 있는 일례를 나타낸 것이다. 또한, 부가의 콘텐츠에 기초한 햅틱 효과가 도시되어 있다.
상세하게는, 그래픽 사용자 인터페이스(520)는 콘텐츠를 표시하는 제1 부분(522) 및 온-스크린 컨트롤을 나타내는 제2 부분(524)을 포함한다. 이 일례에서, 콘텐츠 부분(522)은 간선 도로(526), 지선 도로(528) 및 목적지(530)를 갖는 지도를 특징으로 한다. 컨트롤 부분(524)은 슬라이더(532) 및 버튼들(534 및 536)을 포함한다. 체크박스, 라디오 버튼, 드롭다운 메뉴, 아코디언 메뉴, 다이얼 등을 포함하여 (그러나 이들로 제한되지는 않음) 임의의 적당한 그래픽 제어 요소가 사용될 수 있다.
그래픽 사용자 인터페이스(520)는 터치 표면(502)의 영역에 매핑된다. 이 일례에서, 터치 표면(502)은 다수의 표면-기반 햅틱 효과를 제공하는 것으로 도시되어 있다. 동시에 도시되어 있지만, 터치가 효과를 포함하는 영역에 또는 그 근방에 있을 때, 교차-해칭으로 나타낸 다양한 햅틱 효과가 장치(501)에 의해 제공될 것임을 잘 알 것이다.
538에 나타낸 바와 같이, 콘텐츠 부분(522)에 매핑되는 터치 영역의 부분은 경계(538)를 특징으로 한다. 이 경계는 콘텐츠 부분(522)에 매핑되는 부분의 경계를 알려주는 데 도움을 주기 위해 텍스처 또는 마찰 변동을 포함할 수 있다. 또한, 간선 도로(526) 및 지선 도로(528)를 식별하기 위해 544 및 546에서 표면 효과가 제공된다.
예를 들어, 상이한 유형의 도로 및 기타 지도 특징부는 독특한 텍스처 또는 마찰 레벨을 가질 수 있다. 다른 일례로서, 온-스크린 경로가 콘텐츠 부분(522)에 표시될 수 있다. 경로에 매핑되는 터치 표면(502)의 부분은 경로를 벗어난 도로에 대응하는 부분과 다른 마찰 또는 텍스처를 가질 수 있다. 예를 들어, 사용자는 낮은 마찰의 부분들(544 및 546)을 따라감으로써 경로를 추적할 수 있으며, 장소(548)를 지나면서 마찰이 점점 증가한다. 의도된 목적지인 장소(548)는 고유의 마찰 또는 텍스처를 가질 수 있다.
터치 표면(502)은 컨트롤 부분(524)에 매핑되는 터치 영역의 부분 쪽으로 사용자를 안내하는 역할을 할 수 있는 햅틱 효과를 나타내는 부분(550)을 특징으로 한다. 예를 들어, 부분(550)은 컨트롤로의 쉬운 경로를 가능하게 해주기 위해 낮은 마찰 계수를 특징으로 할 수 있다.
552A, 552B, 및 552C에 나타낸 바와 같이, 슬라이더(532)의 값이 증가함에 따라 상이한 햅틱 효과가 제공된다. 예를 들어, 슬라이더가 위로 또는 아래로 이동됨에 따라 마찰 레벨이 변할 수 있다. 다른 일례로서, 버튼들(534 및 536)은 상이한 텍스처로 나타내지거나 마찰 변동에 의해 시뮬레이트되는 독특한 경계 영역을 특징으로 할 수 있다. 일부 실시예에서, 버튼들(534 및 536)의 텍스처 또는 마찰이 버튼의 값 또는 상태에 기초하여 변한다. 텍스처 및/또는 마찰에 부가하여 햅틱 효과가 또한 제공될 수 있다. 예를 들어, 사용자가 버튼 내로/버튼으로부터 움직일 때, 햅틱 팝 또는 진동이 제공될 수 있다.
표면-기반 효과의 다른 예시적인 실시예
상기 일례들은 예시를 위해 제공되었으며 제한하기 위한 것이 아니다. 표면-기반 햅틱 효과의 부가의 일례가 이하에서 논의된다.
일부 실시예에서, 그래픽 사용자 인터페이스에의 매핑과 독립적으로 표면-기반 효과가 제공된다. 예를 들어, 그래픽 사용자 인터페이스에서 제시되는 3차원 환경에서 그래픽 요소를 조작하는 입력을 제공하기 위해 터치 표면이 사용될 수 있다. 상이한 제어 또는 움직임을 나타내기 위해 상이한 텍스처가 제공될 수 있다 - 예를 들어, 터치 표면에서 x-축을 따른 제1 텍스처(또는 마찰)는 3D 환경에서 x-y 평면에서의 이동(translation)을 나타낼 수 있는 반면, x-축을 따른 제2 텍스처(또는 마찰)는 3D 환경에서 x-z 평면에서의 이동을 나타낼 수 있다. 다른 일례로서, 3D 환경에서의 객체의 조작은 터치 표면의 다수의 접촉점을 따라 텍스처 또는 마찰을 변화시킴으로써 표시될 수 있다.
추가의 일례로서, 상이한 유형의 제어 동작을 나타내기 위해 상이한 텍스처가 사용될 수 있다. 예를 들어, CAD(computer aided design) 또는 3D 환경에 있어서, 그 환경에서 요소 또는 객체를 움직일 때 제1 텍스처가 제공될 수 있는 반면, 뷰가 변경되었지만 요소/객체가 움직이지 않았을 때 제2 텍스처가 제공된다.
또한, 실시예들은 그리기 또는 기타 입력과 연관된 텍스처의 변화를 포함한다. 예를 들어, 디자인 응용 프로그램에서, 상이한 브러시 또는 기타 도구가 대응하는 텍스처를 가질 수 있다. 브러시 크기가 변화될 때, 각각의 브러시 크기에 상이한 텍스처를 제공함으로써 및/또는 터치 영역의 상당 부분에 브러시 텍스처를 매핑함으로써 브러시 크기가 "느껴질" 수 있다.
실시예들은 파일 또는 문서의 내용을 나타내기 위해 본 발명 대상에 따라 텍스처, 마찰, 및/또는 기타 햅틱 효과들을 사용하는 것을 포함한다. 예를 들어, 사용자 인터페이스는 표면-기반 햅틱 효과를 포함하는 타임라인 선택 메커니즘(예를 들어, 슬라이더)을 포함할 수 있다. 예를 들어, 하나 이상의 특성(예를 들어, 볼륨) 및 특성에 매핑되는 표면-기반 햅틱 효과(예를 들어, 상이한 볼륨에 대한 상이한 텍스처, 마찰 레벨 등)에 대해 오디오 파일이 분석될 수 있다. 사용자가 선택 메커니즘과 상호작용할 때, 상이한 햅틱 효과가 제공될 수 있다(예를 들어, 볼륨이 증가된 부분을 만날 때 슬라이더가 다르게 느껴진다).
다른 일례로서, 게임과 관련하여 표면-기반 햅틱 효과가 사용될 수 있다. 예를 들어, 미국 특허 출원 공개 제2008/0064499호(참조 문헌으로서 그 전체 내용이 본 명세서에 포함됨)는 카지노 및 기타 게임에서 햅틱 효과를 사용하는 것을 기술하고 있다. 카드를 플레이할 때, 터치 표면을 통해 게임 기기(예를 들어, 룰렛 휠, 주사위 등)와 상호작용할 때 및/또는 결과 또는 게임 규칙을 나타내기 위한 상이한 마찰/텍스처(예를 들어, 사용자가 전진할 때의 상이한 텍스처, 게임에서 금지된 움직임이 행해질 때를 표시하기 위해 사용되는 상이한 마찰 값 등)와 같은 미국 출원에 기술된 효과에 부가하여 또는 그 대신에 표면-기반 햅틱 효과가 사용될 수 있다.
일반 고려사항
본 명세서에서 "~하는 데 적합하게 되어 있는" 또는 "~하도록 구성되어 있는"의 사용은 부가의 작업 또는 단계를 수행하는 데 적합하게 되어 있는 또는 부가의 작업 또는 단계를 수행하도록 구성되어 있는 장치를 제외시키지 않는 개방적이고 포함적인 어구를 의미한다. 또한, "~에 기초한"의 사용은, 하나 이상의 언급된 조건 또는 값에 "기초한" 프로세스, 단계, 계산 또는 기타 동작이 언급된 것 이외의 부가의 조건 또는 값에 기초할 수 있다는 점에서, 개방적이고 포함적임을 의미한다. 본 명세서에 포함된 제목, 목록 및 번호 매기기는 단지 설명의 용이함을 위한 것이고 제한하기 위한 것이 아니다.
본 발명 대상의 측면에 따른 실시예는 디지털 전자 회로에서, 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 이들의 조합으로 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 연결된 랜덤 액세스 메모리(RAM) 등의 컴퓨터 판독가능 매체를 포함하거나 그에 액세스한다. 프로세서는, 센서 샘플링 루틴, 햅틱 효과 선택 루틴, 및 상기한 바와 같이 선택된 햅틱 효과를 생성하는 신호를 생성하는 적당한 프로그래밍을 비롯한 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어를 실행한다.
이러한 프로세서는 마이크로프로세서, 디지털 신호 처리기(digital signal processor : DSP), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 및 상태 기계(state machine)를 포함할 수 있다. 이러한 프로세서는 PLC, PIC(programmable interrupt controller), PLD(programmable logic device), PROM(programmable read-only memory), 전기적 프로그램가능 판독 전용 메모리(EPROM 또는 EEPROM), 또는 기타 유사한 장치와 같은 프로그램가능 전자 장치들(programmable electronic devices)을 추가로 포함할 수 있다.
이러한 프로세서는, 프로세서에 의해 실행될 때, 프로세서로 하여금 프로세서에 의해 수행되거나 지원되는 본 명세서에 기술된 단계를 수행하게 할 수 있는 명령어를 저장할 수 있는 매체(예를 들어, 유형의 컴퓨터 판독가능 매체)를 포함할 수 있거나 그와 통신하고 있을 수 있다. 컴퓨터 판독가능 매체의 실시예는 프로세서(웹 서버 내의 프로세서 등)에게 컴퓨터 판독가능 명령어를 제공할 수 있는 모든 전자, 광학, 자기 또는 기타 저장 장치를 포함할 수 있지만, 이들로 제한되지 않는다. 매체의 다른 일례는 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 기타 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되지 않는다. 또한, 라우터, 사설망 또는 공중망, 또는 기타 전송 장치와 같은 다양한 기타 장치가 컴퓨터 판독가능 매체를 포함할 수 있다. 기술된 프로세서 및 처리는 하나 이상의 구조에 있을 수 있고, 하나 이상의 구조에 걸쳐 분산되어 있을 수 있다. 프로세서는 본 명세서에 기술된 방법들 중 하나 이상(또는 방법들의 일부)을 수행하는 코드를 포함할 수 있다.
본 발명 대상이 그의 특정 실시예와 관련하여 상세히 기술되어 있지만, 당업자가 이상의 내용을 이해할 때 이러한 실시예에 대한 변경, 변형 및 등가물을 용이하게 제조할 수 있다는 것을 잘 알 것이다. 따라서, 당업자에게 즉각적으로 명백한 바와 같이, 본 개시 내용이 제한이 아니라 예시를 위해 제공되어 있고 본 발명 대상에 이러한 수정, 변형 및/또는 추가를 포함시키는 것을 배제하지 않는다는 것을 잘 알 것이다.

Claims (1)

  1. 시스템으로서,
    객체가 디스플레이에 결합되어 있는 터치 표면을 접촉할 때, 상기 디스플레이에 표시된 그래픽 사용자 인터페이스에 매핑된 터치 영역에서 터치를 검출하도록 구성된 센서; 및
    상기 센서와 통신하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 터치의 위치, 상기 터치의 속도 또는 상기 터치의 가속도 중 하나 이상을 식별한 것에 기초하여 상기 그래픽 사용자 인터페이스와의 상호작용을 결정하고,
    상기 상호작용에 기초하여 생성할 햅틱 효과를 선택하고,
    상기 터치 표면에 결합되어 있고 상기 선택된 햅틱 효과를 출력하도록 구성된 액츄에이터에 햅틱 신호를 전송하도록 구성되고,
    상기 터치 표면의 조정된 마찰 계수를 제공하기 위해 상기 터치가 일어나는 동안 상기 액츄에이터는 상기 선택된 햅틱 효과를 생성하도록 구성되는, 시스템.
KR1020197003472A 2009-03-12 2010-03-11 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체 KR20190015624A (ko)

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
US15948209P 2009-03-12 2009-03-12
US61/159,482 2009-03-12
US26204109P 2009-11-17 2009-11-17
US26203809P 2009-11-17 2009-11-17
US61/262,041 2009-11-17
US61/262,038 2009-11-17
US12/697,042 US10564721B2 (en) 2009-03-12 2010-01-29 Systems and methods for using multiple actuators to realize textures
US12/696,893 2010-01-29
US12/696,908 2010-01-29
US12/697,042 2010-01-29
US12/697,010 2010-01-29
US12/697,037 2010-01-29
US12/696,908 US10007340B2 (en) 2009-03-12 2010-01-29 Systems and methods for interfaces featuring surface-based haptic effects
US12/697,037 US9927873B2 (en) 2009-03-12 2010-01-29 Systems and methods for using textures in graphical user interface widgets
US12/696,893 US9746923B2 (en) 2009-03-12 2010-01-29 Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US12/697,010 US9874935B2 (en) 2009-03-12 2010-01-29 Systems and methods for a texture engine
US12/696,900 US9696803B2 (en) 2009-03-12 2010-01-29 Systems and methods for friction displays and additional haptic effects
US12/696,900 2010-01-29
PCT/US2010/026900 WO2010105006A1 (en) 2009-03-12 2010-03-11 Systems and methods for interfaces featuring surface-based haptic effects

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177032128A Division KR101946986B1 (ko) 2009-03-12 2010-03-11 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체

Publications (1)

Publication Number Publication Date
KR20190015624A true KR20190015624A (ko) 2019-02-13

Family

ID=73451206

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020197003472A KR20190015624A (ko) 2009-03-12 2010-03-11 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체
KR1020167029343A KR101796888B1 (ko) 2009-03-12 2010-03-11 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체
KR1020177032128A KR101946986B1 (ko) 2009-03-12 2010-03-11 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체
KR1020117023930A KR101670109B1 (ko) 2009-03-12 2010-03-11 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020167029343A KR101796888B1 (ko) 2009-03-12 2010-03-11 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체
KR1020177032128A KR101946986B1 (ko) 2009-03-12 2010-03-11 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체
KR1020117023930A KR101670109B1 (ko) 2009-03-12 2010-03-11 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법

Country Status (5)

Country Link
EP (2) EP3467624A1 (ko)
JP (1) JP6148820B2 (ko)
KR (4) KR20190015624A (ko)
CN (1) CN102349040B (ko)
WO (1) WO2010105006A1 (ko)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US8954115B2 (en) * 2011-04-28 2015-02-10 Fujitsu Limited Method and apparatus for informing a user through haptic signals
WO2012154972A2 (en) * 2011-05-10 2012-11-15 Northwestern University A touch interface device having an electrostatic multitouch surface and method for controlling the device
US10108288B2 (en) 2011-05-10 2018-10-23 Northwestern University Touch interface device and method for applying controllable shear forces to a human appendage
JP5689362B2 (ja) * 2011-05-23 2015-03-25 株式会社東海理化電機製作所 入力装置
EP2754008A4 (en) 2011-06-21 2015-04-22 Univ Northwestern TOUCHING INTERFACE DEVICE AND METHOD FOR USING CROSS-HOLLOWS ON HUMAN LIMBS
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
CN105260049B (zh) 2012-05-09 2018-10-23 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
JP6082458B2 (ja) 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
CN107728906B (zh) 2012-05-09 2020-07-31 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
EP2847659B1 (en) 2012-05-09 2019-09-04 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
EP3410287B1 (en) 2012-05-09 2022-08-17 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2015127257A1 (en) 2014-02-21 2015-08-27 Northwestern University Haptic display with simultaneous sensing and actuation
US20130311881A1 (en) * 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
US20140002336A1 (en) * 2012-06-27 2014-01-02 Greg D. Kaine Peripheral device for visual and/or tactile feedback
EP2703947B1 (de) * 2012-08-27 2019-02-27 Siemens Aktiengesellschaft Bedieneinrichtung für ein technisches System
CN103677705A (zh) * 2012-09-21 2014-03-26 北京网秦天下科技有限公司 一种显示装置及其显示方法
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US20140139451A1 (en) * 2012-11-20 2014-05-22 Vincent Levesque Systems and Methods For Providing Mode or State Awareness With Programmable Surface Texture
KR101580685B1 (ko) * 2012-12-26 2015-12-30 신성수 3차원 햅틱 구현 방법 및 이를 이용한 디스플레이 기기
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US9880623B2 (en) * 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
EP2951756A4 (en) * 2013-02-01 2016-09-07 Intel Corp IMAGE-BASED RESEARCH TECHNIQUES USING TOUCH CONTROLS
KR102048015B1 (ko) * 2013-02-22 2019-11-25 삼성전자주식회사 배경 이미지의 질감을 반영하여 사용자 입력을 표시하는 방법 및 장치
US9547366B2 (en) * 2013-03-14 2017-01-17 Immersion Corporation Systems and methods for haptic and gesture-driven paper simulation
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9274603B2 (en) * 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
US10120447B2 (en) 2013-06-24 2018-11-06 Northwestern University Haptic display with simultaneous sensing and actuation
US9729730B2 (en) * 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
WO2016038676A1 (ja) * 2014-09-09 2016-03-17 三菱電機株式会社 触感制御システムおよび触感制御方法
US20160246375A1 (en) * 2015-02-25 2016-08-25 Immersion Corporation Systems And Methods For User Interaction With A Curved Display
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
CN104881233B (zh) * 2015-05-15 2019-03-15 广东小天才科技有限公司 触控界面中的滑动控制方法和装置
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
KR102512840B1 (ko) * 2015-10-15 2023-03-22 삼성전자주식회사 실행 화면 레코딩 방법 및 그 방법을 처리하는 전자 장치
KR102530469B1 (ko) * 2016-01-08 2023-05-09 삼성전자주식회사 전자 장치 및 이의 제어 방법
JP7248568B2 (ja) * 2016-07-22 2023-03-29 ハーマン インターナショナル インダストリーズ インコーポレイテッド 触覚による操縦誘導システム
US10147460B2 (en) * 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
AU2018369909B2 (en) * 2017-11-15 2023-07-06 The Coca-Cola Company Dispenser with haptic feedback touch-to-pour user interface
FR3076017B1 (fr) * 2017-12-21 2020-10-30 Commissariat Energie Atomique Dispositif surfacique offrant une deformation localisee amelioree
CN108803925A (zh) * 2018-05-24 2018-11-13 上海闻泰信息技术有限公司 触屏效果的实现方法、装置、终端和介质
JP6781236B2 (ja) * 2018-11-16 2020-11-04 株式会社デンソーテン 操作装置
US11158220B2 (en) 2018-12-10 2021-10-26 Universal City Studios Llc Interactive animated protection window with haptic feedback system
WO2023126664A1 (en) * 2021-12-29 2023-07-06 Bosch Car Multimedia Portugal S.A System and method for providing a web browser online user interface with haptic feedback for an automotive setting
EP4270157A1 (en) * 2022-04-28 2023-11-01 eBay, Inc. Replacing physicality

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP3949912B2 (ja) * 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
JP3929881B2 (ja) * 2001-12-04 2007-06-13 独立行政法人科学技術振興機構 皮膚感覚提示装置
JP4434609B2 (ja) * 2002-03-29 2010-03-17 株式会社東芝 表示入力システム
FI20022282A0 (fi) * 2002-12-30 2002-12-30 Nokia Corp Menetelmä vuorovaikutuksen mahdollistamiseksi elektronisessa laitteessa ja elektroninen laite
JP2004265281A (ja) * 2003-03-04 2004-09-24 Univ Nihon 振動応答型タッチパネル
JP3856774B2 (ja) * 2003-08-29 2006-12-13 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声出力装置、情報入力装置、ファイル選択装置、電話機、及びそのプログラムと記録媒体
DE10340188A1 (de) * 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
US20060209037A1 (en) * 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
JP4860625B2 (ja) * 2004-10-08 2012-01-25 イマージョン コーポレーション タッチ式入力装置におけるボタンおよびスクロール動作シミュレーション用の触覚フィードバック
US8677274B2 (en) * 2004-11-10 2014-03-18 Apple Inc. Highlighting items for search results
US7440947B2 (en) * 2004-11-12 2008-10-21 Fuji Xerox Co., Ltd. System and method for identifying query-relevant keywords in documents with latent semantic analysis
JP2006163206A (ja) * 2004-12-09 2006-06-22 Ntt Docomo Inc 触覚提示装置
JP2006228151A (ja) * 2005-02-21 2006-08-31 Tokai Rika Co Ltd タッチ式入力装置
US7616192B2 (en) * 2005-07-28 2009-11-10 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Touch device and method for providing tactile feedback
US8405618B2 (en) * 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
JP4811206B2 (ja) * 2006-09-12 2011-11-09 トヨタ自動車株式会社 入力装置
JP5748956B2 (ja) 2006-09-13 2015-07-15 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ カジノゲーム用のハプティクスのためのシステム及び方法
BRPI0622003A2 (pt) * 2006-09-27 2012-10-16 Nokia Corp tela sensìvel ao toque, dispositivo eletrÈnico, método para operar tela sensìvel ao toque de dispositivo eletrÈnico e produto de software
JP2009003867A (ja) * 2007-06-25 2009-01-08 Panasonic Electric Works Co Ltd 表示装置およびコンピュータ・プログラム
WO2009026337A1 (en) * 2007-08-20 2009-02-26 Gesturetek, Inc. Enhanced rejection of out-of-vocabulary words
US8209321B2 (en) * 2007-08-31 2012-06-26 Microsoft Corporation Emphasizing search results according to conceptual meaning

Also Published As

Publication number Publication date
EP2406702A1 (en) 2012-01-18
WO2010105006A1 (en) 2010-09-16
EP2406702B1 (en) 2019-03-06
JP2012520521A (ja) 2012-09-06
CN102349040B (zh) 2015-11-25
KR20170126028A (ko) 2017-11-15
EP3467624A1 (en) 2019-04-10
KR20160126091A (ko) 2016-11-01
KR20110130472A (ko) 2011-12-05
KR101946986B1 (ko) 2019-02-13
KR101796888B1 (ko) 2017-11-10
JP6148820B2 (ja) 2017-06-14
KR101670109B1 (ko) 2016-10-27
CN102349040A (zh) 2012-02-08

Similar Documents

Publication Publication Date Title
KR101946986B1 (ko) 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체
US10620707B2 (en) Systems and methods for interfaces featuring surface-based haptic effects
KR101885740B1 (ko) 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
JP6571815B2 (ja) 摩擦ディスプレイ中に特徴を提供するためのシステムと方法
JP2012520521A5 (ko)
KR101952002B1 (ko) 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법
KR101653330B1 (ko) 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right