KR102003426B1 - 텍스처 엔진에 대한 시스템 및 방법 - Google Patents

텍스처 엔진에 대한 시스템 및 방법 Download PDF

Info

Publication number
KR102003426B1
KR102003426B1 KR1020117023926A KR20117023926A KR102003426B1 KR 102003426 B1 KR102003426 B1 KR 102003426B1 KR 1020117023926 A KR1020117023926 A KR 1020117023926A KR 20117023926 A KR20117023926 A KR 20117023926A KR 102003426 B1 KR102003426 B1 KR 102003426B1
Authority
KR
South Korea
Prior art keywords
haptic effect
haptic
processor
signal
texture
Prior art date
Application number
KR1020117023926A
Other languages
English (en)
Other versions
KR20110130469A (ko
Inventor
후안 마누엘 크루즈-헤르난데즈
대니 에이. 그랜트
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/697,037 external-priority patent/US9927873B2/en
Priority claimed from US12/697,042 external-priority patent/US10564721B2/en
Priority claimed from US12/697,010 external-priority patent/US9874935B2/en
Priority claimed from US12/696,900 external-priority patent/US9696803B2/en
Priority claimed from US12/696,893 external-priority patent/US9746923B2/en
Priority claimed from US12/696,908 external-priority patent/US10007340B2/en
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20110130469A publication Critical patent/KR20110130469A/ko
Application granted granted Critical
Publication of KR102003426B1 publication Critical patent/KR102003426B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H02N2/06—Drive circuits; Control arrangements or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Abstract

텍스처 엔진에 대한 시스템 및 방법이 개시되어 있다. 예를 들어, 하나의 개시된 시스템은, 복수의 픽셀을 포함하는 디스플레이 신호를 수신하고, 텍스처를 포함하는 햅틱 효과를 결정하고, 햅틱 효과와 연관된 햅틱 신호를 프로세서와 통신하고 있는 액츄에이터로 전송하도록 구성된 프로세서를 포함하며, 상기 액츄에이터는 햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성되어 있다.

Description

텍스처 엔진에 대한 시스템 및 방법{SYSTEMS AND METHODS FOR A TEXTURE ENGINE}
관련 출원의 상호 참조
이 특허 출원은 2009년 3월 12일자로 출원된, 발명의 명칭이 "Locating Features Using a Friction Display(마찰 디스플레이를 사용한 특징부의 위치 확인)"인 미국 가특허 출원 제61/159,482호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2009년 11월 17일자로 출원된, 발명의 명칭이 "System and Method for Increasing Haptic Bandwidth in an Electronic Device(전자 장치에서 햅틱 대역폭을 증가시키는 시스템 및 방법)"인 미국 가특허 출원 제61/262,041호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2009년 11월 17일자로 출원된, 발명의 명칭이 "Friction Rotary Device for Haptic Feedback(햅틱 피드백을 위한 마찰 회전 장치)"인 미국 가특허 출원 제61/262,038호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Providing Features In A Friction Display(마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법)"인 미국 실용 특허 출원 제12/696,893호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Friction Displays And Additional Haptic Effects(마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법)"인 미국 실용 특허 출원 제12/696,900호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Interfaces Featuring Surface-Based Haptic Effects(표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법)"인 미국 실용 특허 출원 제12/696,908호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For A Texture Engine(텍스처 엔진에 대한 시스템 및 방법)"인 미국 실용 특허 출원 제12/697,010호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Using Textures In Graphical User Interface Widgets(그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법)"인 미국 실용 특허 출원 제12/697,037호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Using Multiple Actuators To Realize Textures(다수의 액츄에이터를 사용하여 텍스처를 실현하는 시스템 및 방법)"인 미국 실용 특허 출원 제12/697,042호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
본 발명은 일반적으로 햅틱 피드백(haptic feedback)에 관한 것이며, 보다 상세하게는 텍스처 엔진에 대한 시스템 및 방법에 관한 것이다.
지난 수년에 걸쳐, 모든 유형의 핸드헬드 장치의 사용이 기하급수적으로 늘어났다. 이들 장치는 휴대용 오거나이저(organizer), 전화, 음악 플레이어 및 게임 시스템으로서 사용된다. 많은 최근의 핸드헬드 장치는 이제 어떤 유형의 햅틱 피드백을 포함하고 있다. 햅틱 기술이 진보함에 따라, 장치는 텍스처를 시뮬레이트하는 햅틱 효과를 구현할 수 있다. 그에 따라, 햅틱 텍스처 엔진이 필요하다.
본 발명의 실시예는 텍스처 엔진에 대한 시스템 및 방법을 제공한다. 예를 들어, 일 실시예에서, 텍스처 엔진에 대한 시스템은, 복수의 픽셀을 포함하는 디스플레이 신호를 수신하고, 텍스처를 포함하는 햅틱 효과를 결정하며, 햅틱 효과와 연관된 햅틱 신호를 프로세서와 통신하고 있는 액츄에이터로 전송하도록 구성된 프로세서를 포함하며, 상기 액츄에이터는 햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성되어 있다.
이 예시적인 실시예는 본 발명을 제한하거나 한정하기 위한 것이 아니라 오히려 본 발명의 이해를 돕기 위한 일례를 제공하기 위해 언급되어 있다. 본 발명의 추가적인 설명을 제공하는 상세한 설명에서 예시적인 실시예에 대해 논의한다. 본 발명의 다양한 실시예에 의해 제공되는 이점은 본 명세서를 살펴보면 한층 더 이해될 수 있다.
첨부 도면을 참조하여 이하의 상세한 설명을 읽어보면, 본 발명의 이들 및 기타 특징, 양태 및 이점이 더 잘 이해된다.
도 1은 본 발명의 일 실시예에 따른, 텍스처 엔진에 대한 시스템의 블록도.
도 2는 본 발명의 일 실시예에 따른, 텍스처 엔진에 대한 시스템의 예시를 나타낸 도면.
도 3a는 본 발명의 일 실시예에 따른, 텍스처 엔진에 대한 시스템의 예시를 나타낸 도면.
도 3b는 본 발명의 일 실시예에 따른, 텍스처 엔진에 대한 시스템의 예시를 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른, 텍스처 엔진에 대한 방법의 플로우차트.
도 5a는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시를 나타낸 도면.
도 5b는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 다른 예시를 나타낸 도면.
도 5c는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 다른 예시를 나타낸 도면.
도 5d는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 다른 예시를 나타낸 도면.
도 5e는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 다른 예시를 나타낸 도면.
도 5f는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 다른 예시를 나타낸 도면.
도 5g는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 다른 예시를 나타낸 도면.
도 5h는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 다른 예시를 나타낸 도면.
본 발명의 실시예는 텍스처 엔진에 대한 시스템 및 방법을 제공한다.
텍스처 엔진의 예시적인 실시예
본 발명의 한 예시적인 실시예는 휴대폰과 같은 메시징 장치를 포함한다. 예시적인 실시예에서, 메시징 장치는 이전에 Immersion Corporation의 VibeTonz® 진동촉각 피드백 시스템(vibrotactile feedback system)이라고 알려져 있는, Immersion Corporation의 TouchSense® 3000, TouchSense® 4000, 또는 TouchSense® 5000 진동촉각 피드백 시스템을 장착한 삼성 햅틱 폰(SCH-W420)을 포함한다. 다른 실시예에서, 다른 메시징 장치 및 햅틱 피드백 시스템이 이용될 수 있다.
예시적인 메시징 장치는 디스플레이, 스피커, 네트워크 인터페이스, 메모리, 및 이들 요소 각각과 통신하고 있는 프로세서를 포함한다. 예시적인 메시징 장치는 또한 터치-감응 인터페이스 및 액츄에이터를 포함하며, 이들 둘다는 프로세서와 통신하고 있다. 터치-감응 인터페이스는 사용자와 메시징 장치 간의 상호작용을 감지하도록 구성되어 있고, 액츄에이터는 햅틱 효과를 출력하도록 구성되어 있다. 예시적인 메시징 장치는 사용자 상호작용를 검출하고 사용자 상호작용과 연관된 인터페이스 신호를 프로세서로 전송하도록 구성된 조작체(manipulandum)를 추가로 포함할 수 있다.
예시적인 메시징 장치에서, 디스플레이는 그래픽 사용자 인터페이스를 사용자에게 표시하도록 구성되어 있다. 그래픽 사용자 인터페이스는 가상 객체(virtual object), 예를 들어, 아이콘, 버튼, 또는 가상 키보드를 포함할 수 있다. 예시적인 메시징 장치는 디스플레이 상에 탑재된 터치 스크린과 같은 터치-감응 인터페이스를 추가로 포함한다. 터치-감응 인터페이스는 사용자가 그래픽 사용자 인터페이스에 표시되는 가상 객체와 상호작용할 수 있게 해준다. 예를 들어, 일 실시예에서, 그래픽 사용자 인터페이스는 가상 키보드를 포함할 수 있고, 이러한 실시예에서, 터치-감응 인터페이스는 사용자가 가상 키보드 상의 키를 터치하여 그 키와 연관되어 있는 영숫자 문자를 입력할 수 있게 해준다. 이 기능은 메시지를 타이핑하거나 그래픽 사용자 인터페이스 내의 객체와 다른 방식으로 상호작용하는 데 사용될 수 있다.
예시적인 메시징 장치에서, 프로세서는 햅틱 효과를 결정하고 햅틱 효과에 대응하는 햅틱 신호를, 햅틱 효과를 출력하도록 구성된 액츄에이터로 전송하도록 구성되어 있다. 예시적인 메시징 장치에서, 이 햅틱 효과는 사용자가 터치-감응 인터페이스의 표면 상에서 느끼는 텍스처를 시뮬레이트한다. 시뮬레이트된 텍스처는 디스플레이 상에 보여지는 사용자 인터페이스와 연관되어 있을 수 있다. 예를 들어, 디스플레이는 돌(rock) 모양을 포함하는 아이콘을 보여줄 수 있다. 이러한 실시예에서, 프로세서는 터치-감응 인터페이스의 표면 상에 돌의 텍스처를 시뮬레이트하도록 구성된 햅틱 효과를 결정할 수 있다. 이어서, 프로세서는 햅틱 효과를 출력하도록 구성된 액츄에이터로 햅틱 신호를 전송할 것이다. 액츄에이터가 햅틱 신호를 수신할 때, 액츄에이터는 터치-감응 인터페이스의 표면이 돌의 텍스처를 근사화시키도록 구성된 주파수로 진동과 같은 햅틱 효과를 출력할 것이다.
예시적인 실시예에서, 프로세서는 햅틱 효과를 결정하는 햅틱 맵(haptic map)을 구현할 수 있다. 예를 들어, 예시적인 실시예에서, 프로세서는 복수의 픽셀(각각의 픽셀이 색과 연관되어 있음)을 포함하는 디스플레이 신호(display signal)를 수신할 수 있다. 예를 들어, 예시적인 실시예에서, 디스플레이 신호 내의 각각의 픽셀은 적색, 녹색 또는 청색과 연관되어 있을 수 있으며, 또한 각각의 색의 강도와 연관되어 있을 수 있다. 예시적인 실시예에서, 프로세서는 각각의 색에 햅틱 값(haptic value)을 할당하고 또한 각각의 색의 강도와 연관된 햅틱 강도(haptic intensity)를 할당할 것이다. 이어서, 프로세서는 햅틱 효과를 출력하도록 구성된 액츄에이터로 햅틱 값 및 햅틱 강도를 포함하는 햅틱 신호를 전송할 것이다.
예시적인 실시예에서, 프로세서는 또한 외부 트리거에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 예시적인 실시예에서, 프로세서는 사용자 상호작용을 검출하도록 구성된 터치-감응 인터페이스로부터 인터페이스 신호를 수신하도록 구성되어 있다. 이어서, 예시적인 실시예에서, 프로세서는 인터페이스 신호에 적어도 부분적으로 기초하여 햅틱 효과를 결정할 것이다. 예를 들어, 프로세서는 인터페이스 신호에 적어도 부분적으로 기초하여 햅틱 값 또는 햅틱 강도를 수정할 수 있다. 예시적인 실시예에서, 터치-감응 인터페이스가 고속 또는 높은 압력의 사용자 상호작용을 검출하는 경우, 프로세서는 높은 강도의 햅틱 효과를 결정할 것이다.
예시적인 메시징 장치는 다수의 목적을 위해 햅틱 효과를 출력할 수 있다. 예를 들어, 일 실시예에서, 햅틱 효과는 프로세서가 사용자 상호작용과 연관된 인터페이스 신호를 수신했다는 확인으로서 역할할 수 있다. 예를 들어, 그래픽 사용자 인터페이스는 버튼을 포함할 수 있고, 터치-감응 인터페이스는 버튼을 누르는 것과 연관된 사용자 상호작용을 검출하고 인터페이스 신호를 프로세서로 전송할 수 있다. 그에 응답하여, 프로세서는 인터페이스 신호의 수신을 확인해주는 햅틱 효과를 결정할 수 있다. 이러한 실시예에서, 햅틱 효과는 사용자로 하여금 터치-감응 인터페이스의 표면 상에서 텍스처를 느끼게 할 수 있다. 예시적인 실시예에서, 프로세서는 또한 다른 목적을 위해 햅틱 효과를 결정할 수 있다. 예를 들어, 예시적인 메시징 장치는 디스플레이 상의 경계에 대해 사용자에게 경고하기 위해 또는 디스플레이의 표면 상의 아이콘과 같은 객체에 대한 식별로서 텍스처를 출력할 수 있다.
읽는 사람에게 본 명세서에서 논의된 전반적인 발명 대상을 소개하기 위해 예시적인 일례가 주어져 있다. 본 발명이 이 일례로 제한되지 않는다. 이하의 섹션은 텍스처 엔진에 대한 시스템 및 방법의 다양한 부가의 비제한적인 실시예 및 일례를 기술한다.
텍스처 엔진에 대한 예시적인 시스템
이제부터, 몇개의 도면에 걸쳐 유사한 참조 번호가 유사한 구성요소를 나타내고 있는 첨부 도면을 참조하면, 도 1은 본 발명의 일 실시예에 따른, 텍스처 엔진에 대한 시스템의 블록도이다. 도 1에 도시된 바와 같이, 시스템(100)은 휴대폰, PDA(portable digital assistant), 휴대용 미디어 플레이어, 휴대용 컴퓨터, 휴대용 게임 장치, 또는 어떤 다른 모바일 장치와 같은 메시징 장치(102)를 포함하고 있다. 일부 실시예에서, 메시징 장치(102)는 랩톱, 태블릿, 데스크톱 PC, 또는 다른 유사한 장치를 포함할 수 있다. 또 다른 실시예에서, 메시징 장치는 PC 또는 어떤 다른 장치에서 사용하기 위한 외부 모니터를 포함할 수 있다. 메시징 장치(102)는 네트워크 인터페이스(112), 터치-감응 인터페이스(114), 디스플레이(116), 액츄에이터(actuator)(118), 스피커(120) 및 메모리(122)와 통신하고 있는 프로세서(110)를 포함한다.
프로세서(110)는 메모리(122)에 저장된 컴퓨터 실행가능 프로그램 명령어를 실행하도록 구성되어 있다. 예를 들어, 프로세서(110)는 메시징을 위해 또는 햅틱 피드백을 생성하기 위해 하나 이상의 컴퓨터 프로그램을 실행할 수 있다. 프로세서(110)는 마이크로프로세서, 디지털 신호 처리기(DSP), ASIC(application-specific integrated circuit), 하나 이상의 FPGA(field programmable gate array) 및 상태 머신을 포함할 수 있다. 프로세서(110)는 PLC(programmable logic controller), PIC(programmable interrupt controller), PLD(programmable logic device), PROM(programmable read-only memory), EPROM(electronically programmable read-only memory) 또는 EEPROM, 또는 다른 유사한 장치와 같은 프로그램가능 전자 장치를 추가로 포함할 수 있다.
메모리(122)는, 프로세서(110)에 의해 실행될 때, 프로세서(110)로 하여금 본 명세서에 기술된 단계와 같은 다양한 단계를 수행하게 하는 명령어를 저장하는 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체의 실시예는 프로세서(110)에게 컴퓨터 판독가능 명령어를 제공할 수 있는 전자, 광학, 자기 또는 기타 저장 또는 전송 장치를 포함할 수 있지만, 이들로 제한되지 않는다. 매체의 다른 일례는 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 기타 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되지 않는다. 그에 부가하여, 라우터, 사설망 또는 공중망, 또는 기타 전송 장치 등 다양한 다른 장치가 컴퓨터 판독가능 매체를 포함할 수 있다. 기술된 프로세서(110) 및 처리는 하나 이상의 구조에 있을 수 있고, 하나 이상의 구조에 걸쳐 분산되어 있을 수 있다.
프로세서(110)는 네트워크 인터페이스(112)와 통신하고 있다. 네트워크 인터페이스(112)는 적외선, 무선, Wi-Fi 또는 셀룰러 네트워크 통신과 같은 하나 이상의 이동 통신 방법을 포함할 수 있다. 다른 변형에서, 네트워크 인터페이스(112)는 이더넷과 같은 유선 네트워크 인터페이스를 포함한다. 메시징 장치(102)는 셀룰러 네트워크 및/또는 인터넷과 같은 네트워크를 통해 다른 장치(도시 생략)와 메시지 또는 가상 메시지 객체를 교환하도록 구성될 수 있다. 장치들 사이에서 교환되는 메시지의 실시예는 음성 메시지, 텍스트 메시지, 데이터 메시지 또는 기타 형태의 디지털 메시지를 포함할 수 있다.
프로세서(110)는 또한 하나 이상의 터치-감응 인터페이스(114)와 통신하고 있다. 일부 실시예에서, 터치-감응 인터페이스(114)는 터치 스크린 또는 터치 패드를 포함할 수 있다. 예를 들어, 일부 실시예에서, 터치-감응 인터페이스(114)는, 디스플레이 신호를 수신하여 사용자에게 이미지를 출력하도록 구성된 디스플레이 상에 탑재된 터치 스크린을 포함할 수 있다. 다른 실시예에서, 터치-감응 인터페이스(114)는 광 센서 또는 다른 유형의 센서를 포함할 수 있다. 일 실시예에서, 터치-감응 인터페이스는 LED 검출기를 포함할 수 있다. 예를 들어, 일 실시예에서, 터치-감응 인터페이스(114)는 디스플레이(116)의 측면에 탑재된 LED 손가락 검출기를 포함할 수 있다. 일부 실시예에서, 프로세서는 하나의 터치-감응 인터페이스(114)와 통신하고 있고, 다른 실시예에서, 프로세서는 복수의 터치-감응 인터페이스(예를 들어, 제1 터치 스크린 및 제2 터치 스크린)와 통신하고 있다. 터치-감응 인터페이스(114)는 사용자 상호작용을 검출하고, 사용자 상호작용에 기초하여, 신호를 프로세서(110)로 전송하도록 구성되어 있다. 일부 실시예에서, 터치-감응 인터페이스(114)는 사용자 상호작용의 다수의 측면을 검출하도록 구성될 수 있다. 예를 들어, 터치-감응 인터페이스(114)는 사용자 상호작용의 속도 및 압력을 검출하고, 이 정보를 인터페이스 신호에 포함시킬 수 있다.
도 1에 도시된 실시예에서, 프로세서(110)는 또한 디스플레이(116)와 통신하고 있다. 프로세서(110)는 디스플레이(116) 상에 보여질 사용자 인터페이스의 그래픽 표현을 생성하고 이어서 그래픽 표현을 포함하는 디스플레이 신호를 디스플레이(116)로 전송하도록 구성될 수 있다. 다른 실시예에서, 디스플레이(116)는 다른 장치로부터 디스플레이 신호를 수신하도록 구성되어 있다. 예를 들어, 일부 실시예에서, 디스플레이(116)는 컴퓨터 모니터와 같은 외부 디스플레이를 포함할 수 있다. 디스플레이(116)는 디스플레이 신호를 수신하고 그 디스플레이 신호와 연관된 이미지를 출력하도록 구성되어 있다. 일부 실시예에서, 디스플레이 신호는 vga, hdmi, svga, 비디오, s-video, 또는 기술 분야에 공지된 다른 유형의 디스플레이 신호를 포함할 수 있다. 일부 실시예에서, 디스플레이(116)는 LCD(Liquid Crystal Display) 또는 플라즈마 스크린 디스플레이와 같은 평판 스크린 디스플레이를 포함한다. 다른 실시예에서, 디스플레이(116)는 CRT(Cathode Ray Tube) 또는 기술 분야에 공지된 다른 유형의 디스플레이를 포함한다. 또 다른 실시예에서, 디스플레이(116)는 터치-감응 인터페이스(114)를 포함할 수 있고, 예를 들어, 디스플레이(116)는 터치스크린 LCD를 포함할 수 있다. 또 다른 실시예에서, 디스플레이(116)는 가요성 스크린(flexible screen) 또는 가요성 디스플레이(flexible display)를 포함할 수 있다. 예를 들어, 일부 실시예에서, 디스플레이(116)는 그의 표면 아래에 탑재된 햅틱 기판(haptic substrate)을 포함할 수 있다. 이러한 실시예에서, 디스플레이(116)는 가요성 물질로 이루어져 있으며, 프로세서(110)로부터 수신된 신호에 응답하여, 햅틱 기판은 굴곡하여, 디스플레이(116)의 표면 상에 볼록부(ridge), 오목부(trough) 또는 다른 특징부를 형성한다. 일부 실시예에서, 햅틱 기판은 플라즈마 액츄에이터, 압전 액츄에이터, EAP(electro-active polymer), MEMS(micro-electro-mechanical system), 형상 기억 합금, 액체 또는 기체-충전된 셀의 격자를 포함할 수 있다.
일부 실시예에서, 프로세서(110)는 디스플레이(116) 상에 보여지는 그래픽 사용자 인터페이스와의 상호작용과 연관되어 있는 터치-감응 인터페이스(114)로부터 신호를 수신한다. 예를 들어, 일 실시예에서, 터치-감응 인터페이스(114)는 터치스크린를 포함할 수 있고, 디스플레이(116) 상의 그래픽 사용자 인터페이스는 가상 키보드를 포함할 수 있다. 이러한 실시예에서, 사용자가 가상 키보드의 키들 중 하나의 키를 오버레이하는 터치 스크린의 섹션과 상호작용할 때, 터치 스크린은 그 사용자 상호작용에 대응하는 인터페이스 신호를 프로세서(110)로 전송할 것이다. 인터페이스 신호에 기초하여, 프로세서(110)는 사용자가 가상 키보드 상의 키들 중 하나의 키를 눌렀는지를 판정할 것이다. 이 기능은 사용자가 디스플레이(116) 상의 다른 아이콘 및 가상 객체와 상호작용할 수 있게 해준다. 예를 들어, 일부 실시예에서, 사용자는 가상 공(virtual ball)을 움직이거나 가상 노브(virtual knob)를 회전시키기 위해 터치 스크린을 플릭(flick)할 수 있다.
도 1에 도시된 바와 같이, 프로세서(110)는 또한 하나 이상의 액츄에이터(118)를 포함하는 작동 시스템(actuation system), 각각의 액츄에이터에 대한 서스펜션 시스템(suspension system), 그리고 각각의 액츄에이터에 대한 전력 및 제어 배선과 통신하고 있다. 일부 실시예에서, 메시징 장치(102)는 2개 이상의 작동 시스템을 포함한다. 프로세서(110)는 햅틱 효과를 결정하고 햅틱 효과에 대응하는 햅틱 신호를 액츄에이터(118)로 전송하도록 구성되어 있다. 일부 실시예에서, 햅틱 효과는 디스플레이(116), 터치-감응 인터페이스(114) 또는 메시징 장치(102)의 하우징의 표면 상에서 느껴지는 진동촉각 텍스처(vibrotactile texture)를 포함한다. 일부 실시예에서, 햅틱 효과를 결정하는 것은 일련의 계산을 수행하는 것을 포함할 수 있다. 다른 실시예에서, 햅틱 효과를 결정하는 것은 탐색 테이블에 액세스하는 것을 포함할 수 있다. 또 다른 실시예에서, 햅틱 효과를 결정하는 것은 탐색 테이블과 알고리즘의 조합을 포함할 수 있다.
일부 실시예에서, 햅틱 효과를 결정하는 것은 햅틱 맵을 포함할 수 있다. 이러한 실시예에서, 햅틱 효과를 결정하는 것은 디스플레이 신호를 액츄에이터에 매핑하는 것을 포함할 수 있다. 예를 들어, 디스플레이 신호는 복수의 픽셀(각각의 픽셀이 색과 연관되어 있음)을 포함할 수 있다. 이러한 실시예에서, 각각의 픽셀은 적색, 녹색 또는 청색과 연관되어 있을 수 있고, 각각의 색은 또한, 예를 들어, 1-8의 강도와 연관되어 있을 수 있다. 이러한 실시예에서, 햅틱 효과를 결정하는 것은 햅틱 효과를 각각의 색에 할당하는 것을 포함할 수 있다. 일부 실시예에서, 햅틱 효과는 동작의 방향 및 강도를 포함할 수 있고, 예를 들어, 일 실시예에서, 햅틱 신호는 1/2 전력으로 회전 액츄에이터(rotary actuator)를 시계 방향으로 회전시키도록 구성될 수 있다. 일부 실시예에서, 동작의 강도는 색의 강도와 연관되어 있을 수 있다. 프로세서(110)는, 햅틱 효과를 결정하면, 햅틱 효과를 포함하는 햅틱 신호를 전송한다. 일부 실시예에서, 프로세서(110)는 디스플레이 신호 내의 픽셀들 중 일부 픽셀에만 햅틱 효과를 할당할 수 있다. 예를 들어, 이러한 실시예에서, 햅틱 효과는 디스플레이 신호의 일부분하고만 연관되어 있을 수 있다.
일부 실시예에서, 프로세서(110)는 햅틱 맵을 이용하여 햅틱 효과를 결정하고 이어서 디스플레이 신호를 디스플레이(116)로 출력할 수 있다. 다른 실시예에서, 프로세서(110)는 햅틱 맵을 사용하여 햅틱 효과를 결정하고, 이어서 디스플레이 신호를 디스플레이(116)로 전송하지 않을 수 있다. 이러한 실시예에서, 액츄에이터(118)가 햅틱 효과를 출력하고 있는 동안 디스플레이(116)는 어두운 채로, 또는 꺼져 있는 채로 있을 수 있다. 예를 들어, 이러한 실시예에서, 프로세서(110)는 메시징 장치(102)와 연관되어 있는 디지털 카메라로부터 디스플레이 신호를 수신할 수 있다. 일부 실시예에서, 배터리 전력을 절감하기 위해, 사용자가 디스플레이(116)를 비활성화시켰을 수 있다. 이러한 실시예에서, 프로세서는 디스플레이의 표면 상에 텍스처를 시뮬레이트하는 햅틱 효과를 사용자에게 제공하기 위해 햅틱 맵을 이용할 수 있다. 이 텍스처는 카메라가 초점이 맞추어져 있을 때 또는 어떤 다른 이벤트가 생성했을 때 사용자에게 경고하는 데 사용될 수 있다. 예를 들어, 프로세서(110)는 디스플레이(116)가 활성화되는 경우 얼굴과 연관될 디스플레이(116) 상의 위치에 텍스처를 시뮬레이트하는 햅틱 효과를 결정하기 위해 얼굴 인식 소프트웨어를 사용할 수 있다.
일부 실시예에서, 프로세서(110)는 사용자 상호작용 또는 트리거에 적어도 부분적으로 기초하여 햅틱 효과를 결정할 수 있다. 이러한 실시예에서, 프로세서(110)는 터치-감응 인터페이스(114)로부터 인터페이스 신호를 수신하고 인터페이스 신호에 적어도 부분적으로 기초하여 햅틱 효과를 결정한다. 예를 들어, 일부 실시예에서, 프로세서(110)는 터치-감응 인터페이스(114)에 의해 검출되는 사용자 상호작용의 위치에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 이러한 실시예에서, 프로세서(110)는 사용자가 디스플레이(116) 상에서 터치하고 있는 가상 객체의 텍스처를 시뮬레이트하는 햅틱 효과를 결정할 수 있다. 다른 실시예에서, 프로세서(110)는 인터페이스 신호에 적어도 부분적으로 기초하여 햅틱 효과의 강도를 결정할 수 있다. 예를 들어, 터치-감응 인터페이스(114)가 높은 압력의 사용자 상호작용을 검출하는 경우, 프로세서(110)는 높은 강도의 햅틱 효과를 결정할 수 있다. 다른 실시예에서, 터치-감응 인터페이스(114)가 낮은 압력의 사용자 상호작용을 검출하는 경우, 프로세서(110)는 낮은 강도의 햅틱 효과를 결정할 수 있다. 또 다른 실시예에서, 프로세서(110)는 사용자 상호작용의 속도에 적어도 부분적으로 기초하여 햅틱 효과의 강도를 결정할 수 있다. 예를 들어, 일 실시예에서, 터치-감응 인터페이스(114)가 낮은 속도의 사용자 상호작용을 검출할 때, 프로세서(110)는 낮은 강도의 햅틱 효과를 결정할 수 있다. 또 다른 실시예에서, 프로세서(110)는, 터치-감응 인터페이스(114)로부터 사용자 상호작용과 연관된 인터페이스 신호를 수신하지 않는 한, 어떤 햅틱 효과도 결정하지 않을 수 있다.
프로세서(110)는, 햅틱 효과를 결정하면, 햅틱 효과와 연관된 햅틱 신호를 액츄에이터(118)로 전송한다. 액츄에이터(118)는 프로세서(110)로부터 햅틱 신호를 수신하고 햅틱 효과를 생성하도록 구성되어 있다. 액츄에이터(118)는, 예를 들어, 압전 액츄에이터, 전기 모터, 전자기 액츄에이터, 보이스 코일, 형상 기억 합금, EAP(electro-active polymer), 솔레노이드, ERM(eccentric rotating mass motor) 또는 LRA(linear resonant actuator)일 수 있다. 일부 실시예에서, 액츄에이터(118)는 복수의 액츄에이터(예를 들어, ERM 및 LRA)를 포함할 수 있다.
본 발명의 일 실시예에서, 액츄에이터(118)에 의해 생성된 햅틱 효과는 사용자가 터치-감응 인터페이스(114) 또는 디스플레이(116)의 표면 상에서 느끼는 텍스처를 시뮬레이트하도록 구성되어 있다. 이 텍스처는 디스플레이(116) 상에 보여지는 그래픽 사용자 인터페이스와 연관되어 있을 수 있다. 예를 들어, 디스플레이(116)는 돌 모양을 포함하는 아이콘을 보여줄 수 있다. 이러한 실시예에서, 프로세서(110)는 터치-감응 인터페이스(114)의 표면 상에 돌의 텍스처를 시뮬레이트하도록 구성된 햅틱 효과를 결정할 수 있다. 이어서, 프로세서(110)는 햅틱 효과를 출력하는 액츄에이터(118)로 햅틱 효과와 연관된 햅틱 신호를 전송할 것이다. 예를 들어, 액츄에이터(118)는, 햅틱 신호를 수신할 때, 터치-감응 인터페이스의 표면이 돌의 텍스처를 포함하게 하도록 구성된 주파수로 진동을 출력할 수 있다. 다른 실시예에서, 액츄에이터(118)는 디스플레이(116) 또는 터치-감응 인터페이스(114)의 표면이 물, 얼음, 가죽, 모래, 자갈, 눈, 피부, 모피 또는 어떤 다른 표면의 텍스처를 포함하게 하는 주파수로 진동을 출력하도록 구성될 수 있다. 일부 실시예에서, 햅틱 효과는 메시징 장치(102)의 다른 부분 상에, 예를 들어, 그의 하우징 상에 출력될 수 있다. 일부 실시예에서, 액츄에이터(118)는 동시에 다수의 텍스처를 출력하도록 구성된 다수의 진동을 출력할 수 있다. 예를 들어, 액츄에이터(118)는 디스플레이(116)의 표면이 모래의 텍스처를 포함하게 하도록 구성된 진동을 출력할 수 있다. 이러한 실시예에서, 액츄에이터(118)는 사용자가 모래에 있는 돌의 텍스처를 느끼게 하도록 구성된 부가의 진동을 출력하도록 구성될 수 있다.
프로세서(110)는 많은 이유로 햅틱 효과를 결정할 수 있다. 예를 들어, 일부 실시예에서, 프로세서(110)는 디스플레이(116) 상에 보여지는 객체의 텍스처에 대응하는 햅틱 효과를 출력할 수 있다. 이러한 실시예에서, 디스플레이는 다수의 객체를 보여줄 수 있고, 프로세서는 사용자가 그의 손가락을 객체에서 객체로 움직일 때 다른 햅틱 효과를 결정할 수 있고, 이로써 각각의 객체에 대해 다른 텍스처를 시뮬레이트할 수 있다. 일부 실시예에서, 햅틱 효과는 프로세서(110)가 사용자 상호작용과 연관된 신호를 수신했다는 확인으로서 역할할 수 있다. 예를 들어, 일 실시예에서, 그래픽 사용자 인터페이스는 버튼을 포함할 수 있고, 터치-감응 인터페이스(114)는 버튼을 누르는 것과 연관된 사용자 상호작용을 검출할 수 있다. 터치-감응 인터페이스(114)가 사용자 상호작용과 연관된 인터페이스 신호를 프로세서(110)로 전송할 때, 프로세서(110)는 인터페이스 신호의 수신을 확인해주는 햅틱 효과를 결정할 수 있다. 이러한 실시예에서, 햅틱 효과는 사용자로 하여금 터치-감응 인터페이스(114)의 표면 상에서 텍스처를 느끼게 할 수 있다. 예를 들어, 프로세서는 프로세서(110)가 사용자 입력을 수신했다는 것을 확인해주기 위해 모래의 텍스처를 시뮬레이트하는 햅틱 효과를 출력할 수 있다. 다른 실시예에서, 프로세서는 다른 텍스처(예를 들어, 물, 얼음, 기름, 돌 또는 피부의 텍스처)를 결정할 수 있다. 일부 실시예에서, 햅틱 효과는 다른 목적, 예를 들어, 사용자에게 디스플레이(116) 상의 경계를 알려주는 것 또는 사용자에게 디스플레이(116) 상의 이미지에 관한 햅틱 정보를 제공하는 것에 기여할 수 있다. 예를 들어, 일부 실시예에서, 디스플레이(116) 상의 각각의 아이콘은 다른 텍스처를 포함할 수 있고, 사용자가 그의 손가락을 한 아이콘에서 다른 아이콘으로 움직일 때, 프로세서는 각각의 아이콘의 텍스처를 시뮬레이트하는 햅틱 효과를 결정할 것이다. 추가의 실시예에서, 프로세서는 아이콘과 접촉하고 있는 사용자의 손가락이 움직여 디스플레이의 배경과 접촉할 때 텍스처를 변경할 수 있으며, 따라서 사용자가 더 이상 아이콘을 터치하고 있지 않다는 것을 사용자에게 경고할 수 있다.
도 1에 도시된 바와 같이, 프로세서(110)는 또한 스피커(120)와 통신하고 있다. 스피커(120)는 프로세서(110)로부터 오디오 신호를 수신하고 이를 사용자에게 출력하도록 구성되어 있다. 일부 실시예에서, 오디오 신호는 액츄에이터(118)에 의해 출력되는 햅틱 효과 또는 디스플레이(116)에 의해 출력되는 이미지와 연관되어 있을 수 있다. 다른 실시예에서, 오디오 신호가 햅틱 효과 또는 이미지에 대응하지 않을지도 모른다.
일부 실시예에서, 프로세서(110)는 하나 이상의 센서(예를 들어, GPS 센서, 이미징 센서, 가속도계, 위치 확인 센서, 회전 속도 센서, 광 센서, 카메라, 마이크 또는 어떤 다른 유형의 센서)를 추가로 포함할 수 있다. 센서는 가속도, 경사, 관성, 또는 위치의 변화를 검출하도록 구성될 수 있다. 예를 들어, 메시징 장치(102)는 메시징 장치의 가속도를 측정하도록 구성된 가속도계를 포함할 수 있다. 센서는 센서 신호를 프로세서(110)로 전송하도록 구성되어 있다.
센서 신호는 메시징 장치(102)의 위치, 움직임, 가속도, 또는 "저크(jerk)"(즉, 가속도의 미분)와 연관된 하나 이상의 파라미터를 포함할 수 있다. 예를 들어, 일 실시예에서, 센서는 복수의 파라미터를 포함하는 센서 신호를 생성하여 전송할 수 있으며, 각각의 파라미터는 하나의 측정된 병진 또는 회전 축을 따른 움직임 또는 그것을 중심으로 하는 움직임과 연관되어 있다. 일부 실시예에서, 센서는 하나 이상의 축을 따른 움직임을 나타내기 위해 프로세서(110)가 해석하도록 프로그램되어 있는 전압 또는 전류를 출력한다.
일부 실시예에서, 프로세서(110)는 센서 신호를 수신하고, 가상 작업 공간(virtual workspace)을 활성화시켜 X, Y 또는 Z 방향에서의 메시징 장치(102)의 감지된 움직임을 가상 작업 공간 "내에서의" 가상 움직임에 대응하는 것으로 해석해야 하는 것으로 판정할 것이다. 사용자는 이어서 가상 공간 내에서 제스처를 취함으로써, 예를 들면, 가상 작업 공간 내의 기능 상에서 Z-축으로 메시징 장치(102)를 움직임으로써, 기능 또는 파일을 선택하기 위해 가상 작업 공간 내에서 장치(102)를 움직일 수 있다. 일부 실시예에서, 사용자는 메시징 장치(102)에 의해 출력되는 햅틱 효과를 수정하기 위해 가상 작업 공간 내에서 제스처를 사용할 수 있다.
도 2는 본 발명의 일 실시예에 따른, 텍스처 엔진에 대한 시스템의 예시이다. 도 2는 휴대폰, PDA, 휴대용 미디어 플레이어, 휴대용 게임 장치 또는 모바일 컴퓨터와 같은 메시징 장치(200)를 포함한다. 메시징 장치(200)는 셀룰러 네트워크 또는 인터넷과 같은 네트워크를 통해 음성 메일, 텍스트 메시지 및 기타 데이터 메시지와 같은 신호를 전송하고 수신하도록 구성되어 있다. 메시징 장치(200)는 무선 네트워크 인터페이스 및/또는 유선 네트워크 인터페이스(도 2에 도시되어 있지 않음)를 포함할 수 있다. 장치(200)가 도 2에서 핸드헬드 메시징 장치로서 예시되어 있지만, 다른 실시예는 비디오 게임 시스템 및/또는 개인용 컴퓨터와 같은 다른 장치를 포함할 수 있다.
도 2에 도시된 바와 같이, 메시징 장치(200)는 하우징(202) 및 디스플레이(216)를 포함한다. 일부 실시예에서, 디스플레이(216)는 LCD 디스플레이를 포함할 수 있다. 다른 실시예에서, 디스플레이(216)는 플라즈마 디스플레이 또는 기술 분야에 공지된 다른 유형의 디스플레이를 포함할 수 있다. 디스플레이(216)는 디스플레이 신호를 수신하고 그 디스플레이 신호와 연관된 이미지를 출력하도록 구성되어 있다. 일부 실시예에서, 디스플레이 신호는 vga, hdmi, svga, 비디오, s-video, 또는 기술 분야에 공지된 다른 유형의 디스플레이 신호를 포함할 수 있다. 도 2에 도시된 실시예에서, 디스플레이(216)는 텍스처링된 공(textured ball)(204)을 포함한다. 디스플레이(216)는 돌, 모래 및 물의 텍스처를 포함하는 텍스처 선택 아이콘(206)을 추가로 포함한다.
여전히 도 2를 참조하면, 메시징 장치(200)는 조작체(214)를 추가로 포함한다. 도 2에 도시된 실시예에서, 조작체(214)는 롤러 볼(roller ball) 및 버튼을 포함한다. 메시징 장치(200)는 또한 터치-감응 인터페이스(218)를 포함한다. 도 2에 도시된 실시예에서, 터치-감응 인터페이스(218)는 디스플레이(216) 상에 배치된 터치 스크린을 포함한다. 일부 실시예에서, 디스플레이(216) 및 터치 스크린은 터치 스크린 디스플레이와 같은 하나의 일체형 구성요소를 포함할 수 있다.
조작체(214) 및 터치-감응 인터페이스(218)는 사용자 상호작용을 검출하고 사용자 상호작용에 대응하는 인터페이스 신호를 프로세서로 전송하도록 구성되어 있다. 일부 실시예에서, 사용자 상호작용은 디스플레이(216) 상에 보여지는 그래픽 사용자 인터페이스와 연관되어 있다. 이러한 실시예에서, 프로세서는 인터페이스 신호를 수신하고, 인터페이스 신호에 적어도 부분적으로 기초하여, 그래픽 사용자 인터페이스를 조작한다. 예를 들어, 도 2에 도시된 실시예에서, 사용자는 텍스처 선택 아이콘들(206) 중 하나의 텍스처 선택 아이콘을 선택하기 위해 조작체(214) 또는 터치-감응 인터페이스(218)를 사용할 수 있다. 사용자가 텍스처링된 공(204)에 대한 텍스처를 선택하면, 화면 상에서의 그의 외관이 그 텍스처에 대응하도록 변할 수 있다. 예를 들어, 사용자가 모래 텍스처 아이콘을 선택하는 경우, 프로세서는 텍스처링된 공(204)에 모래가 많은 표면의 외관을 부여하기 위해 디스플레이를 조작할 수 있고 또한 텍스처링된 공(204)과 상호작용할 때 사용자로 하여금 모래가 많은 텍스처를 느끼게 하도록 하는 햅틱 효과를 결정할 수 있다. 또는, 다른 실시예에서, 사용자가 돌 텍스처 아이콘을 선택하는 경우, 프로세서는, 사용자가 텍스처링된 공(204)과 상호작용할 때, 사용자가 돌 텍스처를 느끼게 하는 햅틱 효과를 결정할 수 있다.
메시징 장치(200)는 햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성된 액츄에이터(도 2에 도시되어 있지 않음)를 추가로 포함한다. 일부 실시예에서, 햅틱 효과는 메시징 장치(200)의 사용자가 느끼는 진동촉각 텍스처를 포함한다. 프로세서(110)는 햅틱 효과를 결정하고 햅틱 효과에 대응하는 햅틱 신호를 액츄에이터로 전송하도록 구성되어 있다. 일부 실시예에서, 햅틱 효과를 결정하는 것은 햅틱 효과를 결정하기 위한 일련의 계산을 포함할 수 있다. 다른 실시예에서, 햅틱 효과를 결정하는 것은 적절한 햅틱 효과를 결정하기 위해 탐색 테이블(lookup table)에 액세스하는 것을 포함할 수 있다. 또 다른 실시예에서, 햅틱 효과를 결정하는 것은 탐색 테이블과 알고리즘의 조합을 사용하는 것을 포함할 수 있다. 프로세서(110)는, 햅틱 효과를 결정하면, 햅틱 효과와 연관된 햅틱 신호를 액츄에이터로 전송한다. 액츄에이터는 프로세서(110)로부터 햅틱 신호를 수신하고 햅틱 효과를 생성한다. 사용자는 디스플레이(216)의 표면을 통해 또는 메시징 장치(200)의 어떤 다른 부분을 통해, 예를 들어, 조작체(214) 또는 하우징(202)을 통해 햅틱 효과를 느낄 수 있다. 일부 실시예에서, 텍스처의 변화를 시뮬레이트하기 위해 사용자가 텍스처링된 공(204)의 표면 상에서 그의 손가락을 움직일 때 프로세서는 이 햅틱 효과를 수정할 수 있다.
텍스처 엔진에 대한 시스템의 예시
도 3a는 본 발명의 일 실시예에 따른, 텍스처 엔진에 대한 시스템의 예시이다. 도 3a는 휴대폰, PDA, 휴대용 미디어 플레이어, 휴대용 게임 장치 또는 모바일 컴퓨터와 같은 메시징 장치(300)를 포함한다. 메시징 장치(300)는 셀룰러 네트워크 또는 인터넷과 같은 네트워크를 통해 음성 메일, 텍스트 메시지 및 기타 데이터 메시지와 같은 메시지를 포함하는 신호를 전송하고 수신하도록 구성되어 있다. 메시징 장치(300)는 무선 네트워크 인터페이스 및/또는 유선 네트워크 인터페이스(도 3a에 도시되어 있지 않음)를 포함할 수 있다. 장치(300)가 도 3a에서 핸드헬드 메시징 장치로서 예시되어 있지만, 다른 실시예는 비디오 게임 시스템 및/또는 개인용 컴퓨터와 같은 다른 장치를 포함할 수 있다.
도 3a에 도시된 바와 같이, 메시징 장치(300)는 디스플레이(316)를 포함한다. 디스플레이(316)는 디스플레이 신호를 수신하고 디스플레이 신호에 적어도 부분적으로 기초하여 이미지를 출력하도록 구성되어 있다. 메시징 장치(300)는 디스플레이 신호를 디스플레이(316)로 전송하도록 구성되어 있는 프로세서(도 3a에 도시되어 있지 않음)를 추가로 포함한다. 메시징 장치(300)는 디스플레이(316) 상에 탑재된 터치-감응 인터페이스(314)를 추가로 포함한다. 터치-감응 인터페이스(314)는 사용자 상호작용을 검출하고 사용자 상호작용에 대응하는 인터페이스 신호를 프로세서로 전송하도록 구성되어 있다. 디스플레이(316)는 2개의 아이콘(302, 304)을 포함한다. 사용자가 아이콘들(302, 304) 중 하나의 아이콘과 상호작용할 때, 터치-감응 인터페이스(314)는 사용자 상호작용을 검출하고 대응하는 인터페이스 신호를 프로세서로 전송할 것이다. 이 인터페이스 신호에 기초하여, 프로세서는 사용자가 아이콘들 중 하나의 아이콘에 링크되어 있는 파일을 열었는지 또는 기술 분야에 공지된 어떤 다른 동작을 수행했는지를 판정할 수 있다.
도 3a에 도시된 바와 같이, 각각의 아이콘(302, 304)은 텍스처를 포함하고 있다. 도시된 실시예에서, 아이콘(302)은 벽돌의 텍스처를 포함하고, 아이콘(304)은 돌의 텍스처를 포함한다. 다른 실시예에서, 다른 텍스처(예를 들어, 모래, 물, 기름, 잔디, 모피, 피부, 가죽, 얼음, 목재의 텍스처, 또는 기술 분야에 공지된 어떤 다른 텍스처)가 사용될 수 있다. 도 3a에서 손가락(306)으로 도시된 바와 같이, 사용자가 각각의 아이콘과 연관된 디스플레이(316)의 섹션과 상호작용할 때, 프로세서는 그 아이콘의 텍스처를 시뮬레이트하도록 구성된 햅틱 효과를 결정할 것이다. 프로세서는 이어서 햅틱 효과와 연관된 신호를, 햅틱 효과를 출력하도록 구성되어 있는 액츄에이터(도 3a에 도시되어 있지 않음)로 출력할 것이다. 예를 들어, 도 3a에 도시된 실시예에서, 사용자가 아이콘(302)과 연관된 디스플레이(316)의 섹션과 상호작용할 때, 프로세서는 벽돌의 텍스처와 연관된 햅틱 효과를 결정할 것이다. 이 햅틱 효과는 사용자의 손가락(306)이 모르타르를 지나갈 때 높은 전력의 펄스(high powered pulse)로 강조되는 랜덤 신호로 특징지워질 수 있다. 다른 실시예에서, 디스플레이(316) 상에 보여지는 이미지에 대응할 수 있는 다른 텍스처를 시뮬레이트하기 위해 다른 햅틱 효과가 사용될 것이다.
도 3b는 본 발명의 일 실시예에 따른, 텍스처 엔진에 대한 시스템의 예시이다. 도 3b에 도시된 실시예에서, 햅틱 효과를 결정하는 것은 디스플레이 신호를 액츄에이터에 매핑하는 것을 포함한다. 도 3b에 도시된 실시예는 디스플레이(350)의 확대된 섹션을 포함한다. 디스플레이(350)는 프로세서로부터 디스플레이 신호를 수신하도록 구성되어 있다. 디스플레이 신호는 각각이 색 및 그 색의 강도와 연관되어 있는 복수의 픽셀을 포함한다. 디스플레이(350)는 이 디스플레이 신호를 수신하고 디스플레이 신호와 연관된 이미지를 출력한다. 도 3b에 도시된 실시예에서, 디스플레이(350)의 확대된 부분은 다음과 같은 6개의 픽셀을 포함한다: 351, 352, 353, 354, 355, 및 356. 각각의 픽셀은 색 및 그 색의 강도(1-10의 범위에 있음)와 연관되어 있다. 예를 들어, 픽셀(355)은 녹색 및 10 중 3인 색 강도(color intensity)와 연관되어 있다. 따라서, 디스플레이(350)는 픽셀(355)의 위치에 3의 강도로 녹색을 출력할 것이다.
도 3b에 도시된 실시예에서, 프로세서는 디스플레이 신호 및 디스플레이(350) 상에 탑재된 터치-감응 인터페이스(도 3b에 도시되어 있지 않음)로부터 수신된 인터페이스 신호에 적어도 부분적으로 기초하여 햅틱 효과를 결정할 것이다. 예를 들어, 도 3b에 도시된 실시예에서, 프로세서는 디스플레이 신호를 사용하여 햅틱 효과와 각각의 픽셀을 연관(또는 "매핑")시킨다. 예를 들어, 도 3b에 도시된 실시예에서, 프로세서는 각각의 색에 대해 다른 주파수의 햅틱 효과를 결정할 수 있다. 프로세서는 또한 각각의 픽셀에서의 햅틱 효과의 강도를 각각의 픽셀에서의 색의 강도와 연관시킬 수 있다. 예를 들어, 프로세서는 8의 색 강도를 갖는 픽셀이 또한 8의 햅틱 강도를 가질 것으로 판정할 수 있다. 프로세서가 디스플레이 상의 픽셀 상에서의 사용자 상호작용과 연관된 인터페이스 신호를 수신할 때, 프로세서는 사용자가 상호작용하고 있는 픽셀과 연관된 햅틱 신호를 출력할 것이다. 이 햅틱 효과는 사용자가 디스플레이의 표면 상에서 텍스처를 느끼게 하도록 구성되어 있다.
예를 들어, 도 3b에 도시된 실시예에서, 프로세서는 청색 픽셀이 노킹(knocking) 햅틱 효과와 연관되어 있고, 적색 픽셀이 펄스 진동(pulsing vibration)과 연관되어 있으며, 녹색 픽셀이 클릭킹(clicking) 햅틱 효과와 연관되어 있는 것으로 결정할 수 있다. 이러한 실시예에서, 터치-감응 인터페이스가 사용자의 손가락이 픽셀(351) 위를 지나간 것을 검출할 때, 프로세서는 1의 강도를 갖는 노킹을 결정할 것이다. 이어서, 사용자의 손가락이 픽셀(352) 위를 움직일 때, 프로세서는 5의 강도를 갖는 펄스 진동을 결정할 것이다. 그리고 사용자의 손가락이 계속하여 디스플레이(350)를 가로질러 픽셀(353)로 움직일 때, 프로세서는 3의 강도를 갖는 클릭킹 효과(clicking effect)를 결정할 수 있다.
이들 햅틱 효과는 사용자가 디스플레이(350)의 표면 상에서 손가락을 움직일 때 사용자가 디스플레이(350)의 표면 상에서 텍스처를 느끼게 하도록 구성되어 있다. 일부 실시예에서, 프로세서는 2개 이상의 액츄에이터와 통신하고 있을 수 있고, 각각의 색은 그 자신의 액츄에이터와 연관되어 있을 수 있다. 다른 실시예에서, 사용자로 하여금 디스플레이의 표면 상에서 텍스처를 느끼게 하기 위해 색, 강도 및 햅틱 효과의 다른 조합이 사용될 수 있다.
도 4는 본 발명의 일 실시예에 따른, 텍스처 엔진에 대한 방법의 플로우차트로서, 이에 대해서는 도 1에 도시된 장치와 관련하여 기술한다. 도 4에 도시된 바와 같이, 방법(400)은 프로세서(110)가 복수의 픽셀을 포함하는 디스플레이 신호를 수신할 때 시작한다(402). 디스플레이 신호는 vga, hdmi, svga, 비디오, s-video, 또는 기술 분야에 공지된 다른 유형의 디스플레이 신호를 포함할 수 있다. 디스플레이 신호는 메시징 장치가 디스플레이(116)를 통해 사용자에게 표시할 그래픽 사용자 인터페이스 또는 기타 이미지를 포함할 수 있다.
이어서, 터치-감응 인터페이스(114)는 인터페이스 신호를 프로세서(110)로 전송하고, 프로세서(110)는 인터페이스 신호를 수신한다(404). 일부 실시예에서, 터치-감응 인터페이스(114)는 터치 스크린 또는 터치 패드를 포함할 수 있다. 예를 들어, 일부 실시예에서, 터치-감응 인터페이스(114)는, 디스플레이 신호를 수신하여 사용자에게 이미지를 출력하도록 구성된 디스플레이 상에 탑재된 터치 스크린을 포함할 수 있다. 다른 실시예에서, 터치-감응 인터페이스는 버튼, 스위치, 스크롤 휠, 롤러 볼, 또는 기술 분야에 공지된 어떤 다른 유형의 물리 장치 인터페이스를 포함할 수 있다. 일부 실시예에서, 프로세서(110)는 하나의 터치-감응 인터페이스(114)와 통신하고 있다. 다른 실시예에서, 프로세서(110)는 복수의 터치-감응 인터페이스(114)(예를 들어, 터치 스크린 및 롤러 볼)와 통신하고 있다. 터치-감응 인터페이스(114)는 사용자 상호작용을 검출하고, 사용자 상호작용에 적어도 부분적으로 기초하여, 신호를 프로세서로 전송하도록 구성되어 있다. 일부 실시예에서, 터치-감응 인터페이스(114)는 사용자 상호작용의 다수의 양태를 검출하도록 구성될 수 있다. 예를 들어, 터치-감응 인터페이스(114)는 사용자 상호작용의 속도 및 압력을 검출하고, 이 정보를 인터페이스 신호에 포함시킬 수 있다.
그 다음에, 프로세서(110)는 텍스처를 포함하는 햅틱 효과를 결정한다(406). 햅틱 효과는 사용자가 터치-감응 인터페이스 또는 조작체의 표면을 통해 느낄 수 있는 진동을 포함할 수 있다. 일부 실시예에서, 이 진동은 사용자로 하여금 터치-감응 인터페이스의 표면 상에서 텍스처, 예를 들어, 가죽, 눈, 모래, 얼음, 피부 또는 어떤 다른 표면의 텍스처를 느끼게 할 수 있다. 일부 실시예에서, 햅틱 효과를 결정하는 것은 햅틱 효과를 결정하기 위한 일련의 계산을 포함할 수 있다. 다른 실시예에서, 햅틱 효과를 결정하는 것은 적절한 햅틱 효과를 결정하기 위해 탐색 테이블(lookup table)에 액세스하는 것을 포함할 수 있다. 또 다른 실시예에서, 햅틱 효과를 결정하는 것은 탐색 테이블과 알고리즘의 조합을 포함할 수 있다.
일부 실시예에서, 햅틱 효과를 결정하는 것은 햅틱 맵을 포함할 수 있다. 이러한 실시예에서, 햅틱 효과를 결정하는 것은 디스플레이 신호를 액츄에이터에 매핑하는 것을 포함할 수 있다. 예를 들어, 디스플레이 신호는 복수의 픽셀(각각의 픽셀이 색과 연관되어 있음)을 포함할 수 있다. 이러한 실시예에서, 햅틱 효과를 결정하는 것은 햅틱 효과를 각각의 색에 할당하는 것을 포함할 수 있다. 이어서, 프로세서(110)는 햅틱 효과를 포함하는 햅틱 신호를 출력할 것이다. 일부 실시예에서, 프로세서(110)는 디스플레이 신호 내의 픽셀들 중 일부 픽셀에만 햅틱 효과를 할당할 수 있다. 예를 들어, 이러한 실시예에서, 햅틱 효과는 디스플레이 신호의 일부분하고만 연관되어 있을 수 있다.
일부 실시예에서, 프로세서(110)는 사용자 상호작용 또는 트리거에 적어도 부분적으로 기초하여 햅틱 효과를 결정할 수 있다. 이러한 실시예에서, 프로세서(110)는 터치-감응 인터페이스(114)로부터 인터페이스 신호를 수신하고 인터페이스 신호에 적어도 부분적으로 기초하여 햅틱 효과를 결정한다. 예를 들어, 일부 실시예에서, 프로세서(110)는 터치-감응 인터페이스(114)로부터 수신된 인터페이스 신호에 기초하여 상이한 강도의 햅틱 효과를 결정할 수 있다. 예를 들어, 터치-감응 인터페이스(114)가 높은 압력의 사용자 상호작용을 검출하는 경우, 프로세서(110)는 높은 강도의 햅틱 효과를 결정할 수 있다. 다른 실시예에서, 터치-감응 인터페이스(114)가 낮은 압력의 사용자 상호작용을 검출하는 경우, 프로세서(110)는 낮은 강도의 햅틱 효과를 결정할 수 있다. 또 다른 실시예에서, 터치-감응 인터페이스(114)가 낮은 속도의 사용자 상호작용을 검출할 때, 프로세서(110)는 낮은 강도의 햅틱 효과를 결정할 수 있다. 게다가, 터치-감응 인터페이스(114)가 높은 속도의 사용자 상호작용을 검출할 때, 프로세서(110)는 높은 강도의 햅틱 효과를 결정할 수 있다. 또 다른 실시예에서, 프로세서(110)는, 터치-감응 인터페이스(114)로부터 사용자 상호작용을 포함하는 인터페이스 신호를 수신하지 않는 한, 어떤 햅틱 효과도 결정하지 않을 수 있다.
마지막으로, 프로세서(110)는 햅틱 효과와 연관된 햅틱 신호를, 햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성된 액츄에이터(118)로 전송한다(408). 액츄에이터(118)는 프로세서(110)로부터 햅틱 신호를 수신하고 햅틱 효과를 생성하도록 구성되어 있다. 액츄에이터(118)는, 예를 들어, 압전 액츄에이터, 전기 모터, 전자기 액츄에이터, 보이스 코일, 선형 공진 액츄에이터, 형상 기억 합금, EAP(electro-active polymer), 솔레노이드, ERM(eccentric rotating mass motor) 또는 LRA(linear resonant actuator)일 수 있다.
도 5a는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 5a에 도시된 실시예는 벽돌을 포함한다. 벽돌의 텍스처는, 모르타르로부터의 껄끄러운 오목부(gritty valley)의 느낌으로 마무리되어 있는, 벽돌로부터의 거칠고 불규칙적인 텍스처를 특징으로 한다. 텍스처 엔진에 대한 시스템은 사용자의 손가락이 움직이고 있는 동안 중간 내지 높은 최대 변동을 갖는 랜덤한 신호로 LRA, LPA, 또는 FPA와 같은 액츄에이터를 구동함으로써 벽돌의 거칠고 불규칙적인 텍스처를 생성할 수 있다. 일부 실시예에서, 상이한 거칠기를 위해 이 변동이 조정될 수 있다. 일부 실시예에서, 벽돌에서 모르타르로의 전환이 ERM에 의해 생성되는 지속기간이 긴 팝(high duration pop)에 의해 렌더링될 수 있다. 그에 부가하여, 모르타르가 충분히 두꺼운 경우, 벽돌의 텍스처를 출력하는 액츄에이터를 구동하는 데 사용되는 것보다 높은 변동을 갖는 작은 크기의 신호로 액츄에이터를 구동함으로써 미세 텍스처(fine texture)가 렌더링될 수 있다.
도 5b는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 5b에 도시된 실시예는 돌을 포함한다. 돌의 텍스처는 사용자가 돌에서 돌로 움직일 때의 전환으로 마무리되는 매끄러운 표면을 특징으로 한다. 돌의 텍스처를 출력하기 위해, FPA와 같은 액츄에이터가 낮은 마찰의 패치를 생성하는 데 사용될 수 있다. 개개의 돌은 표시된 이미지의 비시각적 가장자리 맵(non-visual edge map)에 의해, 그리고 터치-감응 인터페이스가 사용자의 움직임을 검출할 때, 큰 크기의 햅틱 신호를 LPA 또는 ERM과 같은 액츄에이터로 출력함으로써 렌더링될 수 있다. 예를 들어, 터치-감응 인터페이스가 사용자의 손가락이 하나의 돌에서 다른 돌로 이동하고 있음을 검출할 때마다 햅틱 효과를 출력한다.
도 5c는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 5c에 도시된 실시예는 모래 또는 사포를 포함한다. 모래는 거칠고 껄끄러운 느낌은 물론 모래 입자의 더미가 사용자의 손가락 앞에 쌓여 있는 느낌을 특징으로 한다. 모래의 거칠고 껄끄러운 텍스처를 출력하기 위해, 사용자의 손가락이 움직이고 있는 동안 높은 최대 변동을 갖는 랜덤 신호로 LRA, LPA 또는 FPA와 같은 액츄에이터가 구동된다. 일부 실시예에서, 프로세서는 상이한 정도의 거칠기를 생성하기 위해 신호의 분산을 조정할 수 있다. 모래가 쌓여 있는 느낌을 생성하기 위해, FPA와 같은 액츄에이터가 사용될 수 있다. 이러한 실시예에서, 사용자가 터치 스크린을 가로질러 손가락을 움직일 때, 프로세서는 낮은 강도로 시작하다가 사용자가 한 방향으로 손가락을 움직일 때 높아지는 신호로 액츄에이터를 구동할 것이다.
다른 실시예에서, 도 5c에 도시된 텍스처는 사포를 포함할 수 있다. 사포는 거칠고 껄끄러운 느낌을 갖는 것을 특징으로 한다. 거칠고 껄끄러운 느낌을 생성하기 위해, 프로세서는 높은 최대 변동을 갖는 랜덤 신호로 LRA, LPA 또는 FPA와 같은 액츄에이터를 구동한다. 일부 실시예에서, 이 신호는 사용자의 손가락이 터치-감응 인터페이스의 표면을 가로질러 움직이고 있는 동안에만 출력된다. 일부 실시예에서, 프로세서는 거칠기의 레벨을 변경하기 위해 신호의 분산을 조정할 수 있다.
도 5d는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 5d에 도시된 실시예에서, 텍스처는 잔디의 텍스처를 포함한다. 잔디는 사용자의 손가락을 간지럽히는 듯한 주기적인 약한 느낌을 특징으로 한다. 잔디의 느낌을 생성하기 위해, 프로세서는 잔디의 패치로 오버레이되어 있는 낮은 마찰의 패치를 생성하도록 구성된 신호로 FPA와 같은 액츄에이터를 구동할 수 있다. 일부 실시예에서, 프로세서는 표시된 이미지의 비시각적 가장자리 맵을 가지고서 사용자 인터페이스가 사용자 상호작용을 검출할 때 작은 크기의 신호를 LPA 또는 ERM과 같은 액츄에이터로 출력함으로써 개개의 풀잎을 렌더링할 수 있다.
도 5e는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 5e에 도시된 실시예에서, 텍스처는 직물의 텍스처를 포함한다. 직물은 가볍고 매끄러운 느낌을 특징으로 한다. 직물의 텍스처의 느낌을 생성하기 위해, 프로세서는 사용자의 손가락이 터치-감응 인터페이스의 표면을 가로질러 움직일 때 작은 크기의 고주파 신호로 LPA 또는 LRA와 같은 액츄에이터를 구동할 수 있다.
도 5f는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 5f에 도시된 실시예에서, 텍스처는 물 또는 당밀(molasses)의 텍스처를 포함한다. 물은 거의 어떤 느낌도 갖지 않는 것을 특징으로 한다. 그렇지만, 교란되는 물은 주변으로 튀겨서 사용자의 손가락에 부딪칠 수 있다. 물의 텍스처를 에뮬레이트하기 위해, 프로세서는 터치-감응 인터페이스의 표면 상에서의 마찰을 감소시키기 위해 FPA와 같은 액츄에이터를 구동할 수 있다. 물이 튀는 것(water sloshing)을 에뮬레이트하기 위해, 프로세서는 사용자가 화면을 터치할 때에만 햅틱 신호를 출력할 수 있다. 당밀 또는 기름과 같은 보다 끈적끈적한 액체의 텍스처를 에뮬레이트하기 위해, 프로세서는 사용자의 손가락이 터치-감응 인터페이스의 표면을 가로질러 움직일 때 사용자의 손가락에 대한 마찰을 증가시키도록 구성된 신호로 액츄에이터를 구동할 수 있다.
도 5g는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 5g에 도시된 실시예에서, 텍스처는 가죽의 텍스처를 포함한다. 가죽의 표면의 볼록부 및 오목부를 포함하는 가죽은 전체적으로 매끄러운 느낌을 특징으로 한다. 가죽의 텍스처의 느낌을 생성하기 위해, 프로세서는 사용자의 손가락이 터치-감응 인터페이스의 표면을 가로질러 움직일 때 마찰을 감소시키는 햅틱 효과를 출력하도록 구성된 신호로 FPA와 같은 액츄에이터를 구동할 수 있다. 프로세서는 터치-감응 인터페이스가 사용자의 손가락이 움직이고 있다는 것을 검출할 때 아주 짧은 작은 크기의 햅틱 신호로 액츄에이터를 구동함으로써 균열 및 볼록부를 출력할 수 있다.
도 5h는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 5h에 도시된 실시예에서, 텍스처는 목재의 텍스처를 포함한다. 목재는 사용자가 판재에서 판재로 움직일 때 급격한 전환으로 마무리되는 불규칙적인 울퉁불퉁한 텍스처를 특징으로 할 수 있다. 불규칙적인 울퉁불퉁한 텍스처를 생성하기 위해, 프로세서는 표시된 이미지의 비시각적 가장자리 맵으로 LRA, LPA, 또는 FPA와 같은 액츄에이터를 구동하고 사용자의 손가락이 움직이고 있는 다양한 때에 아주 짧은 작은 크기의 신호로 액츄에이터를 구동할 수 있다. 판재에서 판재로의 전환을 출력하기 위해, 프로세서는 액츄에이터로 하여금 큰 크기의, 지속기간이 짧은 팝을 생성하게 하도록 구성된 햅틱 신호를 출력할 수 있다.
다른 실시예에서, 상이한 텍스처와 연관된 햅틱 효과가 출력될 수 있다. 예를 들어, 일 실시예에서, 프로세서는 액츄에이터로 하여금 사용자가 얼음의 텍스처와 연관된 텍스처를 느끼게 하도록 구성된 햅틱 효과를 출력하게 하도록 구성되어 있는 햅틱 신호를 전송할 수 있다. 얼음은 낮은 마찰을 특징으로 하며, 일부 실시예에서, 얼음은 완전히 매끄러운 텍스처를 가진다. 다른 실시예에서, 얼음은 미세한 작은 크기의 껄끄러운 텍스처를 포함한다. 얼음의 텍스처를 생성하기 위해, 프로세서는 사용자가 터치-감응 인터페이스의 표면을 가로질러 손가락을 움직이고 있는 동안 액츄에이터로 하여금 가능한 한 많이 마찰을 감소시키게 하도록 구성된 햅틱 신호를 결정할 수 있다. 다른 실시예에서, 프로세서는 사용자가 손가락을 움직이고 있는 동안 작은 크기의 효과를 출력하도록 구성된 햅틱 신호로 LPA 또는 LRA와 같은 액츄에이터를 구동할 수 있다. 이 작은 크기의 효과는 얼음의 표면 상의 결점 또는 티끌과 연관되어 있을 수 있다.
다른 실시예에서, 프로세서는 액츄에이터로 하여금 도마뱀 가죽의 텍스처를 근사화하는 햅틱 효과를 출력하게 하도록 구성된 신호로 액츄에이터를 구동할 수 있다. 도마뱀 가죽은 가죽 상의 볼록부에서 볼록부로의 전환으로 마무리되는 전체적으로 매끄러운 느낌을 특징으로 한다. 도마뱀 가죽의 텍스처를 포함하는 햅틱 효과를 구현하기 위해, 프로세서는 액츄에이터로 하여금 터치-감응 인터페이스 상에 낮은 마찰의 패치를 생성하게 하도록 구성된 햅틱 신호로 액츄에이터를 구동할 수 있다. 프로세서는 터치-감응 인터페이스가 그의 표면을 가로질러 사용자의 손가락이 움직이고 있다는 것을 검출할 때 큰 크기의 햅틱 신호를 주기적으로 출력함으로써 가죽의 표면에 있는 균열을 렌더링할 수 있다. 이 큰 크기의 신호는 가죽의 표면에 있는 균열을 근사화할 수 있다.
또 다른 실시예에서, 프로세서는 액츄에이터로 하여금 모피의 텍스처를 근사화하는 햅틱 효과를 출력하게 하도록 구성된 신호로 액츄에이터를 구동할 수 있다. 모피는 촉감이 아주 부드러운 주기적인 약한 느낌을 특징으로 한다. 모피의 텍스처를 포함하는 햅틱 효과를 구현하기 위해, 프로세서는 액츄에이터로 하여금 터치-감응 인터페이스의 표면 상에서 사용자가 느끼는 마찰을 감소시키도록 구성된 햅틱 효과를 출력하게 하도록 구성된 햅틱 신호로 액츄에이터를 구동할 수 있다. 프로세서는 또한 터치-감응 인터페이스가 사용자의 움직임을 검출할 때 작은 크기의 펄스 햅틱 신호를 출력함으로써 개개의 털을 렌더링할 수 있다.
또 다른 실시예에서, 프로세서는 액츄에이터로 하여금 금속의 텍스처를 근사화하는 햅틱 효과를 출력하게 하도록 구성된 신호로 액츄에이터를 구동할 수 있다. 금속은, 일부 실시예에서, 가벼운 티끌을 포함하는 매끄러운 낮은 마찰의 표면을 특징으로 한다. 금속의 텍스처를 포함하는 햅틱 효과를 구현하기 위해, 프로세서는 터치-감응 인터페이스의 표면 상에서 사용자가 느끼는 마찰을 저하시키도록 구성된 신호로 액츄에이터를 구동할 수 있다. 일부 실시예에서, 프로세서는 터치-감응 인터페이스가 그의 표면 상에서 사용자가 움직이고 있다는 것을 검출할 때 짧은 큰 크기의 햅틱 신호를 출력함으로써 개개의 볼록부를 렌더링할 수 있다. 이 짧은 큰 크기의 신호는 금속의 표면에 있는 티끌을 근사화할 수 있다.
또 다른 실시예에서, 프로세서는 액츄에이터로 하여금 다른 느낌, 예를 들어, 열을 근사화하는 햅틱 효과를 출력하게 하도록 구성된 신호로 액츄에이터를 구동할 수 있다. 이러한 실시예에서, 프로세서는 사용자가 열과 연관되어 있는 디스플레이의 구성요소를 터치할 때 액츄에이터로 하여금 고주파의 덜컹거림 효과를 출력하게 하도록 구성된 햅틱 신호를 출력할 수 있다.
텍스처 엔진에 대한 시스템 및 방법의 장점
텍스처 엔진에 대한 시스템 및 방법의 많은 장점이 있다. 예를 들어, 텍스처 엔진의 시스템 및 방법은 이전에 미사용된 햅틱 효과를 모바일 장치에 추가한다. 이러한 새 효과는, 사용자가 모바일 장치의 디스플레이를 볼 필요 없이, 사용자가 모바일 장치로부터 정보를 수신하는 새로운 방법을 제공한다. 예를 들어, 텍스처 엔진의 시스템 및 방법은 사용자가 상이한 아이콘, 버튼, 또는 그의 디스플레이의 다른 구성요소에 상이한 텍스처를 할당할 수 있게 해줄 수 있다. 따라서, 사용자는 자신이 어느 아이콘을 터치하고 있는지를, 그 아이콘을 볼 필요없이, 확인할 수 있다. 이것은 장치의 사용성을 향상시킬 수 있고, 장치를 시각 장애인에게 더 유용하게 만들 수 있다.
게다가, 텍스처 엔진에 대한 시스템 및 방법은, 다른 작업으로부터 사용자의 주의를 분산시키는 일 없이 사용자에게 추가 정보를 제공하기 때문에, 사용자 오류를 감소시킬 것이다. 예를 들어, 사용자가 텍스처 엔진에 대한 시스템 및 방법을 이용하는 경우, 사용자가 잘못된 아이콘을 치거나 잘못된 키를 누를 가능성이 적어질 것이다. 이 기능은 사용자 만족도를 증가시키는 역할도 하고 텍스처 엔진에 대한 시스템 및 방법을 포함하는 기술의 채택율을 증가시키는 역할도 할 수 있다.
일반 고려사항
본 명세서에서 "~하는 데 적합하게 되어 있는" 또는 "~하도록 구성되어 있는"의 사용은 부가의 작업 또는 단계를 수행하는 데 적합하게 되어 있는 또는 부가의 작업 또는 단계를 수행하도록 구성되어 있는 장치를 제외시키지 않는 개방적 포함적 어구를 의미한다. 그에 부가하여, "~에 기초한"의 사용은, 하나 이상의 언급된 조건 또는 값에 "기초한" 프로세스, 단계, 계산 또는 기타 동작이 언급된 것 이외의 부가의 조건 또는 값에 기초할 수 있다는 점에서, 개방적이고 포함적임을 의미한다. 본 명세서에 포함된 제목, 목록 및 번호 매기기는 단지 설명의 용이함을 위한 것이고 제한하기 위한 것이 아니다.
본 발명 대상의 양태에 따른 실시예는, 디지털 전자 회로로, 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 이들의 조합으로 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 연결된 랜덤 액세스 메모리(RAM) 등의 컴퓨터 판독가능 매체를 포함하거나 그에 액세스한다. 프로세서는, 센서 샘플링 루틴, 햅틱 효과 선택 루틴, 및 상기한 바와 같이 선택된 햅틱 효과를 생성하는 신호를 만들어내는 적당한 프로그래밍을 비롯한 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어를 실행한다.
이러한 프로세서는 마이크로프로세서, 디지털 신호 처리기(DSP), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 및 상태 머신을 포함할 수 있다. 이러한 프로세서는 PLC, PIC(programmable interrupt controller), PLD(programmable logic device), PROM(programmable read-only memory), 전기적 프로그램가능 판독 전용 메모리(EPROM 또는 EEPROM), 또는 기타 유사한 장치와 같은 프로그램가능 전자 장치를 추가로 포함할 수 있다.
이러한 프로세서는, 프로세서에 의해 실행될 때, 프로세서로 하여금, 프로세서에 의해 수행되거나 또는 지원되는 것과 같은, 본 명세서에 기술된 단계를 수행하게 할 수 있는 명령어를 저장할 수 있는 매체(예를 들어, 유형의 컴퓨터 판독가능 매체)를 포함할 수 있거나 그와 통신하고 있을 수 있다. 컴퓨터 판독가능 매체의 실시예는 프로세서(웹 서버 내의 프로세서 등)에게 컴퓨터 판독가능 명령어를 제공할 수 있는 모든 전자, 광학, 자기 또는 기타 저장 장치를 포함할 수 있지만, 이들로 제한되지 않는다. 매체의 다른 일례는 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 기타 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되지 않는다. 또한, 라우터, 사설망 또는 공중망, 또는 기타 전송 장치와 같은 다양한 기타 장치가 컴퓨터 판독가능 매체를 포함할 수 있다. 기술된 프로세서 및 처리는 하나 이상의 구조에 있을 수 있고, 하나 이상의 구조에 걸쳐 분산되어 있을 수 있다. 프로세서는 본 명세서에 기술된 방법들 중 하나 이상(또는 방법들의 일부)을 수행하는 코드를 포함할 수 있다.
본 발명 대상이 그의 특정 실시예와 관련하여 상세히 기술되어 있지만, 당업자가 이상의 내용을 이해할 때 이러한 실시예에 대한 변경, 변형 및 등가물을 용이하게 제조할 수 있다는 것을 잘 알 것이다. 그에 따라, 당업자에게는 즉각 명백할 것인 바와 같이, 본 개시 내용이 제한이 아니라 예시를 위해 제공되어 있고 본 발명 대상에 이러한 수정, 변형 및/또는 추가를 포함시키는 것을 배제하지 않는다는 것을 잘 알 것이다.

Claims (24)

  1. 프로세서; 및
    상기 프로세서와 통신하는 복수의 액츄에이터
    를 포함하고,
    상기 프로세서는 복수의 픽셀을 포함하는 디스플레이 신호를 수신하고 - 상기 복수의 픽셀 각각은 색과 연관되고, 각각의 색은 연관된 햅틱 값을 포함함 -,
    X, Y 또는 Z 방향에서의 모바일 장치의 움직임을 감지하도록 구성된 센서로부터 센서 신호를 수신하고,
    텍스처를 포함하는 햅틱 효과를 결정하고 - 상기 햅틱 효과를 결정하는 것은 상기 움직임에 부분적으로 기초한 상기 햅틱 효과 및 상기 복수의 픽셀 중 하나 이상과 연관된 상기 햅틱 값을 결정하는 것을 포함함 - ,
    상기 햅틱 효과와 연관된 햅틱 신호를 전송하도록 구성되고,
    상기 복수의 액츄에이터 각각에는 색이 할당되고, 상기 복수의 액츄에이터 각각은 상기 햅틱 신호를 수신하고 자신에게 할당된 색의 햅틱 값과 연관된 상기 햅틱 효과를 출력하도록 구성되는, 시스템.
  2. 제1항에 있어서,
    상기 텍스처는 진동촉각 효과(vibrotactile effect)인 시스템.
  3. 제1항에 있어서,
    상기 텍스처는 모래, 도마뱀 가죽 또는 벽돌의 텍스처를 포함하는 시스템.
  4. 제1항에 있어서,
    상기 복수의 액츄에이터는 ERM(eccentric rotating mass) 모터, LRA(linear resonant actuator), 형상 기억 합금, EAP(electroactive polymer) 또는 압전 액츄에이터 중 하나를 포함하는 시스템.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    각각의 색은 강도를 포함하고, 상기 햅틱 효과를 결정하는 것은 상기 강도에 대응하도록 상기 햅틱 값을 조정하는 것을 더 포함하는 시스템.
  9. 제1항에 있어서,
    상기 프로세서와 통신하는 디스플레이를 더 포함하고, 상기 디스플레이는 상기 디스플레이 신호를 수신하고 이미지를 출력하도록 구성되는 시스템.
  10. 제9항에 있어서,
    상기 텍스처는 상기 디스플레이의 표면 상에 출력되는 시스템.
  11. 제9항에 있어서,
    상기 복수의 액츄에이터는 상기 디스플레이에 결합되는 시스템.
  12. 제1항에 있어서,
    상기 복수의 액츄에이터 및 상기 프로세서를 둘러싸도록 구성되는 하우징을 더 포함하는 시스템.
  13. 제12항에 있어서,
    상기 하우징은 모바일 장치 하우징을 포함하는 시스템.
  14. 제12항에 있어서,
    상기 복수의 액츄에이터는 상기 하우징에 결합되는 시스템.
  15. 제1항에 있어서,
    사용자 상호작용을 검출하고, 상기 사용자 상호작용에 적어도 부분적으로 기초하여 센서 신호를 상기 프로세서로 전송하도록 구성된 터치-감응 인터페이스를 더 포함하는 시스템.
  16. 제15항에 있어서,
    상기 프로세서는 상기 센서 신호에 적어도 부분적으로 기초하여 상기 햅틱 효과를 결정하도록 더 구성되는 시스템.
  17. 제16항에 있어서,
    상기 터치-감응 인터페이스는 상기 사용자 상호작용의 속도를 검출하도록 구성되고, 상기 햅틱 효과를 결정하는 것은 상기 사용자 상호작용의 속도에 대응하도록 상기 햅틱 효과를 조정하는 것을 포함하는 시스템.
  18. 제16항에 있어서,
    상기 터치-감응 인터페이스는 상기 사용자 상호작용의 압력을 검출하도록 구성되고, 상기 햅틱 효과를 결정하는 것은 상기 사용자 상호작용의 압력에 대응하도록 상기 햅틱 효과의 강도를 조정하는 것을 포함하는 시스템.
  19. 햅틱 효과를 출력하는 방법으로서,
    복수의 픽셀을 포함하는 디스플레이 신호를 수신하는 단계 - 상기 복수의 픽셀 각각은 색과 연관되고, 각각의 색은 연관된 햅틱 값을 포함함 -;
    X, Y 또는 Z 방향에서의 모바일 장치의 움직임을 감지하도록 구성된 센서로부터 센서 신호를 수신하는 단계;
    텍스처를 포함하는 햅틱 효과를 결정하는 단계 - 상기 햅틱 효과를 결정하는 것은 상기 움직임에 부분적으로 기초한 상기 햅틱 효과 및 상기 복수의 픽셀 중 하나 이상과 연관된 상기 햅틱 값을 결정하는 것을 포함함 - ;
    복수의 액츄에이터 각각에 색을 할당하는 단계; 및
    상기 햅틱 효과와 연관된 햅틱 신호를, 상기 햅틱 신호를 수신하고 자신에게 할당된 색과 연관된 상기 햅틱 효과를 출력하도록 구성된 복수의 액츄에이터 각각으로 전송하는 단계
    를 포함하는 방법.
  20. 삭제
  21. 삭제
  22. 제19항에 있어서,
    각각의 색은 강도를 포함하고, 상기 햅틱 효과를 결정하는 단계는 상기 햅틱 값을 상기 강도에 대응되도록 조정하는 단계를 포함하는 방법.
  23. 제19항에 있어서,
    터치-감응 인터페이스로부터 인터페이스 신호를 수신하는 단계를 더 포함하고, 상기 햅틱 효과는 상기 인터페이스 신호에 적어도 부분적으로 기초하여 결정되는 방법.
  24. 사용자 상호작용을 검출하고 상기 사용자 상호작용에 대응하는 신호를 전송하도록 구성된 터치-감응 인터페이스;
    상기 터치-감응 인터페이스와 통신하는 프로세서; 및
    상기 프로세서와 통신하는 하나 이상의 액츄에이터
    를 포함하고,
    상기 터치-감응 인터페이스는 상기 사용자 상호작용의 속도 및 압력을 검출하도록 구성되고,
    상기 프로세서는 복수의 픽셀을 포함하는 디스플레이 신호를 수신하고 - 상기 복수의 픽셀 각각은 색과 연관되고, 각각의 색은 연관된 햅틱 값을 포함함 -,
    X, Y 또는 Z 방향에서의 모바일 장치의 움직임을 감지하도록 구성된 센서로부터 센서 신호를 수신하고,
    텍스쳐를 포함하는 햅틱 효과를 결정하고 - 상기 햅틱 효과를 결정하는 것은 상기 움직임에 부분적으로 기초한 상기 햅틱 효과 및 상기 복수의 픽셀 중 하나 이상과 연관된 상기 햅틱 값을 결정하는 것을 포함함 -,
    상기 햅틱 효과와 연관된 햅틱 신호를 전송하도록 구성되며,
    상기 하나 이상의 액츄에이터 각각에는 색이 할당되고, 상기 하나 이상의 액츄에이터 각각은 상기 햅틱 신호를 수신하고 자신에게 할당된 색의 햅틱 값과 연관된 상기 햅틱 효과를 출력하도록 구성되는, 시스템.
KR1020117023926A 2009-03-12 2010-03-11 텍스처 엔진에 대한 시스템 및 방법 KR102003426B1 (ko)

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
US15948209P 2009-03-12 2009-03-12
US61/159,482 2009-03-12
US26204109P 2009-11-17 2009-11-17
US26203809P 2009-11-17 2009-11-17
US61/262,038 2009-11-17
US61/262,041 2009-11-17
US12/697,037 US9927873B2 (en) 2009-03-12 2010-01-29 Systems and methods for using textures in graphical user interface widgets
US12/697,042 US10564721B2 (en) 2009-03-12 2010-01-29 Systems and methods for using multiple actuators to realize textures
US12/697,010 2010-01-29
US12/697,010 US9874935B2 (en) 2009-03-12 2010-01-29 Systems and methods for a texture engine
US12/697,037 2010-01-29
US12/696,893 2010-01-29
US12/696,900 US9696803B2 (en) 2009-03-12 2010-01-29 Systems and methods for friction displays and additional haptic effects
US12/696,908 2010-01-29
US12/697,042 2010-01-29
US12/696,900 2010-01-29
US12/696,893 US9746923B2 (en) 2009-03-12 2010-01-29 Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US12/696,908 US10007340B2 (en) 2009-03-12 2010-01-29 Systems and methods for interfaces featuring surface-based haptic effects
PCT/US2010/026909 WO2010105012A1 (en) 2009-03-12 2010-03-11 Systems and methods for a texture engine

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020167024778A Division KR102051180B1 (ko) 2009-03-12 2010-03-11 텍스처 엔진에 대한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110130469A KR20110130469A (ko) 2011-12-05
KR102003426B1 true KR102003426B1 (ko) 2019-07-24

Family

ID=73451201

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167024778A KR102051180B1 (ko) 2009-03-12 2010-03-11 텍스처 엔진에 대한 시스템 및 방법
KR1020117023926A KR102003426B1 (ko) 2009-03-12 2010-03-11 텍스처 엔진에 대한 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020167024778A KR102051180B1 (ko) 2009-03-12 2010-03-11 텍스처 엔진에 대한 시스템 및 방법

Country Status (5)

Country Link
EP (1) EP2406704A1 (ko)
JP (1) JP5779508B2 (ko)
KR (2) KR102051180B1 (ko)
CN (1) CN102349038B (ko)
WO (1) WO2010105012A1 (ko)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
WO2013157626A1 (ja) * 2012-04-20 2013-10-24 株式会社ニコン 電子機器及び振動制御方法
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
DE112013002412T5 (de) 2012-05-09 2015-02-19 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
DE112013002409T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Anzeige zusätzlicher Informationen in Reaktion auf einen Benutzerkontakt
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
EP2847660B1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
AU2013259630B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to gesture
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
AU2013259642A1 (en) 2012-05-09 2014-12-04 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
CN102662477A (zh) * 2012-05-10 2012-09-12 孙晓颖 一种基于静电力触觉再现的装置
EP2856282A4 (en) * 2012-05-31 2015-12-02 Nokia Technologies Oy DISPLAY APPARATUS
JP6071372B2 (ja) * 2012-09-21 2017-02-01 キヤノン株式会社 電子機器及び電子機器の制御方法
US9196134B2 (en) 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
JP6020083B2 (ja) * 2012-11-19 2016-11-02 アイシン・エィ・ダブリュ株式会社 操作支援システム、操作支援方法及びコンピュータプログラム
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
KR101905174B1 (ko) 2012-12-29 2018-10-08 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
KR20160003031A (ko) * 2013-04-26 2016-01-08 임머숀 코퍼레이션 햅틱 셀들의 어레이를 이용한 유형의 사용자 인터페이스 상호작용들 및 제스처들의 시뮬레이션
CN105556423B (zh) 2013-06-11 2019-01-15 意美森公司 用于基于压力的触觉效果的系统和方法
MX338463B (es) * 2013-09-26 2016-04-15 Fujitsu Ltd Aparato de control de accionador, dispositivo electronico y metodo de control del accionador.
JP6644466B2 (ja) * 2013-12-31 2020-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚通知を提供するシステム及び方法
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
JP6289100B2 (ja) * 2014-01-06 2018-03-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2015121970A1 (ja) * 2014-02-14 2015-08-20 富士通株式会社 教育用触感提供装置、及び、システム
JPWO2015121969A1 (ja) * 2014-02-14 2017-03-30 富士通株式会社 触感提供装置、及び、システム
WO2015121964A1 (ja) * 2014-02-14 2015-08-20 富士通株式会社 入力装置
JPWO2015121971A1 (ja) * 2014-02-14 2017-03-30 富士通株式会社 触感提供装置、及び、システム
JP2017513165A (ja) * 2014-03-21 2017-05-25 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 力ベースのオブジェクト操作及び触覚的感覚のためのシステム及び方法
US9645646B2 (en) * 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
JP2016057764A (ja) * 2014-09-08 2016-04-21 株式会社東海理化電機製作所 触覚呈示装置
KR102398389B1 (ko) * 2014-11-12 2022-05-16 엘지디스플레이 주식회사 햅틱 객체로부터 햅틱 신호를 모델링하는 방법, 디스플레이 장치 및 이의 구동 방법
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10908691B2 (en) 2017-07-27 2021-02-02 Telefonaktiebolaget Lm Ericsson (Publ) Perception of haptic objects
US10747404B2 (en) * 2017-10-24 2020-08-18 Microchip Technology Incorporated Touchscreen including tactile feedback structures and corresponding virtual user interface elements
JP7087367B2 (ja) * 2017-12-08 2022-06-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
US11158220B2 (en) * 2018-12-10 2021-10-26 Universal City Studios Llc Interactive animated protection window with haptic feedback system
JP7345387B2 (ja) * 2019-12-26 2023-09-15 Kddi株式会社 触感提示システム、触感提示システムのローカル端末およびサーバ装置ならびに触感提示方法および触感提示プログラム
WO2023108131A1 (en) * 2021-12-10 2023-06-15 Shaw Industries Group, Inc. Visceral surface covering simulator and method of use
KR102504937B1 (ko) 2021-12-22 2023-03-02 현대건설기계 주식회사 건설장비의 원격조종 시스템
KR102654176B1 (ko) 2022-01-10 2024-04-04 울산과학기술원 기계 학습 모델을 이용하여 시각 기반 촉감 출력을 위한 컴퓨터 장치 및 그의 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001290572A (ja) * 2000-04-05 2001-10-19 Fuji Xerox Co Ltd 情報処理装置
JP2003099177A (ja) * 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US20030117490A1 (en) * 2001-12-20 2003-06-26 Kirk Tecu Tactile display apparatus
JP2004310518A (ja) * 2003-04-08 2004-11-04 Fuji Xerox Co Ltd 画像情報処理装置
US20080068348A1 (en) * 1998-06-23 2008-03-20 Immersion Corporation Haptic feedback for touchpads and other touch controls

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3852368B2 (ja) * 2002-05-16 2006-11-29 ソニー株式会社 入力方法及びデータ処理装置
DE10340188A1 (de) * 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
US20060209037A1 (en) 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
US20060024647A1 (en) * 2004-07-30 2006-02-02 France Telecom Method and apparatus for communicating graphical information to a visually impaired person using haptic feedback
WO2006042309A1 (en) * 2004-10-08 2006-04-20 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US7616192B2 (en) 2005-07-28 2009-11-10 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Touch device and method for providing tactile feedback
KR100791379B1 (ko) * 2006-01-02 2008-01-07 삼성전자주식회사 사용자 인터페이스 시스템 및 방법
US20080122589A1 (en) * 2006-11-28 2008-05-29 Ivanov Yuri A Tactile Output Device
US9170649B2 (en) * 2007-12-28 2015-10-27 Nokia Technologies Oy Audio and tactile feedback based on visual environment
EP2245612B1 (en) * 2008-02-04 2013-07-17 Nokia Corporation Device and method for providing tactile information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080068348A1 (en) * 1998-06-23 2008-03-20 Immersion Corporation Haptic feedback for touchpads and other touch controls
JP2001290572A (ja) * 2000-04-05 2001-10-19 Fuji Xerox Co Ltd 情報処理装置
JP2003099177A (ja) * 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US20030117490A1 (en) * 2001-12-20 2003-06-26 Kirk Tecu Tactile display apparatus
JP2004310518A (ja) * 2003-04-08 2004-11-04 Fuji Xerox Co Ltd 画像情報処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JONATHAN TAPSON 외 6인. The feeling of color: A haptic feedback device for the visually disabled. 2008 IEEE Biomedical Circuits and Systems Conference. 2008.11.20. 1부.*

Also Published As

Publication number Publication date
JP5779508B2 (ja) 2015-09-16
WO2010105012A1 (en) 2010-09-16
KR102051180B1 (ko) 2019-12-02
CN102349038A (zh) 2012-02-08
KR20110130469A (ko) 2011-12-05
EP2406704A1 (en) 2012-01-18
JP2012520137A (ja) 2012-09-06
KR20160110547A (ko) 2016-09-21
CN102349038B (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
KR102003426B1 (ko) 텍스처 엔진에 대한 시스템 및 방법
JP6410860B2 (ja) テクスチャエンジン用のシステム及び方法
JP6588951B2 (ja) テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法
JP5606462B2 (ja) テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法
JP6463795B2 (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
CN105892921B (zh) 用于使用多个致动器实现纹理的系统和方法
KR101761082B1 (ko) 그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법
KR101992070B1 (ko) 텍스처 엔진에 대한 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
E902 Notification of reason for refusal
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2017101001063; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20170303

Effective date: 20181031

S901 Examination by remand of revocation
E902 Notification of reason for refusal
GRNO Decision to grant (after opposition)
GRNT Written decision to grant