KR20110052629A - 물리 기반 촉각 메시징을 위한 시스템 및 방법 - Google Patents
물리 기반 촉각 메시징을 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20110052629A KR20110052629A KR1020117003437A KR20117003437A KR20110052629A KR 20110052629 A KR20110052629 A KR 20110052629A KR 1020117003437 A KR1020117003437 A KR 1020117003437A KR 20117003437 A KR20117003437 A KR 20117003437A KR 20110052629 A KR20110052629 A KR 20110052629A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual message
- virtual
- interaction
- environment
- sensor
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M19/00—Current supply arrangements for telephone systems
- H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
- H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
- H04M19/047—Vibrating means for incoming calls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
- H04W4/21—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for social networking applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
- G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
- G06F2200/163—Indexing scheme relating to constructional details of the computer
- G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/014—Force feedback applied to GUI
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Environmental & Geological Engineering (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
- Position Input By Displaying (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
물리 기반 촉각 메시징을 위한 시스템 및 방법이 게시되어 있다. 예를 들어, 하나의 게시된 방법은 메시징 장치와의 물리적 상호작용을 감지하도록 구성되는 센서로부터 센서 신호를 수신하는 단계; 하나 이상의 가상 메시지 객체와 가상 메시지 환경 간의 상호작용을 결정하는 단계 ― 상기 상호작용은 센서 신호, 및 하나 이상의 가상 메시지 객체 중 적어도 하나의 가상 메시지 객체의 가상 물리적 파라미터에 적어도 부분적으로 기초함―; 및 상호작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정하는 단계를 포함한다. 이 방법은 추가적으로 작동기(actuator)로 하여금 햅틱 효과를 출력하게 하도록 구성되는 햅틱 신호를 생성하는 단계를 포함한다.
Description
본 특허 출원은 2008년 7월 15일 출원된 발명의 명칭이 "물리 기반 촉각 메시징을 위한 시스템 및 방법(Systems and Methods for Physics-Based Tactile Messaging)"인 미국 특허 가출원 번호 61/080,978; 2008년 7월 15일 출원된 발명의 명칭이 "메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 매핑하기 위한 시스템 및 방법(Systems and Methods for Mapping Message Contents to Virtual Physical Properties for Vibrotactile Messaging)"인 미국 특허 가출원 번호 61/080,981; 2008년 7월 15일 출원된 발명의 명칭이 "수동 및 능동 모드 간에 센서 햅틱 피드백 기능을 시프트하기 위한 시스템 및 방법(Systems and Methods for Shifting Sensor Haptic Feedback Function Between Passive and Active Modes)"인 미국 특허 가출원 번호 61/080,985; 2008년 7월 15일 출원된 발명의 명칭이 "메시지 수신자의 제스처 표시를 위한 시스템 및 방법(Systems and Methods for Gesture Indication of Message Recipients)"인 미국 특허 가출원 번호 61/080,987; 2009년 1월 29일 출원된 발명의 명칭이 "공유 공간에서 의사-원격 현장감을 위한 시스템 및 방법(Systems and Methods for Pseudo-Telepresence in a Shared Space)"인 미국 특허 가출원 번호 61/148,312; 및 2009년 5월 26일 출원된 발명의 명칭이 "햅틱 메시지를 송신하기 위한 시스템 및 방법(Systems and Methods for Transmitting Haptic Messages)"인 미국 특허 가출원 번호 61/181,280에 대해 우선권을 주장하고, 이들 모두는 전체가 참조로 본 명세서에 통합된다.
본 발명은 일반적으로 메시징 시스템에 관한 것으로, 보다 구체적으로는 물리 기반 촉각 메시징을 위한 시스템 및 방법에 관한 것이다.
메시징 장치 상의 종래의 메시징 시스템은 메시지의 카테고리 및 콘텐츠를 결정하기 위한 단서들을 제공하는 시각 또는 청각 피드백 중 하나 또는 이들 모두에 의존할 수 있다. 예를 들어, 스마트폰은 전화 호출, 음성 메일, 또는 텍스트 메시지를 수신할 때 삐 소리를 내거나 및/또는 깜빡일 수 있다. 기초 햅틱 피드백이 또한 사용될 수 있지만, 사용자에게 메시지에 관한 정보를 거의 주지 못한다. 예를 들어, 단순한 진동이 전화 호출의 수신에 동반할 수 있다. 또는, 전화 벨과 같은 사운드 효과가 진동과 동반될 수 있다. 터치 스크린 및 가상 키패드를 갖는 메시징 장치에서, 복수의 버튼을 갖는 종래의 키패드를 보고 느끼는 사용자의 체험을 모방하는 단순한 햅틱 효과들이 출력될 수 있다.
이러한 표준 시각, 청각 및 햅틱 피드백은 메시징 장치의 사용자를 위한 강력한 상호작용을 제공하지 못할 수 있다. 따라서, 물리 기반 촉각 메시징이 필요하다.
본 발명의 실시예는 물리 기반 촉각 메시징을 위한 시스템 및 방법을 제공한다. 예를 들어, 일 실시예에서, 물리 기반 촉각 메시징을 위한 방법은 메시징 장치와의 물리적 상호작용을 감지하도록 구성되는 센서로부터 센서 신호를 수신하는 단계, 하나 이상의 가상 메시지 객체와 가상 메시지 환경 간의 상호작용을 결정하는 단계 ― 상호작용은 센서 신호, 및 하나 이상의 가상 메시지 객체 중 적어도 하나의 가상 물리적 파라미터에 적어도 부분적으로 기초함 ―, 상호작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정하는 단계, 및 작동기(actuator)로 하여금 햅틱 효과를 출력하도록 구성되는 햅틱 신호를 생성하는 단계를 포함한다. 또 다른 실시예에서, 컴퓨터 판독가능 매체가 이러한 방법을 실행하기 위한 프로그램 코드를 포함한다.
이러한 예시적인 실시예들은 발명을 제한하거나 정의하기 위해 언급된 것이 아니고, 발명의 이해를 돕기 위한 예들을 제공하기 위해 언급되었다. 예시적인 실시예들이 발명을 실시하기 위한 구체적인 내용에서 설명되고, 본 발명의 추가 설명이 여기에 제공된다. 본 발명의 다양한 실시예들에 의해 제공되는 장점들은 본 명세서를 검토함으로써 더 이해될 수 있다.
본 발명의 여러 특징, 양상, 및 이점들은 첨부되는 도면들을 참고하여 아래의 발명을 실시하기 위한 구체적인 내용을 살펴볼 때 더욱 쉽게 이해된다.
도 1은 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 위한 시스템의 블록도.
도 2는 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 위한 시스템을 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 위한 방법의 흐름도.
도 4는 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 위한 방법의 흐름도.
도 5a, 5b, 및 5c는 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 도시한 도면.
도 6a, 6b, 및 6c는 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 도시한 도면.
도 8a, 8b, 및 8c는 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 도시한 도면.
도 1은 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 위한 시스템의 블록도.
도 2는 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 위한 시스템을 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 위한 방법의 흐름도.
도 4는 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 위한 방법의 흐름도.
도 5a, 5b, 및 5c는 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 도시한 도면.
도 6a, 6b, 및 6c는 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 도시한 도면.
도 8a, 8b, 및 8c는 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 도시한 도면.
본 발명의 실시예들은 물리 기반 촉각 메시징을 위한 시스템 및 방법을 제공한다.
물리 기반 촉각
메시징의
예시적인
실시예
본 발명의 일 실시예에서, 모바일 스마트폰과 같은 메시징 장치는 햅틱 효과를 생성하도록 구성되는 작동기 및 디스플레이와 통신하는 프로세스를 포함한다. 실시예에서, 메시징 장치는 Immersion Corporation의 VibeTonz® 진동촉각 피드백 시스템이 장착된 삼성 SGH-i710 모바일 스마트폰을 포함한다. 또 다른 실시예에서, 메시징 장치는 Immersion TouchSense® 진동촉각 피드백 시스템으로도 알려진 Immersion Corportaions TouchSense® Technology 시스템을 포함한다. 다른 메시징 장치들 및 햅틱 피드백 시스템들이 활용될 수 있다.
실시예에서, 스마트폰은 다차원 키네틱(kinetic) 수신함, 즉 가상 메시지 환경을 디스플레이한다. 가상 메시지 환경은 가상 메시지 객체들로 표현되는 메시지들을 포함한다. 가상 메시지 객체는, 장치가 예컨대 스크롤, 캡슐, 또는 공을 디스플레이할 수 있는 임의의 형태가 될 수 있다. 가상 메시지 객체의 각 유형은 메시지의 특정 유형에 대응할 수 있다. 예를 들어, 튜브 또는 원통형 스크롤 형태의 가상 메시지 객체들은 텍스트 메시지들 또는 채팅 대화들을 나타낼 수 있다. 친밀감과 같은 감정을 전달하기 위한 단문 메시지는 하트 형태의 가상 메시지 객체로 표현될 수 있다.
메시지들을 가상 메시지 객체들로 나타냄으로써, 가상 메시지 객체들의 속성들 및 동작은 빠르고 직관적으로 사용자에게 이들의 콘텐츠를 알릴 수 있다. 각 가상 메시지 객체의 속성들 또는 가상 물리적 파라미터들은 하나 이상의 크기, 질량, 모양, 충돌 행동, 텍스쳐, 및/또는 시각 표현을 포함할 수 있다. 가상 메시지 객체의 일 예는 파일을 포함하는 알 또는 캡슐을 포함할 수 있다. 이러한 가상 메시지 객체는 대형 파라미터, 매끄러운 텍스쳐 파라미터, 및 손상되기 쉬운 또는 부러지기 쉬운 충돌 파라미터를 가질 수 있다. 자신의 물리적 속성을 갖는 정보를 전달하는 가상 메시지 객체의 또 다른 예는 심장 박동이다. 심장 가상 메시지 객체 혼자서는 움직임이 없을 수 있지만, 이것이 텍스트 메시지나 다른 정보를 포함하는 경우, 이는 시각적으로 애니메이트되어 이것이 박동하고 있는 것으로 보여질 수 있다. 또한, 심장 박동 애니메이션을 모방하는 햅틱 효과가 재생되어 심장 가상 객체가 박동하고 있는 것으로 느껴져 이것이 메시지를 포함하고 있다고 표시할 수 있다. 가상 메시지 객체들의 행동 또는 상호작용들은 적어도 부분적으로 이들의 가상 물리적 파라미터들에 기초할 수 있다.
수신함의 이차원 물리적 메타포어(metaphor)에 따라, 가상 메시지 객체들은 다양한 방식으로 조작될 수 있다. 실시예에서, 메시징 장치는 터치 스크린과 같은 메시징 장치와의 물리적 상호작용을 감지하도록 구성되는 하나 이상의 센서, 접촉, 압력, 가속, 경사, 관성 또는 위치를 검출하도록 구성되는 가속도계 또는 자이로스코프를 포함한다. 센서가 활성화된 후, 프로세서가 센서로부터 센서 신호를 수신한다. 예를 들어, 스마트폰이 밀쳐지는 경우 관성 센서가 프로세서에 신호를 송신한다. 스마트폰을 기울이거나 움직임으로써, 가상 메시지 객체가 센서 신호 및 가상 메시지 객체의 가상 물리적 파라미터들에 따라 가상 메시지 환경과 상호작용할 수 있다. 예를 들어, 장치를 기울이는 것은 공을 마치 중력이 이것에 직접 영향을 주는 것처럼 가상 메시지 환경에서 이동시킬 수 있다. 프로세서는 센서 신호 및 가상 메시지 객체들의 가상 물리적 파라미터에 적어도 부분적으로 기초하여 가상 메시지 객체와 가상 메시지 환경 간의 이러한 상호작용을 결정할 수 있다. 예를 들어, 만약 공이 가상 메시지 환경 내에 있는 동안 장치가 기울어지면, 센서에 의해 측정되는 기울어진 각도, 및 공의 탄력 있고, 비이심의(non-eccentric), 구름 가상 물리적 파라미터들에 기초하여, 프로세서가 공이 구르는 속도를 결정할 수 있고, 이는 가상 메시지 환경의 경계에 대해 튈 것이다.
상호작용을 결정한 후에, 프로세서는 상호작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정한다. 실시예에서, 프로세서는, 공의 탄력 가상 물리적 파라미터 및 자이로스코프에 의해 측정되는 기울어짐의 강도에 기초하여, 환경에 대해 튀는 공을 시뮬레이션하는 햅틱 효과를 결정한다. 또 다른 예에서, 가상 메시지 환경은 공 형태의 복수의 가상 메시지 객체를 포함한다. 만약 센서 신호가 사용자가 심하게 장치를 흔들고 있다고 나타내면, 프로세서는 많은 수의 짧은 고주파 진동들이 서로에 대해 그리고 가상 메시지 환경의 벽들에 대해 튀는 복수의 공을 시뮬레이션하는데 적절하다고 결정할 수 있다.
마지막으로, 프로세서는 작동기가 햅틱 효과를 출력하도록 구성되는 햅틱 신호를 생성한다. 메시징 장치가 기울어지거나, 흔들리거나, 또는 움직여짐에 따라, 메시지 장치가 진동하거나 흔들려, 가상 메시징 환경 내의 가상 객체들에 대한 장치 움직임들의 영향을 시뮬레이션할 수 있다. 프로세서는 그 다음 햅틱 신호를 작동기로 송신하고, 이 작동기는 햅틱 효과를 출력할 수 있다.
물리 기반 촉각
메시징
본 명세서에서 설명되는 본 발명의 실시예들은 물리 기반 촉각 메시징을 위한 시스템 및 방법을 제공한다. 물리적 모델을 가상 메시지 환경에 통합시킴으로써, 실시예들은 사용자의 일상 촉각 체험과 직관적으로 사용자 인터페이스를 내비게이션하는 운동 감각 스킬(motor-sensory skill)을 레버리지(leverage)할 수 있다. 종래의 메시징 시스템들은 메시지 콘텐츠에 대한 직관적인 햅틱 피드백을 거의 또는 전혀 제공할 수 없었다. 제목 라인, 드래프트, 등을 보여주는 일차원 수신함을 갖는 종래의 이메일 메타포어(metaphor)를 이용하는 텍스트 메시징 시스템들은 시각적으로 및 인지적으로 많은 주의를 요구하여, 콘텐츠를 읽고 쓰는데 있어 사용자의 높은 주의를 요구한다. 그러나, 물리 기반 촉각 메시징은 물리적 메타포어를 모델링하는 청각, 시각 및 햅틱 피드백을 통한 콘텐츠의 비언어 통신을 가능하게 할 수 있다.
물리 기반 촉각
메시징을
위한 예시적인 시스템
여러 도면들에 걸쳐서 유사한 참조번호는 유사한 요소를 나타내는 도면들을 이제 참고하면, 도 1은 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 위한 시스템의 블록도이다. 도 1에 도시된 바와 같이, 시스템(100)은 모바일 폰, 휴대용 디지털 보조기(portable digital assistant; PDA), 휴대용 매체 재생기, 또는 휴대용 게임 장치와 같은 메시징 장치(102)를 포함한다. 메시징 장치(102)는 프로세서(110)를 포함한다. 프로세서(110)는 센서(114), 네트워크 연결(112), 디스플레이(116), 작동기(118), 및 스피커(120)와 통신한다. 프로세서(110)는 디스플레이(116) 상에 보이는 가상 메시지 환경을 생성하도록 구성된다.
프로세서(110)는 네트워크 연결(112)과 통신한다. 네트워크 연결(112)은 적외선, 무선, WiFi 또는 셀룰러 네트워크 통신과 같은 하나 이상의 모바일 통신 방법을 포함할 수 있다. 다른 변형예에서, 네트워크 연결(112)은 이더넷과 같은 유선 네트워크 연결을 포함한다. 메시징 장치(102)는 셀룰러 폰 네트워크 또는 인터넷과 같은 네트워크를 통해 다른 장치들(도시되지 않음)과 메시지들 또는 가상 메시지 객체들을 교환하도록 구성될 수 있다. 장치들 간에 교환되는 메시지들의 실시예들은 음성 메시지들, 텍스트 메시지들, 데이터 메시지들, 또는 다른 형태의 메시지들을 포함할 수 있다.
프로세서(110)는 네트워크 연결(112)을 통해 신규 가상 메시지 객체를 포함하는 신규 가상 메시지 객체 신호를 수신하도록 구성될 수 있다. 예를 들어, 프로세서(110)는 다른 스마트폰과 같은 원격 장치로부터 신규 가상 메시지 객체 신호를 수신할 수 있다. 일 변형 예에서, 프로세서(110)가 신규 가상 메시지 객체를 생성한다. 예를 들어, 알람 또는 리마인더가 가상 메시지 객체로 하여금 가상 메시지 환경에 도달하도록 할 수 있다. 신규 가상 메시지 객체를 수신할 때, 프로세서(110)는 하나 이상의 가상 메시지 객체와 가상 메시지 환경 간의 상호작용을 결정하도록 구성될 수 있는데, 이 상호작용은 하나 이상의 가상 메시지 객체들 중 적어도 하나의 가상 물리적 파라미터에 적어도 부분적으로 기초한다.
프로세서(110)는 또한 하나 이상의 센서(114)와 통신한다. 센서(114)는 가속도계, 자이로스코프, GPS 센서, 터치 감지 입력 장치(예컨대, 터치 스크린, 터치 패드), 또는 일부 다른 유형의 센서를 포함할 수 있다. 하나 이상의 센서(114)는, 예컨대 가속, 경사, 관성, 또는 위치의 변화를 검출하도록 구성될 수 있다. 예를 들어, 메시징 장치(102)는 메시징 장치(102)의 가속을 측정하도록 구성되는 가속도계를 포함할 수 있다. 또 다른 예로, 메시징 장치(102)는 위치 센서, 회전 속도 센서, 이미지 센서, 압력 센서, 또는 기타 유형의 센서를 포함할 수 있다. 하나 이상의 센서(114)는 센서 신호를 프로세서(110)로 송신하도록 구성될 수 있다.
사용자들은 하나 이상의 센서(114)에 의해 검출되는 움직임들 또는 제스처들을 통해 가상 메시지 환경에서 가상 메시지 객체들과 상호작용할 수 있다. 메시징 장치(102)가 기울어지거나, 흔들리거나, 움직임에 따라, 하나 이상의 센서(114)가 이러한 움직임들을 검출하고, 이 움직임들에 적어도 부분적으로 기초하여 센서 신호들을 생성하여 프로세서(110)로 송신할 수 있다. 일 실시예에서, 가속 센서는 메시징 장치(102)의 경사 및 가속을 검출하도록 구성된다. 메시징 장치(102)가 기울어짐에 따라, 가속도계는 메시징 장치(102)의 기울어짐 및/또는 가속에 적어도 부분적으로 기초하여 신호들을 프로세서로 송신하도록 구성될 수 있다. 가속 감지가 가상 메시지 환경에서 중력을 시뮬레이션하는데 사용될 수 있다. 센서 신호를 수신할 때, 프로세서(110)는 하나 이상의 가상 메시지 객체와 가상 메시지 환경 간의 상호작용을 결정하도록 구성될 수 있는데, 이 상호작용은 센서 신호, 및 하나 이상의 가상 메시지 객체 중 적어도 하나의 가상 물리적 파라미터에 적어도 부분적으로 기초한다.
상호작용을 결정한 후, 프로세서(110)는 상호작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정하도록 구성될 수 있다. 일 실시예에서, 가상 메시지 환경은 캡슐 또는 알을 포함한다. 센서(114)가 메시징 장치(102)가 기울어지고 있다고 검출하는 경우, 프로세서(110)는 알이 가상 메시지 환경의 벽에 대해 부서지는 것과 같은 알과 가상 메시지 환경 간의 상호작용을 결정할 수 있다. 이 상호작용에 기초하여, 프로세서(110)는 가상 메시지 환경 경계에 대해 부서지는 알의 시뮬레이션 효과와 같은 햅틱 효과를 결정할 수 있다.
도 1에 도시된 바와 같이, 프로세서(110)는 디스플레이(116)와 또한 통신한다. 프로세서는 디스플레이(116) 상에 도시될 가상 메시지 환경의 그래픽 표현을 생성하도록 구성될 수 있다. 디스플레이(116) 상에 도시되는 가상 메시지 환경은 복수의 가상 메시지 객체를 포함할 수 있다. 디스플레이(116)는 프로세서(110)와 신호들을 주고 받도록 구성되는 터치 스크린과 같은 터치 감지 입력 장치를 포함할 수 있다. 가상 메시지 객체들은 터치 스크린을 통해 직접 조작될 수 있다. 예를 들어, 터치 스크린 디스플레이 상의 이차원 손가락 제스처들은 가상 메시지 환경 내의 가상 메시지 객체를 선택하거나, 터치하거나, 느끼거나, 드래그하거나, 던질 수 있다.
프로세서(110)는 또한 하나 이상의 작동기(118)와 통신한다. 작동기(118)는 이 작동기(118)로 하여금 햅틱 효과를 출력하도록 구성되는 햅틱 신호와 같은 신호를 프로세서(110)로부터 수신하도록 구성될 수 있다. 작동기(118)는, 예컨대 전기 모터, 전자기 작동기, 음성 코일, 선형 공명 작동기, 형상 기억 합금, 전기 활성 중합체, 솔레노이드, 이심 회전 질량 모터(eccentric rotating mass motor; ERM) 또는 선형 공명 작동기(linear resonant actuator; LRA)가 될 수 있다.
마지막으로, 실시예에서 보여진 바와 같이, 프로세서(110)는 스피커(120)와 통신한다. 프로세서는 가상 메시지 객체와 가상 메시지 환경 간의 상호작용에 적어도 부분적으로 기초하여 사운드 효과를 결정하고 이 사운드 효과에 적어도 부분적으로 기초하여 오디오 신호를 스피커로 송신하도록 구성될 수 있다. 사운드 효과는 가상 메시지 객체와 가상 메시지 환경 간의 상호작용 및/또는 제1 가상 메시지 객체와 하나 이상의 다른 가상 메시지 객체 간의 상호작용을 시뮬레이션할 수 있다. 스피커는 오디오 신호에 적어도 부분적으로 기초하여 사운드 효과를 생성하도록 구성될 수 있다. 햅틱 효과 및 사운드 효과의 출력이 조화될 수 있다. 일 실시예에서, 스피커는 작동기가 햅틱 효과를 생성함과 실질적으로 동시에 사운드 효과를 생성할 수 있다.
도 2는 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 위한 시스템을 도시한 도면이다. 시스템(200)의 요소들은 도 1에 묘사된 시스템을 참고하여 설명된다. 다양한 다른 구현이 가능하다.
도 2에 도시된 바와 같이, 시스템(200)은 모바일 폰, PDA, 휴대용 매체 재생기, 또는 휴대용 게임 장치와 같은 메시징 장치(102)를 포함한다. 메시징 장치(102)는 셀룰러 전화 네트워크 또는 인터넷과 같은 네트워크를 통해 음성 메일, 텍스트 메시지들, 및 기타 데이터 메시지들과 같은 신호들을 송수신하도록 구성될 수 있다. 메시징 장치(102)는 무선 및/또는 유선 네트워크 연결(112)을 포함할 수 있다. 장치(102)가 도 2에서 핸드헬드 메시징 장치로 도시되어 있지만, 다른 실시예들은 비디오 게임 시스템 및/또는 퍼스널 컴퓨터들과 같은 다른 장치들을 이용하여 가상 메시지 객체들을 송수신할 수 있다.
도 2에 도시된 바와 같이, 메시징 장치(102)는 디스플레이(116)를 포함한다. 디스플레이(116)에 더하여, 메시징 장치(102)는 버튼, 터치패드, 스크롤 휠, 로커 스위치(rocker switch), 조이스틱, 또는 기타 형태의 입력 장치(도시되지 않음)를 포함할 수 있다. 디스플레이(116)는 터치 스크린과 같은 터치 감지 입력 장치를 포함할 수 있다.
디스플레이(116)는 프로세서(110)로부터 신호들을 수신하고 가상 메시지 환경(204)을 생성하도록 구성된다. 가상 메시지 환경(204)은 다차원 수신함의 시각 표현을 포함할 수 있다. 가상 메시징 환경(204) 내에, 하나 이상의 메시지가 가상 메시지 객체들로서 표현될 수 있다. 가상 메세지 객체들의 일부 예들은 화살표, 공, 캡슐, 하트, 및 튜브를 포함한다. 도 2에 도시된 바와 같이, 가상 메시지 환경(204)은 세 개의 가상 메시지 객체들(206a, 206b 및 206c)을 포함한다. 가상 메시지 환경(204) 내에서, 가상 메시지 객체들이 자유롭게 돌아다녀, 가상 메시지 환경(204)의 경계들과, 그리고 환경 내의 다른 가상 메시지 객체들과 튀고 충돌할 수 있다.
각 가상 메시지 객체(206)는 텍스트 메시지, 그림, 비디오, 음성 메일, 리마인더, 또는 웃음 또는 찡그림과 같은 의사(pseudo)-감정 메시지와 같은 메시지 및/또는 파일을 나타낼 수 있다. 튜브 또는 말린(rolled-up) 스크롤 형태의 가상 메시지 객체(206a)가 텍스트 메시지를 나타낼 수 있다. 알 또는 캡슐 형태의 가상 메시지 객체(206c)는 비디오 파일, 그림, 또는 노래와 같은 첨부물을 갖는 메시지를 나타낼 수 있다. 또 다른 실시예에서, 가상 메시지 객체는 송신자가 가상 포장지로 포장하는 객체의 형태를 가질 수 있다. 이러한 실시예에서, 송신자는 여러 상이한 유형의 가상 포장지를 가질 수 있거나, 자신의 고유 가상 포장지를 생성할 수 있다.
또 다른 실시예에서, 가상 메시지 객체는 사용자 제작 스탬프의 형태를 가질 수 있다. 스탬프는 애니메이션 및 햅틱 효과를 포함할 수 있다. 예를 들어, 가상 메시지 객체는 스탬프의 형태를 가질 수 있고, 이 스탬프는 송신자의 이미지를 포함할 수 있다. 스탬프는 애니메이션, 예컨대 수신자에게 하이 파이브를 건네는 것처럼 자신의 손을 올리는 사용자의 애니메이션 더 포함할 수 있다. 스탬프는 연관된 햅틱 효과를 더 포함할 수 있다. 예컨대, 일 실시예에서 하이 파이브를 건네는 송신자의 애니메이션을 포함하는 스탬프는 하이 파이브의 영향에 버금가는 햅틱 효과를 더 포함할 수 있다. 일부 실시예에서, 사용자는 다른 메시지 없이 스탬프만을 송신할 수 있다. 또 다른 실시예에서, 사용자는 가상 메시지 객체와 함께 스탬프를 포함할 수 있다. 이러한 실시예에서, 스탬프는 송신자의 가상 서명으로 기능할 수 있다.
가상 메시지 객체들은 또한 제스처, 얼굴 표정, 또는 감정과 같은 다양한 형태의 비언어 통신을 나타낼 수 있다. 예를 들어, 공으로 도시된 가상 메시지 객체(206b)는 유희의 표시와 같은 비언어 메시지에 대응할 수 있다. 화살과 같은 가상 메시지 객체는 찌르기 또는 잽(jab) 제스처(즉, 주목을 요청 또는 요구하기 위함)를 나타낼 수 있다. 기타 가상 메시지 객체들은 하트, 농구공, 물풍선, 타자기, 또는 일부 다른 형태의 시각 표현을 나타낼 수 있다. 가상 메시지 객체가 나타내는 유형의 데이터가 가상 메시지 객체의 형태의 결정에 포함될 수 있다. 일부 유효한 가상 메시지 객체들은 타자기의 키들을 치는 소리와 같이 쉽게 식별가능한 시각 및/또는 햅틱 속성들 및/또는 효과들을 가질 수 있다. 이러한 가상 메시지 객체는 직장으로부터의 메시지, 텍스트 메시지, 또는 워드 프로세싱 파일을 나타낼 수 있다. 또 다른 실시예에서, 가상 메시지 객체는 메시지의 긴급함을 나타낼 수 있다. 예를 들어, 이러한 실시예에서, 가상 메시지 객체는 설명 포인트(explanation point)의 모양을 갖거나 긴급함을 나타내는 일부 다른 모양을 가질 수 있다. 이러한 메시지 객체는 메시지의 긴급함을 나타내는 강한 햅틱 효과를 더 포함할 수 있다.
각 가상 메시지 객체는 하나 이상의 가상 물리적 파라미터를 포함할 수 있다. 크기, 질량, 모양, 충돌 행동, 텍스쳐, 또는 시각 표현과 같은 일부 가상 물리적 파라미터들은 가상 메시지 객체 자체의 고유 속성들인 정적 파라미터들이 될 수 있다. 긴급, 수명, 및/또는 태도와 같은 다른 가상 물리적 파라미터들은 일시적이거나 임시의 파라미터들이 될 수 있다. 이러한 변동 가상 물리적 파라미터들은 가상 메시지 객체가 어떻게 송신되거나 수신되는지와 연관될 수 있다.
가상 메시지 객체의 가상 물리적 파라미터들이 디스플레이(116) 및 작동기(118)를 통해 시각적으로 및 햅틱적으로 모델링될 수 있다. 가상 메시지 객체의 가상 물리적 파라미터들은 가상 메시지 객체의 고유 및/또는 일시적 속성에 기초할 수 있다. 가상 메시지 객체의 고유 속성들은 객체의 크기, 질량, 모양, 밀도, 또는 텍스쳐를 포함할 수 있다. 긴급, 수명, 및/또는 태도와 같은 가상 메시지 객체의 일시적 속성들은 가상 메시지 객체의 송신 또는 교환과 연관된 정보에 기초할 수 있다.
특정 유형 또는 분류의 메시지들이 단일 유형의 가상 메시지 객체로 표현될 수 있다. 예를 들어, 모든 텍스트 메시지들이 스크롤 또는 회전관(rolled tube)으로 표현되고 가볍고, 얇고, 탄력 있는 것으로 표현될 수 있다. 이와 달리, 파일 첨부물들을 갖는 메시지들은 크고, 무겁고, 깨지기 쉽고, 타원 모양의 알들로 표현될 수 있다. 개별적인 가상 물리적 파라미터들은 메시지의 파라미터들에 대응할 수 있다. 예를 들어, 큰 알은 많은 양의 데이터를 포함하는 파일 첨부물을 갖는 메시지를 나타낼 수 있는 반면, 작은 알은 작은 양의 데이터를 포함하는 파일 첨부물을 갖는 메시지를 나타낼 수 있다.
메시지들을 물리적 파라미터들을 갖는 가상 메시지 객체들로 나타냄으로써, 객체들의 유형 및 콘텐츠에 관한 단서들이 이들의 외관 또는 햅틱 작용으로부터 추정될 수 있다. 알 껍질 가상 메시지 객체와 같은 얇은 표면으로 모델링된 객체들은 가상 메시지 환경의 경계와의 충격에 의해 깨지거나 부서질 수 있다. 대안적으로 잘 튀는 공 또는 탁구공과 같은 다른 표면들 또는 충돌 특성으로 모델링된 객체들은 가상 메시지 환경의 가장자리들에서 계속적으로 튀겨질 수 있다. 하나 이상의 가상 물리적 파라미터에 적어도 부분적으로 기초하여 햅틱 효과들을 결정함으로써, 사용자는 특정 햅틱 효과들을 메시지들의 특정 유형과 연관시킬 수 있다. 예를 들어, 알 깨기를 시뮬레이션하는 햅틱 효과가 생성되는 경우, 사용자는 첨부물을 갖는 메시지가 수신되었음을 추론할 수 있다. 또 다른 예로서, 심장 박동을 시뮬레이션하는 햅틱 효과가 생성되는 경우, 사용자는 친근감을 표현하는 메시지가 수신되었음을 추론할 수 있다. 따라서, 메시지의 가상 물리적 속성들에 적어도 부분적으로 기초한 햅틱 효과들은 향상된 사용자 체험을 가져올 수 있다.
프로세서(110)는 하나 이상의 가상 메시지 객체들과 가상 메시지 환경 간의 상호작용들에 적어도 부분적으로 기초하여 햅틱 효과들을 결정할 수 있는데, 이 상호작용들은 하나 이상의 센서(114)로부터 수신된 신호들, 및 하나 이상의 가상 메시지 객체 중 적어도 하나 가상 메시지 객체의 적어도 하나의 가상 물리적 파라미터에 적어도 부분적으로 기초한다. 일 실시예에서, 테니스공 형태의 가상 메시지 객체가 거친 텍스쳐의 표면 및 비어 있는 고무 중심과 같은 가상 물리적 속성들을 가질 수 있다. 사용자가 터치 감지 입력 디스플레이(116)를 통해 공을 문지르는 경우, 작동기(118)가 테니스공의 거친 표면을 시뮬레이션하는 햅틱 효과를 생성할 수 있다. 만약 사용자가 공을 찌르면, 작동기(118)는 테니스공의 비어 있는 고무 중심을 시뮬레이션하도록 구성되는 햅틱 효과를 생성할 것이다.
다차원 환경을 모델링함으로써, 가상 메시지 객체들은 가상 메시지 환경(204)에서 자유롭게 돌아다닐 수 있고, 잠재적으로 서로 및 환경과 상호작용할 수 있다. 예를 들어, 가상 메시지 객체들은 굴러다니고, 서로와 그리고 가상 메시지 환경(204)의 경계들과 충돌할 수 있다. 일 실시예에서, 장치(102)가 기울어지는 경우, 가상 메시지 객체(206b)가 가상 메시지 환경(204)의 위에서부터 바닥으로 구를 수 있다. 가상 메시지 객체(206b)가 구르는 동안, 작동기(118)는 가상 메시지 객체(206b)의 텍스쳐를 시뮬레이션하는 진동을 생성할 수 있다. 만약 가상 메시지 객체(206b)가 가상 메시지 환경(204)의 바닥에 대하여 튕기는 경우, 작동기(118)가 튕김 또는 충돌을 시뮬레이션하는 햅틱 효과를 생성할 수 있다. 이러한 상호작용들에 기초한 햅틱 효과들은 스피커(120)에 의해 생성되는 사운드 효과들과 조화될 수 있고, 이는 가상 메시지 환경(204)에 보여질 수 있다.
메시징 장치(102)가 신규 가상 메시지 객체들과 연관된 신규 가상 메시지 객체 신호들을 수신함에 따라, 가상 메세지 객체들이 가상 메시지 환경 내에 "도달(arrive)"할 수 있다. 이러한 가상 메시지 객체들은 그 다음 가상 메시지 환경(204) 및/또는 기타 가상 메시지 객체들과 상호작용할 수 있다. 프로세서(110)는 신규 가상 메시지 객체의 도달에 적어도 부분적으로 기초하여 햅틱 효과들을 결정할 수 있다. 예를 들어, 메시징 장치(102)는 공 형태의 가상 메시지 객체와 연관된 가상 메시지 객체 신호를 수신할 수 있다. 가상 메시지 환경(204)은 환경의 맨 위로부터 도달하여, 떨어지고, 환경의 바닥에서 튕긴 후 가만히 있는 상태로 되는 공을 나타낼 수 있다. 프로세서(110)는 공의 가상 메시지 환경과의 상호작용에 기초하여 햅틱 효과를 결정할 수 있다.
일부 실시예에서, 프로세서(110)는 사용자의 가상 메시지 객체와의 상호작용과 연관된 햅틱 효과를 결정할 수 있다. 예를 들어, 가상 메시지 객체는 고유 포장지를 포함하는 포장물 형태를 취할 수 있다. 이러한 메시지의 수신자는 가상 메시지 객체에 액세스하기 위해 포장물로부터 가상 포장지를 풀어야 한다. 수신자가 가상 메시지 객체를 풀어내면, 프로세서(110)가 포장지를 풀어내는 것에 유사한 햅틱 신호들을 작동기(118)로 송신할 수 있다.
물리 기반 촉각
메시징을
위한 예시적인 방법들
도 3은 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 위한 방법의 흐름도이다. 방법(300)에서, 프로세서는 센서로부터 센서 신호를 수신한다(302). 센서는, 예컨대 가속도계, 자이로스코프, 경사계, 카메라와 같은 광센서, 오디오-스펙트럼 센서, 초음파 송수신기 및 센서, 적외선 또는 기타 근접 센서, GPS 센서, 또는 방향 또는 움직임을 검출할 수 있는 또 다른 센서를 포함할 수 있다. 센서는 접촉, 압력, 가속도, 경사, 관성, 또는 위치, 또는 메시징 장치의 일부 다른 특성을 검출하도록 구성될 수 있다. 센서 신호는 메시징 장치가 움직여지거나, 회전되거나, 세게 밀쳐지는 경우 생성될 수 있다. 대안 예로서, 센서 신호가 터치 스크린이 관여되는 경우 생성될 수 있다. 메시징 장치를 터치하거나, 이동시키거나, 흔들거나, 회전시킴으로써, 사용자는 가상 메시지 환경 내의 가상 메시지 객체들과 상호작용할 수 있다.
다음으로, 프로세서는 하나 이상의 메시지 객체들과 가상 메시지 환경 간의 상호작용을 결정할 수 있는데, 이 상호작용은 센서 신호 및 하나 이상의 가상 메시지 객체 중 적어도 하나의 가상 메시지 객체의 가상 물리적 파라미터에 적어도 부분적으로 기초한다(304). 상호작용은 가상 메시지 환경 및/또는 또 다른 가상 메시지 객체와 상호작용하는 하나의 가상 메시지 객체의 모델링된 행동을 포함할 수 있다.
가상 메시지 객체의 가상 물리적 파라미터들은 가상 메시지 객체의 행동, 또는 어떻게 가상 메시지 객체가 가상 메시지 환경 및 다른 가상 메시지 객체들과 상호작용하는지를 알려 줄 수 있다. 예를 들어, 작은 고무공 형태의 가상 메시지 객체는 다른 공들 및/또는 환경에 대해 튕겨 이들과 상호작용할 수 있다. 동일한 가상 메시지 객체는 구슬이 통 여기저기를 굴러다니는 것과 같이 환경 여기저기를 굴러다닐 수 있다. 또 다른 예에서, 원통 스크롤 형태의 가상 메시지 객체는 가상 메시지 환경 여기저기를 슬라이딩할 수 있지만, 이것이 다른 객체들 또는 가상 메시지 환경의 경계들과 충돌하는 경우 튕기지 않는다. 알 형태의 가상 메시지 객체는 다른 객체들 또는 경계들과의 갑작스러운 충돌시 깨지거나 부서질 수 있다.
상호작용을 결정한 후, 프로세서는 상호작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정한다(306). 예를 들어, 사용자는 가상 메시지 환경의 콘텐츠를 해독하려는 시도로 메시징 장치를 세게 밀칠 수 있다. 만약 가상 메시지 환경이 크고 깨지기 쉬운 알과 같은 단일 가상 메시지 객체를 포함하면, 프로세서는 알 깨기(예컨대, 하나의 큰 부서짐)를 시뮬레이션하는 햅틱 효과를 결정할 수 있다. 또 다른 예로서, 만약 운동하는 잘 튀는 공들을 포함하는 여러 가상 메시지 객체들이 있다면, 프로세서는 많은 수의 작고, 빠른 진동들이 환경 및 서로에 대해 튀는 운동하는 공들을 시뮬레이션하는데 적절하다고 결정할 수 있다. 햅틱 효과들을 가상 메시지 객체의 가상 물리적 파라미터들과 연관시킴으로써, 사용자는 특정 햅틱 효과들을 특정 유형의 객체들과 연관시킬 수 있다. 예를 들어, 작동기가 심장 박동을 시뮬레이션하는 햅틱 효과를 출력하는 경우, 사용자는 자신이 메시징 장치를 보지 않고서도 친근한 메시지 또는 가상 메시지 객체를 수신하였다고 바로 추측할 수 있다.
마지막으로, 프로세서는 작동기로 하여금 햅틱 효과를 출력하게 하도록 구성되는 햅틱 신호를 생성한다(308). 프로세서는 햅틱 효과를 출력하도록 구성되는 하나 이상의 작동기에 햅틱 신호를 송신하도록 구성된다(310). 일 변형 예에서, 프로세서는 탁하고 부딪치는 것(thud)과 같은 벽에 꽂히는 화살을 시뮬레이션하는 햅틱 효과를 결정하고, 작동기로 하여금 탁하고 부딪치는 것을 출력하게 하도록 구성되는 햅틱 신호를 생성한다. 햅틱 신호가 작동기로 송신될 수 있고, 작동기는 햅틱 효과를 출력한다.
도 4는 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 위한 방법의 흐름도이다. 방법(400)에서, 프로세서가 신규 가상 메시지 객체를 포함하는 신규 가상 메시지 객체 신호를 수신한다(402). 가상 메시지 객체가 한 장치에서 또 다른 장치로 보내지는 경우, 신규 가상 메시지 객체 신호가 수신자의 메시징 장치에 의해 수신될 수 있다. 신규 가상 메시지 객체 신호는 신규 가상 메시지 객체와 연관될 수 있다. 일 실시예에서, 신규 가상 메시지 객체 신호는 알람 또는 리마인더에 의해 생성된다. 예를 들어, 알람이 화살 또는 물풍선 형태의 가상 메시지 객체에 의해 표현될 수 있다. 알람이 작동되거나 활성화되는 시간인 경우, 알람을 나타내는 신규 가상 메시지 객체가 가상 메시지 환경에서 생성될 수 있다.
다음으로, 프로세서는 신규 가상 메시지 객체와 가상 메시지 환경 간의 상호작용을 결정하는데, 이 상호작용은 신규 가상 메시지 객체의 가상 물리적 파라미터에 적어도 부분적으로 기초한다(404). 신규 가상 메시지 객체가 수신되면, 이는 이것이 어떻게 보내졌는지에 적어도 부분적으로 기초하여 가상 메시지 환경과 상호작용할 수 있다. 일 예에서, 송신자는 빠른 제스처를 이용하여 자신의 수신함으로부터 가상 메시지 객체를 보낼 수 있다. 빠른 제스처는 가상 메시지 객체와 연관된 가상 물리적 파라미터로 바뀔 수 있다. 가상 메시지 객체가 수신되는 경우, 가상 메시지 객체는 가상 메시지 환경에 도달하며, 보내지는 제스처의 속도와 연관된 가상 물리적 파라미터에 적어도 부분적으로 기초하여 다른 객체들 및/또는 환경과 상호작용하거나 행동할 수 있다.
프로세서는 그 다음 상호작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정한다(406). 일 예에서, 비어있는 가상 메시지 환경이 급하게 보내진, 크고 깨지기 쉬운 알 형태의 가상 메시지 객체를 수신한다. 이 알이 가상 메시지 환경의 경계에 대해 충돌하고 깨질 것이라는 것을 결정한 후, 프로세서는 알 깨기를 시뮬레이션하는 햅틱 효과를 결정한다. 또 다른 예로서, 다양한 가상 메시지 객체들로 차 있는 가상 메시지 환경이 천천히 보내지는 운동하는 잘 튀는 공의 형태의 신규 가상 메시지 객체를 수신한다. 가만히 있는 상태로 되기 전의 가벼운 튐과 같은, 환경 내의 신규 공의 행동 또는 상호작용을 결정한 후, 프로세서는 가벼운 튐을 시뮬레이션하는 햅틱 효과를 결정한다.
마지막으로, 프로세서는 작동기로 하여금 햅틱 효과를 출력하게 하도록 구성되는 햅틱 신호를 생성한다(408). 일 변형 예에서, 신규 텍스트 메시지가 메시징 장치에 수신되는 경우, 프로세서는 신규 텍스트 메시지가 가상 메시지 환경과 충돌하는 효과를 시뮬레이션하는 햅틱 신호를 생성한다.
물리 기반 촉각
메시징을
위한 예시적인 시나리오들
물리 기반 촉각 메시징의 일 실시예에서, 메시징 장치의 사용자 인터페이스 환경이 물리적 모델을 포함한다. 사용자 인터페이스 환경은 납작한 대리석 통, 또는 당구대와 같은 이차원 운동 수신함을 나타낼 수 있다. 가상 메시지 객체들은 당구대에서 움직이고 충돌하는 당구공들과 같이 이차원의 가상 메시지 환경 내에서 움직이고 상호작용하지만, 항상 표면에 남아있는다. 메시징 장치가 가상 메시지 객체에 대해 상대적으로 움직이는 경우, 가속도계에 의해 감지되는 바와 같은 중력의 실제 힘이 가상 메시지 객체에 작용하는 것으로 보일 수 있고, 메시징 장치와 관계없이 가상 메시지 객체의 일루전(illusion)을 생성한다. 가상 메시지 객체가 굴러감에 따른 마찰 진동들의 시뮬레이션, 또는 가상 메시지 객체가 가상 메시지 환경의 경계들과 충돌하는 경우의 펄스의 시뮬레이션과 같은 햅틱 효과들은 단지 수신함 내의 데이터 조각이 아닌 메시지 환경 내의 물리적 객체의 일루전을 생성할 수 있다.
도 5a, 5b, 및 5c는 본 발명의 일 실시예(500)에 따른 물리 기반 촉각 메시징을 도시한 도면이다. 도 5a, 5b 및 5c에 도시된 바와 같이, 시스템은 메시징 장치(502)를 포함한다. 메시징 장치(502)는 가상 메시지 환경(504)을 생성하도록 구성된다. 도 5a, 5b, 및 5c에 도시된 바와 같이, 가상 메시지 환경(504)은 공 형태의 가상 메시지 객체(506)를 포함한다. 다른 변형 예들에서, 가상 메시지 환경(504)은 복수의 유사 또는 상이한 가상 메시지 객체들(506)을 포함할 수 있다.
도 5a에서, 메시징 장치(502) 및 가상 메시지 환경(504)이 화살표(520)의 방향에 의해 표시된 바와 같이 수직 방향으로 도시되어 있다. 가상 메시지 환경(504)의 콘텐츠의 그래픽 위치는 메시징 장치의 방향에 대응할 수 있다. 도 5a에 도시된 바와 같이, 메시징 장치가 수직 방향으로 도시되어 있고, 가상 메시지 환경의 콘텐츠가 장치(502)의 바닥에 대응하는 가상 메시지 환경(504)의 바닥에 가만히 있는 것으로 나타난다.
도 5b에서, 메시징 장치(502)가 시계방향 또는 오른쪽으로 회전된다. 메시징 장치(502)가 움직이거나 회전됨에 따라, 센서가 메시징 장치(502)의 움직임에 적어도 부분적으로 기초하여 신호들을 프로세서로 보낼 수 있다. 일 변형 예에서, 가속도계와 같은 센서가 가속 변화들을 보고하는 신호들을 프로세서로 보낸다. 또 다른 변형 예에서, 자이로스코프 센서와 같은 센서가 장치의 회전 속도를 보고하는 신호들을 프로세서로 보낸다.
가상 메시지 환경 내의 가상 메시지 객체의 움직임 또는 충돌과 같은 상호작용이 센서 신호에 적어도 부분적으로 기초할 수 있다. 도 5b에서, 가상 메시지 객체(506)가 가상 메시지 환경(504)의 오른쪽 아래 코너로 구르거나 움직인다. 도면에서, 가상 메시지 객체(506)가 메시징 장치(502)의 회전에 응답하여 마치 중력이 객체(506)에 작용하고 객체(506)를 가상 메시지 환경(504)의 바닥으로 끌어당기는 것과 같이 가상 메시지 환경 내에서 이동한다. 상호작용이 또한 가상 메시지 객체(506)의 가상 물리적 파라미터에 적어도 부분적으로 기초할 수 있다. 도 5b에 도시된 바와 같이, 가상 메시지 객체(506)는 둥근 공이다. 메시징 장치가 다양한 각도로 기울어지거나 회전되는 경우, 둥근 공(506)이 동시에 가상 메시지 환경(506) 내에서 구를 수 있다. 알 모양의 가상 메시지 객체는 구르기보다는 흔들릴 수 있고, 튜브와 같은 가상 메시지 객체는 가상 메시지 환경 여기저기를 슬라이딩할 수 있다.
가상 메시지 객체(506)가 가상 메시지 환경 내에서 움직이거나 구름에 따라, 프로세서는 가상 메시지 객체 및 가상 메시지 환경의 상호작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 가상 메시지 객체(506)가 가상 메시지 환경(504) 내에서 구르고 움직이고 있는 동안, 프로세서가 가상 메시지 객체(506)의 텍스쳐를 시뮬레이션하는 햅틱 효과를 결정할 수 있다. 가상 메시지 객체(506)의 가상 물리적 파라미터들 및 메시징 장치(502)의 사용자의 움직임에 따라, 가상 메시지 객체(506)가 메시징 장치(502)의 움직임들에 응답하여 가상 메시지 환경(504) 내에서 튀거나, 구르거나, 부서질 수 있다. 일 시나리오에서, 사용자가 강하게 메시징 장치(502)를 흔들 수 있다. 이에 대해, 잘 튀는 공을 모델링한 가상 메시지 객체(506)는 가상 메시지 환경(504) 내에서 튕기고 튀어오를 수 있다. 동시에, 튀는 공을 모방하는 햅틱 효과들이 환경(504) 내의 가상 메시지 객체(506)의 움직임과 일치할 수 있다.
도 5c에서, 메시징 장치(502)가 시계방향으로 90도 회전되어 도시된다. 가상 메시지 객체(506)가 환경(504)의 오른쪽 아래 코너로부터 가상 메시지 환경(504)의 바닥의 중간으로 구른다. 가상 메시지 환경(504)의 바닥으로 도달한 후, 공(506)은 장치의 오른쪽 또는 왼쪽으로의 약간의 움직임에 적어도 부분적으로 기초하여 좌우로 구를 수 있다.
도 6a, 6b 및 6c는 본 발명의 일 실시예(600)에 따른 물리 기반 촉각 메시징을 도시한 도면이다. 도 6a, 6b 및 6c는 장치가 시계 방향으로 회전됨에 따라 메시징 장치 상에 디스플레이되는 가상 메시지 환경 내의 3개의 가상 메시지 객체들의 움직임을 도시한다. 메시징 장치를 움직이거나 흔드는 것은 가상 메시지 객체들이 밀쳐지거나 및/또는 위치 조정되도록 할 수 있는데, 이는 얼마나 많은 가상 메시지 객체들이 가상 메시지 환경 내에 있는지, 이들의 유형, 및/또는 이들의 콘텐츠를 나타내는 햅틱 효과를 생성할 수 있다.
도 6a, 6b 및 6c에 도시된 바와 같이, 메시징 장치(602)는 가상 메시지 환경(604)을 생성한다. 가상 메시지 환경(604)은 3개의 가상 메시지 객체들(606a, 606b, 및 606c)을 포함한다. 각각의 가상 메시지 객체들(606a, 606b, 및 606c)과 가상 메시지 환경(604) 간의 상호작용들, 또는 행동은 이들의 개별적인 가상 물리적 파라미터들에 적어도 부분적으로 기초할 수 있다. 가상 메시지 객체(606c), 튜브는 충돌로 부서지기 어렵고, 구르기보다는 슬라이딩하기 쉬울 수 있다. 가상 메시지 객체(606a), 알은 구르는 대신 흔들릴 수 있고, 충돌로 깨지거나 금이 가기 더 쉽다. 가상 객체(606b), 공은 사실상 깨질 수 없고, 구르고 튀기 쉬울 수 있다.
도 6a에서, 메시징 장치(602)가 화살표(620)의 방향으로 표시되는 수직 방향으로 사용자에 의해 쥐어지고 있는 것으로 도시된다. 세 개의 가상 메시지 객체들(606a, 606b, 및 606c)이 특정한 순서 없이 가상 메시지 환경의 바닥에 가만히 있다. 물리 기반 촉각 메시징을 위한 방법들을 활용하여, 세 개의 가상 메시지 객체들(606a, 606b, 및 606c)이 직관적인 방법으로 장치(602)의 움직임들에 반응할 수 있다. 도 6a, 6b 및 6c에서, 메시징 장치(602)가 회전되고, 세 개의 가상 메시지 객체들(606a, 606b, 및 606c)이 마치 각 가상 객체들이 중력과 같은 물리적 힘들에 반응하는 메시징 장치 내의 실제 물리적 객체인 것처럼 가상 메시지 환경 내에서 실제적으로 움직이고 있는 것으로 도시된다.
도 6b에서, 장치는 시계방향으로 오른쪽으로 회전하고 있는 것으로 도시된다. 회전 제스처에 응답하여, 가상 메시지 객체들(606a, 606b, 및 606c)이 이제 가상 메시지 환경의 바닥에 대응하는 가상 메시지 환경의 아래 코너로 이동된 것으로 도시된다. 각 가상 메시지 객체(606a, 606b, 및 606c)의 움직임은 객체들이 실제로 장치 내부에 있는 경우 중력이 이들에 가하는 영향을 모델링할 수 있다. 가상 메시지 객체들의 움직임 동안, 메시징 장치(602)가 가상 메시지 환경 내의 객체들의 이동에 대응하는 하나 이상의 햅틱 효과를 생성할 수 있다. 가상 메시지 객체들이 디스플레이 상에서 이동함에 따라, 햅틱 효과들이 서로에 대한 그리고 가상 메시지 환경 내의 이들의 움직임을 시뮬레이션한다. 일 예로, 가상 메시지 튜브(606c)는 장치(602)가 오른쪽으로 회전함에 따라 자신의 한쪽으로 쓰러질 수 있다. 작동기가 가상 메시지 환경(604)의 한 쪽을 치는 튜브의 탁하고 부딪치는 것을 모방하기 위한, 짧고, 강한 힘 또는 진동을 생성할 수 있다.
마지막으로, 도 6c에서, 메시징 장치가 거의 180도 회전, 또는 뒤집힌 것으로 도시된다. 가상 메시지 객체들(606a, 606b, 및 606c)이 이제 가상 메시지 환경의 가장 낮은 포인트에 대응하는 장치의 오른쪽 아래 코너에 가만히 있다. 가상 메시지 객체들과 가상 메시지 환경 간의 상호작용들에 대응하는 햅틱 효과들이 메시징 장치 내의 하나 이상의 작동기에 의해 출력될 수 있다.
도 7은 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 도시한 도면이다. 도 7에서, 시스템(700)은 가상 메시지 환경(704)을 디스플레이하고 있는 메시징 장치(702)를 포함한다. 하나의 가상 메시지 객체(706)가 가상 메시지 환경(704)의 바닥에 위치한다. 일부 실시예에서, 별도의 메시징 장치(도시되지 않음)가 가상 메시지 객체를 메시징 장치(702)로 송신한다. 다른 실시예에서, 메시징 장치(702) 자체가 가상 메시지 객체(706)를 생성할 수 있다. 이러한 내부적으로 생성되는 가상 메시지 객체들은 알람, 경고, 또는 리마인더를 포함할 수 있다.
도 7에 도시된 바와 같이, 신규 가상 메시지 객체(706)가 화살표(720)의 방향으로 메시지 게이트웨이(708)의 상단으로부터 가상 메시지 환경(704)의 바닥으로 떨어짐으로써 가상 메시지 환경에 도달한다. 신규 가상 메시지 객체 신호를 수신할 때, 메시징 장치(702)의 프로세서는 신규 가상 메시지 객체(706)와 가상 메시지 환경(704) 간의 상호작용을 결정할 수 있는데, 이 상호작용은 신규 가상 메시지 객체(706)의 가상 물리적 파라미터에 적어도 부분적으로 기초한다. 도 7에 도시된 바와 같이, 약간의 오른쪽 방향 또는 궤도에 대응하는 가상 물리적 파라미터가 신규 가상 메시지 객체를 화살표(720) 방향으로 떨어지도록 할 수 있다. 이러한 도달 행동은 송신 장치에 의해 설정되는 일시적인 가상 물리적 파라미터들에 적어도 부분적으로 기초할 수 있다. 일 실시예에서, 가상 메시지 객체(706)를 송신하는 장치는 어떻게 사용자가 송신 장치로부터 가상 메시지 객체(706)를 송신하는지에 적어도 부분적으로 기초하여, 가상 메시지 객체의 속도 및 궤도에 대응하는 가상 물리적 파라미터들을 초기화할 수 있다. 예를 들어, 사용자가 빠른, 중심에서 벗어난 제스처를 이용하여 가상 메시지 객체를 송신하는 경우, 이러한 일시적인 속성들이 가상 메시지 객체와 연관될 수 있다. 따라서, 가상 메시지 객체(706)가 수신되는 경우, 화살표(720)에 의해 도시된 바와 같이, 가상 메시지 객체의 초기의 빠른 속도 및 중심에서 벗어난 궤도가 가상 메시지 객체(706)의 가상 물리적 파라미터들에 적어도 부분적으로 기초하여 결정될 수 있다.
가상 메시지 객체(706)의 속도 및 궤도는 이 객체가 가상 메시지 환경의 벽에 대해, 또는 가상 메시지 환경 내부의 다른 가상 메시지 객체들에 대해 튕기거나 부서지는 것을 야기할 수 있다. 도 7에서, 가상 메시지 환경은 비어있으며, 신규 가상 메시지 공의 속도 및 궤도는, 공이 가상 메시지 환경(704)의 아래 벽에 튕기고, 연이어 가상 메시지 환경(704)의 윗벽에 대해 다시 튕기게끔 야기한다. 가상 메시지 환경(704)이 화살(722)에 의해 표시되는 방향으로 벽들에 대해 튕기는 공(706)을 도시하는 것과 같이, 메시징 장치(702)가 신규 가상 메시지 객체(706)와 가상 메시지 환경(704) 간의 상호작용에 대응하는 햅틱 효과들을 생성할 수 있다.
하나 이상의 가상 메시지 객체와 가상 메시지 환경과 이의 콘텐츠 간의 상호작용들에 기초하여 햅틱 효과들을 결정함으로써, 햅틱 효과들은 가상 메시지 환경의 콘텐츠에 대한 비시각 정보, 또는 햅틱 단서들을 제공할 수 있다. 가상 메시지 환경의 벽들에 대해 반복적으로 튕기는 공을 시뮬레이션하는 햅틱 효과는 사용자로 하여금 이들의 수신함, 또는 가상 메시지 환경이 상대적으로 비어있다고 생각하게 할 수 있다. 반대로, 복수의 가상 메시지 객체들이 서로 여러번 충돌하는 것을 시뮬레이션하는 햅틱 효과는 가상 메시지 환경이 상대적으로 가득하다고 나타낼 수 있다. 일 실시예에서, 개별적인 가상 메시지 객체들의 행동을 시뮬레이션하는 햅틱 효과들은 메시지의 콘텐츠에 대한 햅틱, 비시각 단서들을 제공할 수 있다. 심작 박동 또는 튕기는 공을 시뮬레이션하는 햅틱 효과들은 친근한 메시지가 수신되었음을 나타낼 수 있다. 알 깨기를 시뮬레이션하는 햅틱 효과는 첨부 파일을 갖는 메시지가 수신되었음을 나타낼 수 있다.
가상 메시지 객체들로 표현되는 메시지들은 토큰 메타포어를 수행할 수 있다. 토큰 메타포어에서, 토큰들은 이들이 송신 및 수신되거나 상이한 개체들 간에서 거래 및 교환되는 경우 이들의 물리적 및 시각적 속성을 유지할 수 있다. 이러한 토큰 메타포어에 따르면, 가상 메시지 객체들은 이들이 상이한 메시징 장치들 간에서 교환되거나 송수신되는 경우 이들의 물리적 및 시각적 속성들을 유지할 수 있다.
도 8a, 8b 및 8c는 본 발명의 일 실시예에 따른 물리 기반 촉각 메시징을 도시한 도면이다. 도 8a는 서로 통신하는 두 개의 메시징 장치들(802a 및 802b)을 도시한다. 제1 메시징 장치(802a)가 가상 메시지 환경(404a)을 디스플레이하고 있고, 제2 메시징 장치(802b)가 가상 메시지 환경(804b)을 디스플레이하고 있다. 도 8a, 8b 및 8c에 도시된 바와 같이, 제1 메시징 장치(802a)는 제2 메시징 장치(802b)와 통신한다. 메시징 장치들(802a 및 802b)은 셀룰러 텔레폰 네트워크, Wi-Fi 데이터 네트워크, 적외선 또는 기타 네트워킹 수단을 통해 통신할 수 있다. 도 8a, 8b 및 8c에서 메시징 장치들(802a 및 802b)이 근접하여 있는 것으로 도시되어 있지만, 메시징 장치들(802a 및 802b)은 이들의 연결 네트워크에 걸친 임의의 거리를 통해 통신할 수 있다.
도 8a에 도시된 바와 같이, 제1 메시징 장치(802a)의 가상 메시지 환경(804a)은 하나의 가상 메시지 객체(806)를 포함한다. 제2 메시징 장치(802b)의 가상 메시지 환경(804b)은 비어있다. 도 8a에 도시된 바와 같이, 사용자는 터치 스크린을 통해 직접 가상 메시지 객체를 접촉함으로써 제1 가상 메시지 환경(804a) 내의 가상 메시지 객체(806)에 관여하고 있다. 가상 메시지 객체(806)를 접촉하고 버튼을 누름으로써, 사용자는 자신이 가상 메시지 객체(806)를 느끼기보다는 이를 움직이려고 하는 것을 나타낼 수 있다.
도 8b에서, 사용자는 화살표(820)에 의해 도시된 방향으로 가상 메시지 환경의 상단 또는 전면의 가상 메시지 환경 게이트웨이로 자신의 손가락을 움직인다. 이러한 제스처는 사용자가 가상 메시지 객체(806)를 보내려고 의도하는 것을 나타낼 수 있다. 일 변형 예에서, 사용자는 터치 스크린을 통해 가상 메시지 객체(806)에 관여할 수 있고, 가상 메시지 환경 게이트웨이를 통해 가상 메시지 객체를 튀기거나, 밀거나 당길 수 있다. 또 다른 변형 예에서, 사용자는 메시징 장치를 기울여, 가상 객체가 게이트웨이를 통과하여 떨어지게 할 수 있다. 도 8b에 도시된 바와 같이, 제1 메시징 장치(802a)가 가상 메시지 객체(806)를 제2 메시징 장치(802b)로 송신하였고, 가상 메시지 객체는 더 이상 제1 가상 메시지 환경(804a)에 위치하지 않는다.
가상 메시지 객체(806)가 셀룰러 텔레폰 네트워크와 같은 네트워크를 통해 제1 메시징 장치로부터 제2 메시징 장치로 송신된다. 가상 메시지 객체가 로컬 영역 네트워크(Local Area Network; LAN), 광역 네트워크(Wide Area Network; WAN), 또는 기타 적절한 네트워크와 같은 기타 음성 및/또는 데이터 네트워크를 통해 송신될 수 있다.
가상 메시지 객체(806)가 송신되는 경우, 송신 메시징 장치(802a)는 떠나는 가상 메시지 객체(806)와 특정 속성들을 연관시킬 수 있다. 일 실시예에서, 가상 메시지 객체가 어떻게 보내지는지와 연관되는 운동 에너지는, 가상 메시지가 원격 장치에 도달하는 경우 보존된다. 예를 들어, 메시지의 출발의 속도 또는 긴급도가 가상 메시지 객체(806)의 하나의 가상 물리적 파라미터로서 연관될 수 있다. 만약 사용자가 게이트웨이를 통해 가상 메시지 객체(806)를 우연히 튀기거나 떨어뜨리면, 느리거나 미약한 출발 속도가 가상 메시지 객체(806)와 연관될 수 있다. 만약 사용자가 게이트웨이를 통해 가상 메시지 객체(806)를, 빠른 튀기기와 같이, 긴급하게 보내면, 빠른 출발 속도 파라미터가 가상 메시지 객체(806)와 연관될 수 있다. 가상 메시지 객체의 긴급 속성을 유지함으로써, 가상 메시지 객체들은 가상 메시지 객체의 콘텐츠에 관한 추가적인 정보를 수신자들에게 제공할 수 있다.
도 8c에서, 제2 메시징 장치(802b)가 제1 메시징 장치(802a)로부터 보내진 가상 메시지 객체(806)를 수신하며, 가상 메시지 객체(806)가 제2 가상 메시지 환경(804b)의 아래 코너에 나타난다. 제2 메시징 장치(802b)의 프로세서 및/또는 네트워크 인터페이스가 신규 가상 메시지 객체 신호들을 수신하도록 구성될 수 있다. 메시지들의 보내진 복사본들이 송신 장치의 발신함에 남아있는 종래의 메시징 시스템과 다르게, 제1 메시징 장치(802a)의 가상 메시지 환경(804a)은 이것이 가상 메시지 객체(806)를 송신한 후 비어있는 것으로 나타난다. 도 8c에 도시된 실시예에서, 공으로 도시된 가상 메시지 객체(806)는 가상 메시지 환경(804b)의 내부 경계들에 튕겨서 제2 메시징 장치(802b)에 도달하여, 하나의 사용로부터 던져져 또 다른 사용자의 공유 공간 또는 사용 공간에 도착하는 공의 물리적 모델을 재현한다.
신규 가상 메시지 객체 신호는 자신이 송신자의 장치 상의 게이트웨이를 통해 탈출하는 지점에서의 가상 객체(806)의 상태 및/또는 내부 물리적 속성에 관한 정보를 포함할 수 있다. 신규 가상 메시지 객체(806)를 수신할 때, 제2 메시징 장치(802b)의 프로세서가 신규 가상 메시지 객체(806)와 가상 메시지 환경(804b) 간의 상호작용을 결정할 수 있는데, 이 상호작용은 새롭게 수신된 가상 메시지 객체(806)의 가상 물리적 파라미터에 적어도 부분적으로 기초한다. 예로서, 제1 메시징 장치(802a)의 프로세서는 얼마나 빨리 가상 메시지 객체가 보내지는지(즉, 송신 또는 출발 속도)를 결정하고, 이 속도 속성을 가상 메시지 객체(806)와 연관시킬 수 있다. 가상 메시지 객체(806)가 제2 메시징 장치(802b)에 의해 수신되는 경우, 제2 메시징 장치(802b)는 송신 속도를 이용하여 가상 메시지 환경(804b) 내부의 가상 메시지 객체(806)의 초기 행동을 결정하고 모델링할 수 있다. 제1 가상 메시지 환경(804a)으로부터 긴급하게 보내지는 가상 메시지 객체(806b)는 제2 가상 메시지 환경(804b)의 여기저기를 강하게 튕겨 도달할 수 있다. 제1 가상 메시지 환경(804a)으로부터 미약하거나 부드럽게 보내진 가상 메시지 객체(806b)는 제2 가상 메시지 환경(804b)에 부드럽게 떨어져 도달할 수 있다.
메시징 장치(802b)의 프로세서는 새롭게 수신된 가상 메시지 객체(806)와 가상 메시지 환경(804b) 간의 상호작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정할 수 있다. 도 8c에서, 가상 메시지 객체(806)는 제1 메시징 장치로부터의 메시지의 출발 속도와 연관되는 송신 속도 가상 물리적 파라미터를 가질 수 있다. 햅틱 효과는 이러한 송신 속도에 적어도 부분적으로 기초하여 결정될 수 있다. 또한, 햅틱 효과는 객체의 크기, 질량, 모양, 충돌 행동, 텍스쳐, 시각 표현과 같은, 가상 메시지 객체의 다른 가상 물리적 파라미터들 또는 특징들에 기초할 수 있다.
가상 메시지 객체(806)가 공으로 표현되지만, 가상 메시지 객체들은 다양한 파라미터들을 갖는 다른 형태로 표현될 수 있다. 일 실시예에서, 물풍선으로 표현된 가상 메시지 객체가 제1 메시징 장치로부터 제2 메시징 장치로 송신된다. 사용자가 가상 게이트웨이를 통해 물풍선을 보냄에 따라, 물풍선의 출발 속도가 객체와 연관된다. 네트워크를 통한 송신 후, 물풍선이 제2 메시징 장치에 도달한다. 도달할 때, 제2 메시징 장치가 물풍선과 제2 메시징 장치의 가상 메시지 환경 간의 상호작용을 결정한다. 물풍선과 가상 메시지 환경 간의 상호작용은 질량 및/또는 속도와 같은 물풍선의 가상 물리적 파라미터에 적어도 부분적으로 기초한다. 실시예에서, 수신하는 환경은 비어있고, 도달과 동시에, 물풍선은 제2 가상 메시지 환경의 게이트웨이를 통해 급락하고, 수신 환경의 벽에 부딪히며, 가상 메시지 환경의 벽에 대해 시각적으로 튀기는 가상 메시지 객체 및 철벅거리는 사운드 효과에 대응하는, 튀기는 또는 철벅하는 소리를 시뮬레이션하는 햅틱 효과에 의해 사용자에게 표시된다.
물리 기반 촉각 메시징을 위한 시스템 및 방법의 실시예들이 현재의 메시징 시스템들을 통해 다양한 이점들을 제공할 수 있다. 물리 기반 촉각 메시징을 위한 시스템 및 방법은 사용자의 정상 촉각 체험과 사용자 인터페이스를 돌아다니기 위한 감각운동 스킬을 레버리지할 수 있다. 사용자의 정상 체험 및 물리적 직관을 레버리지함으로써, 물리 기반 촉각 메시징을 위한 시스템 및 방법은 새로운 사용자 인터페이스에 대한 사용자의 학습 곡선을 감소시키고, 사용자 인터페이스의 채택 속도를 증가시키고, 사용자 만족도를 높일 수 있다.
물리 기반 촉각 메시징의 실시예들은 메시지들을 교환하기 위한 토큰 메타포어를 활용할 수 있다. 일 특징으로, 토큰들이 자신의 물리적 특성들 중 적어도 일부를 유지하면서 앞뒤로 통과되거나 교환된다. 토큰 메타포어를 사용하여, 가상 메시지 객체들이 앞뒤로 보내지거나, 교환되고, 이들의 물리적 및 시각적 속성들과 같은 이들의 가상 물리적 파라미터들 중 적어도 일부를 유지할 수 있다.
메시지들을 가상 메시지 객체들로 표현함으로써, 가상 메시지 객체들의 구체적인 가상 물리적 파라미터들은 그들이 나타내는 메시지들의 유형 및/또는 콘텐츠에 관한 정보를 전달할 수 있다. 일 실시예에서, 메시지 유형 및/또는 모양이 자신의 가상 메시지 객체에 대응한다. 텍스트 메시지는 이심(eccentric) 텍스트 튜브 또는 스크롤로 표현될 수 있다. 파일 첨부물을 갖는 메시지는 이심 알 또는 캡슐 형태의 가상 메시지 객체로 표현될 수 있다. 유희의 비언어 통신을 나타내는 메시지는 비이심 공으로 표현될 수 있다. 또 다른 실시예에서, 메시지의 크기는 가상 메시지 객체의 크기 또는 질량에 대응한다. 큰 파일 첨부물을 갖는 메시지는 큰 또는 거대한 알로 표현될 수 있다. 단문 메시지 또는 작은 파일 첨부물을 갖는 메시지와 같은 메시지는 작은 가상 메시지 객체로 표현될 수 있다.
가상 메시지 객체가 어떻게 다른 객체들 및/또는 환경과 상호작용하는지를 결정할 수 있는 충돌 행동은 이러한 가상 물리적 파라미터들에 적어도 부분적으로 기초할 수 있다. 예를 들어, 무겁거나 보다 큰 가상 메시지 객체는 크지만 잦지 않은 충돌을 가질 수 있는 반면, 보다 작고, 덜 큰 객체는 작지만 잦은 충돌을 가질 수 있다. 햅틱 효과들은 가상 메시지 환경과 가상 메시지 객체들 간의 상호작용에 기초하여 모델링될 수 있다. 따라서, 물리 기반 촉각 메시징과 함께 생성되는 햅틱 효과들은 수신함의 콘텐츠 및/또는 개별적인 메시지들에 관한 정보를 산출할 수 있다.
토큰들이 앞뒤로 보내지는 경우, 토큰이 어떻게 교환되는지와 같은 이들의 나타나는 의도 중 일부가 보존될 수 있다. 따라서, 토큰 메타포어 하에서, 가상 메시지 객체들이 어떻게 이들이 보내지거나 교환되는지와 연관되는 속성들을 유지할 수 있다. 이러한 일시적인 파라미터들이 수신 장치에 의해 사용되어 수신 가상 메시지 환경 내의 가상 메시지 객체의 행동을 모델링할 수 있다. 일 예로, 가상 메시지 객체가 송신 장치로부터 송신되는 경우, 송신 장치는 송신 속도를 가상 메시지 객체와 연관시킨다. 가상 메시지 객체를 수신할 때, 수신 장치는 송신 속도에 적어도 부분적으로 기초하여 신규 가상 메시지 객체의 충돌 행동을 모델링할 수 있다.
메시지들 또는 가상 메시지 객체들이 메시징 장치 상에서 수행되는 다양한 제스처를 통해 조작될 수 있다. 가속도계와 같은 센서 및/또는 터치 스크린이 이러한 제스처들을 검출하고, 이 제스처를 가상 객체들에 대해 작용하는 가상 힘으로 바꾼다. 예를 들어, 가속 감지가 가상 물리적 환경 내의 중력을 시뮬레이션하는데 사용될 수 있다. 메시징 장치가 회전되는 경우, 가속도계 데이터가 사용되어, 한쪽으로 회전하고 있는 대리석 통과 같이, 회전하고 있는 가상 메시지 환경을 시뮬레이션할 수 있다. 이러한 움직임은 사용자 인터페이스 환경 내에서 그래픽으로 디스플레이 될 수 있는 가상 객체들이 움직이고, 구르고 및/또는 충돌하게 하도록 할 수 있고, 실질적으로 동시에 작동기가 해당 햅틱 피드백을 생성하게 하도록 할 수 있다. 햅틱 효과들을 통해, 가상 메시지 객체의 가상 질량이 햅틱적으로 인지되어, 가상 메시지 객체가 무엇을 나타내는지에 관한 비시각 정보를 전달할 수 있다. 따라서, 메시징 장치를 빠른 흔들기 또는 쿡 찌르기로 움직이는 것만으로 가상 메시지 환경의 콘텐츠에 관한 정보를 직관적이고, 예측가능한 방식으로 전달할 수 있다.
본 발명의 실시예들이 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 일 실시예에서, 컴퓨터가 하나의 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 결합되는 랜덤 액세스 메모리(RAM)와 같은 컴퓨터 판독가능 매체를 포함한다. 프로세서는 메시징을 위한 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어들을 실행한다. 이러한 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(digital signal processor; DSP), 주문형 반도체(application-specific integrated circuit; ASIC), 필드 프로그램가능 게이트 어레이(field programmable gate arrays; FPGA), 상태 기계(state machine)를 포함할 수 있다. 이러한 프로세서들은 PLC, 프로그램가능 인터럽트 컨트롤러(programmable interrupt controller; PIC), 프로그램가능 로직 장치(programmable logic devices; PLD), 프로그램가능 판독 전용 메모리(programmable read-only memory; PROM), 전기적으로 프로그램가능한 판독 전용 메모리(electronically programmable read-only memory; EPROM 또는 EEPROM), 또는 기타 유사 장치들을 더 포함할 수 있다.
이러한 프로세서들은, 프로세서에 의해 실행될 때, 프로세서로 하여금, 프로세서에 의해 실행되거나 또는 보조되는 바와 같은, 본원에 설명된 단계들을 수행하게 할 수 있는 명령어들을 저장할 수 있는 매체, 예를 들면, 컴퓨터 판독가능 매체를 포함하거나 또는 이와 통신할 수 있다. 컴퓨터 판독가능 매체의 실시예들은 이하에 한정되지 않지만, 전자, 광, 자기, 또는 기타 저장소 또는 웹 서버 내의 프로세서와 같은 프로세서에 컴퓨터 판독가능 명령어들을 제공할 수 있는 송신 장치를 포함할 수 있다. 매체의 다른 예들은 이하에 한정되지 않지만, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성(configured) 프로세서, 모든 광 매체, 모든 자기 테이프 또는 기타 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 기타 매체를 포함한다. 또한, 라우터, 개인 또는 공공 네트워크, 또는 기타 송신 장치와 같은 다양한 기타 장치들이 컴퓨터 판독가능 매체를 포함할 수 있다. 설명된 프로세서 및 프로세싱은 하나 이상의 구조로 될 수 있고, 하나 이상의 구조를 통해 분산될 수 있다. 프로세서는 본 명세서에서 설명되는 하나 이상의 방법(또는 방법의 일부)을 수행하기 위한 코드를 포함할 수 있다.
일반
본 발명의 바람직한 실시예들을 포함하는 실시예들의 위의 설명은 예시 및 설명을 위해서만 제공된 것이지 모두 망라하거나 발명의 게시된 특정 형태로 한정하기 위한 것이 아니다. 당업자라면 본 발명의 사상 및 범위를 벗어나지 않는 한도 내에서 이의 다양한 수정 및 각색이 가능하다는 것을 알 수 있다.
Claims (29)
- 메시징 장치와의 물리적 상호작용을 감지하도록 구성되는 센서로부터 센서 신호를 수신하는 단계;
하나 이상의 가상 메시지 객체와 가상 메시지 환경 간의 상호작용을 결정하는 단계 ― 상기 상호작용은 상기 센서 신호, 및 상기 하나 이상의 가상 메시지 객체 중 적어도 하나의 가상 메시지 객체의 가상 물리적 파라미터에 적어도 부분적으로 기초함 ―;
상기 상호작용에 적어도 부분적으로 기초하여 햅틱(haptic) 효과를 결정하는 단계; 및
작동기(actuator)로 하여금 상기 햅틱 효과를 출력하게 하도록 구성되는 햅틱 신호를 생성하는 단계
를 포함하는 방법. - 제1항에 있어서,
상기 햅틱 효과를 출력하도록 구성되는 작동기에 상기 햅틱 신호를 송신하는 단계, 및 상기 햅틱 효과를 출력하는 단계를 더 포함하는 방법. - 제1항에 있어서,
상기 하나 이상의 가상 메시지 객체와 상기 가상 메시지 환경 간의 상기 상호작용은 충돌(collision)을 포함하는 방법. - 제1항에 있어서,
상기 센서는 접촉, 압력, 가속, 경사, 관성, 또는 위치를 검출하도록 구성되는 방법. - 제1항에 있어서,
상기 센서는 가속도계, 자이로스코프, GPS 센서, 경사계, 카메라와 같은 광 센서, 오디오-스펙트럼 센서들, 초음파 송신기들 및 센서들, 적외선 또는 기타 근접 센서, 또는 방향 또는 움직임을 검출할 수 있는 또 다른 센서를 포함하는 방법. - 제1항에 있어서,
상기 가상 메시지 환경은 수신함(inbox)을 포함하는 방법. - 제1항에 있어서,
상기 가상 물리적 파라미터는 크기, 질량, 모양, 충돌 행동, 텍스쳐, 또는 시각 표현을 포함하는 방법. - 제1항에 있어서,
상기 가상 메시지 객체들은 공, 튜브, 또는 캡슐 중 하나 이상을 포함하는 방법. - 제1항에 있어서,
상기 가상 메시지 객체들은 텍스트 메시지, 인스턴트 메시지, 이메일 또는 데이터 파일 중 하나 이상을 포함하는 방법. - 제9항에 있어서,
상기 데이터 파일은 비디오 파일, 오디오 파일, 이미지 파일 또는 텍스트 파일 중 하나 이상을 포함하는 방법. - 신규 가상 메시지 객체를 포함하는 신규 가상 메시지 객체 신호를 수신하는 단계;
상기 신규 가상 메시지 객체와 가상 메시지 환경 간의 상호작용을 결정하는 단계 ― 상기 상호작용은 상기 신규 가상 메시지 객체의 가상 물리적 파라미터에 적어도 부분적으로 기초함 ―;
상기 상호작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정하는 단계; 및
작동기로 하여금 상기 햅틱 효과를 출력하게 하도록 구성되는 햅틱 신호를 생성하는 단계
를 포함하는 방법. - 제11항에 있어서,
상기 신규 가상 메시지 객체 신호는 알람 또는 리마인더(reminder)에 의해 생성되는 방법. - 제11항에 있어서,
상기 신규 가상 메시지 객체 신호는 원격 장치로부터 수신되는 방법. - 프로그램 코드를 포함하는 컴퓨터 판독가능 매체로서,
상기 프로그램 코드는,
메시징 장치와의 물리적 상호작용을 감지하도록 구성되는 센서로부터 센서 신호를 수신하기 위한 프로그램 코드;
하나 이상의 가상 메시지 객체와 가상 메시지 환경 간의 상호작용을 결정하기 위한 프로그램 코드 ― 상기 상호작용은 상기 센서 신호, 및 상기 하나 이상의 가상 메시지 객체 중 적어도 하나의 가상 메시지 객체의 가상 물리적 파라미터에 적어도 부분적으로 기초함 ―;
상기 상호작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정하기 위한 프로그램 코드; 및
작동기로 하여금 상기 햅틱 효과를 출력하게 하도록 구성되는 햅틱 신호를 생성하기 위한 프로그램 코드
를 포함하는 컴퓨터 판독가능 매체. - 프로그램 코드를 포함하는 컴퓨터 판독가능 매체로서,
상기 프로그램 코드는,
신규 가상 메시지 객체를 포함하는 신규 가상 메시지 객체 신호를 수신하기 위한 프로그램 코드;
상기 신규 가상 메시지 객체와 가상 메시지 환경 간의 상호작용을 결정하기 위한 프로그램 코드 ― 상기 상호작용은 상기 센서 신호 및 상기 신규 가상 메시지 객체의 가상 물리적 파라미터에 적어도 부분적으로 기초함 ―;
상기 상호작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정하기 위한 프로그램 코드; 및
작동기로 하여금 상기 햅틱 효과를 출력하게 하도록 구성되는 햅틱 신호를 생성하기 위한 프로그램 코드
를 포함하는 컴퓨터 판독가능 매체. - 프로세서를 포함하는 시스템으로서,
상기 프로세서는,
메시징 장치와의 물리적 상호작용을 감지하도록 구성되는 센서로부터 센서 신호를 수신하고;
하나 이상의 가상 메시지 객체와 가상 메시지 환경 간의 상호작용을 결정하고 ― 상기 상호작용은 상기 센서 신호, 및 상기 하나 이상의 가상 메시지 객체 중 적어도 하나의 가상 메시지 객체의 가상 물리적 파라미터에 적어도 부분적으로 기초함 ―;
상기 상호작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정하고;
작동기로 하여금 상기 햅틱 효과를 출력하게 하도록 구성되는 햅틱 신호를 생성하도록 구성되는 시스템. - 제16항에 있어서,
상기 프로세서와 통신하는 센서를 더 포함하는 시스템. - 제17항에 있어서,
상기 센서는 접촉, 압력, 가속, 경사, 관성, 또는 위치를 검출하도록 구성되는 시스템. - 제17항에 있어서,
상기 센서는 가속도계, 자이로스코프, 또는 GPS 센서를 포함하는 시스템. - 제16항에 있어서,
햅틱 신호를 수신하고 상기 햅틱 신호에 적어도 부분적으로 기초하여 햅틱 효과를 생성하도록 구성되는 작동기를 더 포함하는 시스템. - 제16항에 있어서,
상기 메시징 장치는 상기 가상 메시지 환경을 보여주도록 구성되는 디스플레이를 더 포함하는 시스템. - 제21항에 있어서,
상기 디스플레이는 터치 스크린을 포함하는 시스템. - 제16항에 있어서,
상기 메시징 장치는 상기 햅틱 효과와 조화되는 사운드 효과를 생성하도록 구성되는 스피커를 더 포함하는 시스템. - 제16항에 있어서,
상기 하나 이상의 가상 메시지 객체와 상기 가상 메시지 환경 간의 상기 상호작용은 충돌을 포함하는 시스템. - 제16항에 있어서,
상기 가상 메시지 환경은 수신함을 포함하는 시스템. - 제16항에 있어서,
상기 가상 물리적 파라미터는 크기, 질량, 모양, 충돌 행동, 텍스쳐, 또는 시각적 표현을 포함하는 시스템. - 제16항에 있어서,
상기 가상 메시지 객체들은 공, 튜브, 또는 캡슐 중 하나 이상을 포함하는 시스템. - 제16항에 있어서,
상기 가상 메시지 객체들은 텍스트 메시지, 인스턴트 메시지, 이메일, 또는 데이터 파일 중 하나 이상을 포함하는 시스템. - 제28항에 있어서,
상기 데이터 파일은 비디오 파일, 오디오 파일, 이미지 파일 또는 텍스트 파일 중 하나 이상을 포함하는 시스템.
Applications Claiming Priority (12)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US8097808P | 2008-07-15 | 2008-07-15 | |
US8098508P | 2008-07-15 | 2008-07-15 | |
US8098108P | 2008-07-15 | 2008-07-15 | |
US8098708P | 2008-07-15 | 2008-07-15 | |
US61/080,981 | 2008-07-15 | ||
US61/080,978 | 2008-07-15 | ||
US61/080,987 | 2008-07-15 | ||
US61/080,985 | 2008-07-15 | ||
US14831209P | 2009-01-29 | 2009-01-29 | |
US61/148,312 | 2009-01-29 | ||
US18128009P | 2009-05-26 | 2009-05-26 | |
US61/181,280 | 2009-05-26 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020167027748A Division KR102056518B1 (ko) | 2008-07-15 | 2009-07-14 | 물리 기반 촉각 메시징을 위한 시스템 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20110052629A true KR20110052629A (ko) | 2011-05-18 |
Family
ID=41119917
Family Applications (18)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020147002738A KR101522145B1 (ko) | 2008-07-15 | 2009-07-14 | 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법, 및 비일시적인 컴퓨터 판독가능 매체 |
KR1020117003437A KR20110052629A (ko) | 2008-07-15 | 2009-07-14 | 물리 기반 촉각 메시징을 위한 시스템 및 방법 |
KR1020187013053A KR102045165B1 (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지들을 송신하기 위한 시스템 및 방법 |
KR1020167026279A KR101838425B1 (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지 송신을 위한 시스템 및 방법 |
KR1020117003511A KR101661368B1 (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지 송신을 위한 시스템 및 방법 |
KR1020177032718A KR101871646B1 (ko) | 2008-07-15 | 2009-07-14 | 물리 기반 촉각 메시징을 위한 시스템 및 방법 |
KR1020187017394A KR101989763B1 (ko) | 2008-07-15 | 2009-07-14 | 물리 기반 촉각 메시징을 위한 시스템 및 방법 |
KR1020167002561A KR101956999B1 (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지들을 송신하기 위한 시스템 및 방법 |
KR1020177006891A KR102045128B1 (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지들을 송신하기 위한 시스템 및 방법 |
KR1020167027748A KR102056518B1 (ko) | 2008-07-15 | 2009-07-14 | 물리 기반 촉각 메시징을 위한 시스템 및 방법 |
KR1020187006662A KR20180029101A (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지 송신을 위한 시스템 및 방법 |
KR1020147028879A KR101600226B1 (ko) | 2008-07-15 | 2009-07-14 | 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법, 및 비일시적인 컴퓨터 판독가능 매체 |
KR1020117003432A KR101300429B1 (ko) | 2008-07-15 | 2009-07-14 | 수동 및 능동 모드 간의 햅틱 피드백 기능을 시프트하기 위한 시스템 및 방법 |
KR1020117003491A KR20110036617A (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지들을 송신하기 위한 시스템 및 방법 |
KR1020117003489A KR101404367B1 (ko) | 2008-07-15 | 2009-07-14 | 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법 |
KR1020167005201A KR101690469B1 (ko) | 2008-07-15 | 2009-07-14 | 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법, 및 비일시적인 컴퓨터 판독가능 매체 |
KR1020187033607A KR102045170B1 (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지들을 송신하기 위한 시스템 및 방법 |
KR1020167002451A KR101788995B1 (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지 송신을 위한 시스템 및 방법 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020147002738A KR101522145B1 (ko) | 2008-07-15 | 2009-07-14 | 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법, 및 비일시적인 컴퓨터 판독가능 매체 |
Family Applications After (16)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020187013053A KR102045165B1 (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지들을 송신하기 위한 시스템 및 방법 |
KR1020167026279A KR101838425B1 (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지 송신을 위한 시스템 및 방법 |
KR1020117003511A KR101661368B1 (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지 송신을 위한 시스템 및 방법 |
KR1020177032718A KR101871646B1 (ko) | 2008-07-15 | 2009-07-14 | 물리 기반 촉각 메시징을 위한 시스템 및 방법 |
KR1020187017394A KR101989763B1 (ko) | 2008-07-15 | 2009-07-14 | 물리 기반 촉각 메시징을 위한 시스템 및 방법 |
KR1020167002561A KR101956999B1 (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지들을 송신하기 위한 시스템 및 방법 |
KR1020177006891A KR102045128B1 (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지들을 송신하기 위한 시스템 및 방법 |
KR1020167027748A KR102056518B1 (ko) | 2008-07-15 | 2009-07-14 | 물리 기반 촉각 메시징을 위한 시스템 및 방법 |
KR1020187006662A KR20180029101A (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지 송신을 위한 시스템 및 방법 |
KR1020147028879A KR101600226B1 (ko) | 2008-07-15 | 2009-07-14 | 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법, 및 비일시적인 컴퓨터 판독가능 매체 |
KR1020117003432A KR101300429B1 (ko) | 2008-07-15 | 2009-07-14 | 수동 및 능동 모드 간의 햅틱 피드백 기능을 시프트하기 위한 시스템 및 방법 |
KR1020117003491A KR20110036617A (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지들을 송신하기 위한 시스템 및 방법 |
KR1020117003489A KR101404367B1 (ko) | 2008-07-15 | 2009-07-14 | 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법 |
KR1020167005201A KR101690469B1 (ko) | 2008-07-15 | 2009-07-14 | 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법, 및 비일시적인 컴퓨터 판독가능 매체 |
KR1020187033607A KR102045170B1 (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지들을 송신하기 위한 시스템 및 방법 |
KR1020167002451A KR101788995B1 (ko) | 2008-07-15 | 2009-07-14 | 햅틱 메시지 송신을 위한 시스템 및 방법 |
Country Status (6)
Country | Link |
---|---|
US (20) | US8638301B2 (ko) |
EP (13) | EP3206381A1 (ko) |
JP (20) | JP5337877B2 (ko) |
KR (18) | KR101522145B1 (ko) |
CN (10) | CN104111726B (ko) |
WO (5) | WO2010009152A1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170134558A (ko) * | 2015-08-28 | 2017-12-06 | 구글 엘엘씨 | 디바이스들 간의 통지들의 전달 |
US10362430B2 (en) | 2015-12-04 | 2019-07-23 | Samsung Electronics Co., Ltd | Audio providing method and device therefor |
KR20210084697A (ko) * | 2012-05-11 | 2021-07-07 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 전자 기기, 기억 매체, 프로그램, 및 표시 방법 |
Families Citing this family (354)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU1328597A (en) * | 1995-11-30 | 1997-06-19 | Virtual Technologies, Inc. | Tactile feedback man-machine interface device |
US20100312129A1 (en) | 2005-01-26 | 2010-12-09 | Schecter Stuart O | Cardiovascular haptic handle system |
BRPI0804355A2 (pt) * | 2008-03-10 | 2009-11-03 | Lg Electronics Inc | terminal e método de controle do mesmo |
US8594740B2 (en) | 2008-06-11 | 2013-11-26 | Pantech Co., Ltd. | Mobile communication terminal and data input method |
EP3206381A1 (en) * | 2008-07-15 | 2017-08-16 | Immersion Corporation | Systems and methods for mapping message contents to virtual physical properties for vibrotactile messaging |
USD618248S1 (en) * | 2008-09-23 | 2010-06-22 | Apple Inc. | Graphical user interface for a display screen or portion thereof |
US8004391B2 (en) * | 2008-11-19 | 2011-08-23 | Immersion Corporation | Method and apparatus for generating mood-based haptic feedback |
US20100146437A1 (en) * | 2008-12-04 | 2010-06-10 | Microsoft Corporation | Glanceable animated notifications on a locked device |
US9197738B2 (en) * | 2008-12-04 | 2015-11-24 | Microsoft Technology Licensing, Llc | Providing selected data through a locked display |
US20100146395A1 (en) * | 2008-12-08 | 2010-06-10 | Gustavo De Los Reyes | Method and System for Exploiting Interactions Via A Virtual Environment |
KR20100086161A (ko) * | 2009-01-22 | 2010-07-30 | 주식회사 팬택 | 바람 인식을 통한 동작 제어 장치 및 방법 |
US8572493B2 (en) * | 2009-01-29 | 2013-10-29 | Rick Qureshi | Mobile device messaging application |
JP4706985B2 (ja) * | 2009-03-04 | 2011-06-22 | コニカミノルタビジネステクノロジーズ株式会社 | コンテンツ表示装置 |
KR20170016521A (ko) * | 2009-03-12 | 2017-02-13 | 임머숀 코퍼레이션 | 다수의 액츄에이터를 사용하여 텍스처를 실현하는 시스템 및 방법 |
US10564721B2 (en) | 2009-03-12 | 2020-02-18 | Immersion Corporation | Systems and methods for using multiple actuators to realize textures |
US10007340B2 (en) | 2009-03-12 | 2018-06-26 | Immersion Corporation | Systems and methods for interfaces featuring surface-based haptic effects |
US9927873B2 (en) | 2009-03-12 | 2018-03-27 | Immersion Corporation | Systems and methods for using textures in graphical user interface widgets |
KR101593598B1 (ko) * | 2009-04-03 | 2016-02-12 | 삼성전자주식회사 | 휴대단말에서 제스처를 이용한 기능 실행 방법 |
US8660246B1 (en) * | 2009-04-06 | 2014-02-25 | Wendell Brown | Method and apparatus for content presentation in association with a telephone call |
JP5639151B2 (ja) * | 2009-04-15 | 2014-12-10 | コーニンクレッカ フィリップス エヌ ヴェ | 折り畳み式触覚ディスプレイ |
US20100306825A1 (en) * | 2009-05-27 | 2010-12-02 | Lucid Ventures, Inc. | System and method for facilitating user interaction with a simulated object associated with a physical location |
US8009022B2 (en) * | 2009-05-29 | 2011-08-30 | Microsoft Corporation | Systems and methods for immersive interaction with virtual objects |
US8762886B2 (en) * | 2009-07-30 | 2014-06-24 | Lenovo (Singapore) Pte. Ltd. | Emulating fundamental forces of physics on a virtual, touchable object |
US20110029904A1 (en) * | 2009-07-30 | 2011-02-03 | Adam Miles Smith | Behavior and Appearance of Touch-Optimized User Interface Elements for Controlling Computer Function |
US20110029864A1 (en) * | 2009-07-30 | 2011-02-03 | Aaron Michael Stewart | Touch-Optimized Approach for Controlling Computer Function Using Touch Sensitive Tiles |
US8656314B2 (en) * | 2009-07-30 | 2014-02-18 | Lenovo (Singapore) Pte. Ltd. | Finger touch gesture for joining and unjoining discrete touch objects |
US8434153B2 (en) | 2009-08-24 | 2013-04-30 | Microsoft Corporation | Application display on a locked device |
US20110084962A1 (en) * | 2009-10-12 | 2011-04-14 | Jong Hwan Kim | Mobile terminal and image processing method therein |
US9201584B2 (en) * | 2009-11-06 | 2015-12-01 | Bose Corporation | Audio/visual device user interface with tactile feedback |
US20110112821A1 (en) * | 2009-11-11 | 2011-05-12 | Andrea Basso | Method and apparatus for multimodal content translation |
US9621706B2 (en) * | 2009-11-18 | 2017-04-11 | Qualcomm Incorporated | System and method of haptic communication at a portable computing device |
US9046923B2 (en) * | 2009-12-31 | 2015-06-02 | Verizon Patent And Licensing Inc. | Haptic/voice-over navigation assistance |
US9436280B2 (en) * | 2010-01-07 | 2016-09-06 | Qualcomm Incorporated | Simulation of three-dimensional touch sensation using haptics |
JP5665322B2 (ja) * | 2010-01-25 | 2015-02-04 | 京セラ株式会社 | 電子機器 |
CA2787831A1 (en) * | 2010-01-28 | 2011-08-04 | Liquor Monitor, Llc | Dispensing monitor |
US9333039B2 (en) | 2010-02-09 | 2016-05-10 | The Trustees Of The University Of Pennsylvania | Systems and methods for providing vibration feedback in robotic systems |
US8839150B2 (en) * | 2010-02-10 | 2014-09-16 | Apple Inc. | Graphical objects that respond to touch or motion input |
US8185596B2 (en) * | 2010-02-22 | 2012-05-22 | Samsung Electronics Co., Ltd. | Location-based communication method and system |
EP3336658B1 (en) * | 2010-03-01 | 2020-07-22 | BlackBerry Limited | Method of providing tactile feedback and apparatus |
US9361018B2 (en) * | 2010-03-01 | 2016-06-07 | Blackberry Limited | Method of providing tactile feedback and apparatus |
US8570161B2 (en) | 2010-03-16 | 2013-10-29 | Immersion Corporation | Systems and methods for haptic information preview |
JP2011197777A (ja) * | 2010-03-17 | 2011-10-06 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
KR101640043B1 (ko) * | 2010-04-14 | 2016-07-15 | 삼성전자주식회사 | 가상 세계 처리 장치 및 방법 |
CA2796451A1 (en) * | 2010-04-16 | 2011-10-20 | Nicholas J. Mastandrea | Wearable motion sensing computing interface |
US9791928B2 (en) | 2010-04-26 | 2017-10-17 | Nokia Technologies Oy | Apparatus, method, computer program and user interface |
US9733705B2 (en) | 2010-04-26 | 2017-08-15 | Nokia Technologies Oy | Apparatus, method, computer program and user interface |
US9715275B2 (en) | 2010-04-26 | 2017-07-25 | Nokia Technologies Oy | Apparatus, method, computer program and user interface |
JP2012003508A (ja) * | 2010-06-16 | 2012-01-05 | Toshiba Corp | 情報処理装置、方法及びプログラム |
US9132352B1 (en) | 2010-06-24 | 2015-09-15 | Gregory S. Rabin | Interactive system and method for rendering an object |
US20120001856A1 (en) * | 2010-07-02 | 2012-01-05 | Nokia Corporation | Responding to tactile inputs |
KR20120005124A (ko) * | 2010-07-08 | 2012-01-16 | 삼성전자주식회사 | 휴대용 단말기에서 움직임에 따른 동작을 수행하기 위한 장치 및 방법 |
US8798534B2 (en) | 2010-07-09 | 2014-08-05 | Digimarc Corporation | Mobile devices and methods employing haptics |
US8988445B2 (en) * | 2010-07-30 | 2015-03-24 | The Trustees Of The University Of Pennsylvania | Systems and methods for capturing and recreating the feel of surfaces |
US8917249B1 (en) | 2010-08-05 | 2014-12-23 | Amazon Technologies, Inc. | Reduction of touch-sensor interference from active display |
US9329721B1 (en) * | 2010-08-05 | 2016-05-03 | Amazon Technologies, Inc. | Reduction of touch-sensor interference from stable display |
TWI492100B (zh) * | 2010-08-25 | 2015-07-11 | Fih Hong Kong Ltd | 電子裝置及其解鎖方法 |
US20120054667A1 (en) * | 2010-08-31 | 2012-03-01 | Blackboard Inc. | Separate and simultaneous control of windows in windowing systems |
US10318002B2 (en) * | 2010-09-15 | 2019-06-11 | Inventus Engineering Gmbh | Magnetorheological transmission device |
KR101708821B1 (ko) * | 2010-09-30 | 2017-02-21 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
US8564535B2 (en) * | 2010-10-05 | 2013-10-22 | Immersion Corporation | Physical model based gesture recognition |
US9483786B2 (en) | 2011-10-13 | 2016-11-01 | Gift Card Impressions, LLC | Gift card ordering system and method |
WO2012063123A2 (en) * | 2010-11-09 | 2012-05-18 | WOOW Inc. Limited | Apparatus and method for physical interaction over a distance using a telecommunication device |
US20130215079A1 (en) * | 2010-11-09 | 2013-08-22 | Koninklijke Philips Electronics N.V. | User interface with haptic feedback |
JP5479414B2 (ja) * | 2010-11-24 | 2014-04-23 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
US11314344B2 (en) * | 2010-12-03 | 2022-04-26 | Razer (Asia-Pacific) Pte. Ltd. | Haptic ecosystem |
US9201467B2 (en) | 2011-01-26 | 2015-12-01 | Sony Corporation | Portable terminal having user interface function, display method, and computer program |
JP5654886B2 (ja) * | 2011-01-26 | 2015-01-14 | 株式会社ソニー・コンピュータエンタテインメント | 携帯端末、表示方法及びコンピュータプログラム |
US9990856B2 (en) | 2011-02-08 | 2018-06-05 | The Trustees Of The University Of Pennsylvania | Systems and methods for providing vibration feedback in robotic systems |
JP5809079B2 (ja) * | 2011-02-10 | 2015-11-10 | 京セラ株式会社 | 電子機器及び電子機器の制御方法 |
CN103262465B (zh) * | 2011-02-24 | 2016-07-06 | 英派尔科技开发有限公司 | 使用移动设备进行的认证 |
EP2498250B1 (en) * | 2011-03-07 | 2021-05-05 | Accenture Global Services Limited | Client and server system for natural language-based control of a digital network of devices |
US8872854B1 (en) * | 2011-03-24 | 2014-10-28 | David A. Levitt | Methods for real-time navigation and display of virtual worlds |
US8942828B1 (en) | 2011-04-13 | 2015-01-27 | Stuart Schecter, LLC | Minimally invasive cardiovascular support system with true haptic coupling |
US9448713B2 (en) * | 2011-04-22 | 2016-09-20 | Immersion Corporation | Electro-vibrotactile display |
JP2012242927A (ja) * | 2011-05-17 | 2012-12-10 | Seiko Epson Corp | 移動端末装置、移動端末装置の制御方法、及び、プログラム |
US8710967B2 (en) | 2011-05-18 | 2014-04-29 | Blackberry Limited | Non-visual presentation of information on an electronic wireless device |
US10191546B2 (en) * | 2011-06-20 | 2019-01-29 | Immersion Corporation | Haptic theme framework |
US20130033366A1 (en) * | 2011-08-01 | 2013-02-07 | Mcdonough Colin Albright | Method and system for providing haptic feedback of variable intensity |
WO2013022021A1 (ja) * | 2011-08-09 | 2013-02-14 | 株式会社ニコン | 電子機器 |
US9762719B2 (en) | 2011-09-09 | 2017-09-12 | Qualcomm Incorporated | Systems and methods to enhance electronic communications with emotional context |
US9501150B2 (en) * | 2011-10-01 | 2016-11-22 | Oracle International Corporation | Moving an object about a display frame by combining classical mechanics of motion |
CN103842937A (zh) * | 2011-10-04 | 2014-06-04 | 株式会社尼康 | 电子设备 |
US9582178B2 (en) * | 2011-11-07 | 2017-02-28 | Immersion Corporation | Systems and methods for multi-pressure interaction on touch-sensitive surfaces |
KR102054370B1 (ko) * | 2011-11-23 | 2019-12-12 | 삼성전자주식회사 | 햅틱 피드백 방법 및 장치, 기계로 읽을 수 있는 저장 매체 및 휴대용 통신 단말 |
CN102692997A (zh) * | 2011-11-25 | 2012-09-26 | 北京十分科技有限公司 | 一种控制终端操作的方法 |
US20150205473A1 (en) * | 2011-12-06 | 2015-07-23 | Google Inc. | Systems and methods for visually scrolling through a stack of items displayed on a device |
US8381102B1 (en) | 2011-12-06 | 2013-02-19 | Google Inc. | Systems and methods for visually scrolling through a stack of items displayed on a device |
US20130227409A1 (en) * | 2011-12-07 | 2013-08-29 | Qualcomm Incorporated | Integrating sensation functionalities into social networking services and applications |
US20130227411A1 (en) * | 2011-12-07 | 2013-08-29 | Qualcomm Incorporated | Sensation enhanced messaging |
EP2795936B1 (en) * | 2011-12-20 | 2019-06-26 | Intel Corporation | User-to-user communication enhancement with augmented reality |
CN112446935B (zh) * | 2011-12-20 | 2024-08-16 | 英特尔公司 | 存储内容和ar通信的本地传感器加强 |
KR101655876B1 (ko) * | 2012-01-05 | 2016-09-09 | 삼성전자 주식회사 | 메시지 기반의 대화 기능 운용 방법 및 이를 지원하는 단말기 |
JP5777217B2 (ja) * | 2012-01-26 | 2015-09-09 | Kddi株式会社 | 押圧操作で動作モードが起動可能なユーザインタフェース装置、動作モード起動方法及びプログラム |
US10430865B2 (en) | 2012-01-30 | 2019-10-01 | Gift Card Impressions, LLC | Personalized webpage gifting system |
KR20130088281A (ko) * | 2012-01-31 | 2013-08-08 | 삼성전자주식회사 | 디스플레이장치, 업그레이드장치, 그 제어방법 및 디스플레이 시스템 |
US20130196293A1 (en) * | 2012-01-31 | 2013-08-01 | Michael C. Wood | Phonic learning using a mobile computing device having motion sensing capabilities |
US9083546B2 (en) * | 2012-01-31 | 2015-07-14 | Rajendra Padma Sadhu | System and method for communicating health parameters of an occupant in an automobile and a dynamic operation of the automobile and home automation |
US8493354B1 (en) | 2012-08-23 | 2013-07-23 | Immersion Corporation | Interactivity model for shared feedback on mobile devices |
EP3321780A1 (en) * | 2012-02-15 | 2018-05-16 | Immersion Corporation | High definition haptic effects generation using primitives |
US8711118B2 (en) | 2012-02-15 | 2014-04-29 | Immersion Corporation | Interactivity model for shared feedback on mobile devices |
US20120223880A1 (en) * | 2012-02-15 | 2012-09-06 | Immersion Corporation | Method and apparatus for producing a dynamic haptic effect |
TWI626591B (zh) * | 2012-03-01 | 2018-06-11 | 群邁通訊股份有限公司 | 應用程式切換系統及方法 |
US9702723B2 (en) * | 2012-03-01 | 2017-07-11 | Nokia Technologies Oy | Method and apparatus for receiving user estimation of navigational instructions |
CN102624981A (zh) * | 2012-03-07 | 2012-08-01 | 华为终端有限公司 | 一种数据传输方法及装置 |
US20130254233A1 (en) * | 2012-03-20 | 2013-09-26 | Avaya Inc. | System and method for context-sensitive address book |
CN104932688A (zh) * | 2012-03-29 | 2015-09-23 | 华为终端有限公司 | 一种桌面容器的切换控制方法及终端 |
CN102662576B (zh) * | 2012-03-29 | 2015-04-29 | 华为终端有限公司 | 基于触摸的信息发送方法及装置 |
CN103389849B (zh) * | 2012-05-07 | 2018-10-16 | 腾讯科技(北京)有限公司 | 一种基于移动终端的图像展示方法、系统和移动终端 |
WO2013169842A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for selecting object within a group of objects |
WO2013169865A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
WO2013169846A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for displaying additional information in response to a user contact |
EP3096218B1 (en) | 2012-05-09 | 2018-12-26 | Apple Inc. | Device, method, and graphical user interface for selecting user interface objects |
WO2013169851A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for facilitating user interaction with controls in a user interface |
WO2013169849A2 (en) | 2012-05-09 | 2013-11-14 | Industries Llc Yknots | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
WO2013169843A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for manipulating framed graphical objects |
EP3185116B1 (en) | 2012-05-09 | 2019-09-11 | Apple Inc. | Device, method and graphical user interface for providing tactile feedback for operations performed in a user interface |
JP2015519656A (ja) | 2012-05-09 | 2015-07-09 | アップル インコーポレイテッド | ユーザインタフェースオブジェクトを移動し、ドロップするためのデバイス、方法及びグラフィカルユーザインタフェース |
CN104471521B (zh) | 2012-05-09 | 2018-10-23 | 苹果公司 | 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面 |
CN104487928B (zh) | 2012-05-09 | 2018-07-06 | 苹果公司 | 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面 |
US8570296B2 (en) | 2012-05-16 | 2013-10-29 | Immersion Corporation | System and method for display of multiple data channels on a single haptic display |
US20130311881A1 (en) * | 2012-05-16 | 2013-11-21 | Immersion Corporation | Systems and Methods for Haptically Enabled Metadata |
US9313290B2 (en) * | 2012-05-17 | 2016-04-12 | Ncr Corporation | Data transfer between devices |
US10013082B2 (en) | 2012-06-05 | 2018-07-03 | Stuart Schecter, LLC | Operating system with haptic interface for minimally invasive, hand-held surgical instrument |
WO2014006709A1 (ja) * | 2012-07-04 | 2014-01-09 | 株式会社Hugg | メッセージングシステムおよびメッセージ送信方法 |
US9030428B2 (en) * | 2012-07-11 | 2015-05-12 | Immersion Corporation | Generating haptic effects for dynamic events |
EP2688321B1 (en) * | 2012-07-18 | 2015-06-24 | BlackBerry Limited | Method and apparatus for motion based ping during chat mode |
US8914453B2 (en) * | 2012-07-18 | 2014-12-16 | Blackberry Limited | Method and apparatus for motion based ping during chat mode |
GB201215283D0 (en) * | 2012-08-28 | 2012-10-10 | Microsoft Corp | Searching at a user device |
US9116546B2 (en) * | 2012-08-29 | 2015-08-25 | Immersion Corporation | System for haptically representing sensor input |
CN106951169B (zh) * | 2012-09-03 | 2021-05-18 | 联想(北京)有限公司 | 电子设备及其信息处理方法 |
CN103677242A (zh) * | 2012-09-24 | 2014-03-26 | 联想(北京)有限公司 | 一种反馈模式确定的方法及电子设备 |
US8842969B2 (en) * | 2012-09-28 | 2014-09-23 | Intel Corporation | Haptic playback of video |
US9430991B2 (en) * | 2012-10-02 | 2016-08-30 | Futurewei Technologies, Inc. | User interface display composition with device sensor/state based graphical effects |
US20150212647A1 (en) | 2012-10-10 | 2015-07-30 | Samsung Electronics Co., Ltd. | Head mounted display apparatus and method for displaying a content |
KR102063952B1 (ko) * | 2012-10-10 | 2020-01-08 | 삼성전자주식회사 | 멀티 디스플레이 장치 및 멀티 디스플레이 방법 |
US10168775B2 (en) * | 2012-10-10 | 2019-01-01 | Innovative Devices Inc. | Wearable motion sensing computing interface |
CN103777797B (zh) * | 2012-10-23 | 2017-06-27 | 联想(北京)有限公司 | 一种信息处理的方法及电子设备 |
US9218075B2 (en) * | 2012-11-01 | 2015-12-22 | Immersion Corporation | Haptically-enabled system with braking |
KR20140068410A (ko) * | 2012-11-28 | 2014-06-09 | 삼성전자주식회사 | 물리 엔진 기반의 사용자 인터페이스를 제공하는 방법 및 그 전자 장치 |
WO2014084374A1 (ja) * | 2012-11-30 | 2014-06-05 | 日本電気株式会社 | 通信システム、通信方法、通信装置、プログラム、及び記録媒体 |
CN104838352B (zh) * | 2012-12-07 | 2018-05-08 | 优特设备有限公司 | 在多表面装置中的动作初始化 |
US9046926B2 (en) * | 2012-12-17 | 2015-06-02 | International Business Machines Corporation | System and method of dynamically generating a frequency pattern to realize the sense of touch in a computing device |
CN103902081B (zh) * | 2012-12-27 | 2018-04-27 | 联想(北京)有限公司 | 触感反馈的方法及电子设备 |
KR102000253B1 (ko) | 2012-12-29 | 2019-07-16 | 애플 인크. | 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
CN105144057B (zh) | 2012-12-29 | 2019-05-17 | 苹果公司 | 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面 |
AU2013368441B2 (en) | 2012-12-29 | 2016-04-14 | Apple Inc. | Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture |
CN107831991B (zh) | 2012-12-29 | 2020-11-27 | 苹果公司 | 用于确定是滚动还是选择内容的设备、方法和图形用户界面 |
US9501201B2 (en) * | 2013-02-18 | 2016-11-22 | Ebay Inc. | System and method of modifying a user experience based on physical environment |
US9202352B2 (en) * | 2013-03-11 | 2015-12-01 | Immersion Corporation | Automatic haptic effect adjustment system |
US9866924B2 (en) * | 2013-03-14 | 2018-01-09 | Immersion Corporation | Systems and methods for enhanced television interaction |
US9547366B2 (en) * | 2013-03-14 | 2017-01-17 | Immersion Corporation | Systems and methods for haptic and gesture-driven paper simulation |
US9189098B2 (en) | 2013-03-14 | 2015-11-17 | Immersion Corporation | Systems and methods for syncing haptic feedback calls |
FR3003362B1 (fr) * | 2013-03-14 | 2015-04-03 | Univ Compiegne Tech | Procede et systeme de communication tactile |
US9041647B2 (en) * | 2013-03-15 | 2015-05-26 | Immersion Corporation | User interface device provided with surface haptic sensations |
US20140267142A1 (en) * | 2013-03-15 | 2014-09-18 | Qualcomm Incorporated | Extending interactive inputs via sensor fusion |
JP2014194363A (ja) * | 2013-03-28 | 2014-10-09 | Fujitsu Ltd | 誘導装置、誘導方法、及びプログラム |
JP6354750B2 (ja) * | 2013-04-01 | 2018-07-11 | 日本電気株式会社 | コミュニティサービスシステム及びコミュニティサービス方法 |
CN103220424B (zh) * | 2013-04-10 | 2016-03-02 | 广东欧珀移动通信有限公司 | 移动终端的信息发送方法及装置 |
US9939900B2 (en) * | 2013-04-26 | 2018-04-10 | Immersion Corporation | System and method for a haptically-enabled deformable surface |
EP2989525B1 (en) * | 2013-04-26 | 2019-09-25 | Immersion Corporation | Simulation of tangible user interface interactions and gestures using array of haptic cells |
WO2014190293A2 (en) * | 2013-05-24 | 2014-11-27 | New York University | Haptic force-feedback for computing interfaces |
US9454251B1 (en) | 2013-06-26 | 2016-09-27 | Google Inc. | Methods, systems, and media for controlling a remote device using a touch screen of a mobile device in a display inhibited state |
US9729730B2 (en) | 2013-07-02 | 2017-08-08 | Immersion Corporation | Systems and methods for perceptual normalization of haptic effects |
US20150043311A1 (en) * | 2013-08-09 | 2015-02-12 | Your Voice S.P.A. | Execution of commands in an electronic device |
US10037081B2 (en) | 2013-08-12 | 2018-07-31 | Immersion Corporation | Systems and methods for haptic fiddling |
US10325457B2 (en) | 2013-08-29 | 2019-06-18 | Sony Corporation | Wristband-type information processing device, information processing system, and information processing method |
US9619980B2 (en) | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
US9576445B2 (en) | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
US9443401B2 (en) | 2013-09-06 | 2016-09-13 | Immersion Corporation | Automatic remote sensing and haptic conversion system |
US9652945B2 (en) | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
EP3049882A1 (en) * | 2013-09-26 | 2016-08-03 | Longsand Limited | Device notifications |
US9888333B2 (en) * | 2013-11-11 | 2018-02-06 | Google Technology Holdings LLC | Three-dimensional audio rendering techniques |
US9639158B2 (en) * | 2013-11-26 | 2017-05-02 | Immersion Corporation | Systems and methods for generating friction and vibrotactile effects |
KR102026731B1 (ko) * | 2013-12-17 | 2019-09-30 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
US9374688B2 (en) * | 2013-11-28 | 2016-06-21 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
US9996973B2 (en) * | 2013-11-30 | 2018-06-12 | Empire Technology Development Llc | Augmented reality objects based on biometric feedback |
CN103713822B (zh) * | 2013-12-27 | 2017-09-29 | 联想(北京)有限公司 | 一种信息处理方法及第一电子设备 |
CN103645833B (zh) * | 2013-12-27 | 2017-06-27 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
JP6664069B2 (ja) * | 2013-12-31 | 2020-03-13 | イマージョン コーポレーションImmersion Corporation | 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法 |
JP6289100B2 (ja) * | 2014-01-06 | 2018-03-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10437341B2 (en) * | 2014-01-16 | 2019-10-08 | Immersion Corporation | Systems and methods for user generated content authoring |
CN103885708A (zh) * | 2014-02-28 | 2014-06-25 | 宇龙计算机通信科技(深圳)有限公司 | 触觉交互的方法及系统 |
CN104902064A (zh) * | 2014-03-07 | 2015-09-09 | 宇龙计算机通信科技(深圳)有限公司 | 一种短消息显示系统、方法及终端 |
US10067566B2 (en) | 2014-03-19 | 2018-09-04 | Immersion Corporation | Systems and methods for a shared haptic experience |
WO2015143124A1 (en) * | 2014-03-21 | 2015-09-24 | Immersion Corporation | Systems and methods for haptically-enabled curved devices |
US9471144B2 (en) | 2014-03-31 | 2016-10-18 | Gift Card Impressions, LLC | System and method for digital delivery of reveal videos for online gifting |
US10437447B1 (en) * | 2014-03-31 | 2019-10-08 | Amazon Technologies, Inc. | Magnet based physical model user interface control |
US9606710B1 (en) | 2014-03-31 | 2017-03-28 | Amazon Technologies, Inc. | Configuring movement-based user interface control |
US9104237B1 (en) * | 2014-03-31 | 2015-08-11 | Gift Card Impressions, LLC | System and method for digital delivery of reveal videos for online gifting |
US20150331550A1 (en) * | 2014-05-15 | 2015-11-19 | Narvii Inc. | Systems and methods implementing user interface objects |
KR102125207B1 (ko) * | 2014-05-31 | 2020-06-22 | 삼성전자 주식회사 | 전자 장치 및 애플리케이션 실행 방법 |
WO2016007426A1 (en) | 2014-07-07 | 2016-01-14 | Immersion Corporation | Second screen haptics |
US9600083B2 (en) * | 2014-07-15 | 2017-03-21 | Immersion Corporation | Systems and methods to generate haptic feedback for skin-mediated interactions |
WO2016009016A1 (en) | 2014-07-17 | 2016-01-21 | Koninklijke Philips N.V. | Method of obtaining gesture zone definition data for a control system based on user input |
USD763885S1 (en) * | 2014-07-24 | 2016-08-16 | Beijing Qihoo Technology Co. Ltd | Display screen with a graphical user interface |
AU2015306091B2 (en) * | 2014-08-20 | 2021-04-01 | Touchgram Pty Ltd | A system and a method for sending a touch message |
US9690381B2 (en) | 2014-08-21 | 2017-06-27 | Immersion Corporation | Systems and methods for shape input and output for a haptically-enabled deformable surface |
US10795567B2 (en) * | 2014-08-22 | 2020-10-06 | Zoho Corporation Private Limited | Multimedia applications and user interfaces |
DE202015006142U1 (de) | 2014-09-02 | 2015-12-09 | Apple Inc. | Elektronische Touch-Kommunikation |
WO2016036427A1 (en) * | 2014-09-02 | 2016-03-10 | Apple Inc. | Electronic device with rotatable input mechanism |
KR102096146B1 (ko) | 2014-09-02 | 2020-04-28 | 애플 인크. | 가변 햅틱 출력을 위한 시맨틱 프레임워크 |
CN105396289A (zh) * | 2014-09-15 | 2016-03-16 | 掌赢信息科技(上海)有限公司 | 实时游戏和多媒体会话过程中实现特效的方法及装置 |
JP5848811B2 (ja) * | 2014-10-01 | 2016-01-27 | シャープ株式会社 | 送信機、受信機、およびプログラム |
CN107850953B (zh) * | 2014-11-05 | 2021-08-31 | 威尔乌集团 | 用于在虚拟现实环境中引导用户的感官反馈系统和方法 |
US9535550B2 (en) | 2014-11-25 | 2017-01-03 | Immersion Corporation | Systems and methods for deformation-based haptic effects |
EP3226151A4 (en) * | 2014-11-26 | 2018-07-04 | Sony Corporation | Information processing device, information processing method, and program |
US9971406B2 (en) | 2014-12-05 | 2018-05-15 | International Business Machines Corporation | Visually enhanced tactile feedback |
US9658693B2 (en) * | 2014-12-19 | 2017-05-23 | Immersion Corporation | Systems and methods for haptically-enabled interactions with objects |
GB2533572A (en) * | 2014-12-22 | 2016-06-29 | Nokia Technologies Oy | Haptic output methods and devices |
US9478109B2 (en) * | 2014-12-29 | 2016-10-25 | Immersion Corporation | Virtual sensor in a virtual environment |
CN115048007B (zh) * | 2014-12-31 | 2024-05-07 | 创新先进技术有限公司 | 调整界面操作图标分布范围的装置、方法及触摸屏设备 |
KR20160088081A (ko) * | 2015-01-15 | 2016-07-25 | 삼성전자주식회사 | 영상 촬영 기기의 햅틱 인터페이스 및 이의 제어 방법 |
US9632664B2 (en) | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
US10095396B2 (en) | 2015-03-08 | 2018-10-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
US9645732B2 (en) * | 2015-03-08 | 2017-05-09 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
US10048757B2 (en) | 2015-03-08 | 2018-08-14 | Apple Inc. | Devices and methods for controlling media presentation |
JP6133344B2 (ja) * | 2015-03-10 | 2017-05-24 | 株式会社コロプラ | ヘッドマウントディスプレイへ表示するためのユーザインタフェース表示方法、及びプログラム |
US9639184B2 (en) | 2015-03-19 | 2017-05-02 | Apple Inc. | Touch input cursor manipulation |
US9571624B2 (en) * | 2015-03-24 | 2017-02-14 | Intel IP Corporation | Apparatus, system and method of terminating a docking session between a mobile device and a docking device |
US10613629B2 (en) | 2015-03-27 | 2020-04-07 | Chad Laurendeau | System and method for force feedback interface devices |
US20170045981A1 (en) | 2015-08-10 | 2017-02-16 | Apple Inc. | Devices and Methods for Processing Touch Inputs Based on Their Intensities |
JP2018513455A (ja) | 2015-04-21 | 2018-05-24 | イマージョン コーポレーションImmersion Corporation | エッチング入力の動的表現 |
US9860451B2 (en) | 2015-06-07 | 2018-01-02 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
US10200598B2 (en) | 2015-06-07 | 2019-02-05 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
US9891811B2 (en) | 2015-06-07 | 2018-02-13 | Apple Inc. | Devices and methods for navigating between user interfaces |
US10346030B2 (en) | 2015-06-07 | 2019-07-09 | Apple Inc. | Devices and methods for navigating between user interfaces |
US9830048B2 (en) | 2015-06-07 | 2017-11-28 | Apple Inc. | Devices and methods for processing touch inputs with instructions in a web page |
JP5945621B2 (ja) * | 2015-06-15 | 2016-07-05 | Kddi株式会社 | 押圧操作で動作状態を切り替え可能なユーザインタフェース装置、動作状態切り替え方法及びプログラム |
WO2016208099A1 (ja) * | 2015-06-24 | 2016-12-29 | パナソニックIpマネジメント株式会社 | 情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム |
US9473625B1 (en) * | 2015-06-24 | 2016-10-18 | Mast Mobile, Inc. | Outgoing call management in a communication environment with unified communication interfaces |
GB2540206B (en) * | 2015-07-10 | 2018-02-07 | Advanced Risc Mach Ltd | Apparatus and method for executing instruction using range information associated with a pointer |
US10248308B2 (en) | 2015-08-10 | 2019-04-02 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures |
US9880735B2 (en) | 2015-08-10 | 2018-01-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
US10235035B2 (en) | 2015-08-10 | 2019-03-19 | Apple Inc. | Devices, methods, and graphical user interfaces for content navigation and manipulation |
US10416800B2 (en) | 2015-08-10 | 2019-09-17 | Apple Inc. | Devices, methods, and graphical user interfaces for adjusting user interface objects |
US10007304B2 (en) * | 2015-08-20 | 2018-06-26 | Mediatek Inc. | Portable device and related vibration detecting method |
US10484512B2 (en) | 2015-08-31 | 2019-11-19 | Ayla Networks, Inc. | Management of multi-radio gateway device using virtual gateway device |
US10404832B2 (en) * | 2015-08-31 | 2019-09-03 | Ayla Networks, Inc. | Management of gateway device using virtual gateway device |
US10248207B2 (en) | 2015-10-28 | 2019-04-02 | Capital One Services, Llc | Systems and methods for providing variable haptic feedback |
US10752262B2 (en) * | 2015-10-29 | 2020-08-25 | Ford Global Technologies, Llc | In-vehicle haptic output |
US10587542B2 (en) | 2015-11-13 | 2020-03-10 | Sony Corporation | Communication system and storage medium for transmitting physical expression information |
USD809589S1 (en) * | 2015-11-18 | 2018-02-06 | Paypal, Inc. | Portable user device |
US10102722B2 (en) | 2015-12-18 | 2018-10-16 | Immersion Corporation | Wearable article having an actuator that performs non-haptic and haptic operations |
US9679547B1 (en) * | 2016-04-04 | 2017-06-13 | Disney Enterprises, Inc. | Augmented reality music composition |
WO2017183821A1 (ko) * | 2016-04-21 | 2017-10-26 | 주식회사 씨케이머티리얼즈랩 | 촉각 메시지 제공 방법 및 촉각 메시지 제공 장치 |
KR101928550B1 (ko) | 2016-04-21 | 2018-12-12 | 주식회사 씨케이머티리얼즈랩 | 촉각 메시지 제공 방법 및 촉각 메시지 제공 장치 |
US9805514B1 (en) * | 2016-04-21 | 2017-10-31 | Microsoft Technology Licensing, Llc | Dynamic haptic retargeting |
EP3242187B1 (en) | 2016-05-04 | 2018-11-21 | Vestel Elektronik Sanayi ve Ticaret A.S. | System and method for simulating a reaction force from a virtual object |
US11112963B2 (en) | 2016-05-18 | 2021-09-07 | Apple Inc. | Devices, methods, and graphical user interfaces for messaging |
KR20240023200A (ko) | 2016-05-18 | 2024-02-20 | 애플 인크. | 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용 |
US9983675B2 (en) | 2016-06-10 | 2018-05-29 | Immersion Corporation | Systems and methods for monitoring insulation integrity for electrostatic friction |
DK179823B1 (en) | 2016-06-12 | 2019-07-12 | Apple Inc. | DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK |
DK201670737A1 (en) | 2016-06-12 | 2018-01-22 | Apple Inc | Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback |
US10368208B2 (en) | 2016-06-12 | 2019-07-30 | Apple Inc. | Layers in messaging applications |
US10073525B2 (en) | 2016-06-16 | 2018-09-11 | Immersion Corporation | Systems and methods for a low profile haptic actuator |
US10401962B2 (en) | 2016-06-21 | 2019-09-03 | Immersion Corporation | Haptically enabled overlay for a pressure sensitive surface |
US10004991B2 (en) | 2016-06-28 | 2018-06-26 | Hothead Games Inc. | Systems and methods for customized camera views in virtualized environments |
TWI677816B (zh) * | 2016-08-11 | 2019-11-21 | 國立臺灣師範大學 | 傳送虛擬物體的方法及電子系統 |
JP6401758B2 (ja) * | 2016-08-25 | 2018-10-10 | 株式会社ファセテラピー | 触質コンテンツ生成装置、触質コンテンツ生成方法および触質コンテンツ利用機器 |
DK201670720A1 (en) | 2016-09-06 | 2018-03-26 | Apple Inc | Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs |
DK179278B1 (en) | 2016-09-06 | 2018-03-26 | Apple Inc | Devices, methods and graphical user interfaces for haptic mixing |
US10884502B2 (en) | 2016-11-23 | 2021-01-05 | Google Llc | Providing mediated social interactions |
WO2018105266A1 (ja) * | 2016-12-05 | 2018-06-14 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、および情報処理システム |
US20180188905A1 (en) * | 2017-01-04 | 2018-07-05 | Google Inc. | Generating messaging streams with animated objects |
CN107015639B (zh) * | 2017-01-24 | 2020-02-04 | 瑞声科技(新加坡)有限公司 | 触觉反馈的动态范围控制方法、触觉反馈系统及电子终端 |
WO2018152778A1 (en) * | 2017-02-24 | 2018-08-30 | Immersion Corporation | Virtual affective touch |
USD868080S1 (en) * | 2017-03-27 | 2019-11-26 | Sony Corporation | Display panel or screen with an animated graphical user interface |
US10732714B2 (en) | 2017-05-08 | 2020-08-04 | Cirrus Logic, Inc. | Integrated haptic system |
US10845955B2 (en) | 2017-05-15 | 2020-11-24 | Apple Inc. | Displaying a scrollable list of affordances associated with physical activities |
DK201770372A1 (en) | 2017-05-16 | 2019-01-08 | Apple Inc. | TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES |
JP6991754B2 (ja) * | 2017-07-03 | 2022-01-13 | 株式会社ミツトヨ | 端末装置およびプログラム |
WO2019011396A1 (en) * | 2017-07-10 | 2019-01-17 | Telefonaktiebolaget Lm Ericsson (Publ) | IMPROVED TRANSMISSION OF HAPTIC ENTRY |
US10915174B1 (en) * | 2017-07-20 | 2021-02-09 | Apple Inc. | Electronic devices with directional haptic output |
US11259121B2 (en) | 2017-07-21 | 2022-02-22 | Cirrus Logic, Inc. | Surface speaker |
US10455320B2 (en) | 2017-08-02 | 2019-10-22 | Body Beats, Llc | System, method and apparatus for translating, converting and/or transforming audio energy into haptic and/or visual representation |
US20190163271A1 (en) * | 2017-11-27 | 2019-05-30 | Immersion Corporation | Systems and methods for providing haptic feedback according to tilt-based inputs |
CN108109186B (zh) * | 2017-11-30 | 2021-06-11 | 维沃移动通信有限公司 | 一种视频文件处理方法、装置及移动终端 |
US10818152B2 (en) * | 2018-01-15 | 2020-10-27 | Universal City Studios Llc | Interactive systems and methods with feedback devices |
US10620704B2 (en) | 2018-01-19 | 2020-04-14 | Cirrus Logic, Inc. | Haptic output systems |
JP1618150S (ko) * | 2018-02-09 | 2018-11-19 | ||
DK180246B1 (en) | 2018-03-12 | 2020-09-11 | Apple Inc | User interfaces for health monitoring |
US11139767B2 (en) | 2018-03-22 | 2021-10-05 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
US10832537B2 (en) | 2018-04-04 | 2020-11-10 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
EP3563937B1 (en) * | 2018-05-02 | 2021-12-22 | Goodix Technology (HK) Company Limited | Haptic actuator controller |
US11069206B2 (en) | 2018-05-04 | 2021-07-20 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
US11317833B2 (en) | 2018-05-07 | 2022-05-03 | Apple Inc. | Displaying user interfaces associated with physical activities |
DK179992B1 (en) | 2018-05-07 | 2020-01-14 | Apple Inc. | DISPLAY OF USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES |
US11504201B2 (en) | 2018-05-31 | 2022-11-22 | Covidien Lp | Haptic touch feedback surgical device for palpating tissue |
US10649532B2 (en) * | 2018-06-15 | 2020-05-12 | Immersion Corporation | Systems and methods for multi-rate control of haptic effects with sensor fusion |
KR102175566B1 (ko) * | 2018-07-19 | 2020-11-06 | 주식회사 어플라이 | 사용자 장치 간 통신을 통하여 사용자의 심장박동을 모사하는 장치 및 방법 |
WO2020017813A1 (ko) * | 2018-07-19 | 2020-01-23 | 주식회사 어플라이 | 사용자 장치 간 통신을 통하여 사용자의 심장박동을 모사하는 장치 및 방법 |
WO2020028826A1 (en) * | 2018-08-02 | 2020-02-06 | Firefly Dimension, Inc. | System and method for human interaction with virtual objects |
US11269415B2 (en) | 2018-08-14 | 2022-03-08 | Cirrus Logic, Inc. | Haptic output systems |
KR20200025817A (ko) | 2018-08-31 | 2020-03-10 | (주)뉴빌리티 | 비언어 기반의 정보 전달 방법 및 장치 |
GB201817495D0 (en) | 2018-10-26 | 2018-12-12 | Cirrus Logic Int Semiconductor Ltd | A force sensing system and method |
EP3650960A1 (fr) * | 2018-11-07 | 2020-05-13 | Tissot S.A. | Procede de diffusion d'un message par une montre |
KR20200052540A (ko) * | 2018-11-07 | 2020-05-15 | (주)리얼감 | 밀도를 이용한 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체 |
USD912699S1 (en) * | 2018-11-15 | 2021-03-09 | Biosense Webster (Israel) Ltd. | Display screen or portion thereof with icon |
US10834543B2 (en) * | 2018-11-26 | 2020-11-10 | International Business Machines Corporation | Creating a social group with mobile phone vibration |
US20200192480A1 (en) * | 2018-12-18 | 2020-06-18 | Immersion Corporation | Systems and methods for providing haptic effects based on a user's motion or environment |
KR20210111821A (ko) * | 2019-02-08 | 2021-09-13 | 애플 인크. | 3 차원 콘텐츠 내에서의 객체 위치설정 및 이동 |
US11644370B2 (en) | 2019-03-29 | 2023-05-09 | Cirrus Logic, Inc. | Force sensing with an electromagnetic load |
US10955955B2 (en) | 2019-03-29 | 2021-03-23 | Cirrus Logic, Inc. | Controller for use in a device comprising force sensors |
US12035445B2 (en) | 2019-03-29 | 2024-07-09 | Cirrus Logic Inc. | Resonant tracking of an electromagnetic load |
US11509292B2 (en) | 2019-03-29 | 2022-11-22 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter |
US10828672B2 (en) | 2019-03-29 | 2020-11-10 | Cirrus Logic, Inc. | Driver circuitry |
US10726683B1 (en) | 2019-03-29 | 2020-07-28 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus |
US10992297B2 (en) | 2019-03-29 | 2021-04-27 | Cirrus Logic, Inc. | Device comprising force sensors |
US11283337B2 (en) | 2019-03-29 | 2022-03-22 | Cirrus Logic, Inc. | Methods and systems for improving transducer dynamics |
US11234077B2 (en) | 2019-06-01 | 2022-01-25 | Apple Inc. | User interfaces for managing audio exposure |
US11228835B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | User interfaces for managing audio exposure |
US11152100B2 (en) | 2019-06-01 | 2021-10-19 | Apple Inc. | Health application user interfaces |
US11209957B2 (en) | 2019-06-01 | 2021-12-28 | Apple Inc. | User interfaces for cycle tracking |
DK201970534A1 (en) | 2019-06-01 | 2021-02-16 | Apple Inc | User interfaces for monitoring noise exposure levels |
US11150733B2 (en) | 2019-06-07 | 2021-10-19 | Cirrus Logic, Inc. | Methods and apparatuses for providing a haptic output signal to a haptic actuator |
US10976825B2 (en) | 2019-06-07 | 2021-04-13 | Cirrus Logic, Inc. | Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system |
GB2604215B (en) | 2019-06-21 | 2024-01-31 | Cirrus Logic Int Semiconductor Ltd | A method and apparatus for configuring a plurality of virtual buttons on a device |
US10560563B1 (en) * | 2019-06-25 | 2020-02-11 | Bouton Sms Inc. | Haptic device |
US12002588B2 (en) | 2019-07-17 | 2024-06-04 | Apple Inc. | Health event logging and coaching user interfaces |
JP2021018546A (ja) * | 2019-07-18 | 2021-02-15 | トヨタ自動車株式会社 | 車両用コミュニケーション装置および車両用コミュニケーションシステム |
CN110496392B (zh) * | 2019-08-23 | 2020-12-01 | 腾讯科技(深圳)有限公司 | 虚拟对象的控制方法、装置、终端及存储介质 |
EP4004702A1 (en) | 2019-09-09 | 2022-06-01 | Apple Inc. | Research study user interfaces |
US11408787B2 (en) | 2019-10-15 | 2022-08-09 | Cirrus Logic, Inc. | Control methods for a force sensor system |
US11380175B2 (en) | 2019-10-24 | 2022-07-05 | Cirrus Logic, Inc. | Reproducibility of haptic waveform |
US11545951B2 (en) | 2019-12-06 | 2023-01-03 | Cirrus Logic, Inc. | Methods and systems for detecting and managing amplifier instability |
JP7490967B2 (ja) * | 2020-01-27 | 2024-05-28 | 富士通株式会社 | 表示制御プログラム、表示制御方法、及び表示制御装置 |
WO2021183122A1 (en) | 2020-03-11 | 2021-09-16 | Google Llc | Controlling haptic response to contact |
WO2021183132A1 (en) | 2020-03-12 | 2021-09-16 | Google Llc | Controlling haptic feedback based on proximity of contact to sensor |
WO2021193421A1 (ja) * | 2020-03-27 | 2021-09-30 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム及び情報処理システム |
US11960651B2 (en) * | 2020-03-30 | 2024-04-16 | Snap Inc. | Gesture-based shared AR session creation |
US11662821B2 (en) | 2020-04-16 | 2023-05-30 | Cirrus Logic, Inc. | In-situ monitoring, calibration, and testing of a haptic actuator |
US20210326594A1 (en) * | 2020-04-17 | 2021-10-21 | James Patrick COSTELLO | Computer-generated supplemental content for video |
DK181037B1 (en) | 2020-06-02 | 2022-10-10 | Apple Inc | User interfaces for health applications |
US11747857B2 (en) | 2020-06-02 | 2023-09-05 | Futurisks, LLC | Wearable security device and charging band, system and method |
US11698710B2 (en) | 2020-08-31 | 2023-07-11 | Apple Inc. | User interfaces for logging user activities |
WO2022054323A1 (ja) * | 2020-09-09 | 2022-03-17 | ソニーグループ株式会社 | 触覚提示装置、触覚提示システム、触覚提示制御方法及びプログラム |
US11482002B1 (en) * | 2020-10-16 | 2022-10-25 | Splunk Inc. | Codeless anchor detection for detectable features in an environment |
EP4272059A1 (en) | 2020-12-31 | 2023-11-08 | Snap Inc. | Electronic communication interface with haptic feedback response |
US11989348B2 (en) | 2020-12-31 | 2024-05-21 | Snap Inc. | Media content items with haptic feedback augmentations |
US20220206584A1 (en) * | 2020-12-31 | 2022-06-30 | Snap Inc. | Communication interface with haptic feedback response |
CN116670635A (zh) | 2020-12-31 | 2023-08-29 | 斯纳普公司 | 具有触觉反馈的实时视频通信界面 |
JP7340556B2 (ja) | 2021-02-26 | 2023-09-07 | 任天堂株式会社 | 振動制御システム |
US12050729B2 (en) * | 2021-03-31 | 2024-07-30 | Snap Inc. | Real-time communication interface with haptic and audio feedback response |
JP7503022B2 (ja) | 2021-04-20 | 2024-06-19 | Kddi株式会社 | 容器内の液体の動きを触覚としてユーザに伝達する携帯機器、プログラム及び方法 |
US11933822B2 (en) | 2021-06-16 | 2024-03-19 | Cirrus Logic Inc. | Methods and systems for in-system estimation of actuator parameters |
US11765499B2 (en) | 2021-06-22 | 2023-09-19 | Cirrus Logic Inc. | Methods and systems for managing mixed mode electromechanical actuator drive |
US11908310B2 (en) | 2021-06-22 | 2024-02-20 | Cirrus Logic Inc. | Methods and systems for detecting and managing unexpected spectral content in an amplifier system |
IL309800A (en) | 2021-06-28 | 2024-02-01 | Distal Reality LLC | Haptic communication techniques |
CN114296597A (zh) * | 2021-12-01 | 2022-04-08 | 腾讯科技(深圳)有限公司 | 虚拟场景中的对象交互方法、装置、设备及存储介质 |
US11552649B1 (en) | 2021-12-03 | 2023-01-10 | Cirrus Logic, Inc. | Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths |
WO2023108131A1 (en) * | 2021-12-10 | 2023-06-15 | Shaw Industries Group, Inc. | Visceral surface covering simulator and method of use |
WO2024034045A1 (ja) * | 2022-08-10 | 2024-02-15 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理システム |
WO2024112588A1 (en) * | 2022-11-23 | 2024-05-30 | Music Makes Us Feels, Llc | Multimedia messaging apparatuses and methods for sending multimedia messages |
US20240171534A1 (en) | 2022-11-23 | 2024-05-23 | Music Makes Us Feels, Llc | Multimedia messaging apparatuses and methods for sending multimedia messages |
Family Cites Families (220)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2001A (en) * | 1841-03-12 | Sawmill | ||
CH593295A5 (ko) | 1972-04-13 | 1977-11-30 | Ciba Geigy Ag | |
JPS5410520A (en) | 1977-06-27 | 1979-01-26 | Seiji Kajimoto | Method of making roof |
JPS5690726A (en) | 1979-12-20 | 1981-07-23 | Aisin Warner Ltd | Transfer device for four wheel drive |
JPS5793426A (en) | 1980-11-29 | 1982-06-10 | Toshiba Corp | Key input device |
DE3333538C2 (de) * | 1983-09-16 | 1987-02-05 | Bandag Inc., Muscatine, Ia. | Verfahren zum Herstellen von auf Oberflächen von Gegenständen haftenden Überzügen |
US4873623A (en) * | 1985-04-30 | 1989-10-10 | Prometrix Corporation | Process control interface with simultaneously displayed three level dynamic menu |
JPH04249835A (ja) | 1990-12-28 | 1992-09-04 | Nec Corp | 熱伝導冷却形マイクロ波管装置 |
JP3085481B2 (ja) * | 1991-09-28 | 2000-09-11 | 株式会社ニコン | 反射屈折縮小投影光学系、及び該光学系を備えた露光装置 |
JP2827612B2 (ja) | 1991-10-07 | 1998-11-25 | 富士通株式会社 | タッチパネル装置およびタッチパネル装置におけるオブジェクトの表示方法。 |
JPH05152054A (ja) | 1991-11-29 | 1993-06-18 | Tokyo Tekko Kk | 除電装置用放電電極とその製造方法 |
JP2502914B2 (ja) | 1992-07-31 | 1996-05-29 | インターナショナル・ビジネス・マシーンズ・コーポレイション | デ―タ転送方法及び装置 |
US6433771B1 (en) * | 1992-12-02 | 2002-08-13 | Cybernet Haptic Systems Corporation | Haptic device attribute control |
JPH06242886A (ja) | 1993-02-10 | 1994-09-02 | Canon Inc | 電子メールシステム |
US6903723B1 (en) * | 1995-03-27 | 2005-06-07 | Donald K. Forest | Data entry method and apparatus |
US5666499A (en) | 1995-08-04 | 1997-09-09 | Silicon Graphics, Inc. | Clickaround tool-based graphical interface with two cursors |
US5999168A (en) | 1995-09-27 | 1999-12-07 | Immersion Corporation | Haptic accelerator for force feedback computer peripherals |
US6374255B1 (en) * | 1996-05-21 | 2002-04-16 | Immersion Corporation | Haptic authoring |
JPH10240434A (ja) | 1997-02-27 | 1998-09-11 | Matsushita Electric Ind Co Ltd | コマンドメニュー選択方法 |
JPH10254344A (ja) * | 1997-03-14 | 1998-09-25 | Atr Chinou Eizo Tsushin Kenkyusho:Kk | 協調物体操作装置 |
JPH1115600A (ja) | 1997-04-28 | 1999-01-22 | Matsushita Electric Ind Co Ltd | 一方の端末に作用する物理量も送信し受信画像を加工することのできる通信端末及びそれに供する送信端末並びに受信端末 |
US6522417B1 (en) * | 1997-04-28 | 2003-02-18 | Matsushita Electric Industrial Co., Ltd. | Communication terminal device that processes received images and transmits physical quantities that affect the receiving communication terminal device |
JPH10341253A (ja) | 1997-06-05 | 1998-12-22 | Rikuruuto:Kk | 宛先及び発信者を特定しない電子メールを送受信する電子メールクライアント装置とサーバ装置、及びそれらを接続してなる電子メールシステム |
JP3655438B2 (ja) | 1997-07-17 | 2005-06-02 | 任天堂株式会社 | ビデオゲームシステム |
JP4149574B2 (ja) | 1997-08-29 | 2008-09-10 | ゼロックス コーポレイション | ユーザインターフェースサポートデバイス、及び情報入力方法 |
US6211861B1 (en) * | 1998-06-23 | 2001-04-03 | Immersion Corporation | Tactile mouse device |
JP3216084B2 (ja) * | 1998-01-19 | 2001-10-09 | 株式会社ネットワークコミュニティクリエイション | チャット画面表示方法 |
TW404846B (en) * | 1998-01-23 | 2000-09-11 | Koninkl Philips Electronics Nv | Multiperson tactual virtual environment |
US7844914B2 (en) | 2004-07-30 | 2010-11-30 | Apple Inc. | Activating virtual keys of a touch-screen virtual keyboard |
JPH11224152A (ja) * | 1998-02-05 | 1999-08-17 | Ricoh Co Ltd | 遠隔会議支援システム |
US6429846B2 (en) | 1998-06-23 | 2002-08-06 | Immersion Corporation | Haptic feedback for touchpads and other touch controls |
US6573883B1 (en) | 1998-06-24 | 2003-06-03 | Hewlett Packard Development Company, L.P. | Method and apparatus for controlling a computing device with gestures |
JP3449937B2 (ja) * | 1999-01-14 | 2003-09-22 | 日本電信電話株式会社 | パノラマ画像作成方法及びパノラマ画像を用いた周囲状況伝達方法並びにこれらの方法を記録した記録媒体 |
US20060279542A1 (en) * | 1999-02-12 | 2006-12-14 | Vega Vista, Inc. | Cellular phones and mobile devices with motion driven control |
JP4244784B2 (ja) * | 1999-03-17 | 2009-03-25 | 富士ゼロックス株式会社 | 駆動力発生装置 |
US6545669B1 (en) | 1999-03-26 | 2003-04-08 | Husam Kinawi | Object-drag continuity between discontinuous touch-screens |
JP2000325653A (ja) | 1999-05-19 | 2000-11-28 | Enix Corp | 携帯型ビデオゲーム装置およびプログラムを格納した記録媒体 |
JP4233000B2 (ja) * | 1999-07-05 | 2009-03-04 | 日本電信電話株式会社 | 仮想空間における風圧による力覚提示装置 |
US6496200B1 (en) * | 1999-11-02 | 2002-12-17 | Interval Research Corp. | Flexible variation of haptic interface resolution |
US6822635B2 (en) * | 2000-01-19 | 2004-11-23 | Immersion Corporation | Haptic interface for laptop computers and other portable devices |
JP2001350570A (ja) * | 2000-06-08 | 2001-12-21 | Yazaki Corp | 多機能スイッチ装置 |
US7159008B1 (en) | 2000-06-30 | 2007-01-02 | Immersion Corporation | Chat interface with haptic feedback functionality |
JP2002035431A (ja) * | 2000-07-28 | 2002-02-05 | Yokogawa Electric Corp | 遠隔ゲーム機 |
JP3949912B2 (ja) * | 2000-08-08 | 2007-07-25 | 株式会社エヌ・ティ・ティ・ドコモ | 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法 |
US6639582B1 (en) * | 2000-08-10 | 2003-10-28 | International Business Machines Corporation | System for combining haptic sensory-motor effects from two separate input devices into resultant sensory-motor effects and for feedback of such resultant effects between the input devices |
JP2002123840A (ja) * | 2000-10-17 | 2002-04-26 | Nippon Telegr & Teleph Corp <Ntt> | 臨場感型仮想現実提供処理方法および装置 |
JP2002140166A (ja) * | 2000-11-02 | 2002-05-17 | Kddi Corp | タッチパネルディスプレイに触れた指に触感を与えるデバイス |
US7128266B2 (en) | 2003-11-13 | 2006-10-31 | Metrologic Instruments. Inc. | Hand-supportable digital imaging-based bar code symbol reader supporting narrow-area and wide-area modes of illumination and image capture |
WO2002056272A1 (en) | 2000-12-27 | 2002-07-18 | Nokia Corporation | Portable vibrating device with adjustable amplitude |
AU2002249960A1 (en) | 2001-01-16 | 2002-07-30 | Immersion Corporation | Controlling haptic feedback for enhancing navigation in a graphical environment |
JP2002334097A (ja) * | 2001-02-09 | 2002-11-22 | Seiko Epson Corp | サービス提供システム、管理端末、移動体、サービス提供プログラム及びサービス提供方法 |
US7068294B2 (en) | 2001-03-30 | 2006-06-27 | Koninklijke Philips Electronics N.V. | One-to-one direct communication |
FI20010817A (fi) * | 2001-04-20 | 2003-02-14 | Nokia Corp | Menetelmä informaation esittämiseksi elektroniikkalaitteen näytöllä ja elektroniikkalaite |
US6963762B2 (en) | 2001-05-23 | 2005-11-08 | Nokia Corporation | Mobile phone using tactile icons |
US20040125120A1 (en) * | 2001-06-08 | 2004-07-01 | Michael Weiner | Method and apparatus for interactive transmission and reception of tactile information |
JP2002366852A (ja) * | 2001-06-11 | 2002-12-20 | Hiitoshinku:Kk | 情報提供方法、情報処理システム、情報取得プログラム、及び情報記憶媒体 |
GB0117543D0 (en) | 2001-07-18 | 2001-09-12 | Hewlett Packard Co | Document viewing device |
JP2003051027A (ja) * | 2001-08-03 | 2003-02-21 | Namco Ltd | ゲーム情報、情報記憶媒体、及びゲーム装置 |
JP2003078960A (ja) * | 2001-09-03 | 2003-03-14 | Ntt Power & Building Facilities Inc | 携帯端末装置によるメールシステム |
JP2003085590A (ja) * | 2001-09-13 | 2003-03-20 | Nippon Telegr & Teleph Corp <Ntt> | 3次元情報操作方法およびその装置,3次元情報操作プログラムならびにそのプログラムの記録媒体 |
US7032188B2 (en) | 2001-09-28 | 2006-04-18 | Nokia Corporation | Multilevel sorting and displaying of contextual objects |
US20030063067A1 (en) * | 2001-10-02 | 2003-04-03 | Ping-Yang Chuang | Real-time handwritten communication system |
US7225115B2 (en) * | 2001-10-04 | 2007-05-29 | Novint Technologies, Inc. | Coordinating haptics with visual images in a human-computer interface |
US7623114B2 (en) * | 2001-10-09 | 2009-11-24 | Immersion Corporation | Haptic feedback sensations based on audio output from computer devices |
NO315679B1 (no) | 2001-10-19 | 2003-10-06 | Dmates As | Rik kommunikasjon over internett |
FI115861B (fi) * | 2001-11-12 | 2005-07-29 | Myorigo Oy | Menetelmä ja laite palautteen generoimiseksi |
US8000724B1 (en) | 2001-11-14 | 2011-08-16 | Sprint Spectrum L.P. | Method and system for subnet-based transmission of mobile station location |
JP2003177864A (ja) | 2001-12-13 | 2003-06-27 | Fuji Photo Film Co Ltd | 情報端末システム |
JP2003188945A (ja) * | 2001-12-13 | 2003-07-04 | Samsung Yokohama Research Institute Co Ltd | 携帯端末装置 |
JP2003188946A (ja) | 2001-12-17 | 2003-07-04 | Nec Corp | 携帯電話端末及びその機能設定方法 |
JP3975480B2 (ja) * | 2001-12-20 | 2007-09-12 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
US7002553B2 (en) | 2001-12-27 | 2006-02-21 | Mark Shkolnikov | Active keyboard system for handheld electronic devices |
US7347815B2 (en) * | 2002-02-12 | 2008-03-25 | Razz Serbanescu | Method and apparatus for converting sense-perceived thoughts and actions into physical sensory stimulation |
US7542773B2 (en) | 2002-03-29 | 2009-06-02 | At&T Intellectual Property I, L.P. | Customized alerts for incoming data messages |
US6904823B2 (en) * | 2002-04-03 | 2005-06-14 | Immersion Corporation | Haptic shifting devices |
US20030211888A1 (en) | 2002-05-13 | 2003-11-13 | Interactive Telegames, Llc | Method and apparatus using insertably-removable auxiliary devices to play games over a communications link |
US7456823B2 (en) * | 2002-06-14 | 2008-11-25 | Sony Corporation | User interface apparatus and portable information apparatus |
US11275405B2 (en) * | 2005-03-04 | 2022-03-15 | Apple Inc. | Multi-functional hand-held device |
WO2004008411A1 (en) * | 2002-07-11 | 2004-01-22 | Nokia Corporation | Method and device for automatically changing a digital content on a mobile device according to sensor data |
JP3838173B2 (ja) | 2002-07-31 | 2006-10-25 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
JP3937982B2 (ja) * | 2002-08-29 | 2007-06-27 | ソニー株式会社 | 入出力装置および入出力装置を有する電子機器 |
KR20040025398A (ko) | 2002-09-19 | 2004-03-24 | 삼성전자주식회사 | 이동 통신 단말의 호착신 알림 방법 |
KR100459560B1 (ko) * | 2002-10-22 | 2004-12-03 | 삼성전자주식회사 | 인디케이터 아이콘을 이용하여 수신된 단문메시지의종류를 식별하기 위한 서비스를 제공하는 무선통신기기 및이를 이용한 인디케이터 아이콘 표시방법 |
JP4117352B2 (ja) | 2002-11-12 | 2008-07-16 | 株式会社ソニー・コンピュータエンタテインメント | ファイル処理方法とこの方法を利用可能な装置 |
JP2004177992A (ja) | 2002-11-22 | 2004-06-24 | Panasonic Mobile Communications Co Ltd | 風圧センサ付き携帯端末及び風圧センサ付き携帯端末により実行可能なプログラム |
US8059088B2 (en) | 2002-12-08 | 2011-11-15 | Immersion Corporation | Methods and systems for providing haptic messaging to handheld communication devices |
US8803795B2 (en) | 2002-12-08 | 2014-08-12 | Immersion Corporation | Haptic communication devices |
US8830161B2 (en) | 2002-12-08 | 2014-09-09 | Immersion Corporation | Methods and systems for providing a virtual touch haptic effect to handheld communication devices |
GB0229572D0 (en) | 2002-12-19 | 2003-01-22 | Cognima Ltd | Quality of service provisioning |
US7339574B2 (en) * | 2003-01-16 | 2008-03-04 | Korean Advanced Institute Of Science And Technology | Haptic mouse interface system for providing force and tactile feedbacks to user's fingers and arm |
JP3639280B2 (ja) | 2003-02-12 | 2005-04-20 | 任天堂株式会社 | ゲームメッセージ表示方法およびゲームプログラム |
JP2006518507A (ja) | 2003-02-19 | 2006-08-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ポータブル装置間でのコンテンツアイテムのアドホック共有のためのシステムと、そのインタラクション方法 |
JP2004289577A (ja) * | 2003-03-24 | 2004-10-14 | Kyocera Corp | 移動通信端末及び移動通信システム |
AU2003244894A1 (en) * | 2003-06-20 | 2005-01-04 | Nokia Corporation | Mobile device for mapping sms characters to e.g. sound, vibration, or graphical effects |
JP2005020563A (ja) | 2003-06-27 | 2005-01-20 | Casio Comput Co Ltd | 携帯端末及びプログラム |
US20070168118A1 (en) | 2003-06-27 | 2007-07-19 | Dirk Lappe | System for coordinating the routes of navigation devices |
KR20050004382A (ko) | 2003-07-02 | 2005-01-12 | 삼성전자주식회사 | 멀티 셔터 유닛을 구비한 스테퍼 설비 |
JP2005078310A (ja) * | 2003-08-29 | 2005-03-24 | Fuji Xerox Co Ltd | 触覚呈示装置、触覚呈示方法、及びプログラム |
GB0322489D0 (en) | 2003-09-25 | 2003-10-29 | British Telecomm | Haptics transmission systems |
JP4401728B2 (ja) | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 複合現実空間画像生成方法及び複合現実感システム |
JP4124092B2 (ja) | 2003-10-16 | 2008-07-23 | 沖電気工業株式会社 | 液晶表示装置の駆動回路 |
US7532196B2 (en) * | 2003-10-30 | 2009-05-12 | Microsoft Corporation | Distributed sensing techniques for mobile devices |
JP2007510234A (ja) | 2003-10-31 | 2007-04-19 | イオタ・ワイアレス・エルエルシー | 携帯デバイス用同時データ入力 |
US7752544B2 (en) * | 2003-11-17 | 2010-07-06 | International Business Machines Corporation | Method, system, and apparatus for remote interactions |
JP3953024B2 (ja) * | 2003-11-20 | 2007-08-01 | ソニー株式会社 | 感情算出装置及び感情算出方法、並びに携帯型通信装置 |
US7814419B2 (en) * | 2003-11-26 | 2010-10-12 | Nokia Corporation | Changing an orientation of a user interface via a course of motion |
KR20050054731A (ko) | 2003-12-05 | 2005-06-10 | 한국전자통신연구원 | 햅틱 시뮬레이션 시스템 및 그 시스템에서의 실시간 촉감지원 방법 |
US20060066569A1 (en) * | 2003-12-08 | 2006-03-30 | Immersion Corporation, A Delaware Corporation | Methods and systems for providing haptic messaging to handheld communication devices |
US7982711B2 (en) * | 2003-12-19 | 2011-07-19 | Immersion Corporation | Haptic profiling system and method |
US7791588B2 (en) | 2003-12-22 | 2010-09-07 | Immersion Corporation | System and method for mapping instructions associated with haptic feedback |
GB0405004D0 (en) | 2004-03-05 | 2004-04-07 | Marconi Comm Ltd | Improvements in or relating to a telecommunication network |
JP4325449B2 (ja) | 2004-03-19 | 2009-09-02 | ソニー株式会社 | 表示制御装置,表示制御方法,記録媒体 |
US7176888B2 (en) | 2004-03-23 | 2007-02-13 | Fujitsu Limited | Selective engagement of motion detection |
US7176886B2 (en) * | 2004-03-23 | 2007-02-13 | Fujitsu Limited | Spatial signatures |
KR100853605B1 (ko) | 2004-03-23 | 2008-08-22 | 후지쯔 가부시끼가이샤 | 핸드헬드 장치에서의 경사 및 평행 이동 운동 성분들의구별 |
US7571213B2 (en) * | 2004-03-26 | 2009-08-04 | Microsoft Corporation | Interactive electronic bubble messaging |
JP4046095B2 (ja) * | 2004-03-26 | 2008-02-13 | ソニー株式会社 | 触覚機能付き入力装置、情報入力方法及び電子機器 |
US20050219211A1 (en) * | 2004-03-31 | 2005-10-06 | Kotzin Michael D | Method and apparatus for content management and control |
US20050251850A1 (en) | 2004-03-31 | 2005-11-10 | Microsoft Corporation | System and method for providing REA model based security |
US20050219223A1 (en) * | 2004-03-31 | 2005-10-06 | Kotzin Michael D | Method and apparatus for determining the context of a device |
US20060061545A1 (en) * | 2004-04-02 | 2006-03-23 | Media Lab Europe Limited ( In Voluntary Liquidation). | Motion-activated control with haptic feedback |
KR100538351B1 (ko) * | 2004-04-20 | 2005-12-21 | 광주과학기술원 | 햅틱 인터페이스의 안정화 방법 및 이를 적용한 햅틱시스템 |
US8095081B2 (en) | 2004-04-29 | 2012-01-10 | Sony Ericsson Mobile Communications Ab | Device and method for hands-free push-to-talk functionality |
JP4439351B2 (ja) | 2004-07-28 | 2010-03-24 | アルパイン株式会社 | 振動付与機能付きタッチパネル入力装置および操作入力に対する振動付与方法 |
JP2006047534A (ja) * | 2004-08-03 | 2006-02-16 | Alpine Electronics Inc | 表示制御システム |
GB2416962B (en) * | 2004-08-05 | 2009-04-01 | Vodafone Plc | New communication type for mobile telecommunications networks |
EP1805585B1 (en) * | 2004-10-08 | 2017-08-16 | Immersion Corporation | Haptic feedback for button and scrolling action simulation in touch input devices |
US7570254B2 (en) * | 2004-11-09 | 2009-08-04 | Takahiko Suzuki | Haptic feedback controller, method of controlling the same, and method of transmitting messages that uses a haptic feedback controller |
JP2006163579A (ja) | 2004-12-03 | 2006-06-22 | Sony Corp | 情報処理システム、情報処理装置及び情報処理方法 |
KR100670821B1 (ko) * | 2004-12-21 | 2007-01-19 | 한국전자통신연구원 | 사용자 인터페이스 설계 및 평가 시스템 및 손 상호 작용기반의 사용자 인터페이스 설계 및 평가 시스템 |
JP2006201912A (ja) | 2005-01-19 | 2006-08-03 | Nippon Telegr & Teleph Corp <Ntt> | 3次元仮想オブジェクト情報提供サービス処理方法と3次元仮想オブジェクト提供システムおよびプログラム |
GB0503253D0 (en) * | 2005-02-17 | 2005-03-23 | Univ Northumbria Newcastle | User control of a hand-held device |
KR20160150116A (ko) | 2005-03-04 | 2016-12-28 | 애플 인크. | 다기능 휴대용 장치 |
KR20060106010A (ko) * | 2005-04-04 | 2006-10-12 | 한국과학기술원 | 커뮤니케이션을 위한 인터렉티브 테이블 세트 |
US20060241864A1 (en) | 2005-04-22 | 2006-10-26 | Outland Research, Llc | Method and apparatus for point-and-send data transfer within an ubiquitous computing environment |
US8339363B2 (en) | 2005-05-13 | 2012-12-25 | Robert Bosch Gmbh | Sensor-initiated exchange of information between devices |
JP2006333355A (ja) | 2005-05-30 | 2006-12-07 | Toshiba Corp | 携帯情報処理装置およびその操作方法 |
JP4507992B2 (ja) | 2005-06-09 | 2010-07-21 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US20060279476A1 (en) | 2005-06-10 | 2006-12-14 | Gemini Mobile Technologies, Inc. | Systems and methods for conveying message composer's state information |
US7685530B2 (en) * | 2005-06-10 | 2010-03-23 | T-Mobile Usa, Inc. | Preferred contact group centric interface |
US7779480B2 (en) | 2005-06-30 | 2010-08-17 | Microsoft Corporation | Identifying dependencies of an application upon a given security context |
US20070040810A1 (en) * | 2005-08-18 | 2007-02-22 | Eastman Kodak Company | Touch controlled display device |
US20070049301A1 (en) * | 2005-08-30 | 2007-03-01 | Motorola, Inc. | Articulating emotional response to messages |
US7734313B2 (en) * | 2005-08-31 | 2010-06-08 | Motorola, Inc. | Wirelessly networked gaming system having true targeting capability |
US7933632B2 (en) | 2005-09-16 | 2011-04-26 | Microsoft Corporation | Tile space user interface for mobile devices |
US8116740B2 (en) * | 2005-09-21 | 2012-02-14 | Nokia Corporation | Mobile communication terminal and method |
US7276886B2 (en) | 2005-10-03 | 2007-10-02 | Texas Instruments Incorporated | Dual buck-boost converter with single inductor |
US7636794B2 (en) | 2005-10-31 | 2009-12-22 | Microsoft Corporation | Distributed sensing techniques for mobile devices |
KR100671144B1 (ko) * | 2005-11-23 | 2007-01-17 | (주) 엘지텔레콤 | 이동통신단말기의 움직임을 이용한 문자입력장치 및 방법 |
US20070139366A1 (en) * | 2005-12-21 | 2007-06-21 | Dunko Gregory A | Sharing information between devices |
CN101341799B (zh) * | 2005-12-22 | 2012-01-11 | 皇家飞利浦电子股份有限公司 | 用于控制光系统的用户接口和方法 |
US7525425B2 (en) | 2006-01-20 | 2009-04-28 | Perdiem Llc | System and method for defining an event based on relationship between an object location and a user-defined zone |
CN102169415A (zh) * | 2005-12-30 | 2011-08-31 | 苹果公司 | 具有多重触摸输入的便携式电子设备 |
US7509588B2 (en) * | 2005-12-30 | 2009-03-24 | Apple Inc. | Portable electronic device with interface reconfiguration mode |
EP1806643B1 (en) * | 2006-01-06 | 2014-10-08 | Drnc Holdings, Inc. | Method for entering commands and/or characters for a portable communication device equipped with a tilt sensor |
JP2007188126A (ja) | 2006-01-11 | 2007-07-26 | Fujifilm Corp | 画像明るさ算出装置および方法並びにプログラム |
US8587526B2 (en) | 2006-04-12 | 2013-11-19 | N-Trig Ltd. | Gesture recognition feedback for a dual mode digitizer |
JP2007301270A (ja) | 2006-05-15 | 2007-11-22 | Sony Computer Entertainment Inc | ゲーム制御プログラム、ゲーム制御方法、ゲーム装置 |
KR100775190B1 (ko) | 2006-05-24 | 2007-11-12 | 엘지전자 주식회사 | 멀티미디어 합성 방법 및 이를 이용한 단말기 |
US8571580B2 (en) | 2006-06-01 | 2013-10-29 | Loopt Llc. | Displaying the location of individuals on an interactive map display on a mobile communication device |
US8271902B1 (en) * | 2006-07-20 | 2012-09-18 | Adobe Systems Incorporated | Communication of emotions with data |
JP2008033739A (ja) | 2006-07-31 | 2008-02-14 | Sony Corp | 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置 |
US9304675B2 (en) | 2006-09-06 | 2016-04-05 | Apple Inc. | Portable electronic device for instant messaging |
JP4986555B2 (ja) * | 2006-09-13 | 2012-07-25 | ソニーモバイルコミュニケーションズ株式会社 | 通信装置、処理実行方法および処理実行プログラム |
US7468573B2 (en) * | 2006-10-30 | 2008-12-23 | Motorola, Inc. | Method of providing tactile feedback |
US8354997B2 (en) * | 2006-10-31 | 2013-01-15 | Navisense | Touchless user interface for a mobile device |
KR101345341B1 (ko) | 2006-12-13 | 2013-12-27 | 삼성전자 주식회사 | 파일 전송을 위한 사용자 인터페이스를 제공하는 장치 및방법 |
FR2910160A1 (fr) | 2006-12-13 | 2008-06-20 | France Telecom | Systeme de telecommunication tactile |
US20080153520A1 (en) * | 2006-12-21 | 2008-06-26 | Yahoo! Inc. | Targeted short messaging service advertisements |
EP1936929A1 (en) | 2006-12-21 | 2008-06-25 | Samsung Electronics Co., Ltd | Haptic generation method and system for mobile phone |
KR101402243B1 (ko) * | 2006-12-21 | 2014-06-02 | 삼성전자주식회사 | 촉각 서비스를 제공하는 휴대단말기 및 그 방법 |
US7877707B2 (en) | 2007-01-06 | 2011-01-25 | Apple Inc. | Detecting and interpreting real-world and security gestures on touch and hover sensitive devices |
KR101364885B1 (ko) * | 2007-02-21 | 2014-02-19 | 엘지전자 주식회사 | 아이콘을 이용한 메시지 수신 표시 방법 및 단말기 |
US8933891B2 (en) * | 2007-03-02 | 2015-01-13 | Lg Electronics Inc. | Terminal and method of controlling terminal |
WO2008121967A2 (en) * | 2007-03-30 | 2008-10-09 | Google Inc. | Interactive media display across devices |
CN101290553A (zh) | 2007-04-17 | 2008-10-22 | 索尼(中国)有限公司 | 具有显示屏的电子设备 |
WO2008132540A1 (en) | 2007-04-26 | 2008-11-06 | Nokia Corporation | Method and mobile terminal with user input based on movement of the terminal detected by a sensor |
US7941000B2 (en) * | 2007-05-11 | 2011-05-10 | Koninklijke Philips Electronics N.V. | Method for producing an image and system for producing an image |
US8315652B2 (en) * | 2007-05-18 | 2012-11-20 | Immersion Corporation | Haptically enabled messaging |
US9317110B2 (en) | 2007-05-29 | 2016-04-19 | Cfph, Llc | Game with hand motion control |
US9965132B2 (en) * | 2007-06-08 | 2018-05-08 | Apple Inc. | Presenting text messages |
JP2009003799A (ja) | 2007-06-22 | 2009-01-08 | Aplix Corp | ポータブル機器およびポータブル機器における仮想空間の提供方法 |
US7788032B2 (en) * | 2007-09-14 | 2010-08-31 | Palm, Inc. | Targeting location through haptic feedback signals |
US8201108B2 (en) * | 2007-10-01 | 2012-06-12 | Vsee Lab, Llc | Automatic communication notification and answering method in communication correspondance |
US8631358B2 (en) | 2007-10-10 | 2014-01-14 | Apple Inc. | Variable device graphical user interface |
KR101430452B1 (ko) | 2007-10-15 | 2014-08-14 | 엘지전자 주식회사 | 통신 기기 및 이것의 위치 정보 제공 방법 |
US20090140986A1 (en) * | 2007-11-30 | 2009-06-04 | Nokia Corporation | Method, apparatus and computer program product for transferring files between devices via drag and drop |
US7839269B2 (en) * | 2007-12-12 | 2010-11-23 | Immersion Corporation | Method and apparatus for distributing haptic synchronous signals |
CN101178615A (zh) | 2007-12-12 | 2008-05-14 | 美新半导体(无锡)有限公司 | 姿态及运动感应系统及使用该系统的便携式电子设备 |
US9569086B2 (en) | 2007-12-12 | 2017-02-14 | Nokia Technologies Oy | User interface having realistic physical effects |
US9170649B2 (en) * | 2007-12-28 | 2015-10-27 | Nokia Technologies Oy | Audio and tactile feedback based on visual environment |
US8373549B2 (en) * | 2007-12-31 | 2013-02-12 | Apple Inc. | Tactile feedback in an electronic device |
KR100952698B1 (ko) | 2008-03-10 | 2010-04-13 | 한국표준과학연구원 | 촉감 피드백장치를 이용한 촉감전달방법 및 그 시스템 |
US8239769B2 (en) * | 2008-04-22 | 2012-08-07 | Verizon Patent And Licensing Inc. | System and method for selling preference-based virtual objects |
US20090280860A1 (en) * | 2008-05-12 | 2009-11-12 | Sony Ericsson Mobile Communications Ab | Mobile phone with directional force feedback and method |
JP5045559B2 (ja) * | 2008-06-02 | 2012-10-10 | 富士通モバイルコミュニケーションズ株式会社 | 携帯端末 |
US20090309825A1 (en) * | 2008-06-13 | 2009-12-17 | Sony Ericsson Mobile Communications Ab | User interface, method, and computer program for controlling apparatus, and apparatus |
US8306576B2 (en) * | 2008-06-27 | 2012-11-06 | Lg Electronics Inc. | Mobile terminal capable of providing haptic effect and method of controlling the mobile terminal |
US8532637B2 (en) | 2008-07-02 | 2013-09-10 | T-Mobile Usa, Inc. | System and method for interactive messaging |
US20100214243A1 (en) | 2008-07-15 | 2010-08-26 | Immersion Corporation | Systems and Methods For Interpreting Physical Interactions With A Graphical User Interface |
EP3206381A1 (en) | 2008-07-15 | 2017-08-16 | Immersion Corporation | Systems and methods for mapping message contents to virtual physical properties for vibrotactile messaging |
US8274484B2 (en) | 2008-07-18 | 2012-09-25 | Microsoft Corporation | Tracking input in a screen-reflective interface environment |
US8362882B2 (en) * | 2008-12-10 | 2013-01-29 | Immersion Corporation | Method and apparatus for providing Haptic feedback from Haptic textile |
US8587601B1 (en) * | 2009-01-05 | 2013-11-19 | Dp Technologies, Inc. | Sharing of three dimensional objects |
JP5793426B2 (ja) | 2009-01-29 | 2015-10-14 | イマージョン コーポレーションImmersion Corporation | グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法 |
US8516396B2 (en) * | 2009-01-30 | 2013-08-20 | International Business Machines Corporation | Object organization based on user interactions within a virtual environment |
US8123614B2 (en) * | 2010-04-13 | 2012-02-28 | Kulas Charles J | Gamepiece controller using a movable position-sensing display device including a movement currency mode of movement |
US8266551B2 (en) * | 2010-06-10 | 2012-09-11 | Nokia Corporation | Method and apparatus for binding user interface elements and granular reflective processing |
EP3321780A1 (en) | 2012-02-15 | 2018-05-16 | Immersion Corporation | High definition haptic effects generation using primitives |
US8493354B1 (en) | 2012-08-23 | 2013-07-23 | Immersion Corporation | Interactivity model for shared feedback on mobile devices |
US8711118B2 (en) | 2012-02-15 | 2014-04-29 | Immersion Corporation | Interactivity model for shared feedback on mobile devices |
US9245428B2 (en) | 2012-08-02 | 2016-01-26 | Immersion Corporation | Systems and methods for haptic remote control gaming |
US9116546B2 (en) | 2012-08-29 | 2015-08-25 | Immersion Corporation | System for haptically representing sensor input |
US9330544B2 (en) | 2012-11-20 | 2016-05-03 | Immersion Corporation | System and method for simulated physical interactions with haptic effects |
US20140139451A1 (en) | 2012-11-20 | 2014-05-22 | Vincent Levesque | Systems and Methods For Providing Mode or State Awareness With Programmable Surface Texture |
US9836150B2 (en) | 2012-11-20 | 2017-12-05 | Immersion Corporation | System and method for feedforward and feedback with haptic effects |
US20140198130A1 (en) | 2013-01-15 | 2014-07-17 | Immersion Corporation | Augmented reality user interface with haptic feedback |
US9880623B2 (en) | 2013-01-24 | 2018-01-30 | Immersion Corporation | Friction modulation for three dimensional relief in a haptic device |
US9041647B2 (en) | 2013-03-15 | 2015-05-26 | Immersion Corporation | User interface device provided with surface haptic sensations |
US9645647B2 (en) | 2015-05-13 | 2017-05-09 | Immersion Corporation | Systems and methods for haptic feedback for modular devices |
-
2009
- 2009-07-14 EP EP17159429.4A patent/EP3206381A1/en not_active Withdrawn
- 2009-07-14 CN CN201410262007.0A patent/CN104111726B/zh not_active Expired - Fee Related
- 2009-07-14 KR KR1020147002738A patent/KR101522145B1/ko active IP Right Grant
- 2009-07-14 WO PCT/US2009/050574 patent/WO2010009152A1/en active Application Filing
- 2009-07-14 US US12/502,702 patent/US8638301B2/en active Active
- 2009-07-14 CN CN200980127923.0A patent/CN102099766B/zh not_active Expired - Fee Related
- 2009-07-14 EP EP09790406A patent/EP2329339A1/en not_active Ceased
- 2009-07-14 WO PCT/US2009/050587 patent/WO2010009163A1/en active Application Filing
- 2009-07-14 EP EP14151307.7A patent/EP2741177B1/en active Active
- 2009-07-14 KR KR1020117003437A patent/KR20110052629A/ko active Application Filing
- 2009-07-14 CN CN201610915344.4A patent/CN106990811A/zh active Pending
- 2009-07-14 KR KR1020187013053A patent/KR102045165B1/ko active IP Right Grant
- 2009-07-14 KR KR1020167026279A patent/KR101838425B1/ko active IP Right Grant
- 2009-07-14 EP EP09790404.9A patent/EP2327201B1/en active Active
- 2009-07-14 KR KR1020117003511A patent/KR101661368B1/ko active IP Right Grant
- 2009-07-14 KR KR1020177032718A patent/KR101871646B1/ko active IP Right Grant
- 2009-07-14 US US12/502,647 patent/US8587417B2/en not_active Expired - Fee Related
- 2009-07-14 JP JP2011518850A patent/JP5337877B2/ja not_active Expired - Fee Related
- 2009-07-14 US US12/502,795 patent/US10019061B2/en not_active Expired - Fee Related
- 2009-07-14 JP JP2011518852A patent/JP5690726B2/ja not_active Expired - Fee Related
- 2009-07-14 KR KR1020187017394A patent/KR101989763B1/ko active IP Right Grant
- 2009-07-14 EP EP14151328.3A patent/EP2723107B1/en active Active
- 2009-07-14 EP EP18200556.1A patent/EP3496376A1/en not_active Withdrawn
- 2009-07-14 EP EP09790410.6A patent/EP2313820B1/en active Active
- 2009-07-14 US US12/502,758 patent/US8462125B2/en not_active Expired - Fee Related
- 2009-07-14 KR KR1020167002561A patent/KR101956999B1/ko active IP Right Grant
- 2009-07-14 EP EP18193311.0A patent/EP3480680A1/en not_active Withdrawn
- 2009-07-14 KR KR1020177006891A patent/KR102045128B1/ko active IP Right Grant
- 2009-07-14 JP JP2011518856A patent/JP5762285B2/ja not_active Expired - Fee Related
- 2009-07-14 EP EP16187932.5A patent/EP3130983B1/en not_active Not-in-force
- 2009-07-14 US US12/502,755 patent/US10248203B2/en active Active
- 2009-07-14 JP JP2011518847A patent/JP5410520B2/ja not_active Expired - Fee Related
- 2009-07-14 KR KR1020167027748A patent/KR102056518B1/ko active IP Right Grant
- 2009-07-14 CN CN201610959363.7A patent/CN107066035A/zh active Pending
- 2009-07-14 CN CN200980127978.1A patent/CN102187647B/zh not_active Expired - Fee Related
- 2009-07-14 WO PCT/US2009/050569 patent/WO2010009149A2/en active Application Filing
- 2009-07-14 KR KR1020187006662A patent/KR20180029101A/ko active IP Right Grant
- 2009-07-14 JP JP2011518849A patent/JP5997898B2/ja not_active Expired - Fee Related
- 2009-07-14 CN CN2009801279391A patent/CN102099767A/zh active Pending
- 2009-07-14 EP EP17158253.9A patent/EP3236337B1/en active Active
- 2009-07-14 WO PCT/US2009/050579 patent/WO2010009157A1/en active Application Filing
- 2009-07-14 CN CN201410153123.9A patent/CN103970209B/zh not_active Expired - Fee Related
- 2009-07-14 KR KR1020147028879A patent/KR101600226B1/ko active Application Filing
- 2009-07-14 KR KR1020117003432A patent/KR101300429B1/ko active IP Right Grant
- 2009-07-14 KR KR1020117003491A patent/KR20110036617A/ko not_active Application Discontinuation
- 2009-07-14 EP EP17155928.9A patent/EP3220616B1/en active Active
- 2009-07-14 CN CN201510019130.4A patent/CN104571336B/zh not_active Expired - Fee Related
- 2009-07-14 WO PCT/US2009/050564 patent/WO2010009145A1/en active Application Filing
- 2009-07-14 CN CN2009801279387A patent/CN102100055A/zh active Pending
- 2009-07-14 EP EP09790414A patent/EP2329636A1/en not_active Ceased
- 2009-07-14 KR KR1020117003489A patent/KR101404367B1/ko active IP Right Grant
- 2009-07-14 KR KR1020167005201A patent/KR101690469B1/ko active IP Right Grant
- 2009-07-14 CN CN200980128008.3A patent/CN102160366B/zh not_active Ceased
- 2009-07-14 KR KR1020187033607A patent/KR102045170B1/ko active IP Right Grant
- 2009-07-14 KR KR1020167002451A patent/KR101788995B1/ko active IP Right Grant
- 2009-07-14 EP EP09790403A patent/EP2329637A1/en not_active Withdrawn
-
2013
- 2013-03-15 US US13/832,420 patent/US9063571B2/en not_active Expired - Fee Related
- 2013-08-05 JP JP2013162706A patent/JP5599922B2/ja not_active Expired - Fee Related
- 2013-11-01 US US14/069,892 patent/US8866602B2/en not_active Expired - Fee Related
- 2013-11-06 JP JP2013230455A patent/JP5642252B2/ja not_active Expired - Fee Related
- 2013-12-16 US US14/106,929 patent/US8976112B2/en active Active
-
2014
- 2014-02-19 JP JP2014029131A patent/JP5899253B2/ja not_active Expired - Fee Related
- 2014-04-09 JP JP2014080346A patent/JP5897631B2/ja active Active
- 2014-04-21 JP JP2014087038A patent/JP6180360B2/ja not_active Expired - Fee Related
- 2014-08-13 JP JP2014164916A patent/JP6043763B2/ja not_active Expired - Fee Related
- 2014-09-19 US US14/491,137 patent/US9134803B2/en active Active
- 2014-10-28 JP JP2014219035A patent/JP5955369B2/ja not_active Expired - Fee Related
-
2015
- 2015-02-03 US US14/612,392 patent/US9785238B2/en active Active
- 2015-05-14 US US14/712,358 patent/US9612662B2/en not_active Expired - Fee Related
- 2015-06-09 JP JP2015116232A patent/JP6109877B2/ja not_active Expired - Fee Related
- 2015-09-04 US US14/846,059 patent/US9229532B1/en not_active Expired - Fee Related
- 2015-12-22 US US14/978,384 patent/US9477309B2/en not_active Expired - Fee Related
-
2016
- 2016-03-02 JP JP2016039643A patent/JP6208791B2/ja not_active Expired - Fee Related
- 2016-08-05 JP JP2016154485A patent/JP6272960B2/ja not_active Expired - Fee Related
- 2016-10-17 US US15/295,030 patent/US9910496B2/en not_active Expired - Fee Related
-
2017
- 2017-02-27 US US15/443,482 patent/US10203756B2/en active Active
- 2017-05-16 JP JP2017097611A patent/JP6449934B2/ja not_active Expired - Fee Related
- 2017-08-29 US US15/688,943 patent/US20180004295A1/en not_active Abandoned
- 2017-09-07 JP JP2017171705A patent/JP6433556B2/ja not_active Expired - Fee Related
-
2018
- 2018-01-04 JP JP2018000108A patent/JP6548753B2/ja active Active
- 2018-01-29 US US15/882,229 patent/US10198078B2/en not_active Expired - Fee Related
- 2018-05-11 US US15/977,076 patent/US20180260029A1/en not_active Abandoned
- 2018-11-06 JP JP2018208902A patent/JP2019057302A/ja active Pending
- 2018-11-13 US US16/188,502 patent/US20190179413A1/en not_active Abandoned
- 2018-12-06 JP JP2018229201A patent/JP2019071076A/ja active Pending
- 2018-12-18 US US16/223,989 patent/US10416775B2/en active Active
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210084697A (ko) * | 2012-05-11 | 2021-07-07 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 전자 기기, 기억 매체, 프로그램, 및 표시 방법 |
US11216041B2 (en) | 2012-05-11 | 2022-01-04 | Semiconductor Energy Laboratory Co., Ltd. | Electronic device, storage medium, program, and displaying method |
US11815956B2 (en) | 2012-05-11 | 2023-11-14 | Semiconductor Energy Laboratory Co., Ltd. | Electronic device, storage medium, program, and displaying method |
US12117872B2 (en) | 2012-05-11 | 2024-10-15 | Semiconductor Energy Laboratory Co., Ltd. | Electronic device, storage medium, program, and displaying method |
KR20170134558A (ko) * | 2015-08-28 | 2017-12-06 | 구글 엘엘씨 | 디바이스들 간의 통지들의 전달 |
US10775980B2 (en) | 2015-08-28 | 2020-09-15 | Google Llc | Transferring notifications between devices |
US10362430B2 (en) | 2015-12-04 | 2019-07-23 | Samsung Electronics Co., Ltd | Audio providing method and device therefor |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102056518B1 (ko) | 물리 기반 촉각 메시징을 위한 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
A107 | Divisional application of patent | ||
J201 | Request for trial against refusal decision | ||
J301 | Trial decision |
Free format text: TRIAL NUMBER: 2016101005802; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20161006 Effective date: 20180810 |