KR20180102708A - 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법 - Google Patents

그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법 Download PDF

Info

Publication number
KR20180102708A
KR20180102708A KR1020187026205A KR20187026205A KR20180102708A KR 20180102708 A KR20180102708 A KR 20180102708A KR 1020187026205 A KR1020187026205 A KR 1020187026205A KR 20187026205 A KR20187026205 A KR 20187026205A KR 20180102708 A KR20180102708 A KR 20180102708A
Authority
KR
South Korea
Prior art keywords
physical space
virtual physical
processor
user
sensor
Prior art date
Application number
KR1020187026205A
Other languages
English (en)
Inventor
데이비드 번바움
크리스토퍼 제이. 울리치
피터 루빈
퐁 데이비드 엔고
레오 코펠로
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/502,702 external-priority patent/US8638301B2/en
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20180102708A publication Critical patent/KR20180102708A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • H04M19/047—Vibrating means for incoming calls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법의 실시예가 개시되어 있다. 예를 들어, 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 한 시스템은 사용자가 잡고 있도록 구성된 하우징(housing), 하우징에 배치된 디스플레이 - 이 디스플레이는 그래픽 사용자 인터페이스를 디스플레이하도록 구성되어 있음 -, 및 하우징에 배치된 센서 - 이 센서는 어떤 자유도(degree of freedom)에서 하우징의 움직임을 검출하도록 구성되어 있음 - 를 갖는 장치이다. 이 장치는 또한 하우징에 배치되고 디스플레이 및 센서와 통신하고 있는 프로세서를 포함하고, 이 프로세서는 센서로부터 센서 신호를 수신하고 - 이 센서 신호는 움직임과 연관된 파라미터를 포함함 -, 파라미터에 기초하여 그래픽 사용자 인터페이스와 연관된 명령을 결정하며, 명령에 기초하여 실행될 기능을 결정하고, 기능을 실행하도록 구성되어 있다.

Description

그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법{SYSTEMS AND METHODS FOR INTERPRETING PHYSICAL INTERACTIONS WITH A GRAPHICAL USER INTERFACE}
관련 출원의 상호 참조
본 특허 출원은 2009년 1월 29일자로 출원된, 발명의 명칭이 "Systems and Methods for Pseudo-Telepresence in a Shared Space(공유 공간에서의 의사-텔레프레즌스를 위한 시스템 및 방법)"인 미국 가특허 출원 제61/148,312호, 및 2009년 5월 26일자로 출원된, 발명의 명칭이 "Systems and Methods for Transmitting Haptic Messages(햅틱 메시지를 전송하는 시스템 및 방법)"인 미국 가특허 출원 제61/181,280호를 기초로 우선권을 주장하고, 2008년 7월 15일자로 출원된, 발명의 명칭이 "Systems and Methods for Physics-Based Tactile Messaging(물리-기반 촉각 메시징을 위한 시스템 및 방법)"인 미국 가특허 출원 제61/080,978호, 2008년 7월 15일자로 출원된, 발명의 명칭이 "Systems and Methods for Mapping Message Contents to Virtual Physical Properties for Vibrotactile Messaging(메시지 내용을 진동촉각 메시징을 위한 가상 물리 특성에 매핑하는 시스템 및 방법)"인 미국 가특허 출원 제61/080,981호, 2008년 7월 15일자로 출원된, 발명의 명칭이 "Systems and Methods for Shifting Sensor Haptic Feedback Function Between Passive and Active Modes(수동 모드와 능동 모드 사이에서 센서 햅틱 피드백 기능을 전환하는 시스템 및 방법)"인 미국 가특허 출원 제61/080,985호, 및 2008년 7월 15일자로 출원된, 발명의 명칭이 "Systems and Methods for Gesture Indication of Message Recipients(메시지 수신자의 제스처 표시를 위한 시스템 및 방법)"인 미국 가특허 출원 제61/080,978호를 기초로 우선권을 주장하는 2009년 7월 14일자로 출원된, 발명의 명칭이 "Systems and Methods for Transmitting Haptic Messages(햅틱 메시지를 전송하는 시스템 및 방법)"인 미국 특허 출원 제12/502,702호의 일부 계속 출원이며, 이들 출원 전부는 참고 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
본 발명은 일반적으로 그래픽 사용자 인터페이스에 관한 것이며, 보다 상세하게는, 그래픽 사용자 인터페이스와의 물리적 상호작용(physical interaction)을 해석하는 시스템 및 방법에 관한 것이다.
종래의 사용자 장치는 사용자가 응용 프로그램을 선택하거나 전화 번호를 돌리거나 문자 메시지를 입력하기 위해 터치 스크린 또는 버튼과 같은 장치와 상호작용할 수 있게 해주는 기본 인터페이스 메커니즘을 사용할 수 있다. 이러한 장치에서, 인터페이스의 다수의 레벨을 통한 탐색은 지루하거나, 사용자의 상당한 주의를 필요로 하거나, 원하는 기능에 올바르게 액세스하기 위해 장치의 정확한 조작을 필요로 하거나, 사용자 인터페이스를 잡고 탐색하기 위해 두 손의 사용을 필요로 할 수 있다. 예를 들어, 이러한 장치는 메시지 수신자를 선택하고 메시지를 입력하며 메시지를 전송하기 위해 다단계 프로세스를 사용할 수 있는 종래의 문자 메시징 시스템을 포함할 수 있다.
사용자 제스처에 응답하여 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법이 필요하다.
그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법의 실시예가 개시되어 있다. 예를 들어, 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 한 시스템은 사용자가 잡고 있도록 구성된 하우징(housing), 하우징에 배치된 디스플레이 - 이 디스플레이는 그래픽 사용자 인터페이스를 디스플레이하도록 구성되어 있음 -, 및 하우징에 배치된 센서 - 이 센서는 어떤 자유도(degree of freedom)에서 하우징의 움직임을 검출하도록 구성되어 있음 - 를 갖는 장치이다. 이 장치는 또한 하우징에 배치되고 디스플레이 및 센서와 통신하고 있는 프로세서를 포함하고, 이 프로세서는 센서로부터 센서 신호를 수신하고 - 이 센서 신호는 움직임과 연관된 파라미터를 포함함 -, 파라미터에 기초하여 그래픽 사용자 인터페이스와 연관된 명령을 결정하며, 명령에 기초하여 실행될 기능을 결정하고, 기능을 실행하도록 구성되어 있다.
이 예시적인 실시예는 본 발명을 제한하거나 한정하기 위한 것이 아니라 오히려 본 발명의 이해를 돕기 위한 일례를 제공하기 위해 언급되어 있다. 본 발명의 추가적인 설명이 제공되는 상세한 설명에서 예시적인 실시예에 대해 논의한다. 본 발명의 다양한 실시예에 의해 제공되는 이점은 본 명세서를 살펴보면 더 이해될 수 있다.
본 발명은 가상 물리 공간에 관한 그래픽 사용자 인터페이스에 부가하여 원하는 기능에의 용이한 액세스를 가능하게 해주거나 한쪽 손만을 사용하여 사용자 인터페이스의 용이한 조작을 가능하게 해주도록 구성된 그래픽 사용자 인터페이스를 제공한다.
첨부 도면을 참조하여 이하의 상세한 설명을 읽어보면, 본 발명의 이들 및 기타 특징, 측면 및 이점이 더 잘 이해된다.
도 1은 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 제공하는 장치를 나타낸 도면.
도 2a 내지 도 2d는 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 제공하는 방법을 나타낸 도면.
도 4 내지 도 9b는 본 발명의 실시예에 따른 그래픽 사용자 인터페이스를 나타낸 도면.
본 발명의 실시예는 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법을 제공한다.
예를 들어, 본 발명의 예시적인 일 실시예에서, 휴대폰은 터치 감응 디스플레이 화면, 다양한 응용 프로그램을 실행하는 프로세서, 및 휴대폰의 움직임을 감지할 수 있는 센서를 포함한다. 활성화될 때, 휴대폰은 사용자가 휴대폰에 의해 제공되는 기능(전화 기능, 연락처 정보, 인터넷 브라우저, 및 전자 메일 기능 등)에 액세스할 수 있게 해주기 위해 그래픽 사용자 인터페이스를 디스플레이한다. 어떤 종래의 휴대폰과 유사하게, 예시적인 휴대폰의 사용자는, 휴대폰에서 제공되는 기능을 활성화시키기 위해 다양한 아이콘을 터치하는 것과 같이, 그래픽 사용자 인터페이스와 상호작용하기 위해 터치 감응 디스플레이 화면을 터치할 수 있다. 그렇지만, 이 예시적인 실시예는 또한 사용자가 비종래적인 방식으로 휴대폰과 상호작용할 수 있게 해준다.
예를 들어, 사용자는 움직임-감지 그래픽 사용자 인터페이스를 활성화시키기 위해 휴대폰을 빠르게 흔들거나 떨게 할 수 있다. 움직임-감지 그래픽 사용자 인터페이스가 활성화되면, 사용자는 그래픽 사용자 인터페이스의 상이한 특징을 탐색하기 위해 전화를 다양한 방향으로 또는 다양한 배향을 통해 물리적으로 움직일 수 있다. 예를 들어, 한 예시적인 그래픽 사용자 인터페이스는 휴대폰 내에서 이용가능한 기능을 표현하는 복수의 아이콘을 디스플레이할 수 있다. 아이콘은, 변속 패턴 내에서의 기어 변속 레버의 그래픽 표현과 함께, 종래의 6단 기어 변속 패턴(6-speed gear shift pattern)과 같은 자동차의 기어 변속 패턴을 나타내는 일련의 채널을 따라 배열되어 있다. 탐색하여 원하는 기능으로 가기 위해, 사용자는 전화가 변속 레버인 것처럼 전화를 움직일 수 있다. 사용자가 휴대폰을 움직일 때, 자이로 센서(gyroscopic sensor)와 같은 센서는 휴대폰의 움직임을 검출하고 움직임 정보를 휴대폰의 프로세서에 제공한다. 프로세서는 센서 신호를 해석하고 휴대폰의 움직임을 추적하기 위해 디스플레이된 기어 변속 손잡이의 위치를 변경한다. 사용자가 원하는 기능으로 "전환"한 경우, 사용자는 그 기능을 활성화시키기 위해 휴대폰를 빠르게 흔들거나 떨게 할 수 있다. 다시 말하지만, 흔들림이 센서에 의해 감지되고 프로세서로 전송된다. 프로세서는 움직임을 기능의 선택으로서 해석하고 이어서 기능을 실행한다. 터치에 의해 사용자 인터페이스를 조작하는 데 열심히 집중할 필요없이 사용자가 기능을 신속하게 활성화시키고자 할 때 또는 사용자가 그의 양손 중 한쪽 손에 무언가를 들고 있고 다른 쪽 손만이 휴대폰을 사용하는 데 이용가능한 경우 이러한 움직임-감지 그래픽 사용자 인터페이스가 바람직할 수 있다.
이제 도 1을 참조하면, 도 1은 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 제공하는 장치(100)를 나타낸 것이다. 장치(100)는 하우징(110), 디스플레이(120), 프로세서(130), 센서(140) 및 작동기(actuator)(150)를 포함한다. 도시된 실시예에서, 하우징(110)은 휴대폰 하우징이지만, 다른 실시예에서, 하우징(110)은 PDA(personal digital assistant), 리모콘(예를 들어, TV용), 휴대 전화, 모바일 컴퓨터, 디스플레이, 또는 기타 적당한 장치의 하우징과 같은 다른 유형의 하우징일 수 있다. 일부 실시예에서, 하우징(110)은 핸드헬드 장치 하우징을 포함할 수 있고, 다른 실시예에서, 하우징(110)은 더 큰 하우징, 예를 들어, 컴퓨터 모니터 하우징 또는 고정식 디스플레이(fixed display)용 하우징을 포함할 수 있다. 디스플레이(120)가 장치(100)의 사용자에게 영상을 디스플레이하게 구성되도록, 디스플레이(120)가 하우징 내에 배치된다. 도 1에 도시된 실시예에서, 디스플레이(120)는 터치 감응 디스플레이이고, 사용자의 손가락 또는 스타일러스 등으로부터 디스플레이(120)와의 접촉을 감지하도록 구성되어 있다. 디스플레이(120)는 또한, 사용자에게 상태 정보를 제공하거나 사용자가 장치(100)에 의해 제공되는 기능에 액세스할 수 있게 해주는 인터페이스를 제공하는 등을 위해, 사용자에게 그래픽 사용자 인터페이스를 디스플레이하도록 구성되어 있다.
장치(100)는 또한 하우징(110) 내에 배치된 프로세서(130)를 포함한다. 도 1에 도시된 실시예에서, 프로세서(130)는 완전히 장치(100) 내에 배치되도록 장치(100) 내에 배치되어 있으며, 이는 점선으로 나타내어져 있다. 그렇지만, 일부 실시예에서, 프로세서는 장치(100) 내에 배치되어 있지 않을 수 있다. 예를 들어, 일 실시예에서, 장치는 모니터 또는 LCD 화면과 통신하고 있는 데스크톱 컴퓨터를 포함할 수 있다. 이와 유사하게, 일부 실시예에서, 센서(140) 및 작동기(150)는 완전히 장치(100) 내에 배치되어 있지만, 일부 실시예에서, 센서(140) 또는 작동기(150)의 일부 또는 전부가 사용자에게 보일 수 있다. 도시된 실시예에서, 프로세서(130)는 센서(140), 작동기(150) 및 디스플레이(120)와 통신하고 있다. 프로세서(130)는 센서(140)로부터 센서 신호를 수신하고, 디스플레이(120)에 디스플레이 신호를 출력하며, 작동기(150)에 작동기 신호를 출력하도록 구성되어 있다.
프로세서(130)는 또한 센서(140)로부터 수신된 하나 이상의 센서 신호에 기초하여 사용자 인터페이스와 연관된 명령을 결정하도록 구성되어 있다. 예를 들어, 전술한 기어 변속 실시예에서, 센서(140)는 사용자가 휴대폰(100)을 좌측으로 움직였다는 것을 나타내는 센서 신호를 프로세서(130)로 전송할 수 있다. 프로세서(130)는 그래픽 사용자 인터페이스에 디스플레이되는 기어 변속 손잡이가 좌측으로 움직이게 하는 명령이 발생되어야만 하는 것으로 판정한다. 도 1에 도시된 실시예에서, 사용자는 또한 기어 변속 손잡이에 대응하는 위치에서 디스플레이(120)를 터치하고 그의 손가락을 좌측으로 끌어당김으로써 유사한 명령이 프로세서에 의해 발생되게 할 수 있다. 따라서, 프로세서(130)는 그래픽 사용자 인터페이스와 연관된 명령을 발생하기 위해 센서 신호를 해석할 수 있다. 예를 들어, 프로세서(130)는 휴대폰(100)의 움직임과 연관된 다수의 센서 신호를 수신하고 이어서 기능의 선택을 나타내는 센서 신호를 수신할 수 있다.
프로세서(130)는 또한 그래픽 사용자 인터페이스에 기초하여 디스플레이 신호를 발생하도록 구성되어 있다. 통상적으로, 그래픽 사용자 인터페이스는 다른 응용 프로그램(또는 운영 체제)의 일부로서 또는 그와 협력하여 프로세서(130) 상에서 실행되고, 디스플레이 장치 상에 디스플레이된다. 따라서, 그래픽 사용자 인터페이스는 프로세서로 하여금 디스플레이(120)가 그래픽 사용자 인터페이스를 디스플레이하게 하는 디스플레이 신호를 발생하게 할 수 있다. 프로세서(130)가, 휴대폰(100)의 감지된 움직임 등에 기초하여, 그래픽 사용자 인터페이스와 연관된 명령을 발생한 후에, 그래픽 사용자 인터페이스는 그래픽 사용자 인터페이스의 상태를 업데이트하고 이어서 프로세서(130)로 하여금 그래픽 사용자 인터페이스의 디스플레이를 업데이트하는 디스플레이 신호를 발생하게 할 수 있다.
도 1에 도시된 실시예에서, 센서(140)는 휴대폰(100) 내에 배치되고, 휴대폰(100)의 움직임 및 배향의 변화를 검출하도록 구성되어 있다. 그렇지만, 일부 실시예에서, 센서(140) 또는 복수의 센서의 일부 또는 전부가 장치의 외부에 위치할 수 있고, 사용자에 의해 접촉될 수 있다. 도시된 센서(140)는 3개의 병진축(translational axe)(160)을 따른 움직임 및 3개의 병진축(160)을 중심으로 한 회전을 검출할 수 있는 자이로 센서를 포함한다. 그렇지만, 다른 실시예에서, 하나 이상의 축을 따른 또는 하나 이상의 축을 중심으로 한 병진 또는 회전 움직임을 검출하는 하나 이상의 가속도계와 같은 다른 적당한 센서가 이용될 수 있다. 다른 적당한 센서는 장치(100)의 위치를 결정하기 위해 광 또는 무선 소스 등의 외부 소스로부터 입력을 수신하는 수신기를 포함할 수 있다. 예를 들어, 복수의 무선 송신기가 실내에 배열되어 있을 수 있고, 센서(140)가 송신기로부터의 무선 신호를 수신하고 수신된 무선 신호에 기초하여 위치 및 배향을 결정할 수 있다.
다른 실시예에서, 센서(140)는 GPS 센서, 터치-감응 입력 장치(예를 들어, 터치 스크린, 터치 패드), 텍스처 스타일러스, 이미징 센서, 또는 어떤 다른 유형의 센서를 포함할 수 있다. 하나 이상의 센서(140)는 가속도, 경사, 관성, 또는 위치의 변화를 검출하도록 구성될 수 있다. 예를 들어, 장치(100)는 장치(100)의 가속도를 측정하도록 구성된 가속도계를 포함할 수 있다. 또는, 휴대폰(100)은 위치 센서, 회전 속도 센서, 광 센서, 압력 센서, 텍스처 센서, 카메라, 마이크, 또는 기타 유형의 센서를 포함할 수 있다. 본 발명의 어떤 개시된 실시예가 장치의 감지된 움직임과 관련하여 기술되어 있지만, 압력, 접촉, 버튼 누름, 또는 가청 신호(이들로 제한되지 않음)를 비롯한 이러한 감지된 움직임에 부가하여 또는 그 대신에 다른 감지된 입력이 사용될 수 있다. 이러한 센서는 한쪽 손만을 사용하여 사용자가 장치(100)와 상호작용하는 것을 용이하게 해줄 수 있다.
센서(140)는 또한 센서 신호(140)를 프로세서(130)로 전송하도록 구성되어 있다. 센서 신호는 장치(100)의 위치, 움직임, 가속도, 또는 "저크(jerk)"(즉, 가속도의 미분)와 연관된 하나 이상의 파라미터를 포함할 수 있다. 예를 들어, 일 실시예에서, 센서(140)는 복수의 파라미터를 포함하는 센서 신호를 발생하여 전송하며, 각각의 파라미터는 하나의 측정된 병진축 또는 회전축을 따르는 움직임 또는 그 병진축 또는 회전축을 중심으로 한 움직임과 연관되어 있다. 본 발명의 일부 실시예에서, 센서(140)는 다중-터치 감지 기능을 제공할 수 있다. 예를 들어, 일 실시예에서, 압력 센서는 압력 센서 상의 다수의 위치에서 압력을 검출하고 다수의 위치 각각에서의 압력과 연관된 하나 이상의 센서 신호를 제공할 수 있다. 게다가, 다른 실시예에서 센서는 장치의 전면, 측면 또는 배면에 위치할 수 있고, 이들 각각은 접촉 또는 압력과 연관된 하나 이상의 센서 신호를 제공할 수 있다. 일부 실시예에서, 센서는 하나 이상의 축(160)을 따른 움직임을 나타내기 위해 프로세서가 해석하도록 프로그램되어 있는 전압 또는 전류를 출력한다.
프로세서(130)는 또한 하나 이상의 작동기(150)와 통신을 하고 있다. 작동기(150)는 프로세서(130)로부터 작동기 신호를 수신하고 햅틱 효과(haptic effect)를 출력하도록 구성되어 있다. 프로세서(130)는, 햅틱 효과를 결정한 후에, 작동기 신호를 작동기(150)로 전송한다. 작동기 신호는 작동기(150)로 하여금 결정된 햅틱 효과를 출력하게 하도록 구성되어 있다. 작동기(150)는, 예를 들어, 압전 작동기, 전기 모터, 전자기 작동기, 보이스 코일, 선형 공진 작동기(linear resonant actuator), 형상 기억 합금, EAP(electro-active polymer, 전기 능동 중합체), 솔레노이드, ERM(eccentric rotating mass motor, 편심 회전 질량 모터) 또는 LRA(linear resonant actuator, 선형 공진 작동기)일 수 있다.
이제 도 2a를 참조하면, 도 2a는 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 나타낸 것이다. 본 발명의 일부 실시예에 따르면, 도 2a에 도시된 사용자 인터페이스는 사용자가 단 하나의 손만을 사용하여 장치(100)를 움직임으로써 조작될 수 있다. 도 2a에 도시된 실시예에서, 도 1의 장치(100)는 장치(100)의 기능을 선택하여 활성화시키는 데 사용가능한 사용자 인터페이스(210)를 실행한다. 도시된 실시예에서, 사용자 인터페이스는 디스플레이(120)의 가시 영역을 초과하는 치수를 갖는 가상 작업 공간(230) 또는 가상 물리 공간을 포함한다. 다양한 실시예에서, 가상 작업 공간(230)은 1차원 또는 다차원 작업 공간을 포함할 수 있다. 일부 실시예에서, 가상 작업 공간은 유한할 수 있지만, 다른 실시예에서, 가상 작업 공간이 무한할 수 있다. 가상 작업 공간 내에서 탐색하기 위해, 사용자는 원하는 기능을 선택하기 위해 하나 이상의 방향으로 장치(100)를 움직인다.
예를 들어, 사용자는 장치의 디스플레이(120)의 평면에 대략 수직인 방향으로(예를 들어, Z-축 또는 표면 법선을 따라) 장치를 흔들거나(또는 떨게 하거나), 터치 감응 디스플레이를 터치하거나, 장치 상의 버튼을 누를 수 있다. 그렇게 함으로써, 장치(100)는 가상 작업 공간(230)을 활성화시키고 X 또는 Y 방향에서의 장치(100)의 감지된 움직임을 가상 작업 공간(230) "내에서의" 가상 움직임에 대응하는 것으로 해석해야 하는 것으로 결정할 수 있다. 사용자는 이어서 원하는 기능을 선택하기 위해 가상 작업 공간(230) 내에서 장치(100)를 움직일 수 있다. 기능을 선택하기 위해, 사용자는 다시 태핑 동작(tapping motion)으로 Z-축을 따라 장치를 흔들거나, 터치 감응 디스플레이(120)를 터치하거나, 버튼을 누를 수 있거나, 원하는 기능을 디스플레이(120) 내의 중앙에 오게 하는 등에 의해 그 기능이 선택되면, 선택 기능과 연관된 다른 제스처를 할 수 있다. 일부 실시예에서, 햅틱 효과는 사용자가 기능이 선택되었을 때를 결정하는 데 도움을 줄 수 있으며, 이에 대해서는 이하에서 더 상세히 기술할 것이다. 다른 대안으로서, 사용자는 기능을 실행하지 않기로 할 수 있고, 장치(100)가 더 이상 장치의 움직임을 가상 작업 공간(230) 내에서의 움직임으로서 해석해서는 안된다는 것을 장치(100)에 알려줄 수 있다.
도 2b에 도시된 관련 실시예에서, 사용자 인터페이스(240)는, 사용자가 실행할 기능을 선택하기 위해 X, Y 또는 Z 축 중 임의의 축에서 장치를 움직일 수 있도록, 가상 물리 공간(232)에서와 같은 3차원 가상 작업 공간(232)을 포함할 수 있다. 이러한 실시예에서, 사용자는 장치(100)를 좌우로 흔드는 것, 터치 감응 디스플레이(120)를 태핑하는 것, 장치(100)의 측면 또는 배면에 있는 압력 센서를 압박하는 것, 장치 상의 마이크에 명령을 말하는 것, 또는 장치(100) 상의 버튼을 누르는 것과 같은 하나 이상의 제스처를 사용하여 가상 작업 공간(232)을 활성화 또는 비활성화시킬 수 있다. 그에 부가하여, 이러한 3차원 가상 물리 공간과 인터페이스하는 본 발명의 실시예는 사용자가 선택하여 활성화시킬 수 있는 2차원 아이콘보다는 3차원 객체를 포함할 수 있다.
예를 들어, 본 발명의 일 실시예에서, 복수의 기능 각각이 3차원 가상 물리 공간(232)에서 볼(ball) 또는 블록과 같은 가상 물리 객체(270-274)에 의해 표현될 수 있다. 일 실시예에서, 가상 물리 공간(232) 내에서 탐색하기 시작할 때, 가상 물리 공간(232) 내에 배열된 객체(270-274)가 사용자에 대해 배치되도록 사용자가 X, Y 및 Z 축의 원점에 있다. 그에 따라, 가상 물리 공간(232) 내에서 탐색할 때, 사용자는 앞으로 또는 뒤로 가는 것 또는 장치(100)를 다양한 방향으로 움직이는 것[이는 장치(100) 내의 센서에 의해 검출될 수 있음]에 의해 원점으로부터 멀어지게 움직일 수 있다. 이러한 움직임의 결과 사용자가 원점으로부터 멀어지게 움직일 수 있다. 그렇지만, 사용자는 사용자가 다시 중앙에 오도록 그래픽 사용자 인터페이스(240)를 리셋시킬 수 있다. 그에 부가하여, 나중에 가상 물리 공간(232)을 재활성화시킬 때, 사용자의 위치가 원점으로 리셋될 수 있다.
가상 물리 공간(232)을 포함하는 그래픽 사용자 인터페이스(240)를 제공하는 본 발명의 실시예에서, 사용자는 가상 물리 공간에 "떠 있는" 응용 프로그램 및 데이터를 표현하는 볼 또는 블록과 같은 상이한 가상 물리 객체(270-274)를 보기 위해 다양한 위치 및 배향으로 장치를 움직일 수 있다. 사용자는, 객체를 선택하고 이를 가상 물리 공간(232) 내의 새로운 위치로 드래그하는 등에 의해, 다양한 가상 물리 객체(270-274)의 위치를 배열할 수 있다. 예를 들어, 사용자는 빈번히 액세스되는 기능을 표현하는 객체가 사용자의 "근방"에 배치되고, 즉 그 객체가 X, Y 및 Z 축의 원점에 가까운 좌표에 배치되고 덜 빈번히 액세스되는 기능을 표현하는 객체가 사용자의 위치로부터 보다 멀리 배치되도록 객체(270-274)를 배열할 수 있다. 따라서, 빈번히 사용되는 기능에 액세스하는 것이 보다 쉬울 수 있는데, 그 이유는 장치(100)를 덜 움직여도 될 수 있기 때문이다.
일부 실시예에서, 사용자는 하나 이상의 센서(140)에 의해 검출되는 다른 유형의 움직임 또는 제스처를 통해 가상 물리 공간(232) 또는 가상 물리 객체(270-274)와 상호작용할 수 있다. 장치(100)가 경사지거나, 흔들리거나 다른 방식으로 움직일 때, 하나 이상의 센서는 이들 움직임을 검출하고, 통신 장치의 움직임에 적어도 부분적으로 기초하여 센서 신호를 발생할 수 있다. 일 실시예에서, 가속도계 센서는 장치(100)의 경사 및 가속도를 검출하도록 구성되어 있다. 장치(100)가 경사질 때, 가속도계는 장치(100)의 기울기 또는 가속도에 적어도 부분적으로 기초하여 신호를 프로세서로 전송하도록 구성될 수 있다. 다른 실시예에서, 디스플레이(120)는 터치 감응 디스플레이 상에서의 제스처 또는 위치 입력을 검출하도록 구성된 터치 감응 디스플레이를 포함한다. 손가락이 터치 감응 디스플레이 상에 배치되거나 드래그될 때, 터치 감응 디스플레이는, 손가락 움직임의 속도 또는 압력과 같은, 손가락 움직임에 적어도 부분적으로 기초하여 신호를 발생할 수 있다. 또 다른 실시예에서, 장치(100)는 장치(100)의 측면 또는 배면 상에 또는 디스플레이 상에와 같이 장치의 하나 이상의 면 상에 압력 센서를 포함한다. 사용자는 가상 물리 공간(230) 또는 가상 물리 객체(270-274)를 선택하거나 그와 상호작용하기 위해 하나 이상의 위치에서 이러한 압력 센서를 터치할 수 있다.
일 실시예에서, 센서 신호를 수신할 시에, 프로세서(130)는 센서 신호에 적어도 부분적으로 기초하여 가상 물리 공간과의 상호작용을 결정하도록 구성되어 있다. 예를 들어, 가상 물리 공간을 통한 탐색은 센서 신호로부터 추출된 특징에 적어도 부분적으로 기초할 수 있다. 예를 들어, 장치(100)를 전방으로 경사지게 하는 것은 가상 물리 공간에서 전진 움직임(forward movement)으로 변환될 수 있다. 장치(100)를 우측으로 또는 좌측으로 움직이는 것은 가상 물리 공간에서 우측 또는 좌측을 보는 것으로 변환될 수 있다.
일부 실시예에서, 2명의 사용자가 동일한 가상 물리 공간에 액세스하기 위해 연결할 수 있거나, 그 각자의 가상 물리 공간을 병합할 수 있다. 예를 들어, 도 2c 및 도 2d는 그 각자의 가상 물리 공간에 연결된 2명의 사용자를 나타내고 있다. 이러한 실시예는 상이한 장치 간에 데이터 또는 응용 프로그램을 공유하는 것을 용이하게 해줄 수 있다. 예를 들어, 일 실시예에서, 2명 이상의 사용자가 그 각자의 장치 상에서 가상 물리 공간(232, 234)을 활성화시킬 수 있고 이어서 그의 그래픽 사용자 인터페이스에 기본 제공된 기능을 사용하여 서로에 연결할 수 있다. 이러한 실시예에서, 각자의 사용자는 자신의 장치의 내용물을 표현하는 가상 물리 공간(232, 234)을 볼 수 있고 상대방 사용자(또는 사용자들)의 장치의 가상 물리 공간(232, 234)은 물론 그 자신의 내용물을 볼 수 있다. 예를 들어, 도 2c에 도시된 일 실시예에서, 제1 사용자의 가상 물리 공간(232)의 한 경계에, 제1 사용자의 가상 물리 공간(232)과 다른 사용자의 가상 물리 공간(234) 사이의 경계를 표시하기 위해 부분적으로 투명한 화면이 나타날 수 있다. 다른 실시예에서, 2명의(또는 그 이상의) 사용자가 도 2d에 도시된 바와 같이 그 각자의 가상 물리 공간에 연결할 때, 각각의 사용자의 가상 물리 공간의 내용물 중 일부 또는 전부를 포함하는 새로운 가상 물리 공간(236)이 생성될 수 있다. 특정의 가상 물리 객체(270-274, 280-284)의 소유권은 시각적으로, 촉각적으로 또는 청각적으로 표시될 수 있다. 예를 들어, 제1 사용자가 제2 사용자 소유의 객체(283)를 탐색할 때, 제1 사용자는 그 자신의 가상 물리 객체(270-274) 중 하나를 탐색할 때 느끼는 것과 상이한 햅틱 효과를 경험할지도 모른다.
일 실시예에서, 제1 사용자는 그의 장치를 사용하여 제1 가상 물리 공간(232)을 활성화시킬 수 있고, 제2 사용자는 그의 장치를 사용하여 제2 가상 물리 공간(234)을 활성화시킬 수 있다. 제1 사용자는 그의 장치를 조작하여, 제1 가상 물리 공간(232)을 제2 가상 물리 공간(234)과 연결시키라는 요청을 제2 사용자의 장치로 전송할 수 있다. 제2 사용자는 이어서 그 요청을 받을 수 있고, 2개의 장치가 그 각자의 가상 물리 공간(232, 234)을 연결시킬 수 있다. 일 실시예에서, 제1 사용자는 제1 가상 물리 공간(232)에 대한 확장을 볼 수 있고, 여기서 이 확장은 제2 가상 물리 공간(234)을 포함한다. 이와 유사하게, 제2 사용자는 제2 가상 물리 공간(234)에 대한 확장을 볼 수 있고, 여기서 이 확장은 제1 가상 물리 공간(232)을 포함한다. 따라서, 제1 및 제2 사용자는 제1 및 제2 가상 물리 공간 둘다를 볼 수 있거나 그 둘다 내에서 탐색할 수 있다. 일 실시예에서, 제1 및 제2 가상 물리 공간(232, 234)이 병합하여, 제1 가상 물리 공간(232)으로부터의 객체(270-274)의 일부 또는 전부 및 제2 가상 물리 공간(234)으로부터의 객체(280-284)의 일부 또는 전부를 포함하는 제3 가상 물리 공간(236)을 형성할 수 있다.
가상 물리 공간(232, 234)이 연결된 후에, 사용자는 데이터를 전달하기 위해, 예를 들어, 한 사용자의 장치에 저장된 데이터를 공유하거나 응용 프로그램의 사본을 공유하기 위해, 공유된(제3) 가상 물리 공간(236) 또는 결합된 제1 및 제2 가상 물리 공간(232, 234) 내에서 탐색할 수 있다. 예를 들어, 제1 사용자는 제2 가상 물리 공간(234) 내에서 또는 공유된(제3) 가상 물리 공간(236) 내에서 제2 사용자의 장치 상의 노래를 표현하는 객체(283)를 볼 수 있다. 제1 사용자는 장치(100)를 조작하여, 노래 객체(283)를 선택하여 들을 수 있거나 노래 객체(283)를 듣기 위한 허가를 요청할 수 있다. 제2 사용자의 장치는 요청을 수신할 수 있고, 제2 사용자는 햅틱 효과, 시각적 단서, 또는 청각적 단서의 형태 등으로 통지를 받을 수 있다. 제2 사용자는 이어서 그의 장치를 조작하여, 요청을 수락하거나 요청을 거부할 수 있다. 제2 사용자로부터 허가를 수신할 시에, 또는 노래(283)를 선택한 후에, 노래(283)가 제1 사용자를 위해 그의 장치 상에서 재생된다. 노래를 들은 후에, 제1 사용자는 이어서 노래를 선택하여, 제1 사용자의 장치에 저장된 객체(270-274)를 표현하는 가상 물리 공간(232) 등의 가상 물리 공간의 일부 내로 드래그할 수 있거나, 객체가 제1 사용자의 장치로 복사되어야만 한다는 것을 나타내는 제스처를 할 수 있다. 사용자는 이와 유사하게 공유된 가상 물리 공간(236) 내에서 탐색하고 다양한 가상 물리 객체(270-274, 280- 284)와 상호작용함으로써 다른 응용 프로그램 또는 데이터(사진 또는 비디오 등)를 공유할 수 있다.
일 실시예에서, 다수의 사용자가 사용자의 장치 각각에서 실행 중인 공통 응용 프로그램 또는 공유된 응용 프로그램을 사용하여 동일한 가상 물리 공간(236)에 액세스하여 상호작용할 수 있다. 예를 들어, 일 실시예에서, 각각의 사용자는 사용자가 채팅방에서 채팅할 수 있게 해주는 채팅 응용 프로그램(272)을 실행할 수 있다. 채팅방은 각각의 사용자가 액세스할 수 있는 공유된 가상 공간에 표현될 수 있다. 사용자는, 메시지를 표현하는 가상 물리 객체를 발생하고 이를 채팅방을 표현하는 공유된 가상 물리 공간 내로 전달하는 것 등에 의해, 그 자신의 사적 가상 물리 공간에 가상 메시지를 발생할 수 있다. 예를 들어, 사용자는 메시지를 발생하고 이를 가상 메시지 객체 내에 캡슐화하며, 가상 메시지 객체를 고속으로 채팅방 쪽으로 드래그하는 등에 의해, 가상 메시지 객체에 물리적 특성을 적용할 수 있다. 가상 메시지 객체가 채팅방에 들어갈 때, 각각의 상대방 사용자는 물리적 속성을 갖는 메시지를 수신할 것이다. 그에 부가하여, 사용자는 가상 메시지 객체를 채팅방이 아니라 다른 사용자의 가상 사적 공간 내로 전달하여, 많은 종래의 채팅방에서 이용가능한 귓속말 기능을 시뮬레이트함으로써, 가상 메시지 객체를 다른 개별 사용자에게 전달할 수 있다. 이러한 상호작용은 다양한 사용자에게 보다 풍부한 채팅 경험을 가능하게 해줄 수 있다.
가상 물리 공간 비유로 돌아가서, 일부 실시예에서, 사용자는, 장치(100)를 상이한 방향으로 또는 상이한 배향을 통해 움직이는 것에 의해, 가상 물리 공간(230-236)과 상호작용할 수 있다. 그렇지만, 일부 실시예에서, 사용자는 상이한 유형의 센서(140)를 가지는 장치(100)와 상호작용할 수 있다. 예를 들어, 일 실시예에서, 장치(100)는 장치의 디스플레이의 반대쪽에 있는 표면과 같은 장치(100)의 배면 상에 위치하는 다중-터치 압력 센서를 포함할 수 있다. 사용자는 하나 이상의 위치에서 압력 센서(140)를 터치하고, 센서(140)와의 접촉 위치에 대응하는 위치에서 디스플레이 상에 디스플레이되는 점 또는 커서로서, 터치의 시각적 피드백을 수신할 수 있다. 사용자는 이어서 센서(140)와 상호작용하여, 장치(100)에 의해 디스플레이되는 그래픽 사용자 인터페이스를 탐색하기 위해 제스처 또는 기타 입력을 제공할 수 있다. 일부 실시예에서, 디스플레이는 터치-감응일 수 있고, 따라서 장치의 배면에 있는 터치-감응 센서와의 접촉은 사용자가 터치 감응 디스플레이에 접촉하는 것처럼 그래픽 사용자 인터페이스에 대한 제어를 제공할 수 있다. 그렇지만, 일부 실시예에서, 입력이 장치(100)의 배면에 있는 터치-감응 센서를 사용하여 행해지는 것은 터치 감응 디스플레이를 사용하여 이용가능한 것과 상이한 명령을 가능하게 해줄 수 있다. 일부 실시예에서, 이러한 다중-터치 또는 기타 센서는, 장치(100)의 배면 상의 센서에 부가하여 또는 그 대신에, 장치(100)의 하나 이상의 측면 상에 위치할 수 있다.
일부 실시예에서, 사용자가 가상 물리 공간과 상호작용하는 동안, 프로세서에 의해 발생된 햅틱 또는 소리 효과가 가상 물리 공간과의 상호작용을 시뮬레이트할 수 있다. 예를 들어, 사용자가 하나의 가상 물리 객체로부터 다른 가상 물리 객체로 탐색해갈 때, 프로세서는, 그래픽 사용자 인터페이스의 디스플레이를 업데이트하는 것에 부가하여, 작동기로 하여금 햅틱 효과를 사용자에게 출력하게 하도록 구성된 하나 이상의 작동기 신호를 발생할 수 있다. 예를 들어, 사용자는 새로운 기능에 도달할 시에 작은 "펑 소리(pop)" 또는 진동을 경험할 수 있다. 일 실시예에서, 한 사용자가 사진과 같은 가상 물리 객체를 가상 물리 공간 내의 다른 사용자에게 전송할 때, 진동 및 소리는 사진이 제1 사용자에 의해 전송되고 제2 사용자에 의해 수신되었다는 것을 나타낼 수 있다. 이러한 가상 물리 객체의 전송은 또한 속도, 질량(예를 들어, "무거운" 객체가 큰 파일 크기를 가질 수 있음) 또는 긴급성과 같은 객체의 속성에 기초하여 햅틱 효과가 발생되게 할 수 있다. 장치(100)와 같은 제1 장치는 제2 장치로부터 가상 물리 객체를 수신하고, 객체가 수신되었다는 것을 나타내기 위해, 햅틱 효과 또는 가청 소리를 출력할 수 있다. 가상 물리 공간을 사용하는 그래픽 사용자 인터페이스의 또 다른 실시예들이 당업자에게는 명백할 것이다.
이제 도 3을 참조하면, 도 3은 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 제공하는 방법을 나타낸 것이다. 도 3에 도시된 실시예에서, 방법(300)은 사용자 인터페이스와의 사용자 상호작용을 결정하는 복수의 단계를 포함한다.
도 1에 도시된 장치 및 도 2에 도시된 그래픽 사용자 인터페이스와 관련하여 기술되는 본 발명의 일 실시예에서, 방법(300)은 센서(도시 생략)가 장치(100)의 움직임을 감지하는 단계(310)에서 시작한다. 예를 들어, 일 실시예에서, 장치(100)는 Z-축을 따른 장치(100)의 움직임을 검출하는 자이로 센서(140)를 포함한다. 센서는 거리, 속도, 방향, 가속도, 가속도율(또는 저크), 배향, 회전 속도, 회전 가속도(예를 들어, 토오크), 또는 지속기간(이들로 제한되지 않음)과 같은 Z-축을 따른 움직임을 나타내는 정보를 포함하는 센서 신호를 발생하여 출력한다. 센서가 센서 신호를 출력한 후에, 이 방법은 단계(320)로 진행한다.
단계(320)에서, 도 1에 도시된 장치(100)의 일 실시예의 프로세서(130)는 센서 신호를 수신하고 센서 신호에 적어도 부분적으로 기초하여 사용자 인터페이스(210)와 연관된 명령을 결정한다. 예를 들어, 프로세서(130)는 가상 작업 공간(또는 가상 물리 공간)(230-236) 내에서의 움직임을 결정한다. 예를 들어, 일 실시예에서, 프로세서(130)는 오른쪽으로의 장치(100)의 움직임을 나타내는 센서 신호를 수신한다. 프로세서(130)는 사용자가 가상 창을 작업 공간 내로 특정 거리만큼 우측으로 움직임으로써 보기를 가상 작업 공간(230)으로 변경했다고 판정한다. 그렇지만, 다른 실시예들에서, 이러한 움직임이 상이하게 해석될 수 있다. 예를 들어, 일 실시예에서, 장치(100)를 오른쪽으로 움직이는 것이 프로세서(130)에 의해 현재 선택된 객체의 오른쪽에 있는 그 다음 이용가능한 객체로 가는 것으로 해석될 수 있다.
장치(100)의 추가적인 움직임이 상이한 방식으로 해석될 수 있다. 예를 들어, 사용자는 장치를 왼쪽으로 회전시킬 수 있다. 프로세서는 움직임을 가상 물리 공간(230-236)과의 레이트-제어(rate-control) 상호작용 또는 가상 물리 공간(230-236)에 대한 보기의 회전으로서 해석할 수 있다. 본 발명의 실시예에서, 레이트-제어는 장치(100)의 위치에 의해 표시되는 레이트에서의 일정한 움직임(constant movement)을 말한다. 예를 들어, 사용자가 장치(100)를 오른쪽으로 20도만큼 회전시키는 경우, 가상 작업 공간(230-236)에 대한 보기가 하나의 레이트로 오른쪽으로 움직일 수 있다. 사용자가 회전을 45도로 증가시키는 경우, 보기가 증가된 레이트로 오른쪽으로 움직일수 있다. 이와 달리, 위치 제어 모드(position control mode)에 의해 가상 작업 공간(230-236) 내에서의 움직임이 특정 방향에서 장치(200)의 움직임에 비례할 수 있다. 예를 들어, 사용자가 장치(100)를 왼쪽으로 3인치만큼 움직이는 경우, 가상 작업 공간(230-236)에 대한 대응하는 보기가 가상 작업 공간(230-236) 내에서 12 인치에 상응하는 양 만큼 왼쪽으로 움직일 수 있다. 장치(100)의 움직임을 가상 작업 공간(230-236) 내로 매핑하는 또 다른 방법이 이용될 수 있다.
예를 들어, 일 실시예에서, 프로세서(130)는 사용자가 가상 작업 공간(230-236)을 활성화시킨 것으로 판정할 수 있다. 이러한 실시예에서, 센서(140)는 장치(100)의 신속한 움직임을 감지하고 센서 신호를 프로세서(130)로 전송할 수 있다. 프로세서(130)는 센서 신호를 수신하고, 센서 신호에 적어도 부분적으로 기초하여 가상 작업 공간(230-236)이 활성화되었는지를 판정한다. 프로세서(130)가 사용자가 가상 작업 공간(230-236)과 상호작용하고 있는 것으로 이미 판정한 경우, 프로세서(130)는 센서 신호에 적어도 부분적으로 기초하여 가상 작업 공간(230-236) 내에서의 움직임을 결정할 수 있다. 예를 들어, 일 실시예에서, 센서 신호가 어떤 방향에서의 장치(100)의 갑작스런 재빠른 움직임을 나타낼 수 있다. 이러한 경우에, 프로세서(130)는 사용자가 그 방향으로 신속하게 스크롤하려고 시도하고 있는 것으로 판정할 수 있고, 가상 작업 공간(230-236) 내에서 시뮬레이트된 마찰력에 의해 시간의 경과에 따라 감소되어 정지되는 관성 움직임을 시뮬레이트할 수 있다. 그렇지만, 다른 실시예에서, 프로세서(130)는 이러한 움직임이 움직임의 방향에서 그 다음으로 이용가능한 기능으로의 움직임을 나타낸다고 판정할 수 있다.
프로세서가 사용자 인터페이스(210)와 연관된 명령을 결정한 후에, 방법(300)은 단계(330)로 진행한다. 다른 대안으로서, 사용자는 또한 장치(100)를 조작할 수 있다. 이러한 경우에, 방법은 단계(310)로 되돌아간다.
단계(330)에서, 프로세서(130)는 사용자 인터페이스와 연관된 움직임에 기초하여 기능을 결정한다. 예를 들어, 프로세서(130)가 가상 작업 공간(230-236) 내에서의 움직임을 결정한 후에, 프로세서(130)는 기능이 식별되었거나 선택되었는지를 판정한다. 예를 들어, 움직임으로 인해 가상 작업 공간(230-236)에 대한 보기의 중심에 가상 객체가 있는 경우, 프로세서(130)는 가상 객체가 선택된 것으로 판정할 수 있다. 프로세서(130)가, 움직임에 기초하여, 선택된 기능을 결정한 후에, 방법(300)은 단계(340)로 진행한다.
단계(340)에서, 프로세서(130)는 기능이 실행되어야 한다는 것을 나타내는 추가의 입력을 수신한다. 예를 들어, 일 실시예에서, 사용자는 버튼을 누르거나, 장치(100)의 터치 감응 디스플레이(120) 상의 영역을 터치하거나, 압력 센서를 압박하여, 프로세서(130)로 하여금 기능을 수행하게 할 수 있다. 다른 실시예에서, 사용자는 실행 제스처와 연관된 방식으로 장치(100)를 움직일 수 있다. 예를 들어, 사용자는 선택된 기능이 실행되어야만 한다는 것을 나타내기 위해 장치(100)로 태핑 동작을 할 수 있다. 프로세서(100)가 선택된 기능이 실행되어야 한다는 표시를 수신하면, 프로세서(130)는 기능을 실행한다. 기능이 실행된 후에, 방법은 단계(310)로 되돌아가고, 사용자는 부가의 작업을 수행하기 위해 장치를 추가로 조작할 수 있다.
가상 물리 공간에 관한 그래픽 사용자 인터페이스에 부가하여, 본 발명의 부가의 실시예는 원하는 기능에의 용이한 액세스를 가능하게 해주거나 한쪽 손만을 사용하여 사용자 인터페이스의 용이한 조작을 가능하게 해주도록 구성된 그래픽 사용자 인터페이스를 제공한다.
이제 도 4를 참조하면, 도 4는 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 나타낸 것이다. 도시된 실시예에서, 장치(400)는 다양한 기능을 수행하기 위해 사용자에 의해 선택가능한 복수의 아이콘(420a-420f)을 갖는 사용자 인터페이스(410)를 포함한다. 예를 들어, 사용자 인터페이스는 이메일 기능에 대응하는 아이콘(420b)을 포함하며, 이로써 그 아이콘이 사용자에 의해 선택될 때, 이메일 응용 프로그램이 실행되고 사용가능하게 된다. 사용자가 사용자 인터페이스(410)를 탐색하는 것을 돕기 위해, 사용자 인터페이스(410)는 실행할 기능을 선택하기 위해 변속 패턴(440) 내에서 사용자에 의해 조작가능한 기어 변속 손잡이(430)를 포함한다. 일 실시예에서, 사용자는 기어 변속 손잡이(430)를 터치하고 손잡이를 원하는 기능으로 드래그할 수 있다. 그에 부가하여, 사용자는 변속 손잡이(430)를 움직이기 위해 변속 패턴(440) 내에서 원하는 방향으로 장치(200)를 흔들 수 있다(또는 떨게 할 수 있다). 이러한 실시예에서, 장치(400) 내에 배치된 센서(도시 생략)(자이로 센서 또는 기타 적당한 센서 등)는 장치(400)의 움직임을 검출하고 움직임을 나타내는 센서 신호를 출력하도록 구성되어 있다. 장치(400) 내에 배치된 프로세서(도시 생략)는 센서 신호를 수신하고 장치(400)의 움직임에 대응하는 변속 패턴 내에서의 변속 손잡이(430)의 움직임을 결정하도록 구성되어 있다. 예를 들어, 사용자가 장치(400)를 왼쪽으로 떨게 하는 경우, 프로세서는 왼쪽으로의 장치(400)의 움직임을 나타내는 센서 신호를 수신하고 변속 손잡이의 대응하는 움직임을 결정한다.
주목할 점은, 일부 실시예에서, 장치(400)가 각종의 배향으로 유지될 수 있기 때문에, 움직임의 방향이 장치(400)의 배향에 따라 변할 수 있다는 것이다. 예를 들어, 도시된 실시예에서, 사용자는 장치(400)를 제1 배향으로 유지하고 있다. 그렇지만, 사용자는 장치(400)를 시계 방향으로 90도만큼 회전시키기로 할 수 있다. 이러한 경우에, 사용자 인터페이스는, 비록 이전의 "세로" 보기보다는 "가로" 보기에 있지만, 변속 패턴이 사용자에 대해 동일한 배향을 유지하도록, 반대 방향으로 90도만큼 회전할 수 있다.
일 실시예에서, 사용자 변속 패턴은 사용자 인터페이스의 평면에서 직교하는 X축 및 Y축에 대응하는 2차원 패턴을 포함할 수 있다. 이러한 실시예에서, 사용자는 기능이 실행되어야만 한다는 것을 나타내기 위해 장치를 제3 차원으로(예를 들어, 위로 또는 아래로) 흔듦(떨게 함)으로써 기능을 활성화시킨다. 이러한 실시예는 장치(400)를 조작하기 위해 양손을 사용할 수 없을지도 모르는 사용자에게 유용할 수 있다(예를 들어, 한쪽 손은 장치(400)를 잡고 있고 다른 손은 기능을 선택함). 이러한 상황에서, 사용자는 한쪽 손만을 사용해 사용자 인터페이스를 조작하여 기능을 선택하고 활성화시킬 수 있다.
관련 실시예에서, 장치(400)는 장치(400)의 배면에 위치하는 다중-터치 센서를 포함할 수 있다. 이러한 실시예에서, 사용자는 하나 이상의 손가락을 사용해, 명령을 장치(400)로 전송하여 그래픽 사용자 인터페이스와 상호작용할 수 있다. 사용자의 손가락의 위치의 시각적 표시가 커서 또는 모식화된(stylized) 손가락 끝 아이콘에 의해 제공될 수 있다. 일부 실시예에서, 장치(400)는 사용자의 손가락의 위치의 햅틱 표시(진동 등)를 제공할 수 있다.
이제 도 5를 참조하면, 도 5는 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스(500)를 나타낸 것이다. 도 5에 도시된 실시예에서, 사용자는 장치(510) 내에 저장된 연락처(520a-520d)의 목록을 탐색하였다. 각각의 연락처에 대해, 사용자는 전화를 거는 것, 문자 메시지를 전송하는 것, 이메일을 전송하는 것, 또는 사용자의 연락처 정보를 편집하는 것과 같은 수행될 각종의 기능에 액세스할 수 있다. 도 5에 도시된 실시예에서, 사용자는 디스플레이된 연락처에 대응하는 위치에서 장치(510)의 터치 감응 디스플레이를 터치할 수 있다. 터치-감응 스크린은, 연락처를 검출할 때, 신호를 장치(510) 내의 프로세서(도시 생략)로 전송하며, 이로 인해 사용자의 손가락 둘레에 고리 모양으로 배열된 복수의 기능을 갖는 메뉴(530)가 나타난다. 이러한 실시예에서, 사용자는 이어서 원하는 기능의 방향으로 자신의 손가락을 움직이거나 튕길 수 있거나, 메뉴(530)가 사라지게 하기 위해 자신의 손가락을 터치 스크린으로부터 제거할 수 있다.
움직임 감지를 사용하는 관련 실시예에서, 사용자는 어떤 방향으로 장치(510)를 흔듦으로써 연락처(530a-530d)의 목록을 스크롤하고 이어서, 커서, 선택 상자(selector box) 또는 기타 그래픽 사용자 인터페이스 요소가 원하는 연락처가 선택되었음을 나타낼 때, 장치를 떨게 함으로써 연락처를 선택할 수 있다. 사용자는 이어서 원형 메뉴(530)가 나타나게 할 수 있고 원하는 기능의 방향으로 장치(510)를 떨게 할 수 있거나, 메뉴(530)가 사라지게 하기 위해 장치를 흔들 수 있다. 이러한 실시예는 장치(510)와 상호작용하는 보다 간단하고 보다 직관적인 사용자 인터페이스를 제공할 수 있다. 장치 내에서 다른 기능이 이용가능한 경우 또는 가상 물리 공간 내에서 탐색할 때 이러한 메뉴 시스템(530)이 사용될 수 있다.
이제 도 6을 참조하면, 도 6은 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스(600)를 나타낸 것이다. 도 6에 도시된 실시예에서, 그래픽 사용자 인터페이스는 휠을 따라 배열된 복수의 아이콘을 갖는 가상 회전 휠(virtual rotary wheel)을 포함한다. 이러한 그래픽 사용자 인터페이스가 유리할 수 있는데, 그 이유는 사용자가 한쪽 손만을 사용하여 인터페이스를 효율적으로 탐색할 수 있기 때문이다. 예를 들어, 사용자는 사용자의 엄지 손가락이 장치의 터치 감응 디스플레이(620)와 상호작용할 수 있도록 도 6에 도시된 바와 같이 장치(610)를 잡을 수 있다. 사용자는 원하는 기능을 표현하는 아이콘을 엄지 손가락이 쉽게 도달할 수 있는 위치로 가져오기 위해 엄지 손가락을 사용하여 휠(630)을 회전시킬 수 있다. 사용자는 이어서, 아이콘을 엄지 손가락으로 태핑하는 등에 의해, 원하는 기능을 실행할 수 있다. 관련 실시예에서, 장치는 사용자가 그래픽 사용자 인터페이스(600)와 상호작용하기 위해 조작할 수 있는, 장치의 측면에 또는 장치의 배면에 위치하는 터치-감응 센서를 포함할 수 있다. 이러한 실시예에서, 이러한 휠에 의해 기타 유형의 데이터(예를 들어, 연락처, 사진, 음악 또는 비디오)가 액세스될 수 있다.
이제 도 7을 참조하면, 도 7은 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스(700)를 나타낸 것이다. 도 7에 도시된 실시예에서, 복수의 기능[예를 들어, 기능(740a)]이 목록(730)에서 시뮬레이트된 깊이 차원으로 배열되어 있다. 예를 들어, 목록을 따라 있는 항목들이 사용자로부터 더 가까이 또는 더 멀리 디스플레이될 수 있고, 사용자는 장치(710)의 터치 감응 디스플레이(720)를 터치하고 손가락을 한 방향 또는 다른 방향으로 드래그함으로써 목록을 스크롤할 수 있다. 다른 실시예에서, 사용자는 장치의 측면 또는 배면과 같은 장치(710)의 다른 부분에 위치하는 다중-터치 센서와 같은 터치-감응 센서와 상호작용할 수 있다.
게다가, 사용자는 보다 일반적인 응용 프로그램보다는 특정의 번호를 호출하거나 특정의 사용자에게 문자를 보내는 기능 등 목록에 포함될 특정의 기능을 선택할 수 있다. 이들 특정의 기능은 포함시키기 위해 사용자에 의해 수동으로 선택될 수 있거나, 파라미터에 기초하여 장치에 의해 자동으로 관리될 수 있거나, 수동으로도 자동으로도 관리될 수 있다. 특정의 기능을 자동으로 배열할 때, 장치(610)는 가장 빈번히 사용되는 기능을 선택하거나 어떤 다른 메트릭(예를 들어, 사용자가 사용자의 이전의 습관에 기초하여 주어진 기능을 선택할 가능성)에 기초하여 기능을 정렬할 수 있다. 그에 부가하여, 사용자는, 스위치(750)를 사용하는 등에 의해, 2개 이상의 상이한 자동화된 배열 사이에서 토글할 수 있다.
이제 도 8을 참조하면, 도 8은 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스(800)를 나타낸 것이다. 도 8에 도시된 실시예에서, 그래픽 사용자 인터페이스(800)는 비종래적인 검색 기능을 제공한다. 종래의 검색 기능에서는 검색이 실행되게 하기 위해 사용자가 단어 또는 몇개의 문자를 입력해야 하지만, 도 8에 도시된 실시예에서, 사용자는 단순히 터치-감응 스크린(820) 상에서 글자를 쓰거나 검색될 용어를 나타내는 다양한 글자의 형상으로 장치(810)를 움직임으로써 검색을 활성화시킬 수 있다. 사용자가 검색어의 첫번째 글자를 표시한 후에, 프로세서(도시 생략)는 응용 프로그램, 데이터 파일, 연락처 등과 같은 항목을 검색하기 시작할 수 있다. 부가의 글자가 검출될 때, 프로세서는 잠재적인 검색 결과의 목록을 추가적으로 축소시킬 수 있다. 검색 조건을 만족시키는 항목이 발견될 때, 장치(810)는 가상 물리 공간 내의 가상 객체 등 본 명세서에 개시된 다양한 그래픽 사용자 인터페이스에 따라 결과를 디스플레이할 수 있다. 사용자는 이어서 검색 결과를 탐색하고 원하는 객체를 선택할 수 있다.
이제 도 9a 및 도 9b를 참조하면, 도 9a 및 도 9b는 본 발명의 일 실시예에 따른 그래픽 사용자 인터페이스를 나타낸 것이다. 도 9a에 도시된 실시예에서, 사용자는 비종래적인 응답을 사용하여 착신 전화 통화 또는 문자 메시지에 응답할 수 있다. 예를 들어, 통상적으로 사용자가 전화 통화를 수신할 때, 사용자는 전화가 울릴 수 있게 하거가 벨소리(ringer)을 무음으로 함으로써 통화에 응하거나 통화를 무시할 수 있다. 그렇지만, 본 발명의 실시예는 이러한 이벤트에 대응하는 보다 풍부한 옵션을 제공한다.
본 발명의 일 실시예에서, 전화 통화가 수신될 때, 장치(900)는 본 명세서에 개시된 것과 같은, 본 발명의 다양한 실시예에 따라 배열된 복수의 옵션(910-930)을 사용자에게 제시할 수 있다. 이 옵션은 메시지에 응답하거나 호출를 무시하지만 응답을 전송하는 옵션을 포함할 수 있다. 예를 들어, 사용자가 남자 친구로부터 호출을 수신하지만 전화에 응답할 수 없는 경우, 사용자는 한쌍의 입술의 아이콘을 선택할 수 있다. 호출이 무시될 것이지만, 메시지가 발신자에게 전송될 것이고, 장치(950)의 화면 상에 디스플레이되거나 햅틱 효과로서 출력될 것이다. 다른 대안으로서, 사용자가 남자 친구에게 화가 나 있는 경우, 사용자는 호출을 무시하기 위해 또는 문자 메시지에 응답하기 위해 주먹 또는 닫힌 문을 갖는 아이콘을 선택할 수 있다. 일 실시예에서, 호출자는 이어서 호출이 무시되었다는 것을 표시하기 위해 주먹의 그림 또는 문이 꽝하고 닫히는 것을 나타내는 햅틱 효과를 갖는 문을 닫는 애니메이션과 함께 갑작스런 강한 햅틱 효과를 수신할 것이다. 일부 실시예에서, 사용자는 장치의 측면 또는 배면에 위치하는 압력 센서와 같이 장치에 위치하는 하나 이상의 센서와 상호작용하거나, 전화 통화에 응답하여 또는 전화 통화 동안에 장치를 움직임으로써 호출자에게 응답을 전송할 수 있다. 예를 들어, 일 실시예에서, 장치는 장치의 측면에 위치하는 압력 센서를 포함할 수 있다. 이러한 실시예를 사용하여, 사용자는 상대방 당사자에게 햅틱 신호(껴안기 등)를 전송하기 위해 장치를 압박할 수 있다.
본 발명의 실시예는 디지털 전자 회로에서, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어에서, 또는 이들 기술의 조합으로 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서와 연결된 랜덤 액세스 메모리(RAM) 등의 컴퓨터 판독가능 매체를 포함한다. 프로세서는 메시징을 위한 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어를 실행한다. 이러한 프로세서는 마이크로프로세서, 디지털 신호 처리기(DSP), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 및 상태 기계를 포함할 수 있다. 이러한 프로세서는 PLC, PIC(programmable interrupt controller), PLD(programmable logic device), PROM(programmable read-only memory), 전기적 프로그램가능 판독 전용 메모리(EPROM 또는 EEPROM), 또는 기타 유사한 장치 등 프로그램가능 전자 장치를 추가로 포함할 수 있다.
이러한 프로세서는, 프로세서에 의해 실행될 때, 프로세서로 하여금 프로세서에 의해 수행되거나 용이하게 되는 본 명세서에 기술된 단계를 수행하게 하는 명령어를 저장하는 매체(예를 들어, 컴퓨터 판독가능 매체)를 포함하거나 그와 통신하고 있을 수 있다. 컴퓨터 판독가능 매체의 실시예는 프로세서(웹 서버 내의 프로세서 등)에게 컴퓨터 판독가능 명령어를 제공할 수 있는 전자, 광학, 자기 또는 기타 저장 또는 전송 장치를 포함할 수 있지만, 이들로 제한되지 않는다. 매체의 다른 일례는 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 기타 자기 매체, 또는 컴퓨터 프로세스가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되지 않는다. 또한, 라우터, 사설망 또는 공중망, 또는 기타 전송 장치 등 다양한 다른 장치가 컴퓨터 판독가능 매체를 포함할 수 있다. 기술된 프로세서 및 처리는 하나 이상의 구조에 있을 수 있고, 하나 이상의 구조에 걸쳐 분산되어 있을 수 있다. 프로세서는 본 명세서에 기술된 방법들 중 하나 이상(또는 방법들 중 일부)을 수행하는 코드를 포함할 수 있다.
일반
본 발명의 바람직한 실시예를 비롯한 실시예에 대한 이상의 설명이 단지 예시 및 설명을 위해 제시되어 있으며, 전수적이거나 본 발명을 개시된 구체적인 형태로 제한하기 위한 것이 아니다. 발명의 범위 및 사상을 벗어나지 않고 본 발명의 많은 수정 및 개조가 당업자들에게는 명백할 것이다.
본 명세서에서 "일 실시예" 또는 "실시예"라는 말은 그 실시예와 관련하여 기술된 특정의 특징, 구조, 동작 또는 기타 특성이 본 발명의 적어도 하나의 구현예에 포함되어 있을 수 있다는 것을 의미한다. 본 발명은 그 자체로서 기술된 특정의 실시예로 제한되지 않는다. 본 명세서의 여러 곳에서 나오는 "일 실시예에서" 또는 "실시예에서"라는 문구이 꼭 동일한 실시예를 말하는 것은 아니다. "일 실시예"와 관련하여 본 명세서에 기술된 임의의 특정의 특징, 구조, 동작 또는 기타 특성이 임의의 다른 실시예와 관련하여 기술된 다른 특징, 구조, 동작 또는 기타 특성과 결합될 수 있다.
본 명세서에서 접속사 "또는"의 사용은, 문맥에 따라, 포함적 관계 및 배타적 관계 둘다, 또는 포함적 관계 또는 배타적 관계 중 어느 하나를 포함하기 위한 것이다.
100: 장치
110: 하우징
120: 디스플레이
130: 프로세서
140: 센서
150: 작동기

Claims (21)

  1. 가상 물리 공간을 포함하는 그래픽 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이와,
    상기 가상 물리 공간과의 사용자 상호작용을 검출하도록 구성된 센서와 - 상기 사용자 상호작용은 하나 이상의 자유도(degree of freedom)로 디스플레이를 움직이는 것을 포함함 -,
    상기 디스플레이 및 상기 센서와 통신하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 센서로부터 상기 사용자 상호작용과 연관된 데이터를 포함하는 센서 신호를 수신하고,
    상기 사용자 상호작용에 적어도 부분적으로 기초하여 상기 가상 물리 공간 내에서 하나 이상의 객체의 움직임을 결정하고,
    상기 움직임에 적어도 부분적으로 기초하여 상기 가상 물리 공간의 외관(appearance)을 변경하고,
    상기 사용자 상호작용에 적어도 부분적으로 기초하여 선택안들로부터 실행될 기능을 결정하고 - 상기 기능은 응용 프로그램 선택, 전화 호출, 메시지 전송, 화상 전송, 아이콘 전송, 이메일 전송, 인터넷 브라우징 또는 사용자 연락처 정보 편집을 포함하고, 상기 선택안들은 상기 그래픽 사용자 인터페이스 상에 디스플레이됨 -,
    상기 기능을 실행하도록 구성되는,
    장치.
  2. 제1항에 있어서,
    상기 가상 물리 공간은 복수의 가상 물리 객체를 포함하는,
    장치.
  3. 제1항에 있어서,
    상기 가상 물리 공간은 2차원 가상 물리 공간을 포함하는,
    장치.
  4. 제1항에 있어서,
    상기 가상 물리 공간은 3차원 가상 물리 공간을 포함하는,
    장치.
  5. 제1항에 있어서,
    작동기(actuator)를 더 포함하고,
    상기 프로세서는, 상기 사용자 상호작용에 기초하여 작동기 신호를 생성하고, 상기 작동기 신호를 상기 작동기로 출력하여 상기 작동기로 하여금 햅틱 효과를 출력하도록 추가로 구성되는,
    장치.
  6. 제1항에 있어서,
    상기 프로세서는 원격 장치로부터 원격 신호를 수신하도록 추가로 구성되고,
    상기 원격 신호는 상기 가상 물리 공간과의 공유를 요청하고,
    상기 가상 물리 공간은 상기 원격 장치로부터 상기 원격 신호의 수신 이전에 상기 그래픽 사용자 인터페이스 상에 출력되고,
    상기 원격 신호는 상기 가상 물리 공간과의 제2 사용자 상호작용에 연관된 데이터를 포함하는,
    장치.
  7. 제6항에 있어서,
    상기 기능은 상기 장치로부터 상기 원격 장치로의 데이터 전송과 연관된 명령을 포함하는,
    장치.
  8. 제7항에 있어서,
    상기 프로세서는 상기 원격 신호에 부분적으로 기초하여 상기 명령을 결정하도록 추가로 구성되는,
    장치.
  9. 가상 물리 공간을 포함하는 그래픽 사용자 인터페이스를 디스플레이하는 단계와,
    제1 장치와의 제1 사용자 상호작용을 검출하도록 구성된 센서로부터 센서 신호를 수신하는 단계와 - 상기 제1 사용자 상호작용은 하나 이상의 자유도(degree of freedom)로 상기 제1 장치를 움직이는 것을 포함함 -,
    상기 제1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 가상 물리 공간 내에서 하나 이상의 객체의 움직임을 결정하는 단계와,
    상기 움직임에 적어도 부분적으로 기초하여 상기 가상 물리 공간의 외관을 변경하는 단계와,
    상기 제1 사용자 상호작용에 적어도 부분적으로 기초하여 선택안들로부터 실행될 기능을 결정하는 단계와 - 상기 기능은 응용 프로그램 선택, 전화 호출, 메시지 전송, 화상 전송, 아이콘 전송, 이메일 전송, 인터넷 브라우징 또는 사용자 연락처 정보 편집을 포함하고, 상기 선택안들은 상기 그래픽 사용자 인터페이스 상에 디스플레이됨 -,
    상기 기능을 실행하는 단계를 포함하는,
    방법.
  10. 제9항에 있어서,
    상기 가상 물리 공간은 복수의 가상 물리 객체를 포함하는,
    방법.
  11. 제9항에 있어서,
    상기 가상 물리 공간은 2차원 가상 물리 공간을 포함하는,
    방법.
  12. 제9항에 있어서,
    상기 가상 물리 공간은 3차원 가상 물리 공간을 포함하는,
    방법.
  13. 제9항에 있어서,
    상기 제1 사용자 상호작용에 기초하여 작동기 신호를 생성하는 단계와,
    햅틱 효과를 출력하도록 구성된 작동기로 상기 작동기 신호를 출력하는 단계를 추가로 포함하는,
    방법.
  14. 제9항에 있어서,
    원격 장치로부터 원격 신호를 수신하는 단계를 추가로 포함하고,
    상기 원격 신호는 상기 가상 물리 공간과의 공유를 요청하고,
    상기 가상 물리 공간은 상기 원격 장치로부터 상기 원격 신호의 수신 이전에 상기 그래픽 사용자 인터페이스 상에 출력되고,
    상기 원격 신호는 상기 가상 물리 공간과의 제2 사용자 상호작용에 연관된 데이터를 포함하는,
    방법.
  15. 제14항에 있어서,
    상기 기능은 상기 제1 장치로부터 상기 원격 장치로의 데이터 전송과 연관된 명령을 포함하는,
    방법.
  16. 제15항에 있어서,
    상기 명령은 상기 원격 신호에 부분적으로 기초하여 추가로 결정되는,
    방법.
  17. 프로그램 코드를 포함하는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer readable medium)로서,
    상기 프로그램 코드는 프로세서에 의해 실행될 때 상기 프로세서로 하여금,
    가상 물리 공간을 포함하는 그래픽 사용자 인터페이스를 디스플레이하고,
    제1 장치와의 제1 사용자 상호작용을 검출하도록 구성된 센서로부터 센서 신호를 수신하고 - 상기 제1 사용자 상호작용은 하나 이상의 자유도(degree of freedom)로 상기 제1 장치를 움직이는 것을 포함함 -,
    상기 제1 사용자 상호작용에 적어도 부분적으로 기초하여 상기 가상 물리 공간 내에서 하나 이상의 객체의 움직임을 결정하고,
    상기 움직임에 적어도 부분적으로 기초하여 상기 가상 물리 공간의 외관을 변경하고,
    상기 제1 사용자 상호작용에 적어도 부분적으로 기초하여 선택안들로부터 실행될 기능을 결정하고 - 상기 기능은 응용 프로그램 선택, 전화 호출, 메시지 전송, 화상 전송, 아이콘 전송, 이메일 전송, 인터넷 브라우징 또는 사용자 연락처 정보 편집을 포함하고, 상기 선택안들은 상기 그래픽 사용자 인터페이스 상에 디스플레이됨 -,
    상기 기능을 실행하도록 구성되는,
    컴퓨터 판독 가능 매체.
  18. 제17항에 있어서,
    상기 가상 물리 공간은 3차원 가상 물리 공간을 포함하는,
    컴퓨터 판독 가능 매체.
  19. 제17항에 있어서,
    프로세서에 의해 실행될 때 상기 프로세서로 하여금, 상기 제1 사용자 상호작용에 기초하여 작동기 신호를 생성하고, 햅틱 효과를 출력하도록 구성된 작동기로 상기 작동기 신호를 출력하도록 구성된 프로그램 코드를 추가로 포함하는,
    컴퓨터 판독 가능 매체.
  20. 제17항에 있어서,
    프로세서에 의해 실행될 때 상기 프로세서로 하여금, 원격 장치로부터 원격 신호를 수신하도록 구성된 프로그램 코드를 추가로 포함하고,
    상기 원격 신호는 상기 가상 물리 공간과의 공유를 요청하고,
    상기 가상 물리 공간은 상기 원격 장치로부터 상기 원격 신호의 수신 이전에 상기 그래픽 사용자 인터페이스 상에 출력되고,
    상기 원격 신호는 상기 가상 물리 공간과의 제2 사용자 상호작용에 연관된 데이터를 포함하는,
    컴퓨터 판독 가능 매체.
  21. 제20항에 있어서,
    프로세서에 의해 실행될 때 상기 프로세서로 하여금, 상기 원격 신호에 부분적으로 기초하는 명령을 결정하도록 구성된 프로그램 코드를 추가로 포함하는,
    컴퓨터 판독 가능 매체.
KR1020187026205A 2009-01-29 2010-01-29 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법 KR20180102708A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US14831209P 2009-01-29 2009-01-29
US61/148,312 2009-01-29
US18128009P 2009-05-26 2009-05-26
US61/181,280 2009-05-26
US12/502,702 2009-07-14
US12/502,702 US8638301B2 (en) 2008-07-15 2009-07-14 Systems and methods for transmitting haptic messages
PCT/US2010/022528 WO2010088477A1 (en) 2009-01-29 2010-01-29 Systems and methods for interpreting physical interactions with a graphical user interface

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177021696A Division KR101899506B1 (ko) 2009-01-29 2010-01-29 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20180102708A true KR20180102708A (ko) 2018-09-17

Family

ID=42396029

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020117019912A KR101653432B1 (ko) 2009-01-29 2010-01-29 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법
KR1020187026205A KR20180102708A (ko) 2009-01-29 2010-01-29 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법
KR1020177021696A KR101899506B1 (ko) 2009-01-29 2010-01-29 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법
KR1020167023362A KR101766370B1 (ko) 2009-01-29 2010-01-29 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020117019912A KR101653432B1 (ko) 2009-01-29 2010-01-29 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020177021696A KR101899506B1 (ko) 2009-01-29 2010-01-29 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법
KR1020167023362A KR101766370B1 (ko) 2009-01-29 2010-01-29 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법

Country Status (5)

Country Link
EP (1) EP2391934B1 (ko)
JP (4) JP5793426B2 (ko)
KR (4) KR101653432B1 (ko)
CN (2) CN104407667B (ko)
WO (1) WO2010088477A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010009152A1 (en) 2008-07-15 2010-01-21 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
US8913009B2 (en) 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
BRPI1106085A2 (pt) 2010-02-03 2016-05-10 Nintendo Co Ltd dispositivo de exibição, sistema de jogo, e método de processo de jogo.
JP6243586B2 (ja) 2010-08-06 2017-12-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
US10150033B2 (en) 2010-08-20 2018-12-11 Nintendo Co., Ltd. Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method
JP5988549B2 (ja) * 2010-08-20 2016-09-07 任天堂株式会社 位置算出システム、位置算出装置、位置算出プログラム、および位置算出方法
JP5742163B2 (ja) 2010-10-15 2015-07-01 ヤマハ株式会社 情報処理端末および設定制御システム
KR101364826B1 (ko) 2010-11-01 2014-02-20 닌텐도가부시키가이샤 조작 장치 및 조작 시스템
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
KR102413059B1 (ko) 2012-05-11 2022-06-23 가부시키가이샤 한도오따이 에네루기 켄큐쇼 전자 기기, 기억 매체, 프로그램, 및 표시 방법
US8570296B2 (en) 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
CN103226066B (zh) * 2013-04-12 2015-06-10 北京空间飞行器总体设计部 一种针对巡视器移动运行状态的图形显示界面优化方法
KR20140138424A (ko) 2013-05-23 2014-12-04 삼성전자주식회사 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
US20150005039A1 (en) * 2013-06-29 2015-01-01 Min Liu System and method for adaptive haptic effects
EP3046020A4 (en) * 2013-09-11 2017-04-26 Yulong Computer Telecommunication Scientific (Shenzhen) Co. Ltd. Display method for touchscreen and terminal
US9159294B2 (en) * 2014-01-31 2015-10-13 Google Inc. Buttonless display activation
JP5707519B1 (ja) * 2014-02-05 2015-04-30 日本電信電話株式会社 入力装置、入力方法及びプログラム
CN104932800A (zh) * 2014-03-21 2015-09-23 朱江 一种互动装置
JP2015207242A (ja) * 2014-04-23 2015-11-19 富士通株式会社 電子機器
US10678326B2 (en) * 2015-09-25 2020-06-09 Microsoft Technology Licensing, Llc Combining mobile devices with people tracking for large display interactions
IL264596B (en) 2016-08-04 2022-08-01 Ntt Docomo Inc User terminal and radio communication method
JP6946857B2 (ja) * 2017-08-24 2021-10-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2884720B2 (ja) * 1990-06-15 1999-04-19 ソニー株式会社 ポータブル検索表示装置
JP2502914B2 (ja) 1992-07-31 1996-05-29 インターナショナル・ビジネス・マシーンズ・コーポレイション デ―タ転送方法及び装置
US5666499A (en) * 1995-08-04 1997-09-09 Silicon Graphics, Inc. Clickaround tool-based graphical interface with two cursors
JPH1049290A (ja) * 1996-08-05 1998-02-20 Sony Corp 情報処理装置および方法
JPH10240434A (ja) * 1997-02-27 1998-09-11 Matsushita Electric Ind Co Ltd コマンドメニュー選択方法
JP4251673B2 (ja) * 1997-06-24 2009-04-08 富士通株式会社 画像呈示装置
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
US7844914B2 (en) * 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US20060279542A1 (en) * 1999-02-12 2006-12-14 Vega Vista, Inc. Cellular phones and mobile devices with motion driven control
US6545669B1 (en) 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
JP2000325653A (ja) * 1999-05-19 2000-11-28 Enix Corp 携帯型ビデオゲーム装置およびプログラムを格納した記録媒体
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
EP1222518B1 (en) * 1999-10-18 2004-05-19 BRITISH TELECOMMUNICATIONS public limited company Personal mobile communication device
US7688306B2 (en) * 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
JP2002298160A (ja) * 2001-03-29 2002-10-11 Namco Ltd 携帯型画像生成装置、プログラム及び情報記憶媒体
JP3944824B2 (ja) * 2001-11-09 2007-07-18 ソニー株式会社 データ通信装置、表示方法、プログラム及びプログラム格納媒体
JP2003177864A (ja) * 2001-12-13 2003-06-27 Fuji Photo Film Co Ltd 情報端末システム
US7002553B2 (en) * 2001-12-27 2006-02-21 Mark Shkolnikov Active keyboard system for handheld electronic devices
JP3902508B2 (ja) * 2002-05-20 2007-04-11 任天堂株式会社 ゲームシステムおよびゲームプログラム
JP4218336B2 (ja) * 2002-12-12 2009-02-04 ソニー株式会社 情報処理システム、サービス提供装置および方法、情報処理装置および方法、並びにプログラム
EP1597895A2 (en) * 2003-02-19 2005-11-23 Koninklijke Philips Electronics N.V. System for ad hoc sharing of content items between portable devices and interaction methods therefor
JP4401728B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
US7532196B2 (en) * 2003-10-30 2009-05-12 Microsoft Corporation Distributed sensing techniques for mobile devices
WO2005103863A2 (en) * 2004-03-23 2005-11-03 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices
US7176888B2 (en) * 2004-03-23 2007-02-13 Fujitsu Limited Selective engagement of motion detection
US20050219211A1 (en) * 2004-03-31 2005-10-06 Kotzin Michael D Method and apparatus for content management and control
JP2005332063A (ja) * 2004-05-18 2005-12-02 Sony Corp 触覚機能付き入力装置、情報入力方法及び電子機器
JP2006113859A (ja) * 2004-10-15 2006-04-27 Nec Corp 携帯情報端末及びその表示制御方法
JP2006146440A (ja) * 2004-11-17 2006-06-08 Sony Corp 電子機器及び情報表示選択方法
KR101002807B1 (ko) * 2005-02-23 2010-12-21 삼성전자주식회사 메뉴 화면을 표시하는 단말기에서 메뉴 네비게이션을 제어하는 장치 및 방법
JP2006333355A (ja) * 2005-05-30 2006-12-07 Toshiba Corp 携帯情報処理装置およびその操作方法
JP4507992B2 (ja) * 2005-06-09 2010-07-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7933632B2 (en) 2005-09-16 2011-04-26 Microsoft Corporation Tile space user interface for mobile devices
KR100746008B1 (ko) * 2005-10-31 2007-08-06 삼성전자주식회사 3차원 모션 그래픽 유저 인터페이스, 이를 제공하는 장치및 방법
US8049715B2 (en) * 2005-11-30 2011-11-01 Motorola Mobility, Inc. Method and system for accessing data stored in an electronic device
CN102169415A (zh) * 2005-12-30 2011-08-31 苹果公司 具有多重触摸输入的便携式电子设备
JP2007206755A (ja) * 2006-01-31 2007-08-16 Sony Computer Entertainment Inc 情報処理システム、情報処理装置、情報処理プログラム、情報処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体
US20070268246A1 (en) * 2006-05-17 2007-11-22 Edward Craig Hyatt Electronic equipment with screen pan and zoom functions using motion
KR100772909B1 (ko) * 2006-05-30 2007-11-05 삼성전자주식회사 이미지 검색 방법 및 장치
JP4485492B2 (ja) * 2006-06-27 2010-06-23 ソフトバンクモバイル株式会社 実行機能選択方法及び移動通信端末装置
US20080125224A1 (en) * 2006-09-26 2008-05-29 Pollatsek David Method and apparatus for controlling simulated in flight realistic and non realistic object effects by sensing rotation of a hand-held controller
EP2136537A4 (en) * 2007-03-16 2012-02-15 Nec Corp PORTABLE TERMINAL DEVICE, AND METHOD AND PROGRAM FOR STARTING A FUNCTION THEREOF
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
JP2009003799A (ja) * 2007-06-22 2009-01-08 Aplix Corp ポータブル機器およびポータブル機器における仮想空間の提供方法
CN101178615A (zh) * 2007-12-12 2008-05-14 美新半导体（无锡）有限公司 姿态及运动感应系统及使用该系统的便携式电子设备

Also Published As

Publication number Publication date
KR101899506B1 (ko) 2018-09-20
CN104407667B (zh) 2018-01-09
JP2016154018A (ja) 2016-08-25
KR101653432B1 (ko) 2016-09-01
KR20170093995A (ko) 2017-08-16
CN102301319B (zh) 2014-11-12
JP2012516518A (ja) 2012-07-19
EP2391934B1 (en) 2019-08-28
JP5793426B2 (ja) 2015-10-14
KR20160105915A (ko) 2016-09-07
JP2018185853A (ja) 2018-11-22
CN102301319A (zh) 2011-12-28
CN104407667A (zh) 2015-03-11
KR101766370B1 (ko) 2017-08-08
EP2391934A1 (en) 2011-12-07
KR20110110361A (ko) 2011-10-06
JP2014170568A (ja) 2014-09-18
WO2010088477A1 (en) 2010-08-05
EP2391934A4 (en) 2013-10-30

Similar Documents

Publication Publication Date Title
KR101899506B1 (ko) 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법
US20140189506A1 (en) Systems And Methods For Interpreting Physical Interactions With A Graphical User Interface
JP6463795B2 (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
US10203756B2 (en) Systems and methods for shifting haptic feedback function between passive and active modes
KR102086980B1 (ko) 그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right