KR20130069730A - 투영된 사용자 인터페이스와 상호작용하는 방법들 및 시스템들 - Google Patents

투영된 사용자 인터페이스와 상호작용하는 방법들 및 시스템들 Download PDF

Info

Publication number
KR20130069730A
KR20130069730A KR1020137003937A KR20137003937A KR20130069730A KR 20130069730 A KR20130069730 A KR 20130069730A KR 1020137003937 A KR1020137003937 A KR 1020137003937A KR 20137003937 A KR20137003937 A KR 20137003937A KR 20130069730 A KR20130069730 A KR 20130069730A
Authority
KR
South Korea
Prior art keywords
user interface
mobile device
image
projected
interface image
Prior art date
Application number
KR1020137003937A
Other languages
English (en)
Other versions
KR101601657B1 (ko
Inventor
존 리암 마크
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130069730A publication Critical patent/KR20130069730A/ko
Application granted granted Critical
Publication of KR101601657B1 publication Critical patent/KR101601657B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0272—Details of the structure or mounting of specific components for a projector or beamer module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/54—Details of telephonic subscriber devices including functional features of a projector or beamer module assembly

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

양태의 방법들 및 시스템들은 모바일 디바이스 상에서 수행되는 사용자 입력 제스쳐들을 통해 투영된 사용자 인터페이스와의 상호작용을 가능하게 한다. 모바일 디바이스는 사용자 인터페이스 이미지를 외부 표면 상에, 예컨대, 피코 프로젝터로부터 투영하고, 사용자들에 의해 수행된 사용자 입력 제스쳐들을 검출할 수도 있다. 모바일 디바이스는 검출된 사용자 입력 제스쳐들을 해석하고, 투영된 사용자 인터페이스 이미지를 그 해석된 사용자 입력 제스쳐들에 응답하여 변경할 수도 있다. 사용자 입력 제스쳐들은 모바일 디바이스의 터치스크린 상에서 수행되는 터치 제스쳐들의 형태 및/또는 모바일 디바이스를 터닝, 회전 및/또는 호핑 (hopping) 함으로써 수행되는 손 제스쳐들의 형태일 수도 있다.

Description

투영된 사용자 인터페이스와 상호작용하는 방법들 및 시스템들{METHODS AND SYSTEMS FOR INTERACTING WITH PROJECTED USER INTERFACE}
본 출원은 일반적으로 컴퓨팅 디바이스 사용자 인터페이스들에 관한 것으로, 좀더 구체적으로는, 투영된 이미지들을 조작하는 핸드헬드 컴퓨팅 디바이스를 위한 사용자 인터페이스에 관한 것이다.
무선 통신 기술들은 과거 수년 사이에 폭발적인 성장을 보여 왔다. 이 성장은 움직이는 대중에게 이동의 자유를 제공하고 하드와이어드 통신 시스템들에 대한 구속을 제거하는 무선 서비스들에 의해 자극받아왔다. 모바일 디바이스 애플리케이션들의 지속적으로 증가하는 능력들의 결과로서, 모바일 디바이스들의 인기가 계속 증가할 것으로 예상되고 있다. 모바일 디바이스들이 더욱더 강력해지고 더 많은 기능들을 수행함에 따라서, 이들 디바이스들의 증가하는 기능을 지원하는, 더 크고 더 상호작용적인 디스플레이 스크린들에 대한 요구가 증가하고 있다. 동시에, 사용자들은 이전 보다 더 가볍고 더 휴대하기 쉬운 모바일 디바이스들을 요구하고 있다.
여러 양태들은 모바일 디바이스들을 위한 투영된 사용자 인터페이스에 대한 방법들 및 시스템을 제공한다. 일 양태에서, 모바일 디바이스를 위한 사용자 인터페이스를 제공하는 방법은, 사용자 인터페이스 이미지를 투영하는 단계, 사용자 입력 제스쳐를 검출하는 단계, 그 검출된 사용자 입력 제스쳐와 연관되는 기능을 식별하는 단계, 및 그 투영된 사용자 인터페이스 이미지를 해석된 제스쳐에 기초하여 변경하는 단계를 포함한다. 이러한 방법에서, 사용자 입력 제스쳐를 검출하는 단계는 터치 스크린 디스플레이로부터 터치 이벤트를 수신하는 단계, 및 그 수신된 터치 이벤트를 특정의 터치 제스쳐에 상관시키는 단계를 포함할 수도 있다. 사용자 입력 제스쳐를 검출하는 단계는 모바일 디바이스 내의 방위 센서 (orientation sensor) 들로부터 신호들을 수신하는 단계, 및 그 수신된 센서 신호들을 손 제스쳐에 상관시키는 단계를 포함할 수도 있다. 방위 센서들은 하나 이상의 가속도계들을 포함할 수도 있다. 수신된 센서 신호들을 손 제스쳐에 상관시키는 단계는 그 손 제스쳐를 모바일 디바이스의 틸트 (tilt), 모바일 디바이스의 턴 (turn), 모바일 디바이스의 회전, 및 모바일 디바이스의 빠른 이동 중 하나인 것으로서 인식하는 단계를 포함할 수도 있다. 일 양태에서, 본 방법은 그 상관된 손 제스쳐에 대응하는 기능을 식별하는 단계, 및 그 식별된 기능을 구현하는 단계를 더 포함할 수도 있으며, 그 투영된 사용자 인터페이스 이미지를 그 해석된 제스쳐에 기초하여 변경하는 단계는 사용자 인터페이스 이미지를 그 구현된 기능에 기초하여 변경하는 단계를 포함한다. 식별된 기능을 구현하는 단계는 리스트를 스크롤하는 것, 이미지 오브젝트를 이동하는 것, 투영된 사용자 인터페이스 이미지 내에 디스플레이되는 이미지 오브젝트에 적용된 줌 팩터 (zoom factor) 를 변경하는 것, 투영된 사용자 인터페이스 이미지 내에서 오브젝트를 선택하는 것, 투영된 사용자 인터페이스 이미지 내에 디스플레이되는 오브젝트를 복사하는 것, 투영된 사용자 인터페이스 이미지 내에 디스플레이되는 오브젝트를 삭제하는 것, 투영된 사용자 인터페이스 이미지 내에 디스플레이되는 오브젝트와 연관된 애플리케이션을 실행하는 것, 및 사용자 인터페이스 이미지 내에 디스플레이되는 포인팅 아이콘의 이동 중 하나를 달성하는 단계를 포함할 수도 있다. 사용자 인터페이스 이미지를 투영하는 단계는 특수 3D 안경으로 볼 때 3차원으로 나타나는 이미지를 투영하는 단계를 포함할 수도 있다. 투영된 이미지는 이미지 오브젝트들이 구의 표면 주위에 포지셔닝되어 나타나도록 구성될 수도 있으며, 투영된 사용자 인터페이스 이미지를 해석된 제스쳐에 기초하여 변경하는 단계는 그 구가 하나 또는 2 개의 축들 둘레를 회전하여 상이한 이미지 오브젝트들을 전경 포지션 (foreground position) 에 포지셔닝하는 것으로 나타나도록 그 투영된 사용자 인터페이스 이미지를 변경하는 단계를 포함한다. 일 양태에서, 본 방법은 투영된 사용자 인터페이스 이미지의 중앙에 위치된 이미지 오브젝트를 하이라이트하는 단계, 및 하이라이트된 이미지 오브젝트를 사용자 입력에 응답하여 선택하는 단계를 더 포함할 수도 있다. 일 양태에서, 본 방법은 제 2 모바일 디바이스와 통신 링크를 확립하는 단계, 해석된 제스쳐에 기초한 사용자 인터페이스 이미지에 대한 변경들에 관한 정보를 포함하는 메시지를 제 2 모바일 디바이스로부터 수신하는 단계, 및 제 2 모바일 디바이스로부터 수신된, 사용자 인터페이스 이미지에 대한 변경들에 관한 정보에 기초하여, 사용자 인터페이스 이미지를 변경하는 단계를 더 포함할 수도 있다. 일 양태에서, 본 방법은 투영된 이미지를 틸트 또는 턴의 제한된 각도 내에서 대략 고정되게 유지하기 위해 그 투영된 사용자 인터페이스 이미지의 각도를 조정하는 단계를 더 포함할 수도 있다. 일 양태에서, 본 방법은 이미지 오브젝트들을, 이미지가 투영되는 외부 표면에 대해 대략 일정한 포지션에 유지하기 위해 그 투영된 사용자 인터페이스 이미지를 변경하는 단계를 더 포함할 수도 있다.
추가 양태에서, 모바일 디바이스는 프로세서에 커플링되는, 피코 프로젝터와 같은, 프로젝터를 포함할 수도 있으며, 프로세서는 사용자 인터페이스 이미지를 투영하는 것, 사용자 입력 제스쳐를 검출하는 것, 검출된 사용자 입력 제스쳐와 연관되는 기능을 식별하는 것, 및 투영된 사용자 인터페이스 이미지를 해석된 제스쳐에 기초하여 변경하는 것을 포함한 동작들을 수행하는 프로세서 실행가능 명령들로 구성된다. 일 양태에서, 모바일 디바이스는 프로세서에 커플링된 방위 센서들을 더 포함할 수도 있으며, 프로세서는 상기 설명된 방법들의 다른 동작들의 일부 또는 모두를 또한 수행하는 프로세서 실행가능 명령들로 구성될 수도 있다.
추가 양태에서, 모바일 디바이스는 사용자 인터페이스 이미지를 투영하는 수단, 사용자 입력 제스쳐를 검출하는 수단, 검출된 사용자 입력 제스쳐와 연관되는 기능을 식별하는 수단, 및 투영된 사용자 인터페이스 이미지를 해석된 제스쳐에 기초하여 변경하는 수단을 포함할 수도 있다. 일 양태에서, 모바일 디바이스는 또한 상기 설명된 방법들의 다른 동작들의 일부 또는 모두를 수행하는 수단을 포함할 수도 있다.
추가 양태에서, 비일시적 프로세서 판독가능 저장 매체는, 모바일 디바이스의 프로세서로 하여금, 사용자 인터페이스 이미지를 투영하는 것, 사용자 입력 제스쳐를 검출하는 것, 검출된 사용자 입력 제스쳐와 연관되는 기능을 식별하는 것, 및 투영된 사용자 인터페이스 이미지를 해석된 제스쳐에 기초하여 변경하는 것을 포함한 동작들을 수행하게 하도록 구성된 프로세서 실행가능 명령들을 저장하고 있을 수도 있다. 일 양태에서, 비일시적 프로세서 판독가능 저장 매체는 또한, 모바일 디바이스의 프로세서로 하여금, 상기 설명된 방법들의 다른 동작들의 일부 또는 모두를 수행하게 하도록 구성된 프로세서 실행가능 명령들을 저장하고 있을 수도 있다.
본원에 포함되어 본 명세서의 부분을 구성하는, 첨부 도면들은, 본 발명의 예시적인 양태들을 도시하며, 위에서 주어진 일반적인 설명 및 아래에 주어지는 상세한 설명과 함께, 본 발명의 특징들을 설명하도록 기능한다.
도 1 은 모바일 디바이스 사용자 인터페이스를 투영하는 모바일 디바이스의 예시이다.
도 2a 내지 도 2c 는 터치 제스쳐들을 이용한, 투영된 모바일 디바이스 사용자 인터페이스를 통한, 모바일 디바이스와의 사용자 상호작용들의 예시들이다.
도 3a 내지 도 3c 는 터치 제스쳐들을 이용한, 투영된 모바일 디바이스 사용자 인터페이스를 통한, 모바일 디바이스와의 사용자 상호작용들의 예시들이다.
도 4a 내지 도 4d 는 손 제스쳐들을 이용한, 투영된 모바일 디바이스 사용자 인터페이스를 통한, 모바일 디바이스와의 사용자 상호작용들의 예시들이다.
도 5a 내지 도 5c 는 손 제스쳐들을 이용한, 투영된 모바일 디바이스 사용자 인터페이스를 통한, 모바일 디바이스와의 사용자 상호작용들의 예시들이다.
도 6a 내지 도 6c 는 손 제스쳐들을 이용한, 투영된 모바일 디바이스 사용자 인터페이스를 통한, 모바일 디바이스와의 사용자 상호작용들의 예시들이다.
도 7a 및 도 7b 는 손 제스쳐들을 이용한, 3D 투영된 모바일 디바이스 사용자 인터페이스를 통한, 모바일 디바이스와의 사용자 상호작용들의 예시들이다.
도 8a 및 도 8b 는 손 제스쳐들을 이용한, 3D 투영된 모바일 디바이스 사용자 인터페이스를 통한, 모바일 디바이스와의 사용자 상호작용들의 예시들이다.
도 9a 및 도 9b 는 손 제스쳐들을 이용한, 제 2 모바일 디바이스로부터의 투영된 모바일 디바이스 사용자 인터페이스를 통한, 모바일 디바이스와의 사용자 상호작용들의 예시들이다.
도 10 은 콘텐츠를 선택하는 손 제스쳐들을 이용한, 투영된 사용자 인터페이스를 통한, 모바일 디바이스와의 사용자 상호작용의 예시이다.
도 11a 및 도 11b 는 콘텐츠들을 선택하는 손 제스쳐들을 이용한, 투영된 모바일 디바이스 사용자 인터페이스를 통한, 모바일 디바이스와의 사용자 상호작용들의 예시들이다.
도 12 은 콘텐츠를 선택하는 터치 제스쳐들을 이용한, 투영된 사용자 인터페이스를 통한, 모바일 디바이스와의 사용자 상호작용의 예시이다.
도 13 은 투영된 모바일 디바이스 사용자 인터페이스와 상호작용하는 일 양태의 방법의 프로세스 흐름도이다.
도 14 은 투영된 모바일 디바이스 사용자 인터페이스 콘텐츠를 선택하는 일 양태의 방법의 프로세스 흐름도이다.
도 15 은 손 제스쳐들을 이용하여 투영된 콘텐츠를 선택하는 일 실시형태의 방법의 프로세스 흐름도이다.
도 16 은 하나의 모바일 디바이스를 이용하여 또다른 모바일 디바이스의 투영된 모바일 디바이스 사용자 인터페이스와 상호작용하는 일 양태의 방법의 프로세스 흐름도이다.
도 17a 및 도 17b 는 여러 양태들에 이용하기 적합한 모바일 디바이스의 컴포넌트 블록도들이다.
도 18 은 일 양태에 따른 모바일 디바이스로 구현될 수도 있는 조종가능한 (steerable) 투영 어셈블리의 단면도이다.
여러 양태들을 첨부 도면들을 참조하여 자세히 설명한다. 가능한 경우에는 언제나, 동일한 또는 유사한 부분들을 지칭하기 위해 동일한 참조 번호들이 도면들 전반에 걸쳐 사용된다. 특정의 예들 및 구현예들에 대한 참조들은 예시적인 목적들을 위한 것이며, 본 발명 또는 청구항들의 범위를 한정하는 것으로 의도되지 않는다.
단어 "예시적인" 은 본원에서 "일 예, 경우, 또는 예시로서 기능하는 것" 을 의미하는데 사용된다. 본원에서 "예시적인" 으로서 설명된 임의의 구현예가 반드시 다른 구현예들보다 바람직하거나 또는 유리한 것으로 해석되지는 않을 것이다.
용어들 "모바일 디바이스" 및 "컴퓨팅 디바이스" 는 본원에서, 휴대용 컴퓨팅 디바이스들, 개인 모바일 텔레비전 수신기들, 셀룰러 전화기들, 개인 휴대 정보단말기들 (PDA's), 팜탑 컴퓨터들, 무선 전자 메일 수신기들 (예컨대, Blackberry® 및 Treo® 디바이스들), 멀티미디어 인터넷 가능 셀룰러 전화기들 (예컨대, Blackberry Storm®), 및 프로그램가능 프로세서와 메모리 및 이미지들을 표면 상에 투영하는 프로젝터를 포함하는 유사한 개인 전자 디바이스들 중 임의의 하나 또는 모두를 지칭하도록 상호교환가능하게 사용된다.
모바일 디바이스들이 점점 더 강력해지고, 점점 더 복잡한 기능들을 수행함에 따라서, 모바일 디바이스들 상에 저장될 수 있는 증가된 개수의 파일들 및 애플리케이션 옵션들의 복잡성이 이러한 기능을 지원하기 위해 더 크고 보다 상호작용적인 디스플레이들에 대한 요구를 야기한다. 동시에, 이식성 (portability) 에 대한 사용자 선호들은 모바일 디바이스 제조업자들로 하여금 더 작고 더 가벼운 디바이스들을 제조하게 하고 있다. 더 작은 모바일 디바이스들은 디스플레이 스크린을 위한 가용 부동산 (real estate) 이 제한된다는 것을 의미한다.
더 많은 기능을 가진 더 작은 디바이스들에 대한 이들 충돌하는 요구사항들을 해결하기 위해, 여러 양태들은 이를 테면 통합된 피코 프로젝터에 의해 사용자 인터페이스 디스플레이를 외부 표면 상에 투영하고, 사용자들이 직관적 제스쳐들을 이용하여 투영된 이미지에 커플링된 사용자 인터페이스를 통해 모바일 디바이스와 상호작용할 수 있게 하는 방법들 및 시스템들을 제공한다. 사용자 인터페이스 디스플레이를 외부 표면 상에 투영함으로써, 모바일 디바이스는 모바일 디바이스의 작은 스크린 상에 가능할, 더 많은 콘텐츠가 디스플레이될 수 있게 하는 더 큰 디스플레이 필드를 제공할 수 있다. 여러 양태들에서, 모바일 디바이스는 사용자 인터페이스 디스플레이를 외부 표면 상에 투영하고, 그 투영된 사용자 인터페이스 이미지 상에 디스플레이되는 결과의 상호작용에 의해 사용자의 손가락 및/또는 손 제스쳐들을 검출 및 해석할 수도 있다. 여러 양태들에서, 투영된 사용자 인터페이스 디스플레이는 모바일 디바이스 물리적 디스플레이 스크린 상에 제시되는 것과 동일한 콘텐츠, 또는 모바일 디바이스 디스플레이 스크린 상에 제시되는 것보다 더 많은 콘텐츠를 포함할 수도 있다.
다양한 직관적 사용자 인터페이스 제스쳐들이 그 투영된 사용자 인터페이스에 의해 지원될 수도 있다. 일부 양태들 또는 구현예들에서, 버튼들 (예컨대, 화살표 키들) 을 누르는 것 또는 디바이스의 터치스크린 표면을 터치하는 것 (본원에서 "터치 제스쳐들" 로 지칭됨) 과 같은, 모바일 디바이스와의 사용자 상호작용들은 투영된 사용자 인터페이스 디스플레이 상에서 반사되는 사용자 입력들로서 취급될 수 있다. 이러한 능력들은 모바일 디바이스들 및 그들의 애플리케이션들과 저장된 파일들과의 새로운 형태들의 상호작용들을 가능하게 할 수도 있다. 예를 들어, 터치 제스쳐들을 스크롤하는 것은 모바일 디바이스의 작은 디스플레이들 스크린과 호환가능한 파일들 보다 더 많은 파일들을 스패닝하도록 구성될 수도 있다. 또 다른 예로서, 터치스크린 표면에의 터치들은 모바일 디바이스로 하여금, 가상 레이저 스폿들과 같은 스폿들을 그 투영된 이미지 상에 투영하게 할 수도 있다.
일부 양태들 또는 구현예들에서, 모바일 디바이스의 이동들은 사용자 인터페이스 제스쳐들 (본원에서 "손 제스쳐들" 로서 지칭됨) 로서 해석될 수도 있다. 예를 들어, 좌측 또는 우측으로의 모바일 디바이스의 빠른 방향변경 (redirection) 이 그 디바이스 내의 가속도계들에 의해 검출되어, 그 디스플레이된 이미지를 좌측 또는 우측으로 시프트하거나, 또는 리스트를 스크롤하는 커맨드들로서 해석될 수도 있다. 또 다른 예로서, 긴 축을 따른 모바일 디바이스의 빠른 뒤틀림 (twist) 은 리스트를 스크롤하거나 또는 증분시키고, 파일을 선택하고, 줌을 확대하며, 등등을 행하는 커맨드로서 해석될 수도 있다. 모바일 디바이스들에는 중력 구배 (gravity gradient), 따라서 모바일 디바이스의 공간 방위를 감지할 수 있는 3축 가속도계가 탑재될 수도 있으며, 방위 (예컨대, 틸트 각도 또는 회전 각도) 에서의 변경들을, (틸트 또는 회전 각도에 따라) 좌측 또는 우측 또는 상방 또는 하방에 대해 리스트를 스크롤하는 것, 줌에 따라서 확대하거나 또는 줄이는 것, 파일들을 디스플레이 내에 포지셔닝하는 것 등과 같은 사용자 입력 커맨드들로서 해석할 수도 있다. 이러한 능력들은 또한 저장된 콘텐츠에 대한 애플리케이션들과 새로운 형태들의 사용자 상호작용을 가능하게 할 수 있다. 예를 들어, 파일들의 리스트들은, 마치 가상 공간에서 볼을 롤링하는 것처럼, 모바일 디바이스를 (예컨대, 좌측 또는 우측 및 상방 또는 하방) 틸팅함으로써, 수직 및 수평축들 둘레를 회전될 수도 있는 가상 구형 표면 상에 조직될 수도 있다.
일부 양태들에서, 투영된 사용자 인터페이스 이미지는 디바이스 방위에서의 변경들에 대해 조정되지 않는다. 또 다른 양태에서, 투영된 사용자 인터페이스 이미지는 디바이스가 이동되거나 조작되는 동안에, 특정의 방위 또는 디스플레이된 콘텐츠를 유지하도록 조정될 수도 있다. 일 양태에서, 피코 프로젝터의 렌즈는 사용자가 손 제스쳐들을 수행하고 있는 동안에, 외부 표면 상에 그 투영된 이미지를 고정되게 유지하기 위해서, 예컨대, 기계적 매니퓰레이터 (manipulator) 들에 의해 조작될 수도 있다. 또 다른 양태에서, 디스플레이된 이미지는 이미지 내의 오브젝트들이 그 표면 상에 나타나서 고정되게 유지되도록, (예컨대, 그 이미지 내의 오브젝트들을 외부 표면 상에서 디스플레이의 이동의 반대 방향으로 이동시킴으로써) 조정된다. 이러한 방식으로, 디스플레이된 오브젝트들은, 투영 프레임이 모바일 디바이스의 이동들에 응답하여 표면 상에서 이리저리 이동하는 동안에, 외부 표면에 대해서 고정된 상태로 나타날 수도 있다.
추가 양태에서, 다수의 모바일 디바이스들은 모바일 디바이스들 중 하나에 의해 투영되는 사용자 인터페이스 디스플레이와 상호작용할 수도 있다. 이러한 방식으로, 화살표 키들 또는 터치스크린에의 터치와 같은 사용자 입력 제스쳐들, 또는 모바일 디바이스들을 조작하여 수행되는 손 제스쳐들은, 투영하는 모바일 디바이스 조정된 투영된 이미지로 하여금 다른 모바일 디바이스들로부터의 사용자 입력들을 반영하게 할 수도 있다. 이 능력은 디스플레이된 이미지를 제어하거나 또는 영향을 주기 위해, 셀룰러 전화기들을 이용하여 가상 레이저 스폿들을 투영된 이미지 상에 발생시키는 것, 또는 (예컨대, 그들의 전화기들을 틸팅하나, 회전하거나, 흔들거나 또는 다르게는 이동함으로써) 그들의 셀룰러 전화기들을 조작하는 것과 같은, 투영된 이미지들과의 새로운 형태들의 사용자 상호작용들을 가능하게 할 수도 있다.
여러 양태들은 사용자 인터페이스 리스트 선택들의 다음 예들 이외에도, 외부 표면 상에 투영되는 이미지 오브젝트들과 상호작용하는 다수의 유용한 애플리케이션들을 갖는다. 예를 들어, 여러 양태들의 투영된 사용자 인터페이스는 사용자들이 웹 브라우저 이미지를 외부 표면 상에 투영한 후 하이퍼링크들을 선택하거나, 다르게는 본원에 설명된 여러 기법들을 통한 인터넷 웹페이지 접속들을 통해서 네비게이션하는 사용자 입력들을 수신함으로써, "웹을 서핑할" 수 있게 할 수도 있다. 모바일 디바이스의 물리적 디스플레이에 비해, 투영 시스템에 의해 가능한 더 큰 사이즈 디스플레이는, 사용자들이 전체 웹페이지를 일반적인 모바일 디바이스 물리적 디스플레이들 상에서는 불가능한 판독가능 폰트 사이즈들로 볼 수 있게 할 수도 있다. 또다른 유용한 애플리케이션은 화상회의 콜들을 지원하는 투영된 사용자 인터페이스 능력을 채용함으로써, 프로젝터에 의해 생성되는 더 큰 사이즈 이미지를 레버리지한다.
사용자 인터페이스 디스플레이를 투영하는 일 양태의 모바일 디바이스 (100) 의 일 예가 도 1 에 도시되어 있다. 모바일 디바이스 (100) 는 사용자 인터페이스 시스템에 커플링되는 피코 프로젝터 (102) 를 포함할 수도 있다. 피코 프로젝터 (102) 는 이미지 오브젝트들 (118) (예컨대, 이 예시적인 예시에서 나타낸 바와 같은 연락처 리스팅들) 을 포함한 투영된 프레임 (120) 의 형태로 이미지 (파선들 (122) 로 도시됨) 를 외부 표면 (예컨대, 벽) 상에 투영한다. 모바일 디바이스 (100) 는 또한 모바일 디바이스 (100) 가 이미지 오브젝트들 (118) 을 포함한 종래의 사용자 인터페이스 이미지 (103) 를 디스플레이할 수도 있는 디스플레이 스크린 (103) 을 포함할 수도 있다. 투영된 이미지가 외부 표면까지의 거리에 따라서, 더 클 수 있기 때문에, 투영된 프레임 (120) 내의 투영된 사용자 인터페이스 이미지는 모바일 디바이스 디스플레이 (103) 내에 포함될 수 있는, 더 많은 이미지 오브젝트들 (118) 을 포함할 수도 있다. 예를 들어, 도 1 에 도시된 예에서, 모바일 디바이스 디스플레이 (103) 의 제한된 사이즈가 디스플레이될 수 있는 연락처 이미지 아이템들 (118) 의 개수를 6 개의 아이템들로 제한하지만, 투영된 프레임 (120) 은 12 개의 이미지 오브젝트들 (118) 을 디스플레이하기에 충분한 공간을 포함한다. 투영된 사용자 인터페이스에 의해 지원되는 추가적인 이미지 오브젝트들 (118) 은 파선 (124) 으로 표시된다. 이들 추가적인 연락처들 이미지 오브젝트들 (118) 을 모바일 디바이스의 종래의 디스플레이 (103) 상에서 보기 위해서, 사용자는 예컨대, 플릭 제스쳐를 터치 스크린 상에서 구현함으로써, 연락처들 리스트를 스크롤해야 할 것이다. 따라서, 사용자 인터페이스 디스플레이를 외부 표면 상에 투영하는 것은, 많은 모바일 디바이스들 상에서 가능한 것보다 더 많은 콘텐츠가 디스플레이 내에 포함될 수도 있게 한다.
외부 표면 상에 투영되는 사용자 인터페이스 이미지에 의해, 모바일 디바이스와 상호작용하는 새로운 방법들이 이용될 수 있다. 예를 들어, 도 2a, 도 2b 및 도 2c 는 디스플레이된 콘텐츠로 하여금 그 투영된 프레임 (120) 내의 포지션들을 시프트하게 하도록 터치스크린 (103) 을 조작함으로써 리스트 애플리케이션 (예컨대, 일련의 사진들 썸네일들, 연락처 레코드들 등) 과 상호작용하는 사용자를 도시한다. 도 2a, 도 2b 및 도 2c 에 나타내지는 않지만, 사용자는 유사하게 그 디바이스 상의 화살표 키들 또는 다른 물리적 키들을 누름으로써 모바일 디바이스와 상호작용할 수도 있다. 오브젝트들의 긴 리스트에서, 투영된 프레임 (120) 이 리스트 콘텐츠들의 일부 보다 많이 디스플레이하기에는 충분히 크지 않을 수도 있다. 예를 들어, 도 2a 는 오직 아이템들 (5, 6, 및 7) 만을 볼 수 있는 이미지 오브젝트들 (118) 의 리스트를 도시하는 한편, 또다른 이미지 오브젝트 (8) 가 그 투영된 프레임 (120) 아래에 포지셔닝되어 있어, 눈에 보이지 않는다. 투영된 프레임 (120) 의 경계를 넘는 다른 이미지 오브젝트들 (118) 을 보기 위해, 사용자는 모바일 디바이스 (100) 의 터치 스크린 디스플레이 (103) 상에 손가락 (202) 을 배치함으로써, 손가락 제스쳐 (208) 를 개시할 수도 있다.
투영된 사용자 인터페이스를 이용하여 모바일 디바이스와 상호작용하는데, 다양한 상이한 유형들의 터치 제스쳐들이 사용될 수도 있다. 도 2a 는 터치 스크린 (103) 의 표면을 가로지르는 간단한 손가락 드래그 (208) 가 모바일 디바이스 사용자 인터페이스에 의해 예컨대, 이미지 오브젝트들 (118) 을 파선 화살표 (204) 로 표시되는 수직 방향으로 이동시킴으로써, 리스트 스크롤을 나타내는 것으로 해석되는 일 예의 터치 제스쳐를 도시한다. 유사한 방식으로, 하방 또는 상방 화살표 키의 누름은 리스트 스크롤을 나타낼 수도 있다.
도 2a 에 도시하는 일 예의 터치 제스쳐의 결과가 도 2b 에 도시되어 있다. 사용자가 터치 스크린 (103) 상에서 손가락 (202) 에 의한 상향 터치 제스쳐를 트레이싱함에 따라서, 모바일 디바이스 (100) 는 터치 이벤트를 검출하고, 터치 제스쳐를 해석하고, 대응하는 기능을 구현하고, 투영된 사용자 인터페이스 디스플레이를 수정하여 그 변화를 반영하도록 구성될 수도 있다. 도시된 예에서, 터치 제스쳐는 상향 방향으로 트레이싱되어, 이미지 오브젝트들 (118) 이 투영된 프레임 (120) 의 상부 보더들 (boarders) 을 향하여 상향 방향으로 이동한다. 이미지 오브젝트 (6) 가 투영된 프레임 (120) 밖으로 이동함에 따라, 다음 이미지 오브젝트 (9) 가 하부 보더로부터 투영된 프레임 (120) 안에 들어간다. 도 2c 는 터치 제스쳐의 마지막에서의 결과를 도시한다.
일 양태에서, 투영된 프레임 (120) 내에서의 이미지 오브젝트들 (118) 의 이동은 터치 제스쳐의 이동에 대응하며, 따라서, 사용자는 투영된 이미지로부터 피드백을 수신한다. 따라서, 사용자가 터치 제스쳐의 방향을 반대로 하였으면, 이미지 오브젝트들 (118) 의 이동이 유사하게 반대로 될 것이다. 이를 달성하기 위해, 모바일 디바이스 (100) 는 투영된 프레임 (120) 상에서의 이미지 오브젝트들 (118) 의 이동 속도 및 방향이 사용자의 터치 제스쳐의 속도 및 방향에 대응하도록 하는 방식으로, 터치 제스쳐를 인식하고 구현하도록 구성될 수도 있다. 추가 양태에서, 투영된 사용자 인터페이스 디스플레이 상에서의 이미지 오브젝트들의 이동 속도는 제스쳐의 속도의 배수 (multiple) 또는 분수 (fraction) 일 수도 있으며, 이 배수 또는 분수는 사용자 선호, 애플리케이션에서 제어되는 디스플레이 파라미터, 또는 모바일 디바이스 동작 시스템에 의해 결정되는 파라미터로서 결정된다.
모바일 디바이스 (100) 는 또한, 터치 제스쳐의 가변 파라미터들에 기초하여 상이한 기능들을 구현하도록 구성될 수도 있다. 예를 들어, 사용자가 터치 제스쳐를 트레이싱하는 속도가 모바일 디바이스 (100) 에 의해 구현될 수도 있는 스크롤링 기능의 유형을 결정할 수도 있다. 모바일 디바이스 (100) 는 빠른 터치 제스쳐들 (예컨대, 플릭) 을 그 디스플레이된 콘텐츠를 빠른 페이스로 자동적으로 스크롤할 수도 있는 빠른 스크롤을 의미하는 것으로 해석하도록 구성될 수도 있다. 추가 양태에서, 사용자는 자동적인 스크롤링을 중지하기 위해서 터치 감지 스크린을 터치해야 할 수도 있다.
도 3a, 도 3b 및 도 3c 는 일 양태에 따른 투영된 사용자 인터페이스와 함께, 터치 제스쳐를 이용하여 리스트 아이템들과 상호작용하는 또다른 터치 제스쳐를 도시한다. 도 3a 에 도시된 예에서, 모바일 디바이스 (100) 의 터치 스크린 디스플레이 (103) 의 폭을 가로질러서 터치 제스쳐 (308) 를 트레이싱하는 사용자의 손가락 (202) 은, 이미지 오브젝트들 (118) 의 리스트로 하여금 화살표 (304) 로 나타낸 바와 같이 측면으로 스크롤하게 한다.
도 3b 에 도시된 바와 같이, 사용자의 손가락이 터치 스크린 디스플레이 (103) 를 가로질러 슬라이드함에 따라, 투영된 이미지 오브젝트들 (118) 은 다음 화상 (118) 을 디스플레이하기 위해서 순서배열된 상태 (coordinated matter) 로 (예컨대, 좌측으로부터 우측으로) 이동한다. 따라서, 사용자의 손가락이 터치 스크린 디스플레이 (103) 를 가로지르는 중간쯤에 있을 때, 양자의 이미지 오브젝트들 (4 및 5) 의 일부가 디스플레이된다. 이러한 방식으로, 사용자는 그 투영된 사용자 인터페이스 이미지 상에서의 터치 제스쳐의 결과를 볼 수 있다. 예시적인 터치 제스쳐 기능의 완료가 도 3c 에 도시되어 있으며, 우측으로의 스크롤이 완료하는 것을 나타낸다.
여러 양태들 상에서 구현될 수도 있는 또다른 형태의 사용자 입력 제스쳐들은 모바일 디바이스 자체를 이동시킴으로써 그리고 디바이스 내의 가속도계들 또는 다른 센서들에 의해 감지될 수 있는 방식에 의해 달성된다. 시중에서 현재 입수가능한 많은 모델들의 스마트폰들은 디바이스의 방위를 1차원 또는 2차원에서 감지할 수 있는 가속도계들 뿐만 아니라, GPS 수신기들을 포함한다. 예를 들어, 스마트폰들의 여러 모델들은 프로세서가 그 디스플레이된 이미지를 적합한 경우에, 인물 (portrait) 로부터 풍경 (landscape) 모드로 변환할 수 있도록, 디바이스가 수직으로 또는 수평으로 유지되고 있는 시점을 인식할 수 있게 하는 가속도계들을 포함한다. 3개의 가속도계들을 포함함으로써, 완전한 3-축 방위 정보가 결정될 수 있다. 이러한 3-축 방위 정보를 GPS 수신기에 의해 제공되는 3-축 로케이션 정보와 결합하는 것은, 모바일 디바이스들에 진정한 (true) 6-축 로케이션 및 모션 검출 능력을 제공할 수 있다. 이러한 6-축 포지션/방위 정보는 모바일 디바이스의 방위 또는 이동과 연관되는 사용자 입력 제스쳐들을 인식하기 위해 여러 양태들에 의해 레버리지될 수도 있다.
도 4a 내지 도 4d 는 투영된 프레임 (120) 내의 사용자 인터페이스 이미지에 디스플레이되는 아이템들의 리스트와 상호작용하는데 적합한 일 양태의 손 제스쳐를 도시한다. 터치 제스쳐들과 유사하게, 손 제스쳐들은 사용자들이 투영된 사용자 인터페이스를 통해 모바일 디바이스 상의 애플리케이션들 또는 파일들과 상호작용하게 한다. 이러한 양태들에서, 사용자들은 모바일 디바이스 (100) 를 사용자 입력으로서 인식될 수 있는 방식으로 이동한다. 예를 들어, 투영된 이미지들이 디스플레이될 수도 있는 외부 표면에 모바일 디바이스 (100) 를 포인팅한 상태에서, 사용자들은 도 4a, 도 4b (또는 도 4c), 및 도 4d 에 도시된 바와 같이, 투영된 콘텐츠들을 스크롤하기 위해서, 모바일 디바이스 (100) 를 좌우로 이동할 수도 있다. 또 다른 예로서, 사용자들은 도 5a, 도 5b 및 도 5c 에 도시된 바와 같이 콘텐츠들의 수직 리스트를 스크롤하기 위해서, 그들의 모바일 디바이스를 상방 또는 하방으로 틸팅할 수도 있다. 또 다른 예로서, 사용자들은 디스플레이된 콘텐츠에 영향을 주기 위해, 이를 테면 도 6a 내지 도 6d 에 도시된 바와 같이 줌 설정을 조정하거나, 또는 도 7a 내지 도 8b 에 도시된 바와 같이 리스트 또는 데이터베이스를 스크롤하기 위해 그들의 모바일 디바이스를 회전할 수도 있다.
모바일 디바이스들이 이러한 손 제스쳐들을 인식할 수 있게 하기 위해, 이러한 이동들을 감지하여 측정할 수 있는 가속도계들 및 디지털 컴퍼스와 같은 센서들이 모바일 디바이스들에 탑재되거나 구성될 수도 있다. 예를 들어, 모바일 디바이스는 3개의 가속도계들, 즉, "X" 축에 따른 가속도들을 검출하는 하나의 가속도계, 수직한 "Y" 축에 따른 가속도들을 검출하는 또다른 가속도계, 및 수직한 "Z" 축에 따른 가속도들을 검출하는 제 3 가속도계를 포함할 수도 있다. 모바일 디바이스 (100) 가 수평 포지션에 있을 때, 가속도계들은 3개의 수직한 가속도계들에 의해 측정되는 상대 가속도들에 기초하여 중력 벡터를 검출할 수도 있다. 예를 들어, 모바일 디바이스가 정지하여 지표면에 대해 수평 방위에 유지하고 있을 때, 다른 가속도계들이 거의 또는 전혀 가속도를 감지하지 못하는 동안, 오직 "Z" 축 가속도계가 가속도를 감지할 수도 있다. 그후, 모바일 디바이스가 수평 평면으로부터 벗어나 틸팅되면, 이것은 "X" 및 "Y" 축 가속도계들 중 하나 또는 양자에 의해 감지되는 가속도의 증가 및 "Z" 가속도계에 의해 감지되는 가속도의 감소에 의해 검출될 수도 있다. 또한, 임의의 방향으로의 모바일 디바이스의 빠른 이동은 3개의 가속도계들 중 임의의 하나 또는 모두에 의해 순간 가속도들로서 감지될 수도 있다. 디바이스들의 방위들 및 모션들을 가속도계 신호들에 기초하여 검출하는 방법들은 널리 알려져 있으며, 모바일 디바이스 프로세서 내에서 여러 양태들의 부분으로서 구현될 수도 있다.
사용자 인터페이스 이미지가 외부 표면 상에 투영되는 동안, 모바일 디바이스 프로세서는 디바이스의 이동들을 검출하기 위해 센서들 (예컨대, 가속도계들 및/또는 디지털 컴퍼스) 로부터 수신된 신호들을 모니터링할 수도 있다. 이 프로세스의 부분으로서, 모바일 디바이스 프로세서는 그의 정지 방위 (resting orientation) 를 결정할 수도 있으며, 이 정지 방위는 손 제스쳐들을 검출하여 해석하기 위한 시작 지점으로서 기능할 수도 있다. 그의 정지 포지션 (resting position) 을 결정함으로써, 모바일 디바이스 (100) 는 투영된 콘텐츠들에 영향을 주는 손 제스쳐를 검출 및 구현가능할 수도 있다. 임의의 주어진 포지션에서, 모바일 디바이스 (100) 의 가속도계들은 모바일 디바이스 (100) 의 포지션을 중력들에 기초하여 검출가능할 수도 있다.
디지털 컴퍼스와 같은, 다른 센서들이 또한 모바일 디바이스들 (100) 의 정지 방위들 및 모션들을 검출하는데 사용될 수도 있다. 예를 들어, 모바일 디바이스 (100) 가 포인팅하고 있는 방향에서의 변경을 결정하는데 컴퍼스가 사용될 수도 있다.
여러 양태들에서, 투영된 사용자 인터페이스 이미지는 이동들을 검출하는 것에 응답하여 조정될 수도 있다. 일부 양태들에서, 투영된 사용자 인터페이스 이미지가 모바일 디바이스에 대해 고정된 채로 유지될 수도 있으며, 그 결과, 사용자가 모바일 디바이스를 조작함에 따라서, 외부 표면 상에의 투영물이 그에 따라 이동한다. 다른 양태들에서, 투영된 사용자 인터페이스 이미지는 예컨대, 외부 표면에 대한 투영을 조사하기 위해서, 투영 렌즈에 연결되어 렌즈를 조작하도록 구성된 액츄에이터들에 의해, 외부 표면에 대해 고정되어 유지될 수도 있다. 또 다른 양태들에서, 모바일 디바이스 내의 프로세서는, 투영된 프레임이 이동함에 따라서 이미지 오브젝트들이 외부 표면에 대해 고정되어 나타나도록, 투영된 이미지를 조정하도록 구성될 수도 있다.
투영된 이미지가 모바일 디바이스의 이동에 대해 조정되지 않는 양태들에서, 투영 및 이미지들은 플래시라이트 빔이 플래시라이트의 이동들에 응답하여 이동하는 방법과 아주 유사하게, 사용자들이 예상하는 방식으로 이동할 것이다.
모바일 디바이스가 조작되는 동안에 그 투영된 이미지가 외부 표면 상에 대략 고정되어 유지되는 양태들에서는, 도 18 에 도시되고 아래에서 좀더 자세하게 설명되는 바와 같이, 조종가능한 피코 프로젝터 (즉, 예컨대, 포지셔닝 서보들에 의해 조종될 수 있는 프로젝터) 또는 조종가능한 옵틱스와 결합된 피코 프로젝터를 채용할 수도 있다. 이러한 양태들에서, 모바일 디바이스 프로세서는, 사용자 인터페이스 이미지를 외부 표면 상에 투영하는 동안에 디바이스의 방위에서의 이동들 또는 변경들을 감지하고 이러한 이동을 보상하기 위해 그 투영된 이미지를 조종한다. 따라서, 사용자가 모바일 디바이스를 우측에 조준함에 따라, 조종가능한 옵틱스는 그 투영이 외부 표면 상에 거의 고정되게 유지하도록, 투영을 좌측으로 조종할 수도 있다. 도 4a 내지 도 4c 는 하나 보다 많은 프로젝터들이 탑재된 모바일 디바이스 (100) 를 이용하는 양태의 방법들을 도시한다.
도 4a 를 참조하면, 사용자는 예컨대, 모바일 디바이스 (100) 를, 예컨대, 점선 화살표 (408) 로 나타낸 바와 같이 우측으로 터닝함으로써, 수평 리스트를 스크롤하는 손 제스쳐를 수행할 수도 있다. 가속도계들 및/또는 컴퍼스로부터의 신호들을 프로세싱하는 디바이스 프로세서는 모바일 디바이스 (100) 의 방위에서의 변경을 검출하고, 도 4b 에 도시된 바와 같이, 외부 표면 상에 일정한 포지션을 유지하기 위해 투영 렌즈를 조종하여 투영된 프레임 (120) 을 방향변경할 수도 있다. 투영 렌즈의 조종을 포함하지 않는 대안적인 양태들에서, 사용자 인터페이스 이미지는 투영 빔이 이동함에 따라서, 외부 표면 상에 고정되어 유지하는 오브젝트들에 일치하는 이미지 오브젝트들의 포지션 및 프리젠테이션을 조정하도록 프로세싱될 수도 있다. 이 대안적인 예가 도 4c 에 도시되어 있으며, 도 4c 는 투영 프레임 (120) 이 우측으로 시프트됨에 따라, 오브젝트들 (4, 5, 및 6) 을 포함한 이미지 오브젝트들이 표면 상에 고정되어 유지되게 나타나도록 조정되는 방법을 도시한다. 따라서, 투영 프레임 (120) 이 도 4c 에 도시된 바와 같이 시프트된 상태에서는, 이미지 오브젝트 (4) 가 더 이상 보이지 않으며, 이미지 오브젝트 (5) 는 잘려서 오직 일부만이 보이고, 이미지 오브젝트 (6) 는 완전히 보인다.
(도 4b 에 도시된 바와 같이) 투영된 프레임 (120) 을 조종하거나 또는 (도 4c 에 도시된 바와 같이) 이미지 오브젝트들을 투영 내에 리포지셔닝하는 것에 더하여, 프로세서는 또한 그 디바이스 이동을 이미지 오브젝트들 (118) 의 디스플레이된 리스트를 스크롤하는 커맨드로서 해석할 수도 있다. 따라서, 도 4b 에 도시된 바와 같이, 투영된 프레임 (120) 내의 이미지 오브젝트들 (118) 은, 이미지 옵틱이 좌측으로부터 그 투영된 프레임 (120) 으로 스크롤하는 동안 이미지 오브젝트 (5) 가 그 투영된 프레임 (120) 을 벗어나서 우측으로 스크롤하도록, 우측으로 스크롤할 수도 있다. 이미지 오브젝트들 (118) 의 스크롤링은, 사용자가 모바일 디바이스를 우측에 (또는, 좌측에) 계속 조준하는 한, 계속할 수도 있다. 스크롤링을 중지하기 위해서, 사용자는 예컨대, 점선 및 화살표 (407) 를 따라서 반대로 이동시킴으로써, 모바일 디바이스 (100) 를 초기 방위로 다시 터닝시킬 수도 있다. 따라서, 모바일 디바이스 (100) 가 그의 초기 방위로 복귀될 때, 스크롤링은 도 4c 에 도시된 바와 같이 현재 디스플레이된 이미지 오브젝트 (118) 에서 중지할 수도 있다. 유사한 방식으로, 사용자는 디바이스를 반대 방향으로 터닝함으로써 리스트를 반대 방향으로 스크롤할 수도 있다. 또한, 리스트의 유사한 스크롤링이, 디바이스에, 투영 프레임 (120) 의 포지션을 외부 표면 상에 고정되게 유지하면서 디스플레이된 이미지 오브젝트들을 상방으로 또는 하방으로 스크롤하도록 커맨딩하기 위해, 모바일 디바이스를 상방으로 또는 하방으로 틸팅함으로써 수직 방향으로 달성될 수도 있다. 추가 양태에서, 스크롤이 일어나는 속도는, 턴의 각도가 더 클수록, 스크롤이 더 빠른 것과 같이, 모바일 디바이스가 그의 초기 구성로부터 터닝되는 각도에 의존할 수도 있다.
심지어 투영이 이동하더라도 이미지 오브젝트들이 외부 표면 상에 고정되는 양태들에서, 디바이스의 프로세서는 모바일 디바이스의 검출된 이동들에 응답하여 투영된 이미지를 조정하도록 구성될 수도 있다. 구체적으로 설명하면, 프로세서는 투영된 프레임 내에서, 외부 표면 상에서의 그 투영된 프레임의 이동들과 동일 및 반대로 이동하도록, 이미지 오브젝트들을 그 투영된 이미지 내에 리포지셔닝할 수도 있다. 따라서, 태피스트리 (tapestry) 를 조명하는 플래시라이트와 유사하게, 모바일 디바이스의 이동은, 이미지 오브젝트들이 그의 초기 포지션의 측면에 또는 위에 나타나게, 투영된 프레임이 외부 표면 상에서 이동하게 할 수도 있다. 이러한 양태는 사용자가 오브젝트들을 스크롤하는 것을 요구하는 대신에, 오브젝트들을 보이게 모바일 디바이스를 움직임으로써, 사용자들이 이미지 오브젝트들의 리스트들 및 어레이들을 검사할 수 있게 하는 사용자 인터페이스를 가능하게 할 수도 있다. 도 5a 내지 도 5d 는 하나의 프로젝터가 탑재된 모바일 디바이스 (100) 를 이용하는 양태의 방법들을 도시한다.
도 5a 는 이미지 오브젝트들 (118) 의 수직 리스트 (즉, 이미지 (5 내지 9) 가 보임) 가 투영된 프레임 (120) 의 영역을 지나서 연장하는 일 예를 도시한다. 도 5a 에 도시된 초기 방위에서, 투영된 프레임 (120) 은 이미지 오브젝트들 (5, 6, 7) 을 포함하지만, 이미지 오브젝트 (8 및 9) 는 투영된 프레임 (120) 에 의해 둘러싸인 영역 아래의 리스트에 나타난다. 현재의 투영된 프레임 (120) 에 존재하는 이미지 오브젝트들 아래의 이미지 오브젝트들을 다시보기 위해, 사용자는 삽화 (insert) (502) 의 단면도에 나타낸 바와 같이, 모바일 디바이스 (100) 를 틸팅할 수도 있다. 초기 방위 (삽화 (502) 에 100a 로 도시됨) 로부터 새로운 방위 (삽화 (502) 에 100b 로 도시됨) 로의 이러한 하향 틸트의 결과가 도 5b 에 도시되어 있으며, 도 5b 는 외부 표면 상에 투영된 프레임 (120) 및 새로운 하부 포지션을 나타낸다. 이 새로운 방위에서, 이미지 오브젝트들 (7, 8, 및 9) 이 그 투영된 프레임 (120) 에 포함되지만, 이미지 오브젝트들 (5 및 6) 은 리스트의 디스플레이된 부분 위쪽에 (사실상) 놓여 있기 때문에 더 이상 볼 수 없다. 일단 사용자가 이미지 오브젝트들 (118) 의 리스트의 원하는 부분이 나타나도록 그 투영된 프레임 (120) 을 팬 (pan) 하였으면, 투영된 프레임 (120) 이 디스플레이된 이미지 오브젝트들의 추가 이동들 없이 외부 표면 중에서 리포지셔닝할 수 있도록, 사용자는 버튼 (예컨대, 화살표 키들) 을 누름 또는 터치스크린의 탭핑과 같은 또다른 커맨드를 실행하여 그 투영된 사용자 인터페이스 이미지를 잠금할 수도 있다. 이것은 도 5c 에 도시되어 있으며, 도 5c 는 사용자가 도 5a 및 도 5b 에 도시된 하향 틸트 손 제스쳐를 수행함으로써 이미지 오브젝트들 (7, 8, 및 9) 을 선택하고, 그 투영을 새로운 리스트 로케이션 상에 잠금하고 그후 모바일 디바이스 (100) 를 이동시켜 그 투영된 프레임 (120) 을 외부 표면 상에 리포지셔닝한 마지막 (end) 상태를 도시한다. 대안적으로, 투영된 사용자 인터페이스 이미지의 잠금은 사용자가 모바일 디바이스 (100) 를 다시 그의 원래 방위 (100a) 로 이동시키기 시작할 때 일어날 수도 있다. 따라서, 이 예시적인 양태에서, 하향 틸트는 리스트가 수직으로 스크롤하게 하여, 사용자가 모바일 디바이스를 그의 원래 방위로 복귀할 때 중단된다. 리스트를 반대 방향으로 (예컨대, 하향으로) 스크롤하기 위해, 사용자는 모바일 디바이스 (100) 를 어느 정도 틸팅할 수도 있다. 도 5a 내지 도 5c 가 수직 (즉, 상방 또는 하방) 틸트를 포함하는 손 제스쳐를 도시하지만, 유사한 기능이 모바일 디바이스의 좌측 또는 우측 턴들에 의해 일어날 수도 있다. 추가 양태에서, 수직 스크롤의 속도는, 틸트가 더 클 수록 스크롤이 더 빠른 것과 같이, 틸트의 각도에 의존할 수도 있다.
또한, 그 투영된 사용자 인터페이스 디스플레이들과 상호작용할 때 리스트 스크롤들과는 다른 기능들을 구현하는데 다른 손 제스쳐들이 사용될 수도 있다. 도 6a 내지 도 6d 에 나타낸 예시적인 양태에서, 모바일 디바이스는, 회전하는 손 제스쳐가 그 투영된 사용자 인터페이스 이미지들의 줌 팩터를 제어하는데 사용될 수 있도록 구성될 수도 있다. 도 6a 및 도 6b 에 도시된 바와 같이, 사용자는 모바일 디바이스 (100) 를 도 6a 에 나타낸 그의 초기 방위로부터, 우측으로 (예를 들어) 라인 및 화살표 (608) 의 방향으로 도 6b 에 나타낸 그의 제 2 방위까지 회전함으로써, 줌-인 손 제스쳐를 수행할 수도 있다. 이 손 제스쳐에 응답하여, 투영된 프레임 (120) 내의 디스플레이된 이미지 오브젝트 (118) 는 도 6b 에 나타낸 바와 같이 배율이 증가된다. 본 양태에서, 모바일 디바이스 (100) 는 모바일 디바이스의 회전 각도를, 예컨대, 가속도계들로부터 수신되는 신호들에 기초하여 검출하고, 새로운 방위의 각도를 결정하고, 그 결정된 각도에 기초하여 그 투영된 이미지들에 적용할 줌의 증가율/감소율 또는 줌 팩터를 결정하고, 그 결정된 줌 팩터를 투영된 이미지에 적용함으로써 그 투영된 사용자 인터페이스 디스플레이를 조정할 수도 있다. 따라서, 도 6c 에 도시된 바와 같이, 회전의 각도가 더 클 수록 (또는, 회전이 더 길게 유지될 수록), 이미지에 적용되는 줌 팩터가 더 커지고 이미지가 더 크게 나타난다. 원하는 이미지 줌 팩터 또는 이미지 사이즈가 획득될 때, 사용자는 현재의 줌 팩터를, 예컨대, 버튼 (예컨대, 화살표 키들) 또는 터치스크린을 터치함으로써, 또는 도 6d 에 도시된 바와 같이 모바일 디바이스를 다시 초기 방위 (예컨대, 수평) 로 회전함으로써, 잠글 수도 있다. 적용되는 줌에서의 변경을 반대로 하기 위해서 (즉, 줌아웃하기 위해), 사용자는 모바일 디바이스를 반대 방향으로 회전할 수도 있으며 (예컨대, 좌측으로 회전할 수도 있으며), 이것은 유사한 방식으로 모바일 디바이스 프로세서로 하여금 줌 팩터를 적용하게 할 것이다.
여러 양태들에서, 보이스 커맨드들과 같은, 다른 사용자 입력이 또한 투영된 사용자 인터페이스와 상호작용하는데 사용될 수도 있다. 예를 들어, 모바일 디바이스 (100) 는 사용자가 "줌-인" 을 말하는 것을, 그 투영된 이미지를 확대하고 그후 그 투영된 사용자 인터페이스 이미지에 반영하는 커맨드로서, 인식하도록 구성될 수도 있다.
여러 양태들에 의해 이용가능하게 되는 새로운 능력들은 모바일 디바이스 상에서 실행하는 파일들 및 애플리케이션들과의 새로운 유형들의 상호작용들을 가능하게 할 수도 있다. 도 7a 및 도 7b 는 모바일 디바이스 (100) 가 3차원 (3D) 이미지를 외부 표면 상에 투영하고 사용자가 모바일 디바이스 상에서 실행되는 손 제스쳐들을 이용하여 3D 이미지와 상호작용하게 하는 새로운 사용자 인터페이스 디스플레이의 일 예를 도시한다.
3D 이미지들의 생성 및 투영은 현재 널리 알려져 있으며, 사용자는 특수 3D 안경 (702) 을 착용함으로써, 투영된 이미지를 3D 로 볼 수도 있다. 이러한 진정한 3D 이미지 발생에 더해서, 시뮬레이트된 3D 이미지들이 또한 여러 양태들에 사용될 수도 있다. 3D 투영을 발생하는 방법들은 최근 영화 아바타 (Avatar) 의 배급으로 널리 입증된 바와 같이, 널리 공지되어 있다. 또한, 피코 프로젝터에 의해 렌더링되는 투영된 이미지를 발생하는데, 시뮬레이트된 3D 이미지를 디스플레이 스크린 상에 발생하는데 사용되는 기법이 사용될 수도 있다. 한 방법에서, 좌측 눈 및 우측 눈용으로 의도되는 2 개의 별개의 이미지들이 생성되며, 하나의 이미지가 좌측 눈용으로 의도되며 다른 이미지가 우측 눈용으로 의도되고, 2 개의 이미지들이 짧은 지속기간들 동안 교대로 투영된다. 3D 안경 (702) 에는 그 투영과 동기하여 각각의 눈을 교대로 차단하는 전자 광 필터들이 탑재된다. 인지된 결과는 투영된 이미지가 3차원으로서 보여지는 것이다. 따라서, 본 양태에서, 모바일 디바이스 (100) 의 프로세서는 투영된 사용자 인터페이스 이미지의 2 개의 버전들을 발생하며, 한 버전은 이미지 오브젝트들이 좌측 눈용 투영 프레임 내에 포지셔닝되고 다른 버전은 이미지 오브젝트들이 우측 눈용 투영 프레임 내에 포지셔닝되며, 전경에서의 오브젝트들의 포지션이 배경에서의 이미지 오브젝트들에 대해서 보다 더 많이 좌측 이미지와 우측 이미지 사이에서 시프트된다. 2 개의 이미지들의 발생은, 2 개의 이미지들이 좌측 및 우측 이미지 버퍼들로부터 교대로 인출함으로써 간단히 교대로 투영될 수 있도록, 2 개의 디스플레이 버퍼들 (예컨대, 좌측 및 우측 이미지 버퍼들) 을 모바일 디바이스의 프로세서 또는 이미지 렌더링 회로 내에 제공함으로써 촉진될 수도 있다. 추가 양태에서, 모바일 디바이스에는 2 개의 피코 프로젝터들이 탑재될 수도 있으며, 하나는 좌측 눈용 이미지들을 투영하는데 사용되고 다른 프로젝트는 우측 눈용 이미지들을 투영하는데 사용된다. 이러한 구성에서, 피코 프로젝터들은 예컨대, 전기적으로 활성화된 광 필터에 의해, 3D 안경 (702) 이 동작하는 방법과 유사한 방식으로, 교대로 에너자이즈되거나 또는 교대로 마스크될 수도 있다. 추가 양태에서, 모바일 디바이스 (100) 의 프로세서는 각각의 렌즈에서의 능동 광 필터들을 모바일 디바이스의 프로젝터들과 동기화하기 위해서, 예컨대, BlueTooth, WiFi, Zigbee, NFC 또는 다른 무선 데이터 링크를 통해서, 3D 안경 (702) 과 통신하도록 구성될 수도 있다.
3D 투영된 사용자 인터페이스 이미지에서, 현재 선택된 이미지 오브젝트 (이미지 오브젝트 (3) 로 나타냄) 가 전경에, 배경에서의 여러 거리들에 있는 이미지 오브젝트들 (118) 의 나머지와 함께 포지셔닝된 상태에서, 이미지 오브젝트들 (118) 의 로우 (row) 가 도시될 수도 있다. 본 양태에서, 회전 손 제스쳐 (708) 에 응답한, 이미지 오브젝트들 (118) 의 스크롤링 (화살표 (704) 로 나타냄) 은 마치 이미지들이 중앙 방향으로 앞으로 진행한 후 그 중앙으로부터 뒤쪽으로 진행할 수도 있는 것처럼 나타날 수도 있다. 따라서, 하나의 스크롤 증분 후, 그 투영된 사용자 인터페이스 이미지는 도 7b 에 도시된 바와 같이 나타날 수도 있다.
여러 양태들의 능력들에 의해 이용가능하게 되는 또다른 새로운 사용자 인터페이스는 도 8a 및 도 8b 에 도시된 바와 같이, 편평한 리스트 또는 2차원 어레이 대신, 구형의 데이터 어레이이다. 본 양태에서, 모바일 디바이스 (100) 는 3D 안경 (702) 의 도움으로 구 또는 지구본 (802) 의 형태로 나타날 3D 사용자 인터페이스 이미지 또는 외부 표면을 투영할 수도 있다. 도 8a 에 도시된 바와 같이, 모바일 디바이스 (100) 는 3D 안경 (702) 으로 볼 때 큰 가상 지구본 (802) 의 표면에 접착된 것처럼 구형 배열로 나타나는, 데이터베이스에서의 오브젝트들과 같은 많은 이미지 오브젝트들 (118) 로 이루어지는 사용자 인터페이스 이미지를 투영할 수도 있다. 이러한 투영된 사용자 인터페이스 이미지에서, 중앙 이미지 오브젝트 (A) 는 현재 선택된 또는 선택가능한 오브젝트일 수도 있다. 그 액세스되는 데이터베이스에서 다른 오브젝트들을 보거나 또는 선택하기 위해, 사용자는 모바일 디바이스 (100) 를, 회전의 방향에서의 다음 이미지 오브젝트 (B) 를 그 선택된 또는 선택가능한 오브젝트로서 제시하기 위해, 예컨대, 모바일 디바이스 프로세서가 구를 원하는 방향으로 회전하는 커맨드들로서 사용하는 회전 (808) 또는 틸팅 (810) 함으로써 조작할 수도 있다.
본 양태에서, 사용자는 가상 지구본 (802) 으로 하여금, (파선 화살표 (806) 로 나타낸 바와 같이) 수직축 (804) 둘레를, (파선 화살표 (807) 로 나타낸 바와 같이) 수평축 (805) 둘레를, 또는 모바일 디바이스를 적당히 흔들고 피봇함으로써 동시에 양자를 회전하게 함으로써 대용량 데이터베이스를 통해 빨리 이동할 수 있다. 지구본들 및 볼링 볼들과 같은 곡면들과의 사용자 친숙성으로 인해, 여러 양태들에 의해 이용가능하게 되는 이 사용자 인터페이스는 사용하기에 직관적으로 용이하고, 오브젝트들을 대규모 데이터베이스 내에 위치하는데 효율적일 수도 있다. 따라서, 사용자들은 데이터의 리스트들을 "스크롤"하는 대신, 데이터베이스를 "롤 (roll)"할 수도 있다. 가상 구 상의 오브젝트들의 포지션은 도시들이 국가들 내의 포지션이고 국가들이 지구본 상의 대륙들 내의 포지션이 되는 방법과 유사하게, 데이터 관련 조직들 (data relationships organizations) 에 연관될 수도 있다. 또, 지구본 (802) 의 가상 사이즈는 모든 이미지들을 그의 표면 상에 포함시키는데 필요로 하는 사이즈까지 조정될 수도 있다. 따라서, 12 개의 이미지 오브젝트들을 그의 표면 상에 나타낸 지구본은 10,000 개의 이미지 오브젝트들을 그의 표면 상에 나타낸 지구본보다 더 작을 것이다. 이의 대안으로, 이미지 오브젝트들의 사이즈 및/또는 간격이 모든 아이템들을 지구본의 표면 상의 선택된 데이터베이스에 맞추기 위해서 조정될 수도 있다. 이 대안적인 예는, 12 개의 이미지들의 데이터베이스 및 10,000개의 이미지들의 데이터베이스를 나타내는데 동일한 지구본 사이즈가 사용될 수 있도록 할 것이다.
사용자들이 구형 3D 사용자 인터페이스 투영에 디스플레이되는 콘텐츠들과 효율적으로 상호작용하는 것을 허용하기 위해서, 모바일 디바이스 (100) 는 또한 터치 제스쳐들을 인식하도록 구성될 수도 있다. 터치 제스쳐들의 경우, 사용자는 구를 상이한 방향들로 손가락으로 밀수 있도록 나타내는 방식으로 터치 제스쳐들을 모바일 디바이스 (100) 터치 스크린 디스플레이 상에 트레이싱함으로써, 그들의 손가락들을 이용하여 데이터베이스 지구본 (802) 과 상호작용할 수도 있다.
추가 양태에서, 사용자들은 눈 이동 (eye movement) 들을 추적할 수 있는 센서들 (820) 이 탑재된 3D 안경 (702) 을 이용하여 3D 이미지들과 상호작용할 수도 있다. 본 양태에서, 모바일 디바이스 (100) 는 3D 안경 (702) 의 눈-추적 센서들 (820) 에 의해 검출되는 눈 이동 데이터를 수신하여, 눈 이동을 투영된 디스플레이와 상호작용하는 커맨드들로서 해석하도록 구성될 수도 있다. 예를 들어, 사용자가 구 상에 투영되는 특정의 이미지 오브젝트를 보면, 사용자의 눈들의 포지션이 눈-추적 센서들 (820) 에 의해 결정되어, 모바일 디바이스 (100) 에 통신될 수도 있으며, 그 모바일 디바이스는 그 눈 포지션을, 그 이미지 오브젝트를 투영된 이미지의 중앙에 가져 오도록 투영된 콘텐츠들을 롤링하는 사용자 입력 커맨드로서 해석할 수도 있다. 그후, 모바일 디바이스 (100) 는 사용자에 의해 포커싱되는 아이템이 투영된 이미지 중앙에 올 때까지 롤링하는 지구본의 애니메이션을 발생하도록 그 투영된 사용자 인터페이스 이미지를 조정함으로써 이 커맨드를 실행할 수도 있다. 일 양태에서, 사용자의 눈들의 포지션의 감지는, 사용자의 눈들이 투영된 이미지에서 이동함에 따라 이미지 오브젝트를 추적하기 때문에, 이미지 이동들에 대해 폐루프 제어 시스템을 제공할 수 있다. 예를 들어, 투영된 사용자 인터페이스 이미지의 애니메이션의 속도는 바로 앞으로부터의 사용자의 시선의 각도에 상관될 수도 있다. 이러한 방식으로, 투영된 이미지는, 사용자가 투영된 이미지의 주변부 근처의 (예컨대, 데이터베이스 지구본 (802) 의 측면 상의) 이미지 오브젝트를 볼 때 빠르게 회전되고, 관심 이미지 오브젝트가 중앙에 가까이에서 (즉, 3D 안경 (702) 으로부터 바로 앞에서) 회전할 때 느리게 회전될 수도 있다. 따라서, 이 실시형태는 사실상 사용하는데 훈련하는 것을 필요로 하지 않는 매우 직관적인 사용자 인터페이스를 제공할 수도 있다.
도 9a 및 도 9b 에 도시된 추가 양태에서, 하나 보다 많은 모바일 디바이스 (100) 가 투영된 사용자 인터페이스와 상호작용하도록 구성될 수도 있다. 본 양태에서, 제 1 모바일 디바이스 (100a) 는 사용자 인터페이스 디스플레이를 외부 표면 상에 투영할 수도 있다. 이 투영된 사용자 인터페이스 이미지는 2D 또는 3D 로 투영 프레임 (120) 에 디스플레이될 수도 있다. 제 2 모바일 디바이스 (100b) 에는 제 1 모바일 디바이스 (100a) 와 통신할 수 있는, Bluetooth 통신 링크와 같은 무선 데이터 링크가 탑재될 수도 있다. 이러한 방식으로, 제 2 모바일 디바이스 (100b) 의 사용자들은, 투영된 사용자 인터페이스 디스플레이에서의 변경들을 반영할 수도 있도록 결과의 사용자 인터페이스 커맨드들이 제 1 모바일 디바이스 (100a) 로 전달되고 있는 상태에서, (화살표 (908) 로 나타낸 바와 같이) 모바일 디바이스의 회전과 같은, 사용자 인터페이스 제스쳐들을 구현할 수도 있다. 3D 투영된 이미지의 경우, 양자의 모바일 디바이스들의 사용자들은 3D 사용자 인터페이스의 이점을 향유하기 위해 3D 안경 (702a, 702b) 을 착용할 수도 있다. 예를 들어, 도 9a 에서, 제 2 모바일 디바이스 (100b) 는 화살표 (908) 로 나타낸 바와 같이 우측으로 회전된다. 이 사용자 입력이 제 1 모바일 디바이스 (100a) 에 통신되어, 디스플레이된 3D 리스트로 하여금 도 9b 에 도시된 바와 같이 스크롤하게 한다.
매우 다양한 사용자 상호작용들이 여러 양태들의 투영된 사용자 인터페이스에 대응하는 사용자 인터페이스 제스쳐들을 통신하기 위해 탑재된 다수의 모바일 디바이스들에 의해 이용될 수 있다. 일 예에서, 사용자는 제 2 모바일 디바이스 (100b) 의 터치스크린을 가로질러 손가락을 드래그하여, 터치스크린 상에서의 사용자 터치들의 포지션을 제 1 모바일 디바이스 (100a) 에 통신한 후, 밝은 광 (bright light) 을 투영된 프레임 (120) 내의 제 2 모바일 디바이스 상의 터치 로케이션에 대응하는 포지션에 투영할 수도 있다. 이러한 밝은 광은 가상 레이저 포인터로서 기능함으로써, 제 2 모바일 디바이스의 사용자가 제 1 모바일 디바이스에 의해 투영되는 프리젠테이션에 참여할 수 있게 할 수도 있다. 다수의 모바일 디바이스들이 이러한 시스템에서 협력할 수도 있으며, 각각의 디바이스는 상이한 컬러의 가상 레이저 스폿과 연관된다. 터치스크린들이 탑재되지 않은 모바일 디바이스들은 또한 가상 레이저 포인터들을 제어하기 위해 화살표 키들의 누름들과 같은 버튼 누름들을 통해서 수신되는 사용자 입력들을 통신함으로써 유사한 방식으로 협력할 수도 있다.
또 다른 양태에서, 제 2 모바일 디바이스에는 투영된 사용자 인터페이스 이미지의 디지털 사진을 찍을 수도 있는 카메라 (도 17 참조) 가 탑재될 수도 있다. 다른 모바일 디바이스들에 의한 투영된 사용자 인터페이스의 이미지화를 가능하게 하는 것은, 모바일 디바이스들과 사용자들 사이에 완전히 새로운 형태들의 상호작용들을 가능하게 할 수도 있다.
사용자들이 투영된 콘텐츠와 상호작용하는 손 제스쳐들을 채용할 수 있게 할 때, 모바일 디바이스 (100) 는 사용자들이 투영된 디스플레이의 콘텐츠들을 네비게이션하여 특정의 아이템들, 오브젝트들 또는 파일들을 선택하는 것을 허용하도록 구성될 수도 있다. 투영된 사용자 인터페이스를 통해서 네비게이션하기 위해 손 제스쳐들을 이용할 때 아이템들의 선택은 여러 방법들을 이용하여 달성될 수도 있다. 예를 들어, 2 단계 접근법이 손 제스쳐들을 이용하여 아이템들을 선택할 때에 사용될 수도 있다. 이러한 2 단계 접근법에서, 모바일 디바이스 (100) 는 아이템을, 예컨대, 전경으로 스크롤함으로써 하이라이트할 수도 있으며, 사용자는 하이라이트된 아이템을, 예컨대, 또다른 사용자 제스쳐 (예컨대, 버튼을 누르기, 터치스크린 디스플레이를 탭핑하기, 디바이스를 흔들기 등) 를 수행함으로써, 선택할 수도 있다.
도 10 에 도시된 양태에서, 모바일 디바이스 (100) 는 투영된 사용자 인터페이스 이미지의 특정의 부분들 (예컨대, 중앙) 에 나타나는 투영된 콘텐츠들을 자동적으로 하이라이트하도록 구성될 수도 있다. 예를 들어, 모바일 디바이스 (100) 는 투영된 프레임 (120) 의 중앙에 제시되는 임의의 이미지 오브젝트 (118) 를 자동적으로 하이라이트하도록 구성될 수도 있다. 따라서, 모바일 디바이스 (100) 는 사용자가 투영된 이미지 오브젝트들 (118) 의 컬럼 (column) 을 상하방으로 스크롤함에 따라서, 중앙 이미지 오브젝트 (118) 를 하이라이트하도록 구성될 수도 있다. 하이라이트된 오브젝트를 선택하기 위해, 사용자는 터치 스크린 디스플레이 (103) 상에서 터치 제스쳐를 트레이싱하거나, 모바일 디바이스 (100) 상의 기능 버튼 (1002) 을 누르거나, 또는 모바일 디바이스 (100) 상에서 손 제스쳐를 수행하는, 제 2 커맨드를 수행할 수도 있다. 예를 들어, 이미지 오브젝트 (8) 가 투영된 사용자 인터페이스 이미지에서 하이라이트될 때, 사용자는 그 선택을 완결하거나 또는 확인하기 위해서 터치 스크린 디스플레이 (103) 를 탭핑할 수도 있다.
도 11a 및 도 11b 에 도시된 추가 양태에서, 모바일 디바이스 (100) 는 (투영된 필드의 중앙에 비해) 투영된 필드 (120) 어디서든지 사용자의 손 제스쳐에 기초하여 콘텐츠들을 하이라이트하고 사용자가 그 하이라이트된 콘텐츠를 선택하는 것을 허용하도록 구성될 수도 있다. 본 양태에서, 모바일 디바이스 (100) 는 모바일 디바이스 (100) 가 포인팅하고 있는 방향에 대한 모바일 디바이스 (100) 의 이동에 기초하여 투영된 콘텐츠를 자동적으로 하이라이트할 수도 있다. 일단 투영된 아이템이 하이라이트되면, 사용자는 터치 제스쳐, 손 제스쳐를 수행함으로써 또는 기능 키를 누름으로써, 그 아이템을 선택할 수도 있다. 예를 들어, 모바일 디바이스 (100) 는 이미지 오브젝트들 (118) 을 외부 표면 상의 투영 필드 (120) 내에 투영할 수도 있다. 모바일 디바이스 (100) 의 각도에 기초하여, 모바일 디바이스 (100) 는 투영된 이미지 콘텐츠의 특정의 부분을 하이라이트하도록 구성될 수도 있다. 도 11a 에 나타낸 바와 같이, 모바일 디바이스 (100) 는 콘텐츠들을 외부 표면 상의 투영 필드 (120) 내에 투영할 수도 있다. 모바일 디바이스 (100) 는 이미지 오브젝트 (8) 를 모바일 디바이스 (100) 가 포인팅하고 있는 방향에 기초하여 하이라이트할 수도 있다. 모바일 디바이스 (100) 가 포인팅하고 있는 방향이 변함에 따라, 모바일 디바이스 (100) 는 하이라이트된 콘텐츠를 변경할 수도 있다. 도 11b 에 나타낸 바와 같이, 모바일 디바이스 (100) 가 도 11a 에 나타낸 그의 초기 방위로부터 상향으로 포인팅하도록 틸팅되면, 모바일 디바이스 (100) 는 디스플레이된 리스트에서 이미지 오브젝트 (8) 위에 포지셔닝되는 이미지 오브젝트 (7) 를 하이라이트할 수도 있다. 모바일 디바이스 (100) 의 제 1 및 제 2 방위들이 하이라이트 (1104) 에 도시되어 있다.
추가 양태에서, 모바일 디바이스 (100) 는 예컨대, 하이라이트하는 것으로부터 네비게이션하는 것으로 (예컨대, 스크롤) 또는 마찬가지로 반대의 경우로, 모바일 디바이스 (100) 가 손 모션 동안 이동한 거리에 기초하여, 여러 터치 또는 손 제스쳐들에 응답하여 수행되는 기능을 변경하도록 구성될 수도 있다. 일 양태에서, 모바일 디바이스 (100) 는 모바일 디바이스 (100) 가 손 제스쳐 동안 한 방향으로 이동하는 거리를 센서 데이터에 기초하여 결정하도록 구성될 수도 있다. 사용자가 모바일 디바이스 (100) 를 한 방향으로 이동시킴에 따라서, 모바일 디바이스 (100) 는 상이한 투영된 아이템들을 그 투영된 필드 (120) 내에 하이라이트할 수도 있다. 상이한 투영된 콘텐츠들의 하이라이팅은 미리 결정된 거리가 모바일 디바이스 (100) 에 의해 손 제스쳐 동안에 이동될 때까지 계속될 수도 있다. 미리 결정된 거리를 넘어서는 모바일 디바이스 (100) 의 임의의 이동은 모바일 디바이스 (100) 에 의해, 스크롤 또는 줌 기능들을 구현하는 커맨드와 같은, 네비게이션 커맨드로서 해석될 수도 있다. 기능 변경들이 구현되는 이 미리 결정된 거리는 투영된 필드 (120) 의 사이즈, 사용자 선호, 애플리케이션 개발자 설정들, 또는 다른 구성가능한 파라미터들에 기초할 수도 있다. 예를 들어, 투영된 필드의 사이즈가 더 클수록, 모바일 디바이스 (100) 가 동작들을 선택하는 것으로부터 스크롤링 기능으로 스위칭하기 전에 이동할 수 있는 미리 결정된 거리가 더 커진다.
도 12 에 도시된 추가 양태에서, 모바일 디바이스 (100) 는 사용자가 그 투영된 콘텐츠를 터치 제스쳐들을 이용하여 선택할 수 있게 구성될 수도 있다. 예를 들어, 모바일 디바이스 (100) 는 마우스 화살표 (1202) 또는 다른 적합한 포인터를 터치 스크린 디스플레이 (103) 상에서의 사용자의 터치 이벤트에 응답하여 투영하도록 구성될 수도 있다. 사용자는 터치 스크린 상에서 손가락을 이동함으로써 화살표를 이동시켜, 마우스 화살표 (1202) 를 아이템 상에 배치시키고 터치 스크린 디스플레이 (103) 상에서 더블 탭핑하기 또는 기능 키 (1002) 를 누르기와 같은 제 2 액션을 수행함으로써 아이템들을 선택할 수도 있다.
투영된 사용자 인터페이스와 상호작용하는 여러 양태들을 도시하는 대략적인 방법 (1300) 이 도 13 에 도시되어 있다. 방법 (1300) 및 블록 (1302) 에서, 모바일 디바이스 프로세서는 사용자 인터페이스 이미지를 생성하고, 블록 (1304) 에서, 외부 표면 상에 투영할 수도 있다. 모바일 디바이스 프로세서는 블록 (1306) 에서, 사용자에 의해 수행되는 사용자 입력 제스쳐 (예컨대, 터치 제스쳐 또는 손 제스쳐) 를 검출하고, 블록 (1308) 에서, 그 제스쳐를 해석하는 소프트웨어로 구성될 수도 있다. 블록 (1310) 에서, 모바일 디바이스 프로세서는 예컨대, 상기 설명된 디스플레이된 콘텐츠에서의 변경들 중 임의의 변경을 구현하기 위해서, 그 해석된 제스쳐에 기초하여 사용자 인터페이스 이미지를 변경할 수도 있다. 그후, 블록 (1304) 에서, 이 변경된 사용자 인터페이스 이미지가 사용자에게 연속적인 시각적 피드백을 제공하기 위해 투영된다. 모바일 디바이스 프로세서는, 사용자 입력들을 검출하여 해석하고 이에 따라서 그 투영된 사용자 인터페이스 이미지를 연속적인 프로세스로 변경하면서, 사용자 인터페이스를 계속 투영할 수도 있다.
사용자가 그 투영된 이미지 오브젝트를 터치 제스쳐를 이용하여 선택할 수 있도록 그 투영된 사용자 인터페이스 (UI) 를 구현하는 일 양태의 방법 (1400) 의 추가 세부 사항들이 도 14 에 도시되어 있다. 방법 (1400) 의 블록 (1302) 에서, 모바일 디바이스 프로세서는 사용자 인터페이스 이미지를 생성하고, 블록 (1304) 에서 외부 표면 상에 투영할 수도 있다. 모바일 디바이스 프로세서는 블록 (1402) 에서, 디바이스의 터치 스크린 디스플레이 (103) 상에서의 터치 이벤트들을 검출하고, 블록 (1404) 에서 터치 이벤트 파라미터들을 측정하는 소프트웨어로 구성될 수도 있다. 터치 이벤트 파라미터들은 터치 이벤트의 로케이션, 이동 속도, 이동 방향 및 압력을 포함할 수도 있다. 결정 블록 (1406) 에서, 프로세서는 예컨대, 매칭이 있는지를 결정하기 위해서 측정된 터치 이벤트 파라미터들을 여러 터치 제스쳐들과 연관되는 미리 정의된 파라미터들과 비교함으로써, 검출된 터치 이벤트가 터치 제스쳐들과 연관되는지 여부를 결정한다. 그 터치 이벤트가 터치 제스쳐인 것으로 프로세서가 결정하면 (즉, 결정 블록 (1406) = "예"), 모바일 디바이스 프로세서는 블록 (1308) 에서, 터치 제스쳐와 연관되는 기능을 결정하고, 블록 (1310) 에서, 그 결정된 터치 제스쳐 기능에 기초하여 사용자 인터페이스를 변경하고, 블록 (1304) 로 되돌아 가서, 그 변경된 사용자 인터페이스 이미지를 투영할 수도 있다.
그 터치 이벤트가 터치 제스쳐가 아닌 것으로 프로세서가 결정하면 (즉, 결정 블록 (1406) = "아니오"), 모바일 디바이스 프로세서는 블록 (1410) 에서, 그 터치 이벤트를 선택 입력으로서 프로세싱하고, 마우스 화살표 (1202) 와 같은 선택 아이콘을 포함하도록 그 투영된 사용자 인터페이스 이미지를 변경할 수도 있다. 블록 (1412) 에서, 모바일 디바이스는, 외부 표면 상에 투영됨에 따라 사용자가 그 로케이션을 보고 선택 아이콘의 이동을 추적하는 것을 허용하도록, 그 변경된 투영된 사용자 인터페이스 이미지를 투영할 수도 있다. 일부 경우들에서, 선택 기능은 사용자가 오브젝트를 선택하기 전에 그 투영된 사용자 인터페이스 이미지 상에서 선택 아이콘을 움직일 수 있도록 할 수도 있다. 따라서, 결정 블록 (1414) 에서, 프로세서는 다음 사용자 입력이 이미지 오브젝트의 사용자 선택을 나타내는지를 결정할 수도 있다. 예를 들어, 사용자 선택 입력은 터치 스크린의 탭 (tap) 또는 더블 탭, 특정의 트레이싱된 패턴, 또는 버튼 누름의 형태일 수도 있다. 최근 증분된 사용자 입력이, 예컨대, 사용자가 선택 아이콘을 원하는 오브젝트 상에 포지셔닝하거나 또는 사용자가 아이템을 선택함이 없이 터치스크린 디스플레이로부터 손가락을 들어올리는 경우도 마찬가지일 수도 있는 것과 같은, 사용자 선택이 아닌 것으로 프로세서가 결정하면 (즉, 결정 블록 (1414) = "아니오"), 프로세서는 결정 블록 (1415) 에서, 사용자의 손가락이 터치스크린 디스플레이를 여전히 터치하고 있어 터치 이벤트가 여전히 프로세스 중에 있는지 여부를 결정할 수도 있다. 사용자의 손가락이 터치스크린을 떠나고 어떤 선택도 이루어지지 않았으면 (즉, 결정 블록 (1415) = "아니오"), 프로세서는 블록 (1304) 으로 되돌아가서, 사용자 인터페이스 이미지를 사용자 터치의 표시 없이 (예컨대, 선택 아이콘 없이) 투영할 수도 있다. 사용자의 손가락이 터치스크린을 여전히 터치하고 있고 어떤 선택도 이루어지지 않았으면 (즉, 결정 블록 (1415) = "예"), 프로세서는 블록 (1410) 으로 되돌아가서, 사용자 인터페이스 이미지를 변경하여 투영하는 프로세스를 계속할 수도 있다. 모바일 디바이스 프로세서가 사용자 선택 입력을 검출하면 (즉, 결정 블록 (1414) = "예"), 프로세서는 블록 (1416) 에서 그 선택된 기능을 구현하거나 또는 오브젝트를 선택하고, 블록 (1418) 에서 선택 기능에 기초하여 사용자 인터페이스 이미지를 변경할 수도 있다. 모바일 디바이스 프로세서는 블록 (1304) 으로 되돌아가서, 변경된 사용자 인터페이스를 투영할 수도 있다.
도 15 은 사용자들이 아이템들을 손 제스쳐들을 이용하여 선택할 수 있게 하는 투영된 사용자 인터페이스에 대한 일 실시형태의 방법 (1500) 을 도시한다. 블록 (1302) 에서, 모바일 디바이스 (100) 는 사용자 인터페이스 이미지를 생성하고, 블록 (1304) 에서 외부 표면 상에 투영할 수도 있다. 블록 (1502) 에서, 모바일 디바이스 프로세서는 사용자가 손 제스쳐를 구현하는 때를 인식하기 위해 센서 입력들을 프로세싱할 수도 있다. 상기 설명한 바와 같이, 제스쳐들은 디바이스의 이동들, 회전, 따라서 틸팅을 반영하는, 가속도계들 및/또는 컴퍼스 센서들로부터 수신되는 입력들에 기초하여 인식될 수도 있다. 특정의 손 제스쳐들은 수신된 센서 입력들을 특정의 입력 제스쳐들에 대응하는 센서 신호들의 미리 결정된 패턴들과 비교함으로써, 가장 적당하게 할 수도 있다. 결정 블록 (1504) 에서, 프로세서는 그 신호들이 의도되는 사용자 입력 제스쳐와 일치하는지 여부를 결정하기 위해 그 수신된 센서 신호들을 비교할 수도 있다. 예를 들어, 수신된 신호들은 감지된 이동의 양이 이동 제스쳐로서 해석되기에 충분한지를 결정하기 위해 임계값들과 비교될 수도 있다. 또 다른 예로서, 센서 신호들의 패턴은 매칭이 있는지를 결정하기 위해 특정의 사용자 입력 제스쳐들에 대응하는 미리 정의된 패턴들과 비교될 수도 있다. 수신된 신호들이 손 제스쳐와 연관되지 않는 것으로 프로세서가 결정하면 (즉, 결정 블록 (1504) = "아니오"), 모바일 디바이스 (100) 는 블록 (1502) 으로 되돌아가서, 수신된 센서 신호들을 계속 프로세싱할 수도 있다.
사용자 입력 제스쳐가 인식될 때 (즉, 결정 블록 (1504) = "예"), 프로세서는 인식된 제스쳐 (예컨대, 스크롤 커맨드) 와 연관되는 기능을 결정할 수도 있으며, 프로세서는 결정 블록 (1506) 에서, 그 인식된 제스쳐와 연관되는 기능이 이동 (예컨대, 투영된 이미지 내에서의 포인터 아이콘의 이동 또는 스크롤 커맨드) 또는 파일 선택 제스쳐 (예컨대, 버튼 누름, 터치스크린 상에서의 더블 탭 등) 를 수반하는지 여부를 결정할 수도 있다. 그 인식된 제스쳐가 이동 기능과 연관되는 것으로 프로세서가 결정하면 (즉, 결정 블록 (1506) = "이동 (Move)"), 프로세서는 블록 (1508) 에서, 그 결정된 기능을 구현하고 그에 따라서 사용자 인터페이스 이미지를 변경할 수도 있다. 블록 (1510) 에서, 모바일 디바이스 프로세서는 사용자 인터페이스 이미지가 변경된 후 그 투영된 프레임의 중앙 (또는, 투영된 프레임의 일부 다른 부분) 에 위치되는 콘텐츠를 결정할 수도 있다. 모바일 디바이스 프로세서는 또한, 블록 (1512) 에서, 중앙에 위치되는 콘텐츠를 하이라이트하기 위해 사용자 인터페이스 이미지를 변경하고 블록 (1304) 으로 되돌아가서 사용자 인터페이스 이미지를 투영할 수도 있다.
그 인식된 제스쳐가 선택 기능과 연관되는 것으로 프로세서가 결정하면 (즉, 결정 블록 (1506) = "선택 (Selection)"), 프로세서는 블록 (1504) 에서, 그 투영된 사용자 인터페이스 이미지에서 하이라이트된 콘텐츠를 식별할 수도 있다. 블록 (1516) 에서, 프로세서는 인식된 사용자 입력 제스쳐에 대응하는 선택 기능을 구현할 수도 있다. 예를 들어, 선택 기능은 후속 액션을 위한 파일 또는 오브젝트의 간단한 선택, 또다른 로케이션에서의 페이스팅 (pasting) 을 위한 선택된 오브젝트 또는 파일의 복사, 선택된 오브젝트 또는 파일을 삭제하기 또는 잘라내기, 또는 선택된 애플리케이션의 활성화일 수도 있으며, 가능한 선택 기능 중 단지 몇 개가 여러 양태들에서 구현될 수도 있다. 블록 (1518) 에서, 프로세서는 예컨대, 선택된 파일 로직을 하이라이트하거나 삭제하거나, 또는 활성화되는 애플리케이션과 연관되는 새로운 디스플레이 이미지를 구현하기 위해, 선택 기능에 기초하여, 사용자 인터페이스 이미지를 변경할 수도 있다. 그후, 모바일 디바이스 프로세서는 블록 (1304) 으로 되돌아가서, 그 변경된 사용자 인터페이스 이미지를 투영할 수도 있다.
상기 설명한 바와 같이, 일부 양태들에서, 다수의 모바일 디바이스들은 투영된 사용자 인터페이스와 협력적인 상호작용들을 할 수 있도록 하기 위해, 서로 상호작용할 수도 있다. 제 2 모바일 디바이스 (100b) 가 제 1 모바일 디바이스 (100a) 에 의해 투영되는 사용자-인터페이스와 상호작용할 수 있게 하는 일 양태의 방법 (1600) 이 도 16 에 도시되어 있다. 블록 (1302) 에서, 제 1 모바일 디바이스 (100a) 의 프로세서는 사용자 인터페이스 이미지를 생성하고, 블록 (1304) 에서, 사용자 인터페이스를 외부 표면 상에 투영할 수도 있다. 제 2 모바일 디바이스 (100b) 내의 프로세서는 블록 (1602) 에서, 투영된 사용자 인터페이스와의 상호작용을 요청하는 사용자 입력을 수신할 수도 있다. 블록 (1606) 에서, 제 2 모바일 디바이스 (100b) 의 프로세서는 제 1 모바일 디바이스 프로세서에 통신하라는 요청을 전송함으로써, 사용자 인터페이스 이미지를 투영하고 있는 제 1 모바일 디바이스 (100a) 와 통신 링크를 확립할 수도 있다. 제 1 모바일 디바이스 (100a) 는 블록 (1608) 에서, 제 2 모바일 디바이스 프로세서로부터 통신하라는 요청을 수신하고, 블록 (1610) 및 블록 (1612) 에서, 제 2 모바일 디바이스 프로세서와의 통신 링크를 협상할 수도 있다. 여러 양태들에서 사용될 수도 있는 무선 통신 기술들은 무선 통신 분야에서 널리 공지된, Bluetooth 또는 근거리장 통신 (NFC) 통신 기술들을 포함한다. 블록 (1614) 에서, 제 2 모바일 디바이스 프로세서는 상기 설명한 바와 같은, 터치스크린 상에서의 터치 이벤트들, 버튼 (예컨대, 화살표 키들) 누르기, 또는 모바일 디바이스의 이동들과 같은, 사용자 입력들을 검출하고, 블록 (1616) 에서, 수신된 사용자 입력들의 파라미터들을 결정할 수도 있다. 제 2 모바일 디바이스 프로세서는 블록 (1618) 에서, 수신된 사용자 입력 파라미터들 (예컨대, 터치 제스쳐의 속도 및 방향, 디바이스의 각도 또는 가속도 등) 을 이용하여, 의도되는 사용자 제스쳐를 인식할 수도 있다. 블록 (1620) 에서, 제 2 모바일 디바이스 프로세서는 오브젝트의 하이라이트, 아이콘의 이동, 리스트의 스크롤링 등과 같은, 인식된 사용자 입력 제스쳐에 응답하여, 투영된 사용자 인터페이스 이미지에 대해 이루어지는 적합한 변경을 결정할 수도 있다. 제 2 모바일 디바이스 프로세서는 블록 (1622) 에서, 투영된 사용자 인터페이스 이미지에 대해 이루어지는 결정된 적합한 변경을 통신하는 제 1 모바일 디바이스로 메시지를 전송할 수도 있다. 제 1 모바일 디바이스 프로세서는 블록 (1624) 에서, 그 메시지를 수신하고, 블록 (1626) 에서, 그 수신된 메시지를 이용하여 사용자 인터페이스 이미지를 변경하고, 블록 (1304) 으로 되돌아가서, 그 변경된 사용자 인터페이스 이미지를 투영할 수도 있다. 이러한 방식으로, 제 1 모바일 디바이스 (100a) 에 의해 투영되는 투영된 사용자 인터페이스 이미지는 제 2 모바일 디바이스 (100b) 상에서 수행되는 사용자 입력 제스쳐들을 반영한다. 도 16 은 2 개의 모바일 디바이스들을 수반하는 프로세스를 도시하지만, 임의 개수의 모바일 디바이스들이 방법 (1600) 또는 이의 변형들을 구현함으로써, 투영하는 모바일 디바이스 (100a) 와 상호작용할 수도 있다.
추가 양태에서, 프로젝터는, 사용자들 사생활을 제공하여 오직 사용자만이 투영된 이미지를 볼 수 있게, 사용자 인터페이스 디스플레이들을 투영하도록 구성될 수도 있다. 본 양태에서, 모바일 디바이스 내의 프로젝터는 3D 안경과 유사하거나 또는 동일할 수도 있는 특수 안경을 착용하고 있는 사람에 의해서만 보여질 수 있는 이미지를 투영하도록 구성될 수도 있다. 예를 들어, 프로젝터는 모든 화이트 또는 더미 이미지 투영의 기간들 사이에 점재된 간단한 인스턴스들에 대해 사용자 인터페이스 디스플레이를 투영하고, 화이트 또는 더미 이미지를 차단하고 오직 사용자 인터페이스 이미지의 인스턴스들의 보기만을 허용하도록 구성되는 안경을 착용할 수 있을 것이다. 이 예에서, 이러한 안경을 착용하고 있지 않는 사용자들은 오직 화이트 또는 더미 이미지만을 볼 수 있지만, 사용자는 투영된 사용자 인터페이스 이미지를 볼 수 있을 것이다. 이러한 안경을 위한 시간-제어 시청 (viewing) 기술은 3D 디스플레이 기술들로부터 차용될 수도 있다. 추가 예에서, 3D 이미지들을 상기 설명된 2 개의 프로젝터들 및 3D 안경을 이용하여 생성하는데 사용되는 기술과 동일한 기술이, 다른 프로젝터가 한 눈 또는 다른 눈을 위해 사용자 인터페이스 디스플레이를 투영하고 있는 동안에 하나의 프로젝터에서 화이트 스크린을 투영함으로써, 사적 (private) 투영된 사용자-인터페이스 디스플레이를 생성하는데 사용될 수도 있다. 본 양태에서, 사용자의 모바일 디바이스와 동기화되는 3D 안경을 착용하지 않은 사용자는 화이트 스크린을 보거나 또는 아주 색바랜 투영된 이미지를 볼 것이다.
여러 실시형태들과 함께 사용하기에 적합한 통상의 모바일 디바이스들 (1700) 은 도 17a 에 도시된 컴포넌트들을 공통으로 가질 것이다. 모바일 디바이스 (1700) 는 메모리 (1702) 에 커플링된 제어 프로세서 (1701) 를 포함하는, 전자 컴포넌트들의 회로 보드들 (1780) 을 포함할 수도 있으며, 이 회로보드의 일부 또는 모두는 온칩 시스템에 통합될 수도 있다. 제어 프로세서 (1701) 는 또한, 디지털 신호 프로세서 (1711) 및/또는 아날로그 신호 프로세서 (1721) 에 커플링될 수도 있으며, 디지털 신호 프로세서 (1711) 및/또는 아날로그 신호 프로세서 (1721) 는 함께 커플링될 수 있다. 일부 실시형태들에서, 제어 프로세서 (1701) 및 디지털 신호 프로세서 (1711) 는 동일한 컴포넌트이거나 또는 동일한 프로세서 칩에 통합될 수도 있다. 디스플레이 제어기 (1733) 및 터치스크린 제어기 (1743) 는 제어 프로세서 (1701) 에, 그리고, 모바일 디바이스 (1700) 내에 또는 모바일 디바이스 (1700) 에 접속된 디스플레이 또는 터치스크린 디스플레이 (1703) 에 커플링될 수도 있다.
제어 프로세서 (1701) 는 또한 착탈식 메모리 (1722) (예컨대, 모바일 컴퓨팅 디바이스들의 경우, SD 메모리 또는 SIM 카드) 에, 및/또는 디스크 드라이브, CD 드라이브, 및 DVD 드라이브 중 하나 이상과 같은, 외부 메모리 (1704) 에, 커플링될 수도 있다. 제어 프로세서 (1701) 는 또한 USB 포트 (1714) 에 커플링하는 범용 시리얼 버스 (USB) 제어기 (1712) 에 커플링될 수도 있다. 또한, 전원 (1770) 은 전력 (예컨대, DC 전력) 을 여러 전자 컴포넌트들에 제공하기 위해 USB 제어기 (1712) 를 통해 또는 상이한 전기 접속들을 통해 회로 보드 (1780) 에 커플링될 수도 있다.
제어 프로세서 (1701) 는 또한 비디오 인코더 (1734), 예컨대, 위상 반전 주사선 (PAL) 인코더, SECAM (sequential couleur a memoire) 인코더, 또는 NTSC (national television system(s) committee) 인코더에 커플링될 수도 있다. 또, 비디오 인코더 (1734) 는 비디오 인코더 (1734) 및 디스플레이 또는 터치스크린 디스플레이 (1703) 에 커플링될 수도 있는 비디오 증폭기 (1736) 에 커플링될 수도 있다. 또한, 비디오 포트 (1738) 는 모바일 디바이스 (1700) 를 외부 모니터, 텔레비전 또는 다른 디스플레이 (미도시) 에 접속하는 것을 가능하게 하기 위해, 비디오 증폭기 (1736) 에 커플링될 수도 있다.
일부 실시형태들, 특히 모바일 컴퓨팅 디바이스들에서, 제어 프로세서 (1701) 는 무선 주파수 (RF) 트랜시버 (1705) 에, 예컨대, 아날로그 신호 프로세서 (1721) 를 통해 커플링될 수도 있다. RF 트랜시버 (1705) 는 RF 신호들을 송수신하는 RF 안테나 (1704) 에 커플링될 수도 있다. RF 트랜시버 (1705) 는 예를 들어, 셀룰러 전화기 (예컨대, G-3, UMTS, CDMA 등), WiFi, WiMax, 및 BlueTooth 를 포함한, 하나 이상의 상이한 무선 통신 프로토콜들의 통신 신호들을 송수신하도록 구성될 수도 있다.
제어 프로세서 (1701) 는 또한, 네트워크 커넥터 (1716) 및/또는 RF 트랜시버 (1705) 에 커플링되어 외부 네트워크 (예컨대, 근거리 네트워크들, 인터넷, 인트라넷, WiFi 네트워크들, BlueTooth 네트워크들, 개인 영역 네트워크 (PAN) 등) 를 통해 통신들을 가능하게 하도록 구성될 수도 있는 네트워크 카드 (1706) 에 커플링될 수도 있다. 네트워크 카드 (1706) 는 별개의 칩 또는 카드의 형태일 수도 있거나, 또는 제어 프로세서 (1701) 또는 RF 트랜시버 (1705) (또는 양자) 의 부분으로서 완전한 솔루션 통신 칩으로 구현될 수도 있다.
도 17 에 나타낸 바와 같이, 키패드 (1708) 와 같이, 다수의 아날로그 디바이스들이 아날로그 신호 프로세서 (1721) 를 통해 제어 프로세서 (1701) 에 커플링될 수도 있다. 다른 구현예들에서, 키패드 또는 키보드는, 제어 프로세서 (1701) 와의 인터페이스가 직접 접속 (미도시) 을 통하거나, 네트워크 접속 (예컨대, 네트워크 카드) 을 통하거나, 또는 USB 포트 (1714) 를 통할 수 있도록, 그 자신의 프로세서를 포함할 수도 있다.
일부 구현예들에서, 디지털 카메라 (1748) 는 제어 프로세서 (1701) 에 커플링될 수도 있다. 예시적인 양태에서, 디지털 카메라 (1748) 는 전하 결합 소자 (CCD) 카메라 또는 상보형 금속 산화물 반도체 (CMOS) 카메라일 수도 있다. 디지털 카메라 (1748) 는 모바일 디바이스 (1700) 에 내장되거나 또는 외부 케이블에 의해 디바이스에 커플링될 수도 있다.
일부 구현예들에서, 오디오 CODEC (1750) (예컨대, 스테레오 CODEC) 은 아날로그 신호 프로세서 (1721) 에 커플링되고, 사운드 신호들을 오디오 증폭기 (1752) 를 통해 하나 이상의 스피커들 (1754) 로 전송하도록 구성될 수도 있다. 오디오 CODEC (1750) 은 또한 마이크로폰 (1758) 에 (예컨대, 마이크로폰 잭을 통해) 커플링될 수도 있는 마이크로폰 증폭기 (1756) 에 커플링될 수도 있다. 헤드폰 잭 (1759) 이 또한 오디오를 헤드폰들로 출력하는 오디오 CODEC (1750) 에 커플링될 수도 있다.
일부 구현예들에서, 모바일 디바이스 (1700) 는 브로드캐스트 무선 통신 신호들을 수신하는 안테나 (1762) 에 커플링될 수도 있는 별개의 RF 수신기 회로 (1760) 를 포함할 수도 있다. 수신기 회로 (1760) 는 브로드캐스트 텔레비전 신호들 (예컨대, FLO TV 브로드캐스트들) 을 수신하고, 수신된 신호들을 프로세싱을 위해 DSP (1711) 에 제공하도록 구성될 수도 있다. 일부 구현예들에서, 수신기 회로 (1760) 는 FM 무선 신호들을 수신하도록 구성될 수도 있으며, 이 경우 그 수신된 신호들이 프로세싱을 위해 오디오 CODEC (1750) 으로 전달될 수도 있다.
여러 양태들의 모바일 디바이스 (1700) 는 또한 제어 프로세서 (1701) 에, 예컨대 비디오 증폭기 (1736) 및 비디오 인코더 (1734) 를 통해 커플링되는, 피코 프로젝터와 같은, 프로젝터 (1726) 를 포함할 수도 있다. 상기 설명한 바와 같이, 프로젝터 (1726) 는 프로세서에 의해 생성되는 이미지들을 투영하도록 구성될 수도 있다.
모바일 디바이스 (1700) 는 또한 제어 프로세서 (1701) 에 커플링되는 3개의 가속도계들 (1713a, 1713b, 1713c) 을 포함할 수도 있다. 가속도계들 (1713a, 1713b, 1713c) 은 디바이스의 3개의 수직 축들을 따라 방향정렬되고, 중력 구배 (즉, 하방 벡터) 뿐만 아니라, 모바일 디바이스의 다른 가속도들을 (예컨대, 손 제스쳐들로부터) 검출하도록 구성될 수도 있다. 제어 프로세서 (1701) 는 가속도계들 (1713a, 1713b, 1713c) 각각으로부터의 신호들에 기초하여, 지구에 대한 모바일 디바이스의 공간 방위 (예컨대, 틸트 각도 및 회전 각도) 를 결정하도록 구성될 수도 있다. 가속도계들 (1713a, 1713b, 1713c) 은 (도 17a 에 도시된 바와 같이) 3개의 별개의 컴포넌트들로서 또는 (도 17b 에 도시된 바와 같이) 단일 가속도계 칩 (1713) 으로서 패키지될 수도 있다. 모바일 디바이스 (1700) 는 또한 제어 프로세서 (1701) 에 커플링되어 지구의 자기장에 대한 포인팅 방향을 검출하도록 구성되는 디지털 컴퍼스 (1724) 를 포함할 수도 있다.
상기 설명된 여러 컴포넌트들은 도 17b 에 도시된 바와 같은 모바일 디바이스 구성으로 구현될 수도 있다.
일 양태에서, 상기 설명된 방법 동작들 중 하나 이상을 달성하는 프로세서 실행가능 명령들은 내부 메모리 (1702), 착탈식 메모리 (1722) 및/또는 비-휘발성 메모리 (1704) (예컨대, 하드 드라이브, CD 드라이브, 또는 네트워크를 통해 액세스가능한 다른 저장장치) 에 저장될 수도 있다. 이러한 프로세서 실행가능 명령들은 본원에서 설명된 방법들을 수행하기 위해 제어 프로세서 (1701) 에 의해 실행될 수도 있다.
도 17b 는 모바일 컴퓨팅 디바이스를 도시하지만, 개인용 컴퓨터들 및 랩탑 컴퓨터들을 포함한, 다른 형태들의 컴퓨팅 디바이스들도 또한 일반적으로 내부 메모리 (1702) 에 커플링되는 프로세서 (1701), 및 프로젝터 (1726) 를 포함할 것이다. 따라서, 도 17b 는 특정의 도시된 형태 인자에 있어 청구항들의 범위를 모바일 컴퓨팅 디바이스에 한정하려는 것이 아니다.
프로세서 (1701) 는 본원에서 설된 여러 실시형태들의 기능들을 포함한 다양한 기능들을 수행하는 소프트웨어 명령들 (애플리케이션들) 에 의해 구성될 수 있는, 임의의 프로그램가능 마이크로프로세서, 마이크로컴퓨터 또는 다수의 프로세서 칩 또는 칩들일 수도 있다. 일부 모바일 디바이스들에서, 다수의 프로세서들 (1701) 은 한 프로세서는 무선 통신 기능들을 담당하고 한 프로세서는 다른 애플리케이션들을 실행하는 것을 담당하는 것과 같이 제공될 수도 있다. 일반적으로, 소프트웨어 애플리케이션들은 액세스되어 프로세서 (1701) 에 로드되기 전에 내부 메모리 (1702) 에 저장될 수도 있다. 일부 모바일 디바이스들에서, 프로세서 (1701) 는 애플리케이션 소프트웨어 명령들을 저장하기에 충분한 내부 메모리를 포함할 수도 있다. 일부 모바일 디바이스들에서, 보안 메모리는 프로세서 (1701) 에 커플링되는 별개의 메모리 칩 내에 있을 수도 있다. 많은 모바일 디바이스들 (1700) 에서, 내부 메모리 (1702) 는 휘발성 또는 비휘발성 메모리, 예컨대, 플래시 메모리, 또는 양자의 혼합물일 수도 있다. 이 설명의 목적을 위해, 메모리에 대한 전반적인 참조는, 내부 메모리 (1702), 모바일 디바이스에 플러그인되는 착탈식 메모리, 및 프로세서 (1701) 자체 내의 메모리를 포함한, 프로세서 (1701) 에 의해 액세스가능한 모든 메모리를 지칭한다.
프로세서 (1701) 는 본원에서 설명된 여러 양태들의 기능들을 포함한, 다양한 기능들을 수행하는 소프트웨어 명령들 (애플리케이션들) 에 의해 구성될 수 있는, 임의의 프로그램가능 마이크로프로세서, 마이크로컴퓨터 또는 다수의 프로세서 칩 또는 칩들일 수도 있다. 일부 모바일 디바이스들에서, 다수의 프로세서들 (1701) 은, 하나의 프로세서가 무선 통신 기능들을 담당하고 하나의 프로세서가 다른 애플리케이션들을 실행하는 것을 담당하는 것과 같이 제공될 수도 있다. 일반적으로, 소프트웨어 애플리케이션들은 액세스되어 프로세서 (1701) 에 로드되기 전에 내부 메모리 (1702) 에 저장될 수도 있다. 일부 모바일 디바이스들에서, 프로세서 (1701) 는 애플리케이션 소프트웨어 명령들을 저장하기에 충분한 내부 메모리를 포함할 수도 있다. 일부 모바일 디바이스들에서, 추가적인 메모리 칩들 (예컨대, 보안 데이터 (SD) 카드) 이 디바이스 (1700) 에 플러그인되어 프로세서 (1701) 에 커플링될 수도 있다. 많은 모바일 디바이스들에서, 내부 메모리 (1702) 는 휘발성 또는 비휘발성 메모리, 예컨대, 플래시 메모리, 또는 양자의 혼합물일 수도 있다. 이 설명의 목적을 위해, 메모리에 대한 전반적인 참조는 내부 메모리 (1702), 모바일 디바이스에 플러그인되는 착탈식 메모리, 및 보안 메모리 (미도시) 를 포함한 프로세서 (1701) 자체 내의 메모리를 포함하는, 프로세서 (1701) 에 의해 액세스가능한 모든 메모리를 지칭한다.
여러 양태들은 모바일 디바이스가 손 제스쳐들을 달성하기 위해 터닝되거나 또는 틸팅되는 동안 투영된 디스플레이를 외부 표면 상에 일반적으로 안정하게 유지하기 위해 조종가능한 옵틱스를 채용할 수도 있다. 도 18 은 조종가능한 투영 시스템 (1800) 의 일 예를 도시한다. 이러한 조종가능한 투영 시스템 (1800) 은 액츄에이터들 (1806, 1808) 에 커플링되는 렌즈 프레임 (1804) 내에 포지셔닝되는 포커싱/방향변경 렌즈 (1802) 를 포함할 수도 있다. 액츄에이터들 (1806, 1808) 은 모바일 디바이스 프로세서 (1701) 에 커플링될 수도 있다 (도 17 참조). 포커싱/방향변경 렌즈 (1802) 는 투영된 광이 포커싱/방향변경 렌즈 (1802) 를 통과하도록, 피코 프로젝터 (1810) 의 앞에 포지셔닝될 수도 있다. 액츄에이터들 (1806, 1808) 은 프로세서 (1701) 로부터 수신되는 신호들에 응답하여 확장 (extend) 하거나 또는 수축 (retract) 하도록 구성될 수도 있다. 대향 액츄에이터 (예컨대, 액츄에이터 (1808)) 를 수축하는 동안 하나의 액츄에이터 (예컨대, 액츄에이터 (1806)) 를 확장함으로써, 액츄에이터들은 피코 프로젝터 (1810) 에 의해 내장되는 투영된 이미지를 조종하는 방식으로 렌즈 (1802) 를 틸팅할 수도 있다. 일 구현예에서, 모바일 디바이스 프로세서가 가속도계들 및/또는 컴퍼스 센서들로부터 수신되는 정보에 기초하여 디바이스의 이동을 인식함에 따라서, 프로세서는 검출된 디바이스 이동들을 보상하도록 투영을 조종하기 위해, 제어 신호들을 액츄에이터들 (1806, 1808) 로 송신할 수도 있다. 투영이 조종될 수 있는 정도는 반드시 옵틱스 및 액츄에이터들 (1806, 1808) 에 의해 달성가능한 이동 (travel) 에 의해 제한될 것이다. 도 18 에 도시된 조종가능한 투영 시스템 (1800) 은 단지, 투영된 이미지를 조종하는데 사용될 수도 있는 이미지 조종 메커니즘의 일 예이며, 다른 메커니즘들이 청구항들의 범위 내에서 구현될 수도 있다.
상기 방법 설명들 및 프로세스 흐름 다이어그램들은 단지 예시적인 예들로서 제공되며, 여러 양태들의 단계들이 제시된 순서로 수행되어야 한다는 것을 요구하거나 또는 암시하려고 의도된 것이 아니다. 당업자가 주지하고 있는 바와 같이, 전술한 양태들에서 단계들의 순서는 임의의 순서로 수행될 수도 있다. "그후", "그리고 나서", "다음에" 등과 같은 단어들은 단계들의 순서를 한정하려고 의도되지 않으며; 이들 단어들은 단순히 방법들의 설명을 통해 독자를 안내하는데 사용된다. 또, 단수형으로, 예를 들어, 관사 "a", "an" 또는 "the" 를 이용한, 청구항 엘리먼트들에 대한 임의의 참조는 그 엘리먼트를 단수로 한정하는 것으로 해석되어서는 안 된다.
본원에 개시된 양태들과 관련하여 설명되는 여러가지 예시적인 로직 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로서 구현될 수도 있다. 이러한 하드웨어와 소프트웨어의 상호교환가능성을 명확히 나타내기 위하여, 블록들, 모듈들, 회로들, 및 단계들에서의 여러 예시적인 컴포넌트들이 일반적으로 그들의 기능의 관점에서 상기 설명되었다. 이러한 기능이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지 여부는 전체 시스템에 부과된 특정의 애플리케이션 및 설계 제약들에 의존한다. 숙련자들은 상기 설명된 기능을 각각의 특정 애플리케이션에 대해 다양한 방식들로 구현할 수도 있지만, 이러한 구현 결정은 본 발명의 범위로부터 벗어남을 야기하는 것으로 해석되어서는 안된다.
본원에 개시된 양태들과 관련하여 설명되는 여러 예시적인 로직들, 로직 블록들, 모듈들, 및 회로들을 구현하기 위해 사용되는 하드웨어는, 본원에 설명된 기능들을 수행하도록 설계된 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적회로 (ASIC), 필드 프로그램가능 게이트 어레이 (FPGA) 또는 다른 프로그램가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 이들의 임의의 조합으로 구현되거나 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적인 예에서, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예컨대, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수도 있다. 이의 대안으로, 일부 단계들 또는 방법들은 주어진 기능에 특유한 회로에 의해 수행될 수도 있다.
하나 이상의 예시적인 양태들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드들로서 저장 또는 송신될 수도 있다. 본원에 개시된 방법 또는 알고리즘의 단계들은 유형의 또는 비일시적 컴퓨터 판독가능 저장 매체 상에 상주하여 실행될 수도 있는 프로세서 실행가능 소프트웨어 모듈로 구현될 수도 있다. 컴퓨터 판독가능 저장 매체들은 컴퓨터에 의해 액세스될 수도 있는 임의의 이용가능한 매체들일 수도 있다. 일 예로서, 이에 한정하지 않고, 이러한 컴퓨터 판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광디스크 저장, 자기디스크 저장 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 전달 또는 저장하는데 사용될 수도 있으며 컴퓨터에 의해 액세스될 수도 있는 임의의 다른 매체를 포함할 수도 있다. 디스크 (disk) 및 디스크 (disc) 는, 본원에서 사용한 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크, 및 블루-레이 디스크를 포함하며, 디스크 (disk) 들은 보통 데이터를 자기적으로 재생시키는 한편, 디스크 (disc) 들은 레이저를 이용하여 데이터를 광학적으로 재생시킨다. 상기의 조합이 또한 컴퓨터 판독가능 매체의 범위 내에 포함될 수 있다. 게다가, 방법 또는 알고리즘의 동작들은 컴퓨터 프로그램 제품에 포함될 수도 있는 머신 판독가능 매체 및/또는 컴퓨터 판독가능 매체 상에 코드들 및/또는 명령들의 하나 또는 임의의 조합 또는 세트로서 상주할 수도 있다.
개시된 양태들의 전술한 설명은 임의의 당업자가 본 발명을 실시하거나 또는 이용할 수 있게 하기 위해 제공된다. 이들 양태들에 대한 여러 변경들은 당업자들에게 쉽게 명백할 것이며, 본원에 정의된 일반 원리들은 본 발명의 사상 또는 범위로부터 벗어남 없이 다른 양태들에 적용될 수도 있다. 따라서, 본 발명은 본원에 나타낸 양태들에 한정하려는 것이 아니라, 다음의 청구항 및 여기에 개시된 원리들 및 신규한 특징들에 부합하는 최광의 범위를 따르게 될 것이다.

Claims (52)

  1. 모바일 디바이스를 위한 사용자 인터페이스를 제공하는 방법으로서,
    사용자 인터페이스 이미지를 투영하는 단계;
    사용자 입력 제스쳐를 검출하는 단계;
    검출된 상기 사용자 입력 제스쳐와 연관된 기능을 식별하는 단계; 및
    해석된 제스쳐에 기초하여 투영된 상기 사용자 인터페이스 이미지를 변경하는 단계를 포함하는, 모바일 디바이스를 위한 사용자 인터페이스의 제공 방법.
  2. 제 1 항에 있어서,
    상기 사용자 입력 제스쳐를 검출하는 단계는,
    터치 스크린 디스플레이로부터 터치 이벤트를 수신하는 단계; 및
    수신된 상기 터치 이벤트를 특정의 터치 제스쳐에 상관시키는 단계를 포함하는, 모바일 디바이스를 위한 사용자 인터페이스의 제공 방법.
  3. 제 1 항에 있어서,
    상기 사용자 인터페이스 이미지를 투영하는 단계는, 3D 안경으로 볼 때 3차원으로 나타나는 이미지를 투영하는 단계를 포함하는, 모바일 디바이스를 위한 사용자 인터페이스의 제공 방법.
  4. 제 1 항에 있어서,
    투영된 상기 이미지는, 이미지 오브젝트들이 구의 표면 주위에 포지셔닝되어 나타나도록 구성되며,
    상기 해석된 제스쳐에 기초하여 투영된 상기 사용자 인터페이스 이미지를 변경하는 단계는, 상기 구가 하나 또는 2 개의 축들 둘레를 회전하여 상이한 이미지 오브젝트들을 전경 포지션에 포지셔닝하는 것으로 나타나도록 투영된 상기 사용자 인터페이스 이미지를 변경하는 단계를 포함하는, 모바일 디바이스를 위한 사용자 인터페이스의 제공 방법.
  5. 제 1 항에 있어서,
    투영된 상기 사용자 인터페이스 이미지의 중앙에 위치된 이미지 오브젝트를 하이라이트하는 단계; 및
    하이라이트된 상기 이미지 오브젝트를 사용자 입력에 응답하여 선택하는 단계를 더 포함하는, 모바일 디바이스를 위한 사용자 인터페이스의 제공 방법.
  6. 제 1 항에 있어서,
    제 2 모바일 디바이스와 통신 링크를 확립하는 단계;
    상기 해석된 제스쳐에 기초하여 상기 제 2 모바일 디바이스로부터 상기 사용자 인터페이스 이미지에 대한 변경들에 관한 정보를 포함한 메시지를 수신하는 단계; 및
    상기 제 2 모바일 디바이스로부터 수신된, 상기 사용자 인터페이스 이미지에 대한 변경들에 관한 상기 정보에 기초하여 상기 사용자 인터페이스 이미지를 변경하는 단계를 더 포함하는, 모바일 디바이스를 위한 사용자 인터페이스의 제공 방법.
  7. 제 1 항에 있어서,
    상기 사용자 입력 제스쳐를 검출하는 단계는,
    상기 모바일 디바이스 내의 방위 센서들로부터 신호들을 수신하는 단계; 및
    수신된 센서 신호들을 손 제스쳐에 상관시키는 단계를 포함하는, 모바일 디바이스를 위한 사용자 인터페이스의 제공 방법.
  8. 제 7 항에 있어서,
    상관된 상기 손 제스쳐에 대응하는 기능을 식별하는 단계; 및
    식별된 상기 기능을 구현하는 단계를 더 포함하며,
    상기 해석된 제스쳐에 기초하여 투영된 상기 사용자 인터페이스 이미지를 변경하는 단계는, 구현된 상기 기능에 기초하여 상기 사용자 인터페이스 이미지를 변경하는 단계를 포함하는, 모바일 디바이스를 위한 사용자 인터페이스의 제공 방법.
  9. 제 7 항에 있어서,
    투영된 상기 이미지를 틸트 또는 턴의 제한된 각도 내에서 대략 고정되게 유지하기 위해 투영된 상기 사용자 인터페이스 이미지의 각도를 조정하는 단계를 더 포함하는, 모바일 디바이스를 위한 사용자 인터페이스의 제공 방법.
  10. 제 7 항에 있어서,
    이미지 오브젝트들을, 상기 이미지가 투영되는 외부 표면에 대해 대략 일정한 포지션에 유지하기 위해 투영된 상기 사용자 인터페이스 이미지를 변경하는 단계를 더 포함하는, 모바일 디바이스를 위한 사용자 인터페이스의 제공 방법.
  11. 제 7 항에 있어서,
    상기 방위 센서들은 하나 이상의 가속도계들을 포함하는, 모바일 디바이스를 위한 사용자 인터페이스의 제공 방법.
  12. 제 11 항에 있어서,
    상기 수신된 센서 신호들을 손 제스쳐에 상관시키는 단계는, 상기 손 제스쳐를, 상기 모바일 디바이스의 틸트, 상기 모바일 디바이스의 턴, 상기 모바일 디바이스의 회전, 및 상기 모바일 디바이스의 빠른 이동 중 하나인 것으로서 인식하는 단계를 포함하는, 모바일 디바이스를 위한 사용자 인터페이스의 제공 방법.
  13. 제 11 항에 있어서,
    식별된 상기 기능을 구현하는 단계는, 리스트를 스크롤하는 것, 이미지 오브젝트를 이동하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 이미지 오브젝트에 적용된 줌 팩터를 변경하는 것, 투영된 상기 사용자 인터페이스 이미지 내에서 오브젝트를 선택하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 오브젝트를 복사하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 오브젝트를 삭제하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 오브젝트와 연관된 애플리케이션을 실행하는 것, 및 상기 사용자 인터페이스 이미지 내에 디스플레이되는 포인팅 아이콘의 이동 중 하나를 달성하는 단계를 포함하는, 모바일 디바이스를 위한 사용자 인터페이스의 제공 방법.
  14. 프로젝터; 및
    상기 프로세서에 커플링된 프로세서를 포함하며,
    상기 프로세서는,
    사용자 인터페이스 이미지를 투영하는 것;
    사용자 입력 제스쳐를 검출하는 것;
    검출된 상기 사용자 입력 제스쳐와 연관된 기능을 식별하는 것; 및
    해석된 제스쳐에 기초하여 투영된 상기 사용자 인터페이스 이미지를 변경하는 것을 포함한 동작들을 수행하는 프로세서 실행가능 명령들로 구성되는, 모바일 디바이스.
  15. 제 14 항에 있어서,
    상기 프로세서는, 상기 사용자 입력 제스쳐를 검출하는 것이,
    터치 스크린 디스플레이로부터 터치 이벤트를 수신하는 것; 및
    수신된 상기 터치 이벤트를 특정의 터치 제스쳐에 상관시키는 것을 포함하도록, 동작들을 수행하는 프로세서 실행가능 명령들로 구성되는, 모바일 디바이스.
  16. 제 14 항에 있어서,
    상기 프로세서는, 상기 사용자 인터페이스 이미지를 투영하는 것이,
    3D 안경으로 볼 때 3차원으로 나타나는 이미지를 투영하는 것을 포함하도록, 동작들을 수행하는 프로세서 실행가능 명령들로 구성되는, 모바일 디바이스.
  17. 제 14 항에 있어서,
    상기 프로세서는,
    투영된 상기 이미지가 이미지 오브젝트들이 구의 표면 주위에 포지셔닝되어 나타나도록 구성되고;
    상기 해석된 제스쳐에 기초하여 투영된 상기 사용자 인터페이스 이미지를 변경하는 것이 상기 구가 하나 또는 2 개의 축들 둘레를 회전하여 상이한 이미지 오브젝트들을 전경 포지션에 포지셔닝하는 것으로 나타나도록 투영된 상기 사용자 인터페이스 이미지를 변경하는 것을 포함하도록, 동작들을 수행하는 프로세서 실행가능 명령들로 구성되는, 모바일 디바이스.
  18. 제 14 항에 있어서,
    상기 프로세서는,
    투영된 상기 사용자 인터페이스 이미지의 중앙에 위치된 이미지 오브젝트를 하이라이트하는 것; 및
    하이라이트된 상기 이미지 오브젝트를 사용자 입력에 응답하여 선택하는 것을 더 포함한 동작들을 수행하는 프로세서 실행가능 명령들로 구성되는, 모바일 디바이스.
  19. 제 14 항에 있어서,
    상기 프로세서는,
    제 2 모바일 디바이스와 통신 링크를 확립하는 것;
    상기 해석된 제스쳐에 기초하여 상기 제 2 모바일 디바이스로부터 상기 사용자 인터페이스 이미지에 대한 변경들에 관한 정보를 포함한 메시지를 수신하는 것; 및
    상기 제 2 모바일 디바이스로부터 수신된, 상기 사용자 인터페이스 이미지에 대한 변경들에 관한 상기 정보에 기초하여 상기 사용자 인터페이스 이미지를 변경하는 것을 더 포함한 동작들을 수행하는 프로세서 실행가능 명령들로 구성되는, 모바일 디바이스.
  20. 제 14 항에 있어서,
    방위 센서들을 더 포함하며,
    상기 프로세서는, 상기 사용자 입력 제스쳐를 검출하는 것이,
    상기 방위 센서들로부터 신호들을 수신하는 것; 및
    수신된 센서 신호들을 손 제스쳐에 상관시키는 것을 포함하도록, 동작들을 수행하는 프로세서 실행가능 명령들로 구성되는, 모바일 디바이스.
  21. 제 20 항에 있어서,
    상기 프로세서는,
    상관된 상기 손 제스쳐에 대응하는 기능을 식별하는 것; 및
    식별된 상기 기능을 구현하는 것을 더 포함한 동작들을 수행하는 프로세서 실행가능 명령들로 구성되며,
    상기 해석된 제스쳐에 기초하여 투영된 상기 사용자 인터페이스 이미지를 변경하는 것은, 구현된 상기 기능에 기초하여 상기 사용자 인터페이스 이미지를 변경하는 것을 포함하는, 모바일 디바이스.
  22. 제 20 항에 있어서,
    상기 프로세서는, 투영된 상기 이미지를 틸트 또는 턴의 제한된 각도 내에서 대략 고정되게 유지하기 위해 투영된 상기 사용자 인터페이스 이미지의 각도를 조정하는 것을 더 포함한 동작들을 수행하는 프로세서 실행가능 명령들로 구성되는, 모바일 디바이스.
  23. 제 20 항에 있어서,
    상기 프로세서는, 이미지 오브젝트들을, 상기 이미지가 투영되는 외부 표면에 대해 대략 일정한 포지션에 유지하기 위해 투영된 상기 사용자 인터페이스 이미지를 변경하는 것을 더 포함한 동작들을 수행하는 프로세서 실행가능 명령들로 구성되는, 모바일 디바이스.
  24. 제 20 항에 있어서,
    상기 방위 센서들은 하나 이상의 가속도계들을 포함하는, 모바일 디바이스.
  25. 제 24 항에 있어서,
    상기 프로세서는, 상기 수신된 센서 신호들을 손 제스쳐에 상관시키는 것이, 상기 손 제스쳐를, 상기 모바일 디바이스의 틸트, 상기 모바일 디바이스의 턴, 상기 모바일 디바이스의 회전, 및 상기 모바일 디바이스의 빠른 이동 중 하나인 것으로서 인식하는 것을 포함하도록, 동작들을 수행하는 프로세서 실행가능 명령들로 구성되는, 모바일 디바이스.
  26. 제 24 항에 있어서,
    상기 프로세서는, 식별된 상기 기능을 구현하는 것이, 리스트를 스크롤하는 것, 이미지 오브젝트를 이동하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 이미지 오브젝트에 적용된 줌 팩터를 변경하는 것, 투영된 상기 사용자 인터페이스 이미지 내에서 오브젝트를 선택하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 오브젝트를 복사하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 오브젝트를 삭제하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 오브젝트와 연관된 애플리케이션을 실행하는 것, 및 상기 사용자 인터페이스 이미지 내에 디스플레이되는 포인팅 아이콘의 이동 중 하나를 달성하는 것을 포함하도록, 동작들을 수행하는 프로세서 실행가능 명령들로 구성되는, 모바일 디바이스.
  27. 사용자 인터페이스 이미지를 투영하는 수단;
    사용자 입력 제스쳐를 검출하는 수단;
    검출된 상기 사용자 입력 제스쳐와 연관된 기능을 식별하는 수단; 및
    해석된 제스쳐에 기초하여 투영된 상기 사용자 인터페이스 이미지를 변경하는 수단을 포함하는, 모바일 디바이스.
  28. 제 27 항에 있어서,
    상기 사용자 입력 제스쳐를 검출하는 수단은,
    터치 스크린 디스플레이로부터 터치 이벤트를 수신하는 수단; 및
    수신된 상기 터치 이벤트를 특정의 터치 제스쳐에 상관시키는 수단을 포함하는, 모바일 디바이스.
  29. 제 27 항에 있어서,
    상기 사용자 인터페이스 이미지를 투영하는 수단은, 3D 안경으로 볼 때 3차원으로 나타나는 이미지를 투영하는 수단을 포함하는, 모바일 디바이스.
  30. 제 27 항에 있어서,
    상기 사용자 인터페이스 이미지를 투영하는 수단은, 이미지 오브젝트들이 구의 표면 주위에 포지셔닝되어 나타나도록 이미지를 투영하는 수단을 포함하며;
    상기 해석된 제스쳐에 기초하여 투영된 상기 사용자 인터페이스 이미지를 변경하는 수단은, 상기 구가 하나 또는 2 개의 축들 둘레를 회전하여 상이한 이미지 오브젝트들을 전경 포지션에 포지셔닝하는 것으로 나타나도록 투영된 상기 사용자 인터페이스 이미지를 변경하는 수단을 포함하는, 모바일 디바이스.
  31. 제 27 항에 있어서,
    투영된 상기 사용자 인터페이스 이미지의 중앙에 위치된 이미지 오브젝트를 하이라이트하는 수단; 및
    하이라이트된 상기 이미지 오브젝트를 사용자 입력에 응답하여 선택하는 수단을 더 포함하는, 모바일 디바이스.
  32. 제 27 항에 있어서,
    제 2 모바일 디바이스와 통신 링크를 확립하는 수단;
    상기 해석된 제스쳐에 기초하여 상기 제 2 모바일 디바이스로부터 상기 사용자 인터페이스 이미지에 대한 변경들에 관한 정보를 포함한 메시지를 수신하는 수단; 및
    상기 제 2 모바일 디바이스로부터 수신된, 상기 사용자 인터페이스 이미지에 대한 변경들에 관한 상기 정보에 기초하여 상기 사용자 인터페이스 이미지를 변경하는 수단을 더 포함하는, 모바일 디바이스.
  33. 제 27 항에 있어서,
    상기 사용자 입력 제스쳐를 검출하는 수단은,
    상기 모바일 디바이스의 방위를 감지하는 수단; 및
    상기 모바일 디바이스의 감지된 상기 방위를 손 제스쳐에 상관시키는 수단을 포함하는, 모바일 디바이스.
  34. 제 33 항에 있어서,
    상관된 상기 손 제스쳐에 대응하는 기능을 식별하는 수단; 및
    식별된 상기 기능을 구현하는 수단을 더 포함하며,
    상기 해석된 제스쳐에 기초하여 투영된 상기 사용자 인터페이스 이미지를 변경하는 수단은, 구현된 상기 기능에 기초하여 상기 사용자 인터페이스 이미지를 변경하는 수단을 포함하는, 모바일 디바이스.
  35. 제 33 항에 있어서,
    투영된 상기 이미지를 틸트 또는 턴의 제한된 각도 내에서 대략 고정되게 유지하기 위해 투영된 상기 사용자 인터페이스 이미지의 각도를 조정하는 수단을 더 포함하는, 모바일 디바이스.
  36. 제 33 항에 있어서,
    이미지 오브젝트들을, 상기 이미지가 투영되는 외부 표면에 대해 대략 일정한 포지션에 유지하기 위해 투영된 상기 사용자 인터페이스 이미지를 변경하는 수단을 더 포함하는, 모바일 디바이스.
  37. 제 33 항에 있어서,
    상기 모바일 디바이스의 방위를 감지하는 수단은 하나 이상의 가속도계들을 포함하는, 모바일 디바이스.
  38. 제 37 항에 있어서,
    상기 수신된 센서 신호들을 손 제스쳐에 상관시키는 수단은, 상기 손 제스쳐를, 상기 모바일 디바이스의 틸트, 상기 모바일 디바이스의 턴, 상기 모바일 디바이스의 회전, 및 상기 모바일 디바이스의 빠른 이동 중 하나인 것으로서 인식하는 수단을 포함하는, 모바일 디바이스.
  39. 제 37 항에 있어서,
    식별된 상기 기능을 구현하는 수단은, 리스트를 스크롤하는 것, 이미지 오브젝트를 이동하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 이미지 오브젝트에 적용된 줌 팩터를 변경하는 것, 투영된 상기 사용자 인터페이스 이미지 내에서 오브젝트를 선택하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 오브젝트를 복사하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 오브젝트를 삭제하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 오브젝트와 연관된 애플리케이션을 실행하는 것, 및 상기 사용자 인터페이스 이미지 내에 디스플레이되는 포인팅 아이콘의 이동 중 하나를 달성하는 수단을 포함하는, 모바일 디바이스.
  40. 모바일 디바이스의 프로세서로 하여금, 동작들을 수행하게 하도록 구성된 프로세서 실행가능 명령들을 저장하고 있는 비일시적 프로세서 판독가능 저장 매체로서,
    프로젝터; 및
    상기 프로세서에 커플링된 프로세서를 포함하며,
    상기 프로세서는,
    사용자 인터페이스 이미지를 투영하는 것;
    사용자 입력 제스쳐를 검출하는 것;
    검출된 상기 사용자 입력 제스쳐와 연관된 기능을 식별하는 것; 및
    해석된 제스쳐에 기초하여 투영된 상기 사용자 인터페이스 이미지를 변경하는 것을 포함한 동작들을 수행하는 프로세서 실행가능 명령들로 구성되는, 비일시적 프로세서 판독가능 저장 매체.
  41. 제 40 항에 있어서,
    저장된 상기 프로세서 실행가능 명령들은, 모바일 디바이스의 프로세서로 하여금, 상기 사용자 입력 제스쳐를 검출하는 것이,
    터치 스크린 디스플레이로부터 터치 이벤트를 수신하는 것; 및
    수신된 상기 터치 이벤트를 특정의 터치 제스쳐에 상관시키는 것을 포함하도록, 동작들을 수행하게 하도록 구성되는, 모바일 디바이스.
  42. 제 40 항에 있어서,
    저장된 상기 프로세서 실행가능 명령들은, 모바일 디바이스의 프로세서로 하여금, 상기 사용자 인터페이스 이미지를 투영하는 것이, 특수 3D 안경으로 볼 때 3차원으로 나타나는 이미지를 투영하는 것을 포함하도록, 동작들을 수행하게 하도록 구성되는, 모바일 디바이스.
  43. 제 40 항에 있어서,
    저장된 상기 프로세서 실행가능 명령들은, 모바일 디바이스의 프로세서로 하여금,
    투영된 상기 이미지가 이미지 오브젝트들이 구의 표면 주위에 포지셔닝되어 나타나도록 구성되고;
    상기 해석된 제스쳐에 기초하여 투영된 상기 사용자 인터페이스 이미지를 변경하는 것이 상기 구가 하나 또는 2 개의 축들 둘레를 회전하여 상이한 이미지 오브젝트들을 전경 포지션에 포지셔닝하는 것으로 나타나도록 투영된 상기 사용자 인터페이스 이미지를 변경하는 것을 포함하도록, 동작들을 수행하게 하도록 구성되는, 모바일 디바이스.
  44. 제 40 항에 있어서,
    저장된 상기 프로세서 실행가능 명령들은, 모바일 디바이스의 프로세서로 하여금,
    투영된 상기 사용자 인터페이스 이미지의 중앙에 위치된 이미지 오브젝트를 하이라이트하는 것; 및
    하이라이트된 상기 이미지 오브젝트를 사용자 입력에 응답하여 선택하는 것을 더 포함한 동작들을 수행하게 하도록 구성되는, 모바일 디바이스.
  45. 제 40 항에 있어서,
    저장된 상기 프로세서 실행가능 명령들은, 모바일 디바이스의 프로세서로 하여금,
    제 2 모바일 디바이스와 통신 링크를 확립하는 것;
    상기 해석된 제스쳐에 기초하여 상기 제 2 모바일 디바이스로부터 상기 사용자 인터페이스 이미지에 대한 변경들에 관한 정보를 포함한 메시지를 수신하는 것; 및
    상기 제 2 모바일 디바이스로부터 수신된, 상기 사용자 인터페이스 이미지에 대한 변경들에 관한 상기 정보에 기초하여 상기 사용자 인터페이스 이미지를 변경하는 것을 더 포함한 동작들을 수행하게 하도록 구성되는, 모바일 디바이스.
  46. 제 40 항에 있어서,
    저장된 상기 프로세서 실행가능 명령들은, 모바일 디바이스의 프로세서로 하여금, 상기 사용자 입력 제스쳐를 검출하는 것이,
    상기 모바일 디바이스 내의 방위 센서들로부터 신호들을 수신하는 것; 및
    수신된 센서 신호들을 손 제스쳐에 상관시키는 것을 포함하도록, 동작들을 수행하게 하도록 구성되는, 모바일 디바이스.
  47. 제 46 항에 있어서,
    저장된 상기 프로세서 실행가능 명령들은, 모바일 디바이스의 프로세서로 하여금,
    상관된 상기 손 제스쳐에 대응하는 기능을 식별하는 것; 및
    식별된 상기 기능을 구현하는 것을 더 포함한 동작들을 수행하게 하도록 구성되며,
    상기 해석된 제스쳐에 기초하여 투영된 상기 사용자 인터페이스 이미지를 변경하는 것은, 구현된 상기 기능에 기초하여 상기 사용자 인터페이스 이미지를 변경하는 것을 포함하는, 모바일 디바이스.
  48. 제 46 항에 있어서,
    저장된 상기 프로세서 실행가능 명령들은, 모바일 디바이스의 프로세서로 하여금, 투영된 상기 이미지를 틸트 또는 턴의 제한된 각도 내에서 대략 고정되게 유지하기 위해 투영된 상기 사용자 인터페이스 이미지의 각도를 조정하는 것을 더 포함한 동작들을 수행하게 하도록 구성되는, 모바일 디바이스.
  49. 제 46 항에 있어서,
    저장된 상기 프로세서 실행가능 명령들은, 모바일 디바이스의 프로세서로 하여금, 이미지 오브젝트들을, 상기 이미지가 투영되는 외부 표면에 대해 대략 일정한 포지션에 유지하기 위해 투영된 상기 사용자 인터페이스 이미지를 변경하는 것을 더 포함한 동작들을 수행하게 하도록 구성되는, 모바일 디바이스.
  50. 제 46 항에 있어서,
    상기 방위 센서들은 하나 이상의 가속도계들을 포함하는, 모바일 디바이스.
  51. 제 50 항에 있어서,
    저장된 상기 프로세서 실행가능 명령들은, 모바일 디바이스의 프로세서로 하여금, 상기 수신된 센서 신호들을 손 제스쳐에 상관시키는 것이, 상기 손 제스쳐를, 상기 모바일 디바이스의 틸트, 상기 모바일 디바이스의 턴, 상기 모바일 디바이스의 회전, 및 상기 모바일 디바이스의 빠른 이동 중 하나인 것으로서 인식하는 것을 포함하도록, 동작들을 수행하게 하도록 구성되는, 모바일 디바이스.
  52. 제 50 항에 있어서,
    저장된 상기 프로세서 실행가능 명령들은, 모바일 디바이스의 프로세서로 하여금, 식별된 상기 기능을 구현하는 것이, 리스트를 스크롤하는 것, 이미지 오브젝트를 이동하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 이미지 오브젝트에 적용된 줌 팩터를 변경하는 것, 투영된 상기 사용자 인터페이스 이미지 내에서 오브젝트를 선택하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 오브젝트를 복사하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 오브젝트를 삭제하는 것, 투영된 상기 사용자 인터페이스 이미지 내에 디스플레이되는 오브젝트와 연관된 애플리케이션을 실행하는 것, 및 상기 사용자 인터페이스 이미지 내에 디스플레이되는 포인팅 아이콘의 이동 중 하나를 달성하는 것을 포함하도록, 동작들을 수행하게 하도록 구성되는, 모바일 디바이스.
KR1020137003937A 2010-07-16 2011-04-27 투영된 사용자 인터페이스와 상호작용하는 방법들 및 시스템들 KR101601657B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/837,895 US9134799B2 (en) 2010-07-16 2010-07-16 Interacting with a projected user interface using orientation sensors
US12/837,895 2010-07-16
PCT/US2011/034106 WO2012009039A1 (en) 2010-07-16 2011-04-27 Methods and systems for interacting with projected user interface

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020157000139A Division KR20150013934A (ko) 2010-07-16 2011-04-27 투영된 사용자 인터페이스와 상호작용하는 방법들 및 시스템들

Publications (2)

Publication Number Publication Date
KR20130069730A true KR20130069730A (ko) 2013-06-26
KR101601657B1 KR101601657B1 (ko) 2016-03-21

Family

ID=44626707

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137003937A KR101601657B1 (ko) 2010-07-16 2011-04-27 투영된 사용자 인터페이스와 상호작용하는 방법들 및 시스템들
KR1020157000139A KR20150013934A (ko) 2010-07-16 2011-04-27 투영된 사용자 인터페이스와 상호작용하는 방법들 및 시스템들

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020157000139A KR20150013934A (ko) 2010-07-16 2011-04-27 투영된 사용자 인터페이스와 상호작용하는 방법들 및 시스템들

Country Status (7)

Country Link
US (1) US9134799B2 (ko)
EP (1) EP2593848B1 (ko)
JP (1) JP5689963B2 (ko)
KR (2) KR101601657B1 (ko)
CN (1) CN102985896B (ko)
BR (1) BR112013001019A2 (ko)
WO (1) WO2012009039A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150026375A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
KR101599349B1 (ko) * 2014-12-08 2016-03-04 (주)네오인터넷 모바일 기기에 가해지는 액션 기반의 모바일 게임 구동 방법
KR20210059013A (ko) * 2016-10-24 2021-05-24 스냅 인코포레이티드 미디어 오버레이들에서의 커스터마이즈된 아바타들의 생성 및 디스플레이

Families Citing this family (274)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7362331B2 (en) * 2000-01-05 2008-04-22 Apple Inc. Time-based, non-constant translation of user interface objects between states
EP2208354A4 (en) 2007-10-10 2010-12-22 Gerard Dirk Smits IMAGE PROJECTOR WITH REFLECTIVE LIGHT TRACKING
US8291341B2 (en) * 2008-05-28 2012-10-16 Google Inc. Accelerated panning user interface interactions
CA2734987A1 (en) * 2008-08-22 2010-02-25 Google Inc. Navigation in a three dimensional environment on a mobile device
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
KR20110044424A (ko) * 2009-10-23 2011-04-29 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20120026088A1 (en) * 2010-08-01 2012-02-02 T-Mobile Usa, Inc. Handheld device with projected user interface and interactive image
JP5601083B2 (ja) * 2010-08-16 2014-10-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP2423796B1 (en) * 2010-08-24 2019-10-02 LG Electronics Inc. Mobile terminal and displaying method thereof
WO2012028884A1 (en) * 2010-09-02 2012-03-08 Elliptic Laboratories As Motion feedback
JP5615646B2 (ja) * 2010-09-22 2014-10-29 京セラ株式会社 通信システム及び通信機器
JP5728866B2 (ja) * 2010-09-24 2015-06-03 ソニー株式会社 情報処理装置、情報処理端末、情報処理方法およびコンピュータプログラム
US9946076B2 (en) 2010-10-04 2018-04-17 Gerard Dirk Smits System and method for 3-D projection and enhancements for interactivity
JP5803184B2 (ja) * 2010-11-19 2015-11-04 株式会社リコー 画像投影装置、メモリアクセス方法
KR20120057033A (ko) * 2010-11-26 2012-06-05 한국전자통신연구원 Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
US8786547B2 (en) * 2010-12-23 2014-07-22 Microsoft Corporation Effects of gravity on gestures
US8839134B2 (en) * 2010-12-24 2014-09-16 Intel Corporation Projection interface techniques
USD668261S1 (en) * 2011-01-31 2012-10-02 Microsoft Corporation Display screen with animated graphical user interface
USD668260S1 (en) * 2011-01-31 2012-10-02 Microsoft Corporation Display screen with animated graphical user interface
US9317111B2 (en) 2011-03-30 2016-04-19 Elwha, Llc Providing greater access to one or more items in response to verifying device transfer
US8726367B2 (en) * 2011-03-30 2014-05-13 Elwha Llc Highlighting in response to determining device transfer
US8839411B2 (en) 2011-03-30 2014-09-16 Elwha Llc Providing particular level of access to one or more items in response to determining primary control of a computing device
US8613075B2 (en) 2011-03-30 2013-12-17 Elwha Llc Selective item access provision in response to active item ascertainment upon device transfer
US8739275B2 (en) 2011-03-30 2014-05-27 Elwha Llc Marking one or more items in response to determining device transfer
US9153194B2 (en) 2011-03-30 2015-10-06 Elwha Llc Presentation format selection based at least on device transfer determination
US8918861B2 (en) 2011-03-30 2014-12-23 Elwha Llc Marking one or more items in response to determining device transfer
US8863275B2 (en) 2011-03-30 2014-10-14 Elwha Llc Access restriction in response to determining device transfer
US8726366B2 (en) 2011-03-30 2014-05-13 Elwha Llc Ascertaining presentation format based on device primary control determination
US8713670B2 (en) 2011-03-30 2014-04-29 Elwha Llc Ascertaining presentation format based on device primary control determination
US8745725B2 (en) * 2011-03-30 2014-06-03 Elwha Llc Highlighting in response to determining device transfer
US9094813B2 (en) 2011-04-02 2015-07-28 Open Invention Network, Llc System and method for redirecting content based on gestures
FI122844B (fi) * 2011-04-21 2012-07-31 Kone Corp Kutsunantolaite sekä menetelmä hissikutsun antamiseksi
US8316319B1 (en) * 2011-05-16 2012-11-20 Google Inc. Efficient selection of characters and commands based on movement-inputs at a user-inerface
US8640047B2 (en) * 2011-06-01 2014-01-28 Micorsoft Corporation Asynchronous handling of a user interface manipulation
US9092136B1 (en) * 2011-06-08 2015-07-28 Rockwell Collins, Inc. Projected button display system
US9294869B2 (en) 2013-03-13 2016-03-22 Aliphcom Methods, systems and apparatus to affect RF transmission from a non-linked wireless client
CN102279647A (zh) * 2011-06-20 2011-12-14 中兴通讯股份有限公司 一种移动终端及其实现光标移动的方法
US9462262B1 (en) * 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
JP5624530B2 (ja) * 2011-09-29 2014-11-12 株式会社東芝 コマンド発行装置、方法及びプログラム
US20130103446A1 (en) 2011-10-20 2013-04-25 Microsoft Corporation Information sharing democratization for co-located group meetings
US8631357B2 (en) * 2011-10-31 2014-01-14 Apple Inc. Dual function scroll wheel input
JP6282793B2 (ja) * 2011-11-08 2018-02-21 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 送信装置、表示制御装置、コンテンツ送信方法、記録媒体、及びプログラム
KR20130051697A (ko) * 2011-11-10 2013-05-21 삼성전자주식회사 단말의 움직임에 따라 이미지 표시를 제어하기 위한 장치 및 방법
US9207951B2 (en) * 2011-11-17 2015-12-08 Prezi, Inc. Grouping with frames to transform display elements within a zooming user interface
US8812987B2 (en) * 2011-12-20 2014-08-19 Wikipad, Inc. Virtual multiple sided virtual rotatable user interface icon queue
US20150156545A1 (en) * 2012-01-04 2015-06-04 Thomson Licensing Method and system for providing media recommendations
USD681044S1 (en) 2012-01-11 2013-04-30 Sony Corporation Display panel with graphical user interface
TWI668625B (zh) * 2012-01-11 2019-08-11 富智康（香港）有限公司 電子設備頁面顯示控制方法及系統
US20130191776A1 (en) * 2012-01-20 2013-07-25 The Other Media Limited Method of activating activatable content on an electronic device display
USD733723S1 (en) * 2012-02-24 2015-07-07 Htc Corporation Portion of a display screen with graphical user interface
USD708638S1 (en) * 2012-03-07 2014-07-08 Apple Inc. Display screen or portion thereof with graphical user interface
CN102622180B (zh) * 2012-03-09 2015-08-19 腾讯科技（深圳）有限公司 交互界面的展示控制方法及装置
US10503373B2 (en) * 2012-03-14 2019-12-10 Sony Interactive Entertainment LLC Visual feedback for highlight-driven gesture user interfaces
US20130249811A1 (en) * 2012-03-23 2013-09-26 Microsoft Corporation Controlling a device with visible light
CN103366659B (zh) * 2012-03-26 2016-07-06 联想(北京)有限公司 显示控制方法及相关设备
JP6040564B2 (ja) * 2012-05-08 2016-12-07 ソニー株式会社 画像処理装置、投影制御方法及びプログラム
US9381427B2 (en) 2012-06-01 2016-07-05 Microsoft Technology Licensing, Llc Generic companion-messaging between media platforms
US9170667B2 (en) * 2012-06-01 2015-10-27 Microsoft Technology Licensing, Llc Contextual user interface
US9429997B2 (en) * 2012-06-12 2016-08-30 Apple Inc. Electronic device with wrapped display
JP5991039B2 (ja) * 2012-06-18 2016-09-14 株式会社リコー 情報処理装置および会議システム
US8532675B1 (en) 2012-06-27 2013-09-10 Blackberry Limited Mobile communication device user interface for manipulation of data items in a physical space
US20140089850A1 (en) * 2012-09-22 2014-03-27 Tourwrist, Inc. Systems and Methods of Using Motion Control to Navigate Panoramas and Virtual Tours
KR102021048B1 (ko) * 2012-07-31 2019-09-11 삼성전자주식회사 사용자 입력을 제어하기 위한 방법 및 그 전자 장치
USD738894S1 (en) * 2012-08-29 2015-09-15 Samsung Electronics Co., Ltd. Portable electronic device with a graphical user interface
USD712426S1 (en) * 2012-09-13 2014-09-02 Sony Computer Enertainment, Inc. Display screen or portion thereof with animated graphical user interface for a portable information terminal
KR20140039762A (ko) * 2012-09-25 2014-04-02 삼성전자주식회사 영상처리장치 및 그 제어방법
JP6004868B2 (ja) * 2012-09-27 2016-10-12 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US8971568B1 (en) 2012-10-08 2015-03-03 Gerard Dirk Smits Method, apparatus, and manufacture for document writing and annotation with virtual ink
US20190005146A1 (en) * 2012-10-15 2019-01-03 Famous Industries, Inc. Manipulating Virtual Camera Dolly in Multi-Dimensional Space to Produce Visual Effect
US10877780B2 (en) 2012-10-15 2020-12-29 Famous Industries, Inc. Visibility detection using gesture fingerprinting
US9772889B2 (en) 2012-10-15 2017-09-26 Famous Industries, Inc. Expedited processing and handling of events
US11386257B2 (en) 2012-10-15 2022-07-12 Amaze Software, Inc. Efficient manipulation of surfaces in multi-dimensional space using energy agents
US10908929B2 (en) 2012-10-15 2021-02-02 Famous Industries, Inc. Human versus bot detection using gesture fingerprinting
US9501171B1 (en) 2012-10-15 2016-11-22 Famous Industries, Inc. Gesture fingerprinting
US9671874B2 (en) 2012-11-08 2017-06-06 Cuesta Technology Holdings, Llc Systems and methods for extensions to alternative control of touch-based devices
US9658695B2 (en) * 2012-11-08 2017-05-23 Cuesta Technology Holdings, Llc Systems and methods for alternative control of touch-based devices
EP3734426A1 (en) * 2012-11-09 2020-11-04 Sony Corporation Information processing apparatus, information processing method, and computer-readable recording medium
SG2013082250A (en) * 2012-11-12 2014-06-27 Kone Corp Method, call-giving device, elevator system and computer program product
US9904414B2 (en) * 2012-12-10 2018-02-27 Seiko Epson Corporation Display device, and method of controlling display device
CN104981750B (zh) 2012-12-17 2018-09-04 意大利电信股份公司 用于交互式显示的选择系统
USD731531S1 (en) * 2013-01-04 2015-06-09 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
CN104854537B (zh) * 2013-01-04 2018-08-10 英特尔公司 与计算设备的多距离、多模态自然用户交互
EP2752730B1 (en) * 2013-01-08 2019-04-03 Volvo Car Corporation Vehicle display arrangement and vehicle comprising a vehicle display arrangement
KR101822463B1 (ko) 2013-01-21 2018-01-26 삼성전자주식회사 복수 개의 아이콘들을 화면상에 배치하는 장치 및 이의 운용 방법
WO2014116774A1 (en) 2013-01-24 2014-07-31 Thomson Licensing Method and system for content discovery
US9449340B2 (en) * 2013-01-30 2016-09-20 Wal-Mart Stores, Inc. Method and system for managing an electronic shopping list with gestures
US20140215390A1 (en) * 2013-01-30 2014-07-31 Rightware Oy Method of and system for displaying a list of items on an electronic device
TW201432490A (zh) * 2013-02-04 2014-08-16 Hon Hai Prec Ind Co Ltd 電子裝置和用於電子裝置中的解鎖方法
US9319149B2 (en) 2013-03-13 2016-04-19 Aliphcom Proximity-based control of media devices for media presentations
US9294539B2 (en) 2013-03-14 2016-03-22 Microsoft Technology Licensing, Llc Cooperative federation of digital devices via proxemics and device micro-mobility
AU2014240454A1 (en) * 2013-03-14 2015-08-20 Ekso Bionics, Inc. Machine to human interfaces for communication from a lower extremity orthotic
US11044451B2 (en) 2013-03-14 2021-06-22 Jawb Acquisition Llc Proximity-based control of media devices for media presentations
US9300645B1 (en) * 2013-03-14 2016-03-29 Ip Holdings, Inc. Mobile IO input and output for smartphones, tablet, and wireless devices including touch screen, voice, pen, and gestures
US9384281B2 (en) * 2013-03-15 2016-07-05 Imaginestics, Llc Method of gesture-based definition of an object within an image
CN104076988B (zh) * 2013-03-27 2017-12-01 联想(北京)有限公司 一种显示方法、显示控制方法及电子设备
US9436673B2 (en) * 2013-03-28 2016-09-06 Prezi, Inc Automatic application of templates to content
USD851663S1 (en) * 2013-04-05 2019-06-18 Thales Avionics, Inc. Display screen or portion thereof with graphical user interface
FR3004817B1 (fr) * 2013-04-19 2015-05-15 Thales Sa Systeme de visualisation hybride affichant des informations en superposition sur l exterieur
US10719224B1 (en) 2013-04-29 2020-07-21 David Graham Boyers Methods and graphical user interfaces for pointing and editing on computing devices with touch-sensitive displays
US9274686B2 (en) * 2013-05-09 2016-03-01 Sap Se Navigation framework for visual analytic displays
WO2014185146A1 (ja) * 2013-05-15 2014-11-20 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US20140342660A1 (en) * 2013-05-20 2014-11-20 Scott Fullam Media devices for audio and video projection of media presentations
EP3001407A4 (en) * 2013-05-21 2017-01-25 Sony Corporation Display control device, display control method, and recording medium
WO2014188798A1 (ja) * 2013-05-21 2014-11-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
USD738394S1 (en) 2013-06-09 2015-09-08 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD741350S1 (en) 2013-06-10 2015-10-20 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD749622S1 (en) * 2013-06-10 2016-02-16 Apple Inc. Display screen or portion thereof with animated graphical user interface
US9158959B2 (en) 2013-07-17 2015-10-13 Motorola Solutions, Inc. Palm identification and in-place personalized interactive display
US10384925B2 (en) * 2013-08-07 2019-08-20 The Coca-Cola Company Dynamically adjusting ratios of beverages in a mixed beverage
WO2015030795A1 (en) * 2013-08-30 2015-03-05 Hewlett Packard Development Company, L.P. Touch input association
USD788795S1 (en) * 2013-09-03 2017-06-06 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
KR101488193B1 (ko) * 2013-09-04 2015-01-30 에스케이 텔레콤주식회사 상황 인지 기반의 명령 수행 방법 및 장치
KR102130797B1 (ko) 2013-09-17 2020-07-03 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US20150082238A1 (en) * 2013-09-18 2015-03-19 Jianzhong Meng System and method to display and interact with a curve items list
USD768152S1 (en) * 2013-09-20 2016-10-04 ACCO Brands Corporation Display screen including a graphical user interface
US20150089453A1 (en) * 2013-09-25 2015-03-26 Aquifi, Inc. Systems and Methods for Interacting with a Projected User Interface
WO2015045125A1 (ja) 2013-09-27 2015-04-02 日立マクセル株式会社 映像投射装置
US20150127505A1 (en) * 2013-10-11 2015-05-07 Capital One Financial Corporation System and method for generating and transforming data presentation
CN103581727A (zh) * 2013-10-17 2014-02-12 四川长虹电器股份有限公司 一种基于智能电视平台的手势识别交互系统及交互方法
US20150128095A1 (en) * 2013-11-07 2015-05-07 Tencent Technology (Shenzhen) Company Limited Method, device and computer system for performing operations on objects in an object list
USD754719S1 (en) * 2013-11-15 2016-04-26 Tencent Technology (Shenzhen) Company Limited Display screen portion with animated graphical user interface
CN104657028B (zh) * 2013-11-18 2018-04-27 联想(北京)有限公司 信息处理方法及电子设备
CN104714809B (zh) * 2013-12-11 2018-11-13 联想(北京)有限公司 一种信息处理的方法及电子设备
US9563393B2 (en) * 2013-12-11 2017-02-07 Lenovo (Beijing) Co., Ltd. Information processing method and electronic device
USD772278S1 (en) 2013-12-18 2016-11-22 Apple Inc. Display screen or portion thereof with animated graphical user interface
KR101548228B1 (ko) * 2013-12-27 2015-08-28 주식회사 케이티 사용자 상태에 기반하여 사용자 인터페이스를 동기화하는 동기화 기기 및 동기화 방법
US9965034B2 (en) 2013-12-30 2018-05-08 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
USD771088S1 (en) * 2014-01-06 2016-11-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US9369658B2 (en) * 2014-01-20 2016-06-14 Lenovo (Singapore) Pte. Ltd. Image correction of surface projected image
CN104866170B (zh) 2014-02-24 2018-12-14 联想(北京)有限公司 一种信息处理方法及电子设备
WO2015149027A1 (en) 2014-03-28 2015-10-01 Gerard Dirk Smits Smart head-mounted projection system
US9606710B1 (en) 2014-03-31 2017-03-28 Amazon Technologies, Inc. Configuring movement-based user interface control
US10437447B1 (en) * 2014-03-31 2019-10-08 Amazon Technologies, Inc. Magnet based physical model user interface control
US9792267B2 (en) * 2014-03-31 2017-10-17 NIIT Technologies Ltd Simplifying identification of potential non-visibility of user interface components when responsive web pages are rendered by disparate devices
JP6592361B2 (ja) * 2014-04-07 2019-10-16 積水化学工業株式会社 合わせガラス用中間膜及び合わせガラス
WO2015181162A1 (en) * 2014-05-28 2015-12-03 Thomson Licensing Method and system for touch input
EP3148915B1 (en) * 2014-05-28 2019-08-21 Otis Elevator Company Touchless gesture recognition for elevator service
USD769892S1 (en) 2014-05-30 2016-10-25 Apple Inc. Display screen or portion thereof with graphical user interface
US9972131B2 (en) * 2014-06-03 2018-05-15 Intel Corporation Projecting a virtual image at a physical surface
CN105204613B (zh) * 2014-06-27 2019-02-05 联想(北京)有限公司 一种信息处理方法及穿戴式设备
US20160004393A1 (en) * 2014-07-01 2016-01-07 Google Inc. Wearable device user interface control
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
KR20160026482A (ko) * 2014-09-01 2016-03-09 삼성전자주식회사 모바일 디바이스 및 모바일 디바이스에서 이미지를 투사하는 방법
USD791143S1 (en) * 2014-09-03 2017-07-04 Apple Inc. Display screen or portion thereof with graphical user interface
US20160088060A1 (en) * 2014-09-24 2016-03-24 Microsoft Technology Licensing, Llc Gesture navigation for secondary user interface
US9769227B2 (en) 2014-09-24 2017-09-19 Microsoft Technology Licensing, Llc Presentation of computing environment on multiple devices
US10025684B2 (en) 2014-09-24 2018-07-17 Microsoft Technology Licensing, Llc Lending target device resources to host device computing environment
US9860306B2 (en) 2014-09-24 2018-01-02 Microsoft Technology Licensing, Llc Component-specific application presentation histories
US9678640B2 (en) 2014-09-24 2017-06-13 Microsoft Technology Licensing, Llc View management architecture
US10448111B2 (en) 2014-09-24 2019-10-15 Microsoft Technology Licensing, Llc Content projection
US10635296B2 (en) 2014-09-24 2020-04-28 Microsoft Technology Licensing, Llc Partitioned application presentation across devices
US10268277B2 (en) * 2014-09-30 2019-04-23 Hewlett-Packard Development Company, L.P. Gesture based manipulation of three-dimensional images
US9710160B2 (en) 2014-10-21 2017-07-18 International Business Machines Corporation Boundless projected interactive virtual desktop
KR101909540B1 (ko) * 2014-10-23 2018-10-18 삼성전자주식회사 가상의 입력 영역을 이용한 포터블 디바이스의 사용자 입력 방법
USD784400S1 (en) * 2014-11-04 2017-04-18 Workplace Dynamics, LLC Display screen or portion thereof with rating scale graphical user interface
EP3035156A1 (en) * 2014-12-15 2016-06-22 Thomson Licensing Method and apparatus for remotely controlling an electronic device
US20160188195A1 (en) * 2014-12-30 2016-06-30 Innova Electronics, Inc. Cellphone with projection capability
USD761836S1 (en) * 2015-01-08 2016-07-19 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
US10635724B2 (en) 2015-01-30 2020-04-28 International Business Machines Corporation Analysis of data utilization
CN104637393B (zh) * 2015-02-13 2017-08-29 广西科技大学鹿山学院 人机交互智能地球仪
US10534502B1 (en) 2015-02-18 2020-01-14 David Graham Boyers Methods and graphical user interfaces for positioning the cursor and selecting text on computing devices with touch-sensitive displays
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
JP2016161869A (ja) * 2015-03-04 2016-09-05 セイコーエプソン株式会社 表示装置及び表示制御方法
US10088866B2 (en) * 2015-03-18 2018-10-02 Motorola Mobility Llc Controlling the orientation of a device display based on usage context
WO2016168378A1 (en) 2015-04-13 2016-10-20 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
KR102344045B1 (ko) * 2015-04-21 2021-12-28 삼성전자주식회사 화면을 표시하는 전자 장치 및 그 제어 방법
CN104777991B (zh) * 2015-04-22 2019-03-29 深圳市华拓科技有限公司 一种基于手机的远程互动投影系统
JP6621998B2 (ja) * 2015-04-22 2019-12-18 矢崎総業株式会社 車両用表示装置
CN106155548A (zh) * 2015-04-24 2016-11-23 中兴通讯股份有限公司 一种控制电子设备的投影装置开关的方法、电子设备及系统
US9836117B2 (en) 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
USD765699S1 (en) 2015-06-06 2016-09-06 Apple Inc. Display screen or portion thereof with graphical user interface
CN106293037B (zh) * 2015-06-12 2023-05-02 联想(北京)有限公司 一种交互方法及电子设备
CN106293036B (zh) * 2015-06-12 2021-02-19 联想(北京)有限公司 一种交互方法及电子设备
US11095869B2 (en) * 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
USD888733S1 (en) 2015-08-03 2020-06-30 Google Llc Display screen with animated graphical user interface
USD849027S1 (en) * 2015-08-03 2019-05-21 Google Llc Display screen with animated graphical user interface
USD848458S1 (en) * 2015-08-03 2019-05-14 Google Llc Display screen with animated graphical user interface
US20170069255A1 (en) * 2015-09-08 2017-03-09 Microvision, Inc. Virtual Touch Overlay On Touchscreen for Control of Secondary Display
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
CN105278688A (zh) * 2015-10-15 2016-01-27 联想(北京)有限公司 一种投影设备及电子设备
WO2017087872A1 (en) * 2015-11-20 2017-05-26 Harman International Industries, Incorporated Dynamic reconfigurable display knobs
WO2017106875A1 (en) 2015-12-18 2017-06-22 Gerard Dirk Smits Real time position sensing of objects
US10642455B2 (en) * 2015-12-28 2020-05-05 Ssh Communications Security Oyj User interfaces in a computer system
CN105677165A (zh) * 2015-12-31 2016-06-15 北京小鸟看看科技有限公司 一种三维沉浸式环境下列表切换方法和装置
CN105653034A (zh) * 2015-12-31 2016-06-08 北京小鸟看看科技有限公司 一种三维沉浸式环境下内容切换方法和装置
CN106612423A (zh) * 2015-12-31 2017-05-03 北京数科技有限公司 一种针对投影图像的触控方法及装置
US10372289B2 (en) 2015-12-31 2019-08-06 Beijing Pico Technology Co., Ltd. Wraparound interface layout method, content switching method under three-dimensional immersive environment, and list switching method
USD857721S1 (en) * 2016-01-12 2019-08-27 Google Llc Display screen with graphical user interface for presenting user activity timeline in a colloquial style
US9813673B2 (en) 2016-01-20 2017-11-07 Gerard Dirk Smits Holographic video capture and telepresence system
US9972066B1 (en) 2016-03-16 2018-05-15 Gopro, Inc. Systems and methods for providing variable image projection for spherical visual content
US10509487B2 (en) * 2016-05-11 2019-12-17 Google Llc Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN106020484B (zh) * 2016-05-31 2019-03-22 宇龙计算机通信科技(深圳)有限公司 一种应用的冻结与解冻方法及应用操作系统
USD884721S1 (en) * 2016-07-01 2020-05-19 Visa International Service Association Display screen or portion thereof with animated graphical user interface
USD917518S1 (en) * 2016-07-21 2021-04-27 Visa International Service Association Display screen or portion thereof with animated graphical user interface
USD806741S1 (en) * 2016-07-26 2018-01-02 Google Llc Display screen with animated graphical user interface
USD823889S1 (en) * 2016-07-29 2018-07-24 Ebay Inc. Display screen or a portion thereof with animated graphical user interface
USD823337S1 (en) * 2016-07-29 2018-07-17 Ebay Inc. Display screen or a portion thereof with animated graphical user interface
USD804521S1 (en) * 2016-08-12 2017-12-05 Facebook, Inc. Display panel with a graphical user interface for a programmed computer system
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
CN106657951A (zh) * 2016-10-20 2017-05-10 北京小米移动软件有限公司 投影控制方法及装置、移动设备、投影仪
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
USD829743S1 (en) * 2016-10-28 2018-10-02 Spotify Ab Display screen or portion thereof with transitional graphical user interface
USD815130S1 (en) * 2016-10-28 2018-04-10 Spotify Ab Display screen or portion thereof with graphical user interface
US10067230B2 (en) 2016-10-31 2018-09-04 Gerard Dirk Smits Fast scanning LIDAR with dynamic voxel probing
USD816701S1 (en) * 2016-12-14 2018-05-01 Mercury Studio LLC Display screen with animated graphical user interface
US10261183B2 (en) 2016-12-27 2019-04-16 Gerard Dirk Smits Systems and methods for machine perception
USD825594S1 (en) * 2016-12-23 2018-08-14 Beijing Bytedance Network Technology Co., Ltd. Mobile terminal display screen with a graphical user interface
CN110100432B (zh) * 2016-12-26 2022-04-08 索尼公司 投影系统、投影设备、及底座
USD835651S1 (en) * 2016-12-28 2018-12-11 Google Llc Computer display screen or portion thereof with animated graphical user interface
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
USD868804S1 (en) * 2017-01-20 2019-12-03 Twitter, Inc. Display screen with a transitional graphical user interface
USD864991S1 (en) * 2017-03-27 2019-10-29 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD845336S1 (en) * 2017-05-03 2019-04-09 Google Llc Display screen or portion thereof with graphical user interface
WO2018209096A2 (en) 2017-05-10 2018-11-15 Gerard Dirk Smits Scan mirror systems and methods
US20180349837A1 (en) * 2017-05-19 2018-12-06 Hcl Technologies Limited System and method for inventory management within a warehouse
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
USD846587S1 (en) 2017-06-04 2019-04-23 Apple Inc. Display screen or portion thereof with animated graphical user interface
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10592010B1 (en) * 2017-06-28 2020-03-17 Apple Inc. Electronic device system with input tracking and visual output
USD839302S1 (en) * 2017-08-28 2019-01-29 Adp, Llc Display screen with animated graphical user interface
USD861704S1 (en) 2017-09-11 2019-10-01 Apple Inc. Electronic device with graphical user interface
CN109101172B (zh) * 2017-10-10 2021-07-09 北京仁光科技有限公司 多屏联动系统及其互动显示方法
US10591605B2 (en) 2017-10-19 2020-03-17 Gerard Dirk Smits Methods and systems for navigating a vehicle including a novel fiducial marker system
USD1029057S1 (en) 2017-11-24 2024-05-28 Aida Engineering, Ltd. Graphical user interface for operating panel
USD859446S1 (en) * 2017-12-28 2019-09-10 Facebook, Inc. Display panel of a programmed computer system with a graphical user interface
US10379220B1 (en) 2018-01-29 2019-08-13 Gerard Dirk Smits Hyper-resolved, high bandwidth scanned LIDAR systems
US10365815B1 (en) * 2018-02-13 2019-07-30 Whatsapp Inc. Vertical scrolling of album images
US10895979B1 (en) 2018-02-16 2021-01-19 David Graham Boyers Methods and user interfaces for positioning a selection, selecting, and editing, on a computing device running under a touch-based operating system, using gestures on a touchpad device
JP6667564B2 (ja) * 2018-03-23 2020-03-18 アイダエンジニアリング株式会社 サーボプレス機械及びサーボプレス機械の設定方法
USD924905S1 (en) * 2018-04-13 2021-07-13 Google Llc Display screen with animated graphical user interface
US11320983B1 (en) * 2018-04-25 2022-05-03 David Graham Boyers Methods and graphical user interfaces for positioning a selection, selecting, and editing, on a computing device running applications under a touch-based operating system
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
USD938455S1 (en) 2018-05-10 2021-12-14 Express Scripts Strategic Development, Inc. Display screen with graphical user interface
US10664047B2 (en) * 2018-05-17 2020-05-26 International Business Machines Corporation Displaying visually aligned content of a mobile device
CN110531843A (zh) * 2018-05-24 2019-12-03 富泰华工业（深圳）有限公司 电子装置及电子装置的操作控制方法
USD877175S1 (en) 2018-06-04 2020-03-03 Apple Inc. Electronic device with graphical user interface
US20190369555A1 (en) * 2018-06-04 2019-12-05 International Business Machines Corporation Holographic user interface for mobile menu item selection
CN108920043A (zh) * 2018-06-12 2018-11-30 珠海格力电器股份有限公司 一种家电设备的控制方法及电子设备
US11150746B2 (en) * 2018-06-28 2021-10-19 Google Llc Wearable electronic devices having user interface mirroring based on device position
KR102155936B1 (ko) * 2018-09-03 2020-09-14 한양대학교 산학협력단 영상 프로젝션을 이용하는 인터랙션 장치
USD891453S1 (en) * 2018-09-07 2020-07-28 7hugs Labs SAS Display screen with transitional graphical user interface
CN109375834A (zh) * 2018-09-27 2019-02-22 东莞华贝电子科技有限公司 投影键盘的反馈方法及投影键盘
USD883319S1 (en) 2018-10-29 2020-05-05 Apple Inc. Electronic device with graphical user interface
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
USD921661S1 (en) * 2018-11-26 2021-06-08 Google Llc Display screen with transitional graphical user interface
USD921660S1 (en) * 2018-11-26 2021-06-08 Google Llc Display screen with transitional graphical user interface
USD921659S1 (en) * 2018-11-26 2021-06-08 Google Llc Display screen with transitional graphical user interface
USD925587S1 (en) 2019-02-08 2021-07-20 Wayne Fueling Systems Llc Display screen with animated graphical user interface
USD933699S1 (en) 2019-02-08 2021-10-19 Wayne Fueling Systems Llc Display screen with animated graphical user interface
USD913306S1 (en) * 2019-02-28 2021-03-16 Amazon Technologies, Inc. Display screen or portion thereof having a graphical user interface
US11016643B2 (en) 2019-04-15 2021-05-25 Apple Inc. Movement of user interface object with user-specified content
CN112019660B (zh) * 2019-05-31 2021-07-30 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
USD952666S1 (en) 2019-10-02 2022-05-24 Javad Abbas Sajan Display screen or portion thereof with graphical user interface
USD918938S1 (en) * 2019-10-04 2021-05-11 Google Llc Display screen with animated graphical user interface
USD1003306S1 (en) * 2019-11-01 2023-10-31 LINE Plus Corporation Display panel with a graphical user interface
USD954098S1 (en) * 2019-11-18 2022-06-07 Oneplus Technology (Shenzhen) Co., Ltd. Display screen or portion thereof with animated graphical user interface
DE102020100072A1 (de) * 2020-01-03 2021-07-08 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Anzeigen einer Liste als erweiterte Realität
USD978185S1 (en) * 2020-01-27 2023-02-14 Google Llc Display screen or portion thereof with transitional graphical user interface
USD978184S1 (en) * 2020-01-27 2023-02-14 Google Llc Display screen or portion thereof with transitional graphical user interface
USD983225S1 (en) * 2020-01-27 2023-04-11 Google Llc Display screen or portion thereof with transitional graphical user interface
US11256413B2 (en) 2020-02-10 2022-02-22 Synaptics Incorporated Non-contact gesture commands for touch screens
USD977491S1 (en) * 2020-02-26 2023-02-07 Loop Now Technologies, Inc. Display screen or a portion thereof with a graphical user interface
US11372320B2 (en) 2020-02-27 2022-06-28 Gerard Dirk Smits High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array
USD997953S1 (en) * 2020-04-17 2023-09-05 Magic Leap, Inc. Display panel with a graphical user interface
CN114201129A (zh) * 2020-09-18 2022-03-18 比亚迪股份有限公司 智能设备的屏幕投影方法、装置、存储介质及终端
CN114584817B (zh) * 2020-11-30 2023-09-29 华为技术有限公司 投屏方法及系统
JP7371648B2 (ja) * 2021-03-05 2023-10-31 セイコーエプソン株式会社 表示制御方法及びプログラム
CN114115691B (zh) * 2021-10-27 2023-07-07 荣耀终端有限公司 电子设备及其交互方法、介质
CN114422762B (zh) * 2021-12-25 2023-10-13 深圳市幕工坊科技有限公司 投影幕动作控制系统

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549074A (ja) 1991-08-09 1993-02-26 Fujitsu Ltd リモコン装置
JP2000284879A (ja) 1999-01-29 2000-10-13 Square Co Ltd ゲーム装置、ビデオゲームにおけるコマンド入力方法、及び、その方法を実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US6544123B1 (en) 1999-10-29 2003-04-08 Square Co., Ltd. Game apparatus, command input method for video game and computer-readable recording medium recording programs for realizing the same
US6489934B1 (en) * 2000-07-07 2002-12-03 Judah Klausner Cellular phone with built in optical projector for display of data
GB2366978A (en) * 2000-09-15 2002-03-20 Ibm GUI comprising a rotatable 3D desktop
US20020063855A1 (en) * 2000-11-29 2002-05-30 Williams John W. Digital projection system for phones and personal digital assistants
FI20030583A (fi) * 2003-04-16 2004-10-17 Upstream Engineering Oy Dataprojektori
JP2004363930A (ja) 2003-06-04 2004-12-24 Sony Corp テレビジョン放送受信システム、リモートコントロール装置及び番組情報表示方法
US6764185B1 (en) 2003-08-07 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. Projector as an input and output device
ES2385914T3 (es) * 2003-09-18 2012-08-03 Vodafone Group Plc Terminal de comunicación de información
JP2005128506A (ja) 2003-09-30 2005-05-19 Sanyo Electric Co Ltd 手持ち式プロジェクタ
US20070205980A1 (en) * 2004-04-08 2007-09-06 Koninklijke Philips Electronics, N.V. Mobile projectable gui
US7277726B2 (en) * 2004-05-03 2007-10-02 Motorola, Inc. Controlling wireless mobile devices from a remote device
JP2006091112A (ja) * 2004-09-21 2006-04-06 Nikon Corp 電子機器
US7284866B2 (en) * 2005-01-05 2007-10-23 Nokia Corporation Stabilized image projecting device
JP5121121B2 (ja) 2005-02-22 2013-01-16 オリンパスイメージング株式会社 映像表示装置、映像表示方法および映像表示システム
US7486274B2 (en) * 2005-08-18 2009-02-03 Mitsubishi Electric Research Laboratories, Inc. Method for stabilizing and precisely locating pointers generated by handheld direct pointing devices
US20070064199A1 (en) * 2005-09-19 2007-03-22 Schindler Jon L Projection display device
US8554278B2 (en) * 2005-12-20 2013-10-08 Sony Corporation Mobile device display of multiple streamed data sources
US20070190995A1 (en) * 2006-02-13 2007-08-16 Nokia Corporation Remote control of a mobile device
JP2007241537A (ja) 2006-03-07 2007-09-20 Seiko Epson Corp 投射システム、投射装置、携帯情報端末、投射システムの制御方法およびプログラム
US8155636B2 (en) * 2006-05-05 2012-04-10 Mediatek Inc. Systems and methods for remotely controlling mobile stations
TW200743010A (en) * 2006-05-10 2007-11-16 Compal Communications Inc Portable communication device with a projection function and control method thereof
US8344851B2 (en) * 2006-05-31 2013-01-01 Samsung Electronics Co., Ltd. Method for providing remote mobile device access and control
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US7874681B2 (en) * 2007-10-05 2011-01-25 Huebner Kenneth J Interactive projector system and method
JP2009141489A (ja) * 2007-12-04 2009-06-25 Toshiba Corp 電子機器
JP2009168887A (ja) 2008-01-11 2009-07-30 Seiko Epson Corp 携帯型画像投写装置
CN101533572A (zh) 2008-03-11 2009-09-16 禾瑞亚科技股份有限公司 具有感测相关并代表一功能的手势的能力的激光投影笔
JP2009237197A (ja) * 2008-03-27 2009-10-15 Sanyo Electric Co Ltd 携帯プロジェクタ装置
KR101587085B1 (ko) * 2008-08-04 2016-01-20 엘지전자 주식회사 휴대 단말기
KR20100039024A (ko) 2008-10-07 2010-04-15 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
KR101526995B1 (ko) * 2008-10-15 2015-06-11 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
KR101537596B1 (ko) * 2008-10-15 2015-07-20 엘지전자 주식회사 이동 단말기 및 이것의 터치 인식 방법
KR101526998B1 (ko) * 2008-10-16 2015-06-08 엘지전자 주식회사 이동통신 단말기 및 그 절전 방법
EP2178276B1 (en) * 2008-10-20 2014-07-30 LG Electronics Inc. Adaptation of recorded or shown image according to the orientation of a mobile terminal
KR101520689B1 (ko) * 2008-10-22 2015-05-21 엘지전자 주식회사 이동 단말기 및 이를 이용한 화면 스크롤 방법
KR101542380B1 (ko) * 2008-10-24 2015-08-07 엘지전자 주식회사 이동단말기 및 그 제어 방법
US9323422B2 (en) * 2008-10-27 2016-04-26 Autodesk, Inc. Spatially-aware projection pen display
KR101527014B1 (ko) * 2008-12-02 2015-06-09 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US8700097B2 (en) * 2009-02-05 2014-04-15 Samsung Electronics Co., Ltd. Method and system for controlling dual-processing of screen data in mobile terminal having projector function
US8579442B2 (en) * 2009-05-27 2013-11-12 Transpacific Image, Llc Advertisement content selection and presentation
KR20110044424A (ko) * 2009-10-23 2011-04-29 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9696809B2 (en) * 2009-11-05 2017-07-04 Will John Temple Scrolling and zooming of a portable device display with device motion
KR20110071326A (ko) * 2009-12-21 2011-06-29 삼성전자주식회사 프로젝터 기능의 휴대 단말기의 입력 키 출력 방법 및 장치
US20110183654A1 (en) * 2010-01-25 2011-07-28 Brian Lanier Concurrent Use of Multiple User Interface Devices
US9110495B2 (en) * 2010-02-03 2015-08-18 Microsoft Technology Licensing, Llc Combined surface user interface
US8490002B2 (en) * 2010-02-11 2013-07-16 Apple Inc. Projected display shared workspaces
US8485668B2 (en) * 2010-05-28 2013-07-16 Microsoft Corporation 3D interaction for mobile device
CN102375614A (zh) * 2010-08-11 2012-03-14 扬明光学股份有限公司 输出入装置及其人机交互系统与方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150026375A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
KR101599349B1 (ko) * 2014-12-08 2016-03-04 (주)네오인터넷 모바일 기기에 가해지는 액션 기반의 모바일 게임 구동 방법
KR20210059013A (ko) * 2016-10-24 2021-05-24 스냅 인코포레이티드 미디어 오버레이들에서의 커스터마이즈된 아바타들의 생성 및 디스플레이
KR20220066425A (ko) * 2016-10-24 2022-05-24 스냅 인코포레이티드 미디어 오버레이들에서의 커스터마이즈된 아바타들의 생성 및 디스플레이
KR20230070317A (ko) * 2016-10-24 2023-05-22 스냅 인코포레이티드 미디어 오버레이들에서의 커스터마이즈된 아바타들의 생성 및 디스플레이

Also Published As

Publication number Publication date
KR20150013934A (ko) 2015-02-05
BR112013001019A2 (pt) 2017-10-31
US9134799B2 (en) 2015-09-15
CN102985896A (zh) 2013-03-20
KR101601657B1 (ko) 2016-03-21
EP2593848B1 (en) 2018-08-01
JP2013535724A (ja) 2013-09-12
EP2593848A1 (en) 2013-05-22
US20120017147A1 (en) 2012-01-19
WO2012009039A1 (en) 2012-01-19
CN102985896B (zh) 2016-06-22
JP5689963B2 (ja) 2015-03-25

Similar Documents

Publication Publication Date Title
KR101601657B1 (ko) 투영된 사용자 인터페이스와 상호작용하는 방법들 및 시스템들
US10416789B2 (en) Automatic selection of a wireless connectivity protocol for an input device
KR102227087B1 (ko) 글래스 타입 단말기 및 그것의 제어방법
US9207859B2 (en) Method and mobile terminal for displaying fixed objects independent of shifting background images on a touchscreen
US8826184B2 (en) Mobile terminal and image display controlling method thereof
KR102119843B1 (ko) 사용자 단말 장치 및 이의 디스플레이 방법
EP2178282B1 (en) Mobile terminal and method for controlling functions related to external devices
US8860672B2 (en) User interface with z-axis interaction
US9678574B2 (en) Computing system utilizing three-dimensional manipulation command gestures
KR20120106284A (ko) 이동 단말기 및 그 제어방법
KR20140133357A (ko) 디스플레이 장치 및 그 ui 화면 제공 방법
US10474324B2 (en) Uninterruptable overlay on a display
CN110858860B (zh) 响应于指纹传感器上手指旋转的电子设备控制及相应方法
JP7080711B2 (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP2006146440A (ja) 電子機器及び情報表示選択方法
JP5081952B2 (ja) 項目選択装置、項目選択方法、ならびに、プログラム
CN115617158A (zh) 用于操纵计算机图形对象的技术
CN111782053A (zh) 模型编辑方法、装置、设备及存储介质
KR20110056000A (ko) 이동 단말기 및 그 제어 방법
KR20110108682A (ko) 멀티 터치를 이용한 표시 정보 회전 방법 및 이를 구현한 단말기
KR20200066602A (ko) 사용자 단말 장치 및 이의 디스플레이 방법
CN107918514A (zh) 展示方法及装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20150105

Effective date: 20151104

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee