KR102349210B1 - 웨어러블 컴퓨팅 디바이스를 이용한 디스플레이 디바이스의 직접 조작 - Google Patents

웨어러블 컴퓨팅 디바이스를 이용한 디스플레이 디바이스의 직접 조작 Download PDF

Info

Publication number
KR102349210B1
KR102349210B1 KR1020207016633A KR20207016633A KR102349210B1 KR 102349210 B1 KR102349210 B1 KR 102349210B1 KR 1020207016633 A KR1020207016633 A KR 1020207016633A KR 20207016633 A KR20207016633 A KR 20207016633A KR 102349210 B1 KR102349210 B1 KR 102349210B1
Authority
KR
South Korea
Prior art keywords
wearable
display device
computing device
wearable computing
determining
Prior art date
Application number
KR1020207016633A
Other languages
English (en)
Other versions
KR20210080272A (ko
Inventor
후이 숑 여
슈린 황
웬신 펭
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20210080272A publication Critical patent/KR20210080272A/ko
Application granted granted Critical
Publication of KR102349210B1 publication Critical patent/KR102349210B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

예시적인 방법은 하나 이상의 프로세서에 의해, 존재-감지형이 아닌 디스플레이 디바이스상의 웨어러블 컴퓨팅 디바이스의 추정 위치를 결정하는 단계와, 상기 웨어러블 컴퓨팅 디바이스는 사용자의 손목에 착용되도록 구성되고; 추정 위치에, 디스플레이 디바이스가 그래픽 패턴을 출력하게 하는 단계와; 하나 이상의 프로세서에 의해 상기 웨어러블 컴퓨팅 디바이스의 광 센서에 의해 생성된 광 데이터에 기초하여, 웨어러블 컴퓨팅 디바이스의 미세(refined) 위치를 결정하는 단계와; 그리고 하나 이상의 프로세서에 의해, 웨어러블 컴퓨팅 디바이스의 미세 위치를 디스플레이 디바이스를 통해 그래픽 사용자 인터페이스를 출력하는 애플리케이션에 대한 사용자 입력의 위치로서 이용하는 단계를 포함한다.

Description

웨어러블 컴퓨팅 디바이스를 이용한 디스플레이 디바이스의 직접 조작
디스플레이 디바이스에 의해 출력된 그래픽 사용자 인터페이스에서 객체의 직접 조작은 사용자 대 컴퓨터 상호 작용을 용이하게 하는 매우 자연스러운 방법 일 수 있다. 직접 조작은 디스플레이된 객체들에 대한 액션(예를 들어, 소프트 버튼 탭핑, 슬라이더 이동, 아이콘 드래그)을 포함한다. 일부 디스플레이 디바이스는 직접 조작을 용이하게 하는 터치 스크린을 포함한다. 그러나, 많은 공공 키오스크, 디지털 태블릿, 랩탑, TV(예를 들어, 회의실 또는 교실에 있는)에는 터치 스크린이 없다. 이와 같이, 사용자는 일반적으로 마우스, 키보드 또는 원격 포인팅 디바이스 사용을 포함하는 간접 조작을 통해 이들 디바이스(즉, 비-터치 스크린)를 제어해야 한다.
일반적으로, 본 개시는 존재-감지형이 아닌 디스플레이 디바이스에 의해 출력된 그래픽 사용자 인터페이스에서 웨어러블 컴퓨팅 디바이스를 이용하여 객체들의 직접 조작을 용이하게 하는 기술에 관한 것이다. 예를 들어, 마우스 또는 다른 간접 조작 도구를 사용하는 것과 달리, 사용자는 디스플레이 디바이스상에서 주위로 웨어러블 컴퓨팅 디바이스를 이동시켜 디스플레이 디바이스에 디스플레이된 객체들을 직접 조작할 수 있다. 하나 이상의 광 센서 및/또는 하나 이상의 모션 센서와 같은 웨어러블 컴퓨팅 디바이스의 하나 이상의 센서는 웨어러블 컴퓨팅 디바이스가 디스플레이 디바이스상에서 이동함에 따라 데이터를 생성할 수 있다. (예를 들어, 디스플레이 디바이스가 그래픽 사용자 인터페이스를 출력하게 하는) 제어 디바이스는 센서 데이터에 기초하여 디스플레이 디바이스상의 웨어러블 컴퓨팅 디바이스의 위치를 결정할 수 있다. 제어 디바이스는 그래픽 사용자 인터페이스에 포함된 객체들을 조작하기 위해 사용자 입력으로서 웨어러블 컴퓨팅 디바이스의 결정된 위치를 사용할 수 있다.
이러한 방식으로, 본 개시의 기술은 사용자가 디스플레이 디바이스에 의해 디스플레이된 객체들을 직접 조작할 수 있게 한다. 웨어러블 컴퓨팅 디바이스의 결정된 위치를 사용자 입력으로서 이용함으로써, 제어 디바이스는 터치 스크린 또는 다른 직접 조작 수단을 포함하지 않는 디스플레이 디바이스와 더 풍부한 상호 작용을 가능하게 할 수 있다.
일 예로서, 방법은 하나 이상의 프로세서에 의해, 존재-감지형이 아닌 디스플레이 디바이스상의 웨어러블 컴퓨팅 디바이스의 추정 위치를 결정하는 단계와, 상기 웨어러블 컴퓨팅 디바이스는 사용자의 손목에 착용되도록 구성되고; 디스플레이 디바이스가 상기 추정(된) 위치에서 그래픽 패턴을 출력하게 하는 단계와; 하나 이상의 프로세서에 의해 웨어러블 컴퓨팅 디바이스의 광 센서에 의해 생성된 광 데이터에 기초하여, 웨어러블 컴퓨팅 디바이스의 미세 위치를 결정하는 단계와; 그리고 하나 이상의 프로세서에 의해, 웨어러블 컴퓨팅 디바이스의 미세 위치를 디스플레이 디바이스를 통해 그래픽 사용자 인터페이스를 출력하는 애플리케이션에 대한 사용자 입력의 위치로서 이용하는 단계를 포함한다.
다른 예로서, 제어 디바이스는 하나 이상의 프로세서; 및 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금 존재-감지형이 아닌 디스플레이 디바이스상의 웨어러블 컴퓨팅 디바이스의 추정 위치를 결정하게 하는 명령들을 포함하는 메모리를 포함하고, 상기 웨어러블 컴퓨팅 디바이스는 사용자의 손목에 착용되어; 디스플레이 디바이스가 추정 위치에서 그래픽 패턴을 출력하고; 웨어러블 컴퓨팅 디바이스의 광 센서에 의해 생성된 광 데이터에 기초하여, 웨어러블 컴퓨팅 디바이스의 미세 위치를 결정하고; 웨어러블 컴퓨팅 디바이스의 미세 위치를 디스플레이 디바이스를 통해 그래픽 사용자 인터페이스를 출력하는 애플리케이션에 대한 사용자 입력의 위치로서 이용하게 한다.
다른 예로서, 컴퓨터 판독 가능 저장 매체는, 실행될 때, 하나 이상의 프로세서로 하여금 존재-감지형이 아닌 디스플레이 디바이스상의 웨어러블 컴퓨팅 디바이스의 추정 위치를 결정하게 하는 명령들을 저장하고, 상기 웨어러블 컴퓨팅 디바이스는 사용자의 손목에 착용되도록 구성되어; 디스플레이 디바이스가 추정 위치에서 그래픽 패턴을 출력하고; 웨어러블 컴퓨팅 디바이스의 광 센서에 의해 생성된 광 데이터에 기초하여, 웨어러블 컴퓨팅 디바이스의 미세 위치를 결정하고; 웨어러블 컴퓨팅 디바이스의 미세 위치를 디스플레이 디바이스를 통해 그래픽 사용자 인터페이스를 출력하는 애플리케이션에 대한 사용자 입력의 위치로서 이용하게 한다.
본 개시의 하나 이상의 예의 세부 사항은 첨부 도면 및 이하의 설명에서 설명된다. 다른 특징, 목적 및 장점은 상세한 설명 및 도면 및 청구 범위로부터 명백할 것이다.
도 1은 본 개시의 하나 이상의 기술에 따른, 웨어러블 컴퓨팅 디바이스가 디스플레이 디바이스에 의해 출력된 그래픽 사용자 인터페이스에서 객체의 직접 조작을 용이하게 하는데 사용될 수 있는 시스템을 도시한 시스템 도면이다.
도 2는 본 개시의 하나 이상의 양태에 따른, 디스플레이된 사용자 인터페이스 컴포넌트의 직접 조작을 용이하게 하는데 사용될 수 있는 웨어러블 컴퓨팅 디바이스(6)를 도시하는 블록도이다.
도 3은 본 개시의 하나 이상의 양태에 따른, 디스플레이된 그래픽 객체의 직접 조작을 위한 웨어러블 디바이스의 사용을 가능하게 하도록 구성된 예시적인 제어 디바이스를 도시하는 블록도이다.
도 4a 내지 도 4f는 본 개시의 하나 이상의 기술에 따른 예시적인 위치 미세화 프로세스를 나타내는 개념도이다.
도 5는 본 개시의 하나 이상의 기술에 따른, 디스플레이된 그래픽 객체의 직접 조작을 위한 웨어러블 디바이스의 사용을 가능하게 하는 디바이스의 예시적인 동작들을 도시하는 흐름도이다.
도 6a 내지 도 6c는 본 개시의 하나 이상의 기술에 따른 글로벌 초기화에 사용될 수 있는 예시적인 그래픽 패턴이다.
도 1은 본 개시의 하나 이상의 기술에 따른 웨어러블 컴퓨팅 디바이스가 디스플레이 디바이스에 의해 출력된 그래픽 사용자 인터페이스에서 객체들의 직접 조작을 용이하게 하는데 사용될 수 있는 시스템을 도시한 시스템 도면이다. 도 1에 도시된 바와 같이, 시스템(2)은 디스플레이 디바이스(4), 웨어러블 컴퓨팅 디바이스(6) 및 제어 디바이스(8)를 포함한다.
디스플레이 디바이스(4)는 하나 이상의 사용자가 볼 수 있도록 그래픽 정보를 표시하도록 구성될 수 있다. 디스플레이 디바이스(4)의 예는 모니터, 텔레비전, 후면 투사형 스크린, 또는 정보를 디스플레이할 수 있는 임의의 다른 디바이스를 포함하지만 이에 제한되지 않는다. 디스플레이 디바이스(4)는 임의의 적절한 기술을 사용하여 출력 이미지를 형성할 수 있다. 예시적인 이미지 형성 기술은 액정 디스플레이(LCD), 레이저, 발광 다이오드(LED), 유기 발광 다이오드(OLED), 플라즈마 등을 포함하지만 이에 제한되지 않는다.
디스플레이 디바이스(4)는 디스플레이를 위한 그래픽 정보를 생성하도록 구성된 컴포넌트를 포함할 수 있다. 예를 들어, 디스플레이 디바이스(4)는 소위 "스마트 디스플레이"일 수 있다. 디스플레이 디바이스(4)는 외부 디바이스(예를 들어, 제어 디바이스(8))로부터 디스플레이하기 위한 그래픽 정보를 수신할 수 있는 하나 이상의 입력(예를 들어, 유선 및 무선 입력 중 하나 또는 둘 모두)을 포함할 수 있다. 예를 들어, 디스플레이 디바이스(4)는 하나 이상의 유선 입력(예를 들어, 고화질 멀티미디어 인터페이스(HDMI) 입력, 하나 이상의 디스플레이 포트 입력, 하나 이상의 네트워크 연결(예를 들어, 와이파이, 블루투스, 이더넷 등) 및/또는 하나 이상의 디지털 시각 인터페이스(DVI) 입력을 포함할 수 있다.
제어 디바이스(8)는 디스플레이 디바이스(4)가 그래픽 정보를 출력하게 하도록 구성될 수 있다. 예를 들어, 제어 디바이스(8)는 디스플레이 디바이스(4)가 하나 이상의 그래픽 객체들(예를 들어, 버튼, 키, 슬라이더 등)을 포함하는 그래픽 사용자 인터페이스를 디스플레이하게 할 수 있다. 일부 예에서, 제어 디바이스(8)는 디스플레이 디바이스(4)에 통합될 수 있다. 예를 들어, 디스플레이 디바이스(4)가 "스마트 디스플레이"인 경우 제어 디바이스(8)는 디스플레이 디바이스(4)에 통합될 수 있다. 다른 예에서, 제어 디바이스(8)는 디바이스(4)를 디스플레이하기 위한 외부 디바이스일 수 있다. 예를 들어, 제어 디바이스(8)는 디스플레이 디바이스(4)의 입력을 통해 그래픽 정보를 디스플레이 디바이스(4)에 출력할 수 있다. 일 예로서, 제어 디바이스(8)는 디스플레이 디바이스(4)의 HDMI 입력에 연결된 스트리밍 스틱일 수 있다. 다른 예로서, 제어 디바이스(8)는 모바일 컴퓨팅 디바이스(예를 들어, 스마트 폰)일 수 있고, 그래픽 정보를 무선으로 스트리밍하여 디스플레이 디바이스(4)에 제공할 수 있다.
제어 디바이스(8)는 제어 디바이스(8)의 동작을 지원하기 위해 다양한 계산을 수행할 수 있는 하나 이상의 프로세서를 포함할 수 있다. 예를 들어, 제어 디바이스(8)의 하나 이상의 프로세서는 제어 디바이스(8)가 디스플레이 디바이스(4)에 디스플레이되게 할 수 있는 그래픽 사용자 인터페이스를 생성하는 애플리케이션을 실행할 수 있다.
일부 예에서, 디스플레이 디바이스(4)는 사용자가 디스플레이 디바이스(4)에 디스플레이된 그래픽 객체들을 직접 조작할 수 있도록 구성된 하나 이상의 입력 컴포넌트를 포함할 수 있다. 예를 들어, 디스플레이 디바이스(4)는 디스플레이 디바이스(4) 상 또는 근처에서 사용자 움직임을 감지하는 터치-감지형 또는 다른 존재-감지형 패널을 포함할 수 있다. 디스플레이 디바이스(4)가 존재-감지형 패널을 포함하는 경우, 디스플레이 디바이스(4)는 존재-감지형 패널을 통해 수신된 사용자 입력의 표현을 제어 디바이스(8)로 출력할 수 있다. 예를 들어, 디스플레이 디바이스(4)는 존재-감지형 패널이 사용자 입력을 검출한 디스플레이 디바이스(4)상의 위치를 나타내는 (x, y) 좌표 쌍의 스트림을 제어 디바이스(8)로 출력할 수 있다. 제어 디바이스(8)는 디스플레이 디바이스(4)에 디스플레이되는 그래픽 사용자 인터페이스를 출력하는 제어 디바이스(8)에서 실행되는 애플리케이션에 대한 사용자 입력으로서 디스플레이 디바이스(4)에 의해 제공된 사용자 입력의 표현을 이용할 수 있다.
전술한 바와 같이, 디스플레이된 그래픽 객체들의 직접 조작은 간접 조작보다 바람직할 수 있다. 예를 들어, 그래픽 객체의 직접 조작은 간접 조작보다 사용자에게 더 자연스러울 수 있다. 그러나, 일부 예에서, 디스플레이 디바이스(4)는 사용자가 디스플레이 디바이스(4)에 디스플레이된 그래픽 객체들을 직접 조작할 수 있도록 구성된 임의의 입력 컴포넌트를 포함하지 않을 수 있다. 예를 들어, 디스플레이 디바이스(4)는 소위 "터치 스크린"이 아닐 수 있고 존재-감지형 디스플레이로 간주되지 않을 수 있다. 이와 같이, 디스플레이 디바이스(4)가 존재-감지형 디스플레이가 아닌 경우에도 디스플레이 디바이스(4)에 디스플레이된 그래픽 객체들의 직접 조작을 가능하게 하는 것이 바람직할 수 있다.
본 개시의 하나 이상의 기술에 따르면, 제어 디바이스(8)는 사용자가 웨어러블 컴퓨팅 디바이스(6)를 사용하여 디스플레이 디바이스(4)에 디스플레이된 그래픽 객체들의 직접 조작을 수행할 수 있게 할 수 있다. 웨어러블 컴퓨팅 디바이스(6)(간단히 "웨어러블(6)"이라고 함)는 사용자가 착용하도록 구성된 디바이스일 수 있다. 도 1의 예에서, 웨어러블(6)은 컴퓨터화된 시계이다. 그러나 다른 예에서, 웨어러블(6)은 컴퓨터화된 피트니스 밴드/트래커, 컴퓨터화된 안경, 컴퓨터화된 모자(headwear), 컴퓨터화된 장갑이다. 아래에서 논의되는 바와 같이, 일부 예에서, 웨어러블 디바이스 이외의 디바이스는 웨어러블(6)의 기능을 수행할 수 있다.
웨어러블(6)은 하나 이상의 측정된 파라미터를 나타내는 데이터를 생성하도록 구성될 수 있는 센서들(10)을 포함한다. 도 2를 참조하여 보다 상세히 논의되는 바와 같이, 센서(10)는 하나 이상의 모션 센서와 하나 이상의 광 센서를 포함할 수 있다. 웨어러블(6)은 센서들(10)에 의해 생성된 데이터를 제어 디바이스(8)와 같은 하나 이상의 외부 디바이스로 무선 전송하도록 구성된 컴포넌트들을 포함할 수 있다.
제어 디바이스(8)는 웨어러블(6)로부터 수신된 센서 데이터에 기초하여 디스플레이 디바이스(4)상의 웨어러블(6)의 위치를 결정할 수 있다. 예를 들어, 제어 디바이스(8)는 (예를 들어, 센서들(10) 중 하나 이상의 모션 센서에 의해 생성된 모션 데이터에 기초하여) 디스플레이 디바이스(4)상의 웨어러블(6)의 추정(된) 위치를 결정할 수 있다. 사용자가 디스플레이 디바이스(4)를 가로 질러 웨어러블(6)을 움직임에 따라, 웨어러블(6)의 모션 센서들은 웨어러블(6)의 움직임을 나타내는 모션 데이터를 생성할 수 있다. 제어 디바이스(8)는 이 모션 데이터를 처리하여 웨어러블(6)의 상대적인 움직임을 결정할 수 있다. 예를 들어, 모션 센서들에 의해 생성된 가속도계 및/또는 자이로 스코프 데이터에 기초하여, 제어 디바이스(8)는 웨어러블(6)이 95도의 방향으로 6인치 이동한 것으로 결정할 수 있다. 그러나, 오로지 모션 데이터에 기초하여 디스플레이 디바이스(4)상의 웨어러블(6)의 위치를 결정하는 것은 하나 이상의 단점을 제시할 수 있다. 예를 들어, 초기에 알려진 위치에서도, 제어 디바이스(8)는 후속 위치를 결정하기 위해 추측 항법(dead reckoning)을 사용할 수 있는데, 이것은 시간이 지남에 따라 점점 더 많은 오류를를 유발할 수 있다. 이와 같이, 일부 예에서, 모션 데이터 이상의 것에 기초하여 디스플레이 디바이스(4)상의 웨어러블(6)의 위치를 결정하는 것이 바람직할 수 있다.
일부 예에서, 모션 데이터에 추가하여 또는 모션 데이터 대신에, 제어 디바이스(8)는 웨어러블(6)의 하나 이상의 광(optical) 센서에 의해 생성된 광 데이터에 기초하여 디스플레이 디바이스(4)상의 웨어러블(6)의 위치를 결정할 수 있다. 예를 들어, 제어 디바이스(8)는 디스플레이 디바이스(4)가 디스플레이 디바이스(4)상의 웨어러블(6)의 추정된 현재 위치에서 그래픽 패턴을 출력하게 할 수 있다. 도 1에 도시된 바와 같이, 제어 디바이스(8)는 디스플레이 디바이스(4)가 각각 다른 광 특성(예를 들어, 다른 색, 다른 색의 음영 또는 명도)을 갖는 복수의 영역을 포함하는 그래픽 패턴(12)을 출력하게 할 수 있다. 복수의 영역은 중심 영역(14) 및 중심 영역(14) 주위에 분산된 복수의 경계 영역(16A-16D)(통칭하여 "경계 영역(16)")을 포함할 수 있다. 제어 디바이스(8)는 웨어러블(6)로부터 수신된 광 데이터를 사용하여 디스플레이 디바이스(4)상의 웨어러블(6)의 현재 위치의 추정치를 미세화(refine)할 수 있다. 제어 디바이스(8)는 디스플레이 디바이스(4)에 디스플레이되는 그래픽 사용자 인터페이스를 출력하는 제어 디바이스(8)에서 실행되는 애플리케이션에 대한 사용자 입력으로서 미세(화된)(refined) 위치를 이용할 수 있다. 웨어러블(6)의 추정 위치를 미세화하기 위한 하나의 예시적인 기술의 추가 세부 사항은 도 4a-4f를 참조하여 아래에서 논의된다.
일부 예에서, 제어 디바이스(8)는 모션 데이터와 광 데이터의 조합에 기초하여 디스플레이 디바이스(4)상의 웨어러블(6)의 위치를 결정할 수 있다. 예를 들어, 제어 디바이스(8)는 모션 데이터에 기초하여 웨어러블(6)의 초기 추정 위치를 결정하고 광 데이터에 기초하여 미세 위치를 결정할 수 있다.
제어 디바이스(8)는 디스플레이 디바이스(4)를 통해 그래픽 사용자 인터페이스를 출력하는 애플리케이션에 대한 사용자 입력의 위치로서 웨어러블 컴퓨팅 디바이스의 미세 위치를 이용할 수 있다. 예를 들어, 제어 디바이스(8)에서 실행되는 애플리케이션이 디스플레이 디바이스(4)상의 위치(x1, y1)에 그래픽 버튼을 포함하는 그래픽 사용자 인터페이스를 출력하는 경우, 애플리케이션은 미세 위치가 x1, y1에 있는 그래픽 버튼이 선택되었다고 결정할 수 있다.
도 1에는 별도의 디바이스인 것으로 도시되어 있지만, 제어 디바이스(8)는 별도의 디바이스일 수 있거나, 디스플레이 디바이스(4) 또는 웨어러블(6)에 통합될 수 있다. 일 예로서, 제어 디바이스(8)가 별도의 디바이스(즉, 디스플레이 디바이스(4) 및 웨어러블(6)와 상이한)인 경우, 제어 디바이스(8)는 웨어러블(6)로부터 센서 데이터를 (예를 들어, 무선으로) 수신하고, 애플리케이션을 실행하여 그래픽 사용자 인터페이스를 생성하고, 디스플레이 디바이스(4)가 그래픽 사용자 인터페이스를 디스플레이하게 하고, 수신된 센서 데이터에 기초하여 애플리케이션에 대한 사용자 입력을 생성하는 랩탑 또는 스마트 폰일 수 있다. 다른 예로서, 제어 디바이스(8)가 디스플레이 디바이스(4)에 포함되는 경우, 본 명세서에 기술된 기능은 디스플레이 디바이스(4)의 하나 이상의 프로세서에 의해 수행될 수 있다. 예를 들어, 디스플레이 디바이스(4)의 하나 이상의 프로세서는 웨어러블(6)로부터 센서 데이터를 수신하고, 애플리케이션을 실행하여 그래픽 사용자 인터페이스를 생성하고, 그래픽 사용자 인터페이스를 (디스플레이 디바이스(4)에) 디스플레이하고, 수신된 센서 데이터에 기초하여 애플리케이션에 대한 사용자 입력을 생성할 수 있다. 다른 예로서, 제어 디바이스(8)가 웨어러블(6)에 포함되는 경우, 본 명세서에 기술된 기능은 웨어러블(6)의 하나 이상의 프로세서에 의해 수행될 수 있다. 예를 들어, 웨어러블(6)의 하나 이상의 프로세서는 웨어러블(6)의 센서(10)에 의해 생성된 센서 데이터를 획득하고, 애플리케이션을 실행하여 그래픽 사용자 인터페이스를 생성하고, 디스플레이 디바이스(4)가 그래픽 사용자 인터페이스를 디스플레이하게(예를 들어, 무선으로 명령들을 전송하여 디스플레이 디바이스(4)에 대한 사용자 인터페이스를 생성하게) 하고, 수신된 센서 데이터에 기초하여 애플리케이션에 대한 사용자 입력을 생성할 수 있다.
도 2는 본 개시의 하나 이상의 양태에 따른, 디스플레이된 사용자 인터페이스 컴포넌트의 직접 조작을 용이하게 하는데 사용될 수 있는 웨어러블 컴퓨팅 디바이스(6)(간단히 "웨어러블(6)"로 지칭함)를 도시하는 블록도이다. 도 2의 예에서, 웨어러블(6)은 컴퓨터화된 시계이다. 그러나, 다른 예에서, 웨어러블(6)은 컴퓨터화된 피트니스 밴드/트래커, 컴퓨터화된 안경, 컴퓨터화된 모자, 컴퓨터화된 장갑 등이다.
도 2에 도시된 바와 같이, 일부 예에서, 웨어러블(6)은 부착 컴포넌트(50) 및 하우징(52)을 포함할 수 있다. 웨어러블(6)의 하우징(52)은 웨어러블(6)의 하드웨어, 소프트웨어, 펌웨어 및/또는 다른 전기 컴포넌트의 조합을 수용하는 웨어러블(6)의 물리적 부분을 포함한다. 예를 들어, 도 2는 하우징(52) 내에, 웨어러블(6)이 (모션 센서(54) 및 광 센서(56)를 포함하는) 센서들(10), 통신 유닛(58) 및 통신 모듈(60)을 포함할 수 있음을 도시한다.
부착 컴포넌트(50)는 사용자가 웨어러블(6)을 착용할 때 사용자의 신체(예를 들어, 조직, 근육, 피부, 모발, 의류 등)와 접촉하는 웨어러블 컴퓨팅 디바이스의 물리적 부분을 포함할 수 있다(그러나, 일부 예에서, 하우징(52)의 일부는 또한 사용자의 신체와 접촉할 수 있다). 예를 들어, 웨어러블(6)이 시계인 경우, 부착 컴포넌트(50)는 사용자의 손목 주위에 피팅되고 사용자의 피부와 접촉하는 시계 밴드일 수 있다. 웨어러블(6)이 안경 또는 모자인 예에서, 부착 컴포넌트(50)는 사용자의 머리 주위에 피팅되는 안경 또는 모자 프레임의 일부일 수 있고, 웨어러블(6)이 장갑인 경우, 부착 컴포넌트(50)는 사용자의 손가락과 손에 맞는 장갑의 재료일 수 있다. 일부 예에서, 웨어러블(6)은 하우징(52) 및/또는 부착 컴포넌트(50)로부터 파지 및 유지될 수 있다.
모션 센서들(54)은 웨어러블(6)과 관련된 움직임의 표시(예를 들어, 움직임을 나타내는 데이터)를 검출하도록 구성된 하나 이상의 모션 센서 또는 입력 디바이스를 나타낸다. 모션 센서(54)의 예는 가속도계, 속도 센서, 자이로스코프, 자력계, 기울기트 센서, 기압계, 근접 센서, 또는 웨어러블(6)이 움직임을 결정할 수 있는 데이터를 생성할 수 있는 임의의 및 모든 다른 모든 유형의 입력 디바이스 또는 센서를 포함한다. 일부 예에서, 모션 센서(54)는 관성 측정 유닛(IMU)일 수 있거나 이에 포함될 수 있다. 모션 센서(54)는 하우징(52)이 움직일 때 "원시(raw)" 모션 데이터를 생성할 수 있다. 모션 데이터는 가속도, 이동 거리, 방향, 속도, 회전도 또는 배향도 중 적어도 하나를 포함하는 하나 이상의 움직임 특성을 나타낼 수 있다.
광 센서들(56)은 광 강도를 나타내는 전기 신호를 생성하도록 구성된 하나 이상의 디바이스를 나타낸다. 광 센서(56)의 예는 광 다이오드, 광 레지스터, 또는 광을 전기 신호로 변환할 수 있는 임의의 다른 디바이스를 포함한다. 일부 예에서, 하나 이상의 광 센서(56)는 PPG(photoplethysmogram) 센서(예를 들어, 심박수 모니터링에 사용되는 센서)에 포함될 수 있다. PPG 센서에 포함된 광 센서들(56)의 광 센서는 웨어러블(6)이 착용될 때 웨어러블(6) 착용자의 피부에 대향하는 웨어러블(6)의 표면 상에 배치될 수 있다. 예를 들어, 웨어러블(6)이 시계인 경우, PPG 센서에 포함된 광 센서들(56)의 광 센서는 시계의 하단(bottom)에 위치될 수 있다. 일부 예에서, 광 센서(56)는 웨어러블(6)이 착용될 때 웨어러블(6) 착용자의 피부에 대향하는 웨어러블(6)의 표면 이외의 웨어러블(6)의 어딘가에 위치될 수 있다. 예를 들어, 광 센서(56)는 웨어러블(6)의 전면 카메라(또는 다른 전면(예컨대, 시계 표면상) 광 센서)에 포함될 수 있다. 이러한 예에서, 사용자는 웨어러블(6)을 이용하여 손목에서 웨어러블(6)을 제거하지 않고도 직접 조작을 수행할 수 있다.
통신 유닛들(58)은 하나 이상의 네트워크상에서 네트워크 신호를 전송 및/또는 수신함으로써 하나 이상의 유선 및/또는 무선 네트워크를 통해 외부 디바이스와 통신할 수 있다. 통신 유닛(58)의 예는 네트워크 인터페이스 카드(예를 들어, 이더넷 카드), 광 송수신기, 무선 주파수 송수신기, GPS 수신기, 또는 정보를 전송 및/또는 수신할 수 있는 임의의 다른 유형의 디바이스를 포함한다. 통신 유닛(58)의 다른 예는 단파 라디오, 셀룰러 데이터 라디오, 무선 네트워크 라디오(예를 들어, 와이파이 라디오, 블루투스 라디오 등)뿐만 아니라 범용 직렬 버스(USB) 제어기를 포함할 수 있다.
일부 예에서, 웨어러블(6)은 입력을 수신하도록 구성된 하나 이상의 입력 컴포넌트를 포함할 수 있다. 입력의 예는 몇 가지 예만 언급하면 촉각, 오디오, 운동, 존재 및 광 입력이다. 입력 컴포넌트는 일 예로 마우스, 키보드, 음성 응답 시스템, 비디오 카메라, 버튼, 제어 패드, 마이크로폰 또는 사람 또는 기계로부터의 입력을 검출하기 위한 임의의 다른 유형의 디바이스를 포함한다. 일부 예에서, 입력 컴포넌트는 존재-감지형 스크린, 터치-감지현 스크린, 레이더 등을 포함할 수 있는 존재-감지형 입력 컴포넌트를 포함할 수 있다.
통신 모듈(60)은 웨어러블(6)과 외부 디바이스 간의 통신을 관리하기 위한 다양한 동작을 수행할 수 있다. 일 예로서, 통신 모듈(60)은 센서(10)로부터 데이터(예를 들어, 광 센서(56)로부터의 광 데이터 및/또는 모션 센서(54)로부터의 모션 데이터)를 수신하여, 하나 이상의 통신 유닛(58)으로 하여금 데이터의 표현을 외부 디바이스(예를 들어, 도 1 및 도 3의 제어 디바이스(8))로 무선으로 송신하게 할 수 있다. 다른 예로서, 웨어러블(6)이 제어 디바이스(8)에 기인한 본 명세서에 기술된 기능을 수행하는 경우, 통신 모듈(60)은 하나 이상의 통신 유닛(58)으로 하여금 디스플레이 디바이스(4)에 대한 그래픽 사용자 인터페이스를 생성하기 위한 명령을 전송하게 할 수 있다. 이러한 방식으로, 일부 예에서, 웨어러블(6)은 센서들(10)에 의해 생성된 데이터를 내부적으로 처리하여 웨어러블(6)을 통해 그래픽 객체들을 직접 조작할 수 있다. 다른 예로서, 통신 모듈(60)은 하나 이상의 통신 유닛(58)으로 하여금 웨어러블(6)의 하나 이상의 입력 컴포넌트를 통해 수신된 사용자 입력의 표시를 외부 디바이스(예를 들어, 도 1 및 도 3의 제어 디바이스(8))로 전송하게 할 수 있다. 이러한 방식으로, 웨어러블(6)은 사용자가 웨어러블(6)의 입력 컴포넌트를 사용하여 상기 디스플레이된 그래픽 객체들과 상호 작용하기 위한 추가 입력을 제공할 수 있게 할 수 있다(예를 들어, 사용자가 그래픽 객체들을 "클릭"할 수 있게 한다).
웨어러블 컴퓨팅 디바이스인 것으로 기술되었지만, 다른 디바이스가 웨어러블(6)에 대해 기술된 기능을 수행할 수 있음을 이해해야 한다. 예를 들어, 센서(예를 들어, 하나 이상의 모션 센서 및 하나 이상의 광 센서) 및 하나 이상의 무선 통신 유닛을 포함하는 임의의 컴퓨팅 디바이스는 웨어러블(6)에 속하는 기능을 수행할 수 있다. 그러한 디바이스의 일부 예는 스마트 폰, 태블릿 등을 포함한다.
도 3은 본 개시의 하나 이상의 양태에 따른, 디스플레이된 그래픽 객체들의 직접 조작을 위한 웨어러블 디바이스의 사용을 가능하게 하도록 구성된 예시적인 제어 디바이스를 도시하는 블록도이다. 도 3의 제어 디바이스(8)는 도 1의 시스템 1의 컨텍스트내에서 아래에서 설명된다. 도 3은 제어 디바이스(8)의 하나의 특정한 예만을 도시하고, 제어 디바이스(2)의 많은 다른 예는 다른 예에서 사용될 수 있다. 도 3의 제어 디바이스(8)는 예시적인 제어 디바이스(8)에 포함된 컴포넌트의 서브 세트를 포함하거나 도 3에 도시되지 않은 추가 컴포넌트를 포함할 수 있다.
도 3의 예에 도시된 바와 같이, 제어 디바이스(8)는 하나 이상의 프로세서(70), 하나 이상의 출력 디바이스(72), 하나 이상의 입력 디바이스(74), 하나 이상의 통신 유닛(76) 및 하나 이상의 저장 디바이스(82)를 포함한다. 저장 디바이스(82)는 또한 사용자 인터페이스(UI) 모듈(86), 통신 모듈(78) 및 애플리케이션 모듈(80)을 포함할 수 있다.
통신 채널들(84)은 (물리적으로, 통신적으로 및/또는 동작적으로) 컴포넌트 간 통신을 위해 컴포넌트(70, 72, 74, 76, 82) 각각을 상호 연결할 수 있다. 일부 예에서, 통신 채널(84)은 전력 버스, 시스템 버스, 네트워크 연결, 프로세스 간 통신 데이터 구조, 또는 데이터 통신 또는 전력 전송을 위한 임의의 다른 방법을 포함할 수 있다.
하나 이상의 출력 디바이스(72)는 출력을 생성할 수 있다. 출력의 예는 촉각, 오디오 및 비디오 출력이다. 일 예에서, 출력 디바이스(72)는 존재-감지형 디스플레이, 사운드 카드, 비디오 그래픽 어댑터 카드, 스피커, 음극선관(CRT) 모니터, 액정 디스플레이(LCD), 또는 인간 또는 기계에 출력을 생성하는 임의의 다른 유형의 디바이스를 포함한다.
하나 이상의 입력 디바이스(74)는 입력을 수신할 수 있다. 입력의 예는 촉각, 오디오 및 비디오 입력이다. 일부 예에서, 입력 디바이스(74)는 존재-감지형 디스플레이, 터치-감지형 스크린, 마우스, 키보드, 음성 응답 시스템, 비디오 카메라, 마이크로폰, 센서, 또는 사람 또는 기계로부터의 입력을 검출하기 위한 임의의 다른 유형의 디바이스를 포함한다.
하나 이상의 통신 유닛(76)은 하나 이상의 네트워크상에서 네트워크 신호를 전송 및/또는 수신함으로써 하나 이상의 유선 및/또는 무선 네트워크를 통해 외부 디바이스와 통신할 수 있다. 통신 유닛(76)의 예는 네트워크 인터페이스 카드(예를 들어, 이더넷 카드), 광 송수신기, 무선 주파수 송수신기, GPS 수신기, 또는 정보를 전송 및/또는 수신할 수 있는 임의의 다른 유형의 디바이스를 포함한다. 통신 유닛(76)의 다른 예는 단파 라디오, 셀룰러 데이터 라디오, 무선 네트워크 라디오(예를 들어, 와이파이 라디오, 블루투스 라디오 등)뿐만 아니라 범용 직렬 버스(USB) 컨트롤러, HDMI 컨트롤러 등을 포함할 수 있다.
통신 모듈(78)은 제어 디바이스(8)와 외부 디바이스 간의 통신을 관리하기 위한 다양한 동작을 수행할 수 있다. 일 예로서, 통신 모듈(78)은 제어 디바이스(8)의 하나 이상의 컴포넌트로부터 데이터를 수신하여, 하나 이상의 통신 유닛(76)으로 하여금 데이터의 표현을 외부 디바이스로 전송하게 할 수 있다. 예를 들어, 통신 모듈(78)은 애플리케이션 모듈(80)의 애플리케이션으로부터 그래픽 사용자 인터페이스를 생성하기 위한 명령을 수신하여, 하나 이상의 통신 유닛(76)으로 하여금 명령을 디스플레이 디바이스(4)로 전송하게 할 수 있다. 다른 예로서, 통신 모듈(78)은 외부 디바이스로부터 무선으로 수신된 데이터를 하나 이상의 통신 유닛(76)으로부터 수신할 수 있다. 예를 들어, 통신 모듈(78)은 웨어러블(6)로부터 무선으로 수신된 센서 데이터(예를 들어, 모션 데이터 및 광 데이터 중 하나 또는 둘 다)를 하나 이상의 통신 유닛(76)으로부터 수신할 수 있다.
소스 제어 디바이스(8) 내의 하나 이상의 저장 디바이스(82)는 제어 디바이스(8)에서의 실행 동안 모듈(86, 78 및 80)이 액세스하는 제어 디바이스(8)의 동작 동안 처리하기 위한 정보를 저장할 수 있다. 일부 예에서, 저장 디바이스(82)는 임시 메모리이며, 이는 저장 디바이스(82)의 주요 목적이 장기간 저장이 아님을 의미한다. 제어 디바이스(8)상의 저장 디바이스들(82)은 휘발성 메모리로서 정보의 단기 저장을 위해 구성될 수 있고, 따라서 전원이 꺼지면 저장된 내용을 유지하지 않을 수 있다. 휘발성 메모리의 예는 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM) 및 당 업계에 공지된 다른 형태의 휘발성 메모리를 포함한다.
일부 예에서, 저장 디바이스(82)는 하나 이상의 컴퓨터 판독 가능 저장 매체를 포함한다. 저장 디바이스(82)는 휘발성 메모리보다 많은 양의 정보를 저장하도록 구성될 수 있다. 저장 디바이스(82)는 또한 비 휘발성 메모리 공간으로서 정보의 장기간 저장을 위해 구성되어 전원 온/오프 사이클 후에 정보를 유지하도록 구성될 수 있다. 비 휘발성 메모리의 예는 자기 하드 디스크, 광 디스크, 플래시 메모리, 또는 EPROM 또는 EEPROM 메모리의 형태를 포함한다. 저장 디바이스(82)는 모듈(86, 78 및 80)과 관련된 프로그램 명령 및/또는 정보(예를 들어, 데이터)를 저장할 수 있다.
하나 이상의 프로세서(70)는 제어 디바이스(8) 내에서 기능을 구현하고 및/또는 명령들을 실행할 수 있다. 예를 들어, 프로세서(70)는 모듈(86, 78 및 80)의 기능을 실행하는 저장 디바이스(82)에 의해 저장된 명령을 수신 및 실행할 수 있다. 프로세서(70)는 제어 디바이스(8)의 다양한 동작 또는 기능을 수행하도록 모듈(86, 78 및 80)의 명령을 실행할 수 있다.
애플리케이션 모듈(80)은 사용자 입력을 이용할 수 있는 제어 디바이스(8)에서 실행되고 제어 디바이스(8)로부터 액세스 가능한 모든 다양한 개별 애플리케이션 및 서비스를 나타낸다. 사용자는 제어 디바이스(8)가 기능을 수행하게 하기 위해 하나 이상의 애플리케이션 모듈(80)과 관련된 그래픽 사용자 인터페이스와 상호 작용할 수 있다. 다양한 애플리케이션 모듈(80)의 예가 있을 수 있고 이들은 피트니스 애플리케이션, 캘린더 애플리케이션, 개인 어시스턴트 또는 예측 엔진, 검색 애플리케이션, 지도 또는 내비게이션 애플리케이션, 운송 서비스 애플리케이션(예를 들어, 버스 또는 기차 추적 애플리케이션), 소셜 미디어 애플리케이션, 게임 애플리케이션, 프리젠테이션 애플리케이션(예를 들어, 슬라이드를 제시하기 위한), 이메일 애플리케이션, 채팅 또는 메시징 애플리케이션, 인터넷 브라우저 애플리케이션, 또는 제어 디바이스(8)에서 실행될 수 있는 임의의 및 모든 다른 애플리케이션을 포함할 수 있다.
UI 모듈(86)은 제어 디바이스(8)의 다른 컴포넌트와의 사용자 상호 작용을 관리한다. 다시 말해, UI 모듈(86)은 제어 디바이스(8)의 다양한 컴포넌트 사이의 매개체로서 작용하여 사용자 입력에 기초하여 결정을 하고 사용자 입력에 응답하여 출력을 생성할 수 있다. UI 모듈(86)은 제어 디바이스(8)의 애플리케이션, 서비스, 플랫폼 또는 다른 모듈로부터 명령을 수신하여 디바이스(예를 들어, 도 1의 디스플레이 디바이스(4))가 사용자 인터페이스를 출력하게 할 수 있다. 예를 들어, 애플리케이션 모듈(80)의 애플리케이션은 UI 모듈(86)과 상호 작용하여 디스플레이 디바이스(4)가 하나 이상의 그래픽 객체를 포함하는 그래픽 사용자 인터페이스를 디스플레이하게 할 수 있다. UI 모듈(86)은 사용자가 사용자 인터페이스를 보고 상호 작용할 때 제어 디바이스(8)에 의해 수신된 입력을 관리하고, 애플리케이션, 서비스, 플랫폼, 또는 사용자 입력을 처리하는 제어 디바이스(8)의 다른 모듈로부터 추가 명령을 수신한 것에 응답하여 사용자 인터페이스를 업데이트할 수 있다.
본 개시의 하나 이상의 기술에 따르면, 제어 디바이스(8)는 웨어러블 컴퓨팅 디바이스가 디스플레이된 그래픽 객체의 직접 조작을 제공하는데 사용될 수 있도록 웨어러블 컴퓨팅 디바이스에 의해 생성된 센서 데이터를 이용할 수 있다. 예를 들어, UI 모듈(86)은 웨어러블 디바이스의 모션 센서에 의해 생성된 모션 데이터를 사용하여 디스플레이 디바이스상의 웨어러블 디바이스의 추정된 현재 위치를 결정할 수 있다. UI 모듈(86)은 웨어러블 디바이스의 하나 이상의 광 센서에 의해 생성된 광 데이터를 사용하여 상기 추정 위치를 미세화할 수 있다. 애플리케이션 모듈들(80)의 애플리케이션 모듈(예를 들어, 디스플레이 디바이스를 통해 그래픽 사용자 인터페이스를 출력하는)은 웨어러블 컴퓨팅 디바이스의 미세 위치를 사용자 입력의 위치로서 이용할 수 있다. 예를 들어, UI 모듈(86)은 미세 위치의 x, y 좌표를 애플리케이션 모듈에 제공할 수 있고, 애플리케이션 모듈은 x, y 좌표를 사용자 입력으로서 사용할 수 있다.
애플리케이션 모듈은 본 개시의 기술이 사용자 입력 위치를 생성하는데 사용되었는지 여부에 대해 불가지론적일 수 있다. 예를 들어, 애플리케이션 모듈에 있어서, 사용자 입력의 위치는 표준 터치 스크린을 사용하여 생성된 것과 동일하게 나타날 수 있다. 이와 같이, 애플리케이션 모듈은 본 명세서에 기술된 바와 같이 웨어러블 디바이스 지원 직접 조작을 사용하여 결정된 사용자 입력 위치를 사용하여 동작하기 위해 수정되지 않아도 된다.
일부 예에서, 사용자는 위치뿐만 아니라 입력을 사용하여 디스플레이된 객체들과 상호 작용하는 것이 바람직할 수 있다. 예를 들어, 웨어러블 컴퓨팅 디바이스(예를 들어, 웨어러블(6))가 위치로서 사용자 입력을 제공할 수 있을 뿐만 아니라, 사용자가 클릭, 스크롤링, 선택 또는 다른 것들과 같은 사용자 입력을 제공할 수 있는 것이 바람직할 수 있다. 본 개시의 하나 이상의 기술에 따르면, 제어 디바이스(8)는 웨어러블 컴퓨팅 디바이스의 하나 이상의 입력 컴포넌트를 통해 수신된 사용자 입력을 나타내는 데이터를 웨어러블 컴퓨팅 디바이스로부터 수신할 수 있다. 예를 들어, UI 모듈(86)은 사용자가 웨어러블 컴퓨팅 디바이스의 존재-감지형 디스플레이를 탭했다는 표시를 수신할 수 있다. UI 모듈(86)은 사용자 입력의 표현을 애플리케이션 모듈에 제공할 수 있다. 예를 들어, UI 모듈(86)이 사용자가 웨어러블 컴퓨팅 디바이스의 존재-감지형 디스플레이를 탭했다는 표시를 수신하는 경우, UI 모듈(86)은 미세 위치의 x, y 좌표에서 클릭이 수신되었다는 사용자 입력 표시를 애플리케이션에 제공할 수 있다.
도 4a 내지 도 4f는 본 개시의 하나 이상의 기술에 따른 예시적인 위치 미세화 프로세스를 나타내는 개념도이다. 도 4a 내지 도 4f의 미세화 프로세스는 디스플레이 디바이스(4), 웨어러블(6) 및 제어 디바이스(8)를 포함하는 도 1의 시스템(2)를 참조하여 설명된다.
제어 디바이스(8)는 디스플레이 디바이스(4)가 하나 이상의 그래픽 객체를 포함하는 그래픽 사용자 인터페이스를 디스플레이하게 할 수 있다. 예를 들어, 제어 디바이스(8)의 프로세서들(70)은 애플리케이션 모듈(80)의 애플리케이션 모듈을 실행할 수 있다. 실행된 애플리케이션 모듈은 UI 모듈(86)과 함께 그래픽 사용자 인터페이스를 렌더링하기 위한 명령을 생성할 수 있다. 프로세서(70)는 통신 모듈(78)을 실행하여, 통신 모듈(76)이 디스플레이 디바이스(4)에 그래픽 사용자 인터페이스를 생성하기 위한 명령을 출력하게 할 수 있다. 일반적으로, 그래픽 객체는 제어 디바이스(8)의 동작을 수정하기 위해 사용자가 상호 작용할 수 있는 임의의 그래픽 요소일 수 있다. 예시적인 그래픽 객체는 다이얼, 버튼, 토글, 슬라이더, 그래픽 키보드의 키 등을 포함하지만 이에 제한되지는 않는다.
사용자는 디스플레이 디바이스(4)에 디스플레이된 그래픽 사용자 인터페이스에 포함된 하나 이상의 그래픽 객체를 직접 조작하기를 원할 수 있다. 그러나, 디스플레이 디바이스(4)가 존재-감지형 디스플레이가 아닌 예에서, 사용자는 디스플레이된 객체를 단지 손가락을 사용하여 직접 조작하는 것이 불가능할 수도 있다. 이와 같이, 본 개시의 하나 이상의 기술에 따라 그리고 위에서 논의된 바와 같이, 사용자는 웨어러블 컴퓨팅 디바이스를 이용하여 직접 조작을 수행할 수 있다. 예를 들어, 웨어러블(6)이 사용자의 손목에 착용되는 경우, 사용자는 웨어러블(6)을 제거하고(예컨대, 부착 컴포넌트(50)를 실행 취소함) 웨어러블(6)을 이용하여 그래픽 객체들을 직접 조작할 수 있다.
제어 디바이스(8)는 사용자가 웨어러블(6)을 이용하여 디스플레이 디바이스(4)에 디스플레이된 그래픽 객체들을 직접 조작할 수 있게 하는 동작들을 수행할 수 있다. 전술한 바와같이, 일반적으로 제어 디바이스(8)는 웨어러블(6)의 모션 센서(54)에 의해 생성된 모션 데이터를 이용하여 디스플레이 디바이스(4)상의 추정 위치를 결정하고, 디스플레이 디바이스(4)로 하여금 추정 위치에 그래픽 패턴을 디스플레이하게 하고, 그런 다음 웨어러블(6)의 광 센서들(56)에 의해 생성된 광 데이터에 기초하여 추정 위치를 미세화할 수 있다.
초기에, 제어 디바이스(8)는 웨어러블(6)의 추정 위치를 결정할 수 없을 수 있다. 예를 들어, 사용자가 디스플레이 디바이스(4)에 대향하여 웨어러블(6)을 위치시키기 전에, 제어 디바이스(8)는 웨어러블(6)의 위치를 결정할 수 없을 수 있다. 이와 같이, 초기 위치에 대해, 제어 디바이스(8)는 사용자가 디스플레이된 그래픽 패턴의 위치에 웨어러블(6)을 위치시키기 위한 명령으로 디스플레이 디바이스(4)상의 위치에 그래픽 패턴을 출력할 수 있다. 제어 디바이스(8)는 항상 디스플레이 디바이스(4)상의 특정 위치를 초기 위치로 사용하거나 컨텍스트(context)에 따라 상이한 위치를 사용할 수 있다. 일단 사용자가 디스플레이된 그래픽 패턴의 위치에서 디스플레이 디바이스(4)에 웨어러블(6)을 위치시키면, 제어 디바이스(8)는 결정된 웨어러블(6)의 위치를 미세화하기 시작할 수 있다.
디스플레이 디바이스(4)에서 출력된 그래픽 패턴은 웨어러블(6)의 광 센서(56)와 같은 광 센서에 의한 검출을 용이하게 하도록 설계될 수 있다. 일반적으로, 그래픽 패턴은 각각 상이한 광 특성을 갖는 복수의 영역을 포함할 수 있다. 도 1 및 도 4a 내지 도 4f에 도시된 바와 같이, 그래픽 패턴(12)은 중심 영역(14) 및 그 중심 영역(14) 주위에 분산된 복수의 경계 영역(16)을 포함한다. 4개의 경계 영역을 포함하는 것으로 도시되어 있지만, 그래픽 패턴은 임의의 수의 경계 영역을 포함할 수 있다. 예를 들어, 일부 예에서, 그래픽 패턴은 5, 6, 7, 8, 9, 10, 12개 또는 그 이상의 경계 영역을 포함할 수 있다.
경계 영역들 각각은 조정 방향과 관련될 수 있다. 특정 경계 영역의 조정 방향은 경계 영역과 중심 영역 사이의 공간 관계를 나타낼 수 있다. 일 예로서, 경계 영역(16A)의 조정 방향은 315°(예를 들어, 중심 영역(14)에서 경계 영역(16A)로 향하는 방향)일 수 있다. 유사하게, 경계 영역(16B)의 조정 방향은 45°일 수 있고, 경계 영역(16C)의 조정 방향은 225°일 수 있고, 경계 영역(16D)의 조정 방향은 135°일 수 있다. 아래에서 더 상세히 논의되는 바와 같이, 경계 영역(16)의 특정 경계 영역이 웨어러블(6) 아래에 디스플레이됨을 나타내는 광 데이터에 응답하여, 제어 디바이스(8)는 특정 경계 영역에 대응하는 조정 방향으로 웨어러블(6)의 추정 위치를 조정할 수 있다.
도 4a에 도시된 바와 같이, 사용자는 그래픽 패턴(12)이 디스플레이되는 디스플레이 디바이스(4)상의 위치에 웨어러블(6)을 초기에 배치할 수 있다. 사용자가 웨어러블(6)을 사용하여 직접 조작을 수행하는 동안, 제어 디바이스(8)는 디스플레이된 그래픽 패턴의 위치를 사용자 입력으로 사용할 수 있다. 예를 들어, 제어 디바이스(8)의 UI 모듈(86)은 제어 디바이스(8)에서 실행되는 애플리케이션 모듈(80)의 애플리케이션에 대한 사용자 입력으로서 그래픽 패턴(12)의 중심 영역(14)의 중심의 x, y 좌표를 이용할 수 있다.
도 4b에 도시된 바와 같이, 사용자는 웨어러블(6)을 디스플레이 디바이스(4)를 가로 질러 이동할 수 있다. 웨어러블(6)이 이동함에 따라, 모션 센서(54)는 움직임을 나타내는 모션 데이터를 생성할 수 있다. 제어 디바이스(8)의 위치 추정 모듈(LEM)(90)은 모션 데이터에 기초하여 웨어러블(6)의 업데이트된 추정 위치를 결정할 수 있다. 예를 들어, LEM(90)은 모션 센서(54)의 가속도계에 의해 생성된 가속도 데이터의 이중 적분을 수행하고, 그 결과 값을 이전에 알려진 웨어러블(6)의 위치(즉, 웨어러블(6)가 이동하기 전에 그래픽 패턴(12)이 디스플레이된 위치)에 추가할 수 있다.
도 4c에 도시된 바와 같이, 제어 디바이스(8)는 디스플레이 디바이스(4)로 하여금 업데이트된 추정 위치에 그래픽 패턴(12)을 출력하게 할 수 있다. 위치 추정치의 정확성에 따라, 그래픽 패턴(12)은 웨어러블(6)의 실제 위치에 디스플레이되거나 디스플레이되지 않을 수 있다. 제어 디바이스(8)의 위치 미세화 모듈(LRM)(92)은 웨어러블(6)의 하나 이상의 광 센서(56)에 의해 생성된 광 데이터에 기초하여 추정 위치를 미세화할 수 있다.
세 가지 시나리오 중 하나는 미세화 프로세스 동안 임의의 시점 동안 가능하다. 제1 시나리오에서, 그래픽 패턴(12)은 웨어러블(6) 아래에 디스플레이되지 않을 수 있다(예를 들어, 광 센서들(56)은 그래픽 패턴(12)의 임의의 영역을 검출하지 못할 수 있다). 제2 시나리오에서, 그래픽 패턴(12)의 경계 영역들(16) 중 하나가 웨어러블(6) 아래에 디스플레이될 수 있다. 제3 시나리오에서, 그래픽 패턴(12)의 중심 영역(14)은 웨어러블(6) 아래에 디스플레이될 수 있다. LRM(92)은 하나 이상의 광 센서(56)에 의해 생성된 광 데이터에 기초하여 어떤 시나리오가 발생하고 있는지 결정할 수 있다. 일 예로서, 광 데이터가 중심 영역(14) 및 경계 영역들(16)의 영역이 검출되지 않음을 나타내는 경우, LRM(92)은 제1 시나리오가 발생하고 있다고 결정할 수 있다. 다른 예로서, 광 데이터가 경계 영역들(16)의 특정 경계 영역이 검출되었음을 나타내는 경우, LRM(92)은 제2 시나리오가 발생하고 있다고 결정할 수 있다. 다른 예로서, 광 데이터가 중심 영역(14)이 검출되었음을 나타내는 경우, LRM(92)은 제3 시나리오가 발생하고 있다고 결정할 수 있다.
LRM(92)은 결정된 시나리오에 기초하여 특정 동작(action)을 수행할 수 있다. 제1 시나리오가 발생하고 있다고 결정하는 것에 응답하여(예를 들어, 그래픽 패턴(12)의 영역이 검출되지 않음), LRM(92)은 그래픽 패턴(12)의 디스플레이 사이즈를 증가시킬 수 있다. 다시 말해서, 그래픽 패턴(12)의 복수의 영역 중 어느 것도 검출되지 않았다는 결정에 응답하여, LRM(92)은 디스플레이 디바이스(4)로 하여금 현재 사이즈에 비해 증가된 사이즈로 그래픽 패턴(12)을 출력하게 할 수 있다. 그래픽 패턴(12)의 디스플레이 사이즈를 증가시킴으로써, LRM(92)은 그래픽 패턴(12)의 영역이 광 데이터에서 검출될 가능성을 증가시킬 수 있다. 사이즈 증가의 예는 도 4c 및 4d에서 보여질 수 있다.
제2 시나리오가 발생하고 있다는(예를 들어, 경계 영역(16)의 특정 경계 영역이 검출되었다는) 결정하는 것에 응답하여, LRM(92)은 그래픽 패턴(12)의 디스플레이된 위치를 조정할 수 있다. 예를 들어, 경계 영역(16)의 특정 경계 영역이 검출되었다는 결정에 응답하여, LRM(92)은 그 특정 경계 영역에 기초하여 조정 방향을 결정할 수 있다. 전술한 바와 같이, 경계 영역들(16)의 각 경계 영역은 개별 경계 영역과 중심 영역(14) 사이의 공간 관계를 나타내는 개별 조정 방향과 관련될 수 있다. LRM(92)은 조정 방향으로, 추정 위치를 조정하여 미세 위치를 획득할 수 있다. 도 4d 및 4e의 예에서, LRM(92)은 경계 영역(16B)이 검출되었다고 결정하고, 경계 영역(16B)에 대응하는 조정 방향이 45°의 방향(heading)인 것을 결정하고, 그래픽 패턴(12)의 디스플레이된 위치를 45°의 방향으로 거리만큼 이동시킬 수 있다. LRM(92)이 그래픽 패턴(12)을 이동시키는 거리는 그래픽 패턴(12)의 현재 디스플레이 사이즈의 함수일 수 있다. 예를 들어, 거리는 그래픽 패턴(12)의 현재 디스플레이 사이즈의 반경의 절반일 수 있다.
제3 시나리오가 발생하고 있다는(예컨대, 중심 영역이 검출되었다는) 결정에 응답하여, LRM(92)은 그래픽 패턴(12)의 디스플레이 사이즈를 감소시킬 수 있다. 다시 말해서, 그래픽 패턴(12)의 중심 영역(14)이 검출되었다는 결정에 응답하여, LRM(92)은 디스플레이 디바이스(4)로 하여금 현재 사이즈에 비해 축소된 사이즈로 그래픽 패턴(12)을 출력하게 할 수 있다. 그래픽 패턴(12)의 디스플레이 사이즈를 감소시킴으로써, LRM(92)은 그래픽 패턴(12)에 의해 커버된/가려진 그래픽 사용자 인터페이스의 양을 감소시킬 수 있다. 일부 예에서, LRM(92)은 그래픽 패턴(12)이 웨어러블(6) 주위에서 보이지 않는 시점으로 그래픽 패턴(12)의 사이즈를 감소시킬 수 있다(예를 들어, 그래픽 패턴(12)은 웨어러블(6)에 의해 완전히 가려질 수 있다). 사이즈 감소의 예는 도 4e 및 4f에서 볼 수 있다.
제어 디바이스(8)는 하나 이상의 조건(condition)이 충족될 때까지 및/또는 웨어러블(6)이 다시 움직일 때까지 미세화 프로세스를 계속 수행할 수 있음에 유의한다. 하나의 예시적인 조건은 최소 디스플레이 사이즈에 도달하는 그래픽 패턴(12)을 포함한다. 최소 디스플레이 사이즈는 (예를 들어, 최소 디스플레이 사이즈가 웨어러블(6)의 사이즈와 동일하거나 그보다 약간 작도록) 웨어러블(6)의 사이즈에 기초하여 선택될 수 있다 .
또한, 특정 미세화 동작들이 다른 시나리오를 트리거할 수 있음에 유의한다. 예를 들어, 그래픽 패턴(12)의 디스플레이 사이즈를 감소시키면 중심 영역(14)이 더 이상 광 데이터에서 검출되지 않을 수 있다(예를 들어, 경계 영역이 검출되거나 영역이 검출되지 않음). 하나의 특정 예로서, 그래픽 패턴(12)의 디스플레이 사이즈를 감소시킨 후, 제어 디바이스(8)는 경계 영역이 이제 검출되었다고 결정할 수 있고, 검출된 경계 영역에 기초하여 그래픽 패턴(12)의 디스플레이 위치를 조정할 수 있다. 이 프로세스들은 최소 사이즈의 그래픽 패턴(12)에 도달할 때까지 반복(loop)될 수 있다.
도 5는 본 개시의 하나 이상의 기술에 따른, 디스플레이된 그래픽 객체들의 직접 조작을 위한 웨어러블 디바이스의 사용을 가능하게 하는 디바이스의 예시적인 동작들을 도시하는 흐름도이다.
도 5의 기술은 도 1 및 도 3의 제어 디바이스(8)와 같은 디바이스의 하나 이상의 프로세서에 의해 수행될 수 있다. 예시의 목적으로, 도 5의 기술은 도 1 및 도 3의 제어 디바이스(8)의 컨텍스트내에서 설명되지만, 제어 디바이스(8)와 다른 구성을 갖는 컴퓨팅 디바이스는 도 5의 기술을 수행할 수 있다. 일 예로서, 도 1의 디스플레이 디바이스(4)의 하나 이상의 프로세서는 도 5의 기술을 수행할 수 있다. 다른 예로서, 도 1 및 도 2의 웨어러블(6)의 하나 이상의 프로세서는 도 5의 기술을 수행할 수 있다. 다른 예로서, 디스플레이 디바이스(4) 및 웨어러블(6) 이외의 모바일 컴퓨팅 디바이스의 하나 이상의 프로세서가 도 5의 기술을 수행할 수 있다.
제어 디바이스(8)는 디스플레이 디바이스에 의한 디스플레이를 위해, 그래픽 사용자 인터페이스(502)를 출력할 수 있다. 예를 들어, 제어 디바이스(8)의 프로세서들(70)은 애플리케이션 모듈들(80)의 애플리케이션 모듈을 실행할 수 있고, 실행된 애플리케이션 모듈은, UI 모듈(86)로, 그래픽 사용자 인터페이스를 렌더링하기 위한 명령을 생성할 수 있다. 프로세서들(70)은 통신 유닛들(76)로 하여금 명령들을 출력하여 디스플레이 디바이스(4)에 그래픽 사용자 인터페이스를 생성하게 할 수 있다.
제어 디바이스(8)는 모션 데이터에 기초하여, 웨어러블 컴퓨팅 디바이스의 추정 위치를 결정할 수 있다(504). 예를 들어, 제어 디바이스(8)는 웨어러블(6)의 모션 센서들(54)의 가속도계에 의해 생성된 가속도 데이터를 무선으로 수신할 수 있고, 제어 디바이스(8)의 LEM(90)은 가속도 데이터의 이중 적분을 수행하여, 그 결과 값을 이전에 알려진 웨어러블(6)의 위치에 추가(add)할 수 있다.
제어 디바이스(8)는 디스플레이 디바이스에 의한 디스플레이를 위해 그리고 추정 위치에, 중심 영역 및 복수의 경계 영역(506)을 포함하는 그래픽 패턴을 출력할 수 있다. 예를 들어, LRM(92)은 (예를 들어, 그래픽 패턴이 그래픽 사용자 인터페이스의 다른 요소들 위에 오버레이되도록) 그래픽 패턴(12)을 애플리케이션 모듈에 의해 생성된 그래픽 사용자 인터페이스에 삽입할 수 있다.
제어 디바이스(8)는 웨어러블 컴퓨팅 디바이스의 광 센서에 의해 생성된 광 데이터에 기초하여, 웨어러블 컴퓨팅 디바이스의 미세 위치를 결정할 수 있다. 예를 들어, LRM(92)은 웨어러블(6)의 광 센서들(56)의 광 센서에 의해 생성된 광 데이터를 처리하여, 광 데이터가 그래픽 패턴(12)의 영역의 광 특성과 일치하는지 여부를 결정할 수 있다. 광 데이터에서 중심 영역이 검출되었다는 결정에 응답하여(508의 "예" 분기), LRM(92)은 그래픽 패턴(12)의 디스플레이 사이즈를 감소시킬 수 있다(510). 광 데이터에서 중심 영역 또는 임의의 경계 영역이 검출되지 않는다는 결정에 응답하여(512의 "아니오" 분기), LRM(92)은 그래픽 패턴(12)의 디스플레이 사이즈를 증가시킬 수 있다(514). 광 데이터에서 경계 영역이 검출되었다는결정에 응답하여(512의 "예" 분기), LRM(92)은 검출된 경계 영역과 관련된 조정 방향에 기초하여 추정 위치를 조정할 수 있다(516).
제어 디바이스(8)는 웨어러블 디바이스가 이동했는지 여부를 결정할 수 있다(518). 예를 들어, 제어 디바이스(8)는 모션 센서들(54)에 의해 생성된 모션 데이터에 기초하여, 웨어러블 컴퓨팅 디바이스(6)의 가속도가 가속도 임계값보다 큰지 여부를 결정할 수 있다. 웨어러블 디바이스가 이동했다고 결정하는 것에 응답하여(518의 "예" 분기), 제어 디바이스(8)는 움직임을 나타내는 모션 데이터에 기초하여, 웨어러블 컴퓨팅 디바이스의 업데이트된 추정 위치를 결정할 수 있다(504). 웨어러블 디바이스가 이동하지 않았다는 결정에 응답하여(518의 "아니오" 분기) LRM(92)은 미세화 동작을 계속 수행할 수 있다(508-516).
위에서 논의된 바와 같이, 그래픽 패턴은 그래픽 사용자 인터페이스의 다른 요소들 상에 오버레이되어 디스플레이될 수 있다. 일부 예에서, 제어 디바이스(8)는 그래픽 사용자 인터페이스의 다른 요소들에 대해 그래픽 패턴이 "혼동"될 가능성을 감소시키기 위해 하나 이상의 동작을 수행할 수 있다. 예를 들어, 디스플레이 디바이스가 그래픽 패턴을 디스플레이하게 하는 동안, 제어 디바이스(8)는 디스플레이 디바이스로 하여금 그래픽 패턴을 사전 결정된 속도로(예를 들어, 1, 2, 3, 4, 5 프레임마다) 깜박이게 할 수 있다.
도 6a 내지 6c는 본 개시의 하나 이상의 기술에 따른 글로벌 초기화에 사용될 수 있는 예시적인 그래픽 패턴이다. 전술한 바와 같이, 일부 예에서, 제어 디바이스(8)는 디스플레이 디바이스(4)상의 특정 위치(예를 들어, 초기 위치로서 기능하는 특정 위치)에 그래픽 패턴(예를 들어, 도 1의 그래픽 패턴(12))을 디스플레이함으로써 웨어러블(6)의 초기 위치를 결정할 수 있다. 다른 예에서, 제어 디바이스(8)는 디스플레이 디바이스(4) 전체에 걸쳐 다양한 그래픽 패턴을 디스플레이함으로써 디스플레이 디바이스(4)상의 웨어러블(6)의 초기 위치를 결정하도록 구성될 수 있다(반면에 그래픽 패턴(12)은 모든 디스플레이 디바이스(4)보다 덜 차지한다). 일부 예시적인 그래픽 패턴이 도 6a 내지 6c에 도시되어 있다. 도 6a-6c에 도시된 그래픽 패턴을 사용하여 글로벌 초기화 기술을 수행하기 위해, 제어 디바이스(8)는 (예를 들어, 사용자가 디스플레이 디바이스상의 어느 위치에 웨어러블(6)를 배치했는지에 관계없이 그래픽 패턴의 일부가 웨어러블(6)의 위치에 있게 되도록) 디스플레이 디바이스(4)의 전체 디스플레이 영역에 하나 이상의 그래픽 패턴(602, 604, 606)을 플래시(flash)한다.
다음의 번호가 매겨진 예들은 본 개시의 하나 이상의 양태를 예시할 수 있다.
예 1. 방법은 하나 이상의 프로세서에 의해, 존재-감지형이 아닌 디스플레이 디바이스상의 웨어러블 컴퓨팅 디바이스의 추정 위치를 결정하는 단계와, 상기 웨어러블 컴퓨팅 디바이스는 사용자의 손목에 착용되도록 구성되고; 추정 위치에, 디스플레이 디바이스가 그래픽 패턴을 출력하게 하는 단계와; 하나 이상의 프로세서에 의해 웨어러블 컴퓨팅 디바이스의 광 센서에 의해 생성된 광 데이터에 기초하여, 웨어러블 컴퓨팅 디바이스의 미세 위치를 결정하는 단계와; 그리고 하나 이상의 프로세서에 의해, 웨어러블 컴퓨팅 디바이스의 미세 위치를 디스플레이 디바이스를 통해 그래픽 사용자 인터페이스를 출력하는 애플리케이션에 대한 사용자 입력의 위치로서 이용하는 단계를 포함한다.
예 2. 예 1에 있어서, 상기 추정 위치를 결정하는 단계는 웨어러블 컴퓨팅 디바이스의 하나 이상의 모션 센서에 의해 생성된 모션 데이터에 기초하여, 추정 위치를 결정하는 단계를 포함한다.
예 3. 예 1 또는 2에 있어서, 상기 그래픽 패턴은 중심 영역 및 그 중심 영역 주위에 분산된 복수의 경계 영역을 포함하는 복수의 영역을 포함하고, 상기 복수의 영역의 각 영역은 상이한 광 특성을 가지며, 상기 미세 위치를 결정하는 단계는 광 데이터에 기초하여, 복수의 영역 중 임의의 영역이 검출되는지를 결정하는 단계와; 복수의 경계 영역의 특정 경계 영역이 검출되었다는 결정에 응답하여, 상기 특정 경계 영역에 기초하여 조정 방향을 결정하는 단계와; 그리고 미세 위치를 획득하기 위해 조정 방향으로 추정 위치를 조정하는 단계를 포함한다.
예 4. 예 2 또는 3 중 어느 하나에 있어서, 상기 미세 위치를 결정하는 단계는 복수의 영역들 중 어느 것도 검출되지 않는다는 결정에 응답하여, 디스플레이 디바이스가 현재 사이즈에 비해 증가된 사이즈로 그래픽 패턴을 출력하게 하는 단계를 더 포함한다.
예 5. 예 2 내지 예 4 중 어느 하나에 있어서, 상기 미세 위치를 결정하는 단계는 복수의 영역의 중심 영역이 검출되었다는 결정에 응답하여, 디스플레이 디바이스가 현재 사이즈에 비해 축소된 사이즈로 그래픽 패턴을 출력하게 하는 단계를 더 포함한다.
예 6. 예 1 내지 예 5 중 어느 하나에 있어서, 상기 디스플레이 디바이스가 그래픽 패턴을 출력하게 하는 단계는 디스플레이 디바이스가 사전 결정된 속도로 그래픽 패턴을 깜박이게 하는 단계를 포함한다.
예 7. 예 1 내지 예 6 중 어느 하나에 있어서, 상기 웨어러블 컴퓨팅 디바이스의 광 센서는 PPG 센서를 포함한다.
예 8. 예 1 내지 예 7 중 어느 하나에 있어서, 상기 하나 이상의 프로세서는 디스플레이 디바이스에 포함된다.
예 9. 예 1 내지 예 7 중 어느 하나에 있어서, 상기 하나 이상의 프로세서는 웨어러블 컴퓨팅 디바이스에 포함된다.
예 10. 예 1 내지 예 7 중 어느 하나에 있어서, 상기 하나 이상의 프로세서는 웨어러블 컴퓨팅 디바이스 및 디스플레이 디바이스와 상이한 다른 디바이스에 포함되고, 상기 방법은 다른 디바이스에 의해 상기 웨어러블 컴퓨팅 디바이스로부터, 광 데이터를 수신하는 단계와; 그리고 상기 디스플레이 디바이스가 그래픽 사용자 인터페이스를 출력하게 하는 단계를 더 포함한다.
예 11. 컴퓨팅 디바이스는 하나 이상의 프로세서; 및 하나 이상의 프로세서에 의해 실행될 때 하나 이상의 프로세서로 하여금 예 1 내지 예 10 중 어느 하나의 방법을 수행하게 하는 명령들을 저장하는 메모리를 포함한다.
예 12. 실행될 때 하나 이상의 프로세서로 하여금 예 1 내지 예 10 중 어느 하나의 방법을 수행하게 하는 명령들을 저장하는 컴퓨터-판독 가능 저장 매체.
예 13. 예 1 내지 예 10 중 어느 하나의 방법을 수행하기 위한 수단을 포함하는 디바이스.
본 개시에서 설명된 기술들은 적어도 부분적으로 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 설명된 기술의 다양한 양태는 하나 이상의 마이크로 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 또는 임의의 다른 동가의 집적 또는 이산 논리 회로뿐만 아니라 이러한 컴포넌트의 조합을 포함하여, 하나 이상의 프로세서 내에서 구현될 수 있다. "프로세서" 또는 "처리 회로"라는 용어는 일반적으로 논리 회로들 중 임의의 것을 단독으로 또는 다른 논리 회로와 조합하거나 또는 임의의 다른 등가 회로를 지칭할 수 있다. 하드웨어를 포함하는 제어 유닛은 또한 본 개시의 기법들 중 하나 이상을 수행할 수 있다.
이러한 하드웨어, 소프트웨어 및 펌웨어는 본 개시에서 설명된 다양한 기술을 지원하기 위해 동일한 디바이스 내에서 또는 별도의 디바이스 내에서 구현될 수 있다. 또한, 설명된 유닛들, 모듈들 또는 컴포넌트들 중 임의의 것은 개별적이지만 상호 운용 가능한 로직 디바이스들로서 함께 또는 개별적으로 구현될 수 있다. 모듈 또는 유닛으로 다른 기능을 나타내는 것은 다른 기능적 측면을 강조하기 위한 것이며 반드시 이러한 모듈 또는 디바이스가 별도의 하드웨어, 펌웨어 또는 소프트웨어 컴포넌트에 의해 실현되어야 한다는 것을 의미하지는 않는다. 오히려, 하나 이상의 모듈 또는 유닛과 관련된 기능은 별도의 하드웨어, 펌웨어 또는 소프트웨어 컴포넌트에 의해 수행되거나 공통 또는 별도의 하드웨어, 펌웨어 또는 소프트웨어 컴포넌트 내에 통합될 수 있다.
본 개시에 기술된 기술들은 또한 명령들로 인코딩된 컴퓨터-판독 가능 저장 매체를 포함하는 제조 물품에서 구현되거나 인코딩될 수도 있다. 인코딩된 컴퓨터-판독 가능 저장 매체를 포함하는 제조 물품에 내장되거나 인코딩된 명령들은, 예를 들어 컴퓨터-판독 가능 저장 매체에 포함되거나 인코딩된 명령들이 하나 이상의 프로세서에 의해 실행될 때와 같이, 하나 이상의 프로그램 가능 프로세서 또는 다른 프로세서로 하여금 본 명세서에 기술된 하나 이상의 기술을 구현하게 할 수 있다. 컴퓨터-판독 가능 저장 매체는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 프로그램 가능 판독 전용 메모리(PROM), 소거 가능 프로그램 가능 판독 전용 메모리(EPROM), 전자 소거 가능 프로그램 가능 판독 전용 메모리(EEPROM), 플래시 메모리, 하드 디스크, CD-ROM, 플로피 디스크, 카세트, 자기 매체, 광 매체 또는 다른 컴퓨터 판독 가능 매체를 포함할 수 있다. 일부 예에서, 제조 물품은 하나 이상의 컴퓨터-판독 가능 저장 매체를 포함할 수 있다.
일부 예에서, 컴퓨터-판독 가능 저장 매체는 비-일시적 매체를 포함할 수 있다. "비-일시적"이라는 용어는 저장 매체가 반송파 또는 전파 신호로 구현되지 않음을 나타낼 수 있다. 특정 예에서, 비-일시적 저장 매체는 시간 경과에 따라 (예를 들어, RAM 또는 캐시에서) 변경될 수 있는 데이터를 저장할 수 있다.
다양한 예가 설명되었다. 이들 및 다른 예는 다음의 청구 범위의 범위 내에있다.

Claims (21)

  1. 방법으로서,
    하나 이상의 프로세서에 의해, 존재-감지형이 아닌 디스플레이 디바이스에 대향하여(against) 배치된 웨어러블 컴퓨팅 디바이스의 추정 위치를 결정하는 단계와, 상기 웨어러블 컴퓨팅 디바이스는 사용자의 손목에 착용되도록 구성되고;
    추정 위치에, 디스플레이 디바이스가 그래픽 패턴을 출력하게 하는 단계와;
    하나 이상의 프로세서에 의해, 웨어러블 컴퓨팅 디바이스의 광 센서에 의해 생성된 광 데이터에 기초하여, 그래픽 패턴을 이용하여 웨어러블 컴퓨팅 디바이스의 미세(refined) 위치를 결정하는 단계와, 상기 그래픽 패턴은 웨어러블 컴퓨팅 디바이스에 의해 그래픽 패턴이 가려지도록 상기 추정 위치로부터 이동되고; 그리고
    하나 이상의 프로세서에 의해, 웨어러블 컴퓨팅 디바이스의 미세 위치를 디스플레이 디바이스를 통해 그래픽 사용자 인터페이스를 출력하는 애플리케이션에 대한 사용자 입력의 위치로서 이용하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 추정 위치를 결정하는 단계는,
    웨어러블 컴퓨팅 디바이스의 하나 이상의 모션 센서에 의해 생성된 모션 데이터에 기초하여, 추정 위치를 결정하는 단계를 포함하는 방법.
  3. 제1항에 있어서,
    상기 그래픽 패턴은 중심 영역 및 그 중심 영역 주위에 분산된 복수의 경계 영역을 포함하는 복수의 영역을 포함하고, 상기 복수의 영역의 각 영역은 상이한 광 특성을 갖으며 개별 경계 영역과 중앙 영역사이의 공간적 관계를 나타내는 개별 조정 방향과 연관되고, 상기 미세 위치를 결정하는 단계는,
    광 데이터에 기초하여, 복수의 영역 중 임의의 영역이 검출되는지 여부를 결정하는 단계와;
    복수의 경계 영역의 특정 경계 영역이 검출되었다는 결정에 응답하여, 그 특정 경계 영역에 대응하는 조정 방향을 결정하는 단계와;
    결정된 조정 방향으로 그래픽 패턴을 이동시키는 단계와; 그리고
    그래픽 패턴의 이동에 기초하여 그래픽 패턴이 웨어러블 컴퓨팅 디바이스에 의해 완전히 가려졌다고 결정하는 것에 응답하여, 중앙 영역의 중심 위치를 상기 미세 위치로 결정하는 단계를 포함하는 방법.
  4. 제2항에 있어서,
    상기 미세 위치를 결정하는 단계는,
    복수의 영역들 중 어느 것도 검출되지 않는다는 결정에 응답하여, 디스플레이 디바이스가 현재 사이즈에 비해 증가된 사이즈로 그래픽 패턴을 출력하게 하는 단계를 더 포함하는 방법.
  5. 제2항에 있어서,
    상기 미세 위치를 결정하는 단계는,
    복수의 영역의 중심 영역이 검출되었다는 결정에 응답하여, 디스플레이 디바이스가 현재 사이즈에 비해 축소된 사이즈로 그래픽 패턴을 출력하게 하는 단계를 더 포함하는 방법.
  6. 제1항에 있어서,
    상기 디스플레이 디바이스가 그래픽 패턴을 출력하게 하는 단계는,
    디스플레이 디바이스가 사전 결정된 속도로 그래픽 패턴을 깜박이게 하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    상기 웨어러블 컴퓨팅 디바이스의 광 센서는 PPG(photoplethysmogram) 센서를 포함하는 방법.
  8. 제1항에 있어서,
    상기 하나 이상의 프로세서는 디스플레이 디바이스에 포함되는 방법.
  9. 제1항에 있어서,
    상기 하나 이상의 프로세서는 웨어러블 컴퓨팅 디바이스에 포함되는 방법.
  10. 제1항에 있어서,
    상기 하나 이상의 프로세서는 웨어러블 컴퓨팅 디바이스 및 디스플레이 디바이스와 상이한 다른 디바이스에 포함되고, 상기 방법은,
    다른 디바이스에 의해 상기 웨어러블 컴퓨팅 디바이스로부터, 광 데이터를 수신하는 단계와; 그리고
    디스플레이 디바이스가 그래픽 사용자 인터페이스를 출력하게 하는 단계를 더 포함하는 방법.
  11. 컴퓨팅 디바이스로서,
    하나 이상의 프로세서; 및
    명령들을 포함하는 메모리를 포함하고, 상기 명령들은 하나 이상의 프로세서에 의해 실행될 때 하나 이상의 프로세서로 하여금 제1항 내지 제10항 중 어느 하나의 방법을 수행하게 하는 컴퓨팅 디바이스.
  12. 실행될 때 하나 이상의 프로세서로 하여금 제1항 내지 제10항 중 어느 하나의 방법을 수행하게 하는 컴퓨터-판독 가능 저장 매체.
  13. 제1항 내지 제10항 중 어느 하나의 방법을 수행하기 위한 수단을 포함하는 디바이스.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
KR1020207016633A 2019-12-19 2019-12-19 웨어러블 컴퓨팅 디바이스를 이용한 디스플레이 디바이스의 직접 조작 KR102349210B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/067603 WO2021126223A1 (en) 2019-12-19 2019-12-19 Direct manipulation of display device using wearable computing device

Publications (2)

Publication Number Publication Date
KR20210080272A KR20210080272A (ko) 2021-06-30
KR102349210B1 true KR102349210B1 (ko) 2022-01-10

Family

ID=69326651

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207016633A KR102349210B1 (ko) 2019-12-19 2019-12-19 웨어러블 컴퓨팅 디바이스를 이용한 디스플레이 디바이스의 직접 조작

Country Status (6)

Country Link
US (1) US11301040B2 (ko)
EP (1) EP3864495A1 (ko)
JP (1) JP7246390B2 (ko)
KR (1) KR102349210B1 (ko)
CN (1) CN113316753A (ko)
WO (1) WO2021126223A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102054586B1 (ko) * 2018-05-30 2019-12-10 유비시스(주) 미세먼지센서를 포함하는 멀티 융복합 센서기반 듀얼 모드 웨어러블 디바이스 동작방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060209013A1 (en) * 2005-03-17 2006-09-21 Mr. Dirk Fengels Method of controlling a machine connected to a display by line of vision
US9665543B2 (en) * 2007-03-21 2017-05-30 International Business Machines Corporation System and method for reference validation in word processor documents
US9400390B2 (en) * 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US8594467B2 (en) 2008-12-19 2013-11-26 Microsoft Corporation Interactive virtual display system for ubiquitous devices
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8497902B2 (en) 2009-12-18 2013-07-30 Sony Computer Entertainment Inc. System for locating a display device using a camera on a portable device and a sensor on a gaming console and method thereof
CA2828222A1 (en) 2010-02-23 2011-09-01 Muv Interactive Ltd. A system for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US9250746B2 (en) * 2010-03-12 2016-02-02 Shafa Wala Position capture input apparatus, system, and method therefor
KR101720494B1 (ko) 2010-07-16 2017-03-28 엘지전자 주식회사 영상표시장치 및 그 동작 방법
JP2015531510A (ja) * 2012-09-06 2015-11-02 インターフェイズ・コーポレーション 対話型表示システムにおける絶対的および相対的位置決めセンサ連携
KR20200119912A (ko) * 2014-02-10 2020-10-20 애플 인크. 광학 센서를 사용해 검출된 모션 제스처 입력
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US9377854B2 (en) * 2014-03-28 2016-06-28 Intel Corporation Technologies for remotely controlling a computing device via a wearable computing device
CN103995592A (zh) 2014-05-21 2014-08-20 上海华勤通讯技术有限公司 穿戴式设备与终端进行信息交互的方法及终端
US9594427B2 (en) 2014-05-23 2017-03-14 Microsoft Technology Licensing, Llc Finger tracking
US9495008B2 (en) * 2014-06-27 2016-11-15 Amazon Technologies, Inc. Detecting a primary user of a device
KR101680084B1 (ko) 2015-02-16 2016-11-28 한국과학기술원 제스처 디자인 방법 및 제스처 디자인 장치
KR20170007963A (ko) 2015-07-13 2017-01-23 엘지전자 주식회사 디스플레이 시스템
US9977960B2 (en) * 2015-09-24 2018-05-22 Tobii Ab Eye-tracking enabled wearable devices
KR20180037511A (ko) 2016-10-04 2018-04-12 삼성전자주식회사 전자 장치 및 그의 유저 인터페이스 제공 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102054586B1 (ko) * 2018-05-30 2019-12-10 유비시스(주) 미세먼지센서를 포함하는 멀티 융복합 센서기반 듀얼 모드 웨어러블 디바이스 동작방법

Also Published As

Publication number Publication date
KR20210080272A (ko) 2021-06-30
JP2022517448A (ja) 2022-03-09
WO2021126223A1 (en) 2021-06-24
JP7246390B2 (ja) 2023-03-27
EP3864495A1 (en) 2021-08-18
US20210318754A1 (en) 2021-10-14
CN113316753A (zh) 2021-08-27
US11301040B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
US20210405761A1 (en) Augmented reality experiences with object manipulation
US11288807B2 (en) Method, electronic device and storage medium for segmenting image
EP3164785B1 (en) Wearable device user interface control
EP3092595B1 (en) Managing display of private information
CN109478101B (zh) 用于为虚拟现实用户界面检测运动范围的方法和系统
KR20150110257A (ko) 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
CN107438812B (zh) 信息处理设备、信息处理方法和程序
EP3317748A1 (en) Touchless user interface navigation using gestures
JP6911834B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017182247A (ja) 情報処理装置、情報処理方法、およびプログラム
US9665232B2 (en) Information-processing device, storage medium, information-processing method, and information-processing system for enlarging or reducing an image displayed on a display device
US20240028129A1 (en) Systems for detecting in-air and surface gestures available for use in an artificial-reality environment using sensors at a wrist-wearable device, and methods of use thereof
US20240019938A1 (en) Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof
KR102349210B1 (ko) 웨어러블 컴퓨팅 디바이스를 이용한 디스플레이 디바이스의 직접 조작
CN114115544B (zh) 人机交互方法、三维显示设备及存储介质
KR20150009199A (ko) 객체 편집을 위한 전자 장치 및 방법
JPWO2020031493A1 (ja) 端末装置および端末装置の制御方法
US11797100B1 (en) Systems and methods for classifying touch events based on relative orientation
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
US20230333645A1 (en) Method and device for processing user input for multiple devices
CN118076941A (en) Method and apparatus for facilitating interaction with a peripheral device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant