KR20210099205A - 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이 - Google Patents

무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이 Download PDF

Info

Publication number
KR20210099205A
KR20210099205A KR1020217024715A KR20217024715A KR20210099205A KR 20210099205 A KR20210099205 A KR 20210099205A KR 1020217024715 A KR1020217024715 A KR 1020217024715A KR 20217024715 A KR20217024715 A KR 20217024715A KR 20210099205 A KR20210099205 A KR 20210099205A
Authority
KR
South Korea
Prior art keywords
wireless communication
communication device
user
wireless
instructions
Prior art date
Application number
KR1020217024715A
Other languages
English (en)
Other versions
KR102407613B1 (ko
Inventor
제임스 에이치. 포스터
던칸 알. 커
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Priority to KR1020227019017A priority Critical patent/KR102515013B1/ko
Publication of KR20210099205A publication Critical patent/KR20210099205A/ko
Application granted granted Critical
Publication of KR102407613B1 publication Critical patent/KR102407613B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

무선 디바이스는 사전정의된 물리적 위치에 위치된 객체의 가상 표현과의 상호작용을 통해 또는 직접적으로 객체, 예컨대 물리적 디바이스를 제어한다. 무선 디바이스는, 추가 입력으로 또는 추가 입력 없이, 객체를 향해 무선 디바이스를 지향시키거나 배향시키는 것과 같이, 객체를 제어하려는 의도를 나타내는, 사용자에 의해 수행된 의도 제스처를 식별하고; 무선 레인징 및/또는 디바이스 배향을 이용하여 의도 제스처와 연관된 객체를 판정하고; 무선 디바이스와 연관된 하나 이상의 센서들로부터의 센서 데이터를 해석하여, 커맨드에 대응하는 액션 제스처를 판정하고; 대응하는 커맨드 값을 송신하여 객체를 제어한다. 추가로, 일부 실시예들에서, 무선 디바이스는, 예컨대 근접 영역의 지도 또는 이미지 상에, 지도/이미지 상에 보여진 객체를 표현하는 표시자와 함께 객체의 범위/방향을 나타내는 출력 정보를 제시한다.

Description

무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이{CONTROLLING ELECTRONIC DEVICES AND DISPLAYING INFORMATION BASED ON WIRELESS RANGING}
기술되는 실시예들은, 제스처들 및 메트릭들, 예컨대 무선 레인징(ranging)을 이용하여 전자 디바이스들을 제어하기 위한 시스템들 및 기법들, 및 무선 레인징에 적어도 부분적으로 기초하여 사용자 인터페이스 상에서 물리적 또는 증강 현실 정보를 디스플레이하기 위한 시스템들 및 기법들을 비롯하여, 전자 디바이스들 및 사용자 인터페이스들 사이에서의 무선 통신에 관한 것이다.
휴대용 전자 디바이스들(예컨대, 셀룰러폰들)을 비롯한 많은 전자 디바이스들의 유용성, 및 그에 따른 인기는 종종 사용의 편의성에 의해 좌우된다. 구체적으로, 많은 전자 디바이스들의 사용의 편의성은 전형적으로 사용자 인터페이스에 의해 결정된다. 사용자 인터페이스는, 전자 디바이스의 특징부들에 액세스하려는 사용자 시도들을 비롯한 사용자의 액션들 또는 거동들이 정의 및 수용되는 입구이다. 그 결과, 사용자 인터페이스는 전체적인 사용자 경험에 필수적이다.
그러나, 기존의 사용자 인터페이스들, 특히 소형의 핸드헬드 전자 디바이스들을 위한 사용자 인터페이스들과 연관된 제한사항들이 있다. 예를 들어, 많은 기존의 사용자 인터페이스들은 사용자가 전자 디바이스를 활성화시키거나 턴온시킬 필요성에 의해 제약을 받는다. 이어서, 사용자는 터치 감응형 디스플레이들 상에 디스플레이된 사용자 인터페이스들에서의 경우와 같이 사용자 인터페이스와 물리적 접촉을 이룰 필요가 있을 수 있다. 추가로, 상이한 타입들의 정보가 서로 직관적으로 구별되게 하는 방식으로 사용자 인터페이스 상에 정보를 제시하는 것은 어려울 수 있다. 그 결과, 사용자 인터페이스 상에 디스플레이될 수 있는 정보의 양은 종종 제한되며, 사용자들은 디스플레이되는 정보에 의해 종종 혼란스러워 한다. 사용자들을 좌절시키고 사용자 경험을 저하시키는 것 외에도, 종종, 간과되거나 디스플레이되지 않는 정보와 연관되는 상당한 기회 비용이 있다. 따라서, 많은 기존의 사용자 인터페이스들은 답답함을 주는 사용자 상호작용들을 발생시키며, 이는 사용자 경험을 저하시킬 수 있다.
객체를 제어하는 무선 통신 전자 디바이스에 관한 실시예들이 개시된다. 동작 동안, 무선 통신 디바이스는 객체를 제어하려는 의도를 나타내는 수신된 의도 제스처를 식별하는데, 여기서 객체는 환경 내의 무선 통신 디바이스에 근접하게 위치된다. 이어서, 무선 통신 디바이스는 무선 레인징을 이용하여, 의도 제스처와 연관된 객체를 판정한다. 게다가, 무선 통신 디바이스는 무선 통신 디바이스와 연관된 하나 이상의 센서들로부터의 센서 데이터에 액세스하고, 액세스된 센서 데이터를 해석하여 커맨드 값을 판정하는데, 이는 객체를 제어하도록 송신된다.
객체는 물리적 객체일 수 있음에 유의한다. 예를 들어, 물리적 객체는 컴퓨팅 디바이스, 디스플레이, 프린터, 통신 디바이스, 오디오 디바이스, 어플라이언스, 웨어러블 디바이스, 홈오토메이션 디바이스, 환경 제어부, 및/또는 부속장치를 포함할 수 있다. 대안으로, 객체는 가상 객체일 수 있다. 또한, 가상 객체는 커맨드 값을 물리적 객체와 연관시키는 대용물(proxy)로서 기능할 수 있다.
게다가, 무선 레인징은 무선 송신 특성 또는 무선 레인징 계산을 이용하여 무선 통신 디바이스와 객체 사이의 거리를 판정하게 할 수 있다. 더욱이 액세스되는 센서 데이터는 무선 통신 디바이스에 대응하는 배향 값을 포함할 수 있고, 배향 값은 나침반, 가속도계, 및/또는 자이로스코프를 사용하여 판정된다.
추가로, 커맨드 값은, 무선 통신 디바이스를 객체와 페어링시키고/시키거나; 객체의 동작 설정을 변경하고/하거나; 기능을 실행시키는 커맨드를 포함할 수 있다. 커맨드 값은 객체가 센서 값을 포함하는 응답을 송신하게 할 수 있고/있거나 리소스에의 액세스를 요청할 수 있음에 유의한다.
일부 실시예들에서, 무선 통신 디바이스는 초음파 처프(ultrasonic chirp)를 이용하여 환경 내의 객체의 근접도를 판정할 수 있다.
객체의 위치를 확인하는 무선 통신 전자 디바이스에 관한 실시예들이 또한 개시된다. 동작 동안, 무선 통신 디바이스는 환경 내에서 무선 통신 디바이스에 근접하게 위치된 객체와 연관된 식별자를 갖는 송신물을 수신한다. 무선 통신 디바이스는, 범위, 방향, 또는 양측 모두가 적어도 부분적으로 무선 레인징을 이용하여 판정되는 경우, 무선 통신 디바이스로부터의 객체의 범위 및/또는 객체로의 방향을 판정한다. 다음, 무선 통신 디바이스는 범위 및/또는 방향을 나타내는 출력 정보를 제시한다.
예를 들어, 출력 정보를 제시하는 것은, 무선 통신 디바이스 내의 디스플레이 상에, 환경 내의 근접 영역의 지도(또는 다른 표현)를 디스플레이하는 것, 및 지도 상에 객체를 표현하는 제1 표시자를 디스플레이하는 것을 수반할 수 있다. 대안으로 또는 추가로, 출력 정보를 제시하는 것은, 디스플레이 상에, 무선 통신 디바이스 내의 이미징 센서에 의해 캡처된, 환경 내의 근접 영역의 이미지를 디스플레이하는 것, 및 이미지 상에 객체를 표현하는 제2 표시자를 디스플레이하는 것을 수반할 수 있다. 일부 실시예들에서, 출력 정보를 제시하는 것은, 무선 통신 디바이스의 배향에 기초하여, 디스플레이 상에, 객체를 표현하는 제1 표시자를 포함하는, 환경 내의 근접 영역의 지도를 디스플레이하는 것과, 디스플레이 상에, 객체에 대응하는 제2 표시자를 포함하는 근접 영역의 카메라 캡처 이미지를 디스플레이하는 것 사이에서 전이시키는 것을 수반한다. 제1 표시자 및/또는 제2 표시자는, 객체가 무선 통신 디바이스의 시각적 범위 내에 있거나 또는 달리 그에 가시적인지 여부와 무관하게 디스플레이될 수 있음에 유의한다.
게다가, 객체와 연관된 식별자는 고유 식별자일 수 있다. 더욱이, 객체와 연관된 식별자는 객체에 대응하는 리소스 종류와 연관될 수 있다. 일부 실시예들에서, 상이한 의미들 또는 상이한 분석가능성(resolvability)을 갖는 다수의 식별자들이 동일한 객체와 연관될 수 있다.
일부 실시예들에서, 무선 통신 디바이스는 수신된 식별자를 하나 이상의 저장된 타깃 식별자들과 비교하여 매칭을 판정한다(예컨대, 식별자를 분석함). 타깃 식별자는 검색 결과 또는 트랜잭션과 함께 수신되었을 수 있다. 대안으로 또는 추가로, 타깃 식별자는 무선 통신 디바이스에 의해 유지되는 연락처에 대응할 수 있다.
게다가, 무선 통신 디바이스는 식별자에 적어도 부분적으로 기초하여 메시지를 객체에 송신할 수 있다. 예를 들어, 메시지는 실질적으로 객체에 대응하는 위치에서만 인지가능한 빔-형성 오디오 메시지로서 송신되는 오디오 메시지를 포함할 수 있는데, 여기서 위치는 객체까지의 범위 및/또는 객체로의 방향에 적어도 부분적으로 기초하여 판정된다.
객체는 개인과 연관된 전자 디바이스일 수 있음에 유의한다. 대안으로 또는 추가로, 객체는 환경 내의 리소스, 예컨대 공공(예컨대, 안전성) 리소스 또는 사적인(예컨대, 상업적) 리소스일 수 있다.
더욱이, 출력 정보는 햅틱 출력을 포함할 수 있는데, 이는 무선 통신 디바이스 및/또는 다른 디바이스를 통해 제시될 수 있다.
다른 실시예들은 무선 통신 디바이스와 함께 사용하기 위한 컴퓨터 프로그램 제품을 제공한다. 이러한 컴퓨터 프로그램 제품은 무선 통신 디바이스에 의해 수행되는 동작들 중 적어도 일부를 위한 명령어들을 포함한다.
또 다른 실시예들은 무선 통신 디바이스에 의해 수행되는 동작들 중 하나 이상을 포함하는 방법을 제공한다.
본 발명의 내용은 단지 본 명세서에 기술되는 주제의 일부 태양들에 대한 기본적인 이해를 제공하도록 일부 예시적인 실시예들을 예시하기 위한 목적으로 제공될 뿐이다. 따라서, 위에서-설명된 특성들은 단지 예들일 뿐이며, 본 명세서에 설명되는 주제의 범위 또는 사상을 어떤 방식으로든 한정하는 것으로 해석되지는 않아야 한다는 것을 이해할 것이다. 본 명세서에 기술되는 주제의 다른 특징들, 양태들 및 이점들은 다음의 상세한 설명, 도면 및 청구범위로부터 명백해질 것이다.
포함된 도면들은 예시의 목적을 위한 것이고, 다수의 연관된 디바이스들 사이에서의 동작, 제어, 상호작용, 및 다른 통신을 지능적이고 효율적으로 관리하기 위한, 그리고, 예컨대 무선 레인징을 통해 객체의 위치를 확인하기 위한 개시된 시스템들 및 기법들에 대한 가능한 구조들 및 배열들의 예들을 제공하는 역할을 할 뿐이다. 이러한 도면들은 실시예들의 기술적 사상 및 범주를 벗어나지 않고 통상의 기술자들에 의해 실시예들에 행해질 수 있는 임의의 형태적 및 세부적 변경에 결코 제한을 두지 않는다. 실시예들은 첨부 도면들과 함께 하기의 발명을 실시하기 위한 구체적인 내용에 의해 용이하게 이해될 것이며, 도면에서 유사한 도면 부호들은 유사한 구조적 요소들을 지정한다.
도 1은 무선으로 통신하는 전자 디바이스들의 일례를 도시한 블록 다이어그램이다.
도 2는 무선 레인징을 수행하는 무선 통신 디바이스의 일례를 도시한 블록 다이어그램을 제공한다.
도 3, 도 4, 및 도 5는 무선 레인징에 기초한 하나 이상의 제스처들을 이용하는 객체의 제어의 예들을 도시한 도면들을 제공한다.
도 6은 무선 통신 디바이스를 사용하여 객체를 제어하기 위한 예시적인 방법을 제공한다.
도 7은 도 1에서의 전자 디바이스들 사이의 통신의 일례를 제공한다.
도 8은 무선 레인징을 이용하여 환경 내에서 객체의 위치를 확인하는 일례를 도시한 도면을 제공한다.
도 9는 도 8에서의 객체를 표현하는 표시자 및 지도를 디스플레이하는 사용자 인터페이스의 일례를 도시한 도면을 제공한다.
도 10은 도 8에서의 객체를 표현하는 표시자 및 이미지를 디스플레이하는 사용자 인터페이스의 일례를 도시한 도면을 제공한다.
도 11은 무선 통신 디바이스의 배향에 기초한 사용자 인터페이스의 상이한 모드들의 일례를 도시한 도면을 제공한다.
도 12는 사용자 인터페이스의 상이한 모드들의 일례를 도시한 도면을 제공한다.
도 13은 증강 현실의 일례를 도시한 도면을 제공한다.
도 14는 소정 환경 내에서의 리소스들에 관한 확장된 상황 인식의 일례를 도시한 도면을 제공한다.
도 15는 소정 환경 내에서 리마인더들을 제공하고 객체들을 추적하는 일례를 도시한 도면을 제공한다.
도 16은 사용자 인터페이스와 연관된 상이한 타입들의 피드백의 일례를 도시한 도면을 제공한다.
도 17은 무선 통신 디바이스를 사용하여 객체의 위치를 확인하기 위한 방법의 일례를 제공한다.
도 18은 도 1에서의 전자 디바이스들 사이의 통신의 다른 예를 제공한다.
도면 전체에 걸쳐 동일한 참조 부호들은 대응하는 부분들을 지칭한다는 것에 유의한다. 또한, 동일한 부분의 다수의 사례들은 줄표(dash)에 의해 예시 번호로부터 분리되는 공통 접두부에 의해 표기된다.
개시되는 실시예들은, 하나 이상의 측정치들(예컨대, 무선 레인징 또는 무선 기반 거리 측정치들)을 이용하여 물리적 기준 위치에서 물리적 디바이스 또는 물리적 디바이스와 연관된 가상 표현(또는 플레이스홀더)과 같은 객체를 원격으로 제어하는 무선 통신 디바이스(예컨대, 스마트폰 또는 스마트워치)에 관한 것이다. 구체적으로, 무선 통신 디바이스는 하나 이상의 측정치들이 객체의 동작을 (예컨대, 소정 거리로부터, 그리고 일반적으로, 물리적 접촉 없이) 원격으로 제어하는 데 이용되는 사용자-인터페이스 기법을 구현할 수 있다. 객체는 때때로 "제어가능한 디바이스" 또는 "타깃 디바이스"로 지칭됨에 유의한다.
사용자-인터페이스 기법은 많은 기존의 사용자 인터페이스들과 연관된 제약들을 제거할 수 있다. 예를 들어, 사용자는 객체를 제어하기 위해 (예컨대, 패스코드 또는 생체 식별자, 예컨대 지문을 제공함으로써) 무선 통신 디바이스를 더 이상 개방 또는 잠금해제할 필요가 없을 수도 있다. 유사하게, 소정 거리로부터의 객체의 제어를 용이하게 함으로써, 이러한 사용자-인터페이스 기법은 사용자가 객체 상의 또는 그와 연관된 사용자 인터페이스와 물리적으로 접촉할 필요성을 제거할 수 있다. 그 결과, 사용자-인터페이스 기법은 무선 통신 디바이스 및 객체를 사용할 때 사용자 경험을 개선시킬 수 있고, 그에 따라, 고객 만족 및 유지를 증가시킬 수 있다.
개시되는 실시예들은, 추가로, 하나 이상의 측정치들(예컨대, 무선 레인징 또는 무선 기반 거리 측정치들)을 이용하여 소정 환경 내에서 물리적 기준 위치에 있는 물리적 디바이스(예컨대, 전자 디바이스 또는 리소스) 또는 물리적 디바이스의 가상 표현(또는 플레이스홀더)과 같은 근접 객체의 위치를 확인하는 무선 통신 디바이스(예컨대, 스마트폰 또는 스마트워치)에 관한 것이다. 가상 표현은 물리적 객체(예컨대, 플레이스홀더 객체) 또는 전체 가상 객체(예컨대, 소정 위치에 대응하는 하나 이상의 좌표들)일 수 있다. 무선 통신 디바이스는, 객체와 연관된 식별자가 무선으로 수신되고 하나 이상의 측정치들이 무선 통신 디바이스로부터 객체의 범위 및/또는 객체까지의 방향(예컨대, 벡터 또는 방위(heading))을 무선으로 (예컨대, 소정 거리로부터, 그리고 일반적으로, 물리적 접촉 없이) 판정하는 데 이용되는 사용자-인터페이스 기법을 구현할 수 있다. 이어서, 무선 통신 디바이스는 범위 및/또는 방향을 나타내는 출력 정보를 제시할 수 있다. 예를 들어, 무선 통신 디바이스는 객체를 표현하는 표시자와 함께 환경 내의 근접 영역의 지도를, 그 지도 상에 디스플레이할 수 있다. 대안으로, 무선 통신 디바이스는 (예컨대, 무선 통신 디바이스의 카메라에 의해 캡처된 바와 같은) 근접 영역의 이미지를, 객체를 표현하는 표시자와 함께 그 이미지 상에 디스플레이할 수 있다.
이러한 추가 사용자-인터페이스 기법은 많은 기존의 사용자 인터페이스들과 연관된 제약들을 제거할 수 있다. 예를 들어, 출력 정보는 범위 및/또는 방향에 따라 디스플레이될 수 있다. 이것은, 디스플레이된 출력 정보가 직관적으로 배열되게 할 수 있는데, 이는 사용자가 달리 복잡한 콘텐츠일 수 있는 것을 빠르게 이해하고 이용하게 할 수 있다. 게다가, 이러한 추가 사용자-인터페이스 기법은, 출력 정보가 사용자에게 유용한 경우에만 디스플레이되어 관심 정보의 관련 서브세트만이 임의의 주어진 시간에 디스플레이되게 할 수 있다. 구체적으로, 관련 서브세트는 주변 환경 내에서의 근접 객체들의 위치 및 사용자 거동에 대한 상황 인식, 예컨대 무선 통신 디바이스의 배향 또는 그것이 가리키는 방향에 기초하여 식별될 수 있다. 그 결과, 추가 사용자-인터페이스 기법은 무선 통신 디바이스를 사용할 때 사용자 경험을 개선시킬 수 있고, 그에 따라, 고객 만족 및 유지를 증가시킬 수 있다.
사용자-인터페이스 기법에서 전자 디바이스들 사이에서의 무선 통신 동안에 이용된 통신은 IEEE(Institute of Electrical and Electronics Engineers) 802.11 표준(때때로, Wi-Fi로 지칭됨)과 같은 통신 프로토콜에 따른 것일 수 있다. 예를 들어, 통신은 IEEE 802.11ax와 함께 이용될 수 있는데, 이는 하기에 이어지는 논의에서 예시적인 일례로서 이용된다. 그러나, 사용자-인터페이스 기법은, 또한, 매우 다양한 다른 통신 프로토콜들과 함께, 그리고 상이한 서비스들 및/또는 능력들을 제공하는 상이한 무선 네트워크들을 통한 접속을 제공하도록 다수의 상이한 RAT(radio access technology)들을 포함할 수 있는 전자 디바이스들(예컨대, 휴대용 전자 디바이스들 또는 모바일 디바이스들)에서 이용될 수 있다.
구체적으로, 무선 통신 디바이스는 Bluetooth® Special Interest Group(미국 워싱턴주 커클랜드 소재)에 의해 표준화된 것들 및/또는 Apple(미국 캘리포니아주 쿠퍼티노 소재)에 의해 개발되고 AWDL(Apple Wireless Direct Link)로 지칭되는 것들과 같은 WPAN(wireless personal area network) 통신 프로토콜에 따라 WPAN을 지원하기 위한 하드웨어 및 소프트웨어를 포함할 수 있다. 게다가, 무선 통신 디바이스는 하기를 통해 통신할 수 있다: WWAN(wireless wide area network), WMAN(wireless metro area network), WLAN, NFC(near-field communication), 셀룰러 전화 또는 데이터 네트워크(예를 들어, 제3 세대(3G) 통신 프로토콜, 제4 세대(4G) 통신 프로토콜, 예컨대, 롱텀에볼루션 또는 LTE, LTE-어드밴스드(LTE Advanced, LTE-A), 제5 세대(5G) 통신 프로토콜, 또는 다른 현재 또는 향후 개발될 개선된 셀룰러 통신 프로토콜을 이용함) 및/또는 다른 통신 프로토콜.
무선 통신 디바이스는, 일부 실시예들에서, 또한, 클라이언트 디바이스들의 세트를 포함할 수 있는 무선 통신 시스템의 일부로서 동작할 수 있는데, 이러한 디바이스들은, 예컨대 WLAN의 일부로서 액세스 포인트에, 그리고/또는 예컨대 Wi-Fi 직접 접속과 같은 '애드혹(ad hoc)' 무선 네트워크 및/또는 WPAN의 일부로서 서로에게 상호접속되는 스테이션들, 클라이언트 전자 디바이스들, 또는 클라이언트 전자 디바이스들로도 지칭될 수 있다. 일부 실시예들에서, 클라이언트 디바이스는, 예컨대 WLAN 통신 프로토콜에 따라, WLAN 기술을 통해 통신할 수 있는 임의의 전자 디바이스일 수 있다. 일부 실시예들에서, WLAN 기술은 Wi-Fi(또는 더 일반적으로는 WLAN) 무선 통신 서브시스템 또는 라디오를 포함할 수 있고, Wi-Fi 라디오는 다음 중 하나 이상과 같은 IEEE 802.11 기술을 구현할 수 있다: IEEE 802.11a; IEEE 802.11b; IEEE 802.11g; IEEE 802.11-2007; IEEE 802.11n; IEEE 802.11-2012; IEEE 802.11ac; IEEE 802.11ax, 또는 다른 현재 또는 향후 개발될 IEEE 802.11 기술들.
따라서, 일부 실시예들에서, 무선 통신 디바이스는, WLAN 및/또는 WWAN에의 액세스, 및 그에 따라, 무선 통신 디바이스 상에서 실행되는 다양한 애플리케이션들에 의해 지원될 수 있는 매우 다양한 서비스들에의 액세스를 제공하는 통신 허브로서 작용할 수 있다. 따라서, 무선 통신 디바이스는, 다른 전자 디바이스들과 무선으로 (예컨대, Wi-Fi를 이용하여) 통신하고 IEEE 802.3(이는 때때로 '이더넷'으로 지칭됨)을 통해 다른 네트워크(예컨대, 인터넷)에의 액세스를 제공하는 '액세스 포인트'를 포함할 수 있다.
추가로, 본 명세서에 설명되는 전자 디바이스들은 상이한 3G 및/또는 2세대(2G) RAT들을 통해 또한 통신할 수 있는 다중 모드 무선 통신 디바이스들로서 구성될 수 있다는 것이 이해되어야 한다. 이러한 시나리오들에서, 다중 모드 전자 디바이스 또는 UE는 더 낮은 데이터 처리율을 제공하는 다른 3G 레거시(legacy) 네트워크들에 비해 더 높은 데이터 처리율을 제공하는 LTE 네트워크들에의 부착을 선호하도록 구성될 수 있다. 예를 들어, 일부 구현예들에서, LTE 및 LTE-A 네트워크들이 달리 이용가능하지 않은 경우에, 다중 모드 전자 디바이스는 3G 레거시 네트워크, 예컨대 HSPA+(Evolved High Speed Packet Access) 네트워크 또는 CDMA 2000 EV-DO(Evolution-Data Only) 네트워크까지 물러나도록 구성될 수 있다.
무선 레인징은 임의의 표준 또는 독점적 레인징 기법, 또는 표준 및/또는 독점적 레인징 기법들의 임의의 조합을 이용하여 수행될 수 있다. 무선 레인징 동작은 디바이스들 사이(예컨대, 개시자와 응답자 사이)의 거리, 디바이스들 사이의 방향, 또는 양측 모두를 판정하도록 수행될 수 있다. 예를 들어, 전파 시간(Time of Flight, ToF)/도착 시간(Time of Arrival, ToA)은 디바이스들 사이의 하나 이상의 메시지들에 대해 판정될 수 있는데, 이들은 거리의 측정을 설정하는 데 이용될 수 있다. 하나 이상의 메시지들은 임의의 포맷을 가질 수 있고, 임의의 무선 프로토콜, 예컨대 802.11 프로토콜, 블루투스 등을 이용하여 송신될 수 있다. 일부 실시예들에서, ToF/ToA는 2개 이상의 메시지들의 양방향 교환을 이용하여 판정될 수 있다. 또한, 일부 실시예들에서, 레인징을 수행하는 데 이용되는 하나 이상의 메시지들은, 예컨대 콘텐츠의 적어도 일부분을 암호화 또는 달리 보호함으로써, 보안될 수 있다. 또한, 일부 실시예들에서, 하나 이상의 무선 신호들의 소스의 방향은 도래각(Angle of Arrival, AoA)과 같은 기법을 이용하여 판정될 수 있다. 예를 들어, AoA 추정은 다수의 수신 요소들(예컨대, 안테나 어레이의 요소들)을 사용하여 수행되어, 신호의 도착 시간차(TDOA) 및/또는 도착 위상차(PDOA)를 측정할 수 있다. 추가로 또는 대안으로, 일부 실시예들에서, 지향성이, 도플러 시프트를 측정하여 도착 주파수차(frequency difference of arrival, FDOA)를 설정함으로써 판정될 수 있다. 무선 레인징 기법들이 개별적으로 또는 조합하여 적용되어, 단일 레인징 동작을 수행하게 할 수 있다. 또한, 무선 레인징 기법들은 연속적인 또는 간헐적인 레인징과 같은 진행 중인 레인징 동작들을 수행하기 위해 개별적으로 또는 조합하여 적용될 수 있으며, 측정 이력이 범위 및/또는 방향에 기초하여 동작들을 수행할 시에 캡처되고 이용될 수 있다.
본 명세서에 설명된 다양한 실시예들에 따르면, 용어들 '무선 통신 디바이스', '전자 디바이스', '모바일 디바이스', '모바일 스테이션', '무선 스테이션', '무선 액세스 포인트', '스테이션', '액세스 포인트' 및 '사용자 장비(UE)'는, 본 명세서에서, 본 발명의 다양한 실시예들과 연관된 절차들을 수행할 수 있는 하나 이상의 소비자 전자 디바이스들을 설명하기 위해 사용될 수 있다.
이제, 사용자-인터페이스 기법의 실시예들을 설명한다. 도 1은 무선으로 통신하는 전자 디바이스들의 일례를 도시한 블록 다이어그램(100)이다. 구체적으로, 무선 통신 디바이스(110)(예컨대, 스마트폰, 랩톱 컴퓨터, 웨어러블, 또는 태블릿) 및 물리적 디바이스(112)가 무선으로 통신할 수 있다. 이러한 전자 디바이스들은, 무선 채널들을 스캐닝함으로써 서로 검출하고/하거나, 무선 채널들 상에서 비컨들 또는 비컨 프레임들을 송신 및 수신하고/하거나, (예를 들어, 접속 요청들을 송신함으로써) 접속들을 확립하고/하거나, 패킷들 또는 프레임들(이들은 페이로드들로서 요청 및/또는 추가 정보, 예컨대, 데이터를 포함할 수 있음)을 송신 및 수신하면서 무선으로 통신할 수 있다. 또한, 물리적 위치(116)에 가상 표현(114)이 있을 수 있다. 가상 표현(114)은 물리적 디바이스(118)에 대응하여, 가상 표현(114)이 물리적 디바이스(118)에 대한 대용물로서 기능하게 할 수 있다. 이러한 경우에 있어서, 무선 통신 디바이스(110)는 가상 표현(114)을 식별할 수 있고 그와 상호작용할 수 있지만, 물리적 디바이스(118)에서 수신되는 무선 신호들을 송신할 수 있다. 예를 들어, 가상 표현(114)은 서모스탯(thermostat)과 연관될 수 있으며, 무선 통신 디바이스(110)에 의한 서모스탯의 조절은 가상 표현(114)과의 상호작용을 통해 제공될 수 있지만, 환경 유닛, 예컨대 물리적 디바이스(118)에 의해 수신 및 구현될 수 있다.
물리적 디바이스들(112 및/또는 118)은 하기를 포함할 수 있음에 유의한다: 어플라이어언스(예컨대, 오븐, 토스터, 냉장고, 식기 세척기, 또는 세탁기), 다른 전자 디바이스(예컨대, 컴퓨터, 랩톱, 태블릿, 또는 컴퓨팅 디바이스), 엔터테인먼트 디바이스(예컨대, 텔레비전, 디스플레이, 무선 수신기, 또는 셋톱박스), 오디오 디바이스, 프로젝터, 보안 디바이스(예컨대, 알람 또는 도어로크), 통신 디바이스(예컨대, 스마트폰), 모니터링 디바이스(예컨대, 연기 감지기, 또는 일산화탄소 감지기), 환경 제어부(예컨대, 서모스탯, 조명 스위치, 또는 가리개), 부속장치(예컨대, 키보드, 마우스, 또는 스피커), 프린터, 웨어러블 디바이스, 홈-오토메이션 디바이스, 환경(108) 내의 리소스(예컨대, 운송 리소스, 공유 컴퓨팅 리소스, 의료 리소스, 디스플레이 리소스, 보안 리소스, 액세스가능성 리소스, 또는 안전성 리소스) 등. 게다가, 가상 표현(114)은 스티커, 그림, 세라믹 편부, 지오-펜스, 위치를 정의하는 하나 이상의 좌표들 등으로서 구현될 수 있다. 일부 실시예들에서, 물리적 디바이스(118)는 조명 스위치, 서모스탯 등을 포함한다.
도 2를 참조하여 하기에서 추가로 기술되는 바와 같이, 무선 통신 디바이스(110), 물리적 디바이스(112), 및/또는 물리적 디바이스(118)는 서브시스템들, 예컨대 네트워킹 서브시스템, 메모리 서브시스템, 및 프로세서 서브시스템을 포함할 수 있다. 추가로, 무선 통신 디바이스(110), 물리적 디바이스(112), 및/또는 물리적 디바이스(118)는 네트워킹 서브시스템들 내의 라디오들(120)을 포함할 수 있다. 보다 일반적으로, 무선 통신 디바이스(110), 물리적 디바이스(112), 및/또는 물리적 디바이스(118)는, 무선 통신 디바이스(110), 물리적 디바이스(112), 및/또는 물리적 디바이스(118)가 다른 전자 디바이스와 무선으로 통신할 수 있게 하는 네트워킹 서브시스템들을 갖는 임의의 전자 디바이스들을 포함할 수 있다(또는, 그들 내에 포함될 수 있다). 이것은, 무선 채널들 상에서 비컨들을 송신하여 전자 디바이스들이 서로 초기에 접촉할 수 있게 하거나 서로를 검출할 수 있게 하는 것, 그 뒤에 후속 데이터/관리 프레임들(예컨대, 접속 요청들)을 교환하여 접속(이는, 때때로, 'Wi-Fi 접속'으로 지칭됨)을 확립하는 것, 보안 옵션들(예컨대, IPSec)을 구성하는 것, 접속을 통해 패킷들 또는 프레임들을 송신 및 수신하는 것 등을 포함할 수 있다.
도 1에서 알 수 있는 바와 같이, 무선 신호들(122)(지그재그선으로 표현됨)은 각각 무선 통신 디바이스(110) 및 물리적 디바이스(112) 내의 라디오들(120-1, 120-2)에 의해 통신된다. 예를 들어, 무선 통신 디바이스(110) 및 물리적 디바이스(112)는 WPAN에서 블루투스 프로토콜을 이용하여 또는 WLAN에서 Wi-Fi 프로토콜을 이용하여 패킷들을 교환할 수 있다.
구체적으로, 도 3 내지 도 5, 및 도 8 내지 도 16을 참조하여 하기에 추가로 기술되는 바와 같이, 무선 통신 디바이스(110)는 송신 시간을 포함하는 프레임 또는 패킷을 송신할 수 있다. 이러한 프레임 또는 패킷이 물리적 디바이스(112)에 의해 수신될 때, 도착 시간이 판정될 수 있다. 전파 시간(도착 시간과 송신 시간의 차이)과 전파 속도의 곱셈에 기초하여, 무선 통신 디바이스(110)와 물리적 디바이스(112) 사이의 거리가 계산될 수 있다. 이러한 거리는 물리적 디바이스(112) 또는 물리적 디바이스(112)의 사용자의 식별자(예컨대, 고유 식별자)와 함께 물리적 디바이스(112)로부터 무선 통신 디바이스(110)로의 프레임 또는 패킷의 후속 송신 시에 통신될 수 있다. 대안으로, 물리적 디바이스(112)는 송신 시간 및 물리적 디바이스(112)의 식별자를 포함하는 프레임 또는 패킷을 송신할 수 있고, 무선 통신 디바이스(110)는 전파 시간(도착 시간과 송신 시간의 차이)과 전파 속도의 곱셈에 기초하여 무선 통신 디바이스(110)와 물리적 디바이스(112) 사이의 거리를 판정할 수 있다. 무선으로 통신하는 전자 디바이스들 사이의 거리들을 동적으로 판정하기 위한 이러한 접근법은 때때로 '무선 레인징'으로 지칭됨에 유의한다. 또한, 무선 레인징은 (개별적으로, 또는 다른 센서 입력, 예컨대 나침반, 자이로스코프, 및/또는 가속도계와 함께) 다수의 타깃 디바이스들이 서로 근접하게 또는 동일한 가시선(line of sight)으로 위치될 수 있는 경우에 제어 입력 의도의 차이를 명확히 보여주는 데 이용될 수 있다. 이러한 접근법에 대한 변형이 이용될 수 있는데, 여기서 무선 통신 디바이스(110)는 센서 입력(예컨대, 나침반, 자이로스코프, 및/또는 가속도계)을 통해 물리적 위치(116)에서 지향된 제스처 입력을 감지하며, 하나 이상의 제어 신호들이 연관된 디바이스, 예컨대 가상 표현(114)과 연관된 물리적 디바이스(118)로 송신되어야 하는 것으로 판정한다. 유사하게, 무선 통신 디바이스(110)가 물리적 위치(116)에서 반사되는 프레임들 또는 패킷들을 송신하는 이러한 접근법에 대한 다른 변형은, 선택적으로, 무선 통신 디바이스(110)와 가상 표현(114) 사이의 거리를 동적으로 판정하는 데 이용될 수 있다. 따라서, 무선 레인징은 무선 통신 디바이스(110)에 의해, 객체(예컨대, 물리적 디바이스(112) 또는 가상 표현(114))가 환경(108)에 근접한 때를 판정하는 데 이용될 수 있다.
전술한 예가 무선 통신 디바이스(110) 및 물리적 디바이스(112)에서 동기화된 클록들을 이용한 무선 레인징을 예시했지만, 다른 실시예들에서, 클록들은 동기화되지 않는다. 예를 들어, 무선 통신 디바이스(110) 또는 물리적 디바이스(112)의 포지션은, 송신 시간이 알려져 있지 않거나 이용불가능한 경우에도, 알려진 상이한 위치들에 있는 여러 개의 수신기들에서의 무선 신호들(122)의 데이터 전파 속도 및 도착 시간(이는, 때때로, '도착 시간차'로 지칭됨)에 기초하여 추정될 수 있다. 보다 일반적으로, 하기와 같은 다양한 무선측위 기법들이 이용될 수 있다: 원래 송신된 신호 강도에 대한 수신 신호 강도 표시자(received signal strength indicator, RSSI)의 출력 차이에 기초하여 거리를 판정하는 것(이는, 흡수, 굴절, 음영, 및/또는 반사에 대한 보정들을 포함할 수 있음); 지향성 안테나를 사용하여 또는 알려진 위치(들)를 갖는 안테나들의 어레이에서의 도착 시간차에 기초하여 수신기에서 (비가시선(non-line-of-sight) 수신을 포함하는) 도래각을 판정하는 것; 후방산란된 무선 신호들에 기초하여 거리를 판정하는 것; 및/또는 알려진 위치를 갖는 2개의 수신기들에서의 도래각을 판정하는 것(즉, 삼변측량(trilateration) 또는 다변측량(multilateration)). 무선 신호들(122)이 거리가 0.3m(예컨대, 1 ft) 내에 판정되게 할 수 있는 (예컨대, 대략 1ns와 같은) 짧은 지속시간의 펄스들을 생성하기 위해 ㎓ 또는 다중-㎓ 대역폭들을 통한 송신물들을 포함할 수 있음에 유의한다. 일부 실시예들에서, 무선 레인징은 위치 정보, 예컨대, 로컬 포지셔닝 시스템에 의해 판정 또는 특정되는 도 1의 전자 디바이스들, 글로벌 포지셔닝 시스템, 및/또는 무선 네트워크 중 하나 이상의 것의 위치를 이용하여 가능해진다.
게다가, 무선 통신 디바이스(110)는 센서 데이터를 측정(또는 생성)하는 하나 이상의 센서들을 포함할 수 있다. 예를 들어, 하나 이상의 센서들은 하기를 포함할 수 있다: 하나 이상의 나침반들, 하나 이상의 가속도계들, 및/또는 무선 통신 디바이스(110)의 배향(또는 배향 값) 또는 방향을 측정하는 하나 이상의 자이로스코프들; 무선 통신 디바이스(110)의 가속도를 측정하는 하나 이상의 가속도계들; 무선 통신 디바이스(110)와 다른 전자 디바이스(예컨대, 물리적 디바이스(112), 또는, 반사된 무선 신호들이 수신되는 실시예들에서는, 무선 통신 디바이스(110)) 사이의 무선 통신을 특성화하는 메트릭을 판정하는 송수신기(예컨대, 라디오(120-1)); 예컨대 터치 스크린을 통해, 터치 입력을 수신하도록 구성된 하나 이상의 터치 센서들; 및/또는 무선 통신 디바이스(110)의 환경(108) 내에서 주변 소리를 측정하는 하나 이상의 마이크로폰들 또는 음향 트랜스듀서들. 일부 실시예들에서, 무선 통신 디바이스(110)는 음향 트랜스듀서에 의해 제공되는 초음파 처프를 이용하여 환경(108) 내에서의 객체의 근접도를 판정한다. 이러한 초음파 처프는 인간의 청력 범위를 벗어날 수 있다. 하기의 논의에서, 전자 디바이스들의 '근접도'는 적어도 무선 통신 범위 내에 있는 것을 포함하는 것으로 이해되어야 하며, 추가로, 전자 디바이스들을 동일한 실내에 있거나 사전정의된 거리 내에(예컨대, 10 m 또는 30 m 내에) 있도록 제한할 수 있다.
도 3 내지 도 5를 참조하여 하기에서 추가로 기술되는 바와 같이, 사용자-인터페이스 기법 동안, 무선 통신 디바이스(110)는 무선 레인징 및/또는 센서 데이터를 이용하여 물리적 디바이스들(112 및/또는 118)을 제어할 수 있다. 구체적으로, 무선 통신 디바이스(110)는 무선 통신 디바이스(110)의 사용자의 의도 제스처를 식별할 수 있다. 예를 들어, 사용자는 무선 통신 디바이스(110)를, 물리적 위치(116)를 향해(그리고, 그에 따라, 가상 표현(114)을 향해) 또는 물리적 디바이스(112)를 향해 지향시킬 수 있고, 무선 통신 디바이스(110)는 (물리적 디바이스(112) 또는 가상 표현(114)의 포지션 및/또는 배향에 대한 또는 그와는 별개로의) 무선 통신 디바이스(110)의 배향 및/또는 무선 통신 디바이스(110)의 이동(예컨대, 전방 연장과 같은 사전정의된 의도 제스처 모션(또는 푸시))에 기초하여 이러한 '의도 제스처'를 식별할 수 있다. 이어서, 무선 통신 디바이스(110)는 무선 레인징을 이용하는 것을 포함한, 의도 제스처와 연관된 객체(예컨대, 물리적 디바이스(112) 또는 가상 표현(114))를 판정할 수 있다. 예를 들어, 의도 제스처에 대응하는 객체는, 무선 레인징을 이용하여 판정되는 객체까지의 거리뿐 아니라 배향(또는 상대적 배향들)에 적어도 부분적으로 기초하여 판정될 수 있다.
게다가, 사용자는, 이어서, 무선 통신 디바이스(110)를, 예컨대 2차원 또는 3차원으로 이동시킴으로써 '액션 제스처'를 수행할 수 있다. 이러한 액션 제스처는 무선 통신 디바이스(110) 내의 또는 그와 연관되는 하나 이상의 센서들에 의해 획득되는 검출/측정된 센서 데이터에서 캡처될 수 있다. 다음, 무선 통신 디바이스(110)는 센서 데이터를 해석하여, 액션 제스처, 및 그에 따른, 커맨드 또는 커맨드 값을 판정할 수 있다. 더욱이, 무선 통신 디바이스(110)는, 커맨드 또는 커맨드 값을, 프레임 또는 패킷으로, 제어될 대응하는 디바이스, 예컨대 물리적 디바이스(112) 또는 물리적 디바이스(118)로 송신할 수 있다.
하기에서 추가로 기술되는 바와 같이, 커맨드 값은, 무선 통신 디바이스(110)를 객체와 페어링 또는 연관시키고/시키거나; 객체의 동작 설정을 변경하고/하거나(예컨대, 조명을 턴온 또는 턴오프함, 또는 서모스탯의 온도를 변경함, 음량, 채널, 및/또는 재생 설정을 조정함); 데이터(예컨대, 미디어 또는 텍스트 데이터)를 이송하고/하거나; 임의의 다른 그러한 기능을 실행시키라는 커맨드를 포함할 수 있음에 유의한다. 커맨드 값은 객체가 응답 - 예컨대, 센서 값을 포함함 - 을 무선 통신 디바이스(110)로 역으로 송신하게 할 수 있고/있거나 리소스(예컨대, 무선 프린터)에의 액세스를 요청할 수 있음에 유의한다.
따라서, 사용자-인터페이스 기법은, 사용자가 무선 통신 디바이스(110)를 열거나 잠금해제하지 않는 것을 포함하여, 무선 통신 디바이스(110)가 소정 거리로부터의 객체(또는 객체와 연관된 기능)를 제어하게 할 수 있다. 이러한 능력은, 또한, 객체를 제어하거나 그와 상호작용할 시에 사용자에게 새로운 자유도를 제공할 수 있다. 그 결과, 사용자-인터페이스 기법은, 무선 통신 디바이스(110) 및 객체를 사용할 때 사용자 경험을 개선시킬 수 있고, 그에 따라, 사용자 만족 및 유지를 증가시킬 수 있다.
기술된 실시예들에서, 무선 통신 디바이스(110), 물리적 디바이스(112), 및/또는 물리적 디바이스(118) 중 하나에서 패킷 또는 프레임을 프로세싱하는 것은 하기를 포함한다: 패킷 또는 프레임을 인코딩하는 무선 신호들(122)을 수신하는 것; 수신된 무선 신호들(122)로부터 패킷 또는 프레임을 디코딩/추출하여 패킷 또는 프레임을 획득하는 것; 및 패킷 또는 프레임을 프로세싱하여 패킷 또는 프레임에 포함된 정보(예컨대, 페이로드 내의 데이터)를 판정하는 것.
일반적으로, 사용자-인터페이스 기법에서 WLAN을 통한 통신은 다양한 메트릭들(또는 통신-성능 메트릭들)에 의해 특성화될 수 있다. 예를 들어, 메트릭은 하기를 포함할 수 있다: RSSI, 데이터율, 성공적인 통신에 대한 데이터율(이는, 때때로, '처리율'로 지칭됨), 에러율(예컨대, 재시도율 또는 재전송률), 등화 타깃에 대한 등화된 신호들의 평균제곱오차, 심볼간 간섭, 다중경로 간섭, 신호대잡음비, 아이패턴(eye pattern)의 폭, 소정 시간 간격(예컨대, 1 내지 10s) 동안에 성공적으로 통신되는 바이트 수 대 그 시간 간격 내에 통신될 수 있는 추정된 최대 바이트 수(이는, 때때로, 통신 채널 또는 링크의 '용량'으로 지칭됨)의 비, 및/또는 실제 데이터율 대 추정된 데이터율의 비(이는, 때때로, '활용도'로 지칭됨).
도 8 내지 도 16을 참조하여 하기에서 추가로 기술되는 바와 같이, 사용자-인터페이스 기법 동안, 무선 통신 디바이스(110)는 무선 레인징 및/또는 센서 데이터를 이용하여, 환경(108) 내의 객체의 위치를 확인하고 판정된 위치에 기초하여 객체에 관한 직관적인 정보를 제공할 수 있다. 구체적으로, 무선 통신 디바이스(110)는 환경(108)(예컨대, 빌딩 내의 방 또는 무선 통신 디바이스(110)를 둘러싼 영역)에서 무선 통신 디바이스(110)에 근접하게 위치된 객체(예컨대, 물리적 디바이스(112))와 연관된 식별자를 포함하는 송신물을 수신할 수 있다. 예를 들어, 식별자는 물리적 디바이스(112)의 (그리고, 그에 따른, 물리적 디바이스(112)의 사용자의) 고유 식별자일 수 있다. 대안으로 또는 추가로, 식별자는 물리적 디바이스(112)에 대응하는 하기와 같은 리소스 종류와 연관될 수 있다: 운송 리소스, 공유 컴퓨팅 리소스(예컨대, 프린터), 의료 리소스, 디스플레이 리소스, 보안 리소스, 액세스가능성 리소스, 안전성 리소스 등. 식별자는 검색 결과 또는 트랜잭션과 연동하여 수신되었을 수 있음에 유의한다. 대안으로 또는 추가로, 식별자는 무선 통신 디바이스(110)의 사용자의 연락처에 대응할 수 있다. 일부 구현예들에서, 객체(예컨대, 물리적 디바이스(112))는 수신자(예컨대, 무선 통신 디바이스(110))에게 이용가능한 정보에 따라 상이하게 분석될 수 있는 다수의 상이한 식별자들을 개별적으로 송신할 수 있다.
그에 응답하여, 무선 통신 디바이스(110)는 수신된 식별자를 하나 이상의 저장된 타깃 식별자들과 비교하여, 매칭을 판정할 수 있다. 이어서, 무선 레인징을 이용하여, 무선 통신 디바이스(110)는 무선 통신 디바이스(110)로부터 물리적 디바이스(112)의 범위(또는 거리) 및/또는 물리적 디바이스(112)까지의 방향을 판정할 수 있다.
다음, 무선 통신 디바이스(110)는 물리적 디바이스(112)까지의 범위 및/또는 방향을 나타내는 출력 정보를 제시할 수 있다. 예를 들어, 도 9를 참조하여 하기에서 추가로 기술되는 바와 같이, 무선 통신 디바이스(110)는 환경(108) 내에서의 근접 영역의 지도를 디스플레이할 수 있고, 물리적 디바이스(112)를 표현하는 제1 표시자를 지도 상에 디스플레이할 수 있다. 대안으로 또는 추가로, 도 10을 참조하여 하기에서 추가로 기술되는 바와 같이, 무선 통신 디바이스(110)는 무선 통신 디바이스(110) 내의 이미징 센서(예컨대, CMOS 또는 CCD 이미징 센서, 및 보다 일반적으로, 카메라)에 의해 캡처된, 환경(108) 내의 근접 영역의 이미지를 디스플레이할 수 있으며, 이미지 상에 물리적 디바이스(112)를 표현하는 제2 표시자(이는, 제1 표시자와 동일할 수 있거나, 또는 그와는 상이할 수 있음)를 디스플레이할 수 있다. 제1 표시자 및/또는 제2 표시자는, 물리적 디바이스(112)가 무선 통신 디바이스(110)의 시각적 범위 내에 있거나 또는 달리 그에 가시적인지 여부와 무관하게 디스플레이될 수 있음에 유의한다.
게다가, 도 11에서 기술되는 바와 같이, 일부 실시예들에서, 사용자는 무선 통신 디바이스(110)의 배향을 변화시킴으로써 두 가지 사용자-인터페이스 모드들 사이에서 직관적으로 토글링 또는 전이할 수 있다. 구체적으로, 측정된 배향 값에 기초하여, 무선 통신 디바이스(110)는 지도를 디스플레이하는 것과 이미지를 디스플레이하는 것 사이에서 선택적으로 전이할 수 있다. 따라서, 무선 통신 디바이스(110)가 (예컨대, 수평으로) 하방으로 대면하고 있는 경우, 제1 표시자를 갖는 지도가 디스플레이될 수 있으며, 무선 통신 디바이스(110) 가 물리적 디바이스(112)의 방향과 (예컨대, 수직으로) 대면하는 경우, 제2 표시자를 갖는 이미지가 디스플레이될 수 있다.
대안으로, 도 12에서 기술되는 바와 같이, 사용자는, 예컨대 아이콘의 스트라이크 영역 내에서 무선 통신 디바이스(110) 내의 터치 감응형 디스플레이와의 접촉을 이루고 나서 해제함으로써 사용자-인터페이스 모드를 선택할 수 있다. 이러한 방식으로, 사용자는 사용자-인터페이스 모드를 선택할 수 있는데, 여기서 무선 통신 디바이스(110) 주위의 360o 시각을 갖는 지도가 디스플레이되며, 상이한 범위들 및 방향들에 있는 객체들(예컨대, 물리적 디바이스(112))이 제1 표시자들(예컨대, 심볼들, 이모티콘들, 또는 그래픽 아이콘들)에 의해 지도 상에 표현된다. 더욱이, 사용자는 사용자-인터페이스 모드를 선택할 수 있는데, 여기서 이미지가 디스플레이되며, 물리적 디바이스(112)는, 무선 통신 디바이스(110)가 물리적 디바이스(112)의 방향으로 향하거나 또는 대면하는 경우, 제2 표시자(예컨대, 심볼, 이모티콘, 또는 그래픽 아이콘)에 의해 표현된다. 일부 구현예들에서, 하나 이상의 다른 그래픽 요소들(예컨대, 지향성 요소들)이, 또한, 무선 통신 디바이스(110)의 디스플레이가 근접 영역의 이미지를 디스플레이하는 동안에 제시될 수 있다.
일부 실시예들에서, 사용자-인터페이스 기법은 증강 현실을 포함한다. 구체적으로, 도 13을 참조하여 하기에서 기술되는 바와 같이, 무선 통신 디바이스(110) 상의 전면 카메라가 환경(108)의 이미지들(또는 비디오)을 캡처할 수 있는데, 이들은, 사용자가 그의 얼굴 전방에서 무선 통신 디바이스(110)를 잡고 있을 때 무선 통신 디바이스(110)에 의해 마스킹될 것이다. 이어서, 이미지들은, 무선 통신 디바이스(110)가 물리적 디바이스(112)의 방향과 대면하고 있어서 무선 통신 디바이스(110)가 사용자에게 투명하게 보일 때 객체들(예컨대, 물리적 디바이스(112))을 표현하는 표시자들과 함께 무선 통신 디바이스(110) 상에 디스플레이될 수 있다. 표시자들은 환경(108) 내의 그들의 위치들에 있는 이미지들에서 포지셔닝될 수 있으며, 배경도(perspective view)에 객체들까지의 상대적 범위들에 관한 직관적인 정보를 제공하도록 크기조정될 수 있음에 유의한다. 따라서, 무선 통신 디바이스(110)로부터 (그리고, 그에 따라, 사용자로부터) 더 멀리 있는 객체들은 무선 통신 디바이스(110)에 더 가까운 객체들보다 더 작은 표시자들에 의해 표현될 수 있다.
더욱이, 도 14를 참조하여 하기에서 기술되는 바와 같이, 증강 현실은 소위 '투시력(x-ray vision)'을 포함할 수 있다. 구체적으로, 물리적 디바이스(112)가 불투명한 장벽(예컨대, 벽 또는 가구 한 점)의 타측 상에 위치되는 경우, 무선 통신 디바이스(110) 상에 디스플레이되는 이미지들은, 불투명한 장벽이 거기에 없던 것처럼 또는 사용자가 불투명한 장벽을 통해서 볼 수 있던 것처럼 사용자가 물리적 디바이스(112)를 보게 할 수 있다. 예를 들어, 사용자가 다른 방 안에 있는 네트워크 프린터를 찾고 있는 경우, 사용자가 무선 통신 디바이스(110)를 네트워크 프린터의 방향으로 지향시킬 때, 네트워크 프린터의 이미지는, 사용자가 네트워크 프린터에 액세스하게 하는 정보와 함께, 무선 통신 디바이스(110) 상에 디스플레이될 수 있다. 따라서, 무선 통신 디바이스(110) 상에 디스플레이되는 사용자 인터페이스에서 네트워크 프린터와 연관된 아이콘 상에서 탭핑함으로써, 사용자는 무선 통신 디바이스(110)에게 네트워크 프린터와 페어링하거나 접속할 것(또는 달리 그와 상호작용할 것)을 명령할 수 있다. 대안으로 또는 추가로, 사용자 인터페이스는 네트워크 프린터에 어떻게 도달할 것인지에 대한 명령어들(및 선택적으로, 빌딩 지도)을 포함할 수 있다.
유사하게, 도 15를 참조하여 하기에서 추가로 기술되는 바와 같이, 사용자-인터페이스 기법은 사용자가 환경(108) 내에서 객체들(예컨대, 물리적 디바이스(112))의 위치를 추적하게 하거나 또는 환경(108) 내에서 (예컨대, 분실을 방지하기 위해) 하나 이상의 관련 객체들에 관한 리마인더들을 획득하게 할 수 있다. 이러한 방식으로, 부모가 아동을 추적할 수 있거나, 또는 학교로 가는 중에 무엇인가(예컨대, 배낭)를 잊지 않도록 보장할 수 있다.
게다가, 도 16을 참조하여 하기에서 추가로 기술되는 바와 같이, 사용자-인터페이스 기법을 이용하여 환경(108) 내의 사용자 또는 다른 개인들에게 매우 다양한 피드백이 제공될 수 있다. 전술된 시각적 정보 외에도, 무선 통신 디바이스(110)는 사용자에게 무선 통신 디바이스(110) 상에서 직접적으로 또는 다른 전자 디바이스(예컨대, 사용자의 스마트워치)를 통해 간접적으로 햅틱 피드백을 제공할 수 있다. 이러한 방식으로, 사용자는, 예컨대 그가 물리적 디바이스(112)의 방향으로 대면하고 있는 경우, 그의 환경에 관한 피드백을 수신할 수 있다.
추가로, 무선 통신 디바이스(110)는 메시지, 예컨대 텍스트 또는 오디오 메시지를 물리적 디바이스(112)로 송신할 수 있다. 예를 들어, 메시지는, 실질적으로 물리적 디바이스(112)에 대응하는 위치에서만 인지가능한 빔-형성 오디오 메시지(예컨대, 사적인 오디오 브로드캐스트)로서 송신되는 오디오 메시지를 포함할 수 있다. 이러한 방식으로, 무선 통신 디바이스(110)의 사용자는, 사용자가 다른 개인과 통신할 전자적 방식을 갖지 않는 경우(예컨대, 사용자가 수신자의 전화 번호 또는 이메일 주소를 알지 못하는 경우)에도, 사적인 메시지들을 범위 내에 있는 다른 개인에게 전송할 수 있다. 추가로 또는 대안으로, 무선 통신 디바이스(110)는 하기와 같은 관련 정보를 갖는 빔-형성오디오 메시지를 사용자에게 송신할 수 있다: 환경(108) 내의 사람의 이름, 달성할 태스크, 다가오는 약속 등.
따라서, 사용자-인터페이스 기법은, 사용자가 무선 통신 디바이스(110)를 열거나 잠금해제하지 않는 것을 포함하여, 무선 통신 디바이스(110)가 소정 거리로부터의 객체(또는 객체와 연관된 기능)를 제어하게 할 수 있다. 사용자-인터페이스 기법은, 또한, 무선 통신 디바이스(110)가 환경(108) 내의 객체들에 관한 상황 인식을 직관적이고 유용한 방식으로 제공하게 할 수 있다. 이러한 능력들은, 또한, 사용자에게 그가 환경(108) 내의 객체와 통신하고 상호작용하는 방법에서의 새로운 자유도를 제공할 수 있다. 그 결과, 사용자-인터페이스 기법은, 무선 통신 디바이스(110)를 사용할 때 사용자 경험을 개선시킬 수 있고, 그에 따라, 사용자 만족 및 유지를 증가시킬 수 있다.
기술된 실시예들에서, 무선 통신 디바이스(110), 물리적 디바이스(112), 및/또는 물리적 디바이스(118) 중 하나에서 패킷 또는 프레임을 프로세싱하는 것은 하기를 포함한다: 패킷 또는 프레임을 인코딩하는 무선 신호들(122)을 수신하는 것; 수신된 무선 신호들(122)로부터 패킷 또는 프레임을 디코딩/추출하여 패킷 또는 프레임을 획득하는 것; 및 패킷 또는 프레임을 프로세싱하여 패킷 또는 프레임에 포함된 정보(예컨대, 페이로드 내의 데이터)를 판정하는 것.
일반적으로, 사용자-인터페이스 기법에서 WLAN을 통한 통신은 다양한 메트릭들(또는 통신-성능 메트릭들)에 의해 특성화될 수 있다. 예를 들어, 메트릭은 하기를 포함할 수 있다: RSSI, 데이터율, 성공적인 통신에 대한 데이터율(이는, 때때로, '처리율'로 지칭됨), 에러율(예컨대, 재시도율 또는 재전송률), 등화 타깃에 대한 등화된 신호들의 평균제곱오차, 심볼간 간섭, 다중경로 간섭, 신호대잡음비, 아이패턴의 폭, 소정 시간 간격(예컨대, 1 내지 10s) 동안에 성공적으로 통신되는 바이트 수 대 그 시간 간격 내에 통신될 수 있는 추정된 최대 바이트 수(이는, 때때로, 통신 채널 또는 링크의 '용량'으로 지칭됨)의 비, 및/또는 실제 데이터율 대 추정된 데이터율의 비(이는, 때때로, '활용도'로 지칭됨).
일례로서 도 1에 도시된 네트워크 환경을 기술하고 있지만, 대안의 실시예들에서는 상이한 개수들 또는 타입들의 전자 디바이스들이 존재할 수 있다. 예를 들어, 일부 실시예들은 더 많은 또는 더 적은 전자 디바이스들을 포함한다. 다른 예로서, 다른 실시예에서는, 상이한 전자 디바이스들이 패킷들 또는 프레임들을 송신 및/또는 수신하고 있을 수 있다.
이제, 전자 디바이스의 실시예들을 설명한다. 도 2는 전자 디바이스(200)(이는, 휴대용 전자 디바이스 또는 스테이션일 수 있음)의 일례의 블록 다이어그램을 제시한다. 예를 들어, 전자 디바이스(200)는 하기 중 하나일 수 있다: 도 1에서의 무선 통신 디바이스(110), 물리적 디바이스(112), 및/또는 물리적 디바이스(118). 전자 디바이스(200)는 프로세싱 서브시스템(210), 메모리 서브시스템(212), 네트워킹 서브시스템(214), 디스플레이 서브시스템(226), 측정 서브시스템(230), 및 사용자 상호작용 서브시스템(232)을 포함할 수 있다. 프로세싱 서브시스템(210)은 계산 동작들을 수행하도록 구성된 하나 이상의 디바이스들을 포함한다. 예를 들어, 프로세싱 서브시스템(210)은 하나 이상의 마이크로프로세서들, AISC(application-specific integrated circuit), 마이크로제어기들, 프로그래밍가능 로직 디바이스들, 및/또는 하나 이상의 디지털 신호 프로세서(DSP)들을 포함할 수 있다.
메모리 서브시스템(212)은 프로세싱 서브시스템(210) 및 네트워킹 서브시스템(214)에 대한 데이터 및/또는 명령어들을 저장하기 위한 하나 이상의 디바이스들을 포함한다. 예를 들어, 메모리 서브시스템(212)은 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM), 판독 전용 메모리(ROM), 플래시 메모리, 및/또는 다른 타입들의 메모리를 포함할 수 있다. 일부 실시예들에서, 메모리 서브시스템(212)에서의 프로세싱 서브시스템(210)에 대한 명령어들은, 프로세싱 서브시스템(210)에 의해 실행될 수 있는, (프로그램 모듈(222) 또는 운영 체제(224)와 같은) 하나 이상의 프로그램 모듈들 또는 명령어들의 세트들을 포함한다. 예를 들어, ROM은 비휘발성 방식으로 실행될 프로그램들, 유틸리티들, 또는 프로세스들을 저장할 수 있으며, DRAM은 휘발성 데이터 저장소를 제공할 수 있고, 전자 디바이스(200)의 동작과 관련된 명령어들을 저장할 수 있다. 하나 이상의 컴퓨터 프로그램들이 컴퓨터 프로그램 메커니즘 또는 소프트웨어를 구성할 수 있음에 유의한다. 더욱이, 메모리 서브시스템(212) 내의 다양한 모듈들에서의 명령어들은, 고급 절차 언어(high-level procedural language), 객체 지향 프로그래밍 언어, 및/또는 어셈블리 또는 기계 언어로 구현될 수 있다. 또한, 프로그래밍 언어는 프로세싱 서브시스템(210)에 의해 실행되도록 컴파일 또는 해석, 예컨대 구성 가능 또는 구성될 수 있다(이는, 이러한 논의에서 상호교환가능하게 사용될 수 있음). 일부 실시예들에서, 하나 이상의 컴퓨터 프로그램들은 네트워크-커플링 컴퓨터 시스템을 통해 분산되어, 하나 이상의 컴퓨터 프로그램들이 분산 방식으로 저장되고 실행되게 한다.
추가로, 메모리 서브시스템(212)은 메모리에의 액세스를 제어하기 위한 메커니즘들을 포함할 수 있다. 일부 실시예들에서, 메모리 서브시스템(212)은 전자 디바이스(200) 내의 메모리에 커플링되는 하나 이상의 캐시들을 포함하는 메모리 계층구조를 포함한다. 이러한 실시예들 중 일부에서, 캐시들 중 하나 이상은 프로세싱 서브시스템(210) 내에 위치된다.
일부 실시예들에서, 메모리 서브시스템(212)은 하나 이상의 고용량의 대용량 저장 디바이스들(도시되지 않음)에 커플링된다. 예를 들어, 메모리 서브시스템(212)은 자기 또는 광학 드라이브, 솔리드 스테이트 드라이브, 또는 다른 타입의 대용량 저장 디바이스에 커플링될 수 있다. 이러한 실시예들에서, 메모리 서브시스템(212)은 종종-사용되는 데이터에 대한 고속 액세스 저장소로서 전자 디바이스(200)에 의해 사용될 수 있는 한편, 대용량 저장 디바이스는 덜 빈번하게 사용되는 데이터를 저장하는 데 사용된다.
네트워킹 서브시스템(214)은 유선 및/또는 무선 네트워크에 커플링하도록 그리고 그 상에서 통신하도록(즉, 네트워크 동작들을 수행하도록) 구성된 하나 이상의 디바이스들을 포함하고, 이들은 제어 로직(216), 인터페이스 회로(218), 및 제어 로직(216)에 의해 선택적으로 턴온/턴오프되어 다양한 선택적 안테나 패턴들 또는 '빔 패턴들'을 형성할 수 있는 적응적 어레이 내의 안테나들의 세트(220)(또는 안테나 요소들)를 포함한다. (도 2가 안테나들의 세트(220)를 포함하지만, 일부 실시예들에서, 전자 디바이스(200)는 노드들(208)과 같은 하나 이상의 노드들, 예컨대 안테나들의 세트(220)에 커플링될 수 있는 패드를 포함한다. 따라서, 전자 디바이스(200)는 안테나들의 세트(220)를 포함할 수 있거나 또는 포함하지 않을 수도 있다.) 예를 들어, 네트워킹 서브시스템(214)은 Bluetooth™ 네트워킹 시스템, 셀룰러 네트워킹 시스템(예컨대, UMTS, LTE 등과 같은 3G/4G 네트워크), USB(universal serial bus) 네트워킹 시스템, IEEE 802.11에서 설명되는 표준들에 기초한 네트워킹 시스템(예컨대, Wi-Fi® 네트워킹 시스템), 이더넷 네트워킹 시스템, 및/또는 다른 네트워킹 시스템을 포함할 수 있다.
네트워킹 서브시스템(214)은 프로세서들, 제어기들, 라디오들/안테나들, 소켓들/플러그들, 및/또는 각각의 지원된 네트워킹 시스템에 커플링하고, 그 상에서 통신하고, 그에 대한 데이터 및 이벤트들을 처리하기 위해 사용되는 다른 디바이스들을 포함한다. 각각의 네트워크 시스템에 대한 네트워크에 커플링하고, 그 상에서 통신하고, 그에 대한 데이터 및 이벤트들을 처리하기 위해 사용되는 메커니즘들은 때때로 네트워크 시스템에 대한 '네트워크 인터페이스'로 총칭됨에 유의한다. 더욱이, 일부 실시예들에서는, 전자 디바이스들 사이의 '네트워크' 또는 '접속'이 아직 존재하지 않는다. 따라서, 전자 디바이스(200)는 전자 디바이스들 사이의 간단한 무선 통신을 수행하기 위해, 예컨대 광고 또는 비컨 프레임들을 송신하고/하거나 다른 전자 디바이스들에 의해 송신된 광고 프레임들을 스캐닝하기 위해 네트워킹 서브시스템(214) 내의 메커니즘들을 이용할 수 있다.
전자 디바이스(200) 내에서, 프로세싱 서브시스템(210), 메모리 서브시스템(212), 네트워킹 서브시스템(214), 디스플레이 서브시스템(226), 측정 서브시스템(230), 및 사용자 상호작용 서브시스템(232)은 이러한 컴포넌트들 사이에서의 데이터 이송을 가능하게 하는 버스(228)를 사용하여 함께 커플링된다. 버스(228)는 서브시스템들이 서로 간에 커맨드들 및 데이터를 통신하는 데 사용할 수 있는 전기적, 광학적 및/또는 전자광학적 접속부를 포함할 수 있다. 명료성을 위해 단지 하나의 버스(228)만이 도시되어 있지만, 상이한 실시예들은 서브시스템들 사이에서 상이한 개수 또는 구성의 전기적, 광학적, 및/또는 전자광학적 접속부들을 포함할 수 있다.
일부 실시예들에서, 전자 디바이스(200)는 디스플레이 상에 정보를 디스플레이하기 위한 디스플레이 서브시스템(226)을 포함하는데, 이는 디스플레이 드라이버 및 디스플레이, 예컨대 액정 디스플레이, 다중터치 터치 스크린 등을 포함할 수 있다. 디스플레이 서브시스템(226)은 정보(예컨대, 인입, 인출, 또는 활성 통신 세션에 관한 정보)를 사용자에게 디스플레이하도록 프로세싱 서브시스템(210)에 의해 제어될 수 있다. 일부 실시예들에서, 디스플레이 서브시스템(226)은 비-네이티브 디스플레이(non-native display)들(예컨대, 다른 디바이스들과 연관된 디스플레이들)에 대한 디스플레이 정보를 생성하도록 구성될 수 있다.
전자 디바이스(200)는, 또한, 전자 디바이스(200)가 하나 이상의 타입의 측정들을 수행하게 하는 하나 이상의 센서들을 갖는 측정 서브시스템(230)을 포함할 수 있다. 예를 들어, 하나 이상의 센서들은, 하나 이상의 나침반들, 하나 이상의 가속도계들, 하나 이상의 자이로스코프들, 하나 이상의 마이크로폰들 또는 음향 트랜스듀서들, 하나 이상의 환경 센서들(예컨대, 온도 센서 및/또는 고도계), 하나 이상의 광 센서들(예컨대, 주변 조명 센서), 하나 이상의 터치 센서들(예컨대, 터치 스크린), 하나 이상의 생체인증 센서들(예컨대, 지문 센서) 등을 포함할 수 있다. 하나 이상의 센서들은 전자 디바이스(200) 내의 물리적 센서들 및/또는 가상 센서(예컨대, 적어도 부분적으로 소프트웨어로 구현된 센서)를 포함할 수 있음에 유의한다. 일부 실시예들에서, 하나 이상의 센서들 중 적어도 일부는 원격 전자 디바이스로부터 수신된 정보에 기초하여 센서 데이터를 판정한다.
게다가, 전자 디바이스(200)는 사용자 상호작용 서브시스템(232)을 포함할 수 있다. 예를 들어, 사용자 상호작용 서브시스템(232)은 하기와 같은 다양한 사용자 입력 디바이스들을 포함할 수 있다: 버튼, 키패드, 다이얼, 터치 스크린, 오디오 입력 인터페이스, 시각적/이미지 캡처 입력 인터페이스, 센서 데이터 형태의 입력 등. 대안으로 또는 추가로, 사용자 상호작용 서브시스템(232)은 하기와 같은 다양한 사용자 출력 디바이스들을 포함할 수 있다: 하나 이상의 스피커들(이는, 지향성 음향 어레이를 제공할 수 있음), 햅틱 트랜스듀서 등.
전자 디바이스(200)는 적어도 하나의 네트워크 인터페이스를 갖는 임의의 전자 디바이스일 수 있다(또는 그에 포함될 수 있다). 예를 들어, 전자 디바이스(200)는 하기를 포함할 수 있다: 셀룰러폰 또는 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 개인 또는 데스크톱 컴퓨터, 넷북 컴퓨터, 컴퓨팅 디바이스, 공유 컴퓨팅 디바이스(예컨대, 프린터), 미디어 플레이어 디바이스, 전자책 디바이스, 스마트워치, 웨어러블 컴퓨팅 디바이스, 웨어러블 디바이스, 휴대용 컴퓨팅 디바이스, 소비자 전자 디바이스, 액세스 포인트, 라우터, 스위치, 통신 장비 또는 통신 디바이스, 테스트 장비, 어플라이언스, 엔터테인먼트 디바이스, 텔레비전, 디스플레이, 라디오 수신기, 셋톱박스, 오디오 디바이스, 프로젝터, 의료 디바이스(예컨대, 자동 체외제세동기), 보안 디바이스, 알람, 모니터링 디바이스(예컨대, 연기 감지기 또는 일산화탄소 감지기), 환경 제어부, 서모스탯, 조명 스위치, 부속장치, 키보드, 마우스, 스피커, 프린터, 홈오토메이션 디바이스, 차량, 전자 자물쇠뿐 아니라, 하나 이상의 무선 통신 프로토콜들을 통한 통신을 포함할 수 있는 무선 통신 능력을 갖는 임의의 다른 타입의 전자 컴퓨팅 디바이스.
특정 컴포넌트들이 전자 디바이스(200)를 기술하는 데 사용되지만, 대안의 실시예들에서는, 상이한 컴포넌트들 및/또는 서브시스템들이 전자 디바이스(200)에 존재할 수 있다. 예를 들어, 전자 디바이스(200)는 하나 이상의 추가 프로세싱 서브시스템들, 메모리 서브시스템들, 네트워킹 서브시스템들, 및/또는 디스플레이 서브시스템들을 포함할 수 있다. 추가로, 서브시스템들 중 하나 이상이 전자 디바이스(200) 내에 존재하지 않을 수도 있다. 더욱이, 일부 실시예들에서, 전자 디바이스(200)는 도 2에 도시되지 않은 하나 이상의 추가 서브시스템들을 포함할 수 있다. 또한, 도 2에는 개별 서브시스템들이 도시되어 있지만, 일부 실시예들에서는, 주어진 서브시스템 또는 컴포넌트 중 일부 또는 전부가 전자 디바이스(200) 내의 다른 서브시스템들 또는 컴포넌트(들) 중 하나 이상 내에 집적될 수 있다. 예를 들어, 일부 실시예들에서, 프로그램 모듈(222)이 운영 체제(224) 내에 포함되고/되거나 제어 로직(216)이 인터페이스 회로(218) 내에 포함된다.
더욱이, 전자 디바이스(200) 내의 회로들 및 컴포넌트들은 바이폴라, PMOS 및/또는 NMOS 게이트들 또는 트랜지스터들을 포함한 아날로그 및/또는 디지털 회로의 임의의 조합을 사용하여 구현될 수 있다. 또한, 이들 실시예들에서의 신호들은 대략적으로 이산적인 값들을 갖는 디지털 신호들 및/또는 연속 값들을 갖는 아날로그 신호들을 포함할 수 있다. 추가로, 컴포넌트들 및 회로들은 싱글 엔드형(single-ended) 또는 차동형(differential)일 수 있고, 전원들은 단극형(unipolar) 또는 양극형(bipolar)일 수 있다.
집적 회로(이는, 때때로, '통신 회로'로 지칭됨)는 네트워킹 서브시스템(214)의 기능의 일부 또는 전부를 구현할 수 있다. 이러한 집적 회로는, 전자 디바이스(200)로부터 무선 신호들을 송신하고 전자 디바이스(200)에서 다른 전자 디바이스들로부터의 신호들을 수신하는 데 이용되는 하드웨어 및/또는 소프트웨어 메커니즘들을 포함할 수 있다. 본 명세서에 기술된 메커니즘들을 제외하고, 라디오들은 당업계에 일반적으로 알려져 있고, 이에 따라, 상세히 기술되지 않는다. 일반적으로, 네트워킹 서브시스템(214) 및/또는 집적 회로는 임의의 수의 라디오들을 포함할 수 있다. 다중 라디오 실시예들에서의 라디오들은 단일 기술된 라디오 실시예들과 유사한 방식으로 기능함에 유의한다.
일부 실시예들에서, 네트워킹 서브시스템(214) 및/또는 집적 회로는 주어진 통신 채널(예컨대, 주어진 반송 주파수) 상에서 송신하고/하거나 수신하도록 라디오(들)를 구성하는 구성 메커니즘(예컨대, 하나 이상의 하드웨어 및/또는 소프트웨어 메커니즘들)을 포함한다. 예를 들어, 일부 실시예들에서, 구성 메커니즘은 라디오를 주어진 통신 채널 상에서 모니터링하고/하거나 송신하는 것으로부터 상이한 통신 채널 상에서 모니터링하고/하거나 송신하는 것으로 스위칭하는 데 이용될 수 있다. (본 명세서에서 사용되는 바와 같은 '모니터링'은 다른 전자 디바이스들로부터 신호들을 수신하는 것, 및 가능하게는, 수신된 신호들에 대해 하나 이상의 프로세싱 동작들을 수행하는 것, 예컨대 무선 레인징을 수행하는 것 등을 포함함에 유의한다.)
일부 실시예들에서, 본 명세서에서 기술되는 회로들 중 하나 이상을 포함하는 집적 회로 또는 집적 회로의 일부분을 설계하기 위한 프로세스의 출력은, 예컨대 프로그래밍가능 메모리, 자기 테이프, 또는 광학 또는 자기 디스크와 같은 컴퓨터 판독가능 매체일 수 있다. 컴퓨터 판독가능 매체는 데이터 구조, 또는 집적 회로 또는 집적 회로의 일부로서 물리적으로 예시될 수 있는 회로를 기술하는 다른 정보로 인코딩될 수 있다. 다양한 포맷이 이러한 인코딩에 사용될 수 있지만, 이러한 데이터 구조는 일반적으로 CIF(Caltech Intermediate Format), GDSII(Calma GDS II Stream Format) 또는 EDIF(Electronic Design Interchange Format)로 작성된다. 집적 회로 설계 분야의 당업자는, 전술된 타입의 개략적인 다이어그램들 및 대응하는 설명으로부터 그러한 데이터 구조들을 개발할 수 있고, 컴퓨터 판독가능 매체 상의 데이터 구조들을 인코딩할 수 있다. 집적 회로 제조 분야의 당업자는 그러한 인코딩된 데이터를 이용하여, 본 명세서에서 기술되는 회로들 중 하나 이상을 포함하는 집적 회로들을 제조할 수 있다.
사용자-인터페이스 기법은 다양한 네트워크 인터페이스들에서 이용될 수 있다. 또한, 전술한 실시예들에서의 동작들 중 일부가 하드웨어 또는 소프트웨어로 구현되었지만, 일반적으로, 전술한 실시예들에서의 동작들은 매우 다양한 구성들 및 아키텍처들로 구현될 수 있다. 따라서, 전술한 실시예들에서의 동작들 중 일부 또는 전부는 하드웨어로, 소프트웨어로, 또는 양측 모두로 수행될 수 있다. 예를 들어, 사용자-인터페이스 기법에서의 동작들 중 적어도 일부는 프로그램 모듈(222), 운영 체제(224)(예컨대, 인터페이스 회로(218)를 위한 드라이버)를 이용하여 또는 인터페이스 회로(218)의 펌웨어로 구현될 수 있다. 대안으로 또는 추가로, 사용자-인터페이스 기법에서의 동작들 중 적어도 일부는 물리적 계층, 예컨대 인터페이스 회로(218) 내의 하드웨어로 구현될 수 있다. 예시적인 실시예에서, 사용자-인터페이스 기법은, 적어도 부분적으로 인터페이스 회로(218) 내의 MAC 계층에서 구현된다.
예시적인 실시예에서, 사용자-인터페이스 기법은 지향성 제어를 제공하는 데 이용된다. 구체적으로, 객체에 대한 무선 통신 디바이스의 포지션 및 배향이 하나 이상의 측정들에 기초하여 판정되는 경우, 무선 통신 디바이스 상에서 입력되거나 그를 사용하여 수행된 하나 이상의 제스처들은 객체에 대한 커맨드로서 해석될 수 있다. 하기에서 추가로 기술되는 바와 같이, 무선 레인징 및 (자이로스코프, 가속도계, 나침반 등으로부터의) 센서 데이터 입력들은 객체를 선택하고/하거나, 그와 페어링하고/하거나, 그를 커맨드하는 데 이용될 수 있다.
예시적인 실시예에서, 사용자-인터페이스 기법은 환경 제어 시에 하나 이상의 객체들에 관한 정보를 직관적으로 제공하는 데 이용된다. 구체적으로, 객체까지의 범위 및/또는 방향이 하나 이상의 측정들(예컨대, 무선 레인징 및/또는 배향)에 기초하여 무선 통신 디바이스에 의해 판정되는 경우, 무선 통신 디바이스는 판정된 범위 및/또는 방향을 이용하여, (예컨대, 사용자 인터페이스에서) 객체에 관한 출력 정보를 직관적으로 제공할 수 있다.
전자 디바이스들의 제어
도 3은 무선 레인징에 적어도 부분적으로 기초한 제스처들을 이용한 객체의 제어의 일례를 도시한 도면(300)을 제공한다. 구체적으로, 사용자-인터페이스 기법 동안, 사용자는 무선 통신 디바이스(110)를 사용하여, 물리적 디바이스, 예컨대 물리적 디바이스(112)를 제어하거나, 또는 하나 이상의 제스처들 또는 모션들을, 예컨대 2차원 또는 3차원에서 수행함으로써 객체의 가상 표현, 예컨대 가상 표현(114)과의 상호작용을 이용하여 물리적 디바이스에 대한 제어 입력을 생성할 수 있다. 무선 통신 디바이스(110)는, 실제 디바이스 또는 가상 표현일 수 있는 객체(310)에 대한 제스처 입력을 생성하는 것이 도시된다. 예를 들어, 사용자는 그의 셀룰러폰을 사용하여, 텔레비전의 음량 또는 선택된 채널을 제어하거나, 또는 제스처를 수행함으로써, 예컨대 무선 통신 디바이스(110)를 위로 이동시키고 나서 아래로 이동시킴으로써(또는 역으로 함으로써) 방의 조명을 턴온 또는 턴오프시킬 수 있다. 대안으로, 사용자는 방 또는 도 1에서의 환경(108) 내의 사전정의된 물리적 위치(예컨대, 도 1에서의 물리적 위치(116))에 있는 조명 스위치의 가상 표현을 제어할 수 있다(즉, 사전정의된 물리적 위치에 물리적 조명 스위치가 없을 수도 있다). 사전정의된 물리적 위치(및, 보다 일반적으로, 3차원 공간 내의 사전정의된 물리적 위치)는 사용자가 트레이닝 프로세스 동안에 무선 통신 디바이스(110)를 사용하는 것에 의해, 예컨대, 무선 통신 디바이스(110)를 물리적 위치에 근접하게 가져오거나 터치시키고, 무선통신 디바이스(110) 상의 터치 감응형 디스플레이 상에 디스플레이된 사용자 인터페이스 내의 가상 커맨드 아이콘을 활성화시킴으로써, 또는 무선 통신 디바이스(110)를 물리적 위치에 터치시키고, 무선 통신 디바이스(110)에 의해 모니터링되고 음성 인식 기법을 이용하여 해석되는 커맨드 또는 명령어를 구두로 진술함으로써 특정되었을 수 있음에 유의한다.
사용자-인터페이스 기법 동안, 사용자는 '의도 제스처'(312)를 이용하여, 예컨대 무선 통신 디바이스(110)를 객체(310)를 향해 또는 그의 일반적 방향으로(예컨대, 객체(310)의 5o 내에) 연장함으로써, 객체(310)를 특정할 수 있다(또는 그를 달리 나타낼 수 있다). 이어서, 사용자는, 예컨대 객체(310)에 대해 무선 통신 디바이스(110)를 이동시킴으로써, '액션 제스처'(314)를 수행할 수 있다. 일례에서, 무선 통신 디바이스(110)는 객체(310)에 대해 위로 또는 아래로 이동되어, 예컨대 값의 증가 또는 감소를 각각 시그널링할 수 있다. 다른 제스처들이, 또한, 예컨대 횡방향 및/또는 회전 이동을 제공함으로써, 이용될 수 있다. 게다가, 제스처는 단순할 수 있거나(예컨대, 수직 또는 수평 이동과 같은 한 가지 이동을 수반함), 또는 복잡할 수 있다(예컨대, 수직, 수평, 횡방향, 및/또는 회전 이동들의 조합과 같은 두 가지 이상의 이동들을 수반함). 이러한 동작들은, 사용자가 객체(310)를 향해 또는 그의 일반적인 방향으로 무선 통신 디바이스(110)를 지향시키고 있는 동안에 수행될 수 있다.
의도 제스처(312)를 검출하기 위해, 무선 통신 디바이스(110)는 객체(310)의 포지션 또는 위치에 대한 그의 배향을 측정할 수 있다. 예를 들어, 객체(310)는 객체(310)에 의해 통신되는 일반 또는 고유 식별자에 기초하여 식별될 수 있고, 상대적 포지션은 무선 레인징(예컨대, 무선 신호들(122)을 이용함), 메트릭(예컨대, RSSI), 및/또는 배향에 기초하여 판정될 수 있다. 게다가, 액션 제스처(314)를 검출하기 위해, 무선 통신 디바이스(110)는, 예컨대 센서 입력 및/또는 무선 레인징을 이용하여, 이동, 가속도, 및/또는 거리(316)를 측정할 수 있다. 무선 레인징은, 예컨대 하기에서의 또는 그 내의 하나 이상의 주파수 대역들에서 또는 그들 내에서 수행될 수 있음에 유의한다: 2 ㎓ 무선 대역, 5 ㎓ 무선 대역, ISM 대역, 60 ㎓ 무선 대역, 초광대역(ultra-wide band) 등.
추가로, 객체(310)가 무선 통신 디바이스(110)와 동일한 환경(108)(도 1), 예컨대 (인접 또는 이웃한 방이 아니라) 동일한 방 안에 있는지 여부를 판정하기 위해, 주변 소리가 무선 통신 디바이스(110)에 의해 이용될 수 있다. 예를 들어, 객체(310)에 의해 기록된 주변 소리 - 이는, 무선 통신 채널(예컨대, WLAN)을 통해 무선 통신 디바이스(110)와 공유됨 - 는 무선 통신 디바이스(110)에 의해 측정되는 주변 소리와 비교될 수 있다. 이들이 동일한 경우, 무선 통신 디바이스(110) 및 객체(310)는 동일한 방 안에 있을 수 있다. 대안으로 또는 추가로, 무선 통신 디바이스(110)는, 예컨대 개재된 물리적 장벽이 없는 경우, 객체(310)에 의해 검출될 수 있는 하나 이상의 음향 처프들 또는 소리(들)(이는, 인간이 들을 수 있는 주파수들의 범위 밖에 있는 주파수들의 대역에 있거나 그 대역 내에 있을 수 있음)를 출력할 수 있다.
보다 일반적으로, 무선 통신 디바이스(110)에 의해 수행되는 측정들 중 하나 이상은 환경(108)(도 1) 내의 하나 이상의 잠재적 타깃 디바이스들, 예컨대 객체(310)를 하나 이상의 다른 디바이스들, 예컨대 물리적 디바이스(118)로부터 명확히 구별하는 데 이용될 수 있다. 예를 들어, 무선 통신 디바이스(110)의 사용자와 대면하는 객체(310)는 환경 내의 다른 객체와 동일한 배향, 상이한 높이, 및/또는 동일하거나 상이한 RSSI를 가질 수 있다. 거리(316)와 함께, 하나 이상의 측정들이 모든 이용가능한 디바이스들로부터 객체(310)를 식별하는 데 이용될 수 있다. 더욱이, 전술된 바와 같이, 잠재적 타깃 디바이스는 주변 소리에 기초하여 배제될 수 있다. 예를 들어, 주변 소리는, 디바이스가 주머니 또는 지갑 내에 위치되고, 그에 따라, 정보의 페어링 또는 공유를 위한 의도 제스처(312)의 타깃이 될 가능성이 적음을 나타낼 수 있다.
일부 구현예들에서, 고도계가 사용되어, 예컨대 테이블 아래에 있거나 주머니/가방 속에 위치되는 하나 이상의 잠재적 타깃 디바이스들이 의도 제스처(312)에 의해 지정되도록 의도될 가능성이 없는 경우에, 그들을 배제시킬 수 있다. 다른 예에서, 하나 이상의 초음파 처프들 또는 60 ㎓ 송신물이 이용되어, 무선 통신 디바이스(310)의 일차 라디오 범위 또는 무선 근접지 내에 있지만 관련 물리적 공간 또는 물리적 근접지 밖에 있는 잠재적 타깃 디바이스들을 배제시킬 수 있다(예컨대, 배제된 잠재적 타깃 디바이스들은 상이한 방 안에 위치될 수 있거나 또는 용기 내부에 보관될 수 있음).
2개 이상의 잠재적 타깃 디바이스들이 이러한 방식들 중 하나 이상으로 분리될 수 없는 경우, 무선 통신 디바이스(110)의 사용자에게는 식별된 잠재적 타깃 디바이스들의 세트 중에서 선택할 것이 요청될 수 있다. 예를 들어, 잠재적 타깃 디바이스들의 리스트를 갖는 사용자 인터페이스가 무선 통신 디바이스(110) 내의 디스플레이 상에 디스플레이될 수 있다. 이어서, 사용자는 인터페이스로부터, 예컨대 의도 제스처(312)의 의도된 타깃을 선택할 수 있고, 원하는 액션 제스처(314) 또는 다른 그러한 제어 입력을 제공할 수 있다.
전술한 논의가 의도 제스처(312) 및 액션 제스처(314)의 예시적인 예들을 포함했지만, 일반적으로, 이러한 제스처들은 하기와 같은 2차원 또는 3차원의 매우 다양한 모션들 및 회전들을 포함할 수 있다: 1개 이상의 방향들로의 선형 모션, 하나 이상의 축들을 중심으로 하는 회전, 원호(arc)를 따르는 모션, 가상 탭핑, 도형 기반 제스처들(예컨대, 도형-8 제스처), 문자 또는 숫자 형상의 제스처, 선형 모션(들)과 회전(들)의 조합들 등. 보다 일반적으로, 액션 제스처(314)는 변화의 타입 또는 원하는 제어 동작에 대한 직관적인 대응성을 가질 수 있다. 예를 들어, 제스처들을 이용하여 객체의 제어의 일례를 도시한 도면(400)을 제공하는 도 4에 도시된 바와 같이, 업 및/또는 다운 액션 제스처(410)가 이용되어, 값 또는 설정, 예컨대 히터 또는 서모스탯의 온도 설정, 또는 객체의 포지션(예컨대, 윈도우 쉐이드 또는 스크린)을 증가(또는 감소)시킬 수 있다. 유사하게, 제스처들을 이용하여 객체의 제어의 일례를 도시한 도면(500)을 제공하는 도 5에 도시된 바와 같이, 액션 제스처(510)는 값 또는 설정, 예컨대 엔터테인먼트 디바이스의 음량을 변경하는 것에 대응하는 좌측 및/또는 우측 회전을 수반할 수 있다.
일례에서, 사용자는 그의 셀룰러폰을 텔레비전으로 지향시킬 수 있다. 무선 레인징을 통해, 셀룰러폰은 텔레비전이 범위 내에 있는 것으로(즉, 의도된 타깃 디바이스가 되기에 충분히 가까운 것으로) 판정할 수 있다. 가속도계 및/또는 자이로스코프 입력은 상대적 모션의 추가 표시를 제공할 수 있는데, 이는, 의도 제스처(312)로서 해석되어, 무선 통신 디바이스(110)가 텔레비전, 예컨대 객체(310)에게 커맨드(예컨대, 액션 제스처)하는 데 사용되고 있음을 나타낼 수 있다. 또한, 하나 이상의 액션 제스처들(예컨대, 314, 410, 및/또는 510 중 임의의 것)이 제공되어, 텔레비전을 제어하는 하나 이상의 커맨드들을 나타낼 수 있다. 예를 들어, 사용자는 셀룰러폰을 우측으로 돌려서, 텔레비전의 음량을 증가시키거나 채널을 변경할 수 있다.
사용자-인터페이스 기법은, 또한, 무선 통신 디바이스(110)를 다른 전자 디바이스와 직관적으로 페어링시켜서, 페어링된 전자 디바이스들이 후속으로 서로 통신할 수 있도록 하는 데 이용될 수 있다. 예를 들어, 의도 제스처(312) 및 액션 제스처((314, 410, 및/또는 510)를 수행함으로써, 사용자는 데이터를 물리적 디바이스와 무선으로 교환하거나 공유하려는 희망을 원격으로 나타낼 수 있다. 이러한 동작들이 수행되는 경우, 무선 통신 디바이스(110) 및/또는 물리적 디바이스는 사용자 인터페이스에서 메시지를 디스플레이하여, 페어링을 위한 확인 및/또는 인증을 요청할 수 있다. 추가로, 다른 물리적 디바이스는 특정된 시간 간격(예컨대, 10분 또는 1시간) 동안의 페어링에 동의할 수 있고, 그 후에 페어링이 디스에이블될 수 있다. 이러한 방식으로, 무선 통신 디바이스(110)의 사용자는 페어링 프로세스의 제어를 유지할 수 있는데, 이는, 또한, 예컨대 페어링된 물리적 디바이스가 (동일한 방과 같은) 동일한 환경 내에 있음을 확인함으로써, 페어링이 안전함을 보장하는 것을 도울 수 있다. 지향성 의도 및 액션 제스처들을 제공함으로써, 무선 통신 디바이스(110)는 페어링이 의도되는 객체(310)를 전자적으로 위장하거나 흉내내도록 시도하고 있는 디바이스와의 페어링을 회피할 수 있다. 유사하게, 지향성 의도 및 액션 제스처들은 근접해 있지만 환경 내에서 상이한 위치 또는 고도에 있는 객체(310) 외의 디바이스와의 우발적인 페어링을 회피시킬 수 있다. 이러한 접근법은, 또한, 정보 공유 및/또는 페어링의 복잡도를 감소시키는 것을 도울 수 있다. 예를 들어, 패스워드들은 페어링 프로세스 동안에 필요하지 않을 수도 있다. 일부 실시예들에서, 의도 제스처 및 액션 제스처(들) 이후, 무선 통신 디바이스 및 물리적 디바이스는 암호화 키들을 교환할 수 있다.
다른 예에서, 무선 통신 디바이스(110)는 페어링하려는 의도가 있거나 커맨드를 발행하려는 의도가 있는 객체의 방향으로 지향될 수 있다. 무선 통신 디바이스(110)의 카메라는 시야 내의 모든 객체들의 이미지를 캡처할 수 있고, 하나 이상의 후보 디바이스들을 보여주는, 선택가능한 온-스크린 인터페이스를 제시할 수 있다. 이어서, 사용자는 페어링할 디바이스(및, 선택적으로, 예컨대, 프로토콜)를 선택할 수 있다.
또 다른 예에서, 무선 통신 디바이스(110)는 리소스를 청구하거나 정보를 얻기 위해 객체(310)로 지향될 수 있다. 예를 들어, 무선 통신 디바이스(110)는 택시(예컨대, 객체(310))를 부르기 위해 (예컨대, 액션 제스처(314, 410, 및/또는 510)와 함께 또는 그 없이 의도 제스처(312)를 이용하여) 택시로 지향될 수 있다. 또한, 무선 통신 디바이스(110)는 등급을 얻거나 예약을 하기 위해 (예컨대, 액션 제스처(314, 410, 및/또는 510)를 갖는 또는 갖지 않는 의도 제스처(312)를 이용하여) 레스토랑(또는 레스토랑과 연관된 객체(310))으로 지향될 수 있다. 유사하게, 무선 통신 디바이스(110)는 프린터를 지향함으로써 프린터와 상호작용할 수 있다(예컨대, 프린터를 설정하거나 프린터로 프린트할 수 있다). 예를 들어, 의도 제스처(312) 및 액션 제스처(314, 410, 및/또는 510)는 무선 통신 디바이스(110)에 제공되어, (예컨대, 프린트 작업을 개시하도록) 프린터로 정보를 전송하거나 하나 이상의 설정들/구성들의 제어를 개시시킬 수 있다.
무선 레인징 및 지향성은, 또한, 하나 이상의 센서들로부터 정보를 얻는 데 이용될 수 있다. 예를 들어, 무선 통신 디바이스(110)는 판독물을 얻기 위해 센서(예컨대, 서모스탯 또는 타이어 압력계)를 향해 지향될 수 있다. 일부 구현예들에서, 액션 제스처(314, 410, 및/또는 510)를 갖는 또는 갖지 않는 의도 제스처(312)는 센서 데이터의 통신을 개시하는 데 이용될 수 있다. 유사하게, 하나 이상의 의도 및/또는 액션 제스처들이 무선 통신 디바이스(110)에 제공되어, 예컨대 상점 내의 디스플레이 또는 아이템과 상호작용하여 가격 또는 이용가능성 정보와 같은 특질을 검사함으로써, 서버로부터 정보를 검색하게 할 수 있다.
게다가, 예컨대 무선 통신 디바이스(110)에 의한 객체(310)의 식별은, 객체(310)에 의해 선택적으로 송신되는 (일반 또는 고유) 식별자에 의해 가능해질 수 있다. 예를 들어, 식별자는 특정 전자 디바이스(예컨대, 객체(310))와 연관되는 지속적인 고유 식별자일 수 있다. 무선 통신 디바이스(110)는 지속적인 고유 식별자를 (예컨대, 국부적으로 또는 클라우드 내에) 저장할 수 있고, 식별자를 (예컨대, 연락처 정보에서의) 사람, 객체, 또는 위치와 연관시킬 수 있다. 식별자가 수신된 무선 통신에서 검출되는 경우, 무선 통신 디바이스(110)는 알려진 전자 디바이스(예컨대, 객체(310))가 근접해 있다는 표시를 제공할 수 있다. 대안으로, 식별자는 과도적이거나 임시적일 수 있는데, 예컨대 식별자는 무선 통신 디바이스(110) 또는 객체(312) 상에서 실행되는 애플리케이션에 의해 할당된다. 예를 들어, 합승(ride-share) 애플리케이션이, 식별자를 무선 통신 디바이스(110)에 임시적으로 할당할 수 있는데, 이 디바이스는 식별자를 이어서 브로드캐스팅할 수 있다. 또한, 합승 애플리케이션은 과도적인 식별자를, 할당된 운전자에게 대응하는 디바이스에 제공하여 픽업을 가능하게 할 수 있다. 유사하게, 운전자의 디바이스에 대응하는 (지속적인 또는 과도적인) 식별자가 무선 통신 디바이스(110)에 제공되어 운전자를 검증하게 할 수 있다. 과도적인 식별자는 사전결정된 시간, 예컨대 1시간 후, 또는 트랜잭션의 완료 시에 만료될 수 있다. 임의의 수의 지속적이고 과도적인 식별자가 디바이스 또는 객체와 연관되어, 예컨대 다양한 시나리오들에 걸친 식별을 가능하게 할 수 있다.
더욱이, 할당된 식별자가 시간 경과에 따라 변화되어 사용자의 프라이버시를 보호하고 보안을 제공하게 할 수 있다. 구체적으로, 식별자는 도 1에서 선택적 서버(126)(이는, 도 1에서의 네트워크(124), 예컨대 유선 또는 무선 네트워크를 통해 액세스될 수 있음)에 의해 할당될 수 있고, 주기적으로(예를 들어, 소정 시간 간격, 예컨대 5분 또는 1일이 경과된 후) 업데이트될 수 있다. 추가로 또는 대안으로, 식별자는 1회용 식별자로서, 예컨대 특정 트랜잭션을 위해 할당될 수 있다. 일부 실시예들에서, 식별자는 디바이스 또는 객체, 예컨대 객체(310)에 지속적으로 할당될 수 있는 익명의 식별자일 수 있다. 이어서, 익명의 식별자는 익명의 식별자 및 식별 정보의 아이템이 공유된 다른 디바이스들에 의해서만 분석될 수 있다.
전력 소모를 감소시키기 위해, 무선 통신 디바이스(110) 및/또는 객체(312)는 오로지 주기적으로 또는 이벤트 시에, 예컨대 알려진 연락처와 연관된 식별자의 검출 시에만 하나 이상의 식별자(들)를 송신할 수 있다. 추가로 또는 대안으로, 무선 통신 디바이스(110) 및/또는 객체(312)는, 오로지, 한 가지 이상의 조건들이 충족되는 경우에만, 예컨대 (알려진 또는 알려지지 않은) 다른 디바이스의 근접지에 있는 경우에, 다른 디바이스를 수반하는 트랜잭션에 관여되는 경우에, 특정 영역에(예컨대, 지오펜스 영역 내에) 있는 경우에, 사용자 입력에 응답하여, 그리고/또는 이벤트(예컨대, 약속 또는 미팅)에 기초하여, 하나 이상의 식별자(들)를 수신하도록 시도할 수 있다. 예를 들어, 저전력 블루투스(Bluetooth low energy, BLE) 수신기가, 예컨대 객체(312)로부터의 식별자를 포함하는 광고(또는 다른 메시지)를 주기적으로 스캐닝할 수 있다. 스캔 속도는 하나 이상의 인자들, 예컨대 모션, 시간, 및/또는 가용 전력에 기초하여 변화할 수 있다. 알려진 식별자를 검출한 것에 응답하여, 무선 통신 디바이스(110)는 하나 이상의 다른 통신 인터페이스들을 활성화시킬 수 있으며, 무선 레인징을 인에이블시켜서, 예컨대 무선 통신 디바이스(110)가 객체(312)로부터 메시지를 수신하고/하거나 객체(312)로의 방향 및/또는 거리(316)를 판정할 수 있게 할 수 있다.
게다가, 전술된 바와 같이, 사용자-인터페이스 기법은 가상 객체들의 사용을 가능하게 할 수 있다. 이러한 실시예들은 가상 객체들을 정의하는 것, 및 이들을, 무선 레인징/지향성 제어 입력을 통해 제어하는 것을 포함할 수 있다. 일부 실시예들에서, 가상 객체, 예컨대 가상 표현(114)과의 상호작용은, 무선 레인징을 수행하지 않고서, 무선 통신 디바이스(110)의 배향 및 수신된 의도 제스처에 기초할 수 있다.
예를 들어, 가상 객체 또는 가상 표현이 문에 의해 특정 물리적 위치, 예컨대 가상 조명 스위치 또는 가상 서모스탯에 설정될 수 있다. 가상 객체는 시각적 아이템(예컨대, 스티커)에 의해 물리적으로 표현될 수 있거나, 또는 순수하게 가상적이어서 하나 이상의 좌표들에만 대응할 수 있다. 가상 객체는, 또한, 연관된 물리적 디바이스에 의해 정의될 수 있다. 예를 들어, 프로젝터가, 예컨대 벽 상에 가상 제어부를 정의할 수 있으며, 가상 제어부의 포지션을 광고하여, 다른 전자 디바이스들이 가상 제어부를 조작하여 실제 입력을 프로젝터에 실시하게 할 수 있다.
전술된 바와 같이, 가상 객체들을 갖는 실시예들에서, 디바이스(예컨대, 무선 통신 디바이스(110))는 특정 위치에서 가상 디바이스를 정의할 수 있는데, 예컨대 가상 제어부가 벽 상의 특정 위치에 대응한다. 가상 디바이스는 보다 큰 시스템의 일부로서 정의될 수 있음에 유의한다. 예를 들어, 시설이 가상 서모스탯을 모든 출입문에 인접하게 (예컨대, 조명 스위치에) 정의할 수 있다. 대안으로, 가상 디바이스는 특정 디바이스에 의해 정의될 수 있는데, 예를 들어, 프로젝터가 벽 또는 다른 표면 상에 제어부를 정의할 수 있고, 제어부의 포지션을 무선으로 광고하여, 그에 의해, 다른 전자 디바이스들이 가상 제어부가 실제인 것처럼 가상 제어부를 조작하게 할 수 있다.
이러한 방식으로, 무선 통신 디바이스(110)(예컨대, 셀룰러폰 또는 웨어러블)는 제어 디바이스, 예컨대 동적 원격 제어부로서 기능할 수 있다. 또한, 무선 통신 디바이스(110)는, 특정 입력 메커니즘들을 갖도록 구성되지 않은 상태에서, 제스처들을 통해, 매우 다양한 객체들, 예컨대 객체(310)에 제어 입력을 제공할 수 있다. 이는, 무선 통신 디바이스(110)의 디스플레이가 보다 큰 모니터를 위한 대용물 터치 스크린으로서의 역할을 하게 할 수 있으며, 센서들/입력들, 예컨대 나침반, 자이로스코프, 가속도계, 고도계, 터치 입력 및/또는 마이크로폰이 모니터와 연관된 입력들 및/또는 출력들을 제어하는 데 사용될 수 있다. 일부 실시예들에서, 무선 통신 디바이스(110)는 일차 디스플레이에 대응하는 제2 스크린으로서 사용될 수 있다(그것은 일차 디스플레이를 미러링할 수 있거나 또는 미러링하지 않을 수도 있음에 유의한다). 이어서, 제스처 기반(터치 기반을 포함함) 제어부들이 일차 디스플레이를 제어하도록 제공될 수 있다(예컨대, 핀치하기, 줌하기, 스크롤하기, 스와이프하기 등).
더욱이, 예컨대 무선 통신 디바이스(110)에 대한 제스처 기반 제어 입력은 전자 디바이스들 사이에서의 콘텐츠의 이송과 같은 기능들을 수행하는 데 이용될 수 있다. 예를 들어, 무선 통신 디바이스(110)로의 하나 이상의 제스처 기반 제어 입력들은, 콘텐츠를 제2 전자 디바이스로 전송(예컨대, "스로우(throw)")하고 제2 전자 디바이스로부터 콘텐츠를 풀링(pull)하고 제2 전자 디바이스의 제어부를 취하고(예컨대, 컴퓨터의 소유권을 취하여 컴퓨터가 콘텐츠/설정을 복제하게 함) 등등을 하는 데 이용될 수 있다. 따라서, 하나 이상의 제스처 기반 입력들(예컨대, 플립하기, 푸시하기, 문지르기, 스와이프하기, 또는 탭핑하기)이 무선 통신 디바이스(110)로부터(또는 그로) 다른 디바이스, 예컨대, 보다 큰 디스플레이 또는 컴퓨터로(또는 그로부터)의 이송을 나타내는 데 이용될 수 있다. 유사하게, 무선 통신 디바이스(110)로의 제스처 기반 입력은 데이터 캐리어로서 무선 통신 디바이스(110)를 사용하여 하나의 디바이스로부터 다른 디바이스로 무엇인가를 이동시키는 데 이용될 수 있다.
일부 구현예들에서, 가상 객체는, 예컨대 서비스를 위한 구성물들, 예컨대 가상 큐(또는 라인)를 포괄할 수 있다. 예를 들어, 가상 큐가 엔티티 또는 리소스(예컨대, 매표소 또는 상점)와 연관지어 정의될 수 있고, 근접지의 전자 디바이스들이, 연관된 식별자(예컨대, 고유의 과도적인 식별자)를, 가상 큐를 유지하는 호스트 디바이스로 송신함으로써 가상 큐에 등록될 수 있다. 디바이스가 가상 큐의 물리적 위치의 근접지에서 유지되는 동안에 또는 큐가 프로세싱될 때까지, 디바이스(예컨대, 무선 통신 디바이스(110))에 대한 가상 큐 포지션은 유지될 수 있다. 게다가, 가상 큐에서의 포지션은, 또한, 등록된 디바이스에 제시될 수 있고, 업데이트될 수 있다. 호스트 디바이스는, (예컨대, 매표소에서) 그의 차례가 되거나 가까워지는 경우, 등록된 디바이스에 통지할 수 있다.
비용 절감 외에도, 대응하는 물리적 디바이스들에 대한 가상 표현들 또는 가상 객체들의 사용은, 또한, 덜 매력적인 물리적 디바이스들(예컨대, 조명 스위치들)을 매력적인 플레이스홀더(예컨대, 세라믹 객체)로 대체함으로써 또는 물리적 디바이스들을 함께 제거함으로써, 환경이 심미적으로 보다 만족스러워지게 할 수 있다. 이러한 접근법은, 또한, 가상 표현과 연관된 위치를 단순히 재정의함으로써 가상 표현이 마음대로 제거되게 한다. 이어서, 사용자가 그의 전자 디바이스, 예컨대 무선 통신 디바이스(110)를 새로운 위치를 향해 지향시킬 때 의도 제스처 및 액션 제스처를 수행하는 경우, 연관된 동작(들)이 수행될 수 있다.
일부 실시예들에서, 연관된 물리적 디바이스를 제어하는 데 이용되는 제스처는 암묵적일 수 있다. 그러한 실시예들에서, 무선 레인징에 의해 판정된 근접도는, 연관된 의도 및 액션 제스처들 없이, 제어가능한 디바이스를 관여시키는 데 이용될 수 있다. 예를 들어, 사용자가 가상 표현 또는 가상 객체와 연관된 사전정의된 위치만큼 걸어감에 따라 조명이 턴온(그리고, 이어서, 턴오프)될 수 있다. 유사하게, 사용자 디바이스가 문에 근접함에 따라 도어로크가 잠금해제될 수 있으며, 사용자 디바이스가 교차로에 도착할 때 (조건들이 허용되면) 신호등이 녹색으로 변경될 수 있고, 등등이다. 따라서, 개시된 기법들은 근접도 기반 제어에 이용될 수 있다.
게다가, 개시된 기법들은, 또한, 이동 방향 앞의 전자 디바이스가 이벤트, 예컨대 급작스러운 감속을 겪는 이벤트를 경험할 때와 같은 협력적인 상황 인식을 제공하는 데 이용될 수 있다. 전자 디바이스는, 예컨대 브로드캐스트 메시지를 통해, 다른 전자 디바이스들에게 잠재적으로 위험한 상황을 통지할 수 있다.
일부 실시예들에서, 개시된 기법들은, 하나 이상의 선택적 태그들, 예컨대 환경(108)(도 1)에서의 선택적 태그(128)(도 1)에 의해 가능해진다. 예를 들어, 태그는 무선주파수 에너지로부터 전력을 획득하고/하거나 연관된 전력공급원을 갖는 저비용 시스템-온-칩일 수 있다. 태그(128)는, 예컨대 수신된 커맨드에 응답하여, 하나 이상의 신호들을 출력할 수 있다. 예를 들어, 태그(128)는 RF 신호들 및/또는 음향 신호들(예컨대, "처프들")을 출력할 수 있다.
일부 실시예들에서, 환경(108)에서의 태그(128)(도 1)는 OTA(over the air)로 전력을 획득하고(예컨대, 그것은 24 ㎓에서 신호들의 형태로 전력을 수신할 수 있음), (예컨대, 60 ㎓에서 신호를 방출함으로써) 짧은 신호(brief signal) 또는 처프를 통해 통신한다. 이러한 통신은, 예컨대 100 ft에 이르는 범위를 가질 수 있고, 지향성일 수 있다. 일부 구현예들에서, 24 ㎓ 전력 신호는 신호 내에 인코딩된 식별자를 가질 수 있다. 그러한 구현예들에서, 태그가 식별자를 인식하지 않는 경우, 그것은 응답하지 않을 수도 있다. (예컨대, 일단 태그가 전력을 공급받고 동작가능함을 나타낸다면) 태그가 시작 펄스에 응답하기 위한 지속시간은 알려질 수 있다. 무선 통신 디바이스는 도착 위상 및 도래각을 측정하여 방향을 판정할 수 있고, 도착 시간 또는 전파 시간을 이용하여 무선 통신 디바이스와 태그 사이의 거리를 판정할 수 있음에 유의한다. 따라서, 태그(128)는 무선 레인징 계산을 생성하거나 보완하는 데 이용될 수 있다.
도 6은 무선 통신 디바이스, 예컨대 도 1에서의 무선 통신 디바이스(110)를 사용하여 객체를 제어하기 위한 방법(600)의 일례를 도시한 흐름도이다. 동작 동안, 무선 통신 디바이스는 무선 통신 디바이스에 근접하게 위치된 객체를 제어하려는 의도를 나타내는 수신된 의도 제스처를 식별한다(동작(610)). 이어서, 무선 통신 디바이스는 의도 제스처와 연관된 객체를 판정한다(동작(612)). 예를 들어, 무선 통신 디바이스는 무선 레인징을 이용하여, 예컨대 의도 제스처에 적어도 부분적으로 기초하여, 무선 통신 디바이스의 포지션 및/또는 배향에 대응하는 고도 및/또는 방향에 또한 위치된 범위 내의 객체를 판정한다. 또한, 무선 통신 디바이스는 무선 통신 디바이스의 하나 이상의 센서들과 연관된 센서 데이터에 액세스하고(동작(616)), 센서 데이터를 해석하여 커맨드 값을 판정한다(동작(618)). 예를 들어, 무선 통신 디바이스는 (예컨대, 무선 통신 디바이스 상에 저장된 액션 제스처 프로파일들에 기초하여) 센서 데이터를 하나 이상의 액션 제스처들과 비교하여 하나 이상의 의도된 커맨드들을 식별한다. 이어서, 무선 통신 디바이스는, 예컨대 하나 이상의 메시지들을 이용하여, 커맨드 값을 생성 및 송신하여 객체를 제어한다(동작(620)). 일부 구현예들에서, 하나 이상의 메시지들은 객체에 의해 광고되거나 또는 달리 그와 연관된 식별자에 기초하여 객체로 송신될 수 있다.
방법(600)의 일부 실시예들에서, 추가적인, 상이한, 그리고/또는 더 적은 동작들이 있을 수 있다. 더욱이, 동작들의 순서는 변경될 수 있고/있거나 둘 이상의 동작들이 단일 동작으로 조합되거나 동시에 수행될 수 있다.
사용자-인터페이스 기법의 실시예들은 도 7에 추가로 도시되는데, 이는 무선 통신 디바이스(110)와 물리적(또는 전자) 디바이스(112)(이는 예시적인 예로서 사용됨) 사이의 통신을 도시한 도면(700)을 제시한다. 사용자는, 예컨대 무선 통신 디바이스(110)를 물리적 디바이스(112)를 향해 지향시키거나 배향시킴으로써(710), 의도 제스처(708)를 수행할 수 있다. 일부 구현예들에서, 의도 제스처(708)는 배향 컴포넌트 및 모션 컴포넌트 양측 모두를 포함할 수 있는데, 예컨대 모션은 무선 통신 디바이스(110)를 물리적 디바이스(112)를 향해 전진시킨다. 무선 통신 디바이스(110) 내의 프로세서(714)는, 예컨대 하나 이상의 센서들(712)(예컨대, 자이로스코프, 가속도계, 및/또는 나침반)에 의해 측정된 바와 같은 배향(710) 및 임의의 다른 연관된 모션에 기초하여, 의도 제스처(708)를 식별할 수 있다. 의도 제스처(708)는 사용자 의도로서 해석되어 물리적 디바이스(112)를 제어하게 할 수 있다.
무선 통신 디바이스(110) 내의 인터페이스 회로(718)는 물리적 디바이스(112) 내의 인터페이스 회로(716)에 의해 송신된 패킷(720)(또는 프레임)을 수신한다. 패킷(720)은 물리적 디바이스(112)와 연관된 식별자(722)를 포함한다. 또한, 패킷(720)은 패킷(720)의 송신 시간을 특정하는 정보를 포함할 수 있다. (패킷(720)을 전달한 무선 신호들의 전파 속도에 기초한) 패킷(720)의 판정된 도착 시간과 함께, 인터페이스 회로(718)(또는 프로세서(714))는 물리적 디바이스(112)까지의 거리(724)를 판정할 수 있다. 추가로 또는 대안으로, 무선 통신 디바이스(110)는 하나 이상의 다른 패킷들을 물리적 디바이스(112)와 통신시켜 무선 레인징 동작을 수행할 수 있다. 식별자(722) 및/또는 거리(724)에 기초하여, 프로세서(714)는 물리적 디바이스(112)를 식별할 수 있다.
또한, 커맨드 또는 커맨드 값에 대응하는 액션 제스처가 무선 통신 디바이스(110)에서 수행될 수 있다. 하나 이상의 센서들(712)은 액션 제스처 동안에 센서 데이터(726)를 측정하고, 측정된 센서 데이터를 메모리(728)에 저장할 수 있다. 프로세서(714)는 (예컨대, 센서 데이터(726)를 센서들(712)로부터 수신하고/하거나 그를 메모리(728)로부터 검색함으로써) 그에 액세스할 수 있고, 센서 데이터(726)를 해석하여 액션 제스처에 대응하는 커맨드 값(730)을 판정할 수 있다. 또한, 인터페이스 회로(718)는 커맨드 값(730)을 포함하는 패킷(732)을 인터페이스 회로(716)로 송신할 수 있다. 패킷(732)을 수신할 시, 물리적 디바이스(112)는 커맨드 값(730)을 구현할 수 있다.
증강 현실
도 8은 무선 레인징을 이용하여 환경 내에서 객체의 위치를 확인하는 일례를 도시한 도면(800)을 제시한다. 구체적으로, 도 1에서의 환경(108) 내의 무선 통신 디바이스(110)에 근접해 있는 물리적 디바이스(112)는 물리적 디바이스(112)와 연관된 식별자를 갖는 패킷(또는 프레임)을 송신할 수 있다. 이어서, 무선 통신 디바이스(110)는 식별자를 포함하는 이러한 송신물을 수신할 수 있다.
예를 들어, 식별자는 물리적 디바이스(112)의 (그리고, 그에 따른, 물리적 디바이스(112)의 사용자의) 일반 또는 고유 식별자일 수 있다. 대안으로, 식별자는 물리적 디바이스(112)에 대응하는 하기와 같은 리소스 종류와 연관될 수 있다: 운송 리소스, 공유 컴퓨팅 리소스(예컨대, 프린터), 의료 리소스, 디스플레이 리소스, 보안 리소스, 액세스가능성 리소스, 또는 안전성 리소스. (예컨대, 사용자가 물리적 디바이스(112)와 근접하여 이용가능하거나 그와 연관된 특정 아이템을 구매하기를 원하는 경우) 식별자는 검색 결과 또는 원하는 금융 트랜잭션과 함께 수신되었을 수 있음에 유의한다. 구체적으로, 무선 통신 디바이스(110)의 사용자가 (예컨대, 검색 엔진을 이용하여) 리소스 종류에 대한 검색을 수행하고 송신물이 수신된 경우, 무선 통신 디바이스(110)는, 하기에서 추가로 기술되는 바와 같이, 식별자가 수신될 때 물리적 디바이스(112)에 관련된 위치 정보를 디스플레이할 수 있다. 대안으로 또는 추가로, 식별자는 무선 통신 디바이스(110)의 사용자의 연락처, 예컨대 사용자의 친구 또는 동료(즉, 사용자가 이미 알고 있는 누군가), 또는 도 1에서의 환경(108)에서 사용자가 미팅할 것으로 추정되는 누군가(사용자가 알 수 있거나 또는 알지 못할 수도 있는 사람)에 대응할 수 있다. 예를 들어, 미팅을 용이하게 하기 위해, 당사자들 중 어느 한 명 또는 두 명 모두가 미리 식별자를 제공할 수 있는데, 식별자에 대해서는, 이어서, 각자의 디바이스들이 모니터링할 수 있다.
일부 실시예들에서, 식별자는 무선 통신 디바이스(110) 상에 저장된(또는 원격으로 저장된 데이터 구조에서 액세스될 수 있는) 다른 사람(예컨대, 물리적 디바이스(112)와 연관됨)에 대한 지속적인 연락처 정보와 연관될 수 있다. 이어서, 이러한 식별자가 무선 통신 디바이스(110)에 의해 검출되는 경우, 식별자에 대응하는 사람의 존재 및 아이덴티티를 시그널링하는 표시자가 제공될 수 있다. 대안으로, 식별자는 과도적이거나 임시적일 수 있는데, 예컨대 식별자는 무선 통신 디바이스(110) 또는 물리적 디바이스(112) 상에서 실행되는 애플리케이션에 의해 할당된다. 예를 들어, 합승 애플리케이션이, 식별자를 무선 통신 디바이스(110)에 임시적으로 할당할 수 있는데, 이 디바이스는 식별자를 이어서 브로드캐스팅할 수 있다. 또한, 합승 애플리케이션은 과도적인 식별자를, 할당된 운전자(예컨대, 물리적 디바이스(112))에게 대응하는 디바이스에 제공하여 픽업을 가능하게 할 수 있다. 유사하게, 운전자의 디바이스에 대응하는 (지속적인 또는 과도적인) 식별자가 무선 통신 디바이스(110)에 제공되어 운전자를 검증하게 할 수 있다. 과도적인 식별자는 사전결정된 시간, 예컨대 1시간 후, 또는 트랜잭션의 완료 시에 만료될 수 있다. 임의의 수의 지속적이고 과도적인 식별자가 디바이스 또는 객체와 연관되어, 예컨대 다양한 시나리오들에 걸친 식별을 가능하게 할 수 있다.
더욱이, 식별자가 시간 경과에 따라 변화되어 사용자의 프라이버시를 보호하고 보안을 제공하게 할 수 있다. 구체적으로, 식별자는 도 1에서의 네트워크(124)(예컨대, 인터넷)를 통해 클라우드 기반 서버(126)에 의해 할당될 수 있으며, 주기적으로(예를 들어, 소정 시간 간격, 예컨대 5분이 경과된 후에) 업데이트될 수 있거나, 또는 예컨대, 소정 트랜잭션과 연관된 1회용 식별자일 수 있다. 일부 실시예들에서, 식별자는, 예컨대 물리적 디바이스(112)에 지속적으로 할당될 수 있는 익명의 식별자이다. 그러나, 익명의 식별자는, 예컨대 국부적으로 저장된 연관성에 기초하여, 익명의 식별자를 분석할 수 있는 하나 이상의 연락처들에 알려져 있을 수 있다. 전자 디바이스들은 주기적으로 송신될 수 있는 여러 개의 식별자들을 갖도록 구성될 수 있음에 유의한다. 이러한 마지막 능력은 전술한 실시예들 중 하나 이상에서 사용될 수 있다.
식별자를 수신한 것에 응답하여, 무선 통신 디바이스(110)는 식별자를 로컬(또는 원격) 메모리 내의 하나 이상의 저장된 타깃 식별자들과 비교하여, 매칭을 판정할 수 있다. 이어서, 무선 레인징을 이용하여, 무선 통신 디바이스(110)는 무선 통신 디바이스(110)로부터 물리적 디바이스(112)의 범위(또는 거리)(810) 및/또는 물리적 디바이스(112)로의 방향(812)을 판정할 수 있다. 대안으로 또는 추가로, 무선 통신 디바이스(110)는 무선 통신 디바이스(110)의 메트릭(예컨대, RSSI) 및/또는 배향에 기초하여 범위(810) 및/또는 방향(812)을 판정할 수 있다. 무선 레인징은, 예컨대 하기에서의 또는 그 내의 하나 이상의 주파수 대역들에서 또는 그들 내에서 수행될 수 있음에 유의한다: 2 ㎓ 무선 대역, 5 ㎓ 무선 대역, ISM 대역, 60 ㎓ 무선 대역, 초광대역 등.
전력 소모를 감소시키기 위해, 무선 통신 디바이스(110) 및/또는 물리적 디바이스(112)는, 그들이 근접지 내에 있을 때, 예컨대 그들이 둘 모두 도 1에서의 환경(108) 내에 있을 때(그리고, 보다 일반적으로, 그들이 지오펜스 영역 내에 있을 때) 그리고/또는 무선 통신 디바이스(110) 및/또는 물리적 디바이스(112)의 사용자들 사이의 약속 또는 미팅 시간에 기초하여, 고유 또는 일반 식별자(들)만을 송신할 수 있거나, 또는 고유 또는 일반 식별자(들)만을 수신하려고 시도할 수 있다. 예를 들어, 저전력 블루투스 수신기는, 예컨대 물리적 디바이스(112)로부터, 식별자를 포함하는 메시지를 수신하는 데 이용될 수 있다. 이러한 메시지를 수신한 것에 기초하여, 무선 통신 디바이스(110)는 하나 이상의 수신기들을 웨이크업시킬 수 있고, 무선 레인징을 개시하여, 무선 통신 디바이스(110)가 물리적 디바이스(112)까지의 범위(810) 및/또는 방향(812)을 판정할 수 있게 할 수 있다. 일부 구현예들에서, 무선 통신 디바이스(110)는, 또한, 물리적 디바이스(112)로부터 고유 식별자를 갖는 메시지를 수신할 수 있다.
다음, 도 9 내지 도 15를 참조하여 하기에서 추가로 기술되는 바와 같이, 무선 통신 디바이스(110)는 객체, 예컨대 물리적 디바이스(112)까지의 범위 및/또는 방향을 나타내는 출력 정보를 제시할 수 있다.
일부 실시예들에서, 물리적 디바이스(112)가 무선 통신 디바이스(110)와 동일한 환경(108)(도 1), 예컨대 (인접 또는 이웃한 방이 아니라) 동일한 방 안에 있는지 여부를 판정하기 위해, 주변 소리가 무선 통신 디바이스(110)에 의해 이용될 수 있다. 예를 들어, 물리적 디바이스(112)에 의해 기록된 주변 소리 - 이는, 무선 통신 채널(예컨대, WLAN)을 통해 무선 통신 디바이스(110)와 공유됨 - 는 무선 통신 디바이스(110)에 의해 측정되는 주변 소리와 비교될 수 있다. 주변 소리 측정치들이 유리하게 비교되는 경우, 무선 통신 디바이스(110) 및 물리적 디바이스(112)는 동일한 방 안에 있는 것으로 판정될 수 있다. 대안으로 또는 추가로, 무선 통신 디바이스(110)는, 물리적 디바이스(112)에 의해 검출될 수 있고/있거나 모니터링될 수 있고/있거나 기록될 수 있는 하나 이상의 음향 처프들 또는 소리들(이는, 인간이 들을 수 있는 범위 밖에 있는 주파수들의 대역에 있거나 그 대역 내에 있을 수 있음)를 출력할 수 있다.
보다 일반적으로, 무선 통신 디바이스(110)에 의해 수행되는 하나 이상의 측정들은 환경(108)(도 1) 내의 하나 이상의 잠재적 타깃 디바이스들을 명확히 구별하기 위해, 예컨대 물리적 디바이스(112)를 하나 이상의 다른 디바이스들/객체들로부터 구별하는 데 이용될 수 있다. 예를 들어, 무선 통신 디바이스(110)와 대면하는 사용자의 타깃 디바이스는 동일한 배향, 상이한 높이, 및/또는 동일하거나 상이한 RSSI를 가질 수 있다. 식별자 및/또는 범위(310)와 함께, 하나 이상의 측정들이 물리적 디바이스(112)를 식별하는 데 이용될 수 있다. 더욱이, 전술된 바와 같이, 잠재적 타깃 디바이스는 주변 소리에 기초하여 배제될 수 있는데, 이는 그것이 누군가의 주머니 속에 있고, 그에 따라, 정보의 페어링 또는 공유에 관심이 있을 가능성이 적음을 나타낼 수 있다.
고도계 또는 도착 정보의 도래각은, 또한, 가능성이 있는 관심 영역 밖의, 예컨대 테이블 아래 또는 주머니/가방 속의 잠재적 타깃 디바이스들을, 그들이 위치확인될 후보들일 가능성이 없는 경우에 배제시키는 데 이용될 수 있다. 다른 예에서, 초음파 처프들 또는 60 ㎓ 송신물이 이용되어, 일차 라디오 범위 또는 무선 근접지 내에 있지만 관련 물리적 공간 또는 물리적 근접지 밖에 위치된 잠재적 타깃 디바이스들을 배제시킬 수 있다(예컨대, 배제된 잠재적 타깃 디바이스들은 상이한 방 안에 있을 수 있음).
그러나, 다수의 잠재적 타깃 디바이스들이 이러한 방식들 중 하나 이상으로 분리될 수 없는 경우, 무선 통신 디바이스(110)의 사용자에게는 식별된 잠재적 타깃 디바이스들의 세트 중에서 선택할 것이 요청될 수 있다. 예를 들어, 잠재적 타깃 디바이스들의 리스트를 갖는 사용자 인터페이스가 무선 통신 디바이스(110)의 디스플레이 상에 제시될 수 있고, 디바이스가 사용자 입력을 통해 선택될 수 있다.
물리적 디바이스(112)가 전술한 논의에서 예시적인 예로서 사용되지만, 다른 실시예들에서, 환경(108)(도 1) 내의 객체는 가상 표현, 예컨대 도 1에서의 물리적 디바이스(118)의 가상 표현(114)일 수 있다. 예를 들어, 가상 표현은 방 안의 또는 도 1에서의 환경(108) 내의 사전정의된 물리적 위치(예컨대, 도 1에서의 물리적 위치(116))에 있는 물리적 디바이스에 대한 대용물일 수 있다. 사전정의된 물리적 위치(및, 보다 일반적으로, 3차원 공간 내의 사전정의된 물리적 위치)는 사용자가, 예컨대 트레이닝 프로세스 동안에 무선 통신 디바이스(110)를 통해, 예를 들어, 무선 통신 디바이스(110)를 물리적 위치에 근접하게 가져오거나 터치시키고, 무선통신 디바이스(110) 상의 터치 감응형 디스플레이 상에 디스플레이된 사용자 인터페이스 내의 가상 커맨드 아이콘을 활성화시킴으로써, 또는 무선 통신 디바이스(110)를 물리적 위치에 터치시키고, 무선 통신 디바이스(110)에 의해 모니터링되고 음성 인식 기법을 이용하여 해석되는 커맨드 또는 명령어를 구두로 진술함으로써 특정되었을 수 있음에 유의한다.
이제, 환경 내의 객체(예컨대, 물리적 디바이스(112))의 판정된 위치에 기초하는 디스플레이된 정보의 예들을 설명한다. 도 9는 환경 내의 근접 영역의 지도(910)(및, 보다 일반적으로, 환경의 그래픽 표현)를 디스플레이하는 디스플레이(908) 상의 사용자 인터페이스(900)의 일례를 도시한 도면을 제시한다. 사용자가 그의 손바닥으로 무선 통신 디바이스(110)를 잡는 경우, 지도(910)가 디스플레이될 수 있다. 지도(910)는 객체, 예컨대 물리적 디바이스(112)의 포지션을 표현하는 표시자(912)를 포함할 수 있다. 일부 구현예들에서, 단독으로, 표시자(912)의 포지션은 대응하는 객체에 판정된 범위 및/또는 방향을 전달할 수 있다. 일부 다른 구현예들에서, 판정된 범위 및/또는 거리를 나타내는 추가 정보가 또한 지도(910)와 함께 제시될 수 있다.
지도(910)는 무선 통신 디바이스(110) 주위의 환경에서 객체들(예컨대, 물리적 디바이스(112)) 및 그들의 상대적 위치(들)에 관한 직관적인 상황 인식을 제공할 수 있다. 예를 들어, 사용자-인터페이스 기법은 사용자가 환경 내의 리소스들, 예컨대 소화기, 구급 상자, 자동 체외세동기, 비상구, 및/또는 의료 트레이닝을 갖는 누군가를 식별하게 할 수 있다. 대안으로 또는 추가로, 사용자-인터페이스 기법은, 예컨대 이동 경로 상에서 앞선 전자 디바이스가 이벤트(예컨대, 급작스러운 감속)를 경험할 때, 근접 객체들에 관한 동적 위치 정보를 제공할 수 있다. 이러한 전자 디바이스에 근접한, 예컨대 이동 경로 상의 하나 이상의 전자 디바이스들에는 이벤트가 통지될 수 있다.
도 10은 사용자 인터페이스(1000)의 일례를 도시한 도면을 제시한다. 사용자 인터페이스(1000)는 무선 통신 디바이스(110)의 디스플레이(908) 상에 제시되며, 무선 통신 디바이스(110)의 이미지 센서(예컨대, CMOS 또는 CCD 이미징 센서, 및, 보다 일반적으로는, 카메라)에 의해 캡처된 바와 같은, 근접 영역의 이미지(1010)를 디스플레이할 수 있다. 무선 통신 디바이스(110)는, 또한, 객체, 예컨대 물리적 디바이스(112)를 표현하는 이미지(1010) 상에 오버레이된 주석(annotation) 또는 표시자(1012)(이는, 도 9에서의 표시자(912)와 동일할 수 있거나 또는 상이할 수 있음)를 디스플레이할 수 있다. 객체는 무선 통신 디바이스(110)가 무선 송신물 내의 식별자를 수신한 것에 대한 결과로서 식별되었을 수 있다. 표시자(1012)(및/또는 도 9에서의 표시자(912))는, 대응하는 객체가 무선 통신 디바이스(110)의 시각적 범위 내에 있거나 또는 달리 그에 가시적인지 여부와 무관하게 디스플레이될 수 있음에 유의한다. 예를 들어, 표시자(1012)는, 무선 통신 디바이스(110)의 사용자가, 보기 어렵거나 아직 볼 수 없는 객체의 위치를 확인하는 것을 돕기 위해 제시될 수 있다.
그 결과, 사용자-인터페이스 기법은 증강 현실을 포함할 수 있거나, 또는 그를 이용할 수 있다. 구체적으로, 무선 레인징을 이용하여 판정된 위치 정보(예컨대, 범위 및/또는 방향)는 주변 환경의 이미지들 상에 오버레이될 수 있다. 이러한 증강 현실은 추가된 지능을 제공하여, 무선 통신 디바이스(110)의 사용자가 인근의 사물들, 위치들, 리소스들, 및/또는 사람들을 식별하는 것을 도울 수 있다. 예를 들어, 이러한 접근법은 하기에서 사용자를 돕는 데 이용될 수 있다: 사용자가 미팅하고 있는 사람을 위치확인하는 것(사람 기반), 응급 처치 또는 무선 커버리지와 같은 리소스들을 위치확인하는 것(리소스 기반), 및/또는 빌딩 또는 거리와 같은 위치 기반 검색의 결과들을 찾는 것(검색 기반). 무선 통신 디바이스(110) 상의 디스플레이는 관심 아이템들을 보여주기 위해 증강되는 카메라 입력을 포함할 수 있다.
따라서, 사용자가 붐비는 환경 내에 있고 그가 무선 통신 디바이스(110)를 들고 있는 경우, 사용자가 찾고 있는 사람(또는, 그의 연관된 전자 디바이스, 예컨대 물리적 디바이스(112))을 향해 무선 통신 디바이스(110)가 배향되거나 지향될 때 그 사람의 이미지가 환경의 이미지 상에 디스플레이될 수 있다. 게다가, 도 16을 참조하여 하기에서 추가로 기술되는 바와 같이, 사용자가 (예컨대, 무선 통신 디바이스(110)의 측정된 배향에 기초하여) 회전 또는 선회함에 따라, 사용자가 올바른 방향 - 예컨대, 그가 찾고 있는 사람, 객체, 또는 리소스의 방향 - 으로 대면하고 있을 때, 그의 연관된 스마트워치 또는 다른 그러한 웨어러블 디바이스가 햅틱 피드백, 예컨대 '탭핑'(또는 오디오 출력과 같은 다른 타입의 피드백)을 제공할 수 있다. 그 결과, 사용자-인터페이스 기법은 붐비는 환경에서도, 그리고 사용자가 자신이 찾고 있는 사람을 이전에 만나지 않았을 때에도, 소셜 상호작용 및 미팅을 가능하게 할 수 있다.
일부 실시예들에서, 무선 통신 디바이스(110)는 상이한 사용자 인터페이스 모드들 사이에서 자동으로 토글링 또는 스위칭한다. 이것은 도 11에 도시되어 있는데, 이는 무선 통신 디바이스(110)의 배향에 기초한 사용자 인터페이스의 상이한 모드들의 일례를 도시한 도면을 제시한다. 구체적으로, 무선 통신 디바이스(110)의 사용자가 디바이스 배향을 변화시킴에 따라, 자이로스코프 또는 가속도계가 배향 값의 변화를 측정할 수 있다. 이어서, 측정된 배향 값에 기초하여, 무선 통신 디바이스(110)는 지도(910)(도 9)를 디스플레이하는 것과 이미지(1010)(도 10)를 디스플레이하는 것 사이에서 선택적으로 전이할 수 있다. 따라서, 무선 통신 디바이스(110)가 수평으로 배향되는 경우, 예컨대 사용자의 손바닥 안에 있는 경우, 지도(910)(도 9)를 보여주는 지도 뷰(1110)가 디스플레이될 수 있다. 무선 통신 디바이스(110)가 수직으로 배향되는 경우, 예컨대 물리적 디바이스(112)의 방향과 대면하는 경우, 이미지(1010)(도 10)를 보여주는 카메라 뷰(1112)가 디스플레이될 수 있다. 지도 뷰(1110) 인터페이스 모드와 카메라 뷰(1112) 인터페이스 모드 사이의 전이는 하나 이상의 센서 입력들이 임계량을 초과하는 배향 변화를 나타낼 때 개시될 수 있다. 대안으로 또는 추가로, 지도 뷰(1110)는 물리적 디바이스(112)가 사용자의 시각적 범위 밖에 있을 때 디스플레이될 수 있고, '카메라 뷰'(1112)는 물리적 디바이스(112)가 시각적 범위 내에 있을 때 디스플레이될 수 있다. 이러한 방식으로, 사용자는 무선 통신 디바이스(110)의 배향을 변화시킴으로써 두 가지 사용자-인터페이스 모드들 사이에서 직관적으로 토글링 또는 전이할 수 있다.
대안으로, 일부 실시예들에서, 무선 통신 디바이스(110)의 사용자는 사용자-인터페이스 모드를 수동으로 선택하거나 특정할 수 있다. 이것은 도 12에 도시되어 있는데, 이는 사용자 인터페이스(1200)의 상이한 모드들의 일례를 도시한 도면을 제시한다. 예를 들어, 가상 아이콘(708)의 스트라이크 영역 내에서 무선 통신 디바이스(110)의 터치 감응형 디스플레이에 터치 입력을 제공함으로써, 사용자는 지도(1210)가 예컨대, 무선 통신 디바이스(110) 주위의 360o 관점을 보여주는 지도 뷰를 선택할 수 있다. 지도(1210)는 표시자들(예컨대, 표시자(1216)), 예컨대 텍스트, 썸네일, 심볼, 이모티콘, 또는 그래픽 아이콘 중 임의의 것/전부에 의해 표현되는 상이한 범위들 및 방향들(예컨대, 범위(1212) 및 방향(1214))에서 하나 이상의 객체들(예컨대, 물리적 디바이스(112))를 묘사할 수 있다. 더욱이, 사용자는, 이미지(1010)(도 10)와 같은 이미지가 디스플레이되며, 무선 통신 디바이스(110)가 수직으로 배향되고 물리적 디바이스(112)를 향하는 방향(1214)으로 대면하고 있을 때 물리적 디바이스(112)가 표시자(1012)(예컨대, 텍스트, 썸네일, 심볼, 이모티콘, 또는 그래픽 아이콘 중 임의의 것/전부)에 의해 표현되는 이미지 뷰를 선택할 수 있다.
일부 실시예들에서, 사용자-인터페이스 기법은 증강 현실 상에서의 추가 변화들을 포함할 수 있다. 예를 들어, 사용자 인터페이스(1310)에서 증강 현실의 일례를 도시한 도면을 제시하는 도 13에 도시된 바와 같이, 무선 통신 디바이스(110) 상의 전면 카메라가 무선 통신 디바이스(110)의 전방에 있는 환경의 이미지들(또는 비디오)을 캡처할 수 있다. 이미지들(예컨대, 이미지(1312))은, 무선 통신 디바이스(110)가 객체(들)의 방향과 대면하고 있을 때 객체들(예컨대, 물리적 디바이스(112))을 표현하는 하나 이상의 표시자들(1314)과 함께 무선 통신 디바이스(110) 상에 디스플레이될 수 있다. 그 결과, 무선 통신 디바이스(110)는 추가 정보로 증강되는 방식으로 사용자 앞에 환경을 제시한다. 표시자들(1314)은 이미지(1312) 내에 포지셔닝되어, 그들이 환경(108) 내에서 그들의 대응하는 객체들의 각자의 위치들을 표현하게 할 수 있음에 유의한다. 또한, 표시자들(1314)은 대응하는 객체들에 대해 상대적 범위들에 관한 직관적 정보를 배경도에 제공하도록 크기조정될 수 있다. 따라서, 무선 통신 디바이스(110)로부터 (그리고, 그에 따라, 사용자로부터) 더 멀리 있는 객체들은 무선 통신 디바이스(110)에 더 가까운 객체들보다 더 작은 표시자들에 의해 표현될 수 있다.
도 14는 뷰 외부에 위치될 수 있는 객체들을 묘사하는 것을 포함하여, 환경 내의 객체들에 관한 확장된 상황 인식의 일례를 도시한 도면을 제시한다. 구체적으로, 객체, 예컨대 물리적 디바이스(112)가 불투명한 장벽, 예컨대 벽의 타측 상에 위치되는 경우, 하나 이상의 이미지들(1410)은 무선 통신 디바이스(110)의 사용자 인터페이스(1400)에서 디스플레이되어, 불투명한 장벽이 거기에 없던 것처럼(또는 사용자가 불투명한 장벽을 통해서 볼 수 있던 것처럼) 사용자가 물리적 디바이스(112)를 보게 할 수 있다 예를 들어, 사용자가 다른 방 안에 있는 리소스(예컨대, 프린터)를 찾고 있는 경우, 사용자가 무선 통신 디바이스(110)를 리소스의 방향으로 지향시킬 때, 리소스를 묘사한 이미지(1410)가 사용자 인터페이스(1400)에서 디스플레이될 수 있다. 일부 구현예들에서, 이미지(1410)는 리소스, 예컨대 물리적 디바이스(112)에 관한 추가 정보를 포함할 수 있다. 예를 들어, 추가 정보는 사용자가 리소스에 물리적으로 또는 가상으로 액세스하게 할 수 있다.
따라서, 사용자 인터페이스는 리소스에 어떻게 도달할 것인지에 대한 명령어들(및 선택적으로, 지도)을 포함할 수 있다. 디스플레이는, 예컨대 객체로부터 식별자를 수신한 것 그리고 범위 및/또는 방향을 판정한 것에 기초하여, 요청된 객체가 어디에 위치되는지를 나타내는 지도를 제시할 수 있다. 대안으로 또는 추가로, 위치 정보는 검색을 통해 얻어질 수 있다. 예를 들어, 요청된 객체가 시각적 범위 밖에 있는 경우, 이러한 접근법은 사용자를 객체에 안내하여, 예컨대 공항을 통해 육상 교통, 세관 등으로 이어지는 길을 보여주는 데 이용될 수 있다. 유사하게, 이러한 접근법은, 지도 또는 디스플레이를, 예컨대 원하는 객체, 리소스, 또는 위치로의 방향들로 증강함으로써 사용자가 쇼핑몰 또는 상점을 통해 이동하는 것을 돕는 데 이용될 수 있다. 게다가, 증강 현실 접근법은 Wi-Fi 커버리지, 예컨대 특정 캐리어 또는 서비스 제공자에 의해 공급되는 커버리지를 갖는 영역들에 주석을 달 수 있다. 증강 정보는 개인별(예컨대, 사용자가 식별 정보, 예컨대 전화번호를 갖고 있는 다른 사람과 미팅함); 검색 단위(예컨대, 사용자가 장소/사물을 검색하고 그에 대한 좌표들을 얻음); 리소스 단위(예컨대, 응급 처치, 보안, 화장실이 그들의 위치, 택시 또는 레스토랑의 위치를 광고할 수 있음), 또는 이들의 조합으로 적용될 수 있음에 유의한다.
대안으로 또는 추가로, 무선 통신 디바이스(110) 상에 디스플레이되는 사용자 인터페이스(1400)에서 물리적 디바이스(112)와 연관된 아이콘 상에서 탭핑함으로써, 사용자는 무선 통신 디바이스(110)에게 물리적 디바이스(112)와 페어링하거나 접속할 것을 명령할 수 있다. 이러한 직관적인 페어링은 이러한 디바이스들이 후속으로 서로 통신하게 할 수 있다. 따라서, 리소스, 예컨대 붐비는 작업공간 내의 컴퓨터가 사용자 인터페이스(1400)에 대한 터치 입력을 통해 선택될 수 있다.
이러한 동작들이 수행되는 경우, 무선 통신 디바이스(110) 및/또는 물리적 디바이스(112)는 사용자 인터페이스(1400)에서 메시지를 디스플레이할 수 있는데, 이는 무선 통신 디바이스(110) 및/또는 물리적 디바이스(112)의 사용자들 중 어느 한 명 또는 두 명 모두가 페어링을 확인하게 한다. 추가로, 물리적 디바이스(112)와의 페어링은 특정된 시간 간격, 예컨대 10분 또는 1시간 동안 이루어질 수 있고, 그 후에 페어링이 깨질 수 있다. 이러한 방식으로, 사용자들 및/또는 리소스들은 페어링 프로세스의 제어를 유지할 수 있는데, 이는, 또한, 페어링이 (동일한 방과 같은) 동일한 환경 내에 있는 물리적 디바이스와의 것임을 확인함으로써 페어링이 안전함을 보장하는 것을 도울 수 있다. 이러한 방식으로, 사용자는 상이한 디바이스를 위장하고 있거나 달리 흉내내고 있는 인근 디바이스와의 의도치 않은 페어링을 회피시킬 수 있다. 이러한 접근법은, 또한, 정보 공유 및/또는 페어링의 복잡도를 감소시키는 것을 도울 수 있다. 예를 들어, 패스워드들은 페어링 프로세스 동안에 필요하지 않을 수도 있다. 일부 실시예들에서, 전술된 가상 페어링 동작 이후, 디바이스들, 예컨대 무선 통신 디바이스(110) 및 물리적 디바이스(112)가 암호화 키들을 교환할 수 있다.
다른 예에서, 무선 통신 디바이스(110)는 페어링할 객체의 방향으로 지향될 수 있다. 무선 통신 디바이스(110)의 카메라는 그 방향 내의 모든 객체들의 이미지를 캡처할 수 있고, 페어링 후보들을 보여주는 선택가능한 온-스크린 표시자를 제공할 수 있다. 예를 들어, 객체들은 연관된 무선으로 송신된 식별자들 및 하나 이상의 레인징 동작들에 적어도 부분적으로 기초하여 판정될 수 있다. 사용자는, 온-스크린 표시자를 사용하여, 페어링할 아이템(및 프로토콜)을 선택할 수 있다.
도 15에 도시된 바와 같이, 사용자-인터페이스 기법은, 또한, 리마인더들을 제공하고/하거나 환경 내의 객체들을 추적하는 데 이용될 수 있다. 예를 들어, 사용자-인터페이스 기법은 사용자가 환경 내의 객체들(예컨대, 물리적 디바이스(112))의 위치를 추적하거나 환경 내의 관련 객체들의 그룹들에 관한 리마인더들을 얻게 할 수 있다. 이러한 방식으로, 부모가 아동을 추적할 수 있거나, 또는 사람이 하나 이상의 객체들을 잊지 않도록 보장할 수 있다.
일부 실시예들에서, 사용자는 태깅된 관련 아이템들(예컨대, 텐트 및 연관된 텐트 기둥들)의 그룹을 번들링한다. 모든 아이템들이 그룹에 존재하지 않는 경우, 예컨대 사용자가 아이템을 잊는 경우, 경고와 같은 피드백이 사용자에게 제공된다. 더욱이, 사용자-인터페이스 기법은 고유 식별자로 태깅된 아이템들을 추적하는 데 이용될 수 있다. 예를 들어, 카메라는 공연 동안 무대 위의 아동을 추적하도록 구성될 수 있다. 유사하게, 사용자-인터페이스 기법은 사용자가 소정 영역을 떠날 때 사용자에게 추적된/태깅된 아이템들을 남겨두지 말 것을 리마인드하는 데 이용될 수 있다. 예를 들어, 리마인더는 우산이 임계 거리를 초과하여 떨어지는 경우에 발행될 수 있다. 또한, 기법들은, 영역 내의 아이템들의 위치/이동을 추적하고 게이밍 목적(예컨대, 가상 페인트볼)을 위해 사용자들을 추적하고 등등을 하는 데 이용될 수 있다. 예를 들어, 사용자가 태깅된 아이템으로부터 사전정의된 거리를 초과하여 이동하는 경우, 그는 리마인더를 수신할 수 있다. 보다 일반적으로, 기법들은 사용자가 보는 것들 또는 사용자가 할 필요가 있는 것들, 예컨대 이름, 심부름 등에 관하여 사용자에게 리마인드하는 데 증강 현실의 사용을 수반할 수 있다.
전술된 바와 같이, 리마인더 기능은 환경(108) 내에서 관심 객체(예컨대, 물리적 디바이스(118)) 내에 포함되거나 그에 근접한 하나 이상의 선택적 태그들, 예컨대 선택적 태그(1510)에 의해 가능해질 수 있다. 구체적으로, 선택적 태그(1510)는 OTA로 전력을 획득할 수 있고(예컨대, 그것은 24 ㎓에서 신호들을 수신할 수 있음), 처프 또는 (예컨대, 60 ㎓에서의) 단거리 송신을 통해 통신할 수 있다. 이러한 통신은, 예컨대 100 ft에 이르는 범위를 가질 수 있고, 지향성일 수 있다. 24 ㎓ 전력 신호는, 또한, 신호 상에 인코딩된 식별자를 포함할 수 있다. 선택적 태그(1510)가 신호를 인식하지 않는 경우, 그것은 응답하지 않을 수도 있다. (예컨대, 일단 태그가 전력을 공급받고 동작가능함을 나타낸다면) 선택적 태그(1510)가 시작 펄스에 응답하기 위한 지속시간은 알려질 수 있다. 태그(1510)로부터 신호를 수신하는 무선 통신 디바이스(110)는 도착 위상 및 도래각을 측정하여 방향의 측정을 판정할 수 있고, 알려진 응답 시간에 기초하여 도착 시간 또는 전파 시간을 이용하여 무선 통신 디바이스(110)와 태그(1510) 사이의 범위를 판정할 수 있다.
사용자-인터페이스 기법을 이용하여 환경 내의 사용자 또는 다른 개인들에게 매우 다양한 피드백이 제공될 수 있다. 이것은 도 16에 도시되어 있는데, 이는 사용자 인터페이스와 연관된 상이한 타입들의 피드백의 일례를 도시한 도면을 제시한다. 구체적으로, 판정된 위치 정보의 시각적 디스플레이 외에도, 무선 통신 디바이스(110)는 사용자에게 다른 타입들의 피드백을 제공할 수 있다. 예를 들어, 무선 통신 디바이스(110)는 무선 통신 디바이스(110)를 통해 직접적으로 또는 다른 전자 디바이스(예컨대, 사용자의 스마트워치)를 통해 간접적으로 햅틱 피드백을 제공할 수 있다. 구체적으로, 무선 통신 디바이스(110)는 스마트워치(1610)에게 트랜스듀서(트랜스)(1612)를 통해 햅틱 피드백을 제공할 것을 명령할 수 있다. 이러한 방식으로, 사용자는, 그가 찾고 있는 객체, 예컨대 물리적 디바이스(112)의 방향으로 대면하고 있을 때 피드백을 수신할 수 있다.
추가로, 무선 통신 디바이스(110)는 메시지, 예컨대 텍스트 또는 오디오 메시지를 물리적 디바이스(112)로 송신할 수 있다. 예를 들어, 메시지는, 실질적으로 물리적 디바이스(112)에 대응하는 위치에서만 인지가능한 빔-형성 오디오 메시지(1614)로서 송신되는 오디오 메시지를 포함할 수 있다. 이러한 방식으로, 무선 통신 디바이스(110)의 사용자는 사용자가 범위 내의 다른 개인(예컨대, 사용자가 볼 수 있는 사람)과 연관된 전자 디바이스에 대한 종래의 연락처 정보(예컨대, 전화번호 또는 이메일 주소)를 갖고 있지 않은 경우에도 사적인 메시지를 그 사람에게 전송할 수 있다. 예를 들어, 메시지는 타깃 디바이스로부터 수신된 - 예컨대, 광고 비컨 내의 - 식별자(예컨대, 익명의 식별자)에 기초하여 타깃 디바이스로 지향될 수 있다. 그 결과, 이러한 지향성 통신은 익명일 수 있다. 일부 실시예들에서, 빔-형성 오디오(1614) 메시지는 빌딩 또는 구조물에서의 인프라구조를 통해 송신될 수 있다.
대안으로 또는 추가로, 무선 통신 디바이스(110)는 빔-형성 오디오 메시지를 하기와 같은 유용한 정보와 함께 무선 통신 디바이스(110)의 사용자에게 송신할 수 있다: 환경 내의 사람들의 이름, 심부름 갈 일, 다가오는 약속 등. 따라서, 증강 현실은 지향성 통신을 이용하여 구현되어, 예컨대 무선 통신 디바이스(110)의 사용자에 의해서만 인지될 수 있는 시각적 큐들 및 빔-형성 오디오 메시지들을 통해 환경 내의 사물들을 사용자에게 리마인드하게 할 수 있다.
햅틱 피드백 및/또는 메시지들은 지향성을 확인함으로써 검색 기능을 향상시킬 수 있는데, 예컨대 무선 통신 디바이스(110)가 우측 방향으로 지향될 때 무선 통신 디바이스(110)는 버즈음(buzz) 및/또는 비프음(beep)을 방출할 수 있음에 유의한다. 대안으로 또는 추가로, 햅틱 피드백은 제2 디바이스, 예컨대 연관된 스마트워치로부터 올 수 있다. 제2 디바이스는 햅틱 피드백을 출력하여, 사용자에게 하기와 같은 조건 또는 이벤트를 통지할 수 있다: 무선 통신 디바이스(110)가 찾고 있는 리소스의 방향으로 지향되는 경우; 부른 차량이 접근하고 있는 경우; 보기 어려운 표지판들/주소들을 강조하기 위해; 버스/기차가 사용자가 필요로 하는 것이고, 사용자가 가고 싶어 하는 곳으로 가고 있는 것임을 나타내기 위해, 등등.
일부 실시예들에서, 사용자-인터페이스 기법은 하기와 같은 추가 특징부들을 제공하는 데 이용될 수 있다: 위치 기반의 익명 채팅방; 디바이스 사용자만이 응답들을 인지(예컨대, 청취)할 수 있도록 검색물들에 응답하거나 이메일들을 판독할 수 있는 전자 보조물; 사용자가 방 안의 친구를 갖는지 여부를 판정하기 위함; 등.
도 17은 무선 통신 디바이스, 예컨대 도 1에서의 무선 통신 디바이스(110)를 사용하여 객체의 위치를 확인하기 위한 방법(1700)의 일례를 도시한 흐름도이다. 동작 동안, 무선 통신 디바이스는 무선 통신 디바이스에 근접하게 위치된 객체와 연관된 식별자를 갖는 송신물을 수신한다(동작(1710)). 일부 실시예들에서, 무선 통신 디바이스는, 선택적으로, 수신된 식별자를 하나 이상의 저장된 타깃 식별자들과 비교하여 매칭이 존재하는지 여부를 판정한다(동작(1712)).
무선 통신 디바이스는 무선 통신 디바이스로부터 객체까지의 범위 및/또는 방향을 판정한다(동작(1714)). 범위, 방향, 또는 양측 모두가 적어도 부분적으로 하나 이상의 무선 레인징 기법들을 이용하여 판정된다. 다음, 무선 통신 디바이스는 무선 통신 디바이스로부터의 객체의 범위 및/또는 방향을 나타내는 출력 정보를 제시한다(동작(1716)). 예를 들어, 무선 통신 디바이스는, 객체를 표현하는 제1 표시자를 갖는 지도를 디스플레이하거나 또는 객체를 표현하는 제2 표시자를 갖는 이미지를 디스플레이할 수 있다. 일부 구현예들에서, 무선 통신 디바이스는, 예컨대 객체로부터의 송신물 내에 포함된 식별자를 사용하여, 메시지를 객체로 송신할 수 있다.
방법(1700)의 일부 실시예들에서, 추가의 또는 더 적은 동작들이 있을 수 있다. 예를 들어, 일부 실시예들에서, 무선 통신 디바이스는 식별자를 갖는 송신물을 수신하지 않는다(동작(1710)). 더욱이, 동작들의 순서는 변경될 수 있고/있거나 둘 이상의 동작들이 단일 동작으로 조합될 수 있거나 또는 동시에 수행될 수 있다.
사용자-인터페이스 기법의 실시예들은 도 18에 추가로 도시되는데, 이는 무선 통신 디바이스(110)와 물리적 디바이스(112)(이는 예시적인 예로서 사용됨) 사이의 통신을 도시한 도면을 제시한다. 무선 통신 디바이스(110) 내의 인터페이스 회로(I.C.)(1812)가 물리적 디바이스(112) 내의 인터페이스 회로(1808)로부터 메시지(1810)를 수신할 수 있다. 이러한 메시지는 물리적 디바이스(112)와 연관된 식별자(1814) 및/또는 물리적 디바이스(112)의 사용자를 포함할 수 있다. 식별자(1814)는 프로세서(1818)에 제공된다. 일부 실시예들에서, 프로세서(1818)는 메모리(1822) 내의 하나 이상의 저장된 타깃 식별자들(1820)에 선택적으로 액세스하고, 식별자(1814)를 하나 이상의 저장된 타깃 식별자들(1820)과 선택적으로 비교하여 매칭(1824)이 존재하는지 여부를 판정한다.
이어서, 인터페이스 회로(1812)는 하나 이상의 무선 레인징 및/또는 도래각 기법들을 이용하여 물리적 디바이스(112)로부터의 범위(1826) 및/또는 방향(1828)을 판정할 수 있다. 범위(1826) 및 방향(1828)은 프로세서(1818)에 제공된다.
다음, 프로세서(1818)는 범위(1826) 및/또는 방향(1828)을 나타내는 출력 정보를 제시할 수 있다. 예를 들어, 프로세서(1818)는 디스플레이(1832) 상에, 물리적 디바이스(112)를 표현하는 제1 표시자를 갖는 지도 또는 물리적 디바이스(112)를 표현하는 제2 표시자를 갖는 이미지와 같은 정보(1830)를 디스플레이하거나 또는 그에 디스플레이 명령어들을 제공할 수 있다. 대안으로 또는 추가로, 프로세서(1818)는, 예컨대 햅틱 피드백 정보(1834)를 트랜스듀서(1836)로 전송하여 햅틱 피드백(1838)을 생성함으로써, 다른 타입의 피드백을 선택적으로 제공할 수 있다. 일부 실시예들에서, 프로세서(1818)는 하나 이상의 명령어들(1840)을 인터페이스 회로(1812)에 제공하는데, 이는 식별자(1814)에 기초하여 메시지(1842)(예컨대, 텍스트 메시지)를 물리적 디바이스(112)로 송신한다. 메시지(1842)는 범위(1826) 및/또는 방향(1828) 중 어느 하나 또는 양측 모두를 비롯한, 정보의 하나 이상의 아이템들을 포함할 수 있다.
대표적인 실시예
일부 실시예들에서, 객체를 제어하기 위한, 무선 통신 디바이스로 구현되는 방법은 하기를 포함한다: (i) 무선 통신 디바이스에 의해, 객체를 제어하려는 의도를 나타내는 의도 제스처를 식별하는 단계 - 객체는 무선 통신 디바이스에 근접하게 위치됨 -; (Ii) 무선 통신 디바이스에 의해, 무선 레인징 동작에 적어도 부분적으로 기초하여 의도 제스처와 연관된 객체를 판정하는 단계; (iii) 무선 통신 디바이스와 연관된 하나 이상의 센서들에 의해 생성된 센서 데이터에 액세스하는 단계; (Iv) 센서 데이터를 해석하여 커맨드 값을 판정하는 단계; 및 (v) 커맨드 값을 송신하여 객체를 제어하는 단계.
일부 실시예들에서, 객체는 물리적 객체를 포함한다. 일부 실시예들에서, 물리적 객체는 컴퓨팅 디바이스, 디스플레이, 프린터, 통신 디바이스, 오디오 디바이스, 어플라이언스, 웨어러블 디바이스, 홈오토메이션 디바이스, 환경 제어부, 또는 부속장치를 포함한다. 일부 실시예들에서, 객체는 가상 객체를 포함한다. 일부 실시예들에서, 가상 객체는 상이한 위치에 있는 물리적 객체에 대한 대용물을 포함한다. 일부 실시예들에서, 무선 레인징 동작은 무선 송신 특성을 이용하여 무선 통신 디바이스와 객체 사이의 거리를 판정하는 것을 포함한다. 일부 실시예들에서, 액세스되는 센서 데이터는 무선 통신 디바이스에 대응하는 배향 값을 포함하고, 배향 값은 나침반, 가속도계, 또는 자이로스코프 중 적어도 하나를 사용하여 판정된다. 일부 실시예들에서, 커맨드 값은, 무선 통신 디바이스를 객체와 페어링시키는 커맨드를 포함한다. 일부 실시예들에서, 커맨드 값은 객체의 동작 설정을 변경하는 커맨드를 포함한다. 일부 실시예들에서, 커맨드 값은 기능을 실행시키는 커맨드를 포함한다. 일부 실시예들에서, 방법은 초음파 처프를 이용하여 객체의 근접도를 판정하는 단계를 추가로 포함한다. 일부 실시예들에서, 방법은, 커맨드 값에 응답하여, 객체로부터 센서 값을 포함하는 응답을 수신하는 단계를 추가로 포함한다. 일부 실시예들에서, 커맨드 값은 리소스에의 액세스를 위한 요청을 포함한다.
일부 실시예들에서, 무선 통신 디바이스는, (i) 적어도 하나의 무선 통신 프로토콜을 이용하여 객체와 무선으로 통신하도록 구성된 인터페이스 회로; (Ii) 센서 데이터를 측정하도록 구성된 하나 이상의 센서들; (iii) 인터페이스 회로 및 하나 이상의 센서들에 통신가능하게 커플링되고, 프로그램 모듈을 실행시키도록 구성된 프로세서; 및 (iv) 프로세서에 통신가능하게 커플링되고, 프로그램 모듈을 저장하도록 구성된 메모리를 포함하며, 프로그램 모듈은, 무선 통신 디바이스에 의해, 객체를 제어하려는 의도를 나타내는 의도 제스처를 식별하기 위한 - 객체는 무선 통신 디바이스에 근접하게 위치됨 -; 무선 레인징에 적어도 부분적으로 기초하여, 의도 제스처와 연관된 객체를 판정하기 위한; 하나 이상의 센서들에 의해 생성된 센서 데이터에 액세스하기 위한; 액세스되는 센서 데이터를 해석하여 액션 제스처를 식별하기 위한; 그리고 인터페이스 회로를 사용하여, 액션 제스처에 대응하는 커맨드 값을 송신하여 객체를 제어하기 위한 명령어들을 포함한다.
일부 실시예들에서, 액션 제스처는 복잡한 제스처를 포함한다. 일부 실시예들에서, 객체를 판정하는 것은 추가로, 객체와 연관된 식별자를 수신하는 것에 적어도 부분적으로 기초한다. 일부 실시예들에서, 프로그램 모듈은 객체와의 페어링 동작을 개시하기 위한 명령어들을 추가로 포함한다.
일부 실시예들에서, 무선 통신 디바이스와 함께 사용하기 위한 컴퓨터 프로그램 제품은 비일시적 컴퓨터 판독가능 저장 매체 및 그 안에 임베드되어 객체를 제어하는 컴퓨터 프로그램 메커니즘을 포함하고, 컴퓨터 프로그램 메커니즘은, (i) 무선 통신 디바이스에 의해, 객체를 제어하려는 의도를 나타내는 의도 제스처를 식별하기 위한 명령어들 - 객체는 무선 통신 디바이스에 근접하게 위치됨 -; (ii) 무선 통신 디바이스에 의해, 무선 레인징에 적어도 부분적으로 기초하여 의도 제스처와 연관된 객체를 판정하기 위한 명령어들; (iii) 무선 통신 디바이스에 의해, 무선 통신 디바이스와 연관된 하나 이상의 센서들에 의해 생성된 센서 데이터에 액세스하기 위한 명령어들; (iv) 액세스되는 센서 데이터를 해석하여 액션 제스처를 판정하기 위한 명령어들; 및 (v) 액션 제스처에 대응하는 커맨드를 송신하여 객체를 제어하기 위한 명령어들을 포함한다.
일부 실시예들에서, 객체를 판정하기 위한 명령어들은, 무선 통신 디바이스와 연관된 하나 이상의 센서들에 의해 생성된 센서 데이터에 적어도 부분적으로 기초하여 무선 통신 디바이스의 배향을 판정하기 위한 명령어들을 추가로 포함한다. 일부 실시예들에서, 객체를 판정하기 위한 명령어들은, 무선 통신 디바이스의 배향 및 무선 레인징에 적어도 부분적으로 기초하여 다른 객체를 무시하기 위한 명령어들을 추가로 포함한다.
일부 실시예들에서, 객체의 위치를 확인하기 위한, 무선 통신 디바이스로 구현되는 방법은, 무선 통신 디바이스가, (i) 무선 통신 디바이스에 근접하게 위치된 객체와 연관된 익명의 식별자를 포함하는 송신물을 수신하는 단계; (ii) 무선 통신 디바이스로부터 객체의 범위 및 방향을 판정하는 단계 - 범위 및 방향은 적어도 부분적으로 무선 레인징 동작을 이용하여 판정됨 -; 및 (iii) 범위 및 방향에 적어도 부분적으로 기초하여 객체의 위치를 나타내는 출력 정보를 제시하는 단계를 포함한다.
일부 실시예들에서, 출력 정보를 제시하는 것은, 무선 통신 디바이스의 디스플레이 상에, 근접 영역의 지도를 디스플레이하는 것, 및 지도 상에, 객체의 위치를 표현하는 표시자를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 표시자는 객체가 무선 통신 디바이스의 시각적 범위 내에 있는지와는 무관하게 디스플레이된다. 일부 실시예들에서, 출력 정보를 제시하는 것은, 무선 통신 디바이스의 디스플레이 상에, 무선 통신 디바이스의 이미지 센서에 의해 캡처된 근접 영역의 이미지를 디스플레이하는 것, 및 이미지 상에, 객체의 위치를 표현하는 표시자를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 표시자는 객체가 무선 통신 디바이스의 시각적 범위 내에 있는지와는 무관하게 디스플레이된다. 일부 실시예들에서, 객체와 연관된 익명의 식별자는 과도적인 식별자를 포함한다. 일부 실시예들에서, 객체와 연관된 익명의 식별자는 객체에 대응하는 리소스 종류를 식별한다. 일부 실시예들에서, 방법은, 수신된 익명의 식별자를 하나 이상의 저장된 타깃 식별자들과 비교하여 매칭을 판정하는 단계를 추가로 포함한다. 일부 실시예들에서, 하나 이상의 저장된 타깃 식별자들은 검색 결과와 함께 수신되었다. 일부 실시예들에서, 하나 이상의 저장된 타깃 식별자들 중 적어도 하나는 무선 통신 디바이스에 저장된 연락처에 대응한다. 일부 실시예들에서, 출력 정보를 제시하는 것은, 무선 통신 디바이스의 배향에 기초하여, 객체를 표현하는 제1 표시자를 포함하는 근접 영역의 지도를 디스플레이하는 것과 객체에 대응하는 제2 표시자를 포함하는 근접 영역의 카메라 캡처 이미지를 디스플레이하는 것 사이에서 전이시키는 것을 추가로 포함한다. 일부 실시예들에서, 표시자는 범위에 따라 크기조정된다. 일부 실시예들에서, 방법은 익명의 식별자를 이용하여 메시지를 객체로 송신하는 단계를 추가로 포함한다. 일부 실시예들에서, 메시지는 실질적으로 객체에 대응하는 위치에서만 인지가능한 빔-형성 오디오 메시지로서 송신되는 오디오 메시지를 포함하고, 위치는 범위 및 방향에 적어도 부분적으로 기초하여 판정된다. 일부 실시예들에서, 출력 정보는 햅틱 출력을 포함한다. 일부 실시예들에서, 햅틱 출력은 무선 통신 디바이스와 연관된 디바이스에 의해 제시된다.
일부 실시예들에서, 무선 통신 디바이스는, (i) 적어도 하나의 무선 통신 프로토콜을 이용하여 객체와 무선으로 통신하도록 구성된 인터페이스 회로; (ii) 인터페이스 회로에 통신가능하게 커플링되고, 프로그램 모듈을 실행시키도록 구성된 프로세서; 및 (iii) 프로세서에 통신가능하게 커플링되고, 프로그램 모듈을 저장하도록 구성된 메모리를 포함하고, 프로그램 모듈은, 인터페이스 회로를 통해, 무선 통신 디바이스에 근접하게 위치된 객체와 연관된 익명의 식별자를 포함하는 송신물을 수신하기 위한; 인터페이스 회로를 통해, 무선 통신 디바이스로부터 객체의 범위 및 방향을 판정하기 위한 - 범위 및 방향은 적어도 부분적으로 무선 레인징 동작을 이용하여 판정됨 -; 그리고 무선 통신 디바이스로부터 객체의 범위 및 방향을 나타내는 출력 정보를 제시하기 위한 명령어들을 포함한다.
일부 실시예들에서, 출력 정보를 제시하기 위한 명령어들은 객체를 표현하는 위치 표시자를 포함하는 지도를 제시하기 위한 명령어들을 추가로 포함한다.
일부 실시예들에서, 무선 통신 디바이스와 함께 사용하기 위한 컴퓨터 프로그램 제품은 비일시적 컴퓨터 판독가능 저장 매체 및 그 안에 임베드되어 객체의 위치를 확인하는 컴퓨터 프로그램 메커니즘을 포함하고, 컴퓨터 프로그램 메커니즘은, (i) 무선 통신 디바이스에 의해, 무선 통신 디바이스에 근접하게 위치된 객체와 연관된 익명의 식별자를 포함하는 송신물을 수신하기 위한 명령어들; (Ii) 무선 통신 디바이스에 의해, 무선 통신 디바이스로부터 객체의 범위 및 방향을 판정하기 위한 명령어들 - 범위 및 방향은 적어도 부분적으로 무선 레인징 동작을 이용하여 판정됨 -; 및 (iii) 무선 통신 디바이스로부터 객체의 범위 및 방향을 나타내는 출력 정보를 제시하기 위한 명령어들을 포함한다.
일부 실시예들에서, 제시하기 위한 명령어들은, 무선 통신 디바이스의 배향에 기초하여, 객체를 표현하는 제1 표시자를 포함하는 근접 영역의 지도를 디스플레이하는 것과 객체에 대응하는 제2 표시자를 포함하는 근접 영역의 카메라 캡처 이미지를 디스플레이하는 것 사이에서 전이시키기 위한 명령어들을 추가로 포함한다.
전술한 설명에서는 '일부 실시예들'을 언급하고 있다. '일부 실시예들'은 모든 가능한 실시예들의 서브세트를 기술하지만, 실시예들의 동일 서브세트를 항상 특정하지는 않는다는 것에 유의한다.
상기 설명은 당업자들이 본 발명을 이루고 사용할 수 있도록 하기 위함이고, 특정한 응용과 그 요구사항의 맥락에서 제공된다. 더욱이, 본 발명의 실시예들의 전술한 설명은 예시와 설명의 목적으로만 제시되어 있다. 이들은 본 발명을 개시된 형태들로 망라하거나 제한하도록 의도되지 않는다. 따라서, 많은 변형 및 변경이 당업자에게 분명해질 것이며, 본 명세서에서 정의된 일반적인 원리들은 본 발명의 사상과 범주로부터 벗어나지 않으면서 다른 실시예들과 응용들에 적용될 수 있다. 추가적으로, 전술한 실시예들의 논의는 본 발명을 제한하도록 의도되지 않는다. 따라서, 본 발명은 도시된 실시예들에 제한되도록 의도된 것이 아니며, 본 명세서에 개시된 원리들 및 특징들과 일치하는 가장 넓은 범주를 부여하고자 하기 위한 것이다.

Claims (40)

  1. 객체를 제어하기 위한, 무선 통신 디바이스로 구현되는 방법으로서,
    상기 무선 통신 디바이스에 의해, 상기 객체를 제어하려는 의도를 나타내는 의도 제스처를 식별하는 단계 - 상기 객체는 상기 무선 통신 디바이스에 근접하게 위치됨 -;
    상기 무선 통신 디바이스에 의해, 무선 레인징(ranging) 동작에 적어도 부분적으로 기초하여 상기 의도 제스처와 연관된 상기 객체를 판정하는 단계;
    상기 무선 통신 디바이스와 연관된 하나 이상의 센서들에 의해 생성된 센서 데이터에 액세스하는 단계;
    상기 센서 데이터를 해석하여 커맨드 값을 판정하는 단계; 및
    상기 커맨드 값을 송신하여 상기 객체를 제어하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 객체는 물리적 객체를 포함하는, 방법.
  3. 제2항에 있어서, 상기 물리적 객체는 컴퓨팅 디바이스, 디스플레이, 프린터, 통신 디바이스, 오디오 디바이스, 어플라이언스, 웨어러블 디바이스, 홈오토메이션 디바이스, 환경 제어부, 또는 부속장치를 포함하는, 방법.
  4. 제1항에 있어서, 상기 객체는 가상 객체를 포함하는, 방법.
  5. 제4항에 있어서, 상기 가상 객체는 상이한 위치에 있는 물리적 객체에 대한 대용물(proxy)을 포함하는, 방법.
  6. 제1항에 있어서, 상기 무선 레인징 동작은 무선 송신 특성을 이용하여 상기 무선 통신 디바이스와 상기 객체 사이의 거리를 판정하는 것을 포함하는, 방법.
  7. 제1항에 있어서, 상기 액세스되는 센서 데이터는 상기 무선 통신 디바이스에 대응하는 배향 값을 포함하고, 상기 배향 값은 나침반, 가속도계, 또는 자이로스코프 중 적어도 하나를 사용하여 판정되는, 방법.
  8. 제1항에 있어서, 상기 커맨드 값은 상기 무선 통신 디바이스를 상기 객체와 페어링하기 위한 커맨드를 포함하는, 방법.
  9. 제1항에 있어서, 상기 커맨드 값은 상기 객체의 동작 설정을 변경하기 위한 커맨드를 포함하는, 방법.
  10. 제1항에 있어서, 상기 커맨드 값은 기능을 실행하기 위한 커맨드를 포함하는, 방법.
  11. 제1항에 있어서,
    초음파 처프(ultrasonic chirp)를 사용하여 상기 객체의 근접도를 판정하는 단계를 추가로 포함하는, 방법.
  12. 제1항에 있어서,
    상기 커맨드 값에 응답하여, 상기 객체로부터 센서 값을 포함하는 응답을 수신하는 단계를 추가로 포함하는, 방법.
  13. 제1항에 있어서, 상기 커맨드 값은 리소스에의 액세스를 위한 요청을 포함하는, 방법.
  14. 무선 통신 디바이스로서,
    적어도 하나의 무선 통신 프로토콜을 이용하여 객체와 무선으로 통신하도록 구성된 인터페이스 회로;
    센서 데이터를 측정하도록 구성된 하나 이상의 센서들;
    상기 인터페이스 회로 및 상기 하나 이상의 센서들에 통신가능하게 커플링되고, 프로그램 모듈을 실행시키도록 구성된 프로세서; 및
    상기 프로세서에 통신가능하게 커플링되고, 상기 프로그램 모듈을 저장하도록 구성된 메모리를 포함하며,
    상기 프로그램 모듈은,
    상기 무선 통신 디바이스에 의해, 상기 객체를 제어하려는 의도를 나타내는 의도 제스처를 식별하기 위한 - 상기 객체는 상기 무선 통신 디바이스에 근접하게 위치됨 -;
    무선 레인징에 적어도 부분적으로 기초하여, 상기 의도 제스처와 연관된 상기 객체를 판정하기 위한;
    상기 하나 이상의 센서들에 의해 생성된 센서 데이터에 액세스하기 위한;
    상기 액세스되는 센서 데이터를 해석하여 액션 제스처를 식별하기 위한; 그리고
    상기 인터페이스 회로를 사용하여, 상기 액션 제스처에 대응하는 커맨드 값을 송신하여 상기 객체를 제어하기 위한 명령어들을 포함하는, 무선 통신 디바이스.
  15. 제14항에 있어서, 상기 액션 제스처는 복합 제스처를 포함하는, 무선 통신 디바이스.
  16. 제14항에 있어서, 상기 객체를 판정하는 것은,
    적어도 부분적으로, 상기 객체와 연관된 식별자를 수신한 것에 추가로 기초하는, 무선 통신 디바이스.
  17. 제14항에 있어서, 상기 프로그램 모듈은,
    상기 객체와의 페어링 동작을 개시하기 위한 명령어들을 추가로 포함하는, 무선 통신 디바이스.
  18. 무선 통신 디바이스와 함께 사용하기 위한 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 비일시적 컴퓨터 판독가능 저장 매체 및 그 안에 임베드되어 객체를 제어하는 컴퓨터 프로그램 메커니즘을 포함하고, 상기 컴퓨터 프로그램 메커니즘은,
    상기 무선 통신 디바이스에 의해, 상기 객체를 제어하려는 의도를 나타내는 의도 제스처를 식별하기 위한 명령어들 - 상기 객체는 상기 무선 통신 디바이스에 근접하게 위치됨 -;
    상기 무선 통신 디바이스에 의해, 무선 레인징에 적어도 부분적으로 기초하여 상기 의도 제스처와 연관된 상기 객체를 판정하기 위한 명령어들;
    상기 무선 통신 디바이스에 의해, 상기 무선 통신 디바이스와 연관된 하나 이상의 센서들에 의해 생성된 센서 데이터에 액세스하기 위한 명령어들;
    상기 액세스되는 센서 데이터를 해석하여 액션 제스처를 판정하기 위한 명령어들; 및
    상기 액션 제스처에 대응하는 커맨드를 송신하여 상기 객체를 제어하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
  19. 제18항에 있어서, 상기 객체를 판정하기 위한 명령어들은,
    상기 무선 통신 디바이스와 연관된 상기 하나 이상의 센서들에 의해 생성된 센서 데이터에 적어도 부분적으로 기초하여 상기 무선 통신 디바이스의 배향을 판정하기 위한 명령어들을 추가로 포함하는, 컴퓨터 프로그램 제품.
  20. 제19항에 있어서, 상기 객체를 판정하기 위한 명령어들은,
    상기 무선 통신 디바이스의 배향 및 상기 무선 레인징에 적어도 부분적으로 기초하여 다른 객체를 무시하기 위한 명령어들을 추가로 포함하는, 컴퓨터 프로그램 제품.
  21. 객체의 위치를 확인하기 위한, 무선 통신 디바이스로 구현되는 방법으로서,
    상기 무선 통신 디바이스에 의해,
    상기 무선 통신 디바이스에 근접하게 위치된 객체와 연관된 익명의 식별자를 포함하는 송신물을 수신하는 단계;
    상기 무선 통신 디바이스로부터 상기 객체의 범위 및 방향을 판정하는 단계 - 상기 범위 및 상기 방향은 적어도 부분적으로 무선 레인징 동작을 이용하여 판정됨 -; 및
    상기 범위 및 상기 방향에 적어도 부분적으로 기초하여 상기 객체의 위치를 나타내는 출력 정보를 제시하는 단계를 포함하는, 방법.
  22. 제21항에 있어서, 상기 출력 정보를 제시하는 단계는,
    상기 무선 통신 디바이스의 디스플레이 상에, 근접 영역의 지도를 디스플레이하는 단계; 및
    상기 지도 상에, 상기 객체의 위치를 표현하는 표시자를 디스플레이하는 단계를 포함하는, 방법.
  23. 제22항에 있어서, 상기 표시자는 상기 객체가 상기 무선 통신 디바이스의 시각적 범위 내에 있는지와는 무관하게 디스플레이되는, 방법.
  24. 제21항에 있어서, 상기 출력 정보를 제시하는 단계는,
    상기 무선 통신 디바이스의 디스플레이 상에, 상기 무선 통신 디바이스의 이미지 센서에 의해 캡처되는 근접 영역의 이미지를 디스플레이하는 단계; 및
    상기 이미지 상에, 상기 객체의 위치를 표현하는 표시자를 디스플레이하는 단계를 포함하는, 방법.
  25. 제24항에 있어서, 상기 표시자는 상기 객체가 상기 무선 통신 디바이스의 시각적 범위 내에 있는지와는 무관하게 디스플레이되는, 방법.
  26. 제21항에 있어서, 상기 객체와 연관된 상기 익명의 식별자는 과도적인 식별자를 포함하는, 방법.
  27. 제21항에 있어서, 상기 객체와 연관된 상기 익명의 식별자는 상기 객체에 대응하는 리소스 종류를 식별하는, 방법.
  28. 제21항에 있어서,
    상기 수신된 익명의 식별자를 하나 이상의 저장된 타깃 식별자들과 비교하여 매칭을 판정하는 단계를 추가로 포함하는, 방법.
  29. 제28항에 있어서, 상기 하나 이상의 저장된 타깃 식별자들은 검색 결과와 함께 수신된, 방법.
  30. 제28항에 있어서, 상기 하나 이상의 저장된 타깃 식별자들 중 적어도 하나는 상기 무선 통신 디바이스에 저장된 연락처에 대응하는, 방법.
  31. 제21항에 있어서, 상기 출력 정보를 제시하는 단계는,
    상기 무선 통신 디바이스의 배향에 기초하여, 상기 객체를 표현하는 제1 표시자를 포함하는 근접 영역의 지도를 디스플레이하는 것과 상기 객체에 대응하는 제2 표시자를 포함하는 상기 근접 영역의 카메라 캡처 이미지를 디스플레이하는 것 사이에서 전이시키는 단계를 추가로 포함하는, 방법.
  32. 제31항에 있어서, 상기 표시자는 상기 범위에 따라 크기조정되는, 방법.
  33. 제21항에 있어서,
    상기 익명의 식별자를 사용하여 메시지를 상기 객체로 송신하는 단계를 추가로 포함하는, 방법.
  34. 제33항에 있어서, 상기 메시지는 실질적으로 상기 객체에 대응하는 위치에서만 인지가능한 빔-형성 오디오 메시지로서 송신되는 오디오 메시지를 포함하고, 상기 위치는 상기 범위 및 상기 방향에 적어도 부분적으로 기초하여 판정되는, 방법.
  35. 제21항에 있어서, 상기 출력 정보는 햅틱 출력을 포함하는, 방법.
  36. 제35항에 있어서, 상기 햅틱 출력은 상기 무선 통신 디바이스와 연관된 디바이스에 의해 제시되는, 방법.
  37. 무선 통신 디바이스로서,
    적어도 하나의 무선 통신 프로토콜을 이용하여 객체와 무선으로 통신하도록 구성된 인터페이스 회로;
    상기 인터페이스 회로에 통신가능하게 커플링되고, 프로그램 모듈을 실행시키도록 구성된 프로세서; 및
    상기 프로세서에 통신가능하게 커플링되고, 상기 프로그램 모듈을 저장하도록 구성된 메모리를 포함하며,
    상기 프로그램 모듈은,
    상기 인터페이스 회로를 통해, 상기 무선 통신 디바이스에 근접하게 위치된 객체와 연관된 익명의 식별자를 포함하는 송신물을 수신하기 위한;
    상기 인터페이스 회로를 통해, 상기 무선 통신 디바이스로부터 상기 객체의 범위 및 방향을 판정하기 위한 - 상기 범위 및 상기 방향은 적어도 부분적으로 무선 레인징 동작을 이용하여 판정됨 -; 그리고
    상기 무선 통신 디바이스로부터 상기 객체의 상기 범위 및 상기 방향을 나타내는 출력 정보를 제시하기 위한 명령어들을 포함하는, 무선 통신 디바이스.
  38. 제37항에 있어서, 상기 출력 정보를 제시하기 위한 명령어들은 상기 객체를 표현하는 위치 표시자를 포함하는 지도를 제시하기 위한 명령어들을 추가로 포함하는, 무선 통신 디바이스.
  39. 무선 통신 디바이스와 함께 사용하기 위한 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 비일시적 컴퓨터 판독가능 저장 매체 및 그 안에 임베드되어 객체의 위치를 확인하는 컴퓨터 프로그램 메커니즘을 포함하고, 상기 컴퓨터 프로그램 메커니즘은,
    상기 무선 통신 디바이스에 의해, 상기 무선 통신 디바이스에 근접하게 위치된 객체와 연관된 익명의 식별자를 포함하는 송신물을 수신하기 위한 명령어들;
    상기 무선 통신 디바이스에 의해, 상기 무선 통신 디바이스로부터 상기 객체의 범위 및 방향을 판정하기 위한 명령어들 - 상기 범위 및 상기 방향은 적어도 부분적으로 무선 레인징 동작을 이용하여 판정됨 -; 및
    상기 무선 통신 디바이스로부터 상기 객체의 상기 범위 및 상기 방향을 나타내는 출력 정보를 제시하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
  40. 제39항에 있어서, 상기 제시하기 위한 명령어들은,
    상기 무선 통신 디바이스의 배향에 기초하여, 상기 객체를 표현하는 제1 표시자를 포함하는 근접 영역의 지도를 디스플레이하는 것과 상기 객체에 대응하는 제2 표시자를 포함하는 상기 근접 영역의 카메라 캡처 이미지를 디스플레이하는 것 사이에서 전이시키기 위한 명령어들을 추가로 포함하는, 컴퓨터 프로그램 제품.
KR1020217024715A 2016-02-04 2017-02-03 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이 KR102407613B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227019017A KR102515013B1 (ko) 2016-02-04 2017-02-03 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662291504P 2016-02-04 2016-02-04
US62/291,504 2016-02-04
KR1020207027200A KR102288504B1 (ko) 2016-02-04 2017-02-03 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이
PCT/US2017/016478 WO2017136705A1 (en) 2016-02-04 2017-02-03 Controlling electronic devices and displaying information based on wireless ranging

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207027200A Division KR102288504B1 (ko) 2016-02-04 2017-02-03 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227019017A Division KR102515013B1 (ko) 2016-02-04 2017-02-03 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이

Publications (2)

Publication Number Publication Date
KR20210099205A true KR20210099205A (ko) 2021-08-11
KR102407613B1 KR102407613B1 (ko) 2022-06-10

Family

ID=59497838

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020237010046A KR102603634B1 (ko) 2016-02-04 2017-02-03 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이
KR1020227019017A KR102515013B1 (ko) 2016-02-04 2017-02-03 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이
KR1020207027200A KR102288504B1 (ko) 2016-02-04 2017-02-03 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이
KR1020217024715A KR102407613B1 (ko) 2016-02-04 2017-02-03 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이
KR1020187021505A KR20180089907A (ko) 2016-02-04 2017-02-03 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020237010046A KR102603634B1 (ko) 2016-02-04 2017-02-03 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이
KR1020227019017A KR102515013B1 (ko) 2016-02-04 2017-02-03 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이
KR1020207027200A KR102288504B1 (ko) 2016-02-04 2017-02-03 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187021505A KR20180089907A (ko) 2016-02-04 2017-02-03 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이

Country Status (7)

Country Link
US (7) US10602556B2 (ko)
EP (2) EP3398038B1 (ko)
JP (3) JP6810748B2 (ko)
KR (5) KR102603634B1 (ko)
CN (2) CN114138116A (ko)
AU (3) AU2017214547B2 (ko)
WO (1) WO2017136705A1 (ko)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6008617B2 (ja) * 2012-06-29 2016-10-19 キヤノン株式会社 通信装置およびその制御方法、並びにプログラム
US9779596B2 (en) 2012-10-24 2017-10-03 Apple Inc. Devices and methods for locating accessories of an electronic device
GB201410612D0 (en) * 2014-06-13 2014-07-30 Tomtom Int Bv Methods and systems for generating route data
US10291956B2 (en) 2015-09-30 2019-05-14 Sonifi Solutions, Inc. Methods and systems for enabling communications between devices
CN114138116A (zh) 2016-02-04 2022-03-04 苹果公司 基于无线测距来控制电子设备和显示信息
WO2017160924A1 (en) * 2016-03-15 2017-09-21 Sonifi Solutions, Inc. Systems and methods for associating communication devices with output devices
US11047702B1 (en) * 2016-09-16 2021-06-29 Apple Inc. Tracking systems for electronic devices
CN109661836B (zh) * 2016-09-30 2021-05-18 华为技术有限公司 一种切换方法、装置及系统
EP3319361A1 (en) * 2016-11-03 2018-05-09 Alcatel Lucent Method and apparatus for a radio communication network
DE102016124275A1 (de) * 2016-12-13 2018-06-14 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Bamberg Verfahren zur Ansteuerung einer motorischen Verschlusselementanordnung eines Kraftfahrzeugs
CN110574399B (zh) * 2016-12-14 2021-06-25 株式会社电装 用于建立微定位区域的方法和系统
WO2018119457A1 (en) 2016-12-22 2018-06-28 Sonifi Solutions, Inc. Methods and systems for implementing legacy remote and keystroke redirection
US10403276B2 (en) * 2017-03-17 2019-09-03 Microsoft Technology Licensing, Llc Voice enabled features based on proximity
US10531065B2 (en) 2017-03-30 2020-01-07 Microsoft Technology Licensing, Llc Coarse relocalization using signal fingerprints
US10600252B2 (en) 2017-03-30 2020-03-24 Microsoft Technology Licensing, Llc Coarse relocalization using signal fingerprints
CN110800028A (zh) * 2017-05-03 2020-02-14 开利公司 使用移动装置的按需访问控制授权
US11337872B2 (en) 2017-06-27 2022-05-24 Stryker Corporation Patient support systems and methods for assisting caregivers with patient care
US11096850B2 (en) 2017-06-27 2021-08-24 Stryker Corporation Patient support apparatus control systems
US11202729B2 (en) 2017-06-27 2021-12-21 Stryker Corporation Patient support apparatus user interfaces
US11810667B2 (en) 2017-06-27 2023-11-07 Stryker Corporation Patient support systems and methods for assisting caregivers with patient care
US10811136B2 (en) 2017-06-27 2020-10-20 Stryker Corporation Access systems for use with patient support apparatuses
US11382812B2 (en) 2017-06-27 2022-07-12 Stryker Corporation Patient support systems and methods for assisting caregivers with patient care
US11484451B1 (en) 2017-06-27 2022-11-01 Stryker Corporation Patient support apparatus user interfaces
US10733799B2 (en) * 2017-07-26 2020-08-04 Daqri, Llc Augmented reality sensor
EP3451572B1 (en) * 2017-08-30 2021-09-29 Rohde & Schwarz GmbH & Co. KG Wireless communication device, wireless communication system and wireless communication method
US10063303B1 (en) * 2017-09-18 2018-08-28 Integrated Device Technology, Inc. Fast memory access control for phase and gain
US10616121B2 (en) * 2017-11-16 2020-04-07 Distech Controls Inc. Inference server and environment control device for inferring an optimal wireless data transfer rate
US11510097B2 (en) 2017-11-16 2022-11-22 Distech Controls Inc. Environment control device and method for inferring an optimal wireless data transfer rate using a neural network
US11771283B2 (en) * 2017-12-06 2023-10-03 BISSELL , Inc. Method and system for manual control of autonomous floor cleaner
US10375504B2 (en) 2017-12-13 2019-08-06 Qualcomm Incorporated Mechanism to output audio to trigger the natural instincts of a user
CN108482276A (zh) * 2018-02-02 2018-09-04 斑马网络技术有限公司 车辆屏幕信息显示方法及其系统
US11102616B2 (en) * 2018-08-31 2021-08-24 Carrier Corporation Method of tracking objects using thermostat
US11641563B2 (en) 2018-09-28 2023-05-02 Apple Inc. System and method for locating wireless accessories
US20200126047A1 (en) * 2018-10-17 2020-04-23 Bank Of America Corporation Digital Check Generation and Processing Platform
US11023624B2 (en) * 2018-10-31 2021-06-01 Kyocera Document Solutions Inc. Method and apparatus for locating tracked items using a multipart sensor
EP3857522A1 (en) 2018-11-02 2021-08-04 Assa Abloy Ab Systems, methods, and devices for access control
US11354728B2 (en) * 2019-03-24 2022-06-07 We.R Augmented Reality Cloud Ltd. System, device, and method of augmented reality based mapping of a venue and navigation within a venue
AU2020247386B2 (en) 2019-03-25 2023-07-06 Assa Abloy Ab Ultra-wide band device for access control reader system
JP7228056B2 (ja) 2019-03-25 2023-02-22 アッサ アブロイ アーベー 位置推定に基づく意図検知を備える物理アクセス制御システム
US20220200789A1 (en) * 2019-04-17 2022-06-23 Apple Inc. Sharing keys for a wireless accessory
US11540137B2 (en) * 2019-04-17 2022-12-27 Apple Inc. Pairing devices based on distance
US11863671B1 (en) 2019-04-17 2024-01-02 Apple Inc. Accessory assisted account recovery
US20220201428A1 (en) * 2019-04-17 2022-06-23 Apple Inc. Proximity Enhanced Location Query
EP4266710A1 (en) * 2019-04-17 2023-10-25 Apple Inc. Location data harvesting and pruning for wireless accessory devices
US10735900B1 (en) * 2019-05-06 2020-08-04 Apple Inc. Ranging measurements for spatially-aware user interface of a mobile device
US11210932B2 (en) * 2019-05-21 2021-12-28 Apple Inc. Discovery of and connection to remote devices
EP3748646A1 (en) 2019-06-04 2020-12-09 Liko Research & Development AB Wireless link pairing authentication
KR102257994B1 (ko) * 2019-09-02 2021-05-31 삼성전자주식회사 근접 여부를 판별하는 방법 및 디바이스
US11229002B2 (en) * 2019-09-05 2022-01-18 Apple Inc. Ranging with a mobile cellular device
KR102644590B1 (ko) * 2019-09-09 2024-03-11 애플 인크. 가상 및 물리적 카메라들의 위치 동기화
JP2022549439A (ja) * 2019-09-25 2022-11-25 ヌードル テクノロジー インコーポレイテッド 無線機を使用して信号をキャプチャすることによって現実を拡張すること
AU2020356248B2 (en) 2019-09-26 2023-03-16 Assa Abloy Ab Ultra-wide band antenna configuration for physical access control system
US11448747B2 (en) * 2019-09-26 2022-09-20 Apple Inc. Time-of-flight determination of user intent
US11875209B2 (en) 2019-10-01 2024-01-16 Assa Abloy Ab Connection and service discovery for fine ranging applications
KR20210079061A (ko) * 2019-12-19 2021-06-29 엘지전자 주식회사 정보 처리 방법 및 정보 처리 장치
KR102404893B1 (ko) * 2019-12-19 2022-06-02 경남대학교 산학협력단 기기 제어 장치 및 방법
US11012967B1 (en) * 2020-01-31 2021-05-18 Disney Enterprises, Inc. System for determining precise location of a sought device by solving the last mile problem
US11755111B2 (en) 2020-03-16 2023-09-12 Arkh, Inc. Spatially aware computing hub and environment
KR102258735B1 (ko) 2020-05-11 2021-05-28 아주대학교산학협력단 객체의 위치 측정 방법 및 이를 이용한 증강 현실 서비스 제공 장치
CN111917918B (zh) * 2020-07-24 2021-09-21 腾讯科技（深圳）有限公司 基于增强现实的事件提醒管理方法、装置以及存储介质
CN114727220B (zh) 2020-08-05 2022-12-27 华为技术有限公司 一种设备搜寻方法以及电子设备
US11889302B2 (en) 2020-08-28 2024-01-30 Apple Inc. Maintenance of wireless devices
KR20220053214A (ko) * 2020-10-22 2022-04-29 삼성전자주식회사 줌 기능을 지원하는 전자 장치 및 방법
US11683584B2 (en) 2020-10-22 2023-06-20 Samsung Electronics Co., Ltd Electronic device and method for supporting zoom functionality
US20220137204A1 (en) 2020-11-02 2022-05-05 Samsung Electronics Co., Ltd. Interactive control with ranging and gesturing between devices
CN112702725A (zh) * 2020-11-27 2021-04-23 深圳市思讯通信技术有限公司 一种无线蓝牙可穿戴音频设备实际体验感数据化测试系统
CN112492517A (zh) * 2020-12-07 2021-03-12 Oppo广东移动通信有限公司 基于uwb的交互方法及装置、设备、存储介质和系统
US20220182921A1 (en) * 2020-12-08 2022-06-09 Arris Enterprises Llc Device and method for monitoring social distancing and contact tracing
CN112784193A (zh) * 2021-01-27 2021-05-11 维沃移动通信有限公司 配件信息显示方法、装置、电子设备及可读存储介质
US11893551B2 (en) 2021-04-15 2024-02-06 Bank Of America Corporation Information security system and method for augmented reality check generation
US11914093B2 (en) 2021-12-07 2024-02-27 Microsoft Technology Licensing, Llc RF antenna scanning for human movement classification
US20240012766A1 (en) * 2022-07-08 2024-01-11 Dell Products, L.P. Managing peripheral device connectivity based on context

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320209A (ja) * 2003-04-14 2004-11-11 Sony Corp 通信装置、その表示方法、コンピュータプログラム、および通信方法
JP2011114796A (ja) * 2009-11-30 2011-06-09 Ntt Docomo Inc 位置推定システム、通信端末、および位置推定方法
JP2014191367A (ja) * 2013-03-26 2014-10-06 Mitsubishi Electric Information Systems Corp 建造物表示装置及び建造物表示システム及び建造物表示方法及び建造物表示プログラム

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3804841A1 (de) 1988-02-17 1989-08-31 Hoechst Ag Cephalosporinderivate und verfahren zu ihrer herstellung
US5694335A (en) * 1996-03-12 1997-12-02 Hollenberg; Dennis D. Secure personal applications network
JPH10232757A (ja) 1997-02-19 1998-09-02 Sharp Corp メディア選択装置
JPH11249778A (ja) 1998-02-26 1999-09-17 Hitachi Ltd 移動体管理システム
US6396523B1 (en) 1999-07-29 2002-05-28 Interlink Electronics, Inc. Home entertainment device remote control
US6791467B1 (en) 2000-03-23 2004-09-14 Flextronics Semiconductor, Inc. Adaptive remote controller
US7062279B2 (en) 2000-06-22 2006-06-13 Openwave Systems Inc. Anonymous positioning of a wireless unit for data network location-based services
US7421466B2 (en) * 2001-10-29 2008-09-02 Hewlett-Packard Development Company, L.P. Dynamic mapping of wireless network devices
KR100878764B1 (ko) * 2002-07-06 2009-01-14 삼성전자주식회사 사용자의 익명성보장을 위한 무선 랜 시스템 및 사용자의익명성 보장방법
KR100853605B1 (ko) 2004-03-23 2008-08-22 후지쯔 가부시끼가이샤 핸드헬드 장치에서의 경사 및 평행 이동 운동 성분들의구별
US20050212760A1 (en) 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
CN1939009A (zh) * 2004-03-31 2007-03-28 皇家飞利浦电子股份有限公司 利用短程射频技术来定位无线医疗装置的方法
US7259671B2 (en) 2004-06-21 2007-08-21 Christine Ganley Proximity aware personal alert system
US8417215B2 (en) 2004-07-28 2013-04-09 Koninklijke Philips Electronics N.V. Method for positioning of wireless medical devices with short-range radio frequency technology
US20060265664A1 (en) 2005-05-17 2006-11-23 Hitachi, Ltd. System, method and computer program product for user interface operations for ad-hoc sensor node tracking
TWI316195B (en) * 2005-12-01 2009-10-21 Ind Tech Res Inst Input means for interactive devices
WO2007123001A1 (ja) 2006-04-17 2007-11-01 Panasonic Corporation Ａｖシステム
JP2008232907A (ja) * 2007-03-22 2008-10-02 Kyushu Ten:Kk 測距システムおよびその測距方法
US9582937B2 (en) * 2008-01-02 2017-02-28 Nokia Technologies Oy Method, apparatus and computer program product for displaying an indication of an object within a current field of view
US8059111B2 (en) * 2008-01-21 2011-11-15 Sony Computer Entertainment America Llc Data transfer using hand-held device
JP2009289192A (ja) 2008-05-30 2009-12-10 Aisin Aw Co Ltd 相乗り乗車システム
WO2009150581A1 (en) 2008-06-11 2009-12-17 Koninklijke Philips Electronics N.V. A wireless, remotely controlled, device selection system and method
KR20110101182A (ko) 2008-12-04 2011-09-15 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 디바이스 선택 및 제어 방법
US20100171635A1 (en) 2009-01-02 2010-07-08 Ewig Industries Macao Commerical Offshore, Ltd. System And Method For Motion-Sensitive Remote Control For Audio-Visual Entertainment System
KR20100126628A (ko) * 2009-05-24 2010-12-02 엘지전자 주식회사 펨토셀 타입을 고려한 펨토 기지국의 저부하 모드 동작 방법
JP5297900B2 (ja) * 2009-06-04 2013-09-25 Ｋｄｄｉ株式会社 位置情報管理システム、位置情報管理方法およびプログラム
KR20100132427A (ko) * 2009-06-09 2010-12-17 엘지전자 주식회사 펨토 기지국의 저부하 모드 동작 방법
KR101642976B1 (ko) * 2009-07-02 2016-07-27 한국전자통신연구원 이동 무선 접속 시스템에서 펨토 기지국의 동작 방법
US9439736B2 (en) * 2009-07-22 2016-09-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for controlling a remote medical device guidance system in three-dimensions using gestures
US9571625B2 (en) 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
US8482678B2 (en) 2009-09-10 2013-07-09 AFA Micro Co. Remote control and gesture-based input device
US20110060652A1 (en) * 2009-09-10 2011-03-10 Morton Timothy B System and method for the service of advertising content to a consumer based on the detection of zone events in a retail environment
US8593576B2 (en) 2009-10-15 2013-11-26 At&T Intellectual Property I, L.P. Gesture-based remote control
US8665075B2 (en) * 2009-10-26 2014-03-04 At&T Intellectual Property I, L.P. Gesture-initiated remote control programming
US11042816B2 (en) 2009-10-30 2021-06-22 Getaround, Inc. Vehicle access control services and platform
CN102083236A (zh) * 2009-11-27 2011-06-01 中国科学院自动化研究所 一种基于通信网络的井下定位与安全监控系统
KR101556796B1 (ko) * 2009-12-22 2015-10-01 삼성전자주식회사 기지국의 휴면주기 관리 방법 및 시스템
US8756532B2 (en) 2010-01-21 2014-06-17 Cisco Technology, Inc. Using a gesture to transfer an object across multiple multi-touch devices
EP2534774A4 (en) * 2010-02-09 2016-03-02 Nokia Technologies Oy METHOD AND DEVICE FOR SENDING CONTENT PACKAGES
US8837307B2 (en) 2010-05-26 2014-09-16 Qualcomm Incorporated Two-way ranging messaging scheme
US9684989B2 (en) * 2010-06-16 2017-06-20 Qualcomm Incorporated User interface transition between camera view and map view
US8150384B2 (en) 2010-06-16 2012-04-03 Qualcomm Incorporated Methods and apparatuses for gesture based remote control
WO2011161966A1 (ja) 2010-06-25 2011-12-29 パナソニック株式会社 制御装置およびスクリプト変換方法
US20120000431A1 (en) * 2010-07-05 2012-01-05 Kamran Khoshkish Electronic Pet Containment System
US8464184B1 (en) * 2010-11-30 2013-06-11 Symantec Corporation Systems and methods for gesture-based distribution of files
KR101744723B1 (ko) * 2010-12-20 2017-06-20 한국전자통신연구원 실내 위치 인식 시스템 및 이를 이용한 실내 위치 인식 방법
US10045321B2 (en) * 2010-12-30 2018-08-07 Staton Techiya, Llc Information processing using a population of data acquisition devices
US20120293630A1 (en) * 2011-05-19 2012-11-22 Qualcomm Incorporated Method and apparatus for multi-camera motion capture enhancement using proximity sensors
US20130033418A1 (en) * 2011-08-05 2013-02-07 Qualcomm Incorporated Gesture detection using proximity or light sensors
JP6035014B2 (ja) 2011-08-31 2016-11-30 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 無線操作装置、無線操作システム及び無線操作方法
KR101343587B1 (ko) 2011-10-13 2013-12-19 엘지전자 주식회사 방향 정보를 이용한 데이터 전송 방법 및 상기 방법을 채용한 휴대 전자 기기
EP2602691A1 (en) * 2011-12-05 2013-06-12 Alcatel Lucent Method for gesture control, gesture server device and sensor input device
US8704657B2 (en) 2012-02-21 2014-04-22 Htc Corporation Method for reminding objects being away and communication device and computer readable medium using the same method
US8981938B2 (en) 2012-03-08 2015-03-17 Linquet Technologies, Inc. Comprehensive system and method of universal real-time linking of real objects to a machine, network, internet, or software service
EP3474523B1 (en) * 2012-04-12 2020-04-08 Telefonaktiebolaget LM Ericsson (publ) Pairing a mobile terminal with a wireless device
CN103379431B (zh) 2012-04-19 2017-06-30 阿里巴巴集团控股有限公司 一种账户安全的保护方法和装置
US9031543B2 (en) 2012-06-06 2015-05-12 Qualcomm Incorporated Visualization of network members based on location and direction
US9041622B2 (en) 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US9031283B2 (en) * 2012-07-12 2015-05-12 Qualcomm Incorporated Sensor-aided wide-area localization on mobile devices
US9235241B2 (en) 2012-07-29 2016-01-12 Qualcomm Incorporated Anatomical gestures detection system using radio signals
EP2699022A1 (en) 2012-08-16 2014-02-19 Alcatel Lucent Method for provisioning a person with information associated with an event
US8823507B1 (en) 2012-09-19 2014-09-02 Amazon Technologies, Inc. Variable notification alerts
US20140363168A1 (en) * 2012-10-24 2014-12-11 Google Inc. Use of visible connection between devices to represent connections and interactions between the devices
JP6260079B2 (ja) * 2012-12-21 2018-01-17 沖電気工業株式会社 通信制御装置、端末装置、プログラム及び通信制御方法
US9453904B2 (en) * 2013-07-18 2016-09-27 Golba Llc Hybrid multi-camera based positioning
KR102008458B1 (ko) * 2013-08-30 2019-08-07 삼성전자주식회사 무선 통신시스템의 무선 기기 탐색 장치 및 방법
US9402270B2 (en) * 2013-09-10 2016-07-26 Marvell World Trade Ltd. Secure device bootstrap identity
KR20150032101A (ko) 2013-09-17 2015-03-25 삼성전자주식회사 영상표시장치 및 영상표시방법
US20150088282A1 (en) 2013-09-24 2015-03-26 Fibar Group sp. z o. o. Touch-less swipe control
JP6446967B2 (ja) 2013-11-13 2019-01-09 沖電気工業株式会社 情報処理装置、情報処理方法およびプログラム
US10339795B2 (en) 2013-12-24 2019-07-02 Lutron Technology Company Llc Wireless communication diagnostics
JP2015179493A (ja) 2014-02-27 2015-10-08 株式会社ログバー ジェスチャ入力システム
CN103813449B (zh) * 2014-03-03 2017-12-15 宇龙计算机通信科技(深圳)有限公司 一种无线通讯快速接入的方法及相关设备
WO2015149032A1 (en) 2014-03-28 2015-10-01 Brian Roundtree Beacon based privacy centric network communication, sharing, relevancy tools and other tools
JP6366093B2 (ja) 2014-06-20 2018-08-01 日本電気通信システム株式会社 近距離通信システム、近距離通信方法、通信処理装置、通信処理装置の制御プログラムおよび携帯端末のアプリケーションプログラム
US9900091B2 (en) * 2014-06-24 2018-02-20 Samsung Electronics Co., Ltd. Method and apparatus for pairing electronic device and lighting device
CN106471438A (zh) * 2014-07-09 2017-03-01 诺基亚技术有限公司 设备控制
ES2762684T3 (es) 2014-07-22 2020-05-25 Danielles Buddy Inc Sistema de percepción y ubicación posicional mejorado para personas con deterioro cognitivo y sus cuidadores
US9392398B2 (en) * 2014-09-30 2016-07-12 Apple Inc. Wireless proximity pairing of user-interface devices
US20160187995A1 (en) * 2014-12-30 2016-06-30 Tyco Fire & Security Gmbh Contextual Based Gesture Recognition And Control
US10484827B2 (en) 2015-01-30 2019-11-19 Lutron Technology Company Llc Gesture-based load control via wearable devices
US11238397B2 (en) 2015-02-09 2022-02-01 Fedex Corporate Services, Inc. Methods, apparatus, and systems for generating a corrective pickup notification for a shipped item using a mobile master node
US9756387B2 (en) 2015-02-13 2017-09-05 Google Inc. Systems and methods for using a remote control for presence detection
KR20160133305A (ko) 2015-05-12 2016-11-22 삼성전자주식회사 제스쳐 인식 방법, 컴퓨팅 장치 및 제어 장치
US9536421B2 (en) 2015-06-02 2017-01-03 Qualcomm Technologies International, Ltd. Intuitive way to point, access and control appliances and other objects in building interiors
US10215574B2 (en) 2015-08-06 2019-02-26 Uber Technologies, Inc. Facilitating rider pick-up for a transport service
US9525971B1 (en) 2015-11-11 2016-12-20 Tile, Inc. Leash notification for tracking device
US9739617B2 (en) 2015-11-23 2017-08-22 Telenav, Inc. Navigation system with prompt mechanism and method of operation thereof
US11023049B2 (en) * 2015-11-24 2021-06-01 Ford Global Technologies, Llc Methods and systems for enabling gesture control for a vehicle feature
CN114138116A (zh) 2016-02-04 2022-03-04 苹果公司 基于无线测距来控制电子设备和显示信息

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320209A (ja) * 2003-04-14 2004-11-11 Sony Corp 通信装置、その表示方法、コンピュータプログラム、および通信方法
JP2011114796A (ja) * 2009-11-30 2011-06-09 Ntt Docomo Inc 位置推定システム、通信端末、および位置推定方法
JP2014191367A (ja) * 2013-03-26 2014-10-06 Mitsubishi Electric Information Systems Corp 建造物表示装置及び建造物表示システム及び建造物表示方法及び建造物表示プログラム

Also Published As

Publication number Publication date
WO2017136705A1 (en) 2017-08-10
JP2019510296A (ja) 2019-04-11
KR102407613B1 (ko) 2022-06-10
US20170229009A1 (en) 2017-08-10
JP7382448B2 (ja) 2023-11-16
US20210307093A1 (en) 2021-09-30
US20230121160A1 (en) 2023-04-20
US20200092925A1 (en) 2020-03-19
US10368378B2 (en) 2019-07-30
JP7082651B2 (ja) 2022-06-08
US11425767B2 (en) 2022-08-23
JP2022119909A (ja) 2022-08-17
AU2020203003B2 (en) 2022-04-14
AU2022205199B2 (en) 2023-10-19
AU2017214547B2 (en) 2020-02-06
JP2021012704A (ja) 2021-02-04
US10602556B2 (en) 2020-03-24
KR20230044040A (ko) 2023-03-31
US20170228935A1 (en) 2017-08-10
AU2017214547A1 (en) 2018-08-02
KR20220082938A (ko) 2022-06-17
AU2022205199A1 (en) 2022-08-04
CN108604129A (zh) 2018-09-28
CN108604129B (zh) 2021-12-14
CN114138116A (zh) 2022-03-04
EP3398038A4 (en) 2019-08-07
US20200260514A1 (en) 2020-08-13
US10912136B2 (en) 2021-02-02
EP3398038B1 (en) 2024-01-17
KR20200113007A (ko) 2020-10-05
EP4328708A2 (en) 2024-02-28
KR102288504B1 (ko) 2021-08-10
US11601993B2 (en) 2023-03-07
US20230319914A1 (en) 2023-10-05
KR102515013B1 (ko) 2023-03-30
AU2020203003A1 (en) 2020-05-28
JP6810748B2 (ja) 2021-01-06
EP3398038A1 (en) 2018-11-07
KR20180089907A (ko) 2018-08-09
KR102603634B1 (ko) 2023-11-20

Similar Documents

Publication Publication Date Title
KR102288504B1 (ko) 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이
US10033544B2 (en) Notification apparatus and object position notification method thereof
AU2013263755B2 (en) Information providing method and mobile terminal therefor
KR101680667B1 (ko) 이동 단말기 및 이동 단말기의 제어방법
KR20160011419A (ko) 이동 단말기, 이동 단말기의 제어방법, 그리고, 제어시스템과 그 제어방법
KR101556179B1 (ko) 이동 단말기 및 이동 단말기의 제어방법
KR20160008342A (ko) 이동 단말기

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant