KR20170092668A - 스피치-기반 디바이스들을 위한 외부의 시각적 상호작용들 - Google Patents

스피치-기반 디바이스들을 위한 외부의 시각적 상호작용들 Download PDF

Info

Publication number
KR20170092668A
KR20170092668A KR1020177018640A KR20177018640A KR20170092668A KR 20170092668 A KR20170092668 A KR 20170092668A KR 1020177018640 A KR1020177018640 A KR 1020177018640A KR 20177018640 A KR20177018640 A KR 20177018640A KR 20170092668 A KR20170092668 A KR 20170092668A
Authority
KR
South Korea
Prior art keywords
external device
wireless communication
communication protocol
speech
program
Prior art date
Application number
KR1020177018640A
Other languages
English (en)
Other versions
KR102542734B1 (ko
Inventor
웨이동 자오
게리 칼드웰
루치 바르가바
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170092668A publication Critical patent/KR20170092668A/ko
Application granted granted Critical
Publication of KR102542734B1 publication Critical patent/KR102542734B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H04M1/7253—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Abstract

확장된 기능성들을 오디오-기반 웨어러블 디바이스에 온-디맨드로 제공하는 것에 관련되는 예들이 본 명세서에 개시된다. 하나의 예는, 스피치 입력들을 수신하도록 구성된 음향 수신기, 오디오 출력들을 제시하도록 구성된 스피커, 외부 디바이스에 접속하도록 구성된 통신 서브시스템, 명령어들을 실행하도록 구성된 로직 서브시스템, 및 저장 서브시스템을 포함하는 웨어러블 컴퓨팅 디바이스를 제공하며, 상기 저장 서브시스템은, 프로그램을 실행하고, 무선 통신 프로토콜을 통해 외부 디바이스에 접속하고, 음향 수신기에서 수신된 스피치 입력들 및 스피커에 의해 제공된 오디오 출력들을 통해 프로그램의 오디오-기반 상호작용을 행하고, 프로그램의 스크린-기반 상호작용에 도달할 시에, 외부 디바이스와 상호작용할 것을 스피커를 통해 사용자에게 통지하고, 그리고 외부 디바이스의 스크린을 통한 프레젠테이션을 위하여 이미지 데이터를 외부 디바이스에 제공하기 위하여 로직 서브시스템에 의해 실행가능한 명령어들을 가진다.

Description

스피치-기반 디바이스들을 위한 외부의 시각적 상호작용들{EXTERNAL VISUAL INTERACTIONS FOR SPEECH-BASED DEVICES}
사용자들은 다양한 상이한 사용자 인터페이스 메커니즘들을 이용하여 전자 디바이스들과 상호작용할 수도 있다. 많은 컴퓨팅 디바이스들은 자연적이고 직감적인 인간 상호작용들을 입력으로서 받아들이도록 구성된 사용자 인터페이스들을 지금 사용하고 있다. 예를 들어, 일부의 이러한 사용자 인터페이스들은 시각적 및 촉각적 상호작용들을 위하여 디스플레이 및 디스플레이 상에 위치된 터치 센서를 사용하는 반면, 다른 것들은 스피치/음향(speech/acoustic) 상호작용들을 위하여 스피커 및 마이크로폰을 사용할 수도 있다.
본 명세서에서는 확장된 기능성들을 스피치-기반 컴퓨팅 디바이스에 제공하는 것에 관한 예들이 개시된다. 하나의 예는 스피치 입력들을 수신하도록 구성된 음향 수신기, 오디오 출력들을 제시하도록 구성된 스피커, 외부 디바이스에 접속하도록 구성된 통신 서브시스템, 명령어들을 실행하도록 구성된 로직 서브시스템, 및 저장 서브시스템을 포함하는 컴퓨팅 디바이스를 제공하며, 상기 저장 서브시스템은, 프로그램을 실행하고, 무선 통신 프로토콜을 통해 외부 디바이스에 접속하고, 음향 수신기에서 수신된 스피치 입력들 및 스피커에 의해 제공된 오디오 출력들을 통해 프로그램의 오디오-기반 상호작용을 행하고, 프로그램의 스크린-기반 상호작용에 도달(reach)할 시에, 외부 디바이스와 상호작용할 것을 스피커를 통해 사용자에게 통지하고, 그리고 외부 디바이스의 스크린을 통한 프레젠테이션(presentation)을 위해 이미지 데이터를 외부 디바이스에 제공하기 위하여 로직 서브시스템에 의해 실행가능한 명령어들을 포함한다.
이 개요는 상세한 설명에서 이하에 추가로 설명되는 개념들의 선택을 간략화된 형태로 소개하기 위하여 제공된다. 이 개요는 청구된 청구 대상의 핵심 특징들 또는 필수적인 특징들을 식별하도록 의도된 것도 아니고, 청구된 청구 대상의 범위를 제한하기 위하여 이용되도록 의도된 것도 아니다. 또한, 청구된 청구 대상은 이 개시내용의 임의의 일부에서 언급된 임의의 또는 모든 단점들을 해결하는 구현들로 제한되지 않는다.
도 1은 일 예의 스피치-기반 컴퓨팅 디바이스의 블록도를 도시한다.
도 2는 일 예의 스피치-기반 컴퓨팅 디바이스 및 일 예의 확장기(extender) 디스플레이 디바이스(들)를 도시한다.
도 3은 스피치-기반 컴퓨팅 디바이스를 포함하는 일 예의 시스템의 블록도를 도시한다.
도 4는 확장기 디바이스 디스플레이에 관한 정보를 업데이트하는 예를 묘사하는 흐름도를 도시한다.
도 5는 스피치-기반 컴퓨팅 디바이스를 위한 디스플레이-기반 상호작용들을 제공하는 일 예의 방법을 도시한다.
도 6은 일 예의 컴퓨팅 시스템의 블록도를 도시한다.
컴퓨팅 디바이스는 음향 상호작용들(예컨대, 스피치 입력들 및 음향 출력들)을 주 사용자 인터페이스 경험으로서 사용하도록 구성될 수도 있다. 이러한 스피치-기반 컴퓨팅 디바이스들은 사용자가 다른 것들에 대해 시각적 주의를 유지하면서, 및/또는 다른 태스크(task)들을 수행하면서, 컴퓨팅 디바이스와 상호작용하는 것을 허용할 수도 있다. 또한, 이러한 디바이스들은 터치-감지 디스플레이들을 사용하는 디바이스들에 비해, 훨씬 더 작은 디스플레이의 이용, 또는 심지어 디스플레이의 생략을 허용할 수도 있다. 이것은 디바이스가 사용자에게 가시적이지 않은 로케이션에서(예컨대, 귀에서) 착용되도록 하기 위하여, 디스플레이-기반 디바이스들보다 더 작은 폼 팩터(form factor)를 가지는 것을 허용할 수도 있고, 또한, 디바이스의 전력 소비를 감소시키는 것을 도울 수도 있다.
그러나, 사용자가 컴퓨팅 디바이스 상호작용 동안에 액세스하는 일부 데이터는 음향 프레젠테이션(acoustic presentation)을 위하여 덜 적당할 수도 있다. 예를 들어, 맵 데이터(map data)는 음향적인 것보다 시각적으로 더욱 풍부한 데이터로 제시될 수도 있다. 또 다른 예로서, 음향 상호작용에 의해 수행된 검색이 오디오-시각적 데이터를 포함하는 검색 결과들을 생성할 경우, 사용자는 오디오 부분 단독이 아니라, 오디오 부분과 함께, 데이터의 비디오 부분을 제시할 것을 희망할 수도 있다. 사용자는 또한 사생활을 유지하기 위하여 비-스피치(non-speech) 상호작용을 수행할 것을 희망할 수도 있다.
이에 따라, 본 명세서에서 개시된 예들은 시각적 정보를 제시하고 시각적 상호작용들을 행하기 위하여 스피치-기반 컴퓨팅 디바이스의 외부에 있는 디바이스의 이용에 관한 것이다. 도 1은 일 예의 스피치-기반 컴퓨팅 디바이스(100)의 블록도를 도시한다. 스피치-기반 컴퓨팅 디바이스(100)는 사용자에 대하여 착용되도록 구성될 수도 있는 이어피스(earpiece; 102) 및 옵션적인 호스트(host; 104)를 포함한다. 예를 들어, 호스트(104)는 사용자의 신체 및/또는 의복에 고정될 수도 있거나, 주머니에 휴대될 수도 있거나, 임의의 다른 적당한 방식으로 착용될 수도 있다. 스피치-기반 컴퓨팅 디바이스(100)는 또한, 일부 예들에서 별도의 호스트 디바이스 없이, 단일의 웨어러블(wearable) 컴퓨팅 디바이스로서 구현될 수도 있다는 것이 이해될 것이다.
이어피스(102)는 사용자 입력을 수신하기 위한 하나 이상의 센서들을 포함한다. 이러한 센서들은 모션 센서(motion sensor)(들)(103), 터치 센서(들)(105), 기계적 입력 메커니즘(들)(106), 및 마이크로폰(들)(108)을 포함할 수도 있지만, 이들로 제한되지는 않는다. 하나 이상의 자이로스코프(gyroscope)(들), 가속도계(accelerometer)(들), 자력계(magnetometer)(들), 및/또는 하나 이상의 축들에서 모션을 검출하는 다른 센서를 포함하지만, 이들로 제한되지는 않는 임의의 적당한 모션 센서(들)가 이용될 수도 있다. 마찬가지로, 용량성, 저항성, 및 광학적 터치 센서(들)를 포함하지만, 이들로 제한되지는 않는 임의의 적당한 터치 센서가 이용될 수도 있다. 적당한 기계적 입력 메커니즘(들)(106)의 예들은 스크롤 휠(scroll wheel)(들), 버튼(들), 다이얼(들), 및/또는 다른 적당한 기계적 입력 메커니즘을 포함할 수도 있지만, 이들로 제한되지는 않는다. 이어피스(102)는 또한, 하나 이상의 스피커들(110)과 같은, 정보를 사용자에게 제시하기 위한 하나 이상의 출력부들, 햅틱 출력부(예컨대, 진동 출력 시스템)와 같은, 잠재적으로 다른 출력 메커니즘들(112)을 포함한다.
이어피스(102)는 호스트(104) 또는 다른 개인용 보조 컴퓨팅 디바이스 컴포넌트와의 통신을 가능하게 하도록 구성된 호스트 통신 시스템(114)을 더 포함한다. 호스트 통신 시스템(114)은 임의의 적당한 유선 또는 무선 통신 프로토콜을 통해 호스트(104)와 통신할 수도 있다.
호스트(104)는 또한, 사용자 입력들을 수신하기 위한 하나 이상의 입력 메커니즘들을 포함한다. 예를 들어, 호스트는 이어피스(102)를 위하여 위에서 설명된 것들과 같은, 하나 이상의 모션 센서(들)(124), 터치 센서(들)(126), 및 기계적 입력 메커니즘(들)(128)을 포함할 수도 있다. 호스트(104)는 또한, 이어피스(102)와 통신하기 위한 이어피스 통신 시스템(130), 및 외부 디바이스들과 통신하기 위한 외부 네트워크 통신 시스템(132)을 포함한다. 예를 들어, 호스트(104)는 네트워크(예컨대, 컴퓨터 네트워크, 이동 전화 네트워크, 및/또는 다른 적당한 외부 네트워크)를 통해, 그리고 또한, (예컨대, 블루투스(Bluetooth) 또는 WiFi 다이렉트와 같은 직접 무선 프로토콜을 이용하는) 직접 접속들을 통해 외부 디바이스들과 통신하도록 구성될 수도 있다.
위에서 언급된 바와 같이, 스피치-기반 컴퓨팅 디바이스를 이용하면서 조우될 수도 있는 일부 컴퓨팅 디바이스 상호작용들은 사용자가 경험할 것을 희망할 수도 있는 시각적 컴포넌트를 포함할 수도 있다. 하나의 비-제한적인 예로서, 사용자는 택시 서비스에 접촉하고 택시를 요청하기 위하여 스피치-기반 컴퓨팅 디바이스를 이용할 수도 있고, 그 다음으로, 맵을 통해 예약된 택시의 로케이션을 추적할 것을 희망할 수도 있다.
따라서, 시각적 컨텐츠의 프레젠테이션을 가능하게 하고 온-디맨드(on-demand) 기반으로 그 시각적 컨텐츠와의 사용자 상호작용을 가능하게 하기 위하여 확장기(extender) 디바이스(예컨대, 디스플레이를 가지는 근처의 외부 컴퓨팅 디바이스)에 접속함으로써 확장된 시각적 기능성들을 스피치-기반 컴퓨팅 디바이스에 제공하는 것에 관한 예들이 본 명세서에 개시되어 있다. 이러한 디바이스에 접속하고 이러한 디바이스와 통신함으로써, 스피치-기반 컴퓨팅 시스템은 위에서 언급된 것들과 같은 스피치-기반 상호작용의 장점들을 유지하면서, 시각적 컨텐츠(예컨대, 그래픽 사용자 인터페이스, 비디오 데이터, 맵 데이터 등)의 프레젠테이션을 필요에 따라서 허용할 수도 있다.
도 2는 스피치-기반 컴퓨팅 디바이스(100)의 개략도를 예시하고, 스피치-기반 컴퓨팅 디바이스(100)의 확장기 디바이스로서 이용될 수도 있는 다양한 외부 디바이스들, 즉, 이동 디바이스(206) 및 태블릿 컴퓨팅 디바이스(208)를 예시한다. 스피치-기반 컴퓨팅 디바이스(100)를 착용하는 사용자의 로케이션에 따라, 다른 외부 디바이스들이 확장기 디바이스로서의 이용을 위하여 이용가능할 수도 있다. 예를 들어, 홈 환경(home environment)은 스피치-기반 컴퓨팅 디바이스(100)가 스크린-기반 상호작용들을 위하여 접속할 수도 있는 텔레비전 및/또는 비디오 게임 시스템을 포함할 수도 있다. 마찬가지로, 자동차 환경은 온보드(onboard) 컴퓨팅 시스템을 위한 인-대쉬(in-dash) 디스플레이를 포함할 수도 있다. 스피치-기반 컴퓨팅 디바이스(100)는 임의의 적당한 수 및 타입의 외부 디바이스들에 접속하도록 구성될 수도 있다는 것이 이해될 것이다.
도 3은 스피치-기반 컴퓨팅 디바이스(100)를 위한 일 예의 시스템 환경(300)을 도시한다. 스피치-기반 컴퓨팅 디바이스(100)는 애플리케이션 1(304) 및 애플리케이션 N(307)으로서 예시된 하나 이상의 애플리케이션들(302)을 실행하도록 구성될 수도 있다. 애플리케이션들 중의 하나 이상은 스피치-기반 상호작용 컴포넌트(306)에 추가하여, 시각적 상호작용 컴포넌트(305)를 포함할 수도 있다. 스피치-기반 컴퓨팅 디바이스(100)는 디스플레이(316)를 통한 디스플레이를 위한 이미지 컨텐츠를 제공하기 위하여, 접속 1(312) 내지 접속 N(314)으로서 예시된 하나 이상의 무선 프로토콜들을 통해 확장기 디바이스(310)에 접속하도록 구성된 확장기 모듈(308)을 더 포함한다. 무선 통신 프로토콜들의 예들은 블루투스 프로토콜들 및 Wi-Fi 프로토콜들을 포함한다. 스피치-기반 컴퓨팅 디바이스(100)는 직접적으로, 또는 다른 네트워크 컴포넌트들을 통해 확장기 디바이스(310)에 접속할 수도 있다.
확장기 디바이스(310)는 스피치-기반 컴퓨팅 디바이스(100)의 확장기 모듈(308)과 통신하도록 구성된 확장기 애플리케이션(318)을 마찬가지로 포함한다. 도시된 확장기 애플리케이션(318)은 디스플레이(316) 상에서의 프레젠테이션을 위하여 스피치-기반 컴퓨팅 디바이스(100)로부터 수신된 이미지 데이터를 수신하고 프로세싱하기 위한 이미지 프레젠테이션 모듈(320)을 포함한다. 확장기 디바이스(310)는 사용자가 스피치-기반 컴퓨팅 디바이스(100)로부터의 디스플레이된 컨텐츠로 상호작용할 수도 있는 하나 이상의 사용자 입력 디바이스(들)(323)를 더 포함한다. 일 예의 입력 디바이스들은 터치 센서들(예컨대, 터치-감지 디스플레이), 기계적 버튼들, 및 모션 센서들을 포함하지만, 이들로 제한되지는 않는다. 확장기 애플리케이션(318)은 사용자 입력 디바이스들(323)을 통해 수신된 사용자 입력들을 스피치-기반 컴퓨팅 디바이스(100)로 리디렉션(redirect)하는 입력 리디렉션 모듈(322)을 더 포함할 수도 있다.
일부 예들에서, 스피치-기반 컴퓨팅 디바이스(100) 및 확장기 디바이스(310)는 스마트 멀티-전송 스위칭(smart multi-transport switching)을 사용할 수도 있고, 여기서, 통신은 접속 성능, 대역폭 필요성들, 전력 고려사항들 등과 같은 이러한 인자들에 따라 접속들 사이에서 스위칭될 수도 있다. 일부 사례들에서, 통신은 일시적으로 중첩하는 방식으로 복수의 채널들에 걸쳐 발생할 수도 있는 반면, 다른 실시형태들에서는, 데이터가 단일 채널을 통해 한 번에 전송될 수도 있다. 어느 하나의 경우에 있어서, 멀티-전송 스위칭의 이용은 스피치-기반 컴퓨팅 디바이스(100)가 네트워크 트래픽 부하를 동적으로 균형맞추는 것을 허용할 수도 있다.
비-제한적인 예로서, 접속 1(312)은 블루투스 접속을 나타낼 수도 있고, 접속 N(314)은 Wi-Fi 접속을 나타낼 수도 있다. 스피치-기반 컴퓨팅 디바이스(100)는 재송신 레이트(retransmission rate)들과 같은 네트워크 성능 특성들에 대하여 각각의 접속을 모니터링할 수도 있고, 성능 특성들 및/또는 디바이스들 사이에서 전달되는 데이터의 특성들에서의 변경들에 기초하여 접속들 사이에서 동적으로 스위칭될 수도 있다. 또 다른 예에서, 스피치-기반 컴퓨팅 디바이스(100)는, 이용가능할 때에 디폴트로 하나의 접속(예컨대, WiFi)을 통해 확장기 디바이스(310)에 접속하고, Wi-Fi가 이용불가능할 때에 또 다른 접속(예컨대, 블루투스)을 통해 접속하도록 구성될 수도 있다. 일단 블루투스를 통해 접속되면, 스피치-기반 컴퓨팅 디바이스(100)는 Wi-Fi의 이용가능성에 대하여 여전히 모니터링할 수도 있고, 검출될 때에 Wi-Fi로 자동으로 스위칭할 수도 있다. 또 다른 예에서, 스피치-기반 컴퓨팅 디바이스(100)는 사용자에 의해 선택된 접속을 통해, 및/또는 사용자 선호도들에 기초하여, 확장기 디바이스(310)에 접속하도록 구성될 수도 있다.
스피치-기반 컴퓨팅 디바이스(100)는 임의의 적당한 방식으로 하나 이상의 확장기 디바이스들에 접속하도록 구성될 수도 있다. 예를 들어, 스피치-기반 컴퓨팅 디바이스(100)는 하나 이상의 확장기 디바이스들의 각각에 의해 방출된 비콘 신호(beacon signal)를 검출함으로써, 하나 이상의 확장기 디바이스들을 탐색하도록 구성될 수도 있다. 또한, 하나를 초과하는 확장기 디바이스가 이용가능한 것으로 결정될 경우, 스피치-기반 컴퓨팅 디바이스(100)는 예를 들어, 사용자에 의해 특정된 바와 같이, 확장기의 능력들(예컨대, 컴퓨팅 자원들, 통신 자원들, 디스플레이 특성들 등)에 기초하여, 및/또는 임의의 다른 적당한 인자들에 기초하여, 디폴트 확장기 디바이스에 우선적으로 접속하도록 구성될 수도 있다.
마찬가지로, 스피치-기반 컴퓨팅 디바이스(100)는 임의의 적당한 트리거링 이벤트 또는 상황에 기초하여 하나 이상의 확장기 디바이스들에 접속하도록 구성될 수도 있다. 예를 들어, 스피치-기반 컴퓨팅 디바이스(100)는 디바이스를 검출할 시에, 사용자 입력에 의해 지시될 때, 및/또는 디스플레이-기반 상호작용이 스피치-기반 컴퓨팅 디바이스(100) 상에서 실행되는 애플리케이션에서 발생할 때, 확장기 디바이스(310)에 자동으로 접속할 수도 있다. 일단 확장기 디바이스(310)에 접속되면, 그 다음으로, 스피치-기반 컴퓨팅 디바이스(100)는 이미지-기반 상호작용이 스피치-기반 컴퓨팅 디바이스(100) 상에서 실행되는 애플리케이션에서 발생할 때에, 디스플레이를 위하여 이미지 데이터를 확장기 디바이스(310)에 제공할 수도 있다.
일부 예들에서, 스피치-기반 컴퓨팅 디바이스(100)에 의해 확장기 디바이스(310)에 제공된 이미지 데이터는 확장기 디바이스(310)의 디스플레이(316)에 관한 정보에 기초할 수도 있어서, 이미지 데이터는 확장기 디바이스(310) 상에서의 디스플레이를 위하여 적절하게 렌더링된다. 이러한 정보의 예들은 확장기 디바이스 디스플레이(316)의 프레임 레이트 및 해상도를 포함하지만, 이들로 제한되지는 않는다.
스피치-기반 컴퓨팅 디바이스(100)는 확장기 디바이스 디스플레이(316)의 현재의 배향에 기초하는 이미지 데이터를 생성하고 제공하도록 추가로 구성될 수도 있다. 디스플레이(316)의 디스플레이의 배향은 확장기 디바이스(310)가 사용자에 의해 현재 배치되거나 유지되는 위치에 종속될 수도 있고, 스크린-기반 상호작용 동안에 변경될 수도 있다. 이에 따라, 디스플레이(316)의 배향에 관한 정보는 이하에서 더욱 상세하게 설명된 바와 같이, 이용 세션 동안에 업데이트될 수도 있다.
일부 구현예들에서, 스피치-기반 컴퓨팅 디바이스(100)는 이미지 데이터를 네트워크(324)를 통해 확장기 디바이스(310)로 전송하기 위하여 원격 서비스(326)를 사용할 수도 있다. 예를 들어, 스피치-기반 컴퓨팅 디바이스(100) 상에서 실행되는 애플리케이션들(302)은 원격 서비스(326)에 의해 또한 실행될 수도 있다. 스크린 상호작용에 도달할 시에, 스피치-기반 컴퓨팅 디바이스(100)는 원격 서비스(326)의 네트워크 어드레스를 확장기 디바이스(310)에 통지할 수도 있고, 그 다음으로, 확장기 디바이스(310)는 디스플레이를 위한 이미지 데이터를 획득하기 위하여 원격 서비스(326)와 상호작용할 수도 있다. 원격 서비스(326)를 통해 이미지 데이터를 렌더링하고 압축하는 것은 스피치-기반 컴퓨팅 디바이스(100)에서 이미지 데이터를 렌더링하고 압축하는 것에 비해, 스피치-기반 컴퓨팅 디바이스(100)에 의한 전력 소비를 감소시키는 것을 도울 수도 있다. 또한, 입력 리디렉션 모듈(322)은 확장기 디바이스(310)에서의 사용자 입력들에 관한 정보를 직접적으로 다시 스피치-기반 컴퓨팅 디바이스(100)가 아니라, 원격 서비스(326)로 리디렉션하도록 구성될 수도 있다. 다른 예들에서, 사용자 입력들은 스피치-기반 컴퓨팅 디바이스(100)로 보내지고, 그 다음으로, 원격 서비스(326)로 포워딩된다. 이러한 방식으로, 원격 서비스(326) 및 스피치-기반 컴퓨팅 디바이스(100) 상에서 작동하는 애플리케이션들의 상태들은 동기화될 수도 있다.
도 4는 확장기 디바이스(310)의 디스플레이의 배향에 관한 스피치-기반 컴퓨팅(100)에서의 정보의 업데이팅을 예시하는 흐름도를 도시한다. 402에서, 확장기 디바이스(310)는 확장기 디바이스 디스플레이의 제 1 배향에 대응하는 (예컨대, 입력 리디렉션 모듈을 통한) 배향 신호를 스피치-기반 컴퓨팅 디바이스로 전송한다(예컨대, 포트레이트(portrait) 배향). 404에서, 스피치-기반 컴퓨팅 디바이스(100)는 배향 신호를 수신하고, 406에서, 제 1 배향을 위한 이미지 데이터를 렌더링하고, 408에서, 이미지 데이터를 확장기 디바이스(310)에 제공한다. 그 다음으로, 확장기 디바이스(310)는 410에서, 이미지 데이터를 디스플레이에 제시한다. 412에서, 확장기 디바이스(310)는 제 1 배향으로부터 제 2 배향, 예컨대, 풍경(landscape) 배향으로 변경하고, 414에서, 제 2 배향을 위한 배향 신호를 전송한다. 스피치-기반 컴퓨팅 디바이스(100)는 416에서, 업데이트된 배향 신호를 수신한다. 그 다음으로, 스피치-기반 컴퓨팅 디바이스(100)는 418에서, 제 2 배향을 위한 이미지 데이터를 렌더링할 수도 있고, 422에서의 확장기 디바이스(310) 상에서의 프레젠테이션을 위하여, 420에서, 업데이트된 이미지 데이터를 제공한다. 확장기 디바이스(310) 상에서 작동하는 확장기 애플리케이션은 신호가 변경을 표시하는지 여부에 관계 없이, 주기적인 것에 기초하여 배향 신호를 전송하도록 구성될 수도 있거나, 배향 신호를 분석하고 배향에 있어서의 변경이 검출될 때에 배향 정보를 전송하도록 구성될 수도 있다는 것이 이해될 것이다.
도 5는 스피치-기반 컴퓨팅 디바이스를 위한 디스플레이-기반 상호작용들을 제공하기 위한 일 예의 방법(500)을 예시하는 흐름도를 도시한다. 방법(500)은 502에서, 스피치-기반 컴퓨팅 디바이스 상에서 작동하도록 구성된 애플리케이션과 같은 프로그램을 실행하는 단계를 포함한다. 방법(500)은 504에서, 506 및 508에서 각각 도시된, 스피치 입력들을 수신하는 것, 및/또는 오디오 출력들을 제공하는 것에 의해 프로그램의 음향-기반 상호작용을 행하는 단계을 더 포함한다.
방법(500)은 510에서, 프로그램의 스크린-기반 상호작용을 검출하는 단계, 및 512에서, 디스플레이 스크린을 가지는 외부 디바이스에 접속하는 단계를 더 포함한다. 외부 디바이스에 대한 접속은 스크린-기반 상호작용의 검출에 의해 트리거링될 수도 있거나, 상호작용이 검출되기 전에 수행될 수도 있다. 위에서 설명된 바와 같이, 스피치-기반 컴퓨팅 디바이스는 514에서 도시된 바와 같이, 하나 이상의 무선 통신 프로토콜들을 통해 외부 디바이스에 접속할 수도 있고, 일부 예들에서, 스피치-기반 컴퓨팅 디바이스와 확장기 디바이스 사이에서의 트래픽의 동적 부하 균형맞춤을 가능하게 하기 위하여 복수의 접속들을 통해 접속할 수도 있다. 또한, 외부 디바이스에 접속할 때, 스피치-기반 컴퓨팅 디바이스는 외부 디바이스의 배향, 해상도, 및/또는 프레임 레이트와 같은 확장기 디바이스의 양태들에 관한 정보를 수신할 수도 있다.
또한, 일부 예들에서, 방법(500)은 또한, 516에서, 디스플레이를 위하여 이미지 데이터를 외부 디바이스에 제공할 수도 있는 원격 서비스에 접속하는 단계를 포함할 수도 있고, 이것은 스피치-기반 컴퓨팅 디바이스 상에서 이미지 데이터를 렌더링하고 압축하는 것에 비해, 컴퓨팅 자원들을 절감하고 스피치-기반 컴퓨팅 디바이스에서의 전력 소비를 감소시키는 것을 도울 수도 있다. 이러한 원격 서비스는 스크린-기반 상호작용에 대응하는 이미지 데이터를 생성하기 위하여 스피치-기반 컴퓨팅 디바이스 상에서 또한 작동하고 있는 애플리케이션을 작동시키도록 구성될 수도 있다. 상태 정보는 스피치-기반 컴퓨팅 디바이스 상의 애플리케이션과, 원격 서비스 상의 애플리케이션 사이에서 임의의 적당한 방식으로 교환될 수도 있다.
방법(500)은 520에서, 스크린-기반 상호작용을 사용자에게 통지하는 단계와, 522에서, 프레젠테이션을 위하여 이미지 데이터를 확장기 디바이스에 제공하는 단계를 더 포함한다. 이미지 데이터는 스피치-기반 컴퓨팅 디바이스로부터 직접적으로 제공될 수도 있거나, 524에서 표시된 바와 같이, 원격 서비스에 접속하고 원격 서비스로부터 이미지 데이터를 획득하기 위하여 명령어를 외부 디바이스로 전송함으로써 제공될 수도 있다.
스피치-기반 컴퓨팅 디바이스 및 확장기 디바이스가 복수의 접속들을 통해 접속될 경우, 방법(500)은 526에서, 무선 통신 접속들의 각각에 대한 하나 이상의 성능 특성들을 모니터링하는 단계와, 528에서, 하나 이상의 성능 특성들에 기초하여 통신을 위한 무선 접속을 선택하는 단계를 더 포함할 수도 있다. 선택된 무선 접속은 디바이스들 사이의 데이터의 송신을 가능하게 하기 위하여 동적으로 변경될 수도 있다.
또한, 확장기 디바이스가 모션 센서 및/또는 배향 센서를 포함할 경우, 방법(500)은 530에서, 업데이트된 배향 정보를 수신하고 배향 정보에 기초하여 이미지 데이터를 제공하는 단계를 더 포함할 수도 있다. 이것은 스피치-기반 컴퓨팅 디바이스 및/또는 원격 서비스에서 렌더링된 이미지 데이터가 확장기 디바이스의 현재의 배향에 기초하여 렌더링되는 것을 허용할 수도 있다.
위에서 언급된 바와 같이, 확장기 디바이스에서 수신된 사용자 입력들은 확장기 디바이스 상에서 실행되는 프로그램과의 상호작용으로서, 확장기 디바이스에 의해 스피치-기반 컴퓨팅 디바이스로 리디렉션될 수도 있다. 이와 같이, 방법(500)은 532에서, 외부 디바이스로부터 사용자 입력 정보를 수신하는 단계를 포함한다. 원격 서비스가 이미지 데이터를 렌더링하기 위하여 이용될 경우, 입력은 534에서 표시된 바와 같이, 원격 서비스로부터 수신될 수도 있거나, 확장기 디바이스로부터 직접적으로 수신될 수도 있고 원격 서비스로 포워딩될 수도 있다. 입력들은 536에서 표시된 바와 같이, 외부 디바이스의 터치 센서 상에서의 터치 입력들에 대응하는 위치 신호들의 형태를 취할 수도 있고, 및/또는 임의의 다른 적당한 형태를 취할 수도 있다.
디스플레이 상호작용이 더 이상 필요하지 않을 경우 또는 필요하지 않을 때, 스피치-기반 컴퓨팅 디바이스는 확장기 디바이스로부터 자동으로 접속해제하거나 접속을 더욱 지속적으로 유지하도록 구성될 수도 있다. 각각의 스크린-기반 상호작용 후에 접속해제하는 것은 전력 소비를 감소시키는 것을 도울 수도 있지만, 얼마나 신속하게 접속이 확립될 수 있는지에 따라, 스크린-기반 경험에서 약간의 지연을 또한 도입할 수도 있다.
일부 실시형태들에서, 본 명세서에서 설명된 방법들 및 프로세스들은 하나 이상의 컴퓨팅 디바이스들의 컴퓨팅 시스템에 결부될 수도 있다. 특히, 이러한 방법들 및 프로세스들은 컴퓨터-애플리케이션 프로그램 또는 서비스, 애플리케이션-프로그래밍 인터페이스(application-programming interface; API), 라이브러리, 및/또는 다른 컴퓨터-프로그램 제품으로서 구현될 수도 있다.
도 6은 위에서 설명된 방법들 및 프로세스들 중의 하나 이상을 행할 수 있는 컴퓨팅 시스템(600)의 비-제한적인 실시형태를 개략적으로 도시한다. 컴퓨팅 시스템(600)은 간략화된 형태로 도시되어 있다. 컴퓨팅 시스템(600)은, 본 명세서에서 개시된 스피치-기반 컴퓨팅 디바이스들 및/또는 확장기 컴퓨팅 디바이스들을 포함하지만, 이들로 제한되지는 않는 하나 이상의 개인용 컴퓨터들, 서버 컴퓨터들, 태블릿 컴퓨터들, 홈-엔터테인먼트(home-entertainment) 컴퓨터들, 네트워크 컴퓨팅 디바이스들, 게이밍 디바이스들, 이동 컴퓨팅 디바이스들, 이동 통신 디바이스들(예컨대, 스마트폰), 및/또는 다른 컴퓨팅 디바이스들의 형태를 취할 수도 있다.
컴퓨팅 시스템(600)은 로직 서브시스템(602) 및 저장 서브시스템(604)을 포함한다. 컴퓨팅 시스템(600)은 디스플레이 서브시스템(606), 입력 서브시스템(608), 통신 서브시스템(610), 및/또는 도 6에서 도시되지 않은 다른 컴포넌트들을 옵션으로 포함할 수도 있다.
로직 서브시스템(602)은 명령어들을 실행하도록 구성된 하나 이상의 물리적 디바이스들을 포함한다. 예를 들어, 로직 머신(logic machine)은 하나 이상의 애플리케이션들, 서비스들, 프로그램들, 루틴들, 라이브러리들, 오브젝트(object)들, 컴포넌트들, 데이터 구조들, 또는 다른 논리적 구성들의 일부인 명령어들을 실행하도록 구성될 수도 있다. 이러한 명령어들은 태스크를 수행하거나, 데이터 타입을 구현하거나, 하나 이상의 컴포넌트들의 상태를 변환하거나, 기술적 효과를 달성하거나, 또는 그렇지 않을 경우에 원하는 결과에 도달하도록 구현될 수도 있다.
로직 서브시스템(602)은 소프트웨어 명령어들을 실행하도록 구성된 하나 이상의 프로세서들을 포함할 수도 있다. 추가적으로 또는 대안적으로, 로직 서브시스템(602)은 하드웨어 또는 펌웨어 명령어들을 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신들을 포함할 수도 있다. 로직 머신의 프로세서들은 단일-코어 또는 멀티-코어일 수도 있고, 그 프로세서들 상에서 실행된 프로그램들은 순차적, 병렬, 및/또는 분산 프로세싱을 위하여 구성될 수도 있다. 로직 머신의 개별적인 컴포넌트들은 옵션으로, 조정된 프로세싱을 위하여 원격으로 위치될 수도 있고 및/또는 구성될 수도 있는 2 개 이상의 별도의 디바이스들 사이에서 분산될 수도 있다. 로직 머신의 양태들은 클라우드-컴퓨팅 구성으로 구성된 원격으로 액세스가능한 네트워크화된 컴퓨팅 디바이스들에 의해 가상화될 수도 있고 실행될 수도 있다.
저장 서브시스템(604)은 본 명세서에서 설명된 방법들 및 프로세스들을 구현하기 위하여 로직 머신에 의해 실행가능한 명령어들을 유지하도록 구성된 하나 이상의 물리적 디바이스들을 포함한다. 이러한 방법들 및 프로세스들이 구현될 때, 저장 서브시스템(604)의 상태는 (예컨대, 상이한 데이터를 유지하기 위하여) 변환될 수도 있다.
저장 서브시스템(604)은 분리가능한 및/또는 내장(built-in) 디바이스들을 포함할 수도 있다. 저장 서브시스템(604)은 그 중에서도, 광학 메모리(예컨대, CD, DVD, HD-DVD, 블루-레이 디스크(Blu-Ray Disc) 등), 반도체 메모리(예컨대, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리(예컨대, 하드-디스크 드라이브, 플로피-디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수도 있다. 저장 서브시스템(604)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독-전용, 랜덤-액세스, 순차적-액세스, 로케이션-어드레싱가능한, 파일-어드레싱가능한, 및/또는 컨텐츠-어드레싱가능한 디바이스들을 포함할 수도 있다.
저장 서브시스템(604)이 하나 이상의 물리적 디바이스들을 포함한다는 것이 인식될 것이다. 그러나, 본 명세서에서 설명된 명령어들의 양태들은 대안적으로, 유한한 기간 동안에 물리적 디바이스에 의해 유지되지 않는 통신 매체(예컨대, 전자기 신호, 광학 신호 등)에 의해 전파될 수도 있다.
로직 서브시스템(602) 및 저장 서브시스템(604)의 양태들은 하나 이상의 하드웨어-로직 컴포넌트들 내로 함께 통합될 수도 있다. 이러한 하드웨어-로직 컴포넌트들은 예를 들어, 필드-프로그래밍가능한 게이트 어레이(field-programmable gate array; FPGA)들, 프로그램 및 애플리케이션-특정 집적 회로(program- and application-specific integrated circuit; PASIC/ASIC)들, 프로그램 및 애플리케이션-특정 표준 제품(program- and application-specific standard product; PSSP/ASSP)들, 시스템-온-어-칩(system-on-a-chip; SOC), 및 복합 프로그래밍가능한 로직 디바이스(complex programmable logic device; CPLD)들을 포함할 수도 있다.
용어 "모듈" 및 "프로그램"은 특정한 기능을 수행하도록 구현된 컴퓨팅 시스템(600)의 양태를 설명하기 위하여 이용될 수도 있다. 일부 경우들에는, 모듈 또는 프로그램이 저장 서브시스템(604)에 의해 유지된 명령어들을 실행하는 로직 서브시스템(602)을 통해 인스턴스화(instantiate)될 수도 있다. 상이한 모듈들 및/또는 프로그램들은 동일한 애플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수 등으로부터 인스턴스화될 수도 있다는 것이 이해될 것이다. 마찬가지로, 동일한 모듈 및/또는 프로그램은 상이한 애플리케이션들, 서비스들, 코드 블록들, 오브젝트들, 루틴들, API들, 함수들 등에 의해 인스턴스화될 수도 있다. 용어들 "모듈" 및 "프로그램"은 실행가능한 파일들, 데이터 파일들, 라이브러리들, 드라이버들, 스크립트들, 데이터베이스 레코드들 등 중의 개별적인 것 또는 그룹들을 포함할 수도 있다.
본 명세서에서 이용된 바와 같은 "서비스"는 다수의 사용자 세션들에 걸쳐 실행가능한 애플리케이션 프로그램이라는 것이 인식될 것이다. 서비스는 하나 이상의 시스템 컴포넌트들, 프로그램들, 및/또는 다른 서비스들에 의해 이용가능할 수도 있다. 일부 구현예들에서, 서비스는 하나 이상의 서버-컴퓨팅 디바이스들 상에서 작동할 수도 있다.
디스플레이 서브시스템(606)이 포함될 때, 디스플레이 서브시스템(606)은 저장 서브시스템(604)에 의해 유지된 데이터의 시각적 표현을 제시하기 위하여 이용될 수도 있다. 이 시각적 표현은 그래픽 사용자 인터페이스(graphical user interface; GUI)의 형태를 취할 수도 있다. 본 명세서에서 설명된 방법들 및 프로세스들은 저장 머신에 의해 유지된 데이터를 변경하고, 이에 따라, 저장 머신의 상태를 변환하므로, 디스플레이 서브시스템(606)의 상태는 기초적인 데이터에서의 변경들을 시각적으로 표현하기 위하여 마찬가지로 변환될 수도 있다. 디스플레이 서브시스템(606)은 임의의 타입의 기술을 가상적으로 사용하는 하나 이상의 디스플레이 디바이스들을 포함할 수도 있다. 이러한 디스플레이 디바이스들은 공유된 밀폐부에서 로직 서브시스템(602) 및/또는 저장 서브시스템(604)과 조합될 수도 있거나, 이러한 디스플레이 디바이스들은 주변 디스플레이 디바이스들일 수도 있다.
입력 서브시스템(608)이 포함될 때, 입력 서브시스템(608)은 키보드, 마우스, 터치 스크린, 또는 게임 제어기와 같은 하나 이상의 사용자-입력 디바이스들을 포함할 수도 있거나 이들과 인터페이싱할 수도 있다. 일부 실시형태들에서, 입력 서브시스템은 선택된 자연적 사용자 입력(natural user input; NUI) 구성요소를 포함할 수도 있거나 이와 인터페이싱할 수도 있다. 이러한 구성요소는 통합될 수도 있거나 주변기기일 수도 있고, 입력 액션들의 변환 및/또는 프로세싱은 온-보드 또는 오프-보드로 처리될 수도 있다. 일 예의 NUI 구성요소는 스피치(speech) 및/또는 음성 인식을 위한 마이크로폰; 머신 비전(machine vision) 및/또는 제스처 인식을 위한 적외선, 컬러, 입체영상, 및/또는 심도 카메라; 두부(head) 추적기, 눈 추적기, 가속도계, 및/또는 모션 검출 및/또는 의도 인식을 위한 자이로스코프뿐만 아니라, 뇌 활성도(brain activity)를 평가하기 위한 전기장 감지 구성요소를 포함할 수도 있다.
통신 서브시스템(610)이 포함될 때, 통신 서브시스템(610)은 컴퓨팅 시스템(600)을 하나 이상의 다른 컴퓨팅 디바이스들과 통신가능하게 결합하도록 구성될 수도 있다. 통신 서브시스템(610)은 하나 이상의 상이한 통신 프로토콜들과 호환가능한 유선 및/또는 무선 통신 디바이스들을 포함할 수도 있다. 비-제한적인 예들로서, 통신 서브시스템은 무선 전화 네트워크, 또는 유선 또는 로컬 또는 광역 네트워크를 통한 통신을 위하여 구성될 수도 있다. 일부 실시형태들에서, 통신 서브시스템은 컴퓨팅 시스템(600)이 인터넷과 같은 네트워크를 통해 메시지들을 다른 디바이스들로 및/또는 다른 디바이스들로부터 전송하고 및/또는 수신하는 것을 허용할 수도 있다.
본 명세서에서 설명된 구성들 및/또는 접근법들은 실제로 예시적이고, 이 특정 실시형태들 또는 예들은 복수의 변형들이 가능하기 때문에, 제한적인 의미로 고려되지 않아야 한다는 것이 이해될 것이다. 본 명세서에서 설명된 특정 루틴들 또는 방법들은 임의의 수의 프로세싱 전략들 중의 하나 이상을 표현할 수도 있다. 이와 같이, 예시되고 및/또는 설명된 다양한 액트들은 예시되고 및/또는 설명된 시퀀스로, 다른 시퀀스들로, 병렬로 수행될 수도 있거나, 또는 생략될 수도 있다. 마찬가지로, 상기 설명된 프로세스들의 순서는 변경될 수도 있다.
본 개시내용의 청구 대상은 본 명세서에서 개시된 다양한 프로세스들, 시스템들 및 구성들, 및 다른 특징들, 기능들, 액트들, 및/또는 속성들뿐만 아니라, 그 임의의 그리고 모든 등가물들의 모든 신규하고 비자명한 조합들 및 서브조합들을 포함한다.
또 다른 예는 스피치 입력들을 수신하도록 구성된 음향 수신기, 오디오 출력들을 제시하도록 구성된 스피커, 외부 디바이스에 접속하도록 구성된 통신 서브시스템, 명령어들을 실행하도록 구성된 로직 서브시스템, 및 저장 서브시스템을 포함하는 웨어러블 컴퓨팅 디바이스를 제공하며, 상기 저장 서브시스템은, 프로그램을 실행하고, 무선 통신 프로토콜을 통해 외부 디바이스에 접속하고, 음향 수신기에서 수신된 스피치 입력들 및 스피커에 의해 제공된 오디오 출력들을 통해 프로그램의 오디오-기반 상호작용을 행하고, 프로그램의 스크린-기반 상호작용에 도달할 시에, 외부 디바이스와 상호작용할 것을 스피커를 통해 사용자에게 통지하고, 그리고 외부 디바이스의 스크린을 통한 프레젠테이션을 위하여 이미지 데이터를 외부 디바이스에 제공하기 위하여 로직 서브시스템에 의해 실행가능한 명령어들을 포함한다. 명령어들은 추가적으로 또는 대안적으로, 로직 서브시스템에 의해 실행될 수도 있고, 여기서, 무선 통신 프로토콜은 또한 제 2 무선 통신 프로토콜을 통해 외부 디바이스에 접속하기 위한 제 1 무선 통신 프로토콜이다. 명령어들은 추가적으로 또는 대안적으로, 제 1 무선 통신 프로토콜 및 제 2 무선 통신 프로토콜의 각각에 대한 하나 이상의 성능 특성들을 모니터링하고, 하나 이상의 성능 특성들에 기초하여 제 1 무선 통신 프로토콜 및 제 2 무선 통신 프로토콜 중의 하나를 통해 외부 디바이스와 통신하도록 실행될 수도 있다. 명령어들은 추가적으로 또는 대안적으로, 외부 디바이스에 의해 방출된 비콘 신호를 검출함으로써 외부 디바이스에 접속하도록 실행될 수도 있다. 명령어들은 추가적으로 또는 대안적으로, 하나 이상의 추가적인 외부 디바이스들에 접속하도록 실행될 수도 있다. 명령어들은 추가적으로 또는 대안적으로, 외부 디바이스의 스크린의 배향, 프레임 레이트, 및 해상도 중의 하나 이상에 관한 정보를 외부 디바이스로부터 수신하도록 실행될 수도 있다. 명령어들은 추가적으로 또는 대안적으로, 외부 디바이스를 통해 행해진 프로그램에 대한 사용자 입력들을 수신하도록 실행될 수도 있고, 여기서, 사용자 입력들은 외부 디바이스 상에서의 터치 입력들에 대응하는 위치 신호들을 포함할 수도 있다.
또 다른 예는 스피치 입력들을 수신하도록 구성된 음향 수신기, 오디오 출력들을 제시하도록 구성된 스피커, 외부 디바이스 및 원격 서비스에 접속하도록 구성된 통신 서브시스템, 명령어들을 실행하도록 구성된 로직 서브시스템, 및 저장 서브시스템을 포함하는 웨어러블 컴퓨팅 디바이스를 제공하며, 상기 저장 서브시스템은, 컴퓨터 네트워크를 통해 원격 서비스에 접속하고, 외부 디바이스에 접속하고, 웨어러블 컴퓨팅 디바이스 상에서 로컬 방식으로 프로그램을 실행하고, 음향 수신기에서 수신된 스피치 입력들 및 스피커에 의해 제공된 오디오 출력들을 통해 프로그램의 오디오-기반 상호작용을 행하고, 프로그램의 스크린-기반 상호작용에 도달할 시에, 외부 디바이스와 상호작용할 것을 사용자에게 통지하고, 스크린-기반 상호작용을 위하여 원격 서비스로부터 이미지 데이터를 획득할 것을 외부 디바이스에 명령하고, 그리고 스크린-기반 상호작용 동안에 외부 디바이스로부터 사용자 입력 정보를 수신하기 위하여 로직 서브시스템에 의해 실행가능한 명령어들을 포함한다. 명령어들은 추가적으로 또는 대안적으로, 제 1 무선 통신 프로토콜 및 제 2 무선 통신 프로토콜을 통해 외부 디바이스에 접속하고, 제 1 무선 통신 프로토콜 및 제 2 무선 통신 프로토콜의 각각에 대한 하나 이상의 성능 특성들을 모니터링하고, 하나 이상의 성능 특성들에 기초하여 제 1 무선 통신 프로토콜 및 제 2 무선 통신 프로토콜 중의 하나를 통해 외부 디바이스와 통신하도록 실행될 수도 있다. 명령어들은 추가적으로 또는 대안적으로, 원격 서비스를 통해 외부 디바이스로부터 사용자 입력 정보를 수신하도록 실행될 수도 있다. 명령어들은 추가적으로 또는 대안적으로, 외부 디바이스로부터 직접적으로 사용자 입력 정보를 수신하고, 외부 디바이스로부터 직접적으로 수신된 사용자 입력 정보를 원격 서비스로 포워딩하도록 실행될 수도 있다. 명령어들은 추가적으로 또는 대안적으로, 외부 디바이스의 스크린의 배향, 프레임 레이트, 및 해상도 중의 하나 이상에 관한 정보를 외부 디바이스로부터 수신하도록 실행될 수도 있다. 추가적으로 또는 대안적으로, 사용자 입력 정보는 외부 디바이스 상에서의 터치 입력들에 대응하는 위치 신호들을 포함할 수도 있다.
또 다른 예는 음향 수신기 및 스피커를 포함하는 웨어러블 컴퓨팅 디바이스 상에서의 방법을 제공하며, 상기 방법은, 프로그램을 실행하는 단계, 무선 통신 프로토콜을 통해 외부 디바이스에 접속하는 단계, 음향 수신기에서 수신된 스피치 입력들 및 스피커에 의해 제공된 오디오 출력들을 통해 프로그램의 오디오-기반 상호작용을 행하는 단계, 프로그램의 스크린-기반 상호작용에 도달할 시에, 외부 디바이스와 상호작용할 것을 스피커를 통해 사용자에게 통지하는 단계, 외부 디바이스의 스크린의 배향에 관한 배향 정보를 외부 디바이스로부터 수신하는 것, 외부 디바이스의 스크린을 통한 프레젠테이션을 위하여 배향 정보에 기초하여 이미지 데이터를 외부 디바이스에 제공하는 단계, 및 스크린-기반 상호작용 동안에 외부 디바이스로부터 사용자 입력 정보를 수신하는 단계를 포함한다. 방법은 추가적으로 또는 대안적으로, 무선 통신 프로토콜이 제 1 무선 통신 프로토콜이고, 또한 제 2 무선 통신 프로토콜을 통해 외부 디바이스에 접속하는 단계를 포함할 수도 있다. 방법은 추가적으로 또는 대안적으로, 제 1 무선 통신 프로토콜 및 제 2 무선 통신 프로토콜의 각각에 대한 하나 이상의 성능 특성들을 모니터링하는 단계, 및 하나 이상의 성능 특성들에 기초하여 제 1 무선 통신 프로토콜 및 제 2 무선 통신 프로토콜 중의 하나를 통해 외부 디바이스와 통신하는 단계를 포함할 수도 있다. 방법은 추가적으로 또는 대안적으로, 사용자 입력 정보가 외부 디바이스 상에서의 터치 입력들에 대응하는 위치 신호들을 포함한다는 점을 포함할 수도 있다. 방법은 추가적으로 또는 대안적으로, 컴퓨터 네트워크를 통해 원격 서비스를 접속하는 단계를 포함할 수도 있고, 여기서, 외부 디바이스로부터 사용자 입력 정보를 수신하는 단계는 원격 서비스를 통해 사용자 입력 정보를 수신하는 단계를 포함한다. 위에서 설명된 예들 중의 임의의 것 또는 전부는 다양한 구현예들에서 임의의 적당한 방식으로 조합될 수도 있다.

Claims (13)

  1. 웨어러블(wearable) 컴퓨팅 디바이스로서,
    스피치 입력들을 수신하도록 구성된 음향 수신기와,
    오디오 출력들을 제시하도록 구성된 스피커와,
    외부 디바이스에 접속하도록 구성된 통신 서브시스템과,
    명령어들을 실행하도록 구성된 로직 서브시스템과,
    저장 서브시스템
    을 포함하며,
    상기 저장 서브 시스템은,
    프로그램을 실행하고,
    무선 통신 프로토콜을 통해 상기 외부 디바이스에 접속하고,
    상기 음향 수신기에서 수신된 상기 스피치 입력들 및 상기 스피커에 의해 제공된 상기 오디오 출력들을 통해 상기 프로그램의 오디오-기반 상호작용을 행하고,
    상기 프로그램의 스크린-기반 상호작용에 도달(reach)할 시에, 상기 외부 디바이스와 상호작용할 것을 상기 스피커를 통해 사용자에게 통지하고, 그리고
    상기 외부 디바이스의 스크린을 통한 프레젠테이션(presentation)을 위해 이미지 데이터를 상기 외부 디바이스에 제공하도록,
    상기 로직 서브시스템에 의해 실행가능한 명령어들을 포함하는 것인, 웨어러블 컴퓨팅 디바이스.
  2. 제 1 항에 있어서,
    상기 무선 통신 프로토콜은 제 1 무선 통신 프로토콜이고, 상기 명령어들은 또한 제 2 무선 통신 프로토콜을 통해 상기 외부 디바이스에 접속하도록 상기 로직 서브시스템에 의해 실행가능한 것인, 웨어러블 컴퓨팅 디바이스.
  3. 제 2 항에 있어서,
    상기 명령어들은 상기 제 1 무선 통신 프로토콜 및 상기 제 2 무선 통신 프로토콜의 각각에 대한 하나 이상의 성능 특성들을 모니터링하고, 상기 하나 이상의 성능 특성들에 기초하여 상기 제 1 무선 통신 프로토콜 및 상기 제 2 무선 통신 프로토콜 중의 하나를 통해 상기 외부 디바이스와 통신하기 위하여 상기 로직 서브시스템에 의해 실행가능한 것인, 웨어러블 컴퓨팅 디바이스.
  4. 제 1 항에 있어서,
    상기 명령어들은 상기 외부 디바이스에 의해 방출된 비콘 신호를 검출함으로써 상기 외부 디바이스에 접속하도록 상기 로직 서브시스템에 의해 실행가능한 것인, 웨어러블 컴퓨팅 디바이스.
  5. 제 1 항에 있어서,
    상기 명령어들은 하나 이상의 추가적인 외부 디바이스들에 접속하도록 상기 로직 서브시스템에 의해 실행가능한 것인, 웨어러블 컴퓨팅 디바이스.
  6. 제 1 항에 있어서,
    상기 명령어들은, 상기 외부 디바이스의 상기 스크린의 배향(orientation), 프레임 레이트, 및 해상도 중의 하나 이상에 관한 정보를 상기 외부 디바이스로부터 수신하도록 상기 로직 서브시스템에 의해 실행가능한 것인, 웨어러블 컴퓨팅 디바이스.
  7. 제 1 항에 있어서,
    상기 명령어들은, 상기 외부 디바이스를 통해 행해진 상기 프로그램에 대한 사용자 입력들을 수신하도록 상기 로직 서브시스템에 의해 실행가능한 것인, 웨어러블 컴퓨팅 디바이스.
  8. 제 7 항에 있어서,
    상기 사용자 입력들은 상기 외부 디바이스 상에서의 터치 입력들에 대응하는 위치 신호들을 포함하는 것인, 웨어러블 컴퓨팅 디바이스.
  9. 음향 수신기 및 스피커를 포함하는 웨어러블 컴퓨팅 디바이스 상에서의 방법으로서,
    프로그램을 실행하는 단계와,
    무선 통신 프로토콜을 통해 외부 디바이스에 접속하는 단계와,
    상기 음향 수신기에서 수신된 스피치 입력들 및 상기 스피커에 의해 제공된 오디오 출력들을 통해 상기 프로그램의 오디오-기반 상호작용을 행하는 단계와,
    상기 프로그램의 스크린-기반 상호작용에 도달할 시에, 상기 외부 디바이스와 상호작용할 것을 상기 스피커를 통해 사용자에게 통지하는 단계와,
    상기 외부 디바이스의 스크린의 배향에 관한 배향 정보를 상기 외부 디바이스로부터 수신하는 단계와,
    상기 외부 디바이스의 상기 스크린을 통한 프레젠테이션을 위하여 상기 배향 정보에 기초하여 이미지 데이터를 상기 외부 디바이스에 제공하는 단계와,
    상기 스크린-기반 상호작용 동안에 상기 외부 디바이스로부터 사용자 입력 정보를 수신하는 단계를 포함하는, 방법.
  10. 제 9 항에 있어서,
    상기 무선 통신 프로토콜은 제 1 무선 통신 프로토콜이고, 또한 제 2 무선 통신 프로토콜을 통해 상기 외부 디바이스에 접속하는 단계를 더 포함하는, 방법.
  11. 제 10 항에 있어서,
    상기 제 1 무선 통신 프로토콜 및 상기 제 2 무선 통신 프로토콜의 각각에 대한 하나 이상의 성능 특성들을 모니터링하는 단계, 및 상기 하나 이상의 성능 특성들에 기초하여 상기 제 1 무선 통신 프로토콜 및 상기 제 2 무선 통신 프로토콜 중의 하나를 통해 상기 외부 디바이스와 통신하는 단계를 더 포함하는, 방법.
  12. 제 9 항에 있어서,
    상기 사용자 입력 정보는 상기 외부 디바이스 상에서의 터치 입력들에 대응하는 위치 신호들을 포함하는 것인, 방법.
  13. 제 9 항에 있어서,
    컴퓨터 네트워크를 통해 원격 서비스에 접속하는 단계를 더 포함하고, 상기 외부 디바이스로부터 상기 사용자 입력 정보를 수신하는 단계는, 상기 원격 서비스를 통해 상기 사용자 입력 정보를 수신하는 단계를 포함하는 것인, 방법.
KR1020177018640A 2014-12-05 2015-11-28 스피치-기반 디바이스들을 위한 외부의 시각적 상호작용들 KR102542734B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/562,491 2014-12-05
US14/562,491 US11327711B2 (en) 2014-12-05 2014-12-05 External visual interactions for speech-based devices
PCT/US2015/062850 WO2016089713A1 (en) 2014-12-05 2015-11-28 External visual interactions for speech-based devices

Publications (2)

Publication Number Publication Date
KR20170092668A true KR20170092668A (ko) 2017-08-11
KR102542734B1 KR102542734B1 (ko) 2023-06-12

Family

ID=55024236

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177018640A KR102542734B1 (ko) 2014-12-05 2015-11-28 스피치-기반 디바이스들을 위한 외부의 시각적 상호작용들

Country Status (6)

Country Link
US (1) US11327711B2 (ko)
EP (1) EP3227886A1 (ko)
JP (1) JP2018505463A (ko)
KR (1) KR102542734B1 (ko)
CN (1) CN107005739B (ko)
WO (1) WO2016089713A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210028688A (ko) * 2018-08-09 2021-03-12 구글 엘엘씨 핫워드 인식 및 수동 어시스턴스

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9972895B2 (en) 2015-08-29 2018-05-15 Bragi GmbH Antenna for use in a wearable device
US9905088B2 (en) 2015-08-29 2018-02-27 Bragi GmbH Responsive visual communication system and method
US9949008B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Reproduction of ambient environmental sound for acoustic transparency of ear canal device system and method
US9843853B2 (en) 2015-08-29 2017-12-12 Bragi GmbH Power control for battery powered personal area network device system and method
US9949013B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Near field gesture control system and method
US10104458B2 (en) 2015-10-20 2018-10-16 Bragi GmbH Enhanced biometric control systems for detection of emergency events system and method
US9980189B2 (en) 2015-10-20 2018-05-22 Bragi GmbH Diversity bluetooth system and method
US9866941B2 (en) 2015-10-20 2018-01-09 Bragi GmbH Multi-point multiple sensor array for data sensing and processing system and method
US9653075B1 (en) * 2015-11-06 2017-05-16 Google Inc. Voice commands across devices
US9939891B2 (en) 2015-12-21 2018-04-10 Bragi GmbH Voice dictation systems using earpiece microphone system and method
US9980033B2 (en) 2015-12-21 2018-05-22 Bragi GmbH Microphone natural speech capture voice dictation system and method
US10085091B2 (en) 2016-02-09 2018-09-25 Bragi GmbH Ambient volume modification through environmental microphone feedback loop system and method
US10085082B2 (en) 2016-03-11 2018-09-25 Bragi GmbH Earpiece with GPS receiver
US10045116B2 (en) 2016-03-14 2018-08-07 Bragi GmbH Explosive sound pressure level active noise cancellation utilizing completely wireless earpieces system and method
US10052065B2 (en) 2016-03-23 2018-08-21 Bragi GmbH Earpiece life monitor with capability of automatic notification system and method
US10015579B2 (en) 2016-04-08 2018-07-03 Bragi GmbH Audio accelerometric feedback through bilateral ear worn device system and method
US10013542B2 (en) 2016-04-28 2018-07-03 Bragi GmbH Biometric interface system and method
US10201309B2 (en) 2016-07-06 2019-02-12 Bragi GmbH Detection of physiological data using radar/lidar of wireless earpieces
US10045110B2 (en) 2016-07-06 2018-08-07 Bragi GmbH Selective sound field environment processing system and method
US10205814B2 (en) 2016-11-03 2019-02-12 Bragi GmbH Wireless earpiece with walkie-talkie functionality
US10062373B2 (en) 2016-11-03 2018-08-28 Bragi GmbH Selective audio isolation from body generated sound system and method
US10045112B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with added ambient environment
US10045117B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with modified ambient environment over-ride function
US10058282B2 (en) 2016-11-04 2018-08-28 Bragi GmbH Manual operation assistance with earpiece with 3D sound cues
US10063957B2 (en) * 2016-11-04 2018-08-28 Bragi GmbH Earpiece with source selection within ambient environment
US10506327B2 (en) 2016-12-27 2019-12-10 Bragi GmbH Ambient environmental sound field manipulation based on user defined voice and audio recognition pattern analysis system and method
US10405081B2 (en) 2017-02-08 2019-09-03 Bragi GmbH Intelligent wireless headset system
US10582290B2 (en) 2017-02-21 2020-03-03 Bragi GmbH Earpiece with tap functionality
US10771881B2 (en) 2017-02-27 2020-09-08 Bragi GmbH Earpiece with audio 3D menu
US11544104B2 (en) 2017-03-22 2023-01-03 Bragi GmbH Load sharing between wireless earpieces
US11380430B2 (en) 2017-03-22 2022-07-05 Bragi GmbH System and method for populating electronic medical records with wireless earpieces
US11694771B2 (en) 2017-03-22 2023-07-04 Bragi GmbH System and method for populating electronic health records with wireless earpieces
US10575086B2 (en) 2017-03-22 2020-02-25 Bragi GmbH System and method for sharing wireless earpieces
US10708699B2 (en) 2017-05-03 2020-07-07 Bragi GmbH Hearing aid with added functionality
US11116415B2 (en) 2017-06-07 2021-09-14 Bragi GmbH Use of body-worn radar for biometric measurements, contextual awareness and identification
US11013445B2 (en) 2017-06-08 2021-05-25 Bragi GmbH Wireless earpiece with transcranial stimulation
US10075539B1 (en) 2017-09-08 2018-09-11 Google Inc. Pairing a voice-enabled device with a display device
US10344960B2 (en) 2017-09-19 2019-07-09 Bragi GmbH Wireless earpiece controlled medical headlight
US11272367B2 (en) 2017-09-20 2022-03-08 Bragi GmbH Wireless earpieces for hub communications
US20190340568A1 (en) * 2018-05-04 2019-11-07 Microsoft Technology Licensing, Llc Inventory tracking via wearable device
KR20200091278A (ko) * 2019-01-22 2020-07-30 삼성전자주식회사 음성 입력과 관련된 비주얼 정보를 표시하는 방법 및 이를 지원하는 전자 장치
KR20200095651A (ko) 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
CN109767773A (zh) * 2019-03-26 2019-05-17 北京百度网讯科技有限公司 基于语音交互终端的信息输出方法和装置
US11769134B2 (en) * 2021-03-22 2023-09-26 International Business Machines Corporation Multi-user interactive ad shopping using wearable device gestures

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060203758A1 (en) * 2005-03-11 2006-09-14 Samsung Electronics Co., Ltd. Mobile terminal for relaying multimedia data to an external display device
US20070238484A1 (en) * 2006-03-28 2007-10-11 Sony Ericsson Mobile Communications Ab Wireless peripheral with a multi-function control
US8055296B1 (en) * 2007-11-06 2011-11-08 Sprint Communications Company L.P. Head-up display communication system and method
US20120287284A1 (en) * 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
KR20130007767A (ko) * 2011-07-11 2013-01-21 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
KR20140061472A (ko) * 2009-02-27 2014-05-21 파운데이션 프로덕션, 엘엘씨 헤드셋 기반 원격통신 플랫폼
KR20140064689A (ko) * 2012-11-20 2014-05-28 삼성전자주식회사 착용식 전자 디바이스에 의한 원격 전자 디바이스의 제어

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526314B2 (en) * 2002-02-20 2009-04-28 Hewlett-Packard Development Company, L.P. Remote data storage and retrieval for portable electronics
US20050182847A1 (en) * 2004-01-21 2005-08-18 Dell Products L.P. System and method for dynamic switching between wireless network protocols
US7613478B2 (en) * 2004-03-15 2009-11-03 General Electric Company Method and system for portability of clinical images using a high-quality display and portable device
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20090017910A1 (en) 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
US8594467B2 (en) 2008-12-19 2013-11-26 Microsoft Corporation Interactive virtual display system for ubiquitous devices
US8436789B2 (en) 2009-01-16 2013-05-07 Microsoft Corporation Surface puck
US20100302141A1 (en) 2009-05-28 2010-12-02 Subramonian Shankar Display and Interaction Environment for Mobile Devices
US10706373B2 (en) * 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US8743696B2 (en) 2009-08-07 2014-06-03 Cisco Technology, Inc. Mobile transport solution for offloading to an alternate network
KR101605347B1 (ko) 2009-12-18 2016-03-22 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
US10705794B2 (en) * 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
GB201010821D0 (en) 2010-06-28 2011-03-30 Nokia Oyj Mehtod and apparatus for communicating via a gateway
US8725133B2 (en) * 2011-02-15 2014-05-13 Lg Electronics Inc. Method of transmitting and receiving data, display device and mobile terminal using the same
US20120229270A1 (en) 2011-03-11 2012-09-13 Christopher Morley Wearable biofeedback system
US8590023B2 (en) 2011-06-30 2013-11-19 Intel Corporation Mobile device and method for automatic connectivity, data offloading and roaming between networks
US20130018659A1 (en) 2011-07-12 2013-01-17 Google Inc. Systems and Methods for Speech Command Processing
GB2495222B (en) 2011-09-30 2016-10-26 Apple Inc Using context information to facilitate processing of commands in a virtual assistant
WO2013050070A1 (en) 2011-10-05 2013-04-11 Nokia Siemens Networks Oy Mechanism for triggering offloading procedure in case of traffic congestion
US9159322B2 (en) * 2011-10-18 2015-10-13 GM Global Technology Operations LLC Services identification and initiation for a speech-based interface to a mobile device
KR20130064548A (ko) 2011-12-08 2013-06-18 주식회사 온비트 목적지 정보 제공 시스템 및 방법과 이를 위한 착용형 무선통신장치
US20130147686A1 (en) 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
US9203563B2 (en) 2012-07-02 2015-12-01 Intel Corporation Devices and methods for radio communication network guided traffic offload
CN103533148A (zh) 2012-07-03 2014-01-22 华移联科（沈阳）技术有限公司 一种变屏手机及其使用方法
CN103535051B (zh) 2012-08-02 2017-01-11 庞博文 带互动显示屏的耳机
US8971182B2 (en) 2012-08-07 2015-03-03 Lg Electronics Inc. Method for data traffic offloading and apparatus using the same
US9265310B2 (en) 2012-10-30 2016-02-23 Bin Lam Methods, systems, and apparatuses for incorporating wireless headsets, terminals, and communication devices into fashion accessories and jewelry
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
CN105073073B (zh) 2013-01-25 2018-12-07 胡海 用于声音可视化及声源定位的设备与方法
US9606635B2 (en) 2013-02-15 2017-03-28 Microsoft Technology Licensing, Llc Interactive badge
US9807495B2 (en) * 2013-02-25 2017-10-31 Microsoft Technology Licensing, Llc Wearable audio accessories for computing devices
US11334314B2 (en) * 2013-10-25 2022-05-17 Voyetra Turtle Beach, Inc. Networked gaming headset with automatic social networking
US9400634B2 (en) * 2013-10-28 2016-07-26 Google Technology Holdings LLC Systems and methods for communicating notifications and textual data associated with applications
JP6328797B2 (ja) * 2014-05-30 2018-05-23 アップル インコーポレイテッド １つのデバイスの使用から別のデバイスの使用への移行
US10015234B2 (en) * 2014-08-12 2018-07-03 Sony Corporation Method and system for providing information via an intelligent user interface
US9564130B2 (en) * 2014-12-03 2017-02-07 Samsung Electronics Co., Ltd. Wireless controller including indicator
US10992719B2 (en) * 2017-11-14 2021-04-27 Rovi Guides, Inc. Systems and methods for establishing a voice link between users accessing media

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060203758A1 (en) * 2005-03-11 2006-09-14 Samsung Electronics Co., Ltd. Mobile terminal for relaying multimedia data to an external display device
US20070238484A1 (en) * 2006-03-28 2007-10-11 Sony Ericsson Mobile Communications Ab Wireless peripheral with a multi-function control
US8055296B1 (en) * 2007-11-06 2011-11-08 Sprint Communications Company L.P. Head-up display communication system and method
KR20140061472A (ko) * 2009-02-27 2014-05-21 파운데이션 프로덕션, 엘엘씨 헤드셋 기반 원격통신 플랫폼
US20120287284A1 (en) * 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
KR20130007767A (ko) * 2011-07-11 2013-01-21 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
KR20140064689A (ko) * 2012-11-20 2014-05-28 삼성전자주식회사 착용식 전자 디바이스에 의한 원격 전자 디바이스의 제어

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210028688A (ko) * 2018-08-09 2021-03-12 구글 엘엘씨 핫워드 인식 및 수동 어시스턴스

Also Published As

Publication number Publication date
KR102542734B1 (ko) 2023-06-12
EP3227886A1 (en) 2017-10-11
CN107005739B (zh) 2020-09-29
US11327711B2 (en) 2022-05-10
CN107005739A (zh) 2017-08-01
JP2018505463A (ja) 2018-02-22
US20160162259A1 (en) 2016-06-09
WO2016089713A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
KR102542734B1 (ko) 스피치-기반 디바이스들을 위한 외부의 시각적 상호작용들
US11132025B2 (en) Apparatus including multiple touch screens and method of changing screens therein
KR102358939B1 (ko) 시선 추적 방법 및 디바이스에서의 시각적 변경의 비시각적 피드백
US9584915B2 (en) Spatial audio with remote speakers
US20180302349A1 (en) System for providing dialog content
US8738783B2 (en) System for interaction of paired devices
KR102415870B1 (ko) 적응적으로 작업 수행의 주체를 변경하기 위한 장치 및 방법
CN111083684A (zh) 控制电子设备的方法及电子设备
CN113646828A (zh) 可在蓝牙低功耗（ble）模式下操作的游戏控制器
EP3502838B1 (en) Apparatus, method and system for identifying a target object from a plurality of objects
KR20150107416A (ko) 오디오 처리 방법 및 그 전자 장치
EP2807534B1 (en) Methods and devices to determine a preferred electronic device
US20230222989A1 (en) Automatic input style selection or augmentation for an external display device
US9749455B2 (en) Electronic device and method for sending messages using the same
CN114073057A (zh) 使用客户端音频参数的服务器侧绘制的音频
JP2016508271A (ja) 制御可能なヘッドセットコンピュータディスプレイ
CN111178306A (zh) 一种显示控制方法及电子设备
KR102533986B1 (ko) 실시간 콘텐트 데이터를 공유하는 전자 장치
WO2023284355A9 (zh) 信息处理方法、装置、系统、存储介质和电子设备
CN114546188B (zh) 基于互动界面的互动方法、装置、设备及可读存储介质
US20240042312A1 (en) Haptics support for ui navigation
US20240144938A1 (en) Quick audio profile using voice assistant
WO2024082947A1 (zh) 多屏多设备交互方法、电子设备及系统
US10303243B2 (en) Controlling devices based on physical gestures
KR20220139783A (ko) 이동 단말기

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant