KR20160140665A - 클라이언트 측 개인 음성 웹 내비게이션 - Google Patents

클라이언트 측 개인 음성 웹 내비게이션 Download PDF

Info

Publication number
KR20160140665A
KR20160140665A KR1020167026914A KR20167026914A KR20160140665A KR 20160140665 A KR20160140665 A KR 20160140665A KR 1020167026914 A KR1020167026914 A KR 1020167026914A KR 20167026914 A KR20167026914 A KR 20167026914A KR 20160140665 A KR20160140665 A KR 20160140665A
Authority
KR
South Korea
Prior art keywords
user
mobile device
web page
web
start screen
Prior art date
Application number
KR1020167026914A
Other languages
English (en)
Inventor
쳉-이 옌
데릭 리델
케네스 레너리스
찰스 모리스
디에터 린들
탄비 서티
마이클 스티븐스
에카 정
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20160140665A publication Critical patent/KR20160140665A/ko

Links

Images

Classifications

    • G06F17/30899—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/954—Navigation, e.g. using categorised browsing
    • G06F17/30873—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G10L15/265—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

모바일 장치, 가령, 스마트폰 상에서 실행되는 시스템이, 사용자가 장치의 시작 스크린에 고정될 수 있는 웹 페이지를 특정할 수 있게 하는 사용자 인터페이스(UI)를 노출하도록 구성된다. 고정되면, 사용자는 UI 상의 임의의 위치로부터 또는 장치 상에서 현재 지원되는 임의의 경험으로부터 음성 명령에 의해 웹 페이지를 런칭할 수 있다. 따라서 사용자는 새로운 비디오 게임에 대해 친구와 전화 통화할 수 있고 그 후 음성 명령을 통해 모바일 장치 상에서 게임의 발매일에 대한 정보를 갖는 고정된 웹 페이지로 내비게이션되는 웹 브라우저 애플리케이션을 런칭할 수 있다. 웹 페이지는 쉽게 UI를 통해 시작 스크린에 고정 및 고정해제될 수 있다. 시작 스크린으로부터 웹 페이지가 고정해제될 때, 시스템은 이에 대한 음성 웹 내비게이션을 비활성화한다.

Description

클라이언트 측 개인 음성 웹 내비게이션{CLIENT-SIDE PERSONAL VOICE WEB NAVIGATION}
모바일 장치는 개선된 모바일 사업자(MO) 네트워크 상에서 음성 및 데이터 서비스를 제공하여 풍부한 사용자 경험, 가령, 인터넷을 통한 웹사이트 브라우징을 지원하는 새로운 통신 서비스를 활용하고 있다. 이러한 장치 및 네트워크가 많은 경우에 만족스럽게 작동하더라도, 추가 기능 및 경험이 모바일 장치 사용자에게 가능해지도록 하는 추가 개선이 필요하다.
이 배경기술 섹션은 이하의 개요 및 구체적인 내용 섹션에 대한 간략한 맥락을 소개하기 위해 제공된다. 이 배경기술 섹션은 본 발명의 범위를 결정하는 데 영향을 미치지 않으며, 앞서 제시된 단점 또는 문제 중 임의의 것 또는 전부를 해결하는 구현예에 본 발명을 한정하는 것으로 여겨지지도 않는다.
개요
모바일 장치, 가령, 스마트폰 상에서 실행되는 시스템은, 사용자가 장치의 시작 스크린에 고정될 수 있는 웹 페이지를 특정할 수 있게 하는 사용자 인터페이스(UI)를 노출하도록 구성된다. 고정되면, 사용자는 UI 상의 임의의 위치에서 또는 장치 상에서 현재 지원되는 임의의 경험에서 음성 명령을 통해 웹 페이지를 런칭할 수 있다. 따라서 사용자는 새로운 비디오 게임에 대해 친구와 전화 통화할 수 있고 그 후 음성 명령을 통해 모바일 장치 상에서 게임의 발매일에 대한 정보를 갖는 고정된 웹 페이지로 내비게이션되는 웹 브라우저 애플리케이션을 런칭할 수 있다. 웹 페이지는 쉽게 UI를 통해 시작 스크린에 고정 및 고정해제될 수 있다. 시작 스크린으로부터 웹 페이지가 고정해제될 때, 시스템은 이에 대한 음성 웹 내비게이션을 비활성화한다.
다양한 예시에서, 모바일 장치는 터치스크린을 구비하여, 브라우저 상에서 웹 페이지를 볼 때, 사용자는 탭(tap)하여 시작 스크린에 웹 페이지를 고정(pin)할 수 있는 컨트롤을 노출하는 애플리케이션 메뉴를 호출할 수 있다. 시스템은 상기 웹 페이지를 나타내기 위한 토큰에 명칭을 할당하여 이를 시작 스크린 상에 배치하여 그 토큰이 할당된 명칭을 이용한 음성 명령에 의해 런칭될 수 있음을 사용자에게 알릴 수 있다. 시스템은 음성 명령에 응답하는 자연 언어 인터페이스를 노출하는 가상 개인 어시스턴트를 포함한다. 따라서 예를 들어, 사용자가 "live Xbox 열기(open live Xbox)"라고 말할 때, 시스템은 웹 브라우저 애플리케이션을 트리거하여 live.xbox.com 웹 페이지로 내비게이션할 것이다. 시스템은 사용자가 웹 페이지를 고정해제하기 위해 시작 스크린 상의 웹 페이지 토큰을 탭 및 유지할 수 있게 하는 또 다른 컨트롤을 노출한다.
바람직하게도, 시스템은 사용자가 단 2개의 단계 - 가상 개인 어시스턴트 런칭 및 그 후 명칭을 이용해 선택된 웹 페이지로의 내비게이션 명령 - 만으로 임의의 경험 중에서 웹 페이지를 선택 및 런칭할 수 있게 하는 신속하고, 단순하며 일관된 방식을 제공한다. 이들 2개의 단계는 항상 사용자가 시작 스크린에 고정한 웹 페이지의 수에 무관하게 사용될 수 있다. 덧붙여, 일부 종래 방식과 달리, 음성 웹 내비게이션을 위한 본 발명의 시스템은 명칭에 의해 웹 페이지로 내비게이션함에 있어 외부 서버를 이용한 웹 검색을 수행하지 않는다. 이러한 중간 검색 단계를 제거함으로써, 전체 사용자 경험을 향상시키면서, 모바일 장치 자원, 가령, 전력 및 네트워크 대역폭 이용이 절약된다.
이 개요는 이하의 구체적인 내영에서 더 기재될 개념들의 모음을 단순화된 형태로 소개하기 위해 제공된다. 이 개오는 봄 발명의 핵심 특징 또는 본질적 특징을 식별하려는 것이 아니며 본 발명의 범위를 결정하는 데 보조하기 위한 것도 아니다. 또한 본 발명은 이 개시 중 임의의 부분에서 언급된 임의의 또는 모든 단점을 해결하는 구현예에 한정되지 않는다. 상기의 기재된 사항은 컴퓨터 제어되는 방지, 컴퓨터 프로세스, 컴퓨팅 시스템, 또는 제조 물품, 가령, 하나 이상의 컴퓨터 판독형 저장 매체로서 구현될 수 있음이 자명할 것이다. 이들 및 그 밖의 다른 특징이 이하의 구체적인 내용 및 첨부된 도면을 검토하면 더 자명해질 것이다.
도 1은 전화 능력을 갖는 장치들이 모바일 사업자 네트워크를 통해 통신하는 예시적 원격통신 환경을 도시한다.
도 2는 하드웨어 계층, 운영 체제 계층, 및 애플리케이션 계층을 지원하는 예시적 아키텍처를 도시한다.
도 3은 자연 언어 인터페이스를 노출하는 가상 개인 어시스턴트를 포함하는 예시적 모바일 장치를 도시한다.
도 4는 가상 개인 어시스턴트에 의해 지원되는 기능들의 예시적 분류를 도시한다.
도 5는 사용자가 음성 명령를 이용해 고정된 웹 페이지로 내비게이션할 수 있게 하는 예시적 방법의 흐름도이다.
도 6-15는 모바일 장치 상에 노출되는 다양한 사용자 인터페이스의 스크린 캡처를 도시한다.
도 16은 본 발명의 음성 웹 내비게이션을 구현하기 위해 부분적으로 사용될 수 있는 컴퓨터 시스템, 가령, 개인 컴퓨터(PC)의 단순화된 블록도이다.
도 17은 본 발명의 음성 웹 내비게이션을 구현하기 위해 부분적으로 사용될 수 있는 예시적 장치의 블록도이다.
도 18은 예시적 모바일 장치의 블록도이다.
도면에서 유사한 도면 부호가 유사한 요소를 가리킨다. 요소들은 달리 언급되지 않는 한 실측 비율로 도시되지 않는다.
도 1은 다양한 사용자(105)가 모바일 사업자(MO) 네트워크(115)를 통해 통신하는 각각의 장치(110)를 이용하는 원격통신 환경(telecommunications environment)(100)을 도시한다. 장치(110)는 그 밖의 다른 다양한 기능에 추가로, 음성 전화 능력(voice telephony capability)을 제공하고 일반적으로 데이터-소모적 애플리케이션, 가령, 인터넷 브라우징 및 멀티미디어(가령, 음악, 비디오 등) 소비를 지원한다. 상기 장치(110)는, 예를 들어, 종종 사용자가 사용하여 음성 및/또는 멀티미디어 콜을 걸고 수신하며, 문자/비디오 메시지 및 전자메일을 전송하며, 데이터-기반 서비스를 이용해 다양한 사용자 경험을 구현하는 사용자 장비, 모바일 전화기(mobile phone), 휴대 전화기(cell phone), 및 스마트폰을 포함할 수 있다.
그러나 또 다른 유형의 전자 장치가 통신 능력을 포함하도록 구성되며 MO 네트워크(115)로 연결될 수 있는 한 원격통신 환경(100) 내에서 이용 가능함이 고려된다. 이러한 대안적 장치는 핸드헬드 컴퓨팅 장치, PDA(Personal Digital Assistant), 휴대용 미디어 플레이어, 웨어러블 컴퓨팅 장치, 내비게이션 장치, 가령, GPS(Global Positioning System) 시스템, 랩톱 PC(개인 컴퓨터) 데스크톱 컴퓨터, 멀티미디어 콘솔, 게임 시스템 등을 포함한다. 이하의 기재에서, 용어 "모바일 장치"의 사용은 통신 능력을 갖고 MO 네트워크(115)로 무선 연결될 수 있는 모든 장치를 포함하는 것으로 의도된다.
각각의 모바일 장치(110)는 일반적으로 MO 네트워크(115)와 사전에 조율된 연관관계를 가질 것이다. 예를 들어, 일반적으로 사용자(105)는 셀룰러 서비스 플랜의 가입자여서, 사용자의 모바일 장치(110)가 일반적으로 음성 및 데이터 서비스를 위한 유효하고 인증된 사용자 장비로서 MO 네트워크를 액세스할 수 있다. 이 예시에서 MO 네트워크(115)는 장치(110)에 의한 MO 코어 네트워크(125)로의 액세스를 지원하는 복수의 매크로셀(macrocell)을 갖는 라디오 액세스 네트워크(120)를 포함한다. 일반적으로 MO 네트워크(115)의 백엔드가 공중 교환 전화망(PSTN)(public switched telephone network)(130)을 포함하는 네트워크 인프라구조로의 연결을 지원하는 인터페이스를 포함한다. 또한 인터넷(140)으로의 연결이 지원되어, 모바일 장치(110)가 하나 이상의 웹 콘텐츠 제공자(145)에 의해 제공되는 콘텐츠를 액세스할 수 있다. 외부 서비스 제공자(150)는, 이하에서 더 상세히 기재되겠지만, MO 네트워크(115)를 통해 액세스될 수 있다.
대안적 구현예에서, 모바일 장치(110) 중 하나 이상이 IEEE 802.11 호환 Wi-Fi 액세스 포인트(155)와 대화하여 일반적으로 음성 및/또는 데이터 서비스를 포함할 수 있는 다양한 서비스를 액세스하도록 구성될 수 있다. Wi-Fi 액세스 포인트는 도면 부호(160)로 대표적으로 지시되는 MO 코어 네트워크(125) 또는 그 밖의 다른 네트워크, 가령, IP(Internet Protocol) 네트워크, VoIP(Voice over Internet Protocol) 네트워크, 및/또는 그 밖의 다른 네트워크 유형 또는 네트워크들의 조합에 동작 가능하게 연결될 수 있다.
도 2는 특정 모바일 장치(110)(도 1) 상에서 인스턴스화될 수 있는 기능 구성요소의 아키텍처(200)를 도시한다. 일반적으로 아키텍처(200)는 소프트웨어로 구현되지만, 소프트웨어, 펌웨어 및/또는 하드웨어의 조합이 또한 일부 경우에서 사용될 수 있다. 아키텍처(200)는 계층들로 배열되며 애플리케이션 계층(205), OS(운영 체제) 계층(210), 및 하드웨어 계층(215)을 포함한다. 하드웨어 계층(215)은 모바일 장치(110)(가령, 입력 및 출력 장치, 네트워킹 하드웨어 등)에 의해 사용되는 다양한 하드웨어의 추상화를 이 위의 계층으로 제공한다.
애플리케이션 계층(205)은, 이 예시에서, 웹-기반 자원, 가령, 도 1의 제공자(145)에 의해 노출되는 자원으로부터 정보를 검색, 표시, 및 전달하도록 구성된 웹 브라우저 애플리케이션(220)을 지원한다. 다양한 다른 사용자 경험을 지원하는 그 밖의 다른 애플리케이션(225)이 또한 애플리케이션 계층(205)에서 지원된다. 애플리케이션(225)은 로컬하게 실행되는 코드를 이용해 구현된다. 그러나 일부 경우 애플리케이션(225)은 원격 서버 또는 그 밖의 다른 컴퓨팅 플랫폼, 가령, 외부 서비스 제공자(150)에 의해 지원되는 플랫폼에 의해 제공되는 서비스 및/또는 원격 코드 실행을 이용할 수 있다.
OS 계층(210)은 예를 들어, 가상 개인 어시스턴트(230) 및 그 밖의 다른 OS 구성요소(235)를 지원한다. 상기 OS 구성요소(235)는, 홀로 또는 가상 개인 어시스턴트(230)와 조합되어, 모바일 장치(110) 상에서, 본 명세서에 기재된 음성 웹 내비게이션(voice web navigation)을 제공하도록 기능하는 시스템(240)을 구현한다. 덧붙여, 시스템(240)은 애플리케이션 및/또는 하드웨어 계층에서의 구성요소와 상호 운영되어, 가령, 다양한 사용자 컨트롤을 포함하는 UI를 노출시키거나 음성 웹 내비게이션을 지원하도록 요구될 수 있는 그 밖의 다른 기능을 구현할 수 있다. 또한 시스템(240) 및 가상 개인 어시스턴트(230)가 전체적으로 또는 부분적으로 모바일 장치(110)로부터 원격으로 실행되는 코드 또는 방법을 이용해 지원될 수 있다. 예를 들어, 시스템(240) 및 가상 개인 어시스턴트(230)를 지원하는 원격 코드 또는 방법이 (도 2의 점선(245)으로 지시되는 바와 같이) 외부 서비스 제공자(150)에 의해 지원되는 서버 또는 그 밖의 다른 컴퓨팅 장치 상에서 실행될 수 있다.
도 3에 도시되는 바와 같이, 가상 개인 어시스턴트(230)는 음성 명령(310)을 사용자(105)로부터의 입력으로 취할 수 있는 자연 언어 UI(305)를 이용한다. 음성 명령(310)은 모바일 장치 상의 다양한 동작, 특징, 및 기능을 호출하고 입력을 시스템 및 애플리케이션으로 제공하는 등을 위해 사용될 수 있다. 일부 경우, 음성 명령은 특정 사용자 경험을 지원 시 단독으로 사용될 수 있고, 또 다른 경우, 음성 명령은 그 밖의 다른 비-음성 명령 또는 입력, 가령, 모바일 장치 상의 물리 컨트롤 또는 UI 상에서 구현되는 가상 컨트롤을 이용해 구현되는 것들과 조합되어 사용될 수 있다.
도 4는 가상 개인 어시스턴트(230)에 의해 지원되는 기능(400)의 분류를 도시한다. 일반적으로 가상 개인 어시스턴트(230)로의 입력은 사용자 입력(405), 내부 소스(410)로부터의 데이터, 및 외부 소스(415)로부터의 데이터를 포함할 수 있다. 예를 들어, 내부 소스(410)로부터의 데이터는 장치 상의 GPS(Global Positioning System) 구성요소 또는 그 밖의 다른 위치 인식 구성요소가 보고하는 모바일 장치(110)의 현재 지리적 위치(geo location)를 포함할 수 있다. 외부 소스에 의해 제공되는 데이터(415)는 가령, 외부 시스템, 데이터베이스, 서비스 등, 가령, 외부 서비스 제공자(150)(도 1)가 제공하는 데이터를 포함한다.
도시된 바와 같이, 기능(400)은 (가령, 자연 언어 UI 및 그 밖의 다른 그래픽 UI를 통해) 사용자와의 대화(420), 작업 수행(425)(가령, 사용자의 일정표에 약속 메모하기, 문자 메시지 및 전자메일 전송하기 등), 서비스 제공(430)(가령, 사용자의 질문에 대답하기, 도착지까지의 방향 알려주기 등), 정보 수집(435)(가령, 책 또는 영화에 대해 사용자가 요청한 정보 찾기, 가장 가까운 이탈리안 레스토랑 위치 찾기 등), 모바일 장치 운영(440)(가령, 선호 설정하기, 스크린 밝기 조절하기, 무선 연결, 가령, Wi-Fi 및 블루투쓰 켜고 끄기 등), 및 그 밖의 다른 다양한 기능 수행(445)을 포함한다. 기능(400)의 목록은 포괄적인 것이 아니며 음성 웹 내비게이션의 특정 구현에 대해 요구될 때 그 밖의 다른 기능이 가상 개인 어시스턴트에 의해 제공될 수 있다.
도 5는 사용자(105)(도 1)가 음성 명령를 이용해 고정된 웹 페이지(pinned web page)로 내비게이션할 수 있는 흐름도이다. 단계(505-540)는 사용자(105)(도 1)가 웹 페이지를 시작 스크린에 고정(pin)하고 고정해제(unpin)할 수 있는 방법을 기술한다. 단계(545-560)는 사용자(105)가 가상 개인 어시스턴트(230)(도 2)와 대화하여 음성 명령를 이용해 고정된 웹 페이지로 내비게이션하는 것을 기술한다. 구체적으로 언급되지 않는 한, 도 5의 흐름도에 도시되고 텍스트로 기재된 방법 또는 단계들이 특정 순서 또는 시퀀스로 제한되지 않는다. 덧붙여, 이의 방법 또는 단계 중 일부가 동시에 발생 또는 수행될 수 있고 모든 방법 또는 단계가 하나의 특정 구현예에서 수행되어야 하는 것은 아니며, 이러한 구현예의 요건에 따라 일부 방법 또는 단계가 선택사항으로서 사용될 수 있다.
단계(505)에서, 사용자(105)는 웹 브라우저(220)를 호출하고 관심있는 일부 웹 페이지로 내비게이션한다. 도 6은 사용자가 www.live.xbox.com의 URL(Uniform Resource Locator)을 갖는 웹 페이지로 내비게이션할 때 모바일 장치(110)의 디스플레이(610) 상의 웹 브라우저가 나타내는 예시적 UI(600)의 스크린 캡처를 도시한다. 이 예시에서, 그리고 도 7-15에서 따르는 스크린 캡처의 경우, 모바일 장치(110)의 디스플레이(610)는 터치스크린으로서 구성된다. 도 6에 도시된 바와 같이, UI(600)는 사용자가 웹사이트가 지원하는 다양한 사용자 경험으로 내비게이션하기 위해 호출할 수 있는 복수의 사용자 컨트롤(615)(가령, 버튼)을 노출시킨다. 주소 바(620)는 현재 페이지에 대한 웹 주소를 보여준다.
다시 도 5를 참조하면, 단계(510)에서, 시스템(240)은 사용자(105)가 현재 디스플레이된 웹 페이지(즉, 도 6에 도시된 것)를 모바일 장치(110)에 의해 디스플레이될 수 있는 시작 스크린에 고정할 수 있게 하는 컨트롤을 노출한다. 일반적으로, 사용자는 브라우저 내로부터 애플리케이션 메뉴 또는 유사한 메뉴를 호출함으로써 컨트롤을 표면화(surface)할 수 있다. 이 예시에서, 버튼(705)이 도 7의 UI(700)에 나타난 바와 같이 디스플레이의 하부에 디스플레이되고 텍스트 "시작으로 고정(pin to start)"을 포함한다. 도 5의 단계(515)에서 나타난 바와 같이, 사용자(105)는 버튼(705)을 탭(tap)하여 현재 디스플레이된 웹 페이지를 시작 메뉴로 고정시킨다.
도 8은 일반적인 시작 스크린(805)을 보여주는 예시적 UI(800)를 도시한다. 도시된 시작 스크린은 예시이며 그 밖의 다른 레이아웃 및 구성이 사용되어 특정 구현예의 수요를 충족할 수 있다. 시작 스크린(805)은, 예를 들어, 모바일 장치 상의 물리 버튼을 누르거나, 가상 버튼을 조작하거나, 일부 경우, 음성 명령를 발행함으로써, 호출되도록 구성될 수 있다. 시작 스크린(805)은 일반적으로, 설치된 애플리케이션, 컨트롤 패널 설정, 연락처, 게임, 음악 앨범, 비디오, 지도, 및 링크, 및 그 밖의 다른 아이템을 디스플레이 및 런칭하기 위한 모바일 장치(110) 상의 주 UI 구성요소로서 기능한다.
시작 스크린 상의 아이템이 타일에 의해 나타내어진다. 이 예시에서, 7개의 타일이 도시된다. 타일들 중 일부는 그래픽(가령, 기호, 아이콘, 글리프(glyph), 사진, 로고 등)을 포함하며, 대표로 도면부호(810)로 지시된다. 시작 스크린(805) 상의 그 밖의 다른 타일이 도면 부호(815)로 대표적으로 지시되는 텍스트를 포함하고, 도면부호(820)로 대표적으로 지시되는 바와 같이 일부 타일이 그래픽과 텍스트를 모두 이용한다. 특정 시작 스크린 상에 나타나는 타일 유형의 혼합이 사용자 및 모바일 장치에 의해 다양화될 수 있고 임의의 특정 타일에 대해 사용되는 특정 그래픽/텍스트는 일반적으로 콘텐츠 제공자 또는 애플리케이션 개발자에 의한 설계 선택의 사항이다.
일반적인 구현예에서 시작 스크린(805)은 모바일 장치 상의 디스플레이의 물리적 크기보다 실질적으로 더 클 수 있고 이 경우, 사용자는 시작 스크린을 스크롤링하여 다른 타일을 노출시킬 수 있다. 일반적인 구현예에서, 시작 스크린(805)은 특정 선호를 반영하도록 사용자(105)에 의해 커스텀화되도록 구성된다. 예를 들어, 사용자는 일반적으로 서로에 대한 타일들의 위치를 선택하고 일부 경우 타일 크기, 컬러 스킴 등을 선택할 수 있다.
UI(800)의 하단 좌측에 있는 타일이 고정된 웹 페이지를 나타내는 토큰(token)(825)이다. 고정된 웹 페이지가 음성 명령에 의해 런칭될 수 있고 웹 페이지를 시작 스크린(805)에 고정함으로써 사용자는 이 특징이 활성화되는 데 참여한다. 일반적으로 시작 스크린에 고정될 수 있는 웹 페이지의 개수에 제한은 없다. 웹 페이지가 고정될 때, 시스템(240)이 토큰을 특정 구현예의 필요에 따라 다양한 서로 다른 위치 중 임의의 위치로 시작 스크린 상에 배치시킬 수 있다. 예를 들어, 새로 고정된 토큰이 시작 스크린의 첫 번째 페이지(즉, 스크린이 최초로 호출될 때 디스플레이되는 시작 스크린의 부분) 상에 배치될 수 있어서 사용자가 상기 토큰을 보기 위해 스크롤링할 필요가 없다. 이 기법에 의해, 추가적 UI 대화에 대한 필요성 없이 사용자는 웹 페이지가 고정되었음을 빠르게 검증할 수 있다. 대안적으로, 시스템은 토큰을 시작 스크린 내 이용 가능한 빈 공간에 배치시키거나 토큰을 추가된 마지막 타일 근처에 배치시킬 수 있다. 일부 경우, 사용자는 고정된 토큰이 시작 스크린 상에 디스플레이되는 장소 및 방식에 대한 선호를 표현할 수 있다.
도 5를 참조하면, 단계(520)에서, 시스템은 토큰을 시작 스크린에 고정할 때(단계(525)) 토큰(825)(도 8)에 명칭을 적용한다. 명칭은 도 8에서 도면부호(830)로 지시되며, 이 예시에서, "live.xbox.com"다. 토큰 명칭(830)은 사용자(105)에 의해 연관된 웹 페이지로 내비게이션하기 위한 음성 명령의 일부로서 사용될 수 있다. 시스템(240)은 일반적으로 개발자 특정 태그(developer specified tag)를 토큰 명칭으로서 이용할 것이다. 이런 경우, 웹사이트의 개발자는 명칭 "live.xbox.com"을 특정했다. 개발자가 토큰에 대해 명칭을 특정하지 않은 경우, 웹 페이지에 대한 URL이 구문분석(parse)되어, 토큰에 대해 사용될 고유 명칭을 찾을 수 있다. 구문분석은, 예를 들어, 외부 서비스 제공자(150)(도 1)에 의해 지원되는 서버 또는 그 밖의 다른 플랫폼 상에서 실행되는 프로세스에 의해 수행될 수 있다.
일부 구현예에서, 단계(520)는 시스템이 사용자(105)가 토큰에 대한 명칭을 제공할 수 있게 하는 UI 또는 그 밖의 다른 컨트롤을 노출하는 단계 포함할 수 있다. 일부 경우, UI는 사용자에게 토큰에 대한 그래픽 겉모습을 선택 및/또는 변경할 수 있는 옵션을 제공할 수 있다. 이러한 방식으로, 사용자가 음성-기반 및 시각적 경험이 모바일 장치(110) 상에서 시스템(240)에 의해 지원되고 사용자의 선호를 충족하도록 경험을 개인화하는 방식을 제어할 수 있다.
단계(530)에서, 시스템(240)은 사용자(105)가 웹 페이지를 시작 스크린으로부터 고정해제(unpin)하기 위한 컨트롤을 노출시킨다. 단계(535)에서, 시스템(240)은 사용자의 컨트롤 호출에 응답하여 페이지의 연관된 토큰을 시작 스크린으로부터 고정해제 및 제거하고, 고정해제된 웹 페이지에 대한 음성 웹 내비게이션을 비활성화한다(단계(540)). 도 9의 UI(900)에 도시된 바와 같이, 이 예시에서 컨트롤은, 도 10의 UI(1000)에서 나타나는 바와 같이 토큰(825)이 시작 스크린으로부터 사라질 때까지 사용자가 토큰(825)을 탭 및 유지하는 것을 포함한다.
도 5를 참조하면, 사용자가 고정된 웹 페이지로의 음성 웹 내비게이션을 이용하기를 원할 때, 단계(545)에서 사용자는 가상 개인 어시스턴트(230)를 런칭한다. 일반적으로 상기 가상 개인 어시스턴트는 장치 상의 임의의 UI 내 임의의 위치로부터 또는 임의의 현재 사용자 경험 내로부터 런칭되도록 구성된다. 예를 들어, 사용자(105)는 전화 통화 중, 웹 브라우징, 비디오 시청, 또는 음악 청취 중이면서, 동시에 이들 경험들 중 임의의 것으로부터 가상 개인 어시스턴트를 런칭할 수 있다. 일부 경우, 가상 개인 어시스턴트는 물리적 또는 가상 사용자 컨트롤의 조작을 통해 또는 그 밖의 다른 경우 음성 명령를 통해, 런칭될 수 있다.
가상 개인 어시스턴트(230)는 또한 시작 스크린으로부터 런칭될 수 있다. 예시적 시작 스크린(1105)이 웹 페이지 토큰(825) 및 명칭(830)을 보여주는 도 11의 UI(1100)에 나타난다. 사용자가 가상 개인 어시스턴트를 런칭할 때, 사용자에게 필요한 것이 있는지를 묻는 텍스트열(1205)을 포함하는 UI(1200)가 모바일 장치(110) 상에 나타난다. 대안적 구현예에서, 문자-음성 변환이 사용되어, 음성 메시지가 텍스트열(1205)을 대신하여 또는 텍스트열을 보충하여, 디스플레이될 수 있다. 가상 개인 어시스턴트에 대해 디스플레이되는 특정 UI는 특정 구현예의 요건에 따라 나타나는 것에 따라 달라질 수 있음이 강조된다. 도시된 바와 같이, UI는 수신된 음성 명령의 문자 표현을 보여주는 박스(1210)를 포함한다.
도 5의 단계(550)에서, 사용자는 이 경우, "live xbox 열기"인 구문 "열기 [토큰 명칭](open [token name])"를 이용해 음성 명령를 발행한다. 시스템(240)은 일부 경우 구문 변형을 인식 및 명확화(disambiguate)하도록 구성될 수 있다. 예를 들어, 일부 구현예에서, 명령어 "live 점 xbox 점 com 열기(open live dot xbox dot com)"가 "xbox 열기" 및 "xbox live 열기"와 동일한 결과를 획득할 것이다. 음성 명령은 시스템에 의해 수신되고 도 13의 UI(1300)에서 나타나는 바와 같이 텍스트열(1305)로서 문자 박스(1212) 내에 디스플레이된다. 도 14에 도시된 바와 같이, 음성 명령이 처리됨에 따라 변천 UI(1400)가 모바일 장치 디스플레이 상에서 가상 개인 어시스턴트에 의해 나타난다. UI(1400)는 (도면부호(1405)로 나타나는 바와 같이) 내비게이션이 실행되는 웹 페이지의 URL과, 고정된 웹 페이지로의 내비게이션을 중단하기 위해 터치스크린 또는 또 다른 음성 명령를 통해 사용자가 조작할 수 있는 취소 버튼(1410)을 보여준다.
도 5의 단계(555)에서, 음성 명령에 응답하여, 시스템(240)은 단계(560)에서 사용자가 선택한 고정된 토큰(825)(도 8)과 연관된 타깃 웹 페이지로 내비게이션하는 웹 브라우저(220)(도 2)를 런칭한다. 타깃 웹 페이지, live.xbox.com는 도 15의 UI(1500)에 나타난다.
단계(560)는 선택사항으로서 이용되는 읽기 모드(reading mode)를 제공하는 것을 포함할 수 있다. 이때, 웹 브라우저(220)는 문자-음성 기능을 지원하여, 타깃 웹 페이지 상의 문자 콘텐츠의 다양한 부분이 모바일 장치에 연결된 오디오 단말기(가령, 내부 스피커, 외부 이어피스 또는 헤드셋 등)를 통해 재생되는 음성으로 변환되도록 구성된다. 일부 구현예에서, 웹 브라우저는 외부 서비스 제공자와 대화하여 읽기 모드를 지원하기 위해 필요한 일부 또는 모든 기능을 구현할 수 있다. 읽기 모드는 사용자에게 모바일 장치(110)와 대화하고 읽을 필요 없이 콘텐츠를 소비하기 위한 방식을 제공하기 때문에 많은 경우에 바람직할 것으로 예상될 수 있다.
도 16은 일부 애플리케이션에서 본 발명의 음성 웹 내비게이션이 구현될 수 있는 컴퓨터 시스템(1600), 가령, 개인 컴퓨터(PC), 클라이언트 머신, 또는 서버의 단순화된 블록도이다. 컴퓨터 시스템(1600)은 프로세서(1605), 시스템 메모리(1611), 및 다양한 시스템 구성요소, 가령, 시스템 메모리(1611)를 프로세서(1605)로 연결하는 시스템 버스(1614)를 포함한다. 시스템 버스(1614)는 다양한 버스 아키텍처 중 임의의 것을 이용하는 다양한 유형의 버스 구조, 가령, 메모리 버스 또는 메모리 제어기, 주변장치 버스 또는 로컬 버스 중 임의의 것일 수 있다. 시스템 메모리(1611)는 리드 온리 메모리(ROM)(1617) 및 랜덤 액세스 메모리(RAM)(1621)를 포함한다. 컴퓨터 시스템(1600) 내 요소들 간에 정보를 전송하는 것을 보조하는 기본 루틴을 포함하는 기본 입/출력 시스템(BIOS)(1625)이 시동 동안 ROM(1617)에 저장된다. 컴퓨터 시스템(1600)은 내부에 배치되는 하드 디스크(도시되지 않음)로부터 읽기 및 쓰기를 위한 하드 디스크 드라이브(1628), 이동식 자기 디스크(1633)(가령, 플로피 디스크)로부터 읽기 또는 쓰기를 위한 자기 디스크 드라이브(1630), 및 이동식 광학 디스크(1643), 가령, CD(컴팩트 디스크), DVD(디지털 다용도 디스크), 또는 그 밖의 다른 광학 매체로부터 읽기 또는 쓰기를 위한 광학 디스크 드라이브(1638)를 더 포함할 수 있다. 하드 디스크 드라이브(1628), 자기 디스크 드라이브(1630), 및 광학 디스크 드라이브(1638)는 하드 디스크 드라이브 인터페이스(1646), 자기 디스크 드라이브 인터페이스(1649), 및 광학 드라이브 인터페이스(1652)에 의해 각각 시스템 버스(1614)로 연결된다. 드라이브 및 이들의 연관된 컴퓨터 판독형 저장 매체는 컴퓨터 판독형 명령, 데이터 구조, 프로그램 모듈, 및 컴퓨터 시스템(1600)의 그 밖의 다른 데이터의 비휘발성 저장을 제공한다. 이러한 도시된 예시는 하드 디스크, 이동식 자기 디스크(1633), 및 이동식 광학 디스크(1643), 컴퓨터에 의해 액세스될 수 있는 데이터를 저장할 수 있는 그 밖의 다른 유형의 컴퓨터 판독형 저장 매체, 가령, 자기 카세트, 플래시 메모리 카드, 디지털 비디오 디스크, 데이터 카트리지, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM) 및 본 발명의 음성 웹 내비게이션의 일부 경우에서 사용될 수 있는 그 밖의 다른 것을 포함한다. 덧붙여, 본 명세서에서 사용될 때, 용어 컴퓨터 판독형 저장 매체는 미디어 유형(가령, 하나 이상의 자기 디스크, 하나 이상의 CD 등)의 인스턴스를 포함한다. 이 상세한 설명 및 청구항의 목적으로, 용어 "컴퓨터 판독형 저장 매체" 및 이의 변형은 파(wave), 신호 및/또는 그 밖의 다른 일시적(transitory) 및/또는 무형의(intangible) 통신 매체는 포함하지 않는다.
복수의 프로그램 모듈이 하드 디스크(1628), 자기 디스크(1633), 광학 디스크(1643), ROM(1617), 또는 RAM(1621)에 저장될 수 있으며, 예를 들면, 운영 체제(1655), 하나 이상의 애플리케이션 프로그램(1657), 그 밖의 다른 프로그램 모듈(1660) 및 프로그램 데이터(1663)가 있다. 사용자는 명령어 및 정보를 입력 장치, 가령, 키보드(1666) 및 포인팅 장치(1668), 가령, 마우스를 통해 컴퓨터 시스템(1600)으로 입력할 수 있다. 그 밖의 다른 입력 장치(도시되지 않음)가 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 스캐너, 트랙볼, 터치패드, 터치 스크린, 터치 반응성 장치, 음성-명령어 모듈 또는 장치, 사용자 모션 또는 사용자 제스처 캡처 장치 등을 포함할 수 있다. 이들 및 그 밖의 다른 입력 장치가 종종, 시스템 버스(1614)로 연결되는 직렬 포트 인터페이스(1671)를 통해 프로세서(1605)로 연결되지만, 그 밖의 다른 인터페이스, 가령, 병렬 포트, 게임 포트, 또는 USB(universal serial bus)에 의해 연결될 수 있다. 모니터(1673) 또는 그 밖의 다른 유형의 디스플레이 장치는 또한 인터페이스, 가령, 비디오 어댑터(1675)를 통해 시스템 버스(1614)로 연결된다. 모니터(1673)에 추가로, 일반적으로, 개인 컴퓨터는 그 밖의 다른 병렬 출력 장치(도시되지 않음), 가령, 스피커 및 프린터를 포함한다. 도 16의 도시된 예시는 또한 호스트 어댑터(1678), SCSI(Small Computer System Interface) 버스(1683), 및 SCSI 버스(1683)로 연결되는 외부 저장 장치(1676)를 포함한다.
컴퓨터 시스템(1600)은 하나 이상의 원격 컴퓨터, 가령, 원격 컴퓨터(1688)를 이용해 네트워크 연결된 환경에서 동작 가능하다. 원격 컴퓨터(1688)는 또 다른 개인 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 그 밖의 다른 일반적인 네트워크 노드로서 선택될 수 있으며, 일반적으로 앞서 컴퓨터 시스템(1600)과 관하여 기재된 요소들 중 다수 또는 전부를 포함할 수 있지만, 하나의 대표적 원격 메모리/저장 장치(1690)만 도 16에 도시되었다. 도 16에 도시된 논리적 연결은 로컬 영역 네트워크(LAN)(1693) 및 광역 네트워크(WAN)(1695)를 포함한다. 이러한 네트워킹 환경은 종종, 예를 들어, 사무실, 기업별 컴퓨터 네트워크, 인트라넷 및 인터넷에서 전개된다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터 시스템(1600)은 네트워크 인터페이스 또는 어댑터(1696)를 통해 로컬 영역 네트워크(1693)에 연결된다. WAN 네트워킹 환경에서 사용될 때, 일반적으로 컴퓨터 시스템(1600)은 광역 네트워크(1695), 가령, 인터넷을 통해 통신을 확립하기 위한 광대역 모뎀(1698), 네트워크 게이트웨이, 또는 그 밖의 다른 수단을 포함한다. 광대역 모뎀(1698)은 내부형이거나 외부형일 수 있으며 직렬 포트 인터페이스(1671)를 통해 시스템 버스(1614)로 연결된다. 네트워크 연결된 환경에서, 컴퓨터 시스템(1600)에 연결된 프로그램 모듈 또는 이의 일부분이 원격 메모리 저장 장치(1690)에 저장될 수 있다. 도 16에 도시된 네트워크 연결은 예시이며 컴퓨터들 간 통신 링크를 확립하기 위한 그 밖의 다른 수단이 본 발명의 음성 웹 내비게이션의 애플리케이션의 특정 요건에 따라 사용될 수 있다.
도 17은 본 발명의 음성 웹 내비게이션을 제공하기 위해 본 명세서에 기재된 다양한 구성요소를 실행시킬 수 있는 장치에 대한 예시적 아키텍처(1700)를 도시한다. 따라서 도 17에 도시된 아키텍처(1700)는 서버 컴퓨터, 모바일 전화기, PDA(개인 디지털 보조기), 스마트폰, 데스크톱 컴퓨터, 넷북 컴퓨터, 태블릿 컴퓨터, GPS(Global Positioning System) 장치, 게임 콘솔, 및/또는 랩톱 컴퓨터에 적합할 수 있는 아키텍처를 보여준다. 상기 아키텍처(1700)는 본 명세서에 제공된 구성요소들의 임의의 형태를 구현하는 데 사용될 수 있다.
도 17에 도시된 아키텍처(1700)는 CPU(1702), 시스템 메모리(1704), 가령 RAM(1706) 및 ROM(1708), 및 메모리(1704)를 CPU(1702)에 연결하는 시스템 버스(1710)를 포함한다. 가령, 시동 동안 아키텍처(1700) 내 요소들 간 정보를 전달하는 데 도움이 되는 기본 루틴을 포함하는 기본 입출력 시스템이 ROM(1708)에 저장된다. 상기 아키텍처(1700)는 애플리케이션, 파일 시스템, 및 운영 체제를 구현하는 데 사용되는 소프트웨어 코드 또는 그 밖의 다른 컴퓨터 실행 코드를 저장하기 위한 대용량 저장 장치(1712)를 더 포함한다.
대용량 저장 장치(1712)는 버스(1710)에 연결된 대용량 저장 제어기(도시되지 않음)를 통해 CPU(1702)에 연결된다. 대용량 저장 장치(1712) 및 이의 연관된 컴퓨터 판독형 저장 매체는 아키텍처(1700)에 대한 비휘발성 저장을 제공한다.
본 명세서에 포함된 컴퓨터 판독형 저장 매체의 기재가 대용량 저장 장치, 가령, 하드 디스크 또는 CD-ROM 드라이브를 지칭하지만, 해당 분야의 통상의 기술자라면 컴퓨터 판독형 저장 매체가 아키텍처(1700)에 의해 액세스될 수 있는 임의의 이용 가능한 저장 매체일 수 있음을 알 것이다.
비제한적 예를 들면, 컴퓨터 판독형 저장 매체는 정보, 가령, 컴퓨터 판독형 명령, 데이터 구조, 프로그램 모듈 또는 그 밖의 다른 데이터를 저장하기 위한 임의의 방법 또는 기법으로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함할 수 있다. 비제한적 예를 들면, 컴퓨터 판독형 매체로는 RAM, ROM, EPROM(erasable programmable read only memory), EEPROM(electrically erasable programmable read only memory), 플래시 메모리 또는 그 밖의 다른 솔리드 스테이트 메모리 기법, CD-ROM, DVD, HD-DVD (High Definition DVD), 블루-레이, 또는 또 다른 광학 저장소, 자기 카세트, 자기 테이프, 자기 디스크 저장 또는 그 밖의 다른 자기 저장 장치, 또는 원하는 정보를 저장하는 데 사용될 수 있고 아키텍처(1700)에 의해 액세스될 수 있는 그 밖의 다른 임의의 매체가 있다.
다양한 실시예에 따라, 아키텍처(1700)는 네트워크를 통한 원격 컴퓨터로의 논리적 연결을 이용해 네트워크 연결된 환경에서 동작할 수 있다. 아키텍처(1700)는 버스(1710)에 연결되는 네트워크 인터페이스 유닛(1716)을 통해 네트워크로 연결될 수 있다. 네트워크 인터페이스 유닛(1716)은 또한 그 밖의 다른 유형의 네트워크 및 원격 컴퓨터 시스템으로 연결되도록 사용될 수 있다. 아키텍처(1700)는 또한 복수의 서로 다른 장치, 가령, 키보드, 마우스, 또는 전자 스타일러스(도 17에 도시되지 않음)로부터의 입력을 수신 및 처리하도록 입/출력 제어기(1718)를 포함할 수 있다. 마찬가지로, 입/출력 제어기(1718)는 디스플레이 스크린, 프린터, 또는 그 밖의 다른 유형의 출력 장치(도 17에 도시되지 않음)로 출력을 제공할 수 있다.
본 명세서에 기재된 소프트웨어 구성요소는, CPU(1702)로 로딩되고 실행될 때 CPU(1702) 및 전체 아키텍처(1700)를 범용 컴퓨팅 시스템으로부터, 본 명세서에서 제공되는 기능을 촉진시키도록 커스텀화된 특수 목적 컴퓨팅 시스템으로 변환할 수 있다. 상기 CPU(1702)는 임의의 개수의 상태를 개별적으로 또는 집합적으로 가정할 수 있는 임의의 개수의 트랜지스터 또는 그 밖의 다른 이산 회로 요소로부터 구성될 수 있다. 더 구체적으로, CPU(1702)는 본 명세서에 개시된 소프트웨어 모듈 내에 포함되는 실행 명령에 응답하여, 유한 상태 머신으로 동작할 수 있다. 이들 컴퓨터 실행 명령은 CPU(1702)가 상태를 전이하는 방식을 특정하여, CPU(1702)를 구성하는 트랜지스터 또는 그 밖의 다른 이산 하드웨어 요소를 변환함으로써 CPU(1702)를 변환할 수 있다.
본 명세서에 제공된 소프트웨어 모듈을 인코딩하는 것이 또한 본 명세서에 기재된 컴퓨터 판독형 저장 매체의 물리적 구조를 변환할 수 있다. 이 기재의 서로 다른 구현예에서, 물리 구조의 특정 변환은 다양한 요인들에 따라 달라질 수 있다. 이러한 요인들의 비제한적 예시로는, 컴퓨터 판독형 저장 매체를 구현하는 데 사용되는 기법, 컴퓨터 판독형 저장 매체가 주 저장장치의 특징을 갖는지 또는 보조 저장장치의 특징을 갖는지 여부 등이 있다. 예를 들어, 컴퓨터 판독형 저장 매체가 반도체 기반 메모리로 구현될 때, 본 명세서에 개시된 소프트웨어는 반도체 메모리의 물리 상태를 변환함으로써 컴퓨터 판독형 저장 매체 상에 인코딩될 수 있다. 예를 들어, 소프트웨어는 트랜지스터, 커패시터, 또는 반도체 메모리를 구성하는 그 밖의 다른 이산 회로 요소의 상태를 변환할 수 있다. 또한 소프트웨어는 이러한 구성요소의 물리적 상태를 변환하여 여기에 데이터를 저장할 수 있다.
또 다른 예를 들면, 본 명세서에 개시되는 컴퓨터 판독형 저장 매체는 자기 또는 광학 기법을 이용해 구현될 수 있다. 이러한 구현예에서, 본 명세서에 제공되는 소프트웨어는, 소프트웨어가 저장되는 자기 또는 광학 매체의 물리적 상태를 변환할 수 있다. 이들 변환은 특정 자기 매체 내 특정 위치의 자기 특성을 변경하는 것을 포함할 수 있다. 이들 변환은 또한 특정 광학 매체 내 특정 위치의 물리적 특징 또는 특성을 변경하여, 이들 위치의 광학 특성을 변경하는 것을 포함할 수 있다. 물리 매체의 그 밖의 다른 변환이 본 발명의 사상 및 범위 내에서 가능하며, 상기의 예시는 이러한 설명을 용이하게 하기 위한 목적으로 제공된 것에 불과하다.
지금까지의 내용을 고려하여, 많은 유형의 물리적 변환이 아키텍처(1700)에서 발생하여 본 명세서에 제공된 소프트웨어 구성요소를 저장 및 실행할 수 있다. 아키텍처(1700)는 그 밖의 다른 유형의 컴퓨팅 장치, 가령, 핸드헬드 컴퓨터, 임베디드 컴퓨터 시스템, 스마트폰, PDA 및 해당 분야의 통상의 기술자에게 알려진 그 밖의 다른 유형의 컴퓨팅 장치를 포함할 수 있다. 아키텍처(1700)는 도 17에 도시된 구성요소들을 전부 포함하는 것은 아니며, 도 17에 명시적으로 도시되지 않은 그 밖의 다른 구성요소를 포함할 수 있고, 도 17에 도시된 것과 완전히 상이한 아키텍처를 이용할 수도 있다.
도 18은 다양한 선택적 하드웨어 및 소프트웨어 구성요소를 포함하는 예시적 모바일 장치(110), 가령, 모바일 폰 또는 스마트폰의 기능적 블록도이며 전체적으로 참조번호(1802)로 나타난다. 모바일 장치의 임의의 구성요소(1802)는 임의의 그 밖의 다른 구성요소와 통신할 수 있지만, 설명의 편의를 위해, 모든 연결이 도시된 것은 아니다. 모바일 장치는 다양한 컴퓨팅 장치(가령, 휴대 전화기, 스마트폰, 핸드헬드 컴퓨터, PDA 등) 중 임의의 것일 수 있으며, 하나 이상의 모바일 통신 네트워크(1804), 가령, 셀룰러 또는 위성 네트워크와의 무선 양방향 통신을 가능하게 할 수 있다.
도시된 모바일 장치(110)는 신호 코딩, 데이터 처리, 입/출력 처리, 전력 제어 및/또는 그 밖의 다른 기능 등의 작업을 수행하기 위한 제어기 또는 프로세서(1810)(가령, 신호 프로세서, 마이크로프로세서, 마이크로제어기, ASIC(Application Specific Integrated Circuit), 또는 그 밖의 다른 제어 및 처리 로직 회로)를 포함할 수 있다. 운영 체제(1812)는 구성요소(1802)의 할당 및 사용, 가령, 전력 상태, 잠금 위 상태(above-lock state) 및 잠금 아래 상태(below-lock state)를 제어하고 하나 이상의 애플리케이션 프로그램(1814)에 대한 지원을 제공할 수 있다. 애플리케이션 프로그램은 일반적인 모바일 컴퓨팅 애플리케이션(가려, 이미지-캡처 애플리케이션, 전자메일 애플리케이션, 일정표, 연락처 관리자, 웹 브라우저, 메시징 애플리케이션), 또는 그 밖의 다른 임의의 컴퓨팅 애플리케이션을 포함할 수 있다.
예시적 모바일 장치(110)는 메모리(1820)를 포함할 수 있다. 메모리(1820)는 비이동식 메모리(1822) 및/또는 이동식 메모리(1824)를 포함할 수 있다. 비이동식 메모리(1822)는 RAM, ROM, 플래시 메모리, 하드 디스크, 또는 그 밖의 다른 잘 알려진 메모리 저장 기법을 포함할 수 있다. 이동식 메모리(1824)는 플래시 메모리 또는 GSM(Global System for Mobile communication) 시스템에서 잘 알려진 SIM(Subscriber Identity Module) 카드 또는 그 밖의 다른 잘 알려진 메모리 저장 기법, 가령, "스마트 카드"를 포함할 수 있다. 메모리(1820)는 운영 체제(1812) 및 애플리케이션 프로그램(1814)을 실행시키기 위한 데이터 및/또는 코드를 저장하기 위해 사용될 수 있다. 예시적 데이터로는, 웹 페이지, 텍스트, 이미지, 소리 파일, 비디오 데이터 또는 하나 이상의 유선 또는 무선 네트워크를 통해 하나 이상의 네트워크 서버 또는 그 밖의 다른 장치로 전송 및/또는 이로부터 수신될 그 밖의 다른 데이터 세트가 있다.
메모리(1820)는 또한 이러한 컴퓨터 판독형 명령, 데이터 구조, 프로그램 모듈 또는 그 밖의 다른 데이터 등의 정보를 저장하기 위한 임의의 방법 또는 기법으로 구현되는 하나 이상의 컴퓨터 판독형 저장 매체로서 배열되거나 이들을 포함할 수 있다. 컴퓨터 판독형 매체의 비제한적 예를 들면, RAM, ROM, EPROM, EEPROM, 플래시 메모리 또는 그 밖의 다른 솔리드 스테이트 메모리 기법, CD-ROM(compact-disc ROM), DVD(Digital Versatile Disc) HD-DVD(High Definition DVD), Blu-ray, 또는 그 밖의 다른 광학 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 그 밖의 다른 자기 저장 장치, 또는 원하는 정보를 저장하는 데 사용될 수 있으며 모바일 장치(110)에 의해 액세스될 수 있는 그 밖의 다른 임의의 매체가 있다.
메모리(1820)는 가입자 식별자, 가령, IMSI(International Mobile Subscriber Identity), 및 장비 식별자, 가령, IMEI(International Mobile Equipment Identifier)를 저장하는 데 사용될 수 있다. 이러한 식별자는 네트워크 서버로 전송되어 사용자 및 장비를 식별할 수 있다. 모바일 장치(110)는 하나 이상의 입력 장치(1830), 가령, 터치 스크린(1832), 음성 인식을 위한 음성 입력을 구현하기 위한 마이크로폰(1834) 등, 카메라(1836), 물리 키보드(1838), 트랙볼(1840), 및/또는 근접 센서(1842), 및 하나 이상의 출력 장치(1850), 가령, 스피커(1852) 및 하나 이상의 디스플레이(1854)를 지원할 수 있다. 또한 일부 경우 제스처 인식을 이용하는 그 밖의 다른 입력 장치(도시되지 않음)가 사용될 수 있다. 그 밖의 다른 가능한 출력 장치(도시되지 않음)가 압전 또는 햅틱 출력 장치를 포함할 수 있다. 일부 장치가 둘 이상의 입/출력 기능을 수행할 수 있다. 예를 들어, 터치스크린(1832) 및 디스플레이(1854)가 단일 입/출력 장치로 결합될 수 있다.
무선 모뎀(1860)이 안테나(도시되지 않음)로 연결되고, 해당 분야에서 잘 알려져 있는 바와 같이, 프로세서(1810)와 외부 장치 간 양방향 통신을 지원할 수 있다. 상기 모뎀(1860)은 일반적으로 도시되며 모바일 통신 네트워크(1804)와 통신하기 위한 셀룰러 모뎀 및/또는 그 밖의 다른 라디오-기반 모뎀(가령, 블루투스(1864) 또는 Wi-Fi(1862))을 포함할 수 있다. 일반적으로 무선 모뎀(1860)은 하나 이상의 셀룰러 네트워크, 가령, 단일 셀룰러 네트워크 내, 셀룰러 네트워크들 간, 또는 모바일 장치와 공중 교환 전화망(PSTN) 간 데이터 및 음성 통신을 위한 GSM 네트워크와 통신하도록 구성되는 것이 일반적이다.
모바일 장치는 적어도 하나의 입/출력 포트(1880), 전력 공급기(1882), 위성 내비게이션 시스템 수신기(1884), 가령, GPS(Global Positioning System) 수신기, 가속도계(1886), 자이로스코프(도시되지 않음) 및/또는 USB 포트, IEEE(1394)(Fire Wire) 포트, 및/또는 RS-232 포트일 수 있는 물리 커넥터(1890)를 더 포함할 수 있다. 임의의 구성요소가 삭제되고 그 밖의 다른 구성요소가 추가될 수 있기 때문에, 예시적 구성요소(1802)는 필수인 것도 모두 포함되어야 하는 것도 아니다.
상기 내용을 기초로, 음성 웹 내비게이션을 위한 기법이 본 명세서에 개시되었다. 본 명세서에 제공된 사항이 컴퓨터 구조적 특징, 방법 및 변환 동작, 특정 컴퓨팅 기계, 및 컴퓨터 판독형 저장 매체에 특정적인 언어로 기재되었지만, 이하의 청구범위에서 정의되는 발명이 본 명세서에 기재된 특정 특징, 동작, 또는 매체에 반드시 한정되는 것은 아니다. 오히려 특정 특징, 동작, 및 매체는 청구항을 구현하는 예시적 형태로서 개시된 것이다.
앞서 기재된 사항은 예시로서 제공된 것에 불과하며 한정으로 해석되지 않는다. 도시되고 기재된 예시적 실시예 및 적용 없이, 다음의 청구항에서 제공된 본 발명의 진정한 사상 및 범위 내에서, 본 명세서에 기재된 사항에 대한 다양한 수정 및 변경이 이뤄질 수 있다.

Claims (10)

  1. 모바일 장치로서,
    하나 이상의 프로세서와,
    그래픽 사용자 인터페이스(GUI)를 지원하는 디스플레이와,
    Wi-Fi 네트워크 및 모바일 사업자 네트워크 중 하나를 포함하는 네트워크로의 액세스를 지원하는 네트워크 인터페이스와,
    상기 하나 이상의 프로세서에 의해 실행될 때 방법을 수행하는 컴퓨터 판독형 명령을 저장한 메모리 장치를 포함하며, 상기 방법은
    웹 브라우저 상의 웹 페이지로 내비게이션하기 위한 사용자로부터의 입력을 수신하는 단계와,
    상기 사용자가 상기 웹 페이지를 상기 UI 상에서 지원되는 시작 스크린에 고정(pin)할 수 있게 하는 컨트롤(control)을 노출하는 단계와,
    상기 컨트롤의 사용자 조작에 응답하여 선택된 웹 페이지를 상기 시작 스크린에 고정하는 단계와,
    상기 고정된 웹 페이지를 나타내는 토큰(token)을 상기 시작 스크린 상에 디스플레이하는 단계 - 상기 디스플레이된 토큰은 텍스트-기반 명칭을 포함함 - 와,
    음성 웹 내비게이션을 이용해 상기 웹 브라우저 상의 상기 고정된 웹 페이지로 내비게이션하기 위한 상기 사용자로부터의 음성 명령을 처리하는 단계 - 상기 음성 명령은 상기 시작 스크린 상에 디스플레이되는 상기 토큰의 텍스트-기반 명칭을 포함하는 구문(syntax)을 이용함 - 를 포함하는
    모바일 장치.
  2. 제1항에 있어서,
    상기 GUI를 지원하기 위한 터치스크린을 더 포함하는
    모바일 장치.
  3. 제1항에 있어서,
    상기 사용자가 상기 시작 스크린으로부터 상기 웹 페이지를 고정해제(unpin)할 수 있게 하는 제2 컨트롤을 노출하는 단계를 더 포함하는
    모바일 장치.
  4. 제3항에 있어서,
    상기 웹 페이지가 상기 시작 스크린으로부터 고정해제된 때 음성 웹 내비게이션을 비활성화하는 단계를 더 포함하는
    모바일 장치.
  5. 제1항에 있어서,
    상기 디스플레이되는 토큰에 대해 애플리케이션 개발자가 제공한 상기 웹 페이지와 연관된 명칭을 이용하거나 상기 사용자가 선택한 디스플레이된 토큰에 대한 명칭을 이용하는 단계를 더 포함하는
    모바일 장치.
  6. 제1항에 있어서,
    상기 웹 페이지와 연관된 URL(Uniform Resource Locator)을 구문분석(parse)하여 상기 디스플레이된 토큰의 명칭을 선택하는 단계를 더 포함하는
    모바일 장치.
  7. 제1항에 있어서,
    가상 개인 어시스턴트를 런칭하는 단계 - 상기 가상 개인 어시스턴트는 음성 명령을 통해 상기 사용자와 대화하고 상기 음성 명령에 응답하여 동작을 트리거하도록 구성됨 - 를 더 포함하는
    모바일 장치.
  8. 제1항에 있어서,
    상기 사용자가 상기 시작 스크린에 고정된 웹 페이지에 대해서만 음성 웹 내비게이션에 참여할 수 있게 하는 단계를 더 포함하는
    모바일 장치.
  9. 제1항에 있어서,
    원격 서비스 상의 중간 검색을 개시하지 않고 음성 명령에 따라 선택된 웹 페이지로 직접 내비게이션하는 단계를 더 포함하는
    모바일 장치.
  10. 제7항에 있어서,
    외부 서비스 제공자와 통신하여 상기 가상 개인 어시스턴트에 의해 사용되는 데이터를 수신하는 단계를 더 포함하는
    모바일 장치.
KR1020167026914A 2014-03-31 2015-03-26 클라이언트 측 개인 음성 웹 내비게이션 KR20160140665A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/231,570 US9547468B2 (en) 2014-03-31 2014-03-31 Client-side personal voice web navigation
US14/231,570 2014-03-31
PCT/US2015/022603 WO2015153241A1 (en) 2014-03-31 2015-03-26 Client-side personal voice web navigation

Publications (1)

Publication Number Publication Date
KR20160140665A true KR20160140665A (ko) 2016-12-07

Family

ID=52829383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167026914A KR20160140665A (ko) 2014-03-31 2015-03-26 클라이언트 측 개인 음성 웹 내비게이션

Country Status (5)

Country Link
US (1) US9547468B2 (ko)
EP (1) EP3127011A1 (ko)
KR (1) KR20160140665A (ko)
CN (1) CN106164904A (ko)
WO (1) WO2015153241A1 (ko)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7516190B2 (en) * 2000-02-04 2009-04-07 Parus Holdings, Inc. Personal voice-based information retrieval system
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US11599709B2 (en) * 2016-05-19 2023-03-07 Palo Alto Research Center Incorporated Natural language web browser
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10685656B2 (en) 2016-08-31 2020-06-16 Bose Corporation Accessing multiple virtual personal assistants (VPA) from a single device
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9900438B1 (en) * 2016-09-29 2018-02-20 Genesys Telecommunications Laboratories, Inc. Pinning in an interactive media/voice response system
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
CN107247718B (zh) * 2016-12-19 2020-09-08 北京四维图新科技股份有限公司 一种地图数据的更新方法和装置、导航系统及服务器
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10574517B2 (en) * 2017-04-24 2020-02-25 International Business Machines Corporation Adding voice commands to invoke web services
JP6968897B2 (ja) * 2017-06-13 2021-11-17 グーグル エルエルシーGoogle LLC 登録されていないリソースによるオーディオベースのネットワークセッションの確立
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10796698B2 (en) 2017-08-10 2020-10-06 Microsoft Technology Licensing, Llc Hands-free multi-site web navigation and consumption
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10789957B1 (en) * 2018-02-02 2020-09-29 Spring Communications Company L.P. Home assistant wireless communication service subscriber self-service
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
CN109847348B (zh) * 2018-12-27 2022-09-27 努比亚技术有限公司 一种操作界面的操控方法及移动终端、存储介质
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
KR20210087710A (ko) * 2020-01-03 2021-07-13 삼성전자주식회사 운송 장치, 통신 시스템 및 이를 이용한 통신 방법
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11463444B2 (en) 2020-06-11 2022-10-04 Microsoft Technology Licensing, Llc Cloud-based privileged access management
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
CN115022267B (zh) * 2022-05-06 2024-05-14 网易（杭州）网络有限公司 一种信息交互方法及终端设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5893063A (en) * 1997-03-10 1999-04-06 International Business Machines Corporation Data processing system and method for dynamically accessing an application using a voice command
US7653544B2 (en) * 2003-08-08 2010-01-26 Audioeye, Inc. Method and apparatus for website navigation by the visually impaired
US7421390B2 (en) * 2002-09-13 2008-09-02 Sun Microsystems, Inc. Method and system for voice control of software applications
US7461352B2 (en) * 2003-02-10 2008-12-02 Ronald Mark Katsuranis Voice activated system and methods to enable a computer user working in a first graphical application window to display and control on-screen help, internet, and other information content in a second graphical application window
EP1631899A4 (en) * 2003-06-06 2007-07-18 Univ Columbia SYSTEM AND METHOD FOR LANGUAGE ACTIVATION OF WEB SITES
US8694322B2 (en) * 2005-08-05 2014-04-08 Microsoft Corporation Selective confirmation for execution of a voice activated user interface
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8145493B2 (en) * 2006-09-11 2012-03-27 Nuance Communications, Inc. Establishing a preferred mode of interaction between a user and a multimodal application
US20090106704A1 (en) * 2007-10-18 2009-04-23 Sony Ericsson Mobile Communications Ab Method, apparatus, and consumer product for creating shortcut to interface element
US10102300B2 (en) * 2008-01-06 2018-10-16 Apple Inc. Icon creation on mobile device
KR101545582B1 (ko) * 2008-10-29 2015-08-19 엘지전자 주식회사 단말기 및 그 제어 방법
US10241752B2 (en) * 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US8881061B2 (en) * 2010-04-07 2014-11-04 Apple Inc. Device, method, and graphical user interface for managing folders
US9164671B2 (en) 2010-06-11 2015-10-20 Microsoft Technology Licensing, Llc Web application navigation domains
US8671384B2 (en) * 2010-06-11 2014-03-11 Microsoft Corporation Web application pinning including task bar pinning
US8285258B2 (en) 2010-07-07 2012-10-09 Research In Motion Limited Pushed content notification and display
US20120089392A1 (en) * 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface
CN102541574A (zh) * 2010-12-13 2012-07-04 鸿富锦精密工业（深圳）有限公司 应用程序开启系统及方法
KR101295711B1 (ko) * 2011-02-15 2013-08-16 주식회사 팬택 음성 인식으로 애플리케이션의 실행 가능한 이동통신 단말 장치 및 방법
CN102629246B (zh) * 2012-02-10 2017-06-27 百纳（武汉）信息技术有限公司 识别浏览器语音命令的服务器及浏览器语音命令识别方法
US20130219277A1 (en) * 2012-02-21 2013-08-22 Mobotap Inc. Gesture and Voice Controlled Browser
KR20130133629A (ko) * 2012-05-29 2013-12-09 삼성전자주식회사 전자장치에서 음성명령을 실행시키기 위한 장치 및 방법
US8819772B2 (en) * 2012-06-25 2014-08-26 Appthority, Inc. In-line filtering of insecure or unwanted mobile device software components or communications
US9292253B2 (en) * 2012-08-02 2016-03-22 Nuance Communications, Inc. Methods and apparatus for voiced-enabling a web application
KR102058990B1 (ko) * 2012-09-19 2019-12-24 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법
US20140173521A1 (en) * 2012-12-17 2014-06-19 Apple Inc. Shortcuts for Application Interfaces
KR20150104615A (ko) * 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9112984B2 (en) * 2013-03-12 2015-08-18 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US9384732B2 (en) * 2013-03-14 2016-07-05 Microsoft Technology Licensing, Llc Voice command definitions used in launching application with a command
US9292254B2 (en) * 2013-05-15 2016-03-22 Maluuba Inc. Interactive user interface for an intelligent assistant

Also Published As

Publication number Publication date
CN106164904A (zh) 2016-11-23
US9547468B2 (en) 2017-01-17
US20150277846A1 (en) 2015-10-01
EP3127011A1 (en) 2017-02-08
WO2015153241A1 (en) 2015-10-08

Similar Documents

Publication Publication Date Title
KR20160140665A (ko) 클라이언트 측 개인 음성 웹 내비게이션
US11915696B2 (en) Digital assistant voice input integration
US10135965B2 (en) Use of a digital assistant in communications
EP3295279B1 (en) Digital assistant extensibility to third party applications
US10080111B2 (en) Techniques for communication using audio stickers
US10509829B2 (en) Contextual search using natural language
US10652172B2 (en) Smart automatic composition of short messaging responses
EP3189633B1 (en) App powered extensibility of messages on an existing messaging service
KR20170092550A (ko) 디지털 개인 어시스턴트 액션 제공자의 확장 기법
KR20170055971A (ko) 공유 작업 공간을 이용하여 장치들에 걸쳐 작업을 완료하는 기법
US20170235812A1 (en) Automated aggregation of social contact groups
US20120109890A1 (en) Method and apparatus for registering sns information
US20150326727A1 (en) Delivery of visual voicemail over multimedia messaging service
US9363711B2 (en) User experiences during call handovers on a hybrid telecommunications network
US9172780B1 (en) Extended function audio connectors
KR101189854B1 (ko) 운영체제 버전에 대응하는 어플리케이션의 다운로드를 위한 서버, 방법, 및 기록 매체