KR20180006966A - 써드 파티 애플리케이션으로의 디지털 어시스턴트 확장성 - Google Patents

써드 파티 애플리케이션으로의 디지털 어시스턴트 확장성 Download PDF

Info

Publication number
KR20180006966A
KR20180006966A KR1020177035958A KR20177035958A KR20180006966A KR 20180006966 A KR20180006966 A KR 20180006966A KR 1020177035958 A KR1020177035958 A KR 1020177035958A KR 20177035958 A KR20177035958 A KR 20177035958A KR 20180006966 A KR20180006966 A KR 20180006966A
Authority
KR
South Korea
Prior art keywords
application
digital assistant
user
service
extension
Prior art date
Application number
KR1020177035958A
Other languages
English (en)
Other versions
KR102509245B1 (ko
Inventor
탄비 설티
마이클 패튼
션 린더세이
치 첸 통
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20180006966A publication Critical patent/KR20180006966A/ko
Application granted granted Critical
Publication of KR102509245B1 publication Critical patent/KR102509245B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/541—Interprogram communication via adapters, e.g. between incompatible applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G06F17/30654—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • G06F9/44526—Plug-ins; Add-ons
    • H04L29/08648—
    • H04L67/28—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72406—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by software upgrading or downloading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H04M1/72519—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Stored Programmes (AREA)
  • Sub-Exchange Stations And Push- Button Telephones (AREA)

Abstract

디지털 어시스턴트는 써드 파티(third party) 개발자가 개발한 애플리케이션 확장과 인터페이스하는 확장성 클라이언트를 포함하므로 애플리케이션 사용자 경험, 콘텐트 또는 피쳐가 디지털 어시스턴트에 통합되어 원래의 디지털 어시스턴트 경험으로 렌더링될 수 있다. 애플리케이션 확장은 언어/어휘, 사용자 기본 설정 및 콘텍스트 서비스와 같은 클라우드 기반 및/또는 로컬 소스로부터 제공되는 다양한 서비스를 사용하여, 인텔리전스 및 상황에 맞는 관련성을 추가하는 동시에 확장 기능을 디지털 어시스턴트 콘텍스트에 완벽하게 연결하고 작동시킬 수 있다. 또한 애플리케이션 확장은 서비스에 의해 노출되는 일반 디지털 어시스턴트 기능, 데이터 구조 및 라이브러리를 액세스하고 활용할 수 있으며, 확장에서 캡처된 프로그래밍 피쳐를 사용하여 애플리케이션 도메인-특유 콘텍스트와 동작을 구현할 수 있다. 이러한 써드 파티 애플리케이션으로의 확장성은 디지털 어시스턴트가 질문에 대답하고 사용자를 위한 작업을 수행하는 데 사용할 수 있는 정보의 데이터베이스의 범위를 넓힐 수 있다.

Description

써드 파티 애플리케이션으로의 디지털 어시스턴트 확장성
디지털 어시스턴트는, 디바이스 사용자에게 다양한 피쳐(feature)를 제공할 수 있으며, 작업을 수행하고, 정보를 얻으며, 음성 대화를 통해 친구 및 동료와 접속된 상태를 유지하기 위해, 디바이스와 더 용이하게 상호작용하게 할 수 있다. 일반적으로 사용자는 음성 입력을 사용하여 디지털 어시스턴트와 상호작용할 수 있으며 디지털 어시스턴트는 자체 음성을 사용하여 사용자에게 말할 수 있다. 현재 피쳐는 많은 사용 시나리오에서 만족스러운 방식으로 수행되지만 향상된 기능은 디지털 어시스턴트 기능을 더 유용하고 생산적으로 만들 수 있다.
이 배경기술은 이어지는 발명의 개요 및 상세한 설명을 간략하게 설명하기 위해 제공된다. 이 배경기술은 청구된 주제의 범위를 결정하는 데 도움이 되지 않으며 위에 제시된 단점 또는 문제점의 일부 또는 전부를 해결하는 구현에 대해 청구된 주제를 제한하는 것으로 간주되지 않는다.
스마트 폰, 태블릿, 퍼스널 컴퓨터(PC), 게임 콘솔 등과 같은 디바이스에서 지원되는 디지털 어시스턴트는 써드 파티(third party) 개발자가 개발한 애플리케이션 확장과 인터페이스하는 확장성 클라이언트를 포함하므로 애플리케이션 사용자 경험, 콘텐트 또는 피쳐가 디지털 어시스턴트에 통합되어 원래의(native) 디지털 어시스턴트 경험으로 렌더링될 수 있다. 애플리케이션 확장은 언어/어휘, 사용자 기본 설정 및 상황(context) 서비스와 같은 클라우드 기반 및/또는 로컬 소스로부터 제공되는 다양한 서비스를 사용하여, 인텔리전스 및 상황에 맞는 관련성을 추가하는 동시에 확장 기능을 디지털 어시스턴트 콘텍스트에 완벽하게 연결하고 작동시킬 수 있다. 또한 애플리케이션 확장은 서비스에 의해 노출되는 일반 디지털 어시스턴트 기능, 데이터 구조 및 라이브러리를 액세스하고 활용할 수 있으며, 확장에서 캡처된 프로그래밍 피쳐를 사용하여 애플리케이션 도메인-특유 콘텍스트와 동작을 구현할 수 있다. 이러한 써드 파티 애플리케이션으로의 확장성(extensibility)은 디지털 어시스턴트가 질문에 대답하고 사용자를 위한 작업을 수행하는 데 사용할 수 있는 정보의 데이터베이스의 범위를 넓힐 수 있다.
본 디지털 어시스턴트 확장성은 정보를 얻고 디지털 어시스턴트를 사용하여 작업을 수행함에 있어 사용자 효율을 증가시키고 디바이스와의 전반적인 사용자 상호작용 성능을 향상시킨다. 디지털 어시스턴트에 이용 가능한 정보 데이터베이스를 넓힘으로써, 확장성은 응답의 품질을 향상시키고 더 광범위하고 더 포괄적인 응답 및 작업의 세트가 디바이스 상에서 지원되게 한다. 이것은, 추가적인 자원 소비 및 사용자 불만을 유발할 수 있는 디바이스에 대한 의도하지 않은 입력이 발생할 가능성을 낮추게 되어, 필요한 정보를 얻기 위한 시도 횟수를 감소시킬 수 있다. 또한, 확장성은 네트워크 대역폭, 프로세싱 사이클, 일부의 경우에는 메모리와 배터리 수명을 포함하는 이용 가능한 컴퓨팅 리소스를 디바이스가 더 효율적으로 활용할 수 있게 한다. 예를 들어, 디지털 어시스턴트에 의해 유지 관리되는 콘텍스트 및 사용자 동작을 설명하는 데이터는, 프로세싱에서의 네트워크 대역폭 요구 사항과 로드(load), 저장, 및 디바이스 상에서의 메모리 리소스를 감소시킬 수 있는 맞춤형 콘텐트, 정보 및 사용자 경험을 전달하는데 애플리케이션 운영을 더 효율적으로 만들기 위해 사용될 수 있다.
이하 상세한 설명에서 더 개시되는 간략한 형태의 컨셉의 선택을 소개하기 위해 본 요약(Summary)이 제공된다. 본 요약은 청구되는 주제(subject matter)의 본질적 특징이나 주요 특징(key feature)의 확인을 의도하지 않고, 청구되는 대상의 범위를 결정하는데 사용되는 것을 의도하지도 않는다. 또한, 청구되는 대상은 본 명세서의 임의의 부분에서 언급되는 임의의 또는 모든 단점을 해결하는 구현에 한정되지 않는다. 상술한 내용은 컴퓨터 제어 장치, 컴퓨터 프로세스, 컴퓨팅 시스템, 또는 하나 이상의 컴퓨터 판독가능 저장 매체와 같은 제조물로서 구현될 수 있음이 인식될 것이다. 이러한 피쳐 및 다른 피쳐는 이어지는 상세한 설명의 리딩(reading)과 관련 도면의 리뷰(review)로부터 명백하게 될 것이다.
도 1은 써드 파티 애플리케이션 및 확장물과 인터페이스하기 위한 확장성 클라이언트를 포함하는 예시적인 디지털 어시스턴트를 도시한다.
도 2는 디바이스가 네트워크를 통해 애플리케이션 서비스와 통신 및 상호작용할 수 있는 예시적 컴퓨팅 환경을 도시한다.
도 3은 원격 애플리케이션 서비스와 인터페이싱하는 로컬 애플리케이션 및/또는 브라우저를 도시한다.
도 4는 디지털 어시스턴트로의 예시적 입력 및 디지털 어시스턴트에 의해 수행될 수 있는 일반적 기능의 예시적 분류(taxonomy)를 도시한다.
도 5, 도 6, 및 도 7은 사용자와 디지털 어시스턴트 사이의 예시적 인터페이스를 도시한다.
도 8은 디지털 어시스턴트 콤포넌트, 확장성 클라이언트, 및 애플리케이션 확장을 포함하는 예시적 계층형 아키텍처를 도시한다.
도 9는 디지털 어시스턴트 확장성 서비스에 의해 노출되는 예시적 서비스를 도시한다.
도 10은 애플리케이션 설치 중에 디바이스 상에서의 애플리케이션 확장과 운영체제 사이의 예시적 상호작용을 도시한다.
도 11은 애플리케이션 실행 중에 애플리케이션 확장과 디지털 어시스턴트 확장성 클라이언트 사이의 예시적 상호작용을 도시한다.
도 12는 디바이스 상에 설치되는 3개의 예시적 애플리케이션 확장을 도시한다.
도 13, 도 14, 및 도 15는 예시적인 디지털 어시스턴트 확장성 사용자 경험 시나리오를 도시한다.
도 16, 도 17, 및 도 18은 본 디지털 어시스턴트 확장성을 구현할 때 수행될 수 있는 예시적 방법을 도시한다.
도 19는 본 디지털 어시스턴트 확장성을 구현하기 위해 부분적으로 사용될 수 있는 퍼스널 컴퓨터(PC) 등의 예시적 컴퓨터 시스템의 간략화된 블록 다이어그램이다.
도 20은 본 디지털 어시스턴트 확장성을 구현하기 위해 부분적으로 사용될 수 있는 예시적 디바이스의 블록 다이어그램을 도시한다.
도 21은 예시적 모바일 디바이스의 블록 다이어그램이다.
도 22는 예시적 멀티미디어 콘솔의 블록 다이어그램이다.
도면에서 유사한 도면 부호는 유사한 엘리먼트를 나타낸다. 다른 언급이 없는 한 엘리먼트들은 축척에 따라 도시되지 않는다.
도 1은 사용자(105)가 디지털 어시스턴트(112)를 호스팅하는 디바이스(110)를 사용하는 디지털 어시스턴트 확장성 어레인지먼트(100)의 개관을 도시한다. 디지털 어시스턴트(112)는 일반적으로 네트워크(115)를 통해 원격 디지털 어시스턴트 서비스(130)에 의해 지원되는 확장성 서비스(118)와 상호동작하는(interoperate) 확장 성 클라이언트(114)를 지원한다. 대안으로, 경우에 따라 확장성 서비스가 로컬 서비스(135)로서 부분적으로 또는 완전히 인스턴스화될(instantiated) 수 있다. 디지털 어시스턴트 확장성 클라이언트(114)가 애플리케이션 확장(140)과의 상호작용을 가능하게 하도록 구성되어, 애플리케이션의 사용자 경험, 피쳐, 및 콘텐트의 다양한 양태가 디지털 어시스턴트(112)와 통합될 수 있다. 일반적으로, 애플리케이션과 디지털 어시스턴트 간의 전환(transition)이 원활하게 처리되고 경험이 사용자에게 매끄럽게 렌더링되도록, 대부분의 경우 유사하고 일관된 사운드, 룩(look) 및 느낌을 가진 디지털 어시스턴트를 사용하여, 애플리케이션이 사용자 경험, 피쳐 및 콘텐트를 렌더링할 수 있도록 확장성이 구현된다.
확장(140)은 애플리케이션 작성자, 개발자 또는 제공자가 디지털 어시스턴트(112)의 제공자와 동일하지 않은 개체(entity)인 경우에 써드 파티 애플리케이션(150)과 연관될 수 있다. 퍼스트 파티(first party) 애플리케이션은 일부 구현에서 지원될 수도 있다. 일부 경우, 디지털 어시스턴트 확장성 서비스(118)는 도 1의 라인(152)에 의해 지시된 바와 같이 애플리케이션(150)과의 직접적인 상호작용을 지원할 수 있다.
디지털 어시스턴트 확장성의 예시적인 구현의 다양한 세부 사항이 이제 제시된다. 도 2는 네트워크(115)를 통해 통신하는 개별 디바이스(110)를 다수의 사용자(105)가 사용하는 예시적 환경(200)을 도시한다. 각 디바이스(110)는 디지털 어시스턴트(112)의 인스턴스(instance)를 포함한다. 디바이스(110)는 몇몇 경우에 음성 전화 기능을 지원할 수 있고, 전형적으로 인터넷 브라우징 및 멀티미디어(예를 들어, 음악, 비디오 등) 소비와 같은 데이터 소비 애플리케이션을 다양한 다른 피쳐에 추가로 지원한다. 디바이스(110)는 예를 들어 사용자가 음성 및/또는 멀티미디어(즉, 비디오) 호출을 만들고 수신하고, 메시징(예를 들어, 텍스팅(texting)) 및 전자우편 통신에 착수하고(engage), 애플리케이션을 사용하고, 데이터를 사용하는 서비스에 액세스하고, 월드 와이드 웹을 브라우징하는 등을 위해 종종 사용하는 사용자 장비, 모바일 폰, 셀 폰, 피쳐 폰, 태블릿 컴퓨터 및 스마트폰을 포함할 수 있다.
다른 타입의 전자 디바이스도, 휴대용 컴퓨팅 디바이스, PDA(personal digital assistant), 휴대용 미디어 플레이어, 헤드셋 및 이어폰(예를 들어, 블루투스 호환 디바이스)을 사용하는 디바이스, 패블릿 디바이스(즉, 스마트폰/태블릿 디바이스의 조합), 착용 가능 컴퓨터, GPS(Global Positioning System) 시스템과 같은 네비게이션 디바이스, 랩탑 PC(퍼스널 컴퓨터), 데스크탑 컴퓨터, 멀티미디어 콘솔, 게임 시스템 등을 포함하는 환경(100) 내에서 사용 가능하도록 구상된다. 후속 논의에서, "디바이스"라는 용어의 사용은 통신 기능을 갖고 통신 네트워크(115)에 접속 가능하도록 구성되는 모든 디바이스를 커버하는 것을 의도한다.
환경(100) 내의 다양한 디바이스(110)는 상이한 피쳐, 기능, 및 성능(여기서는 일반적으로 "피쳐"로 언급됨)을 지원할 수 있다. 주어진 디바이스 상에서 지원되는 피쳐들 중 일부는 다른 디바이스 상에서 지원되는 것과 유사하게 될 수 있고, 다른 피쳐들은 주어진 디바이스에 대하여 독특할 수 있다. 다양한 디바이스(110) 상에서 지원되는 피쳐들 간의 중첩 및/또는 구별의 정도는 구현예에 따라 다를 수 있다. 예를 들어, 일부 디바이스(110)는 터치 제어, 제스처 인식, 및 음성 명령을 지원할 수 있고, 다른 디바이스는 더 제한된 UI를 가능하게 할 수 있다. 일부 디바이스는 비디오 소비 및 인터넷 브라우징을 지원할 수 있고, 다른 디바이스는 더 제한된 미디어 처리(handling) 및 네트워크 인터페이스 피쳐를 지원할 수 있다.
손목 밴드 및 다른 착용 가능 디바이스와 같은 액세서리 디바이스(218)도 환경(200) 내에 존재할 수 있다. 이러한 액세서리 디바이스(218)는 일반적으로 착용자의 생리(예를 들어, 심장 박동수, 취해진 단계, 칼로리 소모량 등) 및 환경 조건(온도, 습도, 자외선 (UV) 레벨 등)의 모니터링, 및 결합형 디바이스(110)로부터의 표면 통지(surfacing notification)와 같은 기능을 지원하기 위해 블루투스와 같은 단거리 통신 프로토콜을 사용하여 디바이스(110)와 상호동작하도록 구성된다.
디바이스(110)는 다양한 사용자 경험에 액세스하고 그리고/또는 다양한 사용자 경험을 구현하기 위해 통상적으로 네트워크(115)를 이용할 수 있다. 네트워크는 셀룰러 네트워크, 위성 네트워크, Wi-Fi 및 이더넷 네트워크와 같은 IP (인터넷 프로토콜) 네트워크, 공중 교환 전화 네트워크(public switched telephone network; PSTN), 및/또는 블루투스(Bluetooth®) 네트워크와 같은 단거리 네트워크를 포함하는 다양한 조합들 또는 하부 조합들에서의 다양한 네트워크 타입 및 네트워크 기반 시설 중 임의의 것을 포함할 수 있다. 네트워크 기반 시설은 예컨대, 모바일 오퍼레이터, 엔터프라이즈(enterprise), ISP(Internet service provider), 전화 서비스 제공자, 데이터 서비스 제공자 등에 의해 지원될 수 있다.
디바이스(110)가 하나 이상의 콘텐트 제공자에 의해 제공되는 콘텐트에 액세스하고 다양한 애플리케이션 서비스(225)에 의해 지원되는 사용자 경험을 렌더링할 수 있도록, 네트워크(115)는 인터넷의 일부를 이용하거나 인터넷에 대한 접속을 지원하는 인터페이스를 포함할 수 있다. 애플리케이션 서비스(225)는, 소셜 네트워킹, 맵핑, 뉴스 및 정보, 엔터테인먼트, 여행, 생산성, 금융 등의 다양한 애플리케이션을 각각 지원할 수 있다. 디지털 어시스턴트 서비스(130)(상세히 후술됨)는 또한 컴퓨팅 환경(200) 내에 존재한다.
도 3에 도시된 바와 같이, 디바이스(110)는 통상적으로 애플리케이션 서비스(225)와의 상호작용을 가능하게 할 수 있는 하나 이상의 애플리케이션(150) 또는 브라우저(305)와 같은 로컬 콤포넌트를 포함할 수 있다. 예컨대 일부 시나리오에서, 데이터가 다양한 피쳐 또는 기능을 검색하게 하고, 정보를 제공하고, 그리고/또는 로컬 디바이스(110)의 사용자 인터페이스 상에 렌더링될 수 있는 주어진 사용자 경험을 지원하기 위해, 사용자(105)는 네트워크를 통해 통신하는 로컬 실행 애플리케이션(locally executing application)을 서비스에 론칭할 수 있다. 일부 시나리오에서, 애플리케이션은 원격 서비스와 인터페이싱할 필요없이 디바이스 상에서 국부적으로(locally) 동작할 수 있다.
도 4는, 원래대로(natively) 또는 애플리케이션(150)과의 조합으로, 디지털 어시스턴트(112)에 의해 전형적으로 지원될 수 있는 기능들(400)의 예시적인 분류를 도시한다. 디지털 어시스턴트(112)로의 입력은 통상적으로, 사용자 입력(405), 내부 소스(410)로부터의 데이터, 및 써드 파티 콘텐트(418)를 포함할 수 있는 외부 소스(415)로부터의 데이터를 포함할 수 있다. 예를 들어, 내부 소스(410)로부터의 데이터는 디바이스 상의 GPS(Global Positioning System) 콤포넌트 또는 몇몇 다른 위치-인식 콤포넌트에 의해 보고되는 디바이스(110)의 현재 위치를 포함할 수 있다. 외부에서 소싱된 데이터(415)는 예를 들어 외부 시스템, 데이터베이스, 서비스 등에 의해 제공되는 데이터를 포함한다.
다양한 입력은, 디지털 어시스턴트(112)가 동작할 때 상황 데이터(contextual data)(420)를 이용할 수있게 하기 위해, 단독으로 또는 다양한 조합으로 사용될 수 있다. 상황 데이터는, 예를 들어 시간/날짜, 사용자의 위치, 언어, 일정, 디바이스에 설치된 애플리케이션, 사용자의 기본 설정, 사용자의 행동(이 동작은 사용자와 사용자의 동의를 통해 모니터링/추적됨), 저장된 연락처(경우에 따라 외부 소셜 네트워킹 서비스가 유지 관리하는 것과 같은 로컬 사용자 또는 원격 사용자의 소셜 그래프에 대한 링크를 포함함), 통화 이력, 메시징 이력, 브라우징 이력, 디바이스 타입, 디바이스 기능(device capability), 통신 네트워크 타입 및/또는 여기에 제공된 피쳐/기능, 모바일 데이터 플렌 제한/한정, 통신에 대한 다른 당사자와 연관된 데이터(예를 들어, 자신의 스케줄, 선호도 등) 등을 포함할 수 있다.
도시된 바와 같이, 기능(400)은 예시적으로, (예를 들어, 자연 언어 UI 및 다른 그래픽 UI를 통해) 사용자(425)와 상호작용하는 단계; 작업(430)을 수행하는(예를 들어, 사용자의 달력에 약속을 적어두고 메시지와 이메일을 보내는 것 등) 단계; 서비스(435)를 제공하는(예를 들어, 사용자로부터의 질문에 답변하는 것, 목적지로의 방향을 맵핑하는 것, 알람을 설정하는 것, 통지를 전달하는 것, 이메일, 뉴스, 블로그를 읽는 것 등) 단계; 정보(440)를 수집하는(예를 들어, 사용자에 의해 요청된 서적 또는 영화에 관한 정보를 찾는 것(finding), 가장 가까운 이탈리안 레스토랑을 찾는 것(locating) 등) 단계; 디바이스(445)를 동작시키는(환경 설정(setting preference), 화면 밝기를 조절하는 것, Wi-Fi 및 블루투스와 같은 무선 연결을 켜고 끄는 것과 같은 무선 접속을 전환하는 것, 다른 디바이스와 통신하는 것, 스마트 기기를 제어하는 것 등) 단계; 및 다양한 다른 기능(450)을 수행하는 단계를 포함한다. 기능(400)의 리스트는 포괄적인 것으로 의도되지 않고, 본 디지털 어시스턴트 확장성의 특정 구현에 필요할 수 있는 바와 같이, 다른 기능들이 디지털 어시스턴트(112) 및/또는 애플리케이션(150)에 의해 제공될 수 있다.
사용자는, 주어진 디바이스(110)에 의해 지원되는 피쳐 및 기능에 따라, 다수의 방식으로 디지털 어시스턴트(112)와 통상적으로 상호작용할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 디지털 어시스턴트(112)는, 사용자(105)가 사용자 경험의 지원에서의 물리적 상호작용(510)을 이용하게 하는 유형의(tangible) 사용자 인터페이스(505)를 디바이스(110) 상에 노출시킬 수 있다. 이러한 물리적 상호작용은, 탭핑, 플리킹, 그래깅 등의 터치스크린 상의 터치 기반 입력을 사용하여, 버튼, 메뉴, 키보드 등의 물리적 및/또는 가상 제어의 조작(manipulation)을 포함할 수 있다.
일부 구현예에서, 디지털 어시스턴트(112)는 도 6에 도시된 자연 언어 사용자 인터페이스(605) 또는 또는 대안적으로 다양한 입력을 제공하기 위해 사용자가 음성(610)을 이용하는 음성 명령 기반 사용자 인터페이스(미도시)를 디바이스(110)에 노출시킬 수 있다.
다른 구현예에서, 디지털 어시스턴트(112)는 입력을 제공하기 위해 사용자(105)가 제스쳐(710)를 이용하는 도 7에 도시된 제스쳐 사용자 인터페이스(705)를 디바이스(110)에 노출시킬 수 있다. 일부 경우에, 사용자 인터페이스의 조합은 예를 들어 디지털 어시스턴트(112) 및 디바이스(110)와 상호 작용하기 위해 사용자가 음성 및 물리적 입력 모두를 이용할 수 있는 곳에서 이용될 수 있음에 유의해야 한다. 사용자 제스쳐는 광학 감지, 터치 감지, 근접 감지 등의 다양한 기술을 사용하여 감지될 수 있다.
도 8은 주어진 디바이스(110) 상에 인스턴스화될 수 있는 예시적 계층형 아키텍처(800)를 도시한다. 일부의 경우에 소프트웨어, 펌웨어, 및/또는 하드웨어의 조합이 이용될 수도 있지만, 아키텍처(800)는 통상적으로 소프트웨어로 구현된다. 아키텍처(800)는 계층으로 배열되고(arranged), 애플리케이션 계층(805), OS(operating system) 계층(810) 및 하드웨어 계층(815)을 포함한다. 하드웨어 계층(815)은 디바이스(110)에 의해 사용되는 다양한 하드웨어(예를 들어, 입력 및 출력 디바이스, 네트워킹 및 무선 하드웨어 등)의 추상(abstraction)을 그 위에 있는 계층에 제공한다. 이 예시적인 실시예에서, 하드웨어 계층은 예를 들어 디바이스의 내부 스피커, 유선 또는 무선 헤드셋/이어폰, 외부 스피커/디바이스 등을 포함할 수 있는 마이크(820) 및 오디오 엔드포인트(audio endpoint)(825)를 지원한다.
이러한 예시적 실시예에서의 애플리케이션 계층(805)은 디지털 어시스턴트 확장성 클라이언트(114)뿐만 아니라 다양한 애플리케이션(150)(예를 들어, 웹 브라우저, 맵 애플리케이션, 이메일 애플리케이션, 뉴스 애플리케이션 등)을 지원한다. 애플리케이션은 주로 로컬 실행 코드(locally executing code)를 사용하여 구현된다. 그러나, 일부의 경우에, 이러한 애플리케이션은 서비스 제공자 또는 다른 클라우드 기반 리소스에 의해 지원되는 바와 같은 다른 컴퓨팅 플랫폼 또는 원격 서버에 의해 제공되는 서비스 및/또는 원격 코드 실행에 의존할 수 있다. 디지털 어시스턴트 확장성 클라이언트(114)가 여기서는 애플리케이션 계층(805)에서 인스턴스화되는 콤포넌트로서 도시되었지만, 주어진 애플리케이션에 의해 제공되는 기능은 전체적으로 또는 부분적으로, OS 또는 하드웨어 계층에서 지원되는 콤포넌트를 사용하여 구현될 수 있다.
OS 계층(810)은 디지털 어시스턴트(112) 및 다양한 다른 OS 콤포넌트(855)를 지원한다. 통상적인 구현예에서, 디지털 어시스턴트(112)는, 라인(860)에 의해 표시된 바와 같이, 디지털 어시스턴트 서비스(130)와 상호작용할 수 있다. 즉, 일부 구현예에서의 디지털 어시스턴트(112)는 서비스(130)에서 지원되거나 다른 원격 리소스를 사용하는 원격 코드 실행을 부분적으로 또는 전체를 사용할 수 있다. 또한, 이것은, 여기에 설명된 다양한 피쳐 및 기능을 구현하는데 필요할 수 있는 다른 OS 콤포넌트 (855)(및/또는 아키텍처(800)의 다른 계층에서 인스턴스화되는 다른 컴포넌트)를 사용 및/또는 상호작용할 수 있다. 일부 구현예에서, 디지털 어시스턴트 확장성 클라이언트(114)에 의해 지원되는 기능의 일부 또는 전부는, 도 8에서 직사각형 점선으로 도시된 바와 같이, 디지털 어시스턴트에 통합될 수 있다. 상기한 바와 같이, 디지털 어시스턴트(112)는 디바이스(110) 상에 부분적으로 또는 완전히 국부적으로(locally) 인스턴스화되는 확장성 서비스와 상호작용할 수도 있다. 예를 들어, 서비스는 다양한 사용자 경험과 피쳐를 지원하기 위해 로컬 리소스를 적용하고 로컬 로직을 구현할 수 있다.
도 9는 원격 디지털 어시스턴트 확장성 서비스(118) 및 로컬 클라이언트(114)에 의해 애플리케이션 확장(140)에 노출될 수 있는 예시적 서비스(900)를 도시한다. 서비스(900)는, 확장성 클라이언트(114) 및/또는 로컬 디지털 어시스턴트 확장성 서비스(135)(도 1)에 의해 전체적으로 또는 부분적으로 디바이스(110) 상에 국부적으로 구현 및/또는 렌더링될 수도 있다. 대안적으로, 서비스는 일부 또는 전부는, 일부의 경우에 원격 액세스를 가능하게 하는 인터페이스(미도시)를 사용하여 확장성 서비스(118)로부터 애플리케이션에 직접 제공될 수 있다. 서비스(130)는, 서비스(900)의 프로비저닝(provisioning)을 지원하는데 필요할 수 있는 검색 서비스(935)와 같은 다양한 제공자로부터의 다른 서비스에 액세스할 수 있다.
언어 및 어휘 서비스(905)는 디지털 어시스턴트에 데이터 및/또는 서비스를 제공할 때 확장에 의해 상이한 언어의 사용을 지원할 수 있다. 예를 들어, 일부 애플리케이션은 다국어 설정에서 사용되는 반면 다른 애플리케이션은 지역 또는 전역 배포를 통해 여러 언어를 지원할 수 있다. 어휘 서비스는 전문 및/또는 산업-특유 어휘의 애플리케이션 사용을 지원할 수 있다. 예를 들어, 기술 및 과학 어휘가 컴퓨터 및 기술 뉴스를 다루는 애플리케이션에 지원될 수 있다. 따라서, 디지털 어시스턴트에 의해 기사가 사용자(105)에게 소리내어 읽혀질 때 특정 용어가 올바르게 발음되도록, 뉴스 읽기 애플리케이션은 어휘 서비스에 액세스 할 수 있다.
사용자 선호 서비스(910)는 데이터 및 서비스를 제공할 때 디지털 어시스턴트에 의해 유지되는 사용자 환경설정을 확장이 고려할 수 있게 한다. 마찬가지로, 상황 서비스(915)는 확장이 디지털 어시스턴트에 의해 유지되는 상황 데이터를 사용할 수 있게 할 수 있다. 다른 서비스(920)도 특정 구현예의 요구를 만족시키기 위해 확장성 서비스(118)에 의해 노출될 수 있다.
도 10에 도시된 바와 같이, 디바이스(110) 상에 애플리케이션 확장(140)의 설치 중에, 애플리케이션 패키지 매니페스트(1015) 또는 애플리케이션을 인증하고 사용하기 위해 이용되는 유사한 설치 패키지는 디지털 어시스턴트 리소스에 액세스하기 위한 요청(1020)을 론칭하도록 구성된다. 전형적으로, 요청은 애플리케이션과 운영체제(1050) 및/또는 거기에서 실행되는 디지털 어시스턴트 콤포넌트 간의 상호작용을 용이하게 하기 위해 애플리케이션에 대한 상호작용의 확장 포인트, 요구되는 기능 및 리소스에 대한 설명 등을 기술한다.
도 11에 도시된 바와 같이, 실행 환경(1110)에서 디바이스(110) 상에의 실행시의 애플리케이션 확장 동작 중에, 애플리케이션 확장(140)은 그래픽, 오디오, 명령, 및 다른 정보와 같은 애플리케이션-특유 리소스를 포함할 수 있는 로드 매니페스트(1120) 및 API(application programming interface)(1115)를 통해 디지털 어시스턴트 확장성 클라이언트(114)와 인터페이싱할 수 있다. 예를 들어, 매니페스트(1120)는 매니페스트로부터 로딩되고 디지털 어시스턴트 확장성 클라이언트로 등록될 수 있는 키워드(1122)를 포함할 수 있다. 등록된 키워드는 실행시에 사용자에 의해 호출될 수 있고, 입력 이벤트는 적절한 애플리케이션 확장으로 디렉팅될 수 있다. 애플리케이션을 론칭하고 이름지어진 애플리케이션으로부터의 정보, 서비스, 콘텐트 등을 취득하기 위해 사용자가 디지털 어시스턴트를 디렉팅할 수 있도록, 애플리케이션 이름은 키워드의 전형적인 예이다. 실행 중에, 확장성 클라이언트(114)는 애플리케이션 확장에서의 이벤트 핸들러(event handler)(1125)로 사용자 입력, 작동, 및 행동에 연관된 이벤트를 전달(pass)할 수 있다. 애플리케이션 확장은 디지털 어시스턴트를 통한 특정 사용자 경험 또는 사용자 인터페이스를 용이하게 하기 위해 스크립트 및 다른 프로그래밍 구성(programming construct)과 같은 로직(1130)을 적용할 수 있다.
도 12는 디바이스(110) 상에 설치되는 3개의 예시적 애플리케이션 및 대응하는 확장을 도시한다. 애플리케이션은 영화 데이터베이스 애플리케이션(1205)과 확장(1210), 전자 상거래 애플리케이션(1215)과 확장(1220), 및 크라우드 소싱형 리뷰 애플리케이션(1225)과 확장(1230)을 포함한다. 애플리케이션 및 확장은 예시를 위한 것이고, 임의의 다양한 애플리케이션 및 확장이 주어진 시나리오에서 이용될 수 있음 을 강조한다.
도 13 내지 도 15는 도 12에 도시된 3개의 애플리케이션을 사용하고, 부가 텍스트로 설명되는 예시적 디지털 어시스턴트 확장성 사용자 경험을 도시한다. 도 13에서, 사용자(105)는 디바이스(110) 상에서 동작하고 있는 디지털 어시스턴트(112)(예시적 실시예에서 "Cortana"로 이름지어짐)와 상호작용한다. 도시된 바와 같이, 디지털 어시스턴트는, 사용자의 위시리스트 상의 아이템에 관한 정보를 드러내기 위해, 확장을 통해 전자 상거래 애플리케이션과 상호작용할 수 있다. 도 14에서, 디지털 어시스턴트는 사용자를 위해 추천된 영화를 찾기 위해, 확장을 통해 영화 데이터베이스 애플리케이션과 상호작용할 수 있다. 디지털 어시스턴트는, 사용자의 연락처 중 하나로 영화 정보를 전달히는 가장 좋은 방식을 찾기 위해 통신을 추적하는 기능을 사용할 수 있다. 사용자의 요청에 대한 응답으로 디지털 어시스턴트가 이름지어진 애플리케이션과 상호작용하게 되도록, 사용자는 이번 경우에는 "Xbox Video" 이름으로 써드 파티 애플리케이션을 호출할 수도 있다. 여기에서, Xbox Video 애플리케이션 확장은 사용자가 디지털 어시스턴트와 상호작용할 때 이름으로 애플리케이션을 지칭하게 하는 키워드로서의 이름으로 등록된다.
도 15에서, 디지털 어시스턴트는 사용자에게 레스토랑 추천을 제공하기 위해 확장을 통해 크라우드 소싱형 리뷰 애플리케이션과 인터페이싱한다. 디지털 어시스턴트는 추천을 드러내는 것, 메뉴를 전달하는 것, 방향을 제공하는 것 등의 리뷰 애플리케이션으로부터의 정보를 사용하여 다양한 서비스를 제공할 수 있다.
도 16은 디바이스(예를 들어, 디바이스(110)) 상에서 디지털 어시스턴트를 동작시키기 위한 예시적 방법(1600)의 플로우차트를 도시한다. 특별히 언급되지 않으면, 플로우차트에 도시되고 부가 텍스트로 설명된 방법 또는 단계는 특정 순서 또는 시퀀스로 제한되지 않는다. 또한, 그 방법 또는 단계 중 일부는 동시에 발생 또는 수행될 수 있고, 모든 방법 또는 단계가 이러한 구현예의 요구에 따라 주어진 구현예로 수행되어야 하는 것은 아니며, 이룹 방법 또는 단계는 선택적으로 사용될 수 있다.
단계 1605에서, 디바이스 상에서 동작하는 각각의 애플리케이션과 연과노딘 확장으로부터 애플리케이션 특유 서비스를 수신하도록 인터페이스가 구성된다. 사용자 인터페이스는 단계 1610에서 디바이스 사용자로부터 음성 명령을 수신하도록 구성된다. 단계 1615에서, 수신된 입력이 처리(handling)를 위해 각 확장으로 맵핑된다. 단계 1620에서, 디지털 어시스턴트 확장성 서비스(도 9에 도시되고 부가 텍스트로 설명된 서비스(900) 등)는 애플리케이션 확장으로 노출될 수 있다.
단계 1625에서, 디지털 어시스턴트 확장성 클라이언트는 디바이스 사용자 입력에 응답하여 확장으로부터 애플리케이션 특유 서비스를 수신한다. 단계 1630에서, 애플리케이션 전반의 사용자 경험이 원래의 디지털 어시스턴트 사용자 경험으로 노출되도록 애플리케이션 특유 서비스가 렌더링될 수 있다.
도 17은 디바이스(예를 들어, 디바이스(110)) 상에서 구현될 수 있는 예시적 방법(1700)의 플로우차트이다. 단계 1705에서, 상황-인식(context-aware) 디지털 어시스턴트는, 적어도 부분적으로, 상황-인식이 사용자 행동 및 디바이스와의 상호작용(전형적으로 사용자에 대한 통지 및 동의)을 모니터링함으로써 얻어질 수 있는 디바이스에 노출된다. 단계 1710에서, 사용자로부터의 입력이 수신된다. 단계 1715에서, 상황-인식은 핸들링을 위한 애플리케이션 확장으로 사용자 입력을 전달하기 위해 사용된다. 애플리케이션 확장은 단계 1720에서 애플리케이션-특유 리소스를 로드하고 스크립트를 실행하고 이벤트를 핸들링할 수 있다. 일부 경우에, 애플리케이션 데이터베이스는 단계 1725에서 서비스의 일부로서 노출될 수 있다. 단계 1730에서, 디지털 어시스턴트는 확장으로부터 수신된 서비스를 렌더링하도록 동작된다.
도 18은 서비스 제공자에 의해 사용될 수 있는 예시적 방법(1800)을 도시한다. 단계 1805에서, 제공자에서의 하나 이상의 서버는 로컬 디바이스 상에서 실행되는 디지털 어시스턴트 확장성 클라이언트와 상호작동할 수 있다. 단계 810에서, 단계 1815에서 로컬 확장성 클라이언트를 통해 애플리케이션 확장에 제공되는 디지털 어시스턴트 확장성 서비스가 유지된다.
도 19는 본 개시의 디지털 어시스턴트 확장성이 구현될 수 있는 PC, 클라이언트 머신, 또는 서버와 같은 예시적 컴퓨터 시스템(1900)의 간략화된 블록 다이어그램이다. 컴퓨터 시스템(1900)은 프로세서(1905), 시스템 메모리(1911), 및 시스템 메모리(1911)를 포함하는 다양한 시스템 콤포넌트를 프로세서(1905)에 연결하는 시스템 버스(1914)를 포함한다. 시스템 버스(1914)는 메모리 버스 또는 메모리 제어기, 주변기기 버스, 또는 임의의 다양한 버스 아키텍처를 사용하는 로컬 버스를 포함하는 임의의 몇가지 타입의 버스 구조가 될 수 있다. 시스템 메모리(1911)는 ROM(read only memory)(1917) 및 RAM(random access memory)(1921)을 포함한다. 스타트업(startup) 중에 컴퓨터 시스템(1900) 내의 엘리먼트들 간에 정보의 전달을 돕는 베이직 루틴(basic routine)을 포함하는 베이직 입력/출력 시스템(basic input/output system; BIOS)(1925)은 ROM(1917)에 저장된다. 컴퓨터 시스템 (1900)은 내부적으로 배치된 하드 디스크(미도시)로부터의 판독 및 하드디스크로의 기록을 위한 하드 디스크 드라이브(1928), 착탈식 자기 디스크(1933) (예를 들어, 플로피 디스크 )로부터의 판독 및 착탈식 자기 디스크로의 기록을 위한 자기 디스크 드라이브(1930) 및 CD(compact disc), DVD(digital versatile disc) 또는 다른 광 매체와 같은 착탈식 광학 디스크(1943)로부터의 판독 및 착탈식 광학 디스크로의 기록을 위한 광학 디스크 드라이브(1938)를 더 포함할 수 있다. 하드 디스크 드라이브(1928), 자기 디스크 드라이브(1930), 및 광학 디스크 드라이브(1938)는 각각 하드 디스크 드라이브 인터페이스(1946), 자기 디스크 드라이브 인터페이스(1949),및 광학 디스크 드라이브 인터페이스(1952)에 의해 시스템 버스(1914)에 접속된다. 드라이브 및 이와 연관된 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조(data structure), 프로그램 모듈, 및 컴퓨터 시스템(1900)을 위한 다른 데이터의 비휘발성 저장을 제공한다. 이러한 예시적인 실시예가 하드 디스크, 착탈식 자기 디스크(1933), 및 착탈식 광학 디스크(1943)를 포함하지만, 자기 카세트, 플래시 메모리 카드, 디지털 비디오 디스크, 데이터 카트리지, 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM) 등의 컴퓨터에 의해 액세스 가능한 데이터를 저장할 수 있는 다른 타입의 컴퓨터 판독가능 저장 매체 도 본 개시의 디지털 어시스턴트 확장성의 일부 애플리케이션에서 사용될 수 있다. 또한, 여기에 사용된 바와 같이, 컴퓨터 판독가능 저장 매체라는 용어는 매체 타입(예를 들어, 하나 이상의 자기 디스크, 하나 이상의 CD 등)의 하나 이상의 인스턴스를 포함한다. 본 명세서 및 청구항의 목적을 위해, "컴퓨터 판독 가능 저장 매체" 및 그 변형은 파(wave), 신호 및/또는 다른 일시적 및/또는 무형의 통신 매체를 포함하지 않는다.
운영체제(1955), 하나 이상의 애플리케이션 프로그램(1957), 다른 프로그램 모듈(1960), 및 프로그램 데이터(1963)를 포함하는 다수의 프로그램 모듈은 하드 디스크, 자기 디스크(1933), 광학 디스크(1943), ROM(1917), 또는 RAM(1921)에 저장될 수 있다. 사용자는 키보드(1966)와 같은 입력 디바이스 및 마우스와 같은 포인팅 디바이스(1968)를 통해 컴퓨터 시스템(1900)에 명령 및 정보를 입력할(enter) 수 있다. 다른 입력 디바이스(미도시)는 마이크, 조이스틱, 게임 패드, 위성 접시, 스캐너, 트랙볼, 터치 패드, 터치 스크린, 터치 감지 디바이스, 음성 명령 모듈 또는 디바이스, 사용자 모션 또는 사용자 제스처 캡처 디바이스를 포함할 수 있다. 이들 및 다른 입력 디바이스는 주로 시스템 버스(1914)에 연결되는 직렬 포트 인터페이스(1971)를 통해 프로세서(1905)에 접속되지만, 병렬 포트, 게임 포트, 또는 USB(universal serial bus)와 같은 다른 인터페이스에 의해 접속될 수 있다. 모니터(1973) 또는 다른 타입의 디스플레이 디바이스는 또한 비디오 어뎁터(1975)와 같은 인터페이스를 통해 시스템 버스(1914)에 접속된다. 모니터(1973)에 추가하여, 퍼스널 컴퓨터는 통상적으로 스피커 및 프린터와 같은 다른 주변 출력 디바이스(미도시)를 포함한다. 도 19에 도시된 예시적 실시예는 또한, 호스트 어뎁터(1978), SCSI(Small Computer System Interface) 버스(1983), 및 SCSI 버스(1983)에 접속된 외부 저장 디바이스(1976)를 포함한다.
컴퓨터 시스템(1900)은 원격 컴퓨터(1988)와 같은 하나 이상의 원격 컴퓨터에 대한 논리적 접속을 사용하여 네트워킹된 환경에서 동작 가능하다. 원격 컴퓨터(1988)는 다른 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 디바이스(peer device), 또는 다른 공통 네트워크 노드로서 선택될 수 있고, 도 19에 단일의 대표적인 원격 메모리/저장 디바이스(1990)만이 도시되어 있지만, 컴퓨터 시스템(1900)에 관하여 상기한 엘리먼트 중 다수 또는 모두를 포함할 수 있다. 도 19에 도시된 논리적 접속은 LAN(local area network)(1993) 및 WAN(wide area network)(1995)을 포함한다. 이러한 네트워킹 환경은 예를 들어 오피스(office), 전사적(enterprise-wide) 컴퓨터 네트워크, 인트라넷, 및 인터넷에서 아주 흔하게 사용된다.
LAN 네트워킹 환경에서의 사용시, 컴퓨터 시스템(1900)은 네트워크 인터페이스 또는 어뎁터(1996)를 통해 근거리 통신망(1993)에 접속된다. WAN 네트워킹 환경에서의 사용시, 컴퓨터 시스템(1900)은 통상적으로 인터넷과 같은 광역 네트워크(1995)를 통한 통신을 확립하기 위해 브로드밴드 모뎀(1998), 네트워크 게이트웨이, 또는 다른 수단을 포함한다. 내부 또는 외부가 될 수 있는 브로드밴드 모뎀(1998)은 직렬 포트 인터페이스(1971)를 통해 시스템 버스(1914)에 접속된다. 네트워킹된 환경에서, 컴퓨터 시스템(1900) 또는 그 일부에 관련된 프로그램 모듈은 원격 메모리 저장 디바이스(1990)에 저장될 수 있다. 도 19에 도시된 네트워크 접속은 예시적인 것이며, 본 개시의 디지털 어시스턴트 확장성의 애플리케이션의 특정 요구사항에 따라 컴퓨터들 사이의 통신 링크를 확립하기 위한 다른 수단이 사용될 수 있다.
도 20은 본 개시의 디지털 어시스턴트 확장성을 제공하기 위해 여기에 개시된 다수의 콤포넌트를 실행할 수 있는 디바이스를 위한 예시적 아키텍처(2000)를 도시한다. 따라서, 도 20에 예시된 아키텍처(2000)는 서버 컴퓨터, 모바일 폰, PDA, 스마트폰, 데스크탑 컴퓨터, 넷북 컴퓨터, 태블릿 컴퓨터, GPS 디바이스, 게이밍 콘솔, 및/또는 랩탑 컴퓨터를 위해 구성될 수 있는 아키텍처를 도시한다. 아키텍처(2000)는 여기에 제시된 콤포넌트들의 임의의 양태를 실행하기 위해 사용될 수 있다.
도 20에 예시된 아키텍처(2000)는 CPU(Central Processing Unit)(2002), RAM(2006) 및 ROM(2008)을 포함하는 시스템 메모리(2004), 및 CPU(2002)에 메모리(2004)를 연결하는 시스템 버스(2010)를 포함한다. 스타트업(startup) 중에 아키텍처(2000) 내의 엘리먼트들 간에 정보의 전달을 돕는 베이직 루틴(basic routine)을 포함하는 베이직 입력/출력 시스템은 ROM(2008)에 저장된다. 아키텍처(2000)는 애플리케이션, 파일 시스템, 및 운영체제를 구현하기 위해 사용되는 소프트웨어 코드 또는 다른 컴퓨터 실행가능 코드를 저장하기 위한 대용량 저장 디바이스(mass storage device)(2012)를 더 포함한다.
대용량 저장 디바이스(2012)는 버스(2010)에 접속된 대용량 저장 제어기(미도시)를 통해 CPU(2002)에 접속된다.대용량 저장 디바이스(2012) 및 이와 연관된 컴퓨터 판독가능 저장 매체는 아키텍처(2000)를 위한 비휘발성 스토리지를 제공한다.
여기에 포함된 컴퓨터 판독가능 저장 매체의 설명은 하드 디스크 또는 CD-ROM 드라이브와 같은 대용량 저장 디바이스를 나타내지만, 컴퓨터 판독가능 저장 매체는 아키텍처(2000)에 의해 액세스될 수 있는 임의의 이용가능한 저장 매체가 될 수 있다는 것이 통상의 기술자에 의해 이해되어야 한다.
한정이 아닌 예시로서, 컴퓨터 판독가능 저장 매체는, 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체를 포함할 수 있다. 예를 들어, 컴퓨터 판독가능 매체는, 이에 한정되지 않지만, RAM, ROM, EPROM(erasable programmable read only memory), EEPROM(electrically erasable programmable read only memory), 플래시 메모리 또는 다른 고체 상태 메모리 기술, CD-ROM, DVD, HD-DVD(High Definition DVD), 블루-레이(Blu-ray), 또는 다른 광학 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스, 또는 원하는 정보를 저장하는데 사용될 수 있고, 아키텍처(2000)에 의해 액세스 가능한 임의의 다른 매체를 포함한다.
다양한 실시형태에 따르면, 아키텍처(2000)는 네트워크를 통한 원격 컴퓨터로의 논리적 접속을 사용하여 네트워킹된 환경에서 동작 가능하다. 아키텍처(2000)는 버스(2010)에 접속된 네트워크 인터페이스 유닛(2016)을 통해 네트워크에 접속할 수 있다. 네트워크 인터페이스 유닛(2016)은 또한 다른 타입의 네트워크 및 원격 컴퓨터 시스템에 접속하기 위해 사용될 수 있다는 것이 이해되어야 한다. 아키텍처(2000)는 키보드, 마우스, 또는 전자 스타일러스(도 20에 도시되지 않음)를 포함하는 다수의 다른 디바이스로부터의 입력을 수신하고 프로세싱하기 위한 입력/출력 제어기(2018)를 포함할 수도 있다. 마찬가지로, 입력/출력 제어기(2018)는 디스플레이 스크린, 프린터, 또는 다른 타입의 출력 디바이스(도 20에 도시되지 않음)에 출력을 제공할 수 있다.
여기에 개시된 소프트웨어 콤포넌트는, CPU(2002)에 로딩되어 실행될 때, CPU(2002) 및 전체 아키텍처(2000)를 범용 컴퓨팅 시스템으로부터 여기에 제시된 기능을 가능하게 하기 위해 맞춤 제작된(customized) 특수 목적 컴퓨팅 시스템으로 변환할 수 있다는 것이 인식되어야 한다. CPU(2002)는 개별적으로 또는 집합적으로 임의의 수의 상태를 가정할 수 있는 임의의 수의 트랜지스터 또는 다른 개별 회로 엘리먼트(discrete circuit element)로 구성될 수 있다. 특히, CPU(2002)는, 여기에 개시된 소프트웨어 모듈 내에 포함된 실행가능 명령어에 응답하여, 유한 상태 기계(finite-state machine)로서 동작할 수 있다. 이들 컴퓨터 실행가능 명령어는 CPU(2002)가 상태들 사이에서 어떻게 이행하는지(transition)를 특정함(specifying)으로써 CPU(2002)를 변환할 수 있고, 이에 따라 CPU(2002)를 구성하는 트랜지스터 또는 다른 개별 하드웨어 엘리먼트를 변환할 수 있다.
여기에 제시된 소프트웨어 모듈을 엔코딩하는 것은 여기에 제시된 컴퓨터 판독가능 저장 매체의 물리적 구조를 변환할 수도 있다. 물리적 구조의 특정 변환은 본 개시의 상이한 구현예에서의 다수의 요인들에 따를 수 있다. 이러한 요인들의 예는, 컴퓨터 판독가능 저장 매체가 1차 또는 2차 스토리지 중 어느 것으로 특징지어지는지 등의 컴퓨터 판독가능 저장 매체를 구현하기 위해 사용되는 기술을 포함할 수 있지만 이것에 한정되지 않는다. 예를 들어, 컴퓨터 판독가능 저장 매체가 반도체 기반 메모리로서 구현되면, 여기에 개시된 소프트웨어는 반도체 메모리의 물리적 상태를 변환함으로써 컴퓨터 판독가능 저장 매체 상에서 인코딩될 수 있다. 예를 들어, 소프트웨어는 반도체 메모리를 구성하는 트랜지스터, 커패시터, 또는 다른 개별 회로 엘리먼트의 상태를 변환할 수 있다. 소프트웨어는 데이터를 저장하기 위해 이러한 콤포넌트의 물리적 상태를 변환할 수도 있다.
다른 실시예에 따르면, 여기에 개시된 컴퓨터 판독가능 저장 매체는 자기 또는 광학 기술을 사용하여 구현될 수 있다. 이러한 구현예에서, 여기에 제시된 소프트웨어는, 소프트웨어가 인코딩될 때, 자기 또는 광학 매체의 물리적 상태를 변환할 수 있다. 이러한 변환은 주어진 자기 매체 내의 특정 위치의 자기 특성을 바꾸는(altering) 단계를 포함할 수 있다. 이러한 변환은 또한 그 위치에서의 광학적 특성을 변경하기 위해 주어진 광학 매체 내의 특정 위치의 물리적 피쳐 또는 특성을 바꾸는 단계를 포함할 수 있다. 본 논의를 가능하게 하기 위해서만 제공되는 상기 실시예에 의해 본 개시의 사상 및 범위로부터 벗어나지 않는 물리적 매체의 다른 변환이 가능하다.
상기에 비추어 볼 때, 여기에 제시된 소프트웨어 콤포넌트를 저장하고 실행하기 위해 많은 타입의 물리적 변환이 아키텍처(2000)에서 발생한다는 것이 인식되어야 한다. 또한, 아키텍처(2000)는 핸드헬드 컴퓨터, 임베디드(embedded) 컴퓨터 시스템, 스마트폰, PDA 및 통상의 기술자에게 알려진 다른 유형의 컴퓨팅 디바이스를 포함하는 다른 타입의 컴퓨팅 디바이스를 포함할 수 있다는 것이 인식되어야 한다. 아키텍처(2000)는 도 20에 도시된 모든 콤포넌트를 포함하지 않을 수도 있고, 도 20에 명시적으로 도시되지 않은 다른 콤포넌트를 포함할 수도 있고, 또는 도 20에 도시된 것과 완전히 다른 아키텍처를 이용할 수도 있다는 것이 고려된다.
도 21은 2102에서 일반적으로 도시된 선택적 다양한 하드웨어 및 소프트웨어 콤포넌트를 포함하는 모바일 폰 또는 스마트폰 등의 예시적 디바이스(110)의 기능적 블록 다이어그램이다. 유형의 디바이스에서의 임의의 콤포넌트(2102)는, 예시의 편의를 위해 모든 접속이 도시되지 않았지만, 임의의 다른 콤포넌트와 통신할 수 있다. 모바일 디바이스는 임의의 다수의 컴퓨팅 디바이스(예를 들어, 셀 폰, 스마트폰, 핸드헬드 컴퓨터, PDA 등)가 될 수 있고, 셀룰러 또는 위성 네트워크와 같은 하나 이상의 모바일 통신 네트워크(2104)와 무선 양방향 통신(wireless two-way communication)을 가능하게 할 수 있다.
예시된 디바이스(110)는 신호 코딩, 데이터 프로세싱, 입력/출력 프로세싱, 전원 제어, 및/또는 다른 기능과 같은 작업을 수행하기 위해, 제어기 또는 프로세서(2110)(예를 들어, 신호 프로세서, 마이크로프로세서, 마이크로컨트롤러, ASIC(Application Specific Integrated Circuit), 또는 다른 제어 및 프로세싱 논리 회로)를 포함할 수 있다. 운영체제(2112)는 전원 상태, 어보브-락(above-lock) 상태 및 빌로우-락(below-lock) 상태를 포함하여 콤포넌트(2102)의 할당(allocation) 및 사용을 제어할 수 있으며, 하나 이상의 애플리케이션 프로그램(2114)에 대한 지원을 제공할 수 있다. 애플리케이션 프로그램은 공통 모바일 컴퓨팅 애플리케이션(예를 들어, 이미지 캡처 애플리케이션, 이메일 애플리케이션, 달력, 연락처 매니저, 웹 브라우저, 메시징 애플리케이션), 또는 임의의 다른 컴퓨팅 애플리케이션을 포함할 수 있다.
예시된 디바이스(110)는 메모리(2120)를 포함할 수 있다. 메모리(2120)는 비착탈식 메모리(2122) 및/또는 착탈식 메모리(2124)를 포함할 수 있다. 비착탈식 메모리(2122)는 RAM, ROM, 플래시 메모리, 하드 디스크, 또는 다른 잘 알려진 메모리 저장 기술을 포함할 수 있다. 착탈식 메모리(2124)는, 플래시 메모리나 GSM(Global System for Mobile communications) 시스템에서 잘 알려진 SIM(Subscriber Identity Module) 카드, 또는 "스마트 카드"와 같은 다른 잘 알려진 메모리 저장 기술을 포함할 수 있다. 운영체제(2112) 및 애플리케이션 프로그램(2114)을 실행하기 위한 데이터 및/또는 코드를 저장하기 위해 메모리(2120)가 사용될 수 있다. 예시적 데이터는, 하나 이상의 유선 또는 무선 네트워크를 통해 하나 이상의 네트워크 서버 또는 다른 디바이스로 전송되고 그리고/또는 하나 이상의 네트워크 서버 또는 다른 디바이스로부터 수신되는 웹 페이지, 텍스트(text), 이미지, 사운드 파일, 비디오 데이터, 또는 다른 데이터 세트를 포함할 수 있다.
메모리(2120)는, 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터 등의 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 하나 이상의 컴퓨터 판독가능 저장 매체로서 구성되거나, 하나 이상의 컴퓨터 판독가능 저장 매체를 포함할 수도 있다. 예를 들어, 컴퓨터 판독가능 매체는, 이것에 한정되지 않지만, 원하는 정보를 저장하는데 사용될 수 있고 디바이스(110)에 의해 액세스될 수 있는, RAM, ROM, EPROM, EEPROM, 플래시 메모리나 다른 고체 상태 메모리 기술, CD-ROM(compact-disc ROM), DVD(Digital Versatile Disc), HD-DVD(High Definition DVD), 블루레이(Blu-ray), 또는 다른 광학 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스, 또는 임의의 다른 매체를 포함한다.
메모리(2120)는 IMSI(International Mobile Subscriber Identity)와 같은 가입자 식별자, 및 IMEI(International Mobile Equipment Identifier)와 같은 장비 식별자를 저장하는데 사용될 수 있다. 이러한 식별자는 사용자 및 장비를 식별하기 위해 네트워크 서버로 송신될 수 있다. 디바이스(110)는, 터치스크린(2132); 음성 인식을 위한 음성 입력, 음성 명령 등의 구현을 위한 마이크(2134); 카메라(2136); 물리적 키보드(2138); 트랙볼(2140); 및/또는 근접 센서(2142)와 같은 하나 이상의 입력 디바이스(2130); 및 스피커(2152) 및 하나 이상의 디스플레이(2154)와 같은 하나 이상의 출력 디바이스(2150)를 지원할 수 있다. 일부의 경우에, 제스처 인식을 사용하는 다른 입력 디바이스(미도시)가 사용될 수도 있다. 다른 가능한 출력 디바이스(미도시)는 압전기(piezoelectric) 또는 햅틱 출력 디바이스를 포함할 수 있다. 일부 디바이스는 하나보다 많은 입력/출력 기능을 제공할(serve) 수 있다. 예를 들어, 터치스크린(2132) 및 디스플레이(2154)는 단일 입력/출력 디바이스에 결합될 수 있다.
무선 모뎀(2160)은, 기술 분야에서 잘 이해되는 바와 같이, 안테나(미도시)에 연결될 수 있고, 프로세서(2110)와 외부 디바이스 사이의 양방향 통신을 지원할 수 있다. 모뎀(2160)은 일반적으로 도시되어 있으며 모바일 통신 네트워크(2104) 및/또는 다른 무선 기반 모뎀(예를 들어, 블루투스 (2164) 또는 Wi-Fi(2162))과 통신하기 위한 셀룰러 모뎀을 포함할 수 있다. 무선 모뎀(2160)은 통상적으로, 단일 셀룰러 네트워크 내에서, 셀룰러 네트워크 사이에서, 또는 디바이스와 PSTN(public switched telephone network) 사이에서의 데이터 및 음성 통신을 위한 GSM 네트워크와 같은 하나 이상의 셀룰러 네트워크와 통신하도록 구성된다.
디바이스는, 적어도 하나의 입력/출력 포트(2180), 전원(2182), GPS 수신기와 같은 위성 네비게이션 시스템 수신기(2184), 가속도계(2186), 자이로스코프(미도시), 및/또는 USB 포트, IEEE 1394(FireWire) 포트, 및/또는 RS-232 포트가 될 수 있는 물리적 커넥터(2190)를 더 포함할 수 있다. 임의의 콤포넌트가 삭제될 수 있고 다른 콤포넌트가 추가될 수 있기 때문에, 예시된 콤포넌트(2102)는 필수적이거나 모든 것을 포함하지는 않는다.
도 22는 멀티미디어 콘솔(1104)의 예시적인 기능적 블록 다이어그램이다. 멀티미디어 콘솔(1104)은 레벨 1 캐시(level 1 cache)(2202), 레벨 2 캐시(level 2 cache)(2204) 및 플래시 ROM(Read Only Memory)(2206)을 구비한 CPU(central processing unit)(2201)를 갖는다. 레벨 1 캐시(2202) 및 레벨 2 캐시(2204)는 일시적으로 데이터를 저장하고 이에 따라 메모리 액세스 사이클의 수를 감소시킴으로써 프로세싱 속도 및 처리량을 향상시킨다. CPU(2201)는 하나보다 많은 코어(core)로 구성될 수 있고, 이에 따라 추가적인 레벨 1 및 레벨 2 캐시(2202 및 2204)로 구성될 수 있다. 플래시 ROM(2206)은 멀티미디어 콘솔(1104)이 전원 ON일 때 부트 프로세스의 초기 단계(phase) 중에 로딩되는 실행가능 코드를 저장할 수 있다.
GPU(graphics processing unit)(2208) 및 비디오 인코더/비디오 코덱(coder/decoder; codec)(2214)는 고속 및 고해상도 그래픽 프로세싱을 위한 비디오 프로세싱 파이프라인을 형성한다. 버스를 통해 GPU(2208)로부터 비디오 인코더/비디오 코덱(2214)으로 데이터가 전달된다. 비디오 프로세싱 파이프라인은 텔레비젼 또는 다른 디스플레이로의 전송을 위해 A/V(audio/video) 포트(2240)로 데이터를 출력한다. 메모리 제어기(2210)는, RAM(이것에 한정되지 않음)과 같은 다수의 타입의 메모리(2212)에 프로세서가 액세스할 수 있게 하기 위해 GPU(2208)에 접속된다.
멀티미디어 콘솔(1104)은, I/O 제어기(2220), 시스템 관리 제어기(2222), 오디오 프로세싱 유닛(2223), 네트워크 인터페이스 제어기(2224), 제1 USB(Universal Serial Bus) 호스트 제어기(2226), 제2 USB 제어기(2228), 및 모듈(2218) 상에서 바람직하게 구현되는 프론트 패널 I/O 서브어셈블리(front panel I/O subassembly)(2230)를 포함한다. USB 제어기(2226 및 2228)는 주변기기 제어기((2242(1) 및 2242(2)), 무선 어뎁터(2248), 및 외부 메모리 디바이스(2246)(예를 들어, 플래시 메모리, 외부 CD/DVD ROM 드라이브, 착탈식 매체 등)를 위한 호스트(host)로서 기능한다(serve). 네트워크 인터페이스 제어기(2224) 및/또는 무선 어뎁터(2248)는 네트워크(예를 들어, 인터넷, 홈 네트워크 등)에 대한 액세스를 제공하고, 이더넷 카드, 모뎀, 블루투스 모듈, 케이블 모뎀 등을 포함하는 광범위한 다수의 유선 또는 무선 어뎁터 콤포넌트 중 임의의 것이 될 수 있다.
부트 프로세스 중에 로딩되는 애플리케이션 데이터를 저장하기 위해 시스템 메모리(2243)가 제공된다. DVD/CD 드라이브, 하드 드라이브, 또는 다른 착탈식 매체 드라이브 등을 포함할 수 있는 매체 드라이브(2244)가 제공된다. 매체 드라이브(2244)는 멀티미디어 콘솔(1104)에 대하여 외부 또는 외부가 될 수 있다. 애플리케이션 데이터는 멀티미디어 콘솔(1104)에 의해 실행, 재생 등을 위해 매체 드라이브(2244)를 통해 엑세스될 수 있다. 매체 드라이브(2244)는 Serial ATA 버스 또는 다른 고속 접속(예를 들어, IEEE 1394)과 같은 버스를 통해 I/O 제어기(2220)에 접속된다.
시스템 관리 제어기(2222)는 멀티미디어 콘솔(1104)의 이용 가능성을 보장하는 것과 관련된 다양한 서비스 기능을 제공한다. 오디오 프로세싱 유닛(2223) 및 오디오 코덱(2232)은 높은 충실도 및 스테레오 프로세싱으로 대응하는 오디오 프로세싱 파이프 라인을 형성한다. 오디오 데이터는 통신 링크를 통해 오디오 프로세싱 유닛(2223)과 오디오 코덱(2232) 사이에서 전달된다. 오디오 프로세싱 파이프라인은 오디오 기능을 가진 외부 오디오 플레이어 또는 다비읏에 의한 재생을 위해 A/V 포트(2240)로 데이터를 출력한다.
프론트 패널 I/O 서브어셈블리(2230)는 멀티미디어 콘솔(1104)의 외부 표면 상에 노출된 임의의 LED(light emitting diode) 또는 다른 인디케이터(indicator)뿐만 아니라 전원 버튼(2250) 및 이젝트 버튼(eject button)(2252)의 기능을 지원한다. 시스템 전원 모듈(2239)은 멀티미디어 콘솔(1104)의 콤포넌트에 전력을 제공한다. 팬(2238)은 멀티미디어 콘솔(1104) 내의 회로를 냉각시킨다.
멀티미디어 콘솔(1104) 내의 CPU(2201), GPU(2208), 메모리 제어기(2210), 및 다수의 다른 콤포넌트들은 직렬 및 병렬 버스, 메모리 버스, 주변기기 버스, 및 다수의 버스 아키텍처 중 임의의 것을 사용하는 프로세서나 논리 버스를 포함하는 하나 이상의 버스를 통해 상호접속된다. 예시로서, 이러한 아키텍처는 PCI(Peripheral Component Interconnect) 버스, PCI-Express 버스 등을 포함할 수 있다.
멀티미디어 콘솔(1104)이 전원 ON일 때, 애플리케이션 데이터는 시스템 메모리(2243)로부터 메모리(2212) 및/또는 캐시(2202 및 2204)로 로딩되고, CPU(2201) 상에서 실행될 수 있다. 멀티미디어 콘솔(1104) 상에 시용가능한 상이한 매체 타입으로 네비게이팅할 때, 애플리케이션은 일관된 사용자 경험을 제공하는 그래픽 사용자 인터페이스를 제시할 수 있다. 동작시에, 매체 드라이브(2244) 내에 포함된 애플리케이션 및/또는 다른 매체는, 멀티미디어 콘솔(1104)에 추가 기능을 제공하기 위해, 매체 드라이브(2244)로부터 론팅되거나 플레이될 수 있다.
멀티미디어 콘솔(1104)은 텔레비젼 또는 다른 디스플레이에 시스템을 간단히 접속함으로써 독립 시스템(standalone system)으로서 동작될 수 있다. 이 독립 모드에서, 멀티미디어 콘솔(1104)는 하나 이상의 사용자가 시스템과 상호작용하고, 영화를 보고, 음악을 청취하게 할 수 있다. 그러나, 네트워크 인터페이스 제어기(2224) 또는 무선 어댑터(2248)를 통해 이용가능한 브로드밴드 접속의 통합으로, 멀티미디어 콘솔(1104)은 또한 더 큰 네트워크 커뮤니티의 참여자로서 동작될 수 있다.
멀티미디어 콘솔(1104)이 전원 ON일 때, 설정된 양의 하드웨어 리소스가 멀티미디어 콘솔 운영체제에 의한 시스템 사용을 위해 예약된다. 이 리소스는 메모리의 예약(예를 들어, 16 MB), CPU 및 GPU 사이클(예를 들어, 5%), 네트워킹 대역폭(예를 들어, 8 kbps) 등을 포함할 수 있다. 이 리소스가 시스템 부트 시간에 예약되기 때문에, 예약된 리소스는 애플리케이션의 시점으로부터 존재하지 않는다.
특히, 메모리 예약은 론치 커널(launch kernel), 동시 시스템 애플리케이션, 및 드라이버를 포함하기에 충분히 큰 것이 바람직하다. 예약된 CPU 사용이 시스템 애플리케이션에 의해 사용되지 않는 경우, 유휴 스레드(idle thread)가 임의의 사용되지 않는 사이클을 소비할 수 있도록, CPU 에약은 일정한 것이 바람직하다.
GPU 예약과 관련하여, 시스템 애플리케이션(예를 들어, 팝업)에 의해 생성된 경량 메시지는 GPU 인터럽트를 사용하여 코드를 스케쥴링하여 팝업을 오버레이로 렌더링함으로써 표시된다. 오버레이에 필요한 메모리 양은 오버레이 영역 사이즈에 따라 달라지며 오버레이는 스크린 해상도로 조정하는 것이 바람직하다. 동시 시스템 애플리케이션에 의해 전체 사용자 인터페이스가 사용되는 경우에, 애플리케이션 해상도와 무관한 해상도를 사용하는 것이 바람직하다. 주파수를 변경하고 TV 재동기화를 필요로 하지 않도록 이 해상도를 설정하기 위해 스케일러(scaler)가 사용될 수 있다.
멀티미디어 콘솔(1104)이 부팅되고 시스템 리소스가 예약된 후, 동시 시스템 애플리케이션이 실행되어 시스템 기능을 제공한다. 시스템 기능은 위에서 설명한 예약된 시스템 리소스 내에서 실행되는 시스템 애플리케이션의 세트로 캡슐화된다. 운영체제 커널은 시스템 애플리케이션 스레드 대(versus) 게이밍 애플리케이션 스레드인 스레드를 식별한다. 시스템 애플리케이션은 바람직하게는 애플리케이션에 일관된 시스템 리소스 뷰를 제공하기 위해 미리 결정된 시간 및 간격으로 CPU(2201)상에서 실행되도록 스케줄링된다. 스케줄링은 콘솔에서 실행중인 게이밍 애플리케이션의 캐시 중단을 최소화하는 것이다.
동시 시스템 애플리케이션이 오디오를 필요로 할 때, 오디오 프로세싱은 시간 감도로 인해 게이밍 애플리케이션에 비동기적으로 스케줄링된다. 멀티미디어 콘솔 애플리케이션 관리자(아래에서 설명됨)는 시스템 애플리케이션이 활성일 때 게이밍 애플리케이션 오디오 레벨(예를 들어, 뮤트, 감쇠)을 제어한다.
입력 디바이스(예를 들어, 제어기(2242 (1) 및 2242 (2))는 게이밍 애플리케이션 및 시스템 애플리케이션에 의해 공유된다. 입력 디바이스는 리소스 예약되지 않지만, 시스템 애플리케이션과 게이밍 애플리케이션 사이에서 스위칭되어, 각각 디바이스의 포커스(focus)를 갖게한다. 애플리케이션 관리자는 바람직하게는 게이밍 애플리케이션의 지식에 대한 지식없이 입력 스트림의 스위칭을 제어하고, 드라이버는 포커스 스위치에 관한 상태 정보를 유지한다.
써드 파티 애플리케이션에 대한 본 개시의 디지털 어시스턴트 확장성의 다양한 예시적인 실시형태는 이제 모든 실시형태의 완전한 리스트가 아닌 예시로서 제공된다. 실시예는 하나 이상의 애플리케이션에 대한 다비이스 상의 디지털 어시스턴트 동작의 확장성을 구현하는 방법을 포함하고, 상기 방법은, 상기 애플리케이션 중 각각의 애플리케이션과 연관된 확장에 의해 노출되는 애플리케이션-특유 서비스와 상호동작하기 위한 인터페이스를 구성하는 단계; 디바이스 사용자로부터 입력을 수신하는 단계; 핸들링(handling)을 위해 확장에 상기 다비이스 사용자 입력을 맵핑하는 단계; 및 상기 디바이스 사용자 입력에 응답하여 상기 확장으로부터 애플리케이션-특유 서비스를 수신하는 단계를 포함한다.
다른 실시예에서, 상기 방법은, 상기 애플리케이션을 통한 사용자 경험이 원래의 디지털 어시스턴트 사용자 경험으로서 상기 다비이스 사용자에게 노출되어, 상기 애플리케이션-특유 서비스가 상기 디지털 어시스턴트에 이용가능한 답변의 데이터베이스의 사이즈를 증가시도록, 상기 애플리케이션-특유 서비스를 렌더링하는 단계를 더 포함한다. 다른 실시예에서, 상기 방법은, 상기 맵핑을 수행할 때 상황 데이터(contextual data)를 사용하는 단계를 더 포함한다. 다른 실시예에서, 상기 상황 데이터는, 시간/날짜, 상기 사용자 또는 디바이스의 위치, 언어, 일정, 상기 디바이스에 설치된 애플리케이션, 사용자 환경설정, 사용자 행동, 사용자 활동, 저장된 연락처, 호출 이력, 메시징 이력, 브라우징 이력, 디바이스 타입, 디바이스 기능(capability), 또는 통신 네트워크 타입 중 하나 이상을 포함한다. 다른 실시예에서, 상기 방법은, 상기 애플리케이션에 확장성 서비스를 제공하는 단계를 더 포함하고, 상기 확장성 서비스는 언어 서비스, 어휘 서비스, 사용자 환경설정 서비스, 또는 콘텍스트 서비스(context service) 중 하나 이상을 포함한다. 다른 실시예에서, 상기 방법은, 원격 서비스 제공자로부터 상기 확장성 서비스의 일부를 수신하는 단계를 더 포함한다. 다른 실시예에서, 상기 방법은, 상기 원격 서비스 제공자와 상호작용하도록 구성된 확장성 클라이언트와의 인터페이스를 제공하는 단계를 더 포함한다. 다른 실시예에서, 상기 방법은, 상기 애플리케이션 확장에 포함된 매니페스트(manifest)로부터 애플리케이션-특유 리소스를 로딩하는 단계를 더 포함하고, 상기 애플리케이션-특유 리소스는 적어도 상기 디지털 어시스턴트로 등록되는 키보드를 포함한다. 다른 실시예에서, 상기 애플리케이션 확장은 상기 디지털 어시스턴트를 사용하는 사용자 경험 또는 사용자 인터페이스를 구현하기 위한 로직(logic)을 더 포함한다. 다른 실시예에서, 상기 방법은, 연락처 정보를 공유하는 것, 저장된 연락처를 공유하는 것, 미팅을 스케줄링하는 것, 사용자의 달력을 보는 것, 리마인더를 스케줄링하는 것, 호출하는 것, 디바이스를 동작시키는 것, 게임을 플레이하는 것, 구매하는 것, 노트하는 것, 알람이나 기상 리마인더를 스케줄링하는 것, 메시지를 전송하는 것, 업데이트를 위한 소셜 미디어를 체크하는 것, 웹사이트를 스크랩하는 것, 검색 서비스와 상호작용하는 것, 파일을 공유 또는 보여주는 것, 웹사이트로의 링크를 전송하는 것, 또는 리소스로의 링크를 전송하는 것 중 적어도 하나를 수행하기 위한 음성 입력, 제스처 입력, 또는 수동 입력에 응답 가능하게 상기 디지털 어시스턴트를 구성하는 단계를 더 포함한다.
또 다른 실시예는 디바이스를 포함하고, 상기 디바이스는, 하나 이상의 프로세서; 그래픽과 오디오를 사용하는 상기 디바이스의 사용자와의 상호작용을 위한 사용자 인터페이스(UI: user interface); 및 상기 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 애플리케이션과 연관된 코드 및 컴퓨터 판독가능 명령어를 저장하는 메모리 디바이스를 포함하고, 상기 하나 이상의 프로세서는, 사용자 행동 및 상기 디바이스와의 상호작용을 모니터링함으로써 디바이스 사용자에 대한 상황 인식을 유지하기 위해 상기 디바이스 상에 디지털 어시스턴트를 노출시키는 단계로서, 상기 디지털 어시스턴트는 또한 상기 UI를 통해 음성 상호작용을 사용하여 상기 디바이스 사용자와 상호작용하는 것인, 상기 디바이스 상에 디지털 어시스턴트를 노출시키는 단계; 상기 UI를 통해 상기 디바이스 사용자로부터 입력을 수신하는 단계; 상기 상황 인식을 사용하여 핸들링을 위한 애플리케이션에 대한 확장으로 입력을 전달하는 단계로서, 상기 애플리케이션 확장은 상기 애플리케이션으로부터 상기 디지털 어시스턴트에 의해 렌더링가능한 사용자 경험으로 서비스룰 전달하도록 구성되는 것인, 상기 핸들링을 위한 애플리케이션에 대한 확장으로 입력을 전달하는 단계; 및 상기 UI를 통해 상기 디바이스 사용자로 상기 서비스를 렌더링하기 위해 상기 디지털 어시스턴트를 동작시키는 단계를 포함하는 방법을 수행한다.
다른 실시예에서, 상기 디바이스는, 상기 애플리케이션 확장에 하나 이상의 확장성 서비스를 노출시키는 단계를 더 포함한다. 다른 실시예에서, 상기 디바이스는, 상기 애플리케이션 확장이 매니페스트로부터 실행을 위한 실행시간 환경으로 애플리케이션-특유 리소스를 로딩하게 하는 단계를 더 포함한다. 다른 실시예에서, 상기 애플리케이션 확장은 이벤트 핸들러(event handler)를 포함한다. 다른 실시예에서, 상기 애플리케이션 확장은 스크립트(script) 또는 프로그래밍 콘스트럭트(programming construct) 중 하나를 포함하는 로직을 포함한다. 다른 실시예에서, 상기 디바이스는 상기 애플리케이션 확장을 사용하여 상기 디지털 어시스턴트에 상기 애플리케이션과 연관된 하나 이상의 데이터베이스를 노출시키는 단계를 더 포함한다.
또 다른 실시예는 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리 디바이스를 포함하고, 상기 명령어는 컴퓨터 서버에 배치된 하나 이상의 프로세서에 의한 실행시에, 로컬 디바이스 상의 디지털 어시스턴트 확장성 클라이언트와 상호동작하는 단계로서, 상기 디지털 어시스턴스 확장성 클라이언트는 상기 디바이스 상에서 실행가능한 하나 이상의 애플리케이션 확장으로 API(application programming interface)를 노출시키며, 각각의 상기 애플리케이션 확장은 각각의 애플리케이션으로부터 상기 디지털 어시스턴트에 의해 렌더링가능한 사용자 경험으로 서비스를 전달하도록 구성되는 것인, 상기 디지털 어시스턴트 확장성 클라이언트와 상호동작하는 단계; i) 상기 로컬 디바이스 상에 사용자 경험을 렌더링할 때 애플리케이션이 하나 이상의 상이한 언어를 사용하게 하는 언어 서비스, ii) 상기 사용자 경험을 렌더링할 때 애플리케이션이 알려지지 않은 단어 또는 구문을 핸들링하게 하는 어휘 서비스, iii) 애플리케이션이 상기 디지털 어시스턴트에 의해 유지되는 사용자 환경설정을 채택하게 하는 사용자 환경설정 서비스, 또는 iv) 애플리케이션이 서비스 전달시에 상황 인식을 이용하게 하는 콘텍스트 서비스 중 적어도 하나를 포함하는 디지털 어시스턴트 확장성 서비스를 유지하는 단계; 및 상기 로컬 디바이스 상의 상기 디지털 어시스턴트 확장성 클라이언트에 의해 노출되는 상기 API를 통해 상기 하나 이상의 애플리케이션 확장에 상기 디지털 어시스턴트 확장성 서비스를 제공하는 단계를 포함하는 방법을 수행한다.
다른 실시예에서, 상기 디지털 어시스턴트 확장성 서비스 및 디지털 어시스턴트 확장성 클라이언트는 원래의 디지털 어시스턴트 경험으로서 모든 상기 애플리케이션에 걸쳐 상기 로컬 디바이스 상에서 렌더링가능한 사용자 경험을 지원하는 플랫폼(platform)을 제공한다. 다른 실시에에서, 상기 애플리케이션 확장은 실행시간 환경으로 로딩되는 매니페스트로 기록된(written) 애플리케이션-특유 리소스를 포함한다. 다른 실시예에서, 상기 애플리케이션 확장은 써드 파티 개발자에 의해 작성된다(authored).
상기 설명에 기초하여, 디지털 어시스턴트 확장에 대한 기술이 여기에 개시되었음이 인식되어야 한다. 여기에 제공된 주제(subject matter)가 컴퓨터 구조적 피쳐(feature), 방법론적 및 변형 적 동작, 특정 컴퓨팅 기계, 및 컴퓨터 판독가능 저장 매체에 특유한 언어로 기술되었지만, 첨부된 청구항에 정의된 발명은 여기에 개시된 특유의 피쳐, 동작, 또는 매체에 한정될 필요가 없다는 것이 이해되어야 한다. 대신, 상기 특유의 피쳐 및 동작은 특허청구범위를 구현하는 예시적 형태로서 개시된다.
상기 주제는 한정이 아닌 예시만을 위해 제공된다. 이하의 청구 범위에서 설명되는 본 발명의 진정한 사상 및 범위를 벗어나지 않고, 도시되고 설명된 예시적인 실시형태 및 애플리케이션을 따르지 않는 여기에 기재된 주제에 대한 다양한 수정 및 변경이 이루어질 수 있다.

Claims (15)

  1. 하나 이상의 애플리케이션에 대한 다비이스 상의 디지털 어시스턴트 동작의 확장성을 구현하는 방법에 있어서,
    상기 애플리케이션 중 각각의 애플리케이션과 연관된 확장에 의해 노출되는 애플리케이션-특유 서비스와 상호동작하기 위한 인터페이스를 구성하는 단계;
    디바이스 사용자로부터 입력을 수신하는 단계;
    핸들링(handling)을 위해 확장에 상기 다비이스 사용자 입력을 맵핑하는 단계; 및
    상기 디바이스 사용자 입력에 응답하여 상기 확장으로부터 애플리케이션-특유 서비스를 수신하는 단계
    를 포함하는, 하나 이상의 애플리케이션에 대한 다비이스 상의 디지털 어시스턴트 동작의 확장성을 구현하는 방법.
  2. 제1항에 있어서,
    상기 애플리케이션을 통한 사용자 경험이 원래의 디지털 어시스턴트 사용자 경험으로서 상기 다비이스 사용자에게 노출되어, 상기 애플리케이션-특유 서비스가 상기 디지털 어시스턴트에 이용가능한 답변의 데이터베이스의 사이즈를 증가시도록, 상기 애플리케이션-특유 서비스를 렌더링하는 단계를 더 포함하는, 하나 이상의 애플리케이션에 대한 다비이스 상의 디지털 어시스턴트 동작의 확장성을 구현하는 방법.
  3. 제1항에 있어서,
    상기 맵핑을 수행할 때 상황 데이터(contextual data)를 사용하는 단계를 더 포함하는, 하나 이상의 애플리케이션에 대한 다비이스 상의 디지털 어시스턴트 동작의 확장성을 구현하는 방법.
  4. 제3항에 있어서,
    상기 상황 데이터는, 시간/날짜, 상기 사용자 또는 디바이스의 위치, 언어, 일정, 상기 디바이스에 설치된 애플리케이션, 사용자 환경설정, 사용자 행동, 사용자 활동, 저장된 연락처, 호출 이력, 메시징 이력, 브라우징 이력, 디바이스 타입, 디바이스 기능(device capability), 또는 통신 네트워크 타입 중 하나 이상을 포함하는 것인, 하나 이상의 애플리케이션에 대한 다비이스 상의 디지털 어시스턴트 동작의 확장성을 구현하는 방법.
  5. 제1항에 있어서,
    상기 애플리케이션에 확장성 서비스를 제공하는 단계를 더 포함하고,
    상기 확장성 서비스는 언어 서비스, 어휘 서비스, 사용자 환경설정 서비스, 또는 콘텍스트 서비스(context service) 중 하나 이상을 포함하는 것인, 하나 이상의 애플리케이션에 대한 다비이스 상의 디지털 어시스턴트 동작의 확장성을 구현하는 방법.
  6. 제5항에 있어서,
    원격 서비스 제공자로부터 상기 확장성 서비스의 일부를 수신하는 단계를 더 포함하는, 하나 이상의 애플리케이션에 대한 다비이스 상의 디지털 어시스턴트 동작의 확장성을 구현하는 방법.
  7. 제6항에 있어서,
    상기 원격 서비스 제공자와 상호작용하도록 구성된 확장성 클라이언트와의 인터페이스를 제공하는 단계를 더 포함하는, 하나 이상의 애플리케이션에 대한 다비이스 상의 디지털 어시스턴트 동작의 확장성을 구현하는 방법.
  8. 제1항에 있어서,
    상기 애플리케이션 확장에 포함된 매니페스트(manifest)로부터 애플리케이션-특유 리소스를 로딩하는 단계를 더 포함하고,
    상기 애플리케이션-특유 리소스는 적어도 상기 디지털 어시스턴트로 등록되는 키워드를 포함하는 것인, 하나 이상의 애플리케이션에 대한 다비이스 상의 디지털 어시스턴트 동작의 확장성을 구현하는 방법.
  9. 제1항에 있어서,
    상기 애플리케이션 확장은 상기 디지털 어시스턴트를 사용하는 사용자 경험 또는 사용자 인터페이스를 구현하기 위한 로직(logic)을 더 포함하는 것인, 하나 이상의 애플리케이션에 대한 다비이스 상의 디지털 어시스턴트 동작의 확장성을 구현하는 방법.
  10. 제1항에 있어서,
    연락처 정보를 공유하는 것, 저장된 연락처를 공유하는 것, 미팅을 스케줄링하는 것, 사용자의 달력을 보는 것, 리마인더를 스케줄링하는 것, 호출하는 것, 디바이스를 동작시키는 것, 게임을 플레이하는 것, 구매하는 것, 노트하는 것, 알람이나 기상 리마인더를 스케줄링하는 것, 메시지를 전송하는 것, 업데이트를 위한 소셜 미디어를 체크하는 것, 웹사이트를 스크랩하는 것, 검색 서비스와 상호작용하는 것, 파일을 공유 또는 보여주는 것, 웹사이트로의 링크를 전송하는 것, 또는 리소스로의 링크를 전송하는 것 중 적어도 하나를 수행하기 위한 음성 입력, 제스처 입력, 또는 수동 입력에 응답 가능하게 상기 디지털 어시스턴트를 구성하는 단계를 더 포함하는, 하나 이상의 애플리케이션에 대한 다비이스 상의 디지털 어시스턴트 동작의 확장성을 구현하는 방법.
  11. 디바이스에 있어서,
    하나 이상의 프로세서;
    그래픽과 오디오를 사용하는 상기 디바이스의 사용자와의 상호작용을 위한 사용자 인터페이스(UI: user interface); 및
    상기 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 애플리케이션과 연관된 코드 및 컴퓨터 판독가능 명령어를 저장하는 메모리 디바이스
    를 포함하고,
    상기 하나 이상의 프로세서는,
    사용자 행동 및 상기 디바이스와의 상호작용을 모니터링함으로써 디바이스 사용자에 대한 상황 인식을 유지하기 위해 상기 디바이스 상에 디지털 어시스턴트를 노출시키는 단계로서, 상기 디지털 어시스턴트는 또한 상기 UI를 통해 음성 상호작용을 사용하여 상기 디바이스 사용자와 상호작용하는 것인, 상기 디바이스 상에 디지털 어시스턴트를 노출시키는 단계;
    상기 UI를 통해 상기 디바이스 사용자로부터 입력을 수신하는 단계;
    상기 상황 인식을 사용하여 핸들링을 위한 애플리케이션에 대한 확장으로 입력을 전달하는 단계로서, 상기 애플리케이션 확장은 상기 애플리케이션으로부터 상기 디지털 어시스턴트에 의해 렌더링가능한 사용자 경험으로 서비스룰 전달하도록 구성되는 것인, 상기 핸들링을 위한 애플리케이션에 대한 확장으로 입력을 전달하는 단계; 및
    상기 UI를 통해 상기 디바이스 사용자로 상기 서비스를 렌더링하기 위해 상기 디지털 어시스턴트를 동작시키는 단계
    를 포함하는 방법을 수행하는 것인, 디바이스.
  12. 제11항에 있어서,
    상기 방법은 상기 애플리케이션 확장에 하나 이상의 확장성 서비스를 노출시키는 단계를 더 포함하는 것인, 디바이스.
  13. 제11항에 있어서,
    상기 방법은 상기 애플리케이션 확장이 매니페스트로부터 실행을 위한 실행시간 환경으로 애플리케이션-특유 리소스를 로딩하게 하는 단계를 더 포함하는 것인, 디바이스.
  14. 제13항에 있어서,
    상기 애플리케이션 확장은 이벤트 핸들러(event handler)를 포함하는 것인, 디바이스.
  15. 제14항에 있어서,
    상기 애플리케이션 확장은 스크립트(script) 또는 프로그래밍 콘스트럭트(programming construct) 중 하나를 포함하는 로직을 포함하는 것인, 디바이스.
KR1020177035958A 2015-05-14 2016-04-15 써드 파티 애플리케이션으로의 디지털 어시스턴트 확장성 KR102509245B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/712,364 US10133613B2 (en) 2015-05-14 2015-05-14 Digital assistant extensibility to third party applications
US14/712,364 2015-05-14
PCT/US2016/027653 WO2016182682A1 (en) 2015-05-14 2016-04-15 Digital assistant extensibility to third party applications

Publications (2)

Publication Number Publication Date
KR20180006966A true KR20180006966A (ko) 2018-01-19
KR102509245B1 KR102509245B1 (ko) 2023-03-10

Family

ID=55913705

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177035958A KR102509245B1 (ko) 2015-05-14 2016-04-15 써드 파티 애플리케이션으로의 디지털 어시스턴트 확장성

Country Status (16)

Country Link
US (2) US10133613B2 (ko)
EP (2) EP3623912A3 (ko)
JP (1) JP6671394B2 (ko)
KR (1) KR102509245B1 (ko)
CN (2) CN107636613B (ko)
AU (1) AU2016262345B2 (ko)
BR (1) BR112017022785A2 (ko)
CA (1) CA2982957C (ko)
CL (1) CL2017002831A1 (ko)
HK (1) HK1245939A1 (ko)
IL (1) IL254937A0 (ko)
MX (1) MX2017014354A (ko)
PH (1) PH12017550117A1 (ko)
RU (1) RU2017134383A (ko)
WO (1) WO2016182682A1 (ko)
ZA (1) ZA201706751B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019235810A1 (ko) * 2018-06-08 2019-12-12 삼성전자주식회사 Iot 장치들 간의 맥락 확장 방법 및 장치
KR20210145283A (ko) * 2019-05-09 2021-12-01 구글 엘엘씨 제한된 아키텍처를 사용하는 서드파티 차량 컴퓨팅 디바이스에 대한 자동화된 어시스턴트 제안
US11978449B2 (en) 2021-03-02 2024-05-07 Samsung Electronics Co., Ltd. Electronic device for processing user utterance and operation method therefor

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
AU2014278592B2 (en) 2013-06-09 2017-09-07 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10147421B2 (en) * 2014-12-16 2018-12-04 Microcoft Technology Licensing, Llc Digital assistant voice input integration
US9389928B1 (en) 2015-02-11 2016-07-12 Microsoft Technology Licensing, Llc Platform for extension interaction with applications
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10133613B2 (en) 2015-05-14 2018-11-20 Microsoft Technology Licensing, Llc Digital assistant extensibility to third party applications
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10338959B2 (en) 2015-07-13 2019-07-02 Microsoft Technology Licensing, Llc Task state tracking in systems and services
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10635281B2 (en) 2016-02-12 2020-04-28 Microsoft Technology Licensing, Llc Natural language task completion platform authoring for third party experiences
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US20180039478A1 (en) * 2016-08-02 2018-02-08 Google Inc. Voice interaction services
US10853747B2 (en) 2016-10-03 2020-12-01 Google Llc Selection of computational agent for task performance
US10311856B2 (en) 2016-10-03 2019-06-04 Google Llc Synthesized voice selection for computational agents
US11663535B2 (en) 2016-10-03 2023-05-30 Google Llc Multi computational agent performance of tasks
US10552742B2 (en) 2016-10-14 2020-02-04 Google Llc Proactive virtual assistant
US11231943B2 (en) * 2017-03-24 2022-01-25 Google Llc Smart setup of assistant services
US20180316634A1 (en) * 2017-04-26 2018-11-01 Microsoft Technology Licensing, Llc Extending application functionality via conversational interfaces
US11170285B2 (en) 2017-05-05 2021-11-09 Google Llc Virtual assistant configured to recommended actions in furtherance of an existing conversation
US10887423B2 (en) * 2017-05-09 2021-01-05 Microsoft Technology Licensing, Llc Personalization of virtual assistant skills based on user profile information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10614030B2 (en) * 2017-06-02 2020-04-07 Microsoft Technology Licensing Llc Task creation and completion with bi-directional user interactions
US10176808B1 (en) 2017-06-20 2019-01-08 Microsoft Technology Licensing, Llc Utilizing spoken cues to influence response rendering for virtual assistants
US20190068526A1 (en) * 2017-08-25 2019-02-28 Facebook, Inc. Methods and systems for helper bot platform assistance
US11477297B2 (en) 2017-10-09 2022-10-18 Hewlett-Packard Development Company, L.P. Headless device installations
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11010436B1 (en) 2018-04-20 2021-05-18 Facebook, Inc. Engaging users by personalized composing-content recommendation
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US11307880B2 (en) 2018-04-20 2022-04-19 Meta Platforms, Inc. Assisting users with personalized and contextual communication content
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10993110B2 (en) * 2018-07-13 2021-04-27 Nvidia Corp. Connectionless fast method for configuring Wi-Fi on displayless Wi-Fi IoT device
US10956226B2 (en) * 2018-07-19 2021-03-23 Futurewei Technologies, Inc. Basic runtime environment
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US20200211563A1 (en) * 2018-12-28 2020-07-02 Harman International Industries, Incorporated Localized virtual personal assistant
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11290574B2 (en) * 2019-05-20 2022-03-29 Citrix Systems, Inc. Systems and methods for aggregating skills provided by a plurality of digital assistants
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN110297976A (zh) * 2019-06-26 2019-10-01 百度在线网络技术（北京）有限公司 基于云检索的推荐方法、装置、设备及可读存储介质
EP3757991A1 (en) 2019-06-26 2020-12-30 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11374887B2 (en) 2019-10-29 2022-06-28 Google Llc Automated assistant architecture for preserving privacy of application content
US11289086B2 (en) 2019-11-01 2022-03-29 Microsoft Technology Licensing, Llc Selective response rendering for virtual assistants
US11019207B1 (en) 2019-11-07 2021-05-25 Hithink Royalflush Information Network Co., Ltd. Systems and methods for smart dialogue communication
CN110798578A (zh) * 2019-11-07 2020-02-14 浙江同花顺智能科技有限公司 一种来电事务管理方法、装置以及相关设备
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11947783B2 (en) * 2021-01-25 2024-04-02 Google Llc Undoing application operation(s) via user interaction(s) with an automated assistant
US11610050B2 (en) 2021-06-22 2023-03-21 Walkme Ltd. Cross-domain storage
US11967321B2 (en) * 2021-10-06 2024-04-23 Google Llc Automated assistant control of non-assistant applications via identification of synonymous term and/or speech processing biasing
US12079299B2 (en) * 2021-10-29 2024-09-03 International Business Machines Corporation Content management system
US11995457B2 (en) 2022-06-03 2024-05-28 Apple Inc. Digital assistant integration with system interface
US11978436B2 (en) 2022-06-03 2024-05-07 Apple Inc. Application vocabulary integration with a digital assistant

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130311997A1 (en) * 2012-05-15 2013-11-21 Apple Inc. Systems and Methods for Integrating Third Party Services with a Digital Assistant
US20140163976A1 (en) * 2012-12-10 2014-06-12 Samsung Electronics Co., Ltd. Method and user device for providing context awareness service using speech recognition
US20140164400A1 (en) * 2012-12-07 2014-06-12 Empire Technology Development Llc Personal assistant context building

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8650320B1 (en) * 1998-03-23 2014-02-11 Software Ag Integration server supporting multiple receiving channels
US6466654B1 (en) 2000-03-06 2002-10-15 Avaya Technology Corp. Personal virtual assistant with semantic tagging
WO2002077854A1 (en) * 2001-03-26 2002-10-03 Azurn Networks Inc. Unified xml voice and data media converging switch and application delivery system
US7609829B2 (en) * 2001-07-03 2009-10-27 Apptera, Inc. Multi-platform capable inference engine and universal grammar language adapter for intelligent voice application execution
US7242752B2 (en) 2001-07-03 2007-07-10 Apptera, Inc. Behavioral adaptation engine for discerning behavioral characteristics of callers interacting with an VXML-compliant voice application
CN100452031C (zh) * 2003-03-18 2009-01-14 西门子共同研究公司 用于在对等p2p网络中发现潜在合作者的系统和方法
US7511682B2 (en) * 2004-05-03 2009-03-31 Microsoft Corporation Context-aware auxiliary display platform and applications
US8768711B2 (en) 2004-06-17 2014-07-01 Nuance Communications, Inc. Method and apparatus for voice-enabling an application
US7685561B2 (en) 2005-02-28 2010-03-23 Microsoft Corporation Storage API for a common data platform
EP1816562A1 (en) * 2006-02-03 2007-08-08 Research In Motion Limited System and method for extending a component-based application platform with custom services
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
CA2672766A1 (en) * 2006-12-22 2008-07-03 Mobile Posse, Inc. Method and system for delivering and/or displaying targeted content to a mobile handheld device
US8024571B2 (en) 2006-12-22 2011-09-20 Schlumberger Technology Corporation Method of and system for watermarking application modules
US8930555B2 (en) 2007-03-08 2015-01-06 Microsoft Corporation Extending functionality of web-based applications
US20090077248A1 (en) * 2007-09-14 2009-03-19 International Business Machines Corporation Balancing access to shared resources
US8739214B2 (en) * 2007-11-08 2014-05-27 At&T Intellectual Property I, L.P. Methods, computer program products, and virtual servers for a virtual collaborative environment
US10007767B1 (en) * 2007-12-21 2018-06-26 EMC IP Holding Company LLC System and method for securing tenant data on a local appliance prior to delivery to a SaaS data center hosted application service
US8270606B2 (en) * 2008-05-01 2012-09-18 International Business Machines Corporation Open architecture based domain dependent real time multi-lingual communication service
US8745573B2 (en) 2008-06-16 2014-06-03 Beek Fund B.V. L.L.C. Platform-independent application development framework
US8291490B1 (en) * 2008-06-30 2012-10-16 Emc Corporation Tenant life cycle management for a software as a service platform
US8788957B2 (en) * 2008-08-22 2014-07-22 Microsoft Corporation Social virtual avatar modification
US8099472B2 (en) 2008-10-21 2012-01-17 Lookout, Inc. System and method for a mobile cross-platform software system
US8365062B2 (en) * 2008-11-02 2013-01-29 Observepoint, Inc. Auditing a website with page scanning and rendering techniques
US8117622B2 (en) 2009-05-14 2012-02-14 Microsoft Corporation Client application independent extensibility model
US8639513B2 (en) 2009-08-05 2014-01-28 Verizon Patent And Licensing Inc. Automated communication integrator
US8468455B2 (en) 2010-02-24 2013-06-18 Novell, Inc. System and method for providing virtual desktop extensions on a client desktop
US20110319056A1 (en) * 2010-06-29 2011-12-29 Enterproid Hk Ltd Remote access to a mobile device
US8613004B2 (en) * 2010-12-07 2013-12-17 Nec Laboratories America, Inc. System and method for cloud infrastructure data sharing through a uniform communication framework
US20120159388A1 (en) * 2010-12-20 2012-06-21 Fanhattan, L.L.C. System and method for in-context applications
CN102651104A (zh) * 2011-02-25 2012-08-29 上海飞力达国际物流有限公司 数字物流跟踪模块实时信息采集系统
US10061601B2 (en) 2011-06-23 2018-08-28 Vmware, Inc. Component navigation in an extensible application
WO2013020297A1 (en) 2011-08-11 2013-02-14 Autodesk, Inc. Configurable business rules
US10235147B2 (en) 2011-08-26 2019-03-19 Microsoft Technology Licensing, Llc Discovery and activation of application extensions
US9195968B2 (en) * 2011-09-09 2015-11-24 Microsoft Technology Licensing, Llc Cloud-based broker service for digital assistants
US10102546B2 (en) * 2011-09-15 2018-10-16 Stephan HEATH System and method for tracking, utilizing predicting, and implementing online consumer browsing behavior, buying patterns, social networking communications, advertisements and communications, for online coupons, products, goods and services, auctions, and service providers using geospatial mapping technology, and social networking
US10096033B2 (en) * 2011-09-15 2018-10-09 Stephan HEATH System and method for providing educational related social/geo/promo link promotional data sets for end user display of interactive ad links, promotions and sale of products, goods, and/or services integrated with 3D spatial geomapping, company and local information for selected worldwide locations and social networking
EP2761808A4 (en) 2011-09-30 2015-05-20 Calgary Scient Inc DECOUPLED APPLICATION WITH EXTENSIONS INTERACTIVE DIGITAL SURFACE LAYER FOR COLLABORATIVE REMOTE COMMON USE OF APPLICATIONS AND ANNOTATION
US8881179B2 (en) 2011-11-14 2014-11-04 Microsoft Corporation Cross-platform application programming interfaces for applications
US9082402B2 (en) 2011-12-08 2015-07-14 Sri International Generic virtual personal assistant platform
US8769524B2 (en) * 2011-12-09 2014-07-01 Disney Enterprises, Inc. HTML directed adaptive features for mobile applications
KR101230917B1 (ko) 2011-12-13 2013-02-07 (주)정원기술 확장기능 추가가 용이한 ｍ2ｍ 장치
US20130159377A1 (en) 2011-12-15 2013-06-20 AsystMe, LLC Proactive automated personal assistant
CN103176789B (zh) 2011-12-26 2017-08-01 腾讯科技（深圳）有限公司 一种实现开放平台功能扩展的方法及系统
US20140053126A1 (en) 2012-02-13 2014-02-20 Mark A. Watson Integrated mobile application development platform
US20130254139A1 (en) 2012-03-21 2013-09-26 Xiaoguang Lei Systems and methods for building a universal intelligent assistant with learning capabilities
US20150222664A1 (en) * 2012-03-28 2015-08-06 Google Inc. Conflict resolution in extension induced modifications to web requests and web page content
CN102802027A (zh) * 2012-07-13 2012-11-28 李映红 针对电视节目的交互系统和方法
US20140047359A1 (en) 2012-08-08 2014-02-13 Arnstein Osnes Teigene Mechanism for adding new search modes to user agent
US9547647B2 (en) * 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US10042603B2 (en) 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
US20140141875A1 (en) 2012-11-22 2014-05-22 Richard Steven Faria Temporary modification for extending functionality of computer games and software applications.
US9021425B2 (en) 2012-12-14 2015-04-28 Sap Se Software application extensibility
DE102013001219B4 (de) 2013-01-25 2019-08-29 Inodyn Newmedia Gmbh Verfahren und System zur Sprachaktivierung eines Software-Agenten aus einem Standby-Modus
US9842571B2 (en) * 2013-02-22 2017-12-12 Samsung Electronics Co., Ltd. Context awareness-based screen scroll method, machine-readable storage medium and terminal therefor
US9172747B2 (en) 2013-02-25 2015-10-27 Artificial Solutions Iberia SL System and methods for virtual assistant networks
US10572476B2 (en) * 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US9275221B2 (en) * 2013-05-01 2016-03-01 Globalfoundries Inc. Context-aware permission control of hybrid mobile applications
US10592987B2 (en) * 2013-06-10 2020-03-17 Fmr Llc Sector-based portfolio construction platform apparatuses, methods and systems
US9189742B2 (en) 2013-11-20 2015-11-17 Justin London Adaptive virtual intelligent agent
EP3111593B1 (en) 2014-02-27 2018-12-12 Intel Corporation Techniques for computing resource discovery and management
US20150281869A1 (en) * 2014-03-31 2015-10-01 Google Inc. Native web-based application
US10026041B2 (en) * 2014-07-12 2018-07-17 Microsoft Technology Licensing, Llc Interoperable machine learning platform
US20160164881A1 (en) 2014-12-03 2016-06-09 Ford Global Technologies, Llc Remote vehicle application permission control and monitoring
US10147421B2 (en) 2014-12-16 2018-12-04 Microcoft Technology Licensing, Llc Digital assistant voice input integration
US9389928B1 (en) 2015-02-11 2016-07-12 Microsoft Technology Licensing, Llc Platform for extension interaction with applications
US10133613B2 (en) 2015-05-14 2018-11-20 Microsoft Technology Licensing, Llc Digital assistant extensibility to third party applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130311997A1 (en) * 2012-05-15 2013-11-21 Apple Inc. Systems and Methods for Integrating Third Party Services with a Digital Assistant
US20140164400A1 (en) * 2012-12-07 2014-06-12 Empire Technology Development Llc Personal assistant context building
US20140163976A1 (en) * 2012-12-10 2014-06-12 Samsung Electronics Co., Ltd. Method and user device for providing context awareness service using speech recognition

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Rob Chambers et al. Integrating your application into the Windows Phone Speech and Natural Language Experience. 2014.04.02. *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019235810A1 (ko) * 2018-06-08 2019-12-12 삼성전자주식회사 Iot 장치들 간의 맥락 확장 방법 및 장치
KR20210145283A (ko) * 2019-05-09 2021-12-01 구글 엘엘씨 제한된 아키텍처를 사용하는 서드파티 차량 컴퓨팅 디바이스에 대한 자동화된 어시스턴트 제안
US12039227B2 (en) 2019-05-09 2024-07-16 Google Llc Automated assistant suggestions for third-party vehicle computing devices with restricted architecture
US11978449B2 (en) 2021-03-02 2024-05-07 Samsung Electronics Co., Ltd. Electronic device for processing user utterance and operation method therefor

Also Published As

Publication number Publication date
CN113407278A (zh) 2021-09-17
RU2017134383A (ru) 2019-04-03
CN107636613A (zh) 2018-01-26
CN107636613B (zh) 2021-06-15
PH12017550117A1 (en) 2018-02-12
US11144371B2 (en) 2021-10-12
US10133613B2 (en) 2018-11-20
MX2017014354A (es) 2018-03-23
BR112017022785A2 (pt) 2018-07-10
CA2982957C (en) 2024-01-16
EP3295279B1 (en) 2021-03-10
JP2018523193A (ja) 2018-08-16
US20190042334A1 (en) 2019-02-07
CL2017002831A1 (es) 2018-04-13
HK1245939A1 (zh) 2018-08-31
EP3295279A1 (en) 2018-03-21
JP6671394B2 (ja) 2020-03-25
AU2016262345B2 (en) 2020-11-19
EP3623912A3 (en) 2020-07-22
US20160335138A1 (en) 2016-11-17
CA2982957A1 (en) 2016-11-17
EP3623912A2 (en) 2020-03-18
IL254937A0 (en) 2017-12-31
KR102509245B1 (ko) 2023-03-10
AU2016262345A1 (en) 2017-10-26
WO2016182682A1 (en) 2016-11-17
ZA201706751B (en) 2019-02-27

Similar Documents

Publication Publication Date Title
US11144371B2 (en) Digital assistant extensibility to third party applications
US11915696B2 (en) Digital assistant voice input integration
CN107209781B (zh) 使用自然语言的上下文搜索
US11169654B2 (en) Task completion across devices using a shared work space
US10528228B2 (en) Interaction with notifications across devices with a digital assistant
US11012385B2 (en) App powered extensibility of messages on an existing messaging service
US10135965B2 (en) Use of a digital assistant in communications
US10592534B2 (en) Automated aggregation of social contact groups

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant