KR20170056586A - 근방에 있는 디바이스에 의한 디지털 개인 비서의 작동 - Google Patents

근방에 있는 디바이스에 의한 디지털 개인 비서의 작동 Download PDF

Info

Publication number
KR20170056586A
KR20170056586A KR1020177009174A KR20177009174A KR20170056586A KR 20170056586 A KR20170056586 A KR 20170056586A KR 1020177009174 A KR1020177009174 A KR 1020177009174A KR 20177009174 A KR20177009174 A KR 20177009174A KR 20170056586 A KR20170056586 A KR 20170056586A
Authority
KR
South Korea
Prior art keywords
personal assistant
user
secondary device
context
personal
Prior art date
Application number
KR1020177009174A
Other languages
English (en)
Inventor
제프리 제이 존슨
무라리 스리드하란
구르프리트 버디
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170056586A publication Critical patent/KR20170056586A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G06F17/30976—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G06F9/4446—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H04W4/008—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

개인 비서 정보를 제공하기 위한 하나 이상의 기법들 및/또는 시스템들이 제공된다. 예를 들어, 주 디바이스(예컨대, 스마트폰)는 2차 디바이스(예컨대, 디지털 개인 비서 기능이 없는 텔레비전)와의 통신 채널을 구축할 수 있다. 주 디바이스는 사용자(예컨대, 사용자 발언 "텔레비전에 날씨를 보여줘")와 연관된 컨텍스트를 수신할 수 있다. 디지털 개인 비서 기능 또는 이러한 기능에의 액세스로 인에이블될 수 있는 주 디바이스는 개인 비서 결과물(예컨대, 지역 날씨 정보)을 발생시키기 위해 디지털 개인 비서 기능을 작동시킬 수 있다. 개인 비서 결과물은 사용자에게 제시하기 위해 주 디바이스로부터 2차 디바이스에 제공될 수 있다. 이러한 방식으로, 2차 디바이스가 디지털 개인 비서 기능을 포함하지 않거나 그에 액세스할 수 없더라도, 2차 디바이스가 디지털 개인 비서 기능을 제공하는 것처럼 나타난다.

Description

근방에 있는 디바이스에 의한 디지털 개인 비서의 작동{INVOCATION OF A DIGITAL PERSONAL ASSISTANT BY MEANS OF A DEVICE IN THE VICINITY}
많은 사용자들은, 랩톱, 태블릿, 개인용 컴퓨터, 휴대폰, 키오스크, 비디오 게임 시스템 등과 같은 다양한 유형들의 컴퓨팅 디바이스들과 상호작용할 수 있다. 일 예에서, 사용자는, 맵 인터페이스(map interface)를 통해 목적지로의 주행 방향을 획득하기 위해 휴대폰을 이용할 수 있다. 다른 예에서, 사용자는, 점포 사용자 인터페이스를 통해 쿠폰을 인쇄하고, 재고를 검색하기 위해 점포 키오스크를 이용할 수 있다.
이 발명의 내용은 이하에서 발명을 실시하기 위한 구체적인 내용에 추가로 기술되는 일련의 개념들을 간략화된 형태로 소개하기 위해 제공된다. 이 발명의 내용은 청구된 발명 요지의 핵심적인 요소들 또는 필수적인 특징들을 확인하려는 것으로 의도되어 있지도 않고, 청구된 발명 요지의 범주를 제한하기 위해 사용되려는 것으로 의도되어 있지도 않다.
그 중에서도 특히, 개인 비서 정보(personal assistant information)를 2차 디바이스(secondary device)를 통해 원격적으로 제공하기 위한 그리고/또는 주 디바이스(primary device)로부터 원격적으로 수신되는 개인 비서 정보를 제공하기 위한 하나 이상의 시스템들 및/또는 기법들이 본원에서 제공된다. 개인 비서 정보를 2차 디바이스를 통해 원격적으로 제공하는 일 예에서, 주 디바이스는 2차 디바이스와의 통신 채널을 구축하도록 구성될 수 있다. 주 디바이스는 사용자와 연관된 컨텍스트를 수신할 수 있다. 주 디바이스는 컨텍스트를 평가하여 개인 비서 결과물(personal assistant result)을 발생시키기 위해 디지털 개인 비서 기능(digital personal assistant functionality)을 작동(invoke)시킬 수 있다. 주 디바이스는 사용자에게 제시하기 위해 개인 비서 결과물을 2차 디바이스에 제공할 수 있다.
주 디바이스로부터 원격적으로 수신되는 개인 비서 정보를 제공하는 일 예에서, 2차 디바이스는 사용자와 연관된 컨텍스트를 검출하도록 구성될 수 있다. 2차 디바이스는 주 디바이스와의 통신 채널을 구축하도록 구성될 수 있다. 2차 디바이스는 메시지를 주 디바이스로 송신하도록 구성될 수 있다. 메시지는 컨텍스트 및 컨텍스트를 평가하여 개인 비서 결과물을 발생시키기 위해 디지털 개인 비서 기능을 작동시키라는 주 디바이스에 대한 명렁어를 포함할 수 있다. 2차 디바이스는 주 디바이스로부터 개인 비서 결과물을 수신하도록 구성될 수 있다. 2차 디바이스는 개인 비서 결과물을 사용자에게 제시하도록 구성될 수 있다.
이상의 목적들 및 관련 목적들을 달성하기 위해, 이하의 설명 및 첨부 도면들은 특정의 예시적인 양태들 및 구현들을 기재하고 있다. 이들은 하나 이상의 양태들이 이용될 수 있는 다양한 방식들 중 단지 몇 개만을 나타내고 있다. 본 개시내용의 다른 양태들, 장점들 및 새로운 특징들은, 첨부 도면들과 관련하여 살펴볼 때, 이하의 상세한 설명으로부터 명백하게 될 것이다.
도 1은 개인 비서 정보를 2차 디바이스를 통해 원격적으로 제공하는 예시적인 방법을 나타낸 흐름도.
도 2a는 개인 비서 정보를 2차 디바이스를 통해 원격적으로 제공하는 예시적인 시스템을 나타낸 컴포넌트 블록도.
도 2b는 개인 비서 결과물에 대한 상호작용적 사용자 피드백에 기초하여 개인 비서 정보를 2차 디바이스를 통해 원격적으로 제공하는 예시적인 시스템을 나타낸 컴포넌트 블록도.
도 3은 개인 비서 정보를 2차 디바이스를 통해 원격적으로 제공하는 예시적인 시스템을 나타낸 컴포넌트 블록도.
도 4는 주 디바이스로부터 원격적으로 수신되는 개인 비서 정보를 제공하는 예시적인 시스템을 나타낸 컴포넌트 블록도.
도 5는 개인 비서 결과물을 2차 디바이스 상에서 호스팅되는 제1 디지털 개인 비서 사용자 인터페이스를 통해 제시하는 것과, 제2 개인 비서 결과물을 주 디바이스 상에서 호스팅되는 제2 디지털 개인 비서 사용자 인터페이스를 통해 제시하는 것을 동시에 하는 예시적인 시스템을 나타낸 컴포넌트 블록도.
도 6은 본원에 기재되는 발명 내용들 중 하나 이상을 구현하도록 구성된 프로세서 실행가능 명령어들이 포함되어 있을 수 있는 예시적인 컴퓨터 판독가능 매체를 나타낸 도면.
도 7은 본원에 기재되는 발명 내용들 중 하나 이상이 구현될 수 있는 예시적인 컴퓨팅 환경을 나타낸 도면.
이제부터 도면들을 참조하여 청구된 발명 요지가 기술되고, 도면들 전체에 걸쳐 유사한 참조 번호들은 일반적으로 유사한 요소들을 가리키는 데 사용된다. 이하의 설명에서, 설명을 위해, 청구된 발명 요지에 대한 이해를 제공하기 위해 수많은 구체적인 상세들이 기재되어 있다. 그렇지만, 청구된 발명 요지가 이 구체적인 상세들 없이도 실시될 수 있다는 것이 명백할 수 있다. 다른 경우에, 청구된 발명 요지를 설명하는 것을 용이하게 하기 위해 구조들 및 디바이스들이 블록도 형태로 예시되어 있다.
개인 비서 정보를 2차 디바이스를 통해 원격적으로 제공하기 위한 그리고/또는 주 디바이스로부터 원격적으로 수신되는 개인 비서 정보를 제공하기 위한 하나 이상의 시스템들 및/또는 기법들이 본원에서 제공된다. 사용자들은 다양한 디바이스들로부터 디지털 개인 비서에 액세스하고자 할 수 있다(예컨대, 디지털 개인 비서는 추천들을 제공하고, 질문들에 답변하며, 그리고/또는 작업 완료를 용이하게 할 수 있다). 안타깝게도, 많은 디바이스들은 디지털 개인 비서를 호스팅하고 그리고/또는 그에 액세스하기 위한 처리 능력, 자원, 및/또는 기능을 갖지 않을 수 있다. 예를 들어, 가전제품들(예컨대, 냉장고), 웨어러블 디바이스들(예컨대, 스마트 워치), 텔레비전, 및/또는 디지털 개인 비서 기능을 지원하는 운영 체제의 버전 및/또는 디지털 개인 비서 기능과 연관된 설치된 애플리케이션을 갖지 않는 컴퓨팅 디바이스들(예컨대, 디지털 개인 비서 기능을 지원하는 업데이트된 운영 체제 버전을 갖지 않을 수 있는 태블릿, 랩톱, 개인용 컴퓨터, 스마트폰, 또는 다른 디바이스)은 디지털 개인 비서에의 액세스를 사용자들에게 제공할 수 없을지도 모른다. 그에 따라, 본원에서 제공되는 바와 같이, 디지털 개인 비서 기능을 제공할 수 있는 주 디바이스는, 사용자와 연관된 컨텍스트(예컨대, 현재 날씨에 관해 사용자에 의해 제기된 질문)를 평가하여, 디지털 개인 비서 기능을 본래 지원하지 않는 2차 디바이스에 제공되는 개인 비서 결과물을 발생시키기 위해 디지털 개인 비서 기능을 작동시킬 수 있다. 주 디바이스가 디지털 개인 비서 기능을 작동시킬 수 있기 때문에(예컨대, 디지털 개인 비서 애플리케이션 및/또는 호환 운영 체제를 포함하는 스마트폰), 주 디바이스는 개인 비서 결과물들을, 디지털 개인 비서를 작동시킬 수 없을지도 모르는 2차 디바이스(예컨대, 텔레비전)에 제공할 수 있다(예컨대, 현재 날씨 정보가 사용자에게 디스플레이하기 위해 주 디바이스로부터 2차 디바이스에 제공될 수 있다). 따라서, 본원에서 제공되는 기법들 중 하나 이상은 주 디바이스가 개인 비서 결과물들을, 그렇지 않았으면 하드웨어 및/또는 소프트웨어 한계로 인해 이러한 결과물들을 발생시킬 수 없었고 그리고/또는 획득할 수 없었을 하나 이상의 2차 디바이스들에 제공할 수 있게 한다.
개인 비서 정보를 2차 디바이스를 통하여 원격적으로 제공하는 일 실시예가 도 1의 예시적인 방법(100)에 의해 예시되어 있다. 102에서, 본 방법이 시작된다. 104에서, 주 디바이스는 2차 디바이스와의 통신 채널을 구축할 수 있다. 주 디바이스는 디지털 개인 비서 기능을 본래 지원하도록 구성될 수 있다(예컨대, 스마트폰, 태블릿 등). 2차 디바이스는 디지털 개인 비서 기능을 본래 지원하지 않을 수 있다(에컨대, 냉장고와 같은 가전제품, 텔레비전, 시청각 디바이스, 차량 디바이스, 스마트 워치 또는 안경과 같은 웨어러블 디바이스, 또는 개인 비서 인에이블 미지원 디바이스 등). 일 예에서, 통신 채널은 무선 통신 채널(예컨대, 블루투스)일 수 있다. 일 예에서, 사용자는 스마트폰 주 디바이스를 들고서 텔레비전 2차 디바이스를 지나칠 수 있고, 따라서 통신 채널이 (예컨대, 자동으로, 프로그램적으로, 기타) 구축될 수 있다.
106에서, 사용자와 연관된 컨텍스트가 주 디바이스에 의해 수신될 수 있다. 예를 들어, 사용자는 "텔레비전에서 현재 재생되고 있는 영화에 나오는 놀이 공원의 티켓을 구입해주세요"라고 말할 수 있고, 이는 컨텍스트로서 수신될 수 있다. 일 예에서, 컨텍스트는 놀이 공원을 식별하기 위해 영상 인식을 수행하는 데 사용될 수 있는 영화에 관한 식별 정보(예컨대, 텔레비전 2차 디바이스에 의해 캡쳐된 영화의 스크린샷; 놀이 공원이 디스플레이되는 동안의 영화의 현재 장면을 식별하는 데 사용될 수 있는 채널 및/또는 시간 정보; 기타)를 포함할 수 있다. 일 예에서, 컨텍스트는 2차 디바이스로부터 수신될 수 있다. 예를 들어, 텔레비전 2차 디바이스의 마이크로폰은 사용자 발언을 오디오 파일로서 녹음할 수 있다. 스마트폰 주 디바이스는 오디오 파일을 텔레비전 2차 디바이스로부터 컨텍스트로서 수신할 수 있다. 사용자 발언 컨텍스트(user statement context)를 발생시키기 위해 오디오 파일에 대해 음성 인식이 수행될 수 있다. 일 예에서, 주 디바이스는 컨텍스트를 검출할 수 있다(예컨대, 스마트폰 주 디바이스의 마이크로폰은 사용자 발언을 컨텍스트로서 검출할 수 있다).
일 예에서, 컨텍스트는, 오디오 데이터(예컨대, 사용자 발언 "텔레비전에서 현재 재생되고 있는 영화에 나오는 놀이 공원의 티켓을 구입해주세요"), 비디오 데이터(예컨대, 사용자가 새 이메일 확인(check for new emails) 커맨드 컨텍스트로서 인식될 수 있는 제스처를 수행할 수 있음), 영상(예컨대, 사용자가 소비자 물품을 카메라 전방에 둘 수 있고, 이는 가격 확인(check price) 커맨드 컨텍스트로서 검출될 수 있음), 또는 주 디바이스 및 2차 디바이스로부터 분리되어 있을 수 있거나 주 디바이스 및/또는 2차 디바이스 내에 통합되어 있을 수 있는 다양한 센서들에 의해 검출될 수 있는 다른 센서 데이터(예컨대, 냉장고 내의 카메라가 냉장고에 어떤 식품이 있는지(없는지) 그리고 따라서 사용자가 어떤 식품을 구입할 필요가 있을 수 있는지(없을 수 있는지)를 나타낼 수 있음; 집의 온도 센서는 잠재적 화재를 나타낼 수 있음; 출입문 센서는 사용자가 집에 들어왔거나 집을 나갔다는 것을 나타낼 수 있음; 자동차 센서는 자동차가 오일 교환 시기가 되었음을 나타낼 수 있음; 기타)를 포함할 수 있다.
108에서, 주 디바이스는 컨텍스트를 평가하여 개인 비서 결과물을 발생시키기 위해 디지털 개인 비서 기능을 작동시킬 수 있다. 일 예에서, 스마트폰 주 디바이스는 컨텍스트를 평가하기 위해 원격 디지털 개인 비서 서비스에 액세스할 수 있고 그리고/또는 그를 작동시킬 수 있는 운영 체제 및/또는 디지털 개인 비서 애플리케이션을 포함할 수 있다. 다른 예에서, 스마트폰 주 디바이스는 디지털 개인 비서 기능을 포함하는 디지털 개인 비서 애플리케이션을 포함할 수 있다. 디지털 개인 비서 애플리케이션은 텔레비전 2차 디바이스에 의해 호스팅되지 않을 수 있고 그리고/또는 그에 의해 작동가능하지 않을 수 있다. 일 예에서, 개인 비서 결과물은, 오디오 메시지(예컨대, 티겟 구입 확인 메시지), 텍스트 문자열(text string)(예컨대, 티겟 구입 확인서), 영상(예컨대, 구입하기 위한 다양한 유형들의 티켓들의 설명) 비디오(예컨대, 놀이 공원 쪽으로의 주행 방향), 웹사이트(예컨대, 놀이 공원 웹사이트), 작업 완료 기능(예컨대, 놀이 공원에 대한 티켓을 구입하는 기능), 추천(예컨대, 놀이 공원 근방에 있는 호텔에 대한 호텔 추천), 텍스트 음성 변환 문자열(예컨대, 음성 합성 마크업 언어 정보 없이는 텔레비전 2차 디바이스에 의해 이해가능하지 않은 원시 텍스트(raw text)) 오류 문자열(예컨대, 컨텍스트를 평가할 때 오류를 발생시키는 디지털 개인 비서 기능에 대응하는 오류 상태의 설명), 기타를 포함할 수 있다.
110에서, 개인 비서 결과물이, 사용자에게 제시하기 위해, 주 디바이스에 의해 2차 디바이스에 제공될 수 있다. 주 디바이스는 2차 디바이스를 통해 개인 비서 결과물을 디스플레이 및/또는 재생(예컨대, 오디오를 재생)하기 위해 2차 디바이스를 작동시킬 수 있다. 예를 들어, 스마트폰 주 디바이스는 텍스트 문자열 "놀이 공원의 티켓을 며칟날 몇 장 구입하고 싶으세요"을 텔레비전 2차 디바이스 상에 디스플레이하기 위해 텔레비전 2차 디바이스에 제공할 수 있다. 일 예에서, 개인 비서 결과물에 대한 상호작용적 사용자 피드백이, 주 디바이스에 의해 2차 디바이스로부터 수신될 수 있다. 예를 들어, 텔레비전 2차 디바이스는 제2 사용자 발언 "나는 이번 주 월요일에 티켓 4장을 원해"를 녹음할 수 있고, 제2 사용자 발언을 스마트폰 주 디바이스에 제공할 수 있다. 스마트폰 주 디바이스는 상호작용적 사용자 피드백을 평가하여 제2 개인 비서 결과물(예컨대, 티켓 구입 확인 번호)을 발생시키기 위해 디지털 개인 비서 기능을 작동시킬 수 있다. 스마트폰 주 디바이스는, 사용자에게 제시하기 위해 제2 개인 비서 결과물을 텔레비전 2차 디바이스에 제공할 수 있다.
일 예에서, 주 디바이스는, 2차 디바이스가 개인 비서 결과물을 제공하는 것과 동시에, 개인 비서 결과물들을 국부적으로 제공할 수 있다. 예를 들어, 스마트폰 주 디바이스는 개인 비서 결과물(예컨대, 텍스트 문자열 "놀이 공원의 티켓을 며칟날 몇 장 구입하고 싶으세요?")을 텔레비전 2차 디바이스 상에서 호스팅되는 제1 디지털 개인 비서 사용자 인터페이스(예컨대, 텔레비전 디스플레이 영역)를 통해 제시하기 위해 텔레비전 2차 디바이스를 작동시킬 수 있다. 스마트폰 주 디바이스는 개인 비서 결과물(예컨대, 텍스트 문자열 "놀이 공원의 티켓을 며칟날 몇 장 구입하고 싶으세요?")을 스마트폰 주 디바이스 상에서 호스팅되는 제2 디지털 개인 비서 사용자 인터페이스(예컨대, 텍스트 문자열의 오디오 재생 인터페이스, 텍스트 문자열의 시각적 제시 등)를 통해 동시에 제시할 수 있다.
상이한 개인 비서 결과물들이 주 디바이스와 2차 디바이스 상에 동시에 제시될 수 있다. 예를 들어, 2차 디바이스가 제1 개인 비서 결과물(예컨대, 텍스트 문자열 "놀이 공원의 티켓을 며칟날 몇 장 구입하고 싶으세요?")을 제시하기 위해 작동될 수 있는 동안, 주 디바이스는 제2 개인 비서 결과물((예컨대, 날씨에 관한 사용자 발언이 놀이 공원의 티켓 구입에 관한 사용자 발언과 시간상 가까이에서 행해지는 경우) 예컨대, 사용자 발언 "월요일 날씨를 내 전화기에 보여주세요"에 응답하여 디지털 개인 비서 기능에 의해 발생되는 오디오 또는 텍스트 메시지 "날씨가 화창할 것입니다")을 동시에 제시할 수 있다. 이러한 방식으로, 주 디바이스가 디지털 개인 비서 기능을 작동시킨 것에 기초하여, 하나 이상의 개인 비서 결과물들이 2차 디바이스를 통해 그리고/또는 동시에 주 디바이스를 통해 사용자에게 제공될 수 있다. 112에서, 본 방법이 종료된다. 사용자가, 개인 비서 결과물을 발생시키기 위해 사용되는 사용자와 연관된 컨텍스트와 같은, 본원에서 제시되는 활동들에 동의할 수 있다는 것을 잘 알 것이다. 예를 들어, 사용자는 (예컨대, 주 디바이스 및/또는 하나 이상의 2차 디바이스들 상에 디스플레이될 수 있는) 개인 비서 결과물을 발생시키기 위해 사용자와 연관된 신호들, 데이터, 정보 등의 수집 및/또는 사용을 허용하는 옵트 인 동의(opt in consent)를 (예컨대, 프롬프트에 응답하는 것에 의해) 제공할 수 있다. 예를 들어, 사용자는 사용자와 연관된 위치에 대한 날씨, 온도, 기타 상태들을 결정하기 위해 주 디바이스로부터의 GPS 데이터가 수집 및/또는 사용되는 것에 동의할 수 있다.
도 2a 및 도 2b는 개인 비서 정보를 2차 디바이스를 통해 원격적으로 제공하기 위해, 주 디바이스(212)를 포함하는 시스템(201)의 예들을 나타내고 있다. 도 2a는 주 디바이스(212)가 텔레비전 2차 디바이스(202)와의 통신 채널을 구축하는 것의 일 예(200)를 나타내고 있다. 주 디바이스(212)는 사용자(206)와 연관된 컨텍스트(210)를 텔레비전 2차 디바이스(202)로부터 수신할 수 있다. 예를 들어, 텔레비전 2차 디바이스(202)는 제1 사용자 발언(208) "채널 2에서의 이 영화에 나오는 레스토랑에 2명 예약해"를 검출할 수 있다. 텔레비전 2차 디바이스(202)는 제1 사용자 발언(208)을 컨텍스트(210) 내에 포함시킬 수 있다. 일 예에서, 텔레비전 2차 디바이스(202)는 텔레비전 2차 디바이스(202)에 의해 현재 디스플레이되는 러브 스토리 영화(204)의 화면 캡쳐 및/또는 러브 스토리 영화(204)에서의 프랑스 요리 레스토랑을 식별하기 위해 디지털 개인 비서 기능에 의해 사용될 수 있는 다른 식별 정보를, 컨텍스트(210) 내에 포함시킬 수 있다.
주 디바이스(212)는 컨텍스트(210)를 평가하여 개인 비서 결과물(216)을 발생시키기 위해 디지털 개인 비서 기능(214)을 작동시키도록 구성될 수 있다. 일 예에서, 디지털 개인 비서 기능(214)이 주 디바이스(212) 상에 국부적으로 호스팅되어 있는 경우, 주 디바이스(212)는 디지털 개인 비서 기능(214)을 국부적으로 작동시킬 수 있다. 다른 예에서, 주 디바이스(212)는 컨텍스트(210)를 평가하기 위해, 주 디바이스(212)로부터 원격지에 있는 디지털 개인 비서 서비스를 작동시킬 수 있다. 일 예에서, 개인 비서 결과물(216)은 텍스트 문자열 "프랑스 요리 레스토랑에 몇 시에 예약하고 싶으세요?"를 포함할 수 있다. 주 디바이스(212)는 사용자(206)에게 제시하기 위해 개인 비서 결과물(216)을 텔레비전 2차 디바이스(202)에 제공할 수 있다.
도 2b는 주 디바이스(212)가 개인 비서 결과물(216)에 대한 상호작용적 사용자 피드백(254)을 텔레비전 2차 디바이스(202)로부터 수신하는 것의 일 예(250)를 나타내고 있다. 예를 들어, 텔레비전 2차 디바이스(202)는 제2 사용자 발언(252) "오후 7시로 해줘"를 상호작용적 사용자 피드백(254)으로서 검출할 수 있고, 상호작용적 사용자 피드백(254)을 주 디바이스(212)에 제공할 수 있다. 주 디바이스(212)는 상호작용적 사용자 피드백(254)을 평가하여 제2 개인 비서 결과물(256)을 발생시키기 위해 (예컨대, 주 디바이스(212)에 로컬인 그리고/또는 그로부터 원격지에 있는) 디지털 개인 비서 기능(214)을 작동시킬 수 있다. 예를 들어, 제2 개인 비서 결과물(256)은 제2 텍스트 문자열 "예약이 오후 7로 확정되었습니다!!"를 포함할 수 있다. 주 디바이스(212)는 사용자(206)에게 제시하기 위해 제2 개인 비서 결과물(256)을 텔레비전 2차 디바이스(202)에 제공할 수 있다.
도 3은 개인 비서 정보를 2차 디바이스를 통해 원격적으로 제공하는 시스템(300)의 일 예를 나타내고 있다. 시스템(300)은, 냉장고 2차 디바이스(302)와 같은, 2차 디바이스와의 통신 연결을 구축할 수 있는, 스마트폰 주 디바이스(306)와 같은 주 디바이스를 포함할 수 있다. 스마트폰 주 디바이스(306)는 사용자(304)와 연관된 컨텍스트(310)를 수신할 수 있다. 예를 들어, 스마트폰 주 디바이스(306)의 마이크로폰은 사용자(304)로부터의 사용자 발언 "어떤 식품을 사야 하지?"를 검출할 수 있다. 일 예에서, 스마트폰 주 디바이스(306)는 컨텍스트(310)가 무시되는 것이 아니라 검출되기 위해 충족되어야 하는 컨텍스트 인식 실시 정책(context recognition enablement policy)을 정의할 수 있다(예컨대, 컨텍스트 인식 실시 정책은, 스마트폰 주 디바이스(306)가 전화 다이얼 모드에 있지 않는 한 컨텍스트가 검출될 수 있다는 것과, 문자 메시징이 오프라는 것 - 이는 스마트폰 주 디바이스(306)의 현재 상황 컨텍스트에 의해 충족될 수 있거나 그렇지 않을 수 있음 - 을 명시할 수 있다). 일 예에서, 스마트폰 주 디바이스(306)는 부가 정보를 냉장고 2차 디바이스(302)로부터 그리고/또는 다른 센서들로부터 컨텍스트(310)로서 획득할 수 있다(예컨대, 스마트폰 주 디바이스(306)는, 사용자(304)가 평소에 구입해두는 것(keep in stock)으로 등록했을 수 있는 어떤 식품이 없는지를 검출하기 위해 냉장고 2차 디바이스(312) 내의 카메라 센서 및/또는 찬장 내의 카메라 센서를 작동시킬 수 있다).
스마트폰 주 디바이스(306)는 컨텍스트(310)를 평가하여 개인 비서 결과물(314)을 발생시키기 위해 (예컨대, 스마트폰 주 디바이스(306) 상에서 국부적으로 호스팅되는 그리고/또는 원격 디지털 개인 비서 서비스에 의해 호스팅되는) 디지털 개인 비서 기능(312)을 작동시킬 수 있다. 예를 들어, 디지털 개인 비서 기능(312)은 냉장고 2차 디바이스(302)에 의해 캡쳐된 영상이 사용자(304)가 우유가 모자라거나 떨어졌다는 것을 나타내는 것을 (예컨대, 영상/객체 인식을 통해) 결정할 수 있고, 따라서 개인 비서 결과물(314)은 디스플레이 메시지 "당신은 우유가 필요합니다!!"를 포함할 수 있다. 스마트폰 주 디바이스(306)는 사용자(304)에게 제시하기 위해(예컨대, 디스플레이 또는 오디오 재생하기 위해) 개인 비서 결과물(314)을 냉장고 2차 디바이스(302)에 제공할 수 있다. 그에 부가하여 또는 대안적으로, 개인 비서 결과물(314)이 주 디바이스(306)를 통해 (예컨대, 주 디바이스(306)로부터 재생되는 오디오 메시지 및/또는 주 디바이스(306) 상에 디스플레이되는 텍스트 메시지로서) 사용자에게 제시될 수 있다.
도 4은 주 디바이스로부터 원격적으로 수신되는 개인 비서 정보를 제공하는 시스템(400)의 일 예를 나타내고 있다. 시스템(400)은, 손목시계 2차 디바이스(404)와 같은 2차 디바이스를 포함할 수 있다. 손목시계 2차 디바이스(404)는 사용자와 연관된 컨텍스트를 검출하도록 구성될 수 있다. 예를 들어, 손목시계 2차 디바이스(404)의 마이크로폰은 사용자 발언(402) "이 점포에서는 세일하는게 있나?"를 컨텍스트로서 검출할 수 있다. 일 예에서, 손목시계 2차 디바이스(404)는, 사용자 발언을 앱 스토어(416)로부터 검색된 제1 당사자 음성 앱(first party speech app)(414)을 사용하여 검출했을 수 있다. 일 예에서, 손목시계 2차 디바이스(404)는 컨텍스트(310)가 무시되는 것이 아니라 검출되기 위해 충족되어야 하는 컨텍스트 인식 실시 정책을 정의할 수 있다(예컨대, 컨텍스트 인식 실시 정책은, 손목시계 2차 디바이스(404)가 전화 다이얼 모드에 있지 않는 한 컨텍스트가 검출될 수 있다는 것과, 문자 메시징이 오프라는 것 - 이는 손목시계 2차 디바이스(404)의 현재 상황 컨텍스트에 의해 충족될 수 있거나 그렇지 않을 수 있음 - 을 명시할 수 있다). 일 예에서, 컨텍스트 내에 포함시키기 위한, 소매점과 같은 사용자의 현재 위치가 (예컨대, GPS, 블루투스 비콘 등을 통해) 검출될 수 있다.
손목시계 2차 디바이스(404)는, 휴대폰 주 디바이스(408)와 같은 주 디바이스와의 통신 채널을 구축할 수 있다. 손목시계 2차 디바이스(404)는 메시지(406)를 휴대폰 주 디바이스(408)로 송신할 수 있다. 메시지(406)는 컨텍스트(예컨대, 사용자 발언의 오디오 데이터, 사용자의 현재 위치 등) 및/또는 컨텍스트를 평가하여 개인 비서 결과물(412)을 발생시키기 위해 (예컨대, 휴대폰 주 디바이스(408)에 로컬인 그리고/또는 그로부터 원격지에 있는) 디지털 개인 비서 기능(410)을 작동시키라는 휴대폰 주 디바이스(408)에 대한 명령어를 포함할 수 있다. 예를 들어, 개인 비서 결과물(412)은 텍스트 문자열 및/또는 텍스트 음성 변환 문자열 "아동 의류 25% 할인"을 포함할 수 있다. 손목시계 2차 디바이스(404)는 개인 비서 결과물(412)을 휴대폰 주 디바이스(408)로부터 수신할 수 있다. 손목시계 2차 디바이스(404)는 사용자에게 개인 비서 결과물(412)을 제시(예컨대, 텍스트 문자열을 디스플레이; 텍스트 음성 변환 문자열을 재생; 기타)할 수 있다.
도 5는, 개인 비서 결과물(518)을 2차 디바이스 상에서 호스팅되는 제1 디지털 개인 비서 사용자 인터페이스를 통해 제시하는 것과, 제2 개인 비서 결과물(520)을 주 디바이스(510) 상에서 호스팅되는 제2 디지털 개인 비서 사용자 인터페이스를 통해 제시하는 것을 동시에 하는 시스템(500)의 일 예를 나타내고 있다. 주 디바이스(510)(예컨대, 셀폰)은 텔레비전 2차 디바이스(502)와의 통신 채널을 구축할 수 있다. 주 디바이스(510)는 사용자(504)와 연관된 컨텍스트(508)를 수신할 수 있다. 예를 들어, 주 디바이스(510)는 제1 사용자 발언(506) "액션 영화 예고편을 텔레비전에 재생해"를, 텔레비전 2차 디바이스(502) 상에 개인 비서 정보를 제공하는 것에 관련되어 있는 컨텍스트(508)로서 검출할 수 있다. 주 디바이스(510)는 컨텍스트(508)를 평가하여, 액션 영화 예고편과 같은 개인 비서 결과물(518)을 발생시키기 위해 (예컨대, 주 디바이스(510)에 로컬인 그리고/또는 그로부터 원격지에 있는) 디지털 개인 비서 기능(516)을 작동시키도록 구성될 수 있다. 주 디바이스(510)는 제1 디지털 개인 비서 사용자 인터페이스(예컨대, 텔레비전 2차 디바이스(502)의 텔레비전 디스플레이 영역)를 통해 사용자(504)에게 제시하기 위해 개인 비서 결과물(518)을 텔레비전 2차 디바이스(502)에 제공할 수 있다.
주 디바이스(510)는 제2 사용자 발언(512) "영화 목록을 셀폰에 보여줘"를, 주 디바이스(510) 상에 개인 비서 정보를 제공하는 것에 관련되어 있는 로컬 사용자 컨텍스트(514)로서 검출할 수 있다. 주 디바이스(510)는 로컬 사용자 컨텍스트(514)를 평가하여, 영화 목록과 같은 제2 개인 비서 결과물(520)을 발생시키기 위해 디지털 개인 비서 기능(516)을 작동시키도록 구성될 수 있다. 주 디바이스(510)는 제2 개인 비서 결과물(520)을, 주 디바이스(510) 상의 제2 디지털 개인 비서 사용자 인터페이스(예컨대, 셀폰 상에 설치된 디지털 개인 비서 앱)를 통해 제시할 수 있다. 일 예에서, 제2 개인 비서 결과물(520)이 주 디바이스(510)의 제2 디지털 개인 비서 사용자 인터페이스를 통해 제시되는 것과 동시에, 개인 비서 결과물(518)이 텔레비전 2차 디바이스(502)의 제1 디지털 개인 비서 사용자 인터페이스를 통해 제시될 수 있다.
본 개시내용의 일 양태에 따르면, 개인 비서 정보를 2차 디바이스를 통해 원격적으로 제공하는 시스템이 제공된다. 본 시스템은 주 디바이스를 포함한다. 주 디바이스는 2차 디바이스와의 통신 채널을 구축하도록 구성된다. 주 디바이스는 사용자와 연관된 컨텍스트를 수신하도록 구성된다. 주 디바이스는 컨텍스트를 평가하여 개인 비서 결과물을 발생시키기 위해 디지털 개인 비서 기능을 작동시키도록 구성된다. 주 디바이스는 사용자에게 제시하기 위해 개인 비서 결과물을 2차 디바이스에 제공하도록 구성된다.
본 개시내용의 일 양태에 따르면, 주 디바이스로부터 원격적으로 수신되는 개인 비서 정보를 제공하는 시스템이 제공된다. 본 시스템은 2차 디바이스를 포함한다. 2차 디바이스는 사용자와 연관된 컨텍스트를 검출하도록 구성된다. 2차 디바이스는 주 디바이스와의 통신 채널을 구축하도록 구성된다. 2차 디바이스는 메시지를 주 디바이스로 송신하도록 구성된다. 메시지는, 컨텍스트, 및 컨텍스트를 평가하여 개인 비서 결과물을 발생시키기 위해 디지털 개인 비서 기능을 작동시키라는 주 디바이스에 대한 명령어를 포함한다. 2차 디바이스는 주 디바이스로부터 개인 비서 결과물을 수신하도록 구성된다. 2차 디바이스는 개인 비서 결과물을 사용자에게 제시하도록 구성된다.
본 개시내용의 일 양태에 따르면, 개인 비서 정보를 2차 디바이스를 통해 원격적으로 제공하는 방법이 제공된다. 본 방법은, 주 디바이스에 의해, 2차 디바이스와의 통신 채널을 구축하는 단계를 포함한다. 사용자와 연관된 컨텍스트가 주 디바이스에 의해 수신된다. 컨텍스트를 평가하여 개인 비서 결과물을 발생시키기 위해, 디지털 개인 비서 기능이 주 디바이스에 의해 작동된다. 개인 비서 결과물은 사용자에게 제시하기 위해, 주 디바이스에 의해 2차 디바이스에 제공된다.
본 개시내용의 일 양태에 따르면, 개인 비서 정보를 2차 디바이스를 통해 원격적으로 제공하는 수단이 제공된다. 개인 비서 정보를 원격적으로 제공하는 수단에 의해, 2차 디바이스와의 통신 채널이 구축된다. 사용자와 연관된 컨텍스트가, 개인 비서 정보를 원격적으로 제공하는 수단에 의해 수신된다. 컨텍스트를 평가하여 개인 비서 결과물을 발생시키기 위해, 개인 비서 정보를 원격적으로 제공하는 수단에 의해, 디지털 개인 비서 기능이 작동된다. 개인 비서 결과물이, 사용자에게 제시하기 위해, 개인 비서 정보를 원격적으로 제공하는 수단에 의해 2차 디바이스에 제공된다.
본 개시내용의 일 양태에 따르면, 주 디바이스로부터 원격적으로 수신되는 개인 비서 정보를 제공하는 수단이 제공된다. 사용자와 연관된 컨텍스트가, 개인 비서 정보를 제공하는 수단에 의해 검출된다. 개인 비서 정보를 제공하는 수단에 의해, 주 디바이스와의 통신 채널이 구축된다. 개인 비서 정보를 제공하는 수단에 의해, 메시지가 주 디바이스로 송신된다. 메시지는, 컨텍스트, 및 컨텍스트를 평가하여 개인 비서 결과물을 발생시키기 위해 디지털 개인 비서 기능을 작동시키라는 주 디바이스에 대한 명령어를 포함한다. 개인 비서 정보를 제공하는 수단에 의해, 개인 비서 결과물이 주 디바이스로부터 수신된다. 개인 비서 정보를 제공하는 수단에 의해, 개인 비서 결과물이 사용자에게 제시된다.
또 다른 실시예는 본원에서 제시된 기법들 중 하나 이상을 구현하도록 구성된 프로세서 실행가능 명령어들을 포함하는 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체 또는 컴퓨터 판독가능 디바이스의 예시적인 실시예가 도 6에 나타내어져 있으며, 여기서 구현(600)은 컴퓨터 판독가능 데이터(606)가 인코딩되어 있는, CD-R, DVD-R, 플래시 드라이브, 하드 디스크 드라이브의 플래터 등과 같은, 컴퓨터 판독가능 매체(608)를 포함한다. 0 또는 1 중 적어도 하나를 포함하는 이진 데이터와 같은 이 컴퓨터 판독가능 데이터(606)는 차레로 본원에 기재되는 원리들 중 하나 이상에 따라 동작하도록 구성된 한 세트의 컴퓨터 명령어들(604)을 포함한다. 일부 실시예들에서, 프로세서 실행가능 컴퓨터 명령어들(604)은, 예를 들어, 도 1의 예시적인 방법(100)의 적어도 일부와 같은 방법(602)을 수행하도록 구성된다. 일부 실시예들에서, 프로세서 실행가능 명령어들(604)은, 예를 들어, 도 2a 및 도 2b의 예시적인 시스템(201)의 적어도 일부, 도 3의 예시적인 시스템(300)의 적어도 일부, 도 4의 예시적인 시스템(400)의 적어도 일부, 및/또는 도 5의 예시적인 시스템(500)의 적어도 일부와 같은 시스템을 구현하도록 구성된다. 본원에서 제시된 기법들에 따라 동작하도록 구성되어 있는 많은 이러한 컴퓨터 판독가능 매체가 본 기술 분야의 통상의 기술자에 의해 고안된다.
발명 요지가 구조적 특징들 및/또는 방법 동작들과 관련하여 기술되어 있지만, 첨부된 청구항들에 한정된 발명 요지가 앞서 기술된 구체적인 특징들 또는 동작들로 반드시 제한되는 것은 아님을 잘 알 것이다. 오히려, 앞서 기술된 구체적인 특징들 및 동작들은 청구항들 중 적어도 일부를 구현하는 예시적인 형태들로서 개시되어 있다.
본 출원에서 사용되는 바와 같이, 용어들 "컴포넌트", "모듈", "시스템", "인터페이스" 등은 일반적으로 컴퓨터 관련 엔터티(computer-related entity), 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행 중인 소프트웨어를 지칭하려는 것으로 의도되어 있다. 예를 들어, 컴포넌트는 프로세서 상에서 구동 중인 프로세스, 프로세서, 객체, 실행 파일(executable), 실행 스레드(thread of execution), 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되지 않는다. 예시로서, 제어기 상에서 구동 중인 애플리케이션 및 제어기 둘 다가 컴포넌트일 수 있다. 하나 이상의 컴포넌트들이 프로세스 및/또는 실행 스레드 내에 존재할 수 있고, 컴포넌트가 하나의 컴퓨터 상에 로컬화될 수 있고 그리고/또는 2개 이상의 컴퓨터들 간에 분산될 수 있다.
게다가, 청구된 발명 요지가 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합을 생성하는 표준 프로그래밍 및/또는 엔지니어링 기법들을 사용하여 컴퓨터를 제어해 개시된 발명 요지를 구현하는 방법, 장치, 또는 제조 물품으로서 구현될 수 있다. 용어 "제조 물품"은, 본원에서 사용되는 바와 같이, 임의의 컴퓨터 판독가능 디바이스, 캐리어(carrier), 또는 매체로부터 액세스가능한 컴퓨터 프로그램을 포괄하려는 것으로 의도되어 있다. 물론, 청구된 발명 요지의 범주 또는 사상을 벗어나지 않고 이 구성에 대해 많은 수정들이 이루어질 수 있다.
도 7 및 이하의 논의는 본원에 기재되는 발명 내용들 중 하나 이상의 발명 내용들의 실시예들을 구현하는 데 적합한 컴퓨팅 환경에 대한 간략하고 전반적인 설명을 제공한다. 도 7의 운영 환경은 적당한 운영 환경의 일 예에 불과하며 이 운영 환경의 용도 또는 기능의 범주에 관한 어떤 제한을 제안하려는 것으로 의도되어 있지 않다. 예시적인 컴퓨팅 디바이스들은, 개인용 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩톱 디바이스, 모바일 디바이스(휴대폰, PDA(Personal Digital Assistant), 미디어 플레이어, 기타 등등), 멀티프로세서 시스템, 가전 제품, 미니 컴퓨터, 메인프레임 컴퓨터, 이상의 시스템들 또는 디바이스들 중 임의의 것을 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이들로 제한되지 않는다.
꼭 그럴 필요는 없지만, 실시예들이 일반적으로 하나 이상의 컴퓨팅 디바이스들에 의해 실행되는 "컴퓨터 판독가능 명령어들"과 관련하여 기술되어 있다. 컴퓨터 판독가능 명령어들은 컴퓨터 판독가능 매체(이하에서 논의됨)를 통해 배포될 수 있다. 컴퓨터 판독가능 명령어들은 특정의 작업들을 수행하거나 특정의 추상 데이터 유형들을 구현하는 함수, 객체, API(Application Programming Interface), 데이터 구조 등과 같은 프로그램 모듈로서 구현될 수 있다. 전형적으로, 컴퓨터 판독가능 명령어들의 기능이 다양한 실시예들에서 원하는 바에 따라 결합되거나 분산될 수 있다.
도 7은 본원에서 제공되는 하나 이상의 실시예들을 구현하도록 구성된 컴퓨팅 디바이스(712)를 포함하는 시스템(700)의 일 예를 나타내고 있다. 하나의 구성에서, 컴퓨팅 디바이스(712)는 적어도 하나의 처리 유닛(716) 및 메모리(718)를 포함한다. 컴퓨팅 디바이스의 정확한 구성 및 유형에 따라, 메모리(718)는 휘발성(예를 들어, RAM 등), 비휘발성(예를 들어, ROM, 플래시 메모리, 기타 등등), 또는 이 둘의 어떤 조합일 수 있다. 이 구성이 도 7에서 파선(714)으로 나타내어져 있다.
다른 실시예들에서, 디바이스(712)는 부가의 특징들 및/또는 기능을 포함할 수 있다. 예를 들어, 디바이스(712)는 또한 자기 저장소, 광학 저장소 등(이들로 제한되지 않음)을 포함하는 부가의 저장소(예컨대, 착탈식 및/또는 비착탈식)도 포함할 수 있다. 이러한 부가의 저장소가 도 7에서 저장소(720)로 예시되어 있다. 일 실시예에서, 본원에서 제공된 하나 이상의 실시예들을 구현하는 컴퓨터 판독가능 명령어들이 저장소(720)에 있을 수 있다. 저장소(720)는 또한 운영 체제, 애플리케이션 프로그램 등을 구현하는 다른 컴퓨터 판독가능 명령어들도 저장할 수 있다. 컴퓨터 판독가능 명령어들은, 예를 들어, 처리 유닛(716)에 의하여 실행하기 위해 메모리(718)에 로딩될 수 있다.
용어 "컴퓨터 판독가능 매체"는, 본원에서 사용되는 바와 같이, 컴퓨터 저장 매체를 포함한다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어들 또는 다른 데이터와 같은 정보를 저장하기 위해 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체를 포함한다. 메모리(718) 및 저장소(720)는 컴퓨터 저장 매체의 예들이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(Digital Versatile Disk) 또는 다른 광학 저장소, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 디바이스, 또는 원하는 정보를 저장하는 데 사용될 수 있고 디바이스(712)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되지 않는다. 그렇지만, 컴퓨터 저장 매체는 전파 신호(propagated signal)들을 포함하지 않는다. 오히려, 컴퓨터 저장 매체는 전파 신호들을 배제한다. 임의의 이러한 컴퓨터 저장 매체는 디바이스(712)의 일부일 수 있다.
디바이스(712)는 또한 디바이스(712)가 다른 디바이스들과 통신할 수 있게 하는 통신 연결(들)(726)도 포함할 수 있다. 통신 연결(들)(726)은 모뎀, NIC(Network Interface Card), 통합형 네트워크 인터페이스(integrated network interface), 무선 주파수 송신기/수신기, 적외선 포트, USB 연결, 또는 컴퓨팅 디바이스(712)를 다른 컴퓨팅 디바이스들에 연결시키는 다른 인터페이스들을 포함할 수 있지만, 이들로 제한되지 않는다. 통신 연결(들)(726)은 유선 연결 또는 무선 연결을 포함할 수 있다. 통신 연결(들)(726)은 통신 미디어를 전송 및/또는 수신할 수 있다.
용어 "컴퓨터 판독가능 매체"는 통신 매체를 포함할 수 있다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어들 또는 다른 데이터를 반송파 또는 다른 전송 메커니즘과 같은 "변조된 데이터 신호(modulated data signal)"에 구현하고 임의의 정보 전달 매체를 포함한다. 용어 "변조된 데이터 신호"는 신호의 특성들 중 하나 이상이 정보를 그 신호에 인코딩하는 방식으로 설정되거나 변경된 신호를 포함할 수 있다.
디바이스(712)는 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스, 및/또는 임의의 다른 입력 디바이스와 같은 입력 디바이스(들)(724)를 포함할 수 있다. 하나 이상의 디스플레이들, 스피커들, 프린터들, 및/또는 임의의 다른 출력 디바이스와 같은 출력 디바이스(들)(722)도 디바이스(712)에 포함될 수 있다. 입력 디바이스(들)(724) 및 출력 디바이스(들)(722)는 유선 연결, 무선 연결, 또는 이들의 임의의 조합을 통해 디바이스(712)에 연결될 수 있다. 일 실시예에서, 다른 컴퓨팅 디바이스로부터의 입력 디바이스 또는 출력 디바이스가 컴퓨팅 디바이스(712)에 대한 입력 디바이스(들)(724) 또는 출력 디바이스(들)(722)로서 사용될 수 있다.
컴퓨팅 디바이스(712)의 컴포넌트들은, 버스와 같은, 다양한 상호연결부들에 의해 연결될 수 있다. 이러한 상호연결부들은, PCI Express와 같은, PCI(Peripheral Component Interconnect), USB(Universal Serial Bus), 파이어와이어(firewire)(IEEE 1394), 광학 버스 구조(optical bus structure) 등을 포함할 수 있다. 다른 실시예에서, 컴퓨팅 디바이스(712)의 컴포넌트들은 네트워크에 의해 상호연결될 수 있다. 예를 들어, 메모리(718)는 네트워크에 의해 상호연결된 상이한 물리적 장소들에 위치된 다수의 물리적 메모리 유닛들을 포함할 수 있다.
본 기술분야의 통상의 기술자라면 컴퓨터 판독가능 명령어들을 저장하는 데 이용되는 저장 디바이스들이 네트워크에 걸쳐 분산될 수 있다는 것을 잘 알 것이다. 예를 들어, 네트워크(728)를 통해 액세스가능한 컴퓨팅 디바이스(730)는 본원에서 제공되는 하나 이상의 실시예들을 구현하는 컴퓨터 판독가능 명령어들을 저장할 수 있다. 컴퓨팅 디바이스(712)는 컴퓨팅 디바이스(730)에 액세스할 수 있고 실행을 위한 컴퓨터 판독가능 명령어들의 일부 또는 전부를 다운로드할 수 있다. 대안적으로, 컴퓨팅 디바이스(712)는 필요에 따라 컴퓨터 판독가능 명령어들의 일부를 다운로드할 수 있거나, 일부 명령어들은 컴퓨팅 디바이스(712)에서 실행될 수 있고 일부 명령어들은 컴퓨팅 디바이스(730)에서 실행될 수 있다.
실시예들의 다양한 동작들이 본원에서 제공된다. 일 실시예에서, 기술된 동작들 중 하나 이상이 하나 이상의 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 판독가능 명령어들을 구성할 수 있으며, 이 명령어들은, 컴퓨팅 디바이스에 의해 실행되는 경우, 컴퓨팅 디바이스로 하여금 기술된 동작들을 수행하게 할 것이다. 동작들 중 일부 또는 전부가 기술되는 순서가 이 동작들이 반드시 순서 의존적이라는 것을 암시하는 것으로 해석되어서는 안된다. 대안의 순서가 이 설명의 혜택을 갖는 본 기술 분야의 통상의 기술자에 의해 이해될 것이다. 게다가, 동작들 모두가 본원에서 제공되는 각각의 실시예에 반드시 존재하는 것은 아님을 잘 알 것이다. 또한, 일부 실시예들에서 동작들 모두가 필요한 것은 아님을 잘 알 것이다.
게다가, 달리 언급되지 않는 한, "제1", "제2" 등은 시간적 측면, 공간적 측면, 순서 등을 암시하려는 것으로 의도되어 있지 않다. 오히려, 이러한 용어들은 특징들, 요소들, 항목들 등에 대한 식별자, 이름 등으로서 사용될 뿐이다. 예를 들어, 제1 객체 및 제2 객체는 일반적으로 객체 A 및 객체 B 또는 2개의 상이한 또는 2개의 똑같은 객체들 또는 동일한 객체에 대응한다.
더욱이, "예시적인"은 본원에서 반드시 유리한 것으로서가 아니라 예, 실례, 예시 등으로서 역할하는 것을 의미하기 위해 사용된다. 본원에서 사용되는 바와 같이, "또는"은 배타적 "논리합"(exclusive "or")이 아니라 포함적 "논리합"(inclusive "or")을 의미하려는 것으로 의도되어 있다. 그에 부가하여, 본 출원에서 사용되는 "a, an"(한국문상 미번역)은, 달리 언급하지 않는 한 또는 단수 형태에 관한 것이라고 문맥으로부터 명확하지 않는 한, 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다. 또한, A와 B 중 적어도 하나 등은 일반적으로 A 또는 B 및/또는 A와 B 둘 다를 의미한다. 게다가, "포함한다(includes)", "가지는", "갖는다", "갖는" 및/또는 이들의 변형들이 상세한 설명 또는 청구항들에서 사용되는 한, 이러한 용어들은 용어 "포함하는(comprising)"과 유사한 방식으로 포함적(inclusive)인 것으로 의도되어 있다.
또한, 비록 본 개시내용이 하나 이상의 구현들과 관련하여 도시되고 기술되었지만, 본 명세서 및 첨부 도면들을 읽고 이해한 것에 기초하여 등가의 변경들 및 수정들이 본 기술 분야의 통상의 기술자들에게 안출될 것이다. 본 개시내용은 모든 이러한 수정들 및 변경들을 포함하며, 이하의 청구항들의 범주에 의해서만 제한된다. 상세하게는, 앞서 기술된 컴포넌트들(예컨대, 요소들, 자원들 등)에 의해 수행되는 다양한 기능들과 관련하여, 이러한 컴포넌트들을 기술하는 데 사용되는 용어들이, 달리 언급하지 않는 한, 비록 개시된 구조와 구조적으로 동등하지는 않지만, (예컨대, 기능적으로 동등한) 기술된 컴포넌트의 명시된 기능을 수행하는 임의의 컴포넌트에 대응하는 것으로 의도되어 있다. 그에 부가하여, 본 개시내용의 특정의 특징이 몇 개의 구현들 중 단지 하나와 관련하여 개시되었을 수 있지만, 임의의 주어진 또는 특정의 응용분야에서 요망되고 유리할 수 있는 바와 같이, 이러한 특징이 다른 구현들의 하나 이상의 다른 특징들과 결합될 수 있다.

Claims (10)

  1. 개인 비서 정보(personal assistant information)를 2차 디바이스(secondary device)를 통해 원격으로 제공하는 시스템으로서,
    주 디바이스(primary device)를 포함하고, 상기 주 디바이스는,
    2차 디바이스와 통신 채널을 구축하고;
    사용자와 연관된 컨텍스트를 수신하고;
    상기 컨텍스트를 평가하여 개인 비서 결과물(personal assistant result)을 발생시키기 위해 디지털 개인 비서 기능을 작동(invoke)시키고;
    상기 사용자에게 제시하기 위해 상기 개인 비서 결과물을 상기 2차 디바이스에 제공하도록
    구성된 것인 개인 비서 정보를 원격으로 제공하는 시스템.
  2. 제1항에 있어서, 상기 주 디바이스는,
    상기 개인 비서 결과물을 상기 2차 디바이스를 통해 디스플레이하기 위해 상기 2차 디바이스를 작동시키도록 구성되는 것인 개인 비서 정보를 원격으로 제공하는 시스템.
  3. 제1항에 있어서, 상기 주 디바이스는,
    상기 개인 비서 결과물을 상기 2차 디바이스를 통해 플레이하기 위해 상기 2차 디바이스를 작동시키도록 구성되는 것인 개인 비서 정보를 원격으로 제공하는 시스템.
  4. 제1항에 있어서, 상기 주 디바이스는,
    상기 개인 비서 결과물에 대한 상호작용적(interactive) 사용자 피드백을 상기 2차 디바이스로부터 수신하고;
    상기 상호작용적 사용자 피드백을 평가하여 제2 개인 비서 결과물을 발생시키기 위해 상기 디지털 개인 비서 기능을 작동시키고;
    상기 사용자에게 제시하기 위해 상기 제2 개인 비서 결과물을 상기 2차 디바이스에 제공하도록 구성되는 것인 개인 비서 정보를 원격으로 제공하는 시스템.
  5. 제1항에 있어서, 상기 2차 디바이스는, 가전제품, 텔레비전, 시청각 디바이스, 차량 디바이스, 웨어러블 디바이스, 개인 비서 인에이블 미지원 디바이스(non-personal assistant enabled device) 중 적어도 하나를 포함하는 것인 개인 비서 정보를 원격으로 제공하는 시스템.
  6. 제1항에 있어서, 상기 주 디바이스는,
    상기 2차 디바이스로부터 오디오 파일을 상기 컨텍스트로서 수신하고;
    사용자 발언 컨텍스트(user statement context)를 발생시키기 위해 상기 오디오 파일에 대해 음성 인식을 수행하고;
    상기 사용자 발언 컨텍스트를 평가하여 상기 개인 비서 결과물을 발생시키기 위해 상기 디지털 개인 비서 기능을 작동시키도록 구성되는 것인 개인 비서 정보를 원격으로 제공하는 시스템.
  7. 제1항에 있어서, 상기 주 디바이스는,
    상기 개인 비서 결과물을, 상기 2차 디바이스 상에서 호스팅되는 제1 디지털 개인 비서 사용자 인터페이스를 통해 제시하기 위해 상기 2차 디바이스를 작동시키고;
    로컬 사용자 컨텍스트- 상기 로컬 사용자 컨텍스트는 상기 컨텍스트와는 상이함 -를 상기 주 디바이스를 통해 수신하고;
    상기 로컬 사용자 컨텍스트를 평가하여 제2 개인 비서 결과물을 발생시키기 위해 상기 디지털 개인 비서 기능을 작동시키고;
    상기 주 디바이스 상에서 호스팅되는 제2 디지털 개인 비서 사용자 인터페이스를 통한 제시를 위하여, 상기 제1 디지털 개인 비서 사용자 인터페이스가 상기 2차 디바이스를 통해 제시되는 것과 동시에, 상기 제2 개인 비서 결과물을 제공하도록 구성되는 것인 개인 비서 정보를 원격으로 제공하는 시스템.
  8. 제1항에 있어서, 상기 주 디바이스는,
    상기 개인 비서 결과물을 텍스트 음성 변환 문자열(text to speech string)로서 제공하도록 구성되는 것인 개인 비서 정보를 원격으로 제공하는 시스템.
  9. 제1항에 있어서, 상기 주 디바이스는,
    오류 상태(error condition)를 검출한 것에 응답하여, 상기 개인 비서 결과물 내에 오류 문자열(error string)을 포함시키도록 구성되는 것인 개인 비서 정보를 원격으로 제공하는 시스템.
  10. 개인 비서 정보를 2차 디바이스를 통해 원격으로 제공하는 방법으로서,
    주 디바이스에 의해, 2차 디바이스와의 통신 채널을 구축하는 단계;
    상기 주 디바이스에 의해, 사용자와 연관된 컨텍스트를 수신하는 단계;
    상기 주 디바이스에 의해, 상기 컨텍스트를 평가하여 개인 비서 결과물을 발생시키기 위해 디지털 개인 비서 기능을 작동시키는 단계; 및
    상기 주 디바이스에 의해, 상기 사용자에게 제시하기 위해 상기 개인 비서 결과물을 상기 2차 디바이스에 제공하는 단계
    를 포함하는 개인 비서 정보를 원격으로 제공하는 방법.
KR1020177009174A 2014-09-09 2015-09-07 근방에 있는 디바이스에 의한 디지털 개인 비서의 작동 KR20170056586A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/481,821 2014-09-09
US14/481,821 US20160070580A1 (en) 2014-09-09 2014-09-09 Digital personal assistant remote invocation
PCT/US2015/048748 WO2016040202A1 (en) 2014-09-09 2015-09-07 Invocation of a digital personal assistant by means of a device in the vicinity

Publications (1)

Publication Number Publication Date
KR20170056586A true KR20170056586A (ko) 2017-05-23

Family

ID=54251717

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177009174A KR20170056586A (ko) 2014-09-09 2015-09-07 근방에 있는 디바이스에 의한 디지털 개인 비서의 작동

Country Status (11)

Country Link
US (1) US20160070580A1 (ko)
EP (1) EP3192041A1 (ko)
JP (1) JP2017538985A (ko)
KR (1) KR20170056586A (ko)
CN (1) CN106796517A (ko)
AU (1) AU2015315488A1 (ko)
BR (1) BR112017003405A2 (ko)
CA (1) CA2959675A1 (ko)
MX (1) MX2017003061A (ko)
RU (1) RU2017107170A (ko)
WO (1) WO2016040202A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019054827A1 (ko) * 2017-09-15 2019-03-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20190031167A (ko) * 2017-09-15 2019-03-25 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20190071194A (ko) * 2017-12-14 2019-06-24 현대자동차주식회사 차량, 허브장치 및 이를 포함하는 통신 시스템
WO2021045278A1 (ko) * 2019-09-06 2021-03-11 엘지전자 주식회사 디스플레이 장치
WO2022010157A1 (ko) * 2020-07-06 2022-01-13 삼성전자 주식회사 인공지능 가상 비서 서비스에서의 화면 제공 방법 및 이를 지원하는 사용자 단말 장치 및 서버

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10025684B2 (en) 2014-09-24 2018-07-17 Microsoft Technology Licensing, Llc Lending target device resources to host device computing environment
US10635296B2 (en) 2014-09-24 2020-04-28 Microsoft Technology Licensing, Llc Partitioned application presentation across devices
US9678640B2 (en) 2014-09-24 2017-06-13 Microsoft Technology Licensing, Llc View management architecture
US9769227B2 (en) 2014-09-24 2017-09-19 Microsoft Technology Licensing, Llc Presentation of computing environment on multiple devices
US9860306B2 (en) 2014-09-24 2018-01-02 Microsoft Technology Licensing, Llc Component-specific application presentation histories
US10448111B2 (en) 2014-09-24 2019-10-15 Microsoft Technology Licensing, Llc Content projection
CN106409295B (zh) * 2015-07-31 2020-06-16 腾讯科技（深圳）有限公司 从自然语音信息中识别时间信息的方法和装置
US10353564B2 (en) 2015-12-21 2019-07-16 Sap Se Graphical user interface with virtual extension areas
US10945129B2 (en) * 2016-04-29 2021-03-09 Microsoft Technology Licensing, Llc Facilitating interaction among digital personal assistants
US10353534B2 (en) 2016-05-13 2019-07-16 Sap Se Overview page in multi application user interface
US10346184B2 (en) 2016-05-13 2019-07-09 Sap Se Open data protocol services in applications and interfaces across multiple platforms
US10579238B2 (en) 2016-05-13 2020-03-03 Sap Se Flexible screen layout across multiple platforms
US10318253B2 (en) 2016-05-13 2019-06-11 Sap Se Smart templates for use in multiple platforms
US10127926B2 (en) * 2016-06-10 2018-11-13 Google Llc Securely executing voice actions with speaker identification and authentication input types
US10521187B2 (en) * 2016-08-31 2019-12-31 Lenovo (Singapore) Pte. Ltd. Presenting visual information on a display
JP7100422B2 (ja) 2016-10-21 2022-07-13 富士通株式会社 データプロパティ認識のための装置、プログラム、及び方法
JP6805765B2 (ja) 2016-10-21 2020-12-23 富士通株式会社 ソフトウェアサービスの実行のためのシステム、方法、及びプログラム
EP3312722A1 (en) 2016-10-21 2018-04-25 Fujitsu Limited Data processing apparatus, method, and program
US10776170B2 (en) 2016-10-21 2020-09-15 Fujitsu Limited Software service execution apparatus, system, and method
ES2765415T3 (es) 2016-10-21 2020-06-09 Fujitsu Ltd Aparato, método y programa de procesamiento de datos basado en microservicios
US10915303B2 (en) 2017-01-26 2021-02-09 Sap Se Run time integrated development and modification system
US11150922B2 (en) 2017-04-25 2021-10-19 Google Llc Initializing a conversation with an automated agent via selectable graphical element
US10237209B2 (en) * 2017-05-08 2019-03-19 Google Llc Initializing a conversation with an automated agent via selectable graphical element
EP3622390B1 (en) 2017-10-03 2023-12-06 Google LLC Multiple digital assistant coordination in vehicular environments
KR102389331B1 (ko) * 2018-05-07 2022-04-21 구글 엘엘씨 컴퓨팅 디바이스간의 액세스 제어 동기화
EP3935597A4 (en) * 2019-01-24 2022-06-08 Emelem Pty Ltd SYSTEM AND PROCEDURES FOR THE DISSEMINATION OF INFORMATION TO CONSUMERS
US20220208199A1 (en) 2019-04-18 2022-06-30 Maxell, Ltd. Information processing device and digital assistant system
US20220398112A1 (en) * 2021-06-11 2022-12-15 International Business Machines Corporation User interface accessibility navigation guide

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030036927A1 (en) * 2001-08-20 2003-02-20 Bowen Susan W. Healthcare information search system and user interface
US7398209B2 (en) * 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
JP5352053B2 (ja) * 2007-01-23 2013-11-27 出光興産株式会社 油冷式スクリュー空気圧縮機用潤滑油組成物およびこれを充填した油冷式スクリュー空気圧縮機
US8861898B2 (en) * 2007-03-16 2014-10-14 Sony Corporation Content image search
US8943425B2 (en) * 2007-10-30 2015-01-27 Google Technology Holdings LLC Method and apparatus for context-aware delivery of informational content on ambient displays
US8185539B1 (en) * 2008-08-12 2012-05-22 Foneweb, Inc. Web site or directory search using speech recognition of letters
US8676904B2 (en) * 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9858925B2 (en) * 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20130018659A1 (en) * 2011-07-12 2013-01-17 Google Inc. Systems and Methods for Speech Command Processing
US9674331B2 (en) * 2012-06-08 2017-06-06 Apple Inc. Transmitting data from an automated assistant to an accessory
US20130328667A1 (en) * 2012-06-10 2013-12-12 Apple Inc. Remote interaction with siri
US20130347018A1 (en) * 2012-06-21 2013-12-26 Amazon Technologies, Inc. Providing supplemental content with active media
KR102003938B1 (ko) * 2012-08-10 2019-07-25 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US20160261921A1 (en) * 2012-11-21 2016-09-08 Dante Consulting, Inc Context based shopping capabilities when viewing digital media
US9659298B2 (en) * 2012-12-11 2017-05-23 Nuance Communications, Inc. Systems and methods for informing virtual agent recommendation
US9672822B2 (en) * 2013-02-22 2017-06-06 Next It Corporation Interaction with a portion of a content item through a virtual assistant
US9172747B2 (en) * 2013-02-25 2015-10-27 Artificial Solutions Iberia SL System and methods for virtual assistant networks
US9721570B1 (en) * 2013-12-17 2017-08-01 Amazon Technologies, Inc. Outcome-oriented dialogs on a speech recognition platform

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019054827A1 (ko) * 2017-09-15 2019-03-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20190031167A (ko) * 2017-09-15 2019-03-25 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11874904B2 (en) 2017-09-15 2024-01-16 Samsung Electronics Co., Ltd. Electronic device including mode for using an artificial intelligence assistant function of another electronic device
KR20190071194A (ko) * 2017-12-14 2019-06-24 현대자동차주식회사 차량, 허브장치 및 이를 포함하는 통신 시스템
WO2021045278A1 (ko) * 2019-09-06 2021-03-11 엘지전자 주식회사 디스플레이 장치
WO2022010157A1 (ko) * 2020-07-06 2022-01-13 삼성전자 주식회사 인공지능 가상 비서 서비스에서의 화면 제공 방법 및 이를 지원하는 사용자 단말 장치 및 서버
US11756547B2 (en) 2020-07-06 2023-09-12 Samsung Electronics Co., Ltd Method for providing screen in artificial intelligence virtual assistant service, and user terminal device and server for supporting same

Also Published As

Publication number Publication date
BR112017003405A2 (pt) 2017-11-28
JP2017538985A (ja) 2017-12-28
RU2017107170A (ru) 2018-09-06
EP3192041A1 (en) 2017-07-19
AU2015315488A1 (en) 2017-03-16
CA2959675A1 (en) 2016-03-17
WO2016040202A1 (en) 2016-03-17
CN106796517A (zh) 2017-05-31
MX2017003061A (es) 2017-05-23
US20160070580A1 (en) 2016-03-10

Similar Documents

Publication Publication Date Title
KR20170056586A (ko) 근방에 있는 디바이스에 의한 디지털 개인 비서의 작동
US10819807B2 (en) Method and system for displaying object, and method and system for providing the object
CN107957776B (zh) 主动虚拟助理
KR102289474B1 (ko) 오디오를 출력하는 방법 및 이를 위한 전자 장치
KR102157289B1 (ko) 데이터 처리 방법 및 그 전자 장치
JP2020522001A (ja) 計算機アシスタントによる遅延応答
US20160226956A1 (en) Electronic Device and Content Providing Method Thereof
US10448111B2 (en) Content projection
KR20180113312A (ko) 자연어 이해에 기반한 콘텐트 제공 방법 및 이를 수행하는 전자 장치
KR20170096408A (ko) 어플리케이션을 표시하는 방법 및 이를 지원하는 전자 장치
WO2018227823A1 (zh) 一种生成用户画像的方法和终端
RU2636119C2 (ru) Система локальной интерактивной платформы на основе звукового сигнала и способ обеспечения локальной интерактивной службы с ее помощью
KR20150022887A (ko) 사전에 결정된 위치에서의 통신 방법 및 시스템
KR102315891B1 (ko) Poi 정보를 제공하기 위한 방법 및 그 전자 장치
US20130332860A1 (en) User terminal apparatus, server and controlling method thereof
KR20170059201A (ko) 전자 장치 및 전자 장치의 컨텐츠 출력 방법
EP3605440A1 (en) Method of providing activity notification and device thereof
KR20190139773A (ko) IoT 장치들 간의 맥락 확장 방법 및 장치
JP6368372B2 (ja) 製品アベイラビリティ通知
KR20160139771A (ko) 전자 장치, 정보 제공 시스템 및 그 정보 제공 방법
US20140295763A1 (en) Apparatus and method for sharing data with an electronic device
CN111294640A (zh) 信息展示、出售方法及装置、存储介质、电子设备
KR102199590B1 (ko) 관심정보에 따른 컨텐츠 추천장치 및 방법
KR20170065904A (ko) 콘텐트 프리로딩 방법 및 이를 지원하는 전자 장치
KR20170036300A (ko) 동영상 제공 방법 및 이를 수행하는 전자 장치