KR20160140694A - 자연 언어 입력을 위한 작업 완료 기법 - Google Patents

자연 언어 입력을 위한 작업 완료 기법 Download PDF

Info

Publication number
KR20160140694A
KR20160140694A KR1020167027313A KR20167027313A KR20160140694A KR 20160140694 A KR20160140694 A KR 20160140694A KR 1020167027313 A KR1020167027313 A KR 1020167027313A KR 20167027313 A KR20167027313 A KR 20167027313A KR 20160140694 A KR20160140694 A KR 20160140694A
Authority
KR
South Korea
Prior art keywords
user
task
intention
intent
application
Prior art date
Application number
KR1020167027313A
Other languages
English (en)
Inventor
케빈 니엘스 스트라트버트
유-팅 쿠오
앤드류 폴 맥거번
시아오 웨이
가우라브 아난드
토마스 린
아담 씨 러슈
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20160140694A publication Critical patent/KR20160140694A/ko

Links

Images

Classifications

    • G06F17/30976
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9032Query formulation
    • G06F16/90332Natural language query formulation or dialogue systems
    • G06F17/28
    • G06F17/30867
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • H04L67/32
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Abstract

작업 완료를 용이하게 하기 위해 하나 이상의 기법 및/또는 시스템이 제공된다. 예컨대, 자연 언어 입력(가령, "where should we eat")이 클라이언트 디바이스의 사용자로부터 수신될 수 있다. 사용자 작업 의도를 식별하기 위해, 작업 완료를 용이하게 하도록 사용자에 의해 노출을 위해 사전동의된 사용자 정황 신호의 세트를 사용하여 자연 언어 입력이 평가될 수 있다. 예컨대, 사용자가 멕시코 음식을 위해 친구를 만나고 있음을 나타내는 사용자의 소셜 네트워크 포스트에 기반하여 지역의 멕시코 음식점 메뉴를 본다는 사용자 작업 의도가 식별될 수 있다. 사용자 작업 의도에 기반하여 사용자에게 작업 완료 기능이 노출될 수 있다. 예컨대, 식당 앱이 지역의 멕시코 음식점의 메뉴를 디스플레이하도록 딥 론칭될 수 있다.

Description

자연 언어 입력을 위한 작업 완료 기법{TASK COMPLETION FOR NATURAL LANGUAGE INPUT}
많은 사용자가 컴퓨팅 디바이스를 사용하여 작업을 수행한다. 일례에서, 사용자는 모바일 디바이스를 사용하여 현재의 위치로부터 놀이 공원으로 방향을 맵핑할 수 있다. 다른 예에서, 사용자는 태블릿 디바이스를 사용하여 책을 읽을 수 있다. 터치 제스처, 마우스 입력, 키보드 입력, 음성 명령, 검색 질의 입력 등등과 같이 다양한 유형의 입력이 작업을 수행하는 데에 사용될 수 있다. 예컨대, 휴가 예약 작업을 수행하는 동안, 사용자는 검색 질의 "Florida vacations"(플로리다 휴가)를 검색 엔진에 입력할 수 있고, 검색 엔진은 사용자가 휴가 예약 작업을 완료하는 데에 사용할 수 있는 다양한 휴가 검색 결과를 회신할 수 있다.
이 개요는 상세한 설명에서 추가로 후술되는 개념 중 선택된 것을 단순화된 형태로 소개하기 위해 제공된다. 이 개요는 청구 대상의 주요 인자 또는 필수적 특징을 나타내는 것이 아니며, 청구 대상의 범주를 한정하는 데에 사용되도록 의도되지도 않는다.
무엇보다도, 작업 완료(task completion)를 용이하게 하기 위한 하나 이상의 시스템 및/또는 기법이 본 문서 내에 제공된다. 일례에서, 자연 언어 입력(natural language input)이 클라이언트 디바이스의 사용자로부터 수신될 수 있다(가령, 음성 명령 "what do I wear"(나 뭐 입지)). 자연 언어 입력은 사용자 작업 의도를 식별하기 위해 사용자와 연관된 사용자 정황 신호의 세트를 사용하여 평가될 수 있다(가령, 사용자는 다양한 유형의 사용자 정황 신호로의 액세스를 허여하기 위한 사전동의(opt-in) 허락(consent)을 제공하도록 적극적 조치(affirmative action)를 취할 수 있고/있거나 사용자는 어떤 유형의 사용자 정황 신호로의 액세스를 방지하도록 사전기피(opt-out)할 수 있음). 일례에서, 패션 앱을 통해 격식 있는 칵테일 드레스 아이디어를 본다는 사용자 작업 의도를 식별하기 위해 시간 사용자 신호(가령, 오후 6시의 현재 시간), 지리위치 사용자 신호(가령, 도심 호텔 위치), 이메일 데이터(가령, 고급 식당에서의 정찬 예약 이메일), 사용자 소셜 네트워크 프로파일(가령, 사용자가 여성임을 나타냄) 및/또는 다른 정보가 사용될 수 있다. 사용자 작업 의도를 식별하는 일례에서, 사용자 의도 질의가 자연 언어 입력에 기반하여 구성될 수 있고, 사용자 작업 의도를 식별하기 위해 사용자 정황 신호의 세트를 사용하여 평가될 수 있는 전역적 의도 후보(global intent candidate)(가령, 사용자 의도 질의와 유사한 검색 질의를 제출한 후 검색 엔진의 사용자가 어떤 작업을 수행하였는지)를 획득하기 위해 (가령, 원격 서버에 의해 호스팅되는) 작업 의도 데이터 구조가 질의될 수 있다.
사용자 작업 의도에 기반하여 사용자에게 작업 완료 기능이 노출될 수 있다. 예컨대, 사용자를 위해 패션 앱이 실행될 수 있다. 일례에서, 패션 앱은 사용자에 관련될 수 있는 정황 상태 내로 딥 론칭될(deep launched) 수 있다. 예컨대, 사용자 작업 의도에 기반하여 작업 실행 정황(가령, 여성 의류 파라미터, 정장 파라미터 및/또는 다른 정황 정보/파라미터)이 식별될 수 있다. 패션 앱은 작업 실행 정황에 기반하여 (가령, 여성 의류 파라미터 및 정장 파라미터에 대응하는 의류가 채워진(populated)) 여성 의류 옷 쇼핑 인터페이스 내로 딥 론칭될 수 있다. 이 방식으로, 자연 언어 입력에 기반하여 사용자에게 작업 완료 기능이 노출될 수 있다.
일례에서, 작업 완료를 용이하게 하기 위해 클라이언트 디바이스 상에 작업 조력자 컴포넌트(task facilitator component)가 구현될 수 있다(가령, 작업 조력자 컴포넌트는 사용자 정황 신호를 식별하고/하거나 로컬하게 활용할 수 있는데, 이는 사용자 데이터의 프라이버시(privacy)의 보전을 증진할 수 있음). 다른 예에서, 작업 완료를 용이하게 하기 위해 클라이언트 디바이스로부터 원격인 서버 상에 사용자 의도 제공자 컴포넌트가 구현될 수 있다(가령, 사용자 의도 제공자 컴포넌트는 자연 언어 입력 및/또는 자연 언어 입력으로부터 도출된 사용자 의도 질의를 수신할 수 있고, 클라이언트 디바이스에 전역적 의도 후보, 그리고/또는 작업 완료 기능을 노출하기 위한 명령어를 제공할 수 있다.
전술한 목적 및 관련된 목적의 성취를 위하여, 이하의 설명 및 부속된 도면은 어떤 예시적인 양상 및 구현을 개진한다. 이들은 하나 이상의 양상이 이용될 수 있는 다양한 방식 중 불과 몇 개를 나타낸다. 부속된 도면과 함께 고려되는 경우 이하의 상세한 설명으로부터 개시의 다른 양상, 이점 및 신규한 특징이 명백하게 될 것이다.
도 1은 작업 완료를 용이하게 하는 예시적인 방법을 보여주는 흐름도이다.
도 2는 작업 완료를 용이하게 하기 위한 예시적인 시스템을 보여주는 컴포넌트 블록도이다.
도 3은 작업 완료를 용이하게 하기 위한 예시적인 시스템을 보여주는 컴포넌트 블록도이다.
도 4a는 사용자 작업 의도를 수정하는 일례의 예시이다.
도 4b는 사용자 작업 의도를 수정하는 일례의 예시이다.
도 5a는 작업 완료를 용이하게 하고, 작업 의도 모델을 트레이닝하는 데에 사용자 피드백을 활용하기 위한 예시적인 시스템을 보여주는 컴포넌트 블록도이다.
도 5b는 작업 완료를 용이하게 하고, 작업 의도 모델을 트레이닝하는 데에 사용자 피드백을 활용하기 위한 예시적인 시스템을 보여주는 컴포넌트 블록도이다.
도 6은 작업 완료를 용이하게 하기 위한 예시적인 시스템을 보여주는 컴포넌트 블록도이다.
도 7은 본 문서 내에 개진된 사항 중 하나 이상을 구현하도록 구성된 프로세서 실행가능 명령어가 포함될 수 있는 예시적인 컴퓨터 판독가능 매체의 예시이다.
도 8은 본 문서 내에 개진된 사항 중 하나 이상이 구현될 수 있는 예시적인 컴퓨팅 환경을 보여준다.
청구 대상은 도면을 참조하여 이제 기술되는데, 여기서 비슷한 참조 번호는 일반적으로 도처에서 비슷한 구성요소를 나타내는 데에 사용된다. 이하의 설명에서, 설명을 위하여, 청구 대상의 이해를 제공하기 위해 다수의 특정 세부사항이 개진된다. 그러나, 청구 대상은 이들 특정 세부사항 없이 실시될 수 있음은 분명할 수 있다. 다른 사례에서, 청구 대상을 기술하는 것을 용이하게 하기 위해서 구조 및 디바이스가 블록도 형태로 예시된다.
작업 완료를 용이하게 하기 위한 하나 이상의 기법 및 시스템이 본 문서 내에 제공된다. 작업을 수행하려는 사용자 의도를 의미론적으로(semantically) 그리고/또는 정황상으로 이해하기 위해 자연 언어 입력이 평가될 수 있다. 자연 언어 입력은 전역적 사용자 정보(가령, 검색 질의를 제출한 후 검색 엔진의 다양한 사용자가 어떤 작업을 수행하였는지) 및/또는 개인맞춤 사용자 정보(personalized user information)(가령, 사용자에 의해 현재 소비되는 컨텐츠, 사용자의 위치(가령, GPS), 이메일, 일정표 약속(calendar appointment) 및/또는 다른 사용자 정황 신호(작업 완료를 용이하게 하기 위해 사용자가 제공하기로 사전동의한 것임))에 기반하여 평가될 수 있다. 이 방식으로, 자연 언어 입력의 전역적 및/또는 개인맞춤 평가에 기반하여 사용자에게 작업 완료 기능이 노출될 수 있다. 예컨대, 사용자 작업 의도로부터 식별된 작업 실행 정황과 연관된 정황 상태로 애플리케이션이 딥 론칭될 수 있다(가령, 음성 명령 "I am hungry"(나 배고파) 및 사용자 정황 신호, 예를 들어 사용자의 위치, 멕시코 음식에 관심 있는 소셜 네트워크 프로파일 등등에 기반하여 멕시코 음식점을 위한 메뉴의 뷰 내로 식당 앱이 론칭될 수 있음).
작업 완료를 용이하게 하는 일 실시예가 도 1의 예시적인 방법(100)에 의해 보여진다. 102에서, 방법이 시작한다. 104에서, 클라이언트 디바이스의 사용자로부터 자연 언어 입력이 수신될 수 있다. 예컨대, 모바일 디바이스를 통해 음성 명령 "I want to draw a car"(나 자동차 그리고 싶어)가 수신될 수 있다. 106에서, 자연 언어 입력은 평가될 수 있다. 자연 언어 입력을 평가하는 일례에서, 자연 언어 입력에 기반하여 사용자 의도 질의가 구성될 수 있다(가령, 자연 언어 입력은 사용자 의도 질의를 생성하기 위해 선택적으로 사용되고/되거나 수정될 수 있는 단어로 파싱될(parsed) 수 있음). 전역적 의도 후보를 식별하기 위해 사용자 의도 질의를 사용하여 작업 의도 데이터 구조가 질의될 수 있다(가령, 사용자 의도 질의는 작업 의도 데이터 구조를 포함하는, 클라이언트 디바이스에 원격인 서버로 발신될 수 있음). 예컨대, 작업 의도 데이터 구조는, 질의를 작업에 맵핑하는 하나 이상의 질의 대 의도 엔트리가 채워질 수 있다(가령, 그리기 질의가 미술 애플리케이션 실행하기 작업에 맵핑될 수 있거나, 자동차 질의가 주행 비디오 보기 작업에 맵핑될 수 있거나, 자동차 질의가 자동차 리뷰 웹사이트 방문하기 작업에 맵핑될 수 있는 등). 질의 대 의도 엔트리는 커뮤니티 사용자 검색 로그로부터 도출될 수 있다(가령, 자동차 질의를 제출한 후에 사용자가 주행 비디오를 봤을 수 있음, 그리기 질의를 제출한 후에 사용자가 미술 애플리케이션을 열었을 수 있음 등등). 전역적 의도 후보는 사용자 의도 질의와 매칭되는 질의 대 의도 엔트리로부터 도출될 수 있다(가령, 그리기 질의 대 미술 애플리케이션 의도 엔트리를 사용자 의도 질의에 관련된 것으로 선택하는 순위화 기법에 기반하여 전역적 의도 후보로서 그리기 질의 대 미술 애플리케이션 의도 엔트리가 식별될 수 있음).
일례에서, 자연 언어 입력(가령, 그리고/또는 전역적 의도 후보)은 사용자 작업 의도를 삭별하기 위해 사용자와 연관된 사용자 정황 신호의 세트를 사용하여 평가될 수 있다. 사용자 정황 신호의 세트는 지리위치(가령, 사용자가 커피숍에 있을 수 있음), 시간, 실행 애플리케이션(가령, 자동차 디자인 애플리케이션), 설치된 애플리케이션(가령, 미술 그리기 애플리케이션), 앱 스토어 애플리케이션(가령, 자동차 리뷰 애플리케이션), 일정표 데이터(가령, 자동차 리뷰를 생성하기 위한 일정표 엔트리), 이메일 데이터, 소셜 네트워크 데이터(가령, 사용자가 자동차 잡지 회사에서 일한다는 표시), 디바이스 폼 팩터(가령, 직장의 데스크톱 컴퓨터), 사용자 검색 로그(가령, 사용자가 최근에 자동차 사진 웹사이트를 방문하였을 수 있음), 사용자에 의해 소비된 컨텐츠(가령, 자동차 사진 및/또는 비디오), 자연 언어 입력에 대한 커뮤니티 사용자 의도(가령, 그리기 질의 대 미술 애플리케이션 의도 엔트리에 대응하는 전역적 의도 후보)를 포함할 수 있다. 사용자 정황 신호의 세트는 사용자 작업 완료를 용이하게 하기 위하여 사용자가 공유하기로 사전동의하였을 수 있는 정보를 포함할 수 있다. 일례에서, 미술 그리기 애플리케이션을 실행하고 자동차를 그린다는 사용자 작업 의도가 식별될 수 있다.
일례에서, 사용자 작업 의도에 기반하여 사용자에게 사용자 상세 인터페이스(user refinement interface)가 제공될 수 있다(가령, 사용자는 사용자 작업 의도가 맞는지에 대해 질문을 받을 수 있음). 사용자 상세 인터페이스를 통해 사용자 작업 상세 입력 또는 사용자 확인응답이 수신될 수 있다. 예컨대, 사용자가 자동차 리뷰 애플리케이션을 열고 자동차의 그림이 있는 자동차 리뷰를 생성한다는 상세화된 사용자 작업 의도를 가짐을 사용자는 나타낼 수 있다. 따라서, 사용자 작업 의도는 사용자 작업 상세 입력에 기반하여 수정될 수 있다.
108에서, 사용자 작업 의도에 기반하여 사용자에게 작업 완료 기능이 노출될 수 있다. 작업 완료 기능은 문서, 애플리케이션(가령, 애플리케이션을 실행하는 것, 애플리케이션을 딥 론칭하는 것, 앱 스토어로부터 애플리케이션을 다운로드하는 것 등등), 운영 체제 설정, 음악 개체, 비디오, 사진, 소셜 네트워크 프로파일, 지도, 검색 결과, 그리고/또는 다양한 다른 객체 및/또는 기능(가령, 책을 구매하는 기능, 식당의 테이블을 예약하는 기능 등등)으로의 액세스를 사용자에게 제공하는 것을 포함할 수 있다. 일례에서, 작업 완료 기능은 자동차 리뷰 애플리케이션을 열고 자동차의 그림이 있는 자동차 리뷰를 생성하려는 상세화된 사용자 작업 의도에 기반하여 자동차 리뷰 애플리케이션을 실행하는 것을 포함할 수 있다. 사용자 작업 의도에 기반하여 작업 실행 정황이 식별될 수 있다(가령, 자동차 리뷰 애플리케이션의 자동차 리뷰 생성 인터페이스가 작업 실행 정황으로서 식별될 수 있음). 자동차 리뷰 애플리케이션은 작업 실행 정황과 연관된 정황 상태 내로 딥 론칭될 수 있다(가령, 자동차 리뷰 애플리케이션은 자동차 리뷰 읽기 인터페이스가 아니라, 자동차 리뷰 생성 인터페이스를 디스플레이하도록 지시받을 수 있음). 일례에서, 작업 실행 정황은 하나 이상의 애플리케이션 파라미터(가령, 자동차 리뷰 생성 인터페이스를 통해 자동차 그리기 인터페이스가 디스플레이되어야 하는지를 지정하는 데에 사용되는 자동차 그리기 인터페이스 디스플레이하기 파라미터)를 포함할 수 있다. 자동차 리뷰 애플리케이션에는 하나 이상의 애플리케이션 파라미터에 대응하는 정보가 채워질 수 있다(가령, 자동차 그리기 인터페이스가 디스플레이될 수 있음). 이 방식으로, 정황상으로 관련된 상태 내의 딥 론칭된 애플리케이션과 같은 작업 완료 기능을 사용자에게 노출하는 데에 자연 언어 입력이 사용될 수 있다.
일례에서, 작업 완료 기능을 위한 사용자 피드백이 식별될 수 있다. 예컨대, 사용자는 작업 완료 기능의 일부로서 앱 스토어로부터 다운로드할 자동차 리뷰 생성 앱의 제안을 수신하기를 사용자가 선호했을 것임을 나타낼 수 있다. 사용자 피드백은 작업 의도 데이터 구조가 채워지는 데에 사용되는 작업 의도 모델을 트레이닝하기 위해 서버(가령, 작업 의도 데이터 구조를 호스팅하는 원격 서버)에 제공될 수 있다(가령, 자동차 리뷰 생성 앱을 미리보기하고 다운로드하는 작업에 자연 언어 입력 및/또는 사용자 의도 질의를 매칭시키기 위해 새로운 질의 대 의도 엔트리가 생성될 수 있음). 이 방식으로, 자연 언어 입력에 기반하여 작업 완료를 용이하게 하는 것이 개선될 수 있다. 110에서, 방법은 종료한다.
도 2는 작업 완료를 용이하게 하기 위한 시스템(200)의 일례를 보여준다. 시스템(200)은 작업 의도 트레이닝 컴포넌트(204) 및/또는 사용자 의도 제공자 컴포넌트(210)를 포함한다. 작업 의도 트레이닝 컴포넌트(204)는 작업 의도 모델(206)을 트레이닝하기 위해 커뮤니티 사용자 검색 로그 데이터(202)를 평가하도록 구성될 수 있다. 커뮤니티 사용자 검색 로그 데이터(202)는 사용자의 전역적으로 이용가능한 검색 질의 및 검색 질의의 제출 후에 방문된/소비된 컨텐츠에 대한 정황 정보를 포함할 수 있다(가령, 사용자가 검색 질의 "I am hungry"(나 배고파)를 제출하였을 수 있고 그 후에 식당 예약 서비스를 방문하였을 수 있음). 이 방식으로, 작업 의도 모델(206)은 검색 엔진 또는 다른 검색 인터페이스(가령, 운영 체제 검색 참(charm))의 사용자와 같은 복수의 사용자의 사용자 활동에 기반하여 트레이닝될 수 있다. 작업 의도 모델(206)은 하나 이상의 질의 대 의도 엔트리로써 작업 의도 데이터 구조(208)가 채워지는 데에 활용될 수 있다. 질의 대 의도 엔트리는 질의를 사용자 작업과 매칭시킬 수 있는데, 이는 전역적인 커뮤니티 관점에서 사용자에게의 노출을 위한 작업 완료 기능을 식별하는 데에 사용될 수 있다.
사용자 의도 제공자 컴포넌트(210)는 클라이언트 디바이스로부터 사용자 의도 질의(242)를 수신하도록 구성될 수 있다. 사용자 의도 질의(242)는 클라이언트 디바이스 상에서 수신된 자연 언어 입력으로부터 도출될 수 있다(가령, 휴가 매체를 보기 위한 사용자 의도 질의가 "show me my vacation"(나한테 내 휴가를 보여줘)의 자연 언어 입력으로부터 도출될 수 있음). 사용자 의도 제공자 컴포넌트(210)는 전역적 의도 후보(214)(가령, 휴가와 연관된 메타데이터를 포함하는 디스플레이 사진의 전역적 의도 후보)를 식별하기 위해 사용자 의도 질의(242)를 사용하여 작업 의도 데이터 구조(208)에 질의할 수 있다. 전역적 의도 후보(214)는 자연 언어 입력으로부터 도출된 사용자 작업 의도와 연관된 작업 완료를 용이하게 하기 위해 클라이언트 디바이스에 제공될 수 있다(가령, 휴가 사진이 디스플레이되는 정황 상태 내로 사진 뷰어 앱이 딥 론칭될 수 있음).
도 3은 작업 완료를 용이하게 하기 위한 시스템(300)의 일례를 보여준다. 시스템(300)은 작업 조력자 컴포넌트(306)를 포함한다. 작업 조력자 컴포넌트(306)는 클라이언트 디바이스(302)와 연관될(가령, 클라이언트 디바이스(302) 상에서 로컬로, 예를 들어 개인 비서/추천 애플리케이션에 의해 호스팅되거나, 원격으로 예를 들어 클라우드 기반 추천 서비스에 의해 호스팅될) 수 있다. 작업 조력자 컴포넌트(306)는 클라이언트 디바이스(302)의 사용자로부터 자연 언어 입력(304)을 수신할 수 있다. 예컨대, "I am starving"(나 허기져 있어)의 자연 언어 입력(304)이 음성 명령으로서 수신될 수 있다. 자연 언어 입력(304)은 사용자 작업 의도(310)를 식별하기 위해 사용자와 연관된 사용자 정황 신호의 세트(308)를 사용하여 평가될 수 있다. 일례에서, 사용자 작업 의도(310)는 식당 앱을 열고 멕시코 음식점 정보를 보려는 의도에 대응할 수 있는데, 이는 사용자가 멕시코 음식을 좋아함을 나타내는 소셜 네트워크 프로파일, 도심이라는 현재 위치, 걷는 이동 방식(walking mode of travel), 그리고/또는 다른 사용자 정황 신호(가령, 사용자가 그러한 신호를 본 문서 내에 제공된 바와 같이 사용되게 하기로 사전동의하였음)에 기반할 수 있다. 다른 예에서, 사용자 의도 질의가 자연 언어 입력에 기반하여 구성될 수 있고, 사용자 작업 의도(310)를 식별하는 데에 사용될 수 있는 (가령, 자연 언어 입력(304) 및/또는 사용자 의도 질의와 유사한 검색 질의를 제출한 후 사용자의 커뮤니티가 어떤 작업을 수행하였는지를 나타내는) 전역적 의도 후보를 식별하기 위해 작업 의도 데이터 구조(가령, 도 2에 예시된 작업 의도 데이터 구조(208))에 질의하는 데에 사용될 수 있다.
작업 조력자 컴포넌트(306)는 사용자에게 작업 완료 기능(312)을 노출하도록 구성될 수 있다. 예컨대, 작업 완료 기능(312)은 식당 앱(314)을 딥 론칭하는 것에 대응할 수 있다. 사용자의 현재 위치는 사용자 작업 의도(310)에 대응하는 멕시코 음식점 개체 후보의 세트를 식별하는 데에 사용될 수 있다. 멕시코 음식점 개체 후보의 세트로부터 한 멕시코 음식점 개체 후보가 사용자의 현재 위치에 대한 그 멕시코 음식점 개체 후보의 근접성에 기반하여 선택될 수 있다. 이 방식으로, 식당 앱(314)은 딥 론칭될 수 있는데, 여기서 식당 앱(314)은 그 멕시코 음식점 개체 후보와 연관된 정보로 채워진다(가령, 보행 방향, 메뉴 등등). 이 방식으로, 식당 앱(314)은 자연 언어 입력(304) 및/또는 사용자 정황 신호의 세트(308)에 기반하여 정황상으로 관련된 상태 내로 딥 론칭이 된다.
도 4a 및 도 4b는 사용자 작업 의도를 수정하는 예를 보여준다. 도 4a는 작업 조력자 컴포넌트(406)가 "what is George up to"(조지는 뭘 하고 있지)의 자연 언어 입력(404)을 수신하는 예(400)를 보여준다. 작업 조력자 컴포넌트(406)는 사용자 정황 신호의 세트(408)(가령, 소셜 네트워크 친구 George 연락처, 직장 동료 George 연락처, 형제 George 연락처 등등)에 기반하여 자연 언어 입력(404)을 평가하여 George라는 이름의 사용자와 통신하려는 사용자 작업 의도(414)를 식별할 수 있다. 작업 조력자 컴포넌트(406)는 (가령, 여러 사용자가 George라고 명명되기 때문에) 사용자 작업 의도(414)에 기반하여 사용자에게 사용자 상세 인터페이스(412)를 제공(410)할 수 있다. 사용자 상세 인터페이스(412)는 어느 George에게 연락할지를 지정할 것을 사용자에게 요청할 수 있다.
도 4b는 작업 조력자 컴포넌트(406)가 사용자 상세 인터페이스(412)를 통해 사용자 작업 상세 입력(422)를 수신하는 예(420)를 보여준다. 사용자 작업 상세 입력(422)은 소셜 네트워크 친구 George가 연락이 되어야 함을 지정할 수 있다. 작업 조력자 컴포넌트(406)는 사용자 작업 의도(414)를 수정할 수 있고, 사용자 작업 의도(414)에 대한 수정에 기반하여 사용자에게 작업 완료 기능(424))을 노출할 수 있다. 예컨대, 소셜 네트워크 친구 George와 연락하기 위한 통신 허브 내로 통신 애플리케이션(426)이 딥 론칭될 수 있다.
도 5a 및 도 5b는 작업 완료를 용이하게 하는 것과 작업 의도 모델(510)을 트레이닝하기 위해 사용자 피드백을 활용하는 것을 위한 시스템(500)의 일례를 보여준다. 시스템(500)은 작업 조력자 컴포넌트(506), 사용자 의도 제공자 컴포넌트(508) 및/또는 작업 의도 트레이닝 컴포넌트(514)를 포함한다. 작업 조력자 컴포넌트(506)는 클라이언트 디바이스(502)의 사용자로부터 "movie ideas"(영화 아이디어)의 자연 언어 입력(504)을 수신할 수 있다. 작업 조력자 컴포넌트(506)는 자연 언어 입력(504)에 기반하여 사용자 의도 질의를 구성할 수 있다(가령, 영화 질의). 작업 조력자 컴포넌트(506)는 사용자 의도 질의를 사용자 의도 제공자 컴포넌트(508)에 발신할 수 있다. 사용자 의도 제공자 컴포넌트(508)는 사용자 의도 질의를 사용하여 작업 의도 데이터 구조(512)에 질의하여 전역적 의도 후보(516)(가령, 사용자의 커뮤니티가 영화 유형 질의를 제출한 후 자동차 경주 영화 미리보기를 재생하였을 수 있음)를 식별할 수 있다. 작업 조력자 컴포넌트(506)는 사용자 정황 신호의 세트(518)(가령, 비디오 플레이어 앱(522)이 클라이언트 디바이스(502) 상에 설치되어 있을 수 있음)를 사용하여 전역적 의도 후보(516)를 평가하여 비디오 플레이어 앱(522)을 사용하여 자동차 경주 영화 미리보기를 재생하려는 사용자 작업 의도를 식별할 수 있다. 작업 조력자 컴포넌트(506)는 사용자 작업 의도에 기반하여 사용자에게 작업 완료 기능(520)을 노출할 수 있다. 예컨대, 자동차 경주 영화 미리보기는 비디오 플레이어 앱(522)을 통해 재생될 수 있다.
도 5b는 작업 조력자 컴포넌트(506)가 작업 완료 기능(520)을 위한 사용자 피드백(544)을 수신하는 것을 보여준다. 예컨대, 사용자가 영화 미리보기 대신에 집필된 리뷰(written review)를 보았기를 선호하였을 것임을 사용자는 사용자 피드백 제출 인터페이스(542)를 통해 지정할 수 있다. 사용자 피드백(544)은 작업 의도 트레이닝 컴포넌트(514)에 제공될 수 있다. 작업 의도 트레이닝 컴포넌트(514)는 사용자 피드백(544)에 기반하여 작업 의도 모델(510)을 트레이닝(546)하도록 구성될 수 있고, 트레이닝된 작업 의도 모델(510)은 트레이닝(546)에 기반하여 작업 의도 데이터 구조(512)를 조절할 수 있다(가령, 하나 이상의 질의 대 의도 엔트리가 추가, 제거 및/또는 수정될 수 있으니, 예를 들어 영화 질의 대 영화 리뷰 읽기 작업 엔트리와 연관된 가중치에의 증가 및 영화 질의 대 영화 미리보기 재생하기 작업 엔트리와 연관된 가중치에의 감소).
도 6은 작업 완료를 용이하게 하기 위한 시스템(600)의 일례를 보여준다. 시스템(600)은 작업 조력자 컴포넌트(606)를 포함한다. 일례에서, 작업 조력자 컴포넌트(606)는 사용자로부터 "I need shoes"(나 신발이 필요해)의 자연 언어 입력(604)을 수신할 수 있다. 작업 조력자 컴포넌트(606)는 사용자 작업 의도(610)를 식별하기 위해 사용자 정황 신호의 세트(608)에 기반하여 자연 언어 입력(604)을 평가할 수 있다. 예컨대, 사용자 작업 의도(610)는 앱 스토어로부터 다운로드를 위해 이용가능한 쇼핑 앱(614)을 통해 사이즈 12 운동화를 구입하는 의도에 대응할 수 있는데, 이는 운동화 웹사이트에 대한 사용자의 검색 이력, 6개월마다 사이즈 12 운동화의 이전 구매 이력(마지막 쌍은 6개월 전에 구매됨), 사용자가 개인 마라톤 트레이너임을 나타내는 소셜 네트워크 프로파일, 그리고/또는 다른 사용자 정황 신호에 기반하여 식별될 수 있다. 작업 조력자 컴포넌트(606)는 사용자 작업 의도(610)에 기반하여 사용자에게 작업 완료 기능(612)을 노출할 수 있다. 예컨대, 작업 조력자 컴포넌트(606)는 앱 스토어로부터 (가령, 사용자에 의해 주어진 허가에 기반하여) 쇼핑 앱(614)을 다운로드할 수 있고, 판매용으로 사이즈 12 운동화를 디스플레이하기 위해 쇼핑 앱(614)을 딥 론칭할 수 있다.
또 다른 실시예는 본 문서 내에 제시된 기법 중 하나 이상을 구현하도록 구성된 프로세서 실행가능 명령어를 포함하는 컴퓨터 판독가능 매체를 수반한다. 컴퓨터 판독가능 매체 또는 컴퓨터 판독가능 디바이스의 예시적 실시예가 도 7에 예시되는데, 여기서 구현(700)은 컴퓨터 판독가능 매체(708), 예를 들어 CD-R, DVD-R, 플래시 드라이브, 하드 디스크 드라이브의 플래터 등을 포함하는데, 그 위에 컴퓨터 판독가능 데이터(706)가 인코딩된다. 이 컴퓨터 판독가능 데이터(706), 예를 들어 0 또는 1 중 적어도 하나를 포함하는 이진 데이터는 결국 본 문서 내에 개진된 원리 중 하나 이상에 따라 동작하도록 구성된 컴퓨터 명령어(704)의 세트를 포함한다. 몇몇 실시예에서, 프로세서 실행가능 컴퓨터 명령어(704)는, 예컨대, 도 1의 예시적인 방법(100)의 적어도 일부와 같은 방법(702)을 수행하도록 구성된다. 몇몇 실시예에서, 프로세서 실행가능 명령어(704)는, 예컨대, 도 2의 예시적인 시스템(200)의 적어도 일부, 도 3의 예시적인 시스템(300)의 적어도 일부, 도 5a 및 도 5b의 예시적인 시스템(500)의 적어도 일부, 그리고/또는 도 6의 예시적인 시스템(600)의 적어도 일부와 같은 시스템을 구현하도록 구성된다. 본 문서 내에 제시된 기법에 따라 동작하도록 구성된 많은 그러한 컴퓨터 판독가능 매체가 통상의 기술자에 의해 안출된다.
구조적 특징 및/또는 방법론적 행위에 특정한 말로 대상물이 기술되었으나, 부기된 청구항 내에 정의된 대상물은 전술된 특정 특징 또는 행위에 반드시 한정되지는 않음이 이해되어야 한다. 오히려, 전술된 특정 특징 및 행위는 청구항 중 적어도 몇몇을 구현하는 예시적 형태로서 개시된다.
이 출원에서 사용되는 바와 같이, 용어 "컴포넌트", "모듈", "시스템", "인터페이스" 및/또는 유사한 것은 일반적으로, 하드웨어든, 하드웨어와 소프트웨어의 조합이든, 소프트웨어든, 또는 실행 중인 소프트웨어든, 컴퓨터 관련 개체를 나타내도록 의도된다. 예컨대, 컴포넌트는 프로세서 상에서 구동되는 프로세스, 프로세서, 객체, 실행가능물, 실행 쓰레드, 프로그램 및/또는 컴퓨터일 수 있으나, 이에 한정되지 않는다. 예시로서, 제어기 상에서 구동되는 애플리케이션 및 그 제어기 양자 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트가 프로세스 및/또는 실행 쓰레드 내에 있을 수도 있고 컴포넌트가 둘 이상의 컴퓨터 간에 분산되고/되거나 하나 이상의 컴퓨터 상에 로컬화될 수도 있다.
나아가, 청구 대상은 개시된 대상물을 구현하도록 컴퓨터를 제어하기 위해 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합을 산출하는 데에 표준 프로그래밍 및/또는 엔지니어링 기법을 사용하여 방법, 장치 또는 제조 물품으로서 구현될 수 있다. 본 문서에서 사용되는 바와 같은 용어 "제조 물품"은 임의의 컴퓨터 판독가능 디바이스, 반송파 또는 매체로부터 액세스가능한 컴퓨터 프로그램을 망라하도록 의도된다. 물론, 청구 대상의 범주 또는 사상으로부터 벗어나지 않고서 이 구성에 대해 많은 수정이 행해질 수 있다.
도 8 및 이하의 논의는 본 문서 내에 개진된 사항 중 하나 이상의 사항의 실시예를 구현하기 위한 적합한 컴퓨팅 환경의 간략한 전반적인 설명을 제공한다. 도 8의 운영 환경은 적합한 운영 환경의 하나의 예일 뿐이며 운영 환경의 사용 또는 기능의 범주에 대해 어떠한 한정도 시사하도록 의도되지 않는다. 예시적 컴퓨팅 디바이스는 개인용 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩톱 디바이스, (모바일 전화, PDA, 미디어 플레이어 등) 모바일 디바이스, 다중프로세서 시스템, 가전기기, 미니 컴퓨터, 메인프레임 컴퓨터, 위의 시스템 또는 디바이스 중 임의의 것을 포함하는 분산 컴퓨팅 환경, 그리고 유사한 것을 포함하나, 이에 한정되지 않는다.
필수는 아니지만, 실시예는 하나 이상의 컴퓨팅 디바이스에 의해 실행되는 "컴퓨터 판독가능 명령어"의 일반적인 맥락에서 기술된다. 컴퓨터 판독가능 명령어는 컴퓨터 판독가능 매체를 통하여 배포될 수 있다(아래에서 논의됨). 컴퓨터 판독가능 명령어는 프로그램 모듈, 예를 들어 함수, 객체, 애플리케이션 프로그래밍 인터페이스(API), 데이터 구조 및 유사한 것(이들은 특정한 작업을 수행하거나 특정한 추상적 데이터 유형을 구현함)으로서 구현될 수 있다. 보통, 컴퓨터 판독가능 명령어의 기능은 다양한 환경에서 원하는 대로 조합되거나 분산될 수 있다.
도 8은 본 문서 내에 제공된 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(812)를 포함하는 시스템(800)의 일례를 보여준다. 하나의 구성에서, 컴퓨팅 디바이스(812)는 적어도 하나의 처리 유닛(816) 및 메모리(818)를 포함한다. 컴퓨팅 디바이스의 맞는 구성 및 유형에 따라, 메모리(818)는 (예컨대, RAM과 같은) 휘발성이거나, (예컨대, ROM, 플래시 메모리 등등과 같은) 비휘발성이거나 그 둘의 어떤 조합일 수 있다. 이 구성은 점선(814)에 의해 도 8 내에 예시된다.
다른 실시예에서, 디바이스(812)는 추가적인 특징 및/또는 기능을 포함할 수 있다. 예컨대, 디바이스(812)는 자기식 스토리지, 광학식 스토리지 및 유사한 것을 포함하나 이에 한정되지 않는 추가적인 스토리지(가령, 탈착가능형 및/또는 탈착불가능형)를 또한 포함할 수 있다. 그러한 추가적인 스토리지는 스토리지(820)에 의해 도 8 내에 예시된다. 하나의 실시예에서, 본 문서 내에 제공된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독가능 명령어가 스토리지(820) 내에 있을 수 있다. 스토리지(820)는 또한 운영 체제, 애플리케이션 프로그램 및 유사한 것을 구현하기 위한 다른 컴퓨터 판독가능 명령어를 저장할 수 있다. 컴퓨터 판독가능 명령어는, 예컨대, 처리 유닛(816)에 의한 실행을 위해 메모리(818) 내에 로딩될 수 있다.
본 문서에서 사용되는 바와 같은 용어 "컴퓨터 판독가능 매체"는 컴퓨터 저장 매체를 포함한다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어 또는 다른 데이터와 같은 정보의 저장을 위해 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 탈착가능 및 비탈착가능 매체를 포함한다. 메모리(818) 및 스토리지(820)는 컴퓨터 저장 매체의 예이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 다른 광학 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스, 또는 원하는 정보를 저장하는 데에 사용될 수 있고 디바이스(812)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하나, 이에 한정되지 않는다. 그러나, 컴퓨터 저장 매체는 전파 신호는 포함하지 않는다. 오히려, 컴퓨터 저장 매체는 전파 신호를 배제한다. 임의의 그러한 컴퓨터 저장 매체가 디바이스(812)의 일부일 수 있다.
디바이스(812)는 또한 디바이스(812)로 하여금 다른 디바이스와 통신할 수 있게 하는 통신 연결(826)을 포함할 수 있다. 통신 연결(826)은 모뎀, 네트워크 인터페이스 카드(Network Interface Card: NIC), 통합된 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 연결, 또는 컴퓨팅 디바이스(812)를 다른 컴퓨팅 디바이스에 연결하기 위한 다른 인터페이스를 포함할 수 있으나, 이에 한정되지 않는다. 통신 연결(826)은 유선 연결 또는 무선 연결을 포함할 수 있다. 통신 연결(826)은 통신 매체를 송신하고/하거나 수신할 수 있다.
용어 "컴퓨터 판독가능 매체"는 통신 매체를 포함할 수 있다. 통신 매체는 보통 컴퓨터 판독가능 명령어 또는 다른 데이터를 반송파 또는 다른 전송 메커니즘과 같은 "변조된 데이터 신호" 내에 실체화하고 임의의 정보 전달 매체를 포함한다. 용어 "변조된 데이터 신호"는 신호 내에 정보를 인코딩하는 것과 같은 방식으로 그 특성 중 하나 이상이 설정되거나 변경된 신호를 포함할 수 있다.
디바이스(812)는 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 및/또는 임의의 다른 입력 디바이스와 같은 입력 디바이스(824)를 포함할 수 있다. 하나 이상의 디스플레이, 스피커, 프린터 및/또는 임의의 다른 출력 디바이스와 같은 출력 디바이스(822)가 또한 디바이스(812) 내에 포함될 수 있다. 입력 디바이스(824) 및 출력 디바이스(822)는 유선 연결, 무선 연결 또는 이들의 임의의 조합을 통하여 디바이스(812)에 연결될 수 있다. 하나의 실시예에서, 다른 컴퓨팅 디바이스로부터의 입력 디바이스 또는 출력 디바이스가 컴퓨팅 디바이스(812)에 대한 입력 디바이스(824) 또는 출력 디바이스(822)로서 사용될 수 있다.
컴퓨팅 디바이스(812)의 컴포넌트는 다양한 상호연결, 예를 들어 버스(bus)에 의해 연결될 수 있다. 그러한 상호연결은 주변 컴포넌트 상호연결(PCI), 예를 들어 PCI 익스프레스(PCI Express), USB, 파이어와이어(IEEE 1394), 광학식 버스 구조체 및 유사한 것을 포함할 수 있다. 다른 실시예에서, 컴퓨팅 디바이스(812)의 컴포넌트는 네트워크에 의해 상호연결될 수 있다. 예컨대, 메모리(818)는 네트워크에 의해 상호연결된 상이한 물리적 위치에 위치된 여러 물리적 메모리 유닛으로 구성될 수 있다.
컴퓨터 판독가능 명령어를 저장하는 데에 활용되는 저장 디바이스가 네트워크에 걸쳐서 분산될 수 있음을 당업자는 인식할 것이다. 예컨대, 네트워크(828)를 통하여 액세스가능한 컴퓨팅 디바이스(830)는 본 문서 내에 제공된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독가능 명령어를 저장할 수 있다. 컴퓨팅 디바이스(812)는 컴퓨팅 디바이스(830)를 액세스하고 실행을 위해 컴퓨터 판독가능 명령어의 일부 또는 전부를 다운로드할 수 있다. 대안적으로, 컴퓨팅 디바이스(812)는 필요에 따라, 컴퓨터 판독가능 명령어의 단편을 다운로드할 수 있거나, 몇몇 명령어는 컴퓨팅 디바이스(812)에서 그리고 몇몇은 컴퓨팅 디바이스(830)에서 실행될 수 있다.
실시예의 다양한 동작이 본 문서 내에 제공된다. 하나의 실시예에서, 기술된 동작 중 하나 이상은 하나 이상의 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 판독가능 명령어를 구성할 수 있는데, 이는 만약 컴퓨팅 디바이스에 의해 실행되는 경우 컴퓨팅 디바이스로 하여금 기술된 동작을 수행하게 할 것이다. 동작 중 몇몇 또는 전부가 기술되는 순서는 이들 동작이 반드시 순서 의존적임을 암시하는 것으로 해석되어서는 안 된다. 이 설명의 혜택을 보는 당업자에 의해 대안적인 순서화(ordering)가 인식될 것이다. 또한, 모든 동작이 본 문서 내에 제공된 각각의 실시예 내에 반드시 존재하지는 않음이 이해될 것이다. 또한, 몇몇 실시예에서 모든 동작이 필수적이지는 않음이 이해될 것이다.
또한, 달리 명시되지 않는 한, "제1", "제2" 및/또는 유사한 것은 시간적 양상, 공간적 양상, 순서화 등등을 암시하도록 의도되지 않는다. 오히려, 그러한 용어는 특징, 구성요소, 항목 등등을 위한 식별자, 명칭 등등으로서 사용될 뿐이다. 예컨대, 제1 객체 및 제2 객체는 일반적으로 객체 A 및 객체 B 혹은 두 개의 상이한 또는 두 개의 똑같은 객체 혹은 동일 객체에 대응한다.
더욱이, "예시적인"은 반드시 유리한 것으로서가 아니라 예, 사례, 예시 등등으로서의 역할을 하는 것을 의미하도록 본 문서에서 사용된다. 본 문서에서 사용되는 바와 같이, "또는"은 배타적인 "또는"이 아닌 포괄적인 "또는"을 의미하도록 의도된다. 추가로, 이 출원에서 사용되는 바와 같은 "한" 또는 "일"은 일반적으로 달리 명시되거나 단수 형태로 지향됨이 맥락으로부터 분명하지 않은 한 "하나 이상"을 의미하도록 해석되어야 한다. 또한, A 및 B 중 적어도 하나 그리고/또는 유사한 것은 일반적으로 A 또는 B 또는 A와 B 양자 모두를 의미한다. 나아가, "포함한다", "가지는", "가진다", "갖는" 및/또는 그 파생어가 상세한 설명에서든 또는 청구항에서든 사용되는 한, 그러한 용어는 용어 "포함하는"과 유사한 방식으로 포괄적이도록 의도된다.
또한, 하나 이상의 구현에 관해서 개시가 도시되고 기술되었으나, 균등한 변경 및 수정이 이 명세서 및 부속된 도면의 읽기와 이해에 기반하여 다른 당업자에게 떠오를 것이다. 개시는 모든 그러한 수정 및 변경을 포함하며 이하의 청구항의 범주에 의해서만 한정된다. 특히 전술된 컴포넌트(가령, 구성요소, 리소스 등등)에 의해 수행되는 다양한 기능에 관해서, 그러한 컴포넌트를 기술하는 데에 사용되는 용어는, 비록 개시된 구조와 구조적으로 균등하지 않을지라도, 달리 표시되지 않는 한, 기술된 컴포넌트의 지정된 기능을 수행하는 임의의 컴포넌트(가령, 기능적으로 균등함)에 대응하도록 의도된다. 추가로, 몇 개의 구현 중 오직 하나에 관해서 개시의 특정한 특징이 개시되었을 수 있으나, 그러한 특징은 임의의 주어진 또는 특정한 적용을 위해 요망되고 유리할 수 있는 대로 다른 구현의 하나 이상의 다른 특징과 조합될 수 있다.

Claims (10)

  1. 작업 완료(task completion)를 용이하게 하기 위한 방법으로서,
    클라이언트 디바이스의 사용자로부터 자연 언어 입력을 수신하는 단계와,
    사용자 작업 의도를 식별하기 위해, 상기 사용자와 연관된 사용자 정황 신호의 세트를 사용하여 상기 자연 언어 입력을 평가하는 단계와,
    상기 사용자 작업 의도에 기반하여 상기 사용자에게 작업 완료 기능을 노출하는 단계
    를 포함하되,
    상기 노출하는 단계는
    상기 사용자 작업 의도에 기반하여 작업 실행 정황을 식별하는 단계 - 상기 작업 실행 정황은 애플리케이션 파라미터를 포함함 - 와,
    상기 작업 실행 정황과 연관된 정황 상태 내로 애플리케이션을 딥 론칭하는(deep launching) 단계 - 상기 애플리케이션에는 상기 애플리케이션 파라미터에 대응하는 정보가 채워짐(populated) - 를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 애플리케이션을 딥 론칭하는 단계는, 상기 애플리케이션을 통해 문서, 사진, 비디오, 웹사이트 및 소셜 네트워크 데이터 중 적어도 하나로의 액세스를 상기 사용자에게 제공하는 단계를 포함하는
    방법.
  3. 제1항에 있어서,
    상기 자연 언어 입력을 평가하는 단계는,
    상기 자연 언어 입력에 기반하여 사용자 의도 질의를 구성하는 단계와,
    전역적 의도 후보를 식별하기 위해 상기 사용자 의도 질의를 사용하여 작업 의도 데이터 구조에 질의하는 단계와,
    상기 사용자 작업 의도를 식별하기 위해 상기 사용자 정황 신호의 세트를 사용하여 상기 전역적 의도 후보를 평가하는 단계
    를 포함하는
    방법.
  4. 제3항에 있어서,
    상기 작업 의도 데이터 구조에 질의하는 단계는
    상기 작업 의도 데이터 구조를 포함하는 서버에 상기 사용자 의도 질의를 발신하는 단계와,
    상기 서버로부터 상기 전역적 의도 후보를 수신하는 단계를 포함하는
    방법.
  5. 제1항에 있어서,
    상기 애플리케이션은 개인 비서 애플리케이션(personal assistant application)을 포함하는
    방법.
  6. 제4항에 있어서,
    상기 작업 완료 기능을 위한 사용자 피드백을 식별하는 단계와,
    상기 작업 의도 데이터 구조를 채우는데 사용되는 작업 의도 모델을 트레이닝하기 위해 상기 서버에 상기 사용자 피드백을 제공하는 단계를 포함하는
    방법.
  7. 제1항에 있어서,
    상기 애플리케이션을 딥 론칭하는 단계는,
    상기 사용자의 현재 위치를 식별하는 단계와,
    상기 사용자 작업 의도에 대응하는 개체 후보의 세트를 식별하는 단계와,
    상기 현재 위치에 대한 상기 개체 후보의 근접성에 기반하여 상기 개체 후보의 세트로부터 개체 후보를 선택하는 단계와,
    상기 개체 후보와 연관된 정보를 상기 애플리케이션에 채우는 단계를 포함하는
    방법.
  8. 제1항에 있어서,
    상기 사용자 작업 의도에 기반하여 상기 사용자에게 사용자 상세 인터페이스를 제공하는 단계와,
    상기 사용자 상세 인터페이스를 통해 사용자 작업 상세 입력을 수신하는 단계와,
    상기 사용자 작업 상세 입력에 기반하여 상기 사용자 작업 의도를 수정하는 단계를 포함하는
    방법.
  9. 작업 완료를 용이하게 하기 위한 시스템으로서,
    작업 의도 모델을 트레이닝하기 위해 커뮤니티 사용자 검색 로그 데이터(community user search log data)를 평가하고, 상기 작업 의도 모델을 활용해서 하나 이상의 질의 대 의도 엔트리(query to intent entry)를 작업 의도 데이터 구조에 채우도록 구성된 작업 의도 트레이닝 컴포넌트와,
    사용자 의도 질의를 클라이언트 디바이스로부터 수신 - 상기 사용자 의도 질의는 상기 클라이언트 디바이스 상에서 수신된 자연 언어 입력으로부터 도출됨 - 하고, 상기 사용자 의도 질의를 사용하여 상기 작업 의도 데이터 구조에 질의해서 전역적 의도 후보를 식별하며, 상기 클라이언트 디바이스에 상기 전역적 의도 후보를 제공하여, 상기 자연 언어 입력으로부터 도출된 사용자 작업 의도와 연관된 작업 완료를 위해 정황 상태 내로 애플리케이션을 딥 론칭하도록 구성된 사용자 의도 제공자 컴포넌트
    를 포함하는 시스템.
  10. 제9항에 있어서,
    상기 작업 의도 트레이닝 컴포넌트는,
    상기 전역적 의도 후보에 대한 사용자 피드백을 수신하고,
    상기 사용자 피드백에 기반하여 상기 작업 의도 모델을 트레이닝하도록 더 구성되는
    시스템.
KR1020167027313A 2014-04-01 2015-03-27 자연 언어 입력을 위한 작업 완료 기법 KR20160140694A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/242,394 US20150278370A1 (en) 2014-04-01 2014-04-01 Task completion for natural language input
US14/242,394 2014-04-01
PCT/US2015/022883 WO2015153310A1 (en) 2014-04-01 2015-03-27 Task completion for natural language input

Publications (1)

Publication Number Publication Date
KR20160140694A true KR20160140694A (ko) 2016-12-07

Family

ID=52829406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167027313A KR20160140694A (ko) 2014-04-01 2015-03-27 자연 언어 입력을 위한 작업 완료 기법

Country Status (12)

Country Link
US (1) US20150278370A1 (ko)
EP (1) EP3127012A1 (ko)
JP (1) JP2017515217A (ko)
KR (1) KR20160140694A (ko)
CN (1) CN106164909A (ko)
AU (1) AU2015241253A1 (ko)
BR (1) BR112016022372A2 (ko)
CA (1) CA2943235A1 (ko)
MX (1) MX2016012643A (ko)
RU (1) RU2016138550A (ko)
TW (1) TW201543240A (ko)
WO (1) WO2015153310A1 (ko)

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190095594A (ko) * 2018-01-23 2019-08-16 네이버 주식회사 서버 및 사용자 장치의 동작 방법
KR20190116960A (ko) * 2017-01-09 2019-10-15 애플 인크. 디지털 어시스턴트와의 애플리케이션 통합
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
US10431209B2 (en) * 2016-12-30 2019-10-01 Google Llc Feedback controller for data transmissions
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10169447B2 (en) 2014-02-24 2019-01-01 Entefy Inc. System and method of message threading for a multi-format, multi-protocol communication system
US10394966B2 (en) 2014-02-24 2019-08-27 Entefy Inc. Systems and methods for multi-protocol, multi-format universal searching
US20170193009A1 (en) 2015-12-31 2017-07-06 Entefy Inc. Systems and methods for filtering of computer vision generated tags using natural language processing
US11755629B1 (en) 2014-02-24 2023-09-12 Entefy Inc. System and method of context-based predictive content tagging for encrypted data
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10719524B1 (en) 2015-04-15 2020-07-21 Arimo, LLC Query template based architecture for processing natural language queries for data analysis
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10135764B2 (en) * 2015-12-31 2018-11-20 Entefy Inc. Universal interaction platform for people, services, and devices
US10353754B2 (en) 2015-12-31 2019-07-16 Entefy Inc. Application program interface analyzer for a universal interaction platform
CN105760483B (zh) * 2016-02-16 2019-04-19 Oppo广东移动通信有限公司 多媒体文件的保存及其检索方法和系统
US10409876B2 (en) 2016-05-26 2019-09-10 Microsoft Technology Licensing, Llc. Intelligent capture, storage, and retrieval of information for task completion
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
JP6679447B2 (ja) * 2016-09-12 2020-04-15 ヤフー株式会社 変更装置、変更方法、及び変更プログラム
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10397157B2 (en) 2016-10-27 2019-08-27 International Business Machines Corporation Message management in a social networking environment
US10963642B2 (en) 2016-11-28 2021-03-30 Microsoft Technology Licensing, Llc Intelligent assistant help system
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10491690B2 (en) 2016-12-31 2019-11-26 Entefy Inc. Distributed natural language message interpretation engine
US11153411B2 (en) 2017-04-10 2021-10-19 Samsung Electronics Co., Ltd. Method and apparatus for processing user request
US11025566B2 (en) * 2017-04-12 2021-06-01 Facebook, Inc. Techniques for intent-based search for bots
KR102380717B1 (ko) * 2017-04-30 2022-03-31 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 이 전자 장치의 제어 방법
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
EP4060659B1 (en) * 2017-05-12 2024-04-24 Apple Inc. Low-latency intelligent automated assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10587553B1 (en) 2017-12-29 2020-03-10 Entefy Inc. Methods and systems to support adaptive multi-participant thread monitoring
US11948023B2 (en) 2017-12-29 2024-04-02 Entefy Inc. Automatic application program interface (API) selector for unsupervised natural language processing (NLP) intent classification
US11573990B2 (en) 2017-12-29 2023-02-07 Entefy Inc. Search-based natural language intent determination
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US11410075B2 (en) * 2018-01-15 2022-08-09 Microsoft Technology Licensing, Llc Contextually-aware recommendations for assisting users with task completion
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US11330408B2 (en) * 2018-03-08 2022-05-10 Sony Corporation Information processing apparatus, terminal device, and information processing method
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11113473B2 (en) * 2018-04-02 2021-09-07 SoundHound Inc. Interpreting expressions having potentially ambiguous meanings in different domains
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11232262B2 (en) * 2018-07-17 2022-01-25 iT SpeeX LLC Method, system, and computer program product for an intelligent industrial assistant
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
CN111199728A (zh) * 2018-10-31 2020-05-26 阿里巴巴集团控股有限公司 训练数据获取方法及装置和智能音箱、智能电视
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN111666006B (zh) * 2019-03-05 2022-01-14 京东方科技集团股份有限公司 画作问答方法及装置、画作问答系统、可读存储介质
CN109979453A (zh) * 2019-03-29 2019-07-05 客如云科技(成都)有限责任公司 一种面向点餐机器人的智能意图识别人机交互方法
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11244106B2 (en) * 2019-07-03 2022-02-08 Microsoft Technology Licensing, Llc Task templates and social task discovery
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11354500B2 (en) 2019-12-06 2022-06-07 Microsoft Technology Licensing, Llc Artificial intelligence for identifying relevant content related to specific tasks
US11842731B2 (en) * 2020-01-06 2023-12-12 Salesforce, Inc. Method and system for executing an action for a user based on audio input
US11829720B2 (en) 2020-09-01 2023-11-28 Apple Inc. Analysis and validation of language models

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7747601B2 (en) * 2006-08-14 2010-06-29 Inquira, Inc. Method and apparatus for identifying and classifying query intent
US7720674B2 (en) * 2004-06-29 2010-05-18 Sap Ag Systems and methods for processing natural language queries
US7822699B2 (en) * 2005-11-30 2010-10-26 Microsoft Corporation Adaptive semantic reasoning engine
US20070192168A1 (en) * 2006-02-15 2007-08-16 Leviathan Entertainment, Llc Map and Inventory-Based On-Line Purchases
US7669142B2 (en) * 2006-02-28 2010-02-23 Microsoft Corporation Viewable and actionable search results
US20070297581A1 (en) * 2006-06-26 2007-12-27 Microsoft Corporation Voice-based phone system user interface
US20080005068A1 (en) * 2006-06-28 2008-01-03 Microsoft Corporation Context-based search, retrieval, and awareness
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8073681B2 (en) * 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US8589161B2 (en) * 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US20100082398A1 (en) * 2008-09-29 2010-04-01 Yahoo! Inc. System for providing contextually relevant data
US20110082746A1 (en) * 2009-10-06 2011-04-07 Christopher Rice Systems and Methods for Providing Location Based Promotions and Feedback Services
US9263034B1 (en) * 2010-07-13 2016-02-16 Google Inc. Adapting enhanced acoustic models
US20120084248A1 (en) * 2010-09-30 2012-04-05 Microsoft Corporation Providing suggestions based on user intent
US20120117051A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation Multi-modal approach to search query input
US9189549B2 (en) * 2010-11-08 2015-11-17 Microsoft Technology Licensing, Llc Presenting actions and providers associated with entities
CN102004794B (zh) * 2010-12-09 2013-05-08 百度在线网络技术(北京)有限公司 搜索引擎系统及其实现方法
KR101828273B1 (ko) * 2011-01-04 2018-02-14 삼성전자주식회사 결합기반의 음성명령 인식 장치 및 그 방법
KR101922744B1 (ko) * 2011-03-31 2018-11-27 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 위치-기반 대화 해석 기법
US8966440B2 (en) * 2011-08-29 2015-02-24 Salesforce.Com, Inc. Custom application creation in multi-tenant systems
US20130086028A1 (en) * 2011-09-30 2013-04-04 Nuance Communications, Inc. Receiving and processing user-specified queries
US9575963B2 (en) * 2012-04-20 2017-02-21 Maluuba Inc. Conversational agent
CN103390194A (zh) * 2012-05-07 2013-11-13 北京三星通信技术研究有限公司 用户意图预测及推荐建议的方法、设备和系统
US10026394B1 (en) * 2012-08-31 2018-07-17 Amazon Technologies, Inc. Managing dialogs on a speech recognition platform
US8645138B1 (en) * 2012-12-20 2014-02-04 Google Inc. Two-pass decoding for speech recognition of search and action requests
EP2941744B8 (en) * 2012-12-30 2018-10-17 Gary Stephen Shuster Global contact synchronization
US20140258260A1 (en) * 2013-03-11 2014-09-11 Sabrina Rayborn Methods for on line dating
WO2014139120A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Search intent preview, disambiguation, and refinement
US9875494B2 (en) * 2013-04-16 2018-01-23 Sri International Using intents to analyze and personalize a user's dialog experience with a virtual personal assistant
US9881102B2 (en) * 2013-04-22 2018-01-30 Microsoft Technology Licensing, Llc Aggregating personalized suggestions from multiple sources
US9448992B2 (en) * 2013-06-04 2016-09-20 Google Inc. Natural language search results for intent queries
US20150142607A1 (en) * 2013-11-20 2015-05-21 Cui Yang Shopping mind reader
US20150248216A1 (en) * 2014-02-28 2015-09-03 Microsoft Corporation Information interface generation and/or population

Cited By (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
KR20190116960A (ko) * 2017-01-09 2019-10-15 애플 인크. 디지털 어시스턴트와의 애플리케이션 통합
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
KR20190095594A (ko) * 2018-01-23 2019-08-16 네이버 주식회사 서버 및 사용자 장치의 동작 방법
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones

Also Published As

Publication number Publication date
AU2015241253A1 (en) 2016-10-06
JP2017515217A (ja) 2017-06-08
RU2016138550A (ru) 2018-03-30
US20150278370A1 (en) 2015-10-01
CA2943235A1 (en) 2015-10-08
EP3127012A1 (en) 2017-02-08
BR112016022372A2 (pt) 2017-08-15
TW201543240A (zh) 2015-11-16
CN106164909A (zh) 2016-11-23
WO2015153310A1 (en) 2015-10-08
MX2016012643A (es) 2016-12-14
RU2016138550A3 (ko) 2018-10-19

Similar Documents

Publication Publication Date Title
KR20160140694A (ko) 자연 언어 입력을 위한 작업 완료 기법
US20220269529A1 (en) Task completion through inter-application communication
US20230236710A1 (en) Techniques for context sensitive illustrated graphical user interface elements
US9026941B1 (en) Suggesting activities
JP6290367B2 (ja) 位置に関連するメッセージの呈示
US20190014205A1 (en) User Interface for Surfacing Contextual Actions in a Mobile Computing Device
US9721025B2 (en) Generating logical expressions for search queries
US9058563B1 (en) Suggesting activities
US9009159B2 (en) Population and/or animation of spatial visualization(s)
US20140358958A1 (en) Surfacing direct app actions
US10248812B2 (en) User personalization of third-party webpage images
US11436265B2 (en) System for presenting tailored content based on user sensibilities
US10242088B2 (en) Multi-source search
US20150356449A1 (en) User location interest inferences
EP2836936A2 (en) User task completion via open market of actions and/or providers
US20150242496A1 (en) Local content filtering
CN106062747B (zh) 信息接口生成
CN114936953A (zh) 学习讨论室的成员确定方法及电子设备
US20150341463A1 (en) Client-side flight version acquisition
WO2017115065A1 (en) A method for providing contextual intelligence