KR102226244B1 - 사용자의 컴퓨팅 디바이스의 사용자 인터페이스 디바이스들을 통해 사용자와의 다이얼로그의 자동화된 개시 및 적용 - Google Patents

사용자의 컴퓨팅 디바이스의 사용자 인터페이스 디바이스들을 통해 사용자와의 다이얼로그의 자동화된 개시 및 적용 Download PDF

Info

Publication number
KR102226244B1
KR102226244B1 KR1020187036107A KR20187036107A KR102226244B1 KR 102226244 B1 KR102226244 B1 KR 102226244B1 KR 1020187036107 A KR1020187036107 A KR 1020187036107A KR 20187036107 A KR20187036107 A KR 20187036107A KR 102226244 B1 KR102226244 B1 KR 102226244B1
Authority
KR
South Korea
Prior art keywords
user
task
processors
dialog
entity
Prior art date
Application number
KR1020187036107A
Other languages
English (en)
Other versions
KR20190007034A (ko
Inventor
광퀴앙 장
주 바이리앙
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20190007034A publication Critical patent/KR20190007034A/ko
Application granted granted Critical
Publication of KR102226244B1 publication Critical patent/KR102226244B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Business, Economics & Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Abstract

적어도 하나의 사용자와의 다이얼로그를 개시 및/또는 적용시키기 위해 자동화된 메시징 시스템을 이용하는 것에 관한 방법 및 장치로서, 상기 다이얼로그는 사용자의 적어도 하나의 컴퓨팅 디바이스의 사용자 인터페이스 입력 및 출력 디바이스를 통해 발생한다. 이러한 구현 중 일부에서, 자동화된 메시징 시스템은 사용자와 관련된 적어도 하나의 작업을 식별하고 그리고 작업을 식별하는 것에 기초하여 사용자와의 다이얼로그를 개시한다. 자동화된 메시징 시스템은 작업과 관련된 추가 정보를 사용자에게 제공하고 그리고/또는 다이얼로그 중에 제공되는 사용자 입력에 기초하여 작업의 하나 이상의 파라미터들에 대한 값들을 결정하기 위해 상기 다이얼로그를 개시할 수 있다. 일부 구현들에서, 자동화된 메시징 시스템은 다이얼로그 동안 결정된 파라미터들을 이용하여 작업의 성능을 또한 개시할 수 있다.

Description

사용자의 컴퓨팅 디바이스의 사용자 인터페이스 디바이스들을 통해 사용자와의 다이얼로그의 자동화된 개시 및 적용
본 발명은 적어도 하나의 사용자와의 다이얼로그를 개시 및/또는 적용시키기 위해 자동화된 메시징 시스템을 이용하는 것에 관한 방법 및 장치에 관한 것이다.
일부 인터넷 플랫폼들은 사용자가 특정 서비스 엔티티와 관련된 하나 이상의 액션들을 수행할 수 있도록 한다. 그러나, 플랫폼들은 통상적으로 사용자가 하나 이상의 액션들에 대한 기준을 선택하기 전에 특정 서비스 엔티티를 명시적으로 식별하고 그리고/또는 하나 이상의 액션들에 대한 기준을 선택하는데 있어서 구조화 된 옵션들을 선택하도록 요구한다. 예를 들어, 사용자는 특정 레스토랑에 대한 웹 페이지로 이동하여 웹 페이지의 사용자 인터페이스 메뉴들을 다운받아 시간, 날짜 및 인원수를 선택함으로써 특정 레스토랑을 예약할 수 있다. 또한, 예를 들어, 사용자는 사업체에 대한 웹 페이지로 이동하고 그리고 웹 페이지의 사용자 인터페이스 요소들에 제공된 이용 가능한 옵션들로부터 약속 시간, 약속 날짜 및 약속 유형을 선택함으로써 사업체와의 약속을 스케줄링할 수 있다.
그러나, 이들 및/또는 다른 기술들은 하나 이상의 단점들을 가질 수 있다. 예를 들어, 이러한 기술들은 사용자가 먼저 특정 서비스 엔티티를 식별한 다음 특정 서비스 엔티티에 대한 액션을 수행하는 것에 관한 구조화된 입력을 제공해야 할 수 있다. 이는 작업이 수행 가능하고 그리고/또는 어느 서비스 엔티티들이 작업을 수행하는데 이용될 수 있는지를 모르는 특정 사용자에게는 어려운 작업일 수 있다. 또한, 예를 들어, 이러한 기술들은 사용자에 의한 자유 형식의 자연 언어 입력을 통해 수행될 액션의 하나 이상의 (예를 들어, 모든) 기준의 사양을 가능하게 할 수 없다. 또한, 예를 들어, 이러한 기술들은, 과거의 사용자 액션들 및/또는 다른 소스(들)에 기초하여 결정된 액션 및/또는 의도를 수행하려는 시도에서 사용자 입력에 기초하여 결정된 의도와 같이, 사용자의 의도에 적합하지 않은 고정된 구조화된 필드들을 이용할 수 있다. 추가 및/또는 다른 단점들이 제시될 수 있다.
본 명세서의 구현들은 적어도 하나의 사용자와 다이얼로그를 개시 그리고/또는 적용시키기 위해 자동화된 메시징 시스템을 이용하는 것으로, 다이얼로그는 사용자의 적어도 하나의 컴퓨팅 디바이스의 사용자 인터페이스 입력 및 출력 디바이스를 통해 발생한다. 그러한 구현들의 일부들에서, 자동화된 메시징 시스템은 사용자와 관련된 적어도 하나의 작업을 식별하고 그리고 상기 작업을 식별하는 것에 기초하여 사용자와의 다이얼로그를 개시한다. 자동화된 메시징 시스템은 작업과 관련된 추가 정보를 사용자에게 제공하고 그리고/또는 다이얼로그 중에 제공되는 사용자 입력에 기초하여 작업의 하나 이상의 파라미터들에 대한 값들을 결정하기 위해 다이얼로그를 개시할 수 있다. 일부 구현들에서, 자동화된 메시징 시스템은 또한 다이얼로그 동안 결정된 파라미터들을 이용하여 작업의 실행을 개시할 수 있다. 자동화된 메시징 시스템에 의한 다이얼로그의 개시는, 작업이 수행 가능하고 그리고/또는 어느 서비스 엔티티가 작업을 수행하는데 이용될 수 있는지를 모르는 특정 사용자들에게 유익할 수 있다. 예를 들어, 새로운 곳으로 여행하는 사람들, 새로운 곳으로 이민가는 사람들 등은, 새로운 위치와 관련된 특정 작업들이 수행 가능함을 전혀 인식하지 못할 수 있고 그리고/또는 자동화된 메시징 시스템이 특정 작업들의 수행을 개시하는데 이용될 수 있음을 인식하지 못할 수 있다. 또한, 사용자가 종래의 수단을 사용하여 작업을 수행하려고 시도한 경우보다 적은 사용자 입력으로 작업이 수행될 수 있다. 예를 들어, 사용자들은 작업의 상이한 양상들을 수행하기 위해 여러 애플리케이션을 열 필요가 없다. 어떤 서비스 엔티티들이 이용 가능한지 그리고/또는 어떤 작업들이 실행 가능한지에 익숙하지 않은 사용자에게 유익한 것뿐만 아니라, 이 시스템은 장애를 갖는 사용자나 디바이스에 사용자 입력을 하는데 어려움이 있는 사용자에게 특히 유용할 수 있다. 적어도 이들 사용자들에 대해, 다이얼로그의 제공은, 예를 들어, 장애로 인해 사용자가 실수를 저지름으로써 디바이스의 신뢰성 및 사용 속도를 증가시킬 수 있다.
일부 구현들에서, 자동화된 메시징 시스템은 사용자로부터 특정 정보를 요구하는 다이얼로그 동안 질문들 또는 다른 촉구들을 생성할 수 있고 그리고 다이얼로그 동안 사용자에 의해 제공된 사용자 인터페이스 입력에 기초하여 촉구들을 능동적으로 적용시킬 수 있다. 이들 구현들 중 일부에서, 사용자와의 다이얼로그 중에 자동화된 메시징 시스템에 의해 생성된 촉구들은 사용자로부터 작업에 대한 필요한 그리고/또는 원하는 파라미터들에 대한 값들을 추출하도록 구성될 수 있고, 그리고 다이얼로그 중에 사용자의 응답들을 기초로 다아일로그 동안 적용될 수 있다. 자동화된 메시징 시스템에 의해 생성된 촉구들 중 적어도 일부는 자연 언어 촉구들일 수 있고 그리고 다이얼로그 동안 사용자에 의해 제공된 사용자 인터페이스 입력 중 적어도 일부는 자연 언어 자유 형식 입력일 수 있다. 자연 언어 자유 형식 입력을 허용하면 시스템을 사용하기가 더 쉽고, 특히 입력 디바이스들을 사용하는 경험이 없거나 장애가 있는 사용자들에게 편리하다. 본 명세서에서 사용된 것처럼, 자유 형식 입력은 사용자에 의해 공식화되고 사용자에 의한 선택을 위해 제공된 옵션들의 그룹에 구속되지 않는 입력이다.
일부 구현들에서, 사용자와의 다이얼로그에 관여할 때, 사용자와의 다이얼로그에 관여할 때, 하나 이상의 서비스 엔티티들에 대해 구성된 하나 이상의 프로토콜들에 기초하여 하나 이상의 촉구들을 생성할 수 있다. 예를 들어, 프로토콜들은 동일한 클래스의 멤버들인 복수의 서비스 엔티티들에 적용되는 "일반적인(general)" 프로토콜들 및 일반적인 프로토콜들보다 좁게 적용된 그룹(예를 들어, 클래스의 특정 서비스 엔티티와 같은 클래스의 서브세트에 적용된 그룹)에 적용하는 "특정(specific)" 프로토콜들을 포함할 수 있다.
일부 구현들에서, 사용자와의 다이얼로그에 관여할 때, 자동화된 메시징 시스템은 지역 언어 데이터베이스의 하나 이상의 엔트리들에 기초하여 사용자에게 나타내기 위한 콘텐트를 생성할 수 있다. 일부 구현들에서, 지역 언어 데이터베이스는, 하나 이상의 지리적 영역들 및/또는 언어들 각각에 대해, 지리적 영역 및/또는 언어에서 대화식으로 이용되는 언어 세그먼트(예를 들어, 문장들, 구들 및/또는 용어)를 정의하는 엔트리들 및 선택적으로 이들 언어 세그먼트들과 관련된 작업들의 표시를 포함할 수 있다.
다양한 구현들에서, 사용자에게 제시할 콘텐트를 생성할 때, 자동화된 메시징 시스템은 사용자의 언어(예를 들어, 사용자의 저장된 속성에 기초하여, 사용자의 컴퓨팅 디바이스에서 실행중인 메시징 클라이언트에서 이용되는 언어)를 식별할 수 있다. 시스템은, 작업과 관련되고 소스 언어인 콘텐트를 결정하고, 그 콘텐트를 사용자의 언어로 번역하고, 그리고 사용자에게 나타내기 위해 번역된 콘텐트를 제공할 수 있다. 또한, 다양한 일부 구현들에서, 사용자와의 다이얼로그에서 사용자로부터 수신된 사용자 입력은 사용자의 언어로 자유 형식 자연 언어 입력일 수 있다. 이러한 구현들 중 일부에서, 자동화된 메시징 시스템은 사용자의 언어로부터의 입력을 시스템의 선호되는 언어 및/또는 작업과 관련된 서비스 엔티티의 선호되는 언어로 번역할 수 있다.
일부 구현들에서, 자동화된 메시징 시스템과 관련된 하나 이상의 프로세서들에 의해 수행되는 방법이 제공되며, 이 방법은 적어도 하나의 액션 및 액션과 관련된 적어도 하나의 엔티티를 나타내는 사용자에 대한 적어도 하나의 작업을 식별하는 단계를 포함한다. 이 방법은 사용자와의 다이얼로그를 개시하는 단계를 더 포함하며, 다이얼로그는 작업과 관련된다. 상기 개시하는 단계는, 상기 작업을 식별하는 것에 기초하고, 상기 자동화된 메시징 시스템을 통해 행해지며, 그리고 상기 사용자의 컴퓨팅 디바이스의 사용자 인터페이스 출력 디바이스를 통해 상기 사용자에게 나타내기 위해 상기 작업에 적합한 콘텐트를 제공하는 단계를 포함한다. 상기 방법은, 상기 제공에 응답하여, 상기 다이얼로그를 계속하고 그리고 상기 컴퓨팅 디바이스의 사용자 인터페이스 입력 디바이스를 통해 상기 사용자에 의해 공식화된 자유 형식 자연 언어 입력을 수신하는 단계와; 상기 작업에 적합하고 그리고 상기 자연 언어 입력에 기초한 추가적인 콘텐트를 생성하는 단계와; 그리고 상기 다이얼로그의 연속에서, 상기 사용자 인터페이스 출력 디바이스를 통해 상기 사용자에게 나타내기 위한 상기 추가적인 콘텐트를 제공하는 단계를 더 포함한다.
여기에 개시된 기술의 이들 및 다른 구현은 선택적으로 하나 이상의 다음 특징들을 포함할 수 있다.
일부 구현들에서, 상기 방법은, 상기 사용자가 어떤 위치에 있는지를 결정하는 단계와; 상기 작업이 상기 위치와 관련되는 것에 기초하여 상기 작업을 식별하는 단계와; 상기 사용자가 상기 위치에 존재하고 그리고 상기 작업이 상기 위치와 관련되어 있는지를 결정하는 것에 기초하여 상기 작업을 상기 사용자에게 할당하는 단계를 포함한다.
일부 구현들에서, 상기 방법은, 상기 사용자가 어떤 위치에 존재하고 상기 위치가 상기 사용자에게 익숙한 위치가 아님을 결정하는 단계와; 상기 위치에 익숙하지 않은 개인들과 관련된 상기 작업에 기초하여 상기 하나 이상의 프로세서들에 의해 상기 작업을 식별하는 단계와; 그리고 상기 위치가 상기 사용자에게 익숙하지 않고 그리고 상기 작업이 상기 위치에 익숙하지 않은 개인들과 연관되어 있음을 결정하는 것을 기초하여 상기 작업을 상기 사용자에게 할당하는 단계를 더 포함한다.
일부 구현들에서, 상기 방법은, 상기 작업에 적합하고 그리고 소스 언어인 소스 언어 콘텐트를 식별하는 단계와; 상기 소스 언어와 상이한 상기 사용자의 언어를 식별하는 단계와; 그리고 상기 소스 언어 콘텐트를 상기 소스 언어로부터 상기 사용자의 언어로 번역함으로써, 상기 콘텐트를 생성하는 단계를 더 포함한다.
일부 구현들에서, 상기 방법은 상기 작업의 실행과 관련된 복수의 파라미터들을 정의하는 프로토콜을 식별하는 단계와; 그리고 하나 이상의 파라미터들의 그룹에 관련된 입력을 요구하기 위해 콘텐트 또는 추가적인 콘텐트를 생성하는 단계를 더 포함한다.
일부 구현들에서, 상기 액션에 의해 표시된 엔티티는 서비스 엔티티이고, 제1 자연 언어 입력 및 제2 자연 언어 입력 모두는 상기 사용자의 모국어이다. 그러한 구현들 중 일부에서, 상기 방법은, 상기 서비스 엔티티에 대한 선호 언어를 식별하는 단계와; 상기 제1 자연 언어 입력 및 상기 제2 자연 언어 입력 중 적어도 일부를 상기 모국어로부터 상기 선호 언어로 번역하는 단계와; 그리고 번역된 자연 언어 입력을 상기 서비스 엔티티에 제공하는 단계를 더 포함한다.
일부 구현들에서, 상기 방법은, 상기 엔티티의 위치에 대응하는 상기 사용자의 현재 위치에 기초하여, 상기 적어도 하나의 작업을 상기 사용자에게 할당하는 단계를 더 포함한다. 이러한 구현들 중 일부에서, 상기 작업에 적합한 콘텐트는 상기 작업과 관련하여 상기 엔티티에서 말해지는 관용 어구(common phrase)를 포함하고; 상기 자연 언어 입력은 상기 관용 어구를 구어체로 말하려고 하는 시도의 오디오이고; 그리고 상기 제2 콘텐트는 상기 오디오의 분석에 기초한 피드백이다.
일부 구현들에서, 상기 방법은, 상기 엔티티에 대한 액션의 수행과 관련된 복수의 파라미터들을 정의하는 프로토콜을 식별하는 단계 및 하나 이상의 파라미터들의 그룹으로 향하는 입력을 요구하기 위해 상기 추가적인 콘텐트를 생성하는 단계를 더 포함한다. 이러한 구현들 중 일부에서, 상기 방법은, 상기 추가적인 콘텐트를 제공하는 것에 응답하여, 상기 다이얼로그를 계속하고 그리고 상기 사용자 인터페이스 입력 디바이스를 통해 상기 사용자에 의해 공식화된 추가적인 자유 형식 자연 언어 입력을 수신하는 단계와; 그리고 상기 추가적인 자유 형식 자연 언어 입력에 기초하여 하나 이상의 파라미터들에 대한 하나 이상의 값들을 결정하는 단계를 더 포함한다.
일부 구현들에서, 상기 방법은, 상기 사용자에 의해 상기 자동화된 메시징 시스템에 제공되는 임의의 사용자 인터페이스 입력과는 무관하게 작업을 사용자에게 할당하는 단계를 더 포함한다. 그러한 구현들 중 일부에서, 상기 다이얼로그를 개시하는 단계는 상기 자동화된 메시징 시스템으로 향하는 사용자 인터페이스 입력에 응답하고, 상기 사용자 인터페이스 입력은 상기 작업을 명시적으로 식별하지 않는다.
일부 구현들에서, 상기 사용자에게 나타내기 위한 추가적인 콘텐트를 제공하는 단계는, 상기 콘텐트와 동시 디스플레이를 위해 상기 추가적인 콘텐트를 제공하는 단계를 포함한다. 상기 콘텐트와의 동시 디스플레이는 상기 컴퓨팅 디바이스에 의해 렌더링된 상기 그래픽 사용자 인터페이스를 통해 이루어질 수 있다. 그러한 구현들 중 일부에서, 상기 사용자에게 나타내기 위한 추가적인 콘텐트를 제공하는 단계는, 상기 자연 언어 입력과 동시 디스플레이를 위해 상기 추가적인 콘텐트를 제공하는 단계를 포함하다. 상기 자연 언어 입력과의 동시 디스플레이는 상기 컴퓨팅 디바이스에 의해 렌더링된 상기 그래픽 사용자 인터페이스를 통해 이루어질 수 있다. 그러한 구현들 중 일부들에서, 상기 자동화된 메시징 시스템은 상기 사용자의 컴퓨팅 디바이스로부터 멀리 떨어져 있는 하나 이상의 컴퓨팅 디바이스들에서 적어도 부분적으로 구현된다.
또한, 일부 구현들은 하나 이상의 컴퓨팅 디바이스들의 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은 관련 메모리에 저장된 명령어들을 실행하도록 동작가능하고, 그리고 상기 명령어들은 이전에 언급된 방법들 중 임의의 것들을 수행하도록 구성된다. 일부 구현들은, 전술한 방법들 중 임의의 것을 수행하기 위해 하나 이상의 프로세서들에 의해 실행 가능한 컴퓨터 명령어들을 저장하는 비 일시적 컴퓨터 판독 가능 저장 매체를 또한 포함한다.
전술한 개념들 및 본 명세서에서 보다 상세하게 서술된 추가 개념들의 모든 조합들은 본 명세서에 개시된 주제의 일부로서 고려될 수 있음을 이해해야 한다. 예를 들어, 본 명세서의 끝 부분에 나타난 청구된 주제의 모든 조합들은 본 명세서에 개시된 주제의 일부로 고려된다.
도 1은 여기에 개시된 구현예들이 구현될 수 있는 예시적인 환경의 블록도이다.
도 2a는 메시지 교환 클라이언트를 통해 사용자와 대화를 개시하기 위해 사용자의 작업에 기초하여 작업 관련 콘텐트를 사용자의 메시지 교환 클라이언트에 제공하는 예를 도시한다.
도 2b는 사용자의 작업에 기초하여 그리고 다이얼로그의 연속으로 사용자에 의해 제공된 자연 언어 입력에 기초하여 추가 작업 관련 콘텐츠를 생성하고, 추가 작업 관련 콘텐트를 메시지 교환 클라이언트에 제공함으로써 도 2a에서 개시된 다이얼로그의 계속의 예를 도시한다.
도 3a는 클라이언트 컴퓨팅 디바이스의 사용자와 여기에 개시된 구현들에 따른 자동화된 메시징 시스템 사이에서 발생할 수 있는 다이얼로그의 예를 디스플레이하는 디스플레이 스크린을 구비한 예시적인 클라이언트 컴퓨팅 디바이스를 도시한다.
도 3b는 클라이언트 컴퓨팅 디바이스의 사용자와 여기에 개시된 구현들에 따른 자동화된 메시징 시스템 사이에서 발생할 수 있는 다이얼로그의 다른 예를 디스플레이하는 디스플레이 스크린을 구비한 도 3a의 예시적인 클라이언트 컴퓨팅 디바이스를 도시한다.
도 4는 클라이언트 컴퓨팅 디바이스의 사용자와 여기에 개시된 구현들에 따른 자동화된 메시징 시스템 사이에서 발생할 수 있는 다이얼로그의 또 다른 예를 디스플레이하는 디스플레이 스크린을 구비한 도 3a 및 도 3b의 예시적인 클라이언트 컴퓨팅 디바이스를 도시한다.
도 5는 사용자의 작업에 기초하여 사용자와의 다이얼로그를 개시하고, 다이얼로그 중에 사용자에 의해 제공된 자연 언어 입력에 기초하여 다이얼로그를 구성하며, 그리고 다이얼로그에서 분석된 하나 이상의 파라미터들로 작업의 성능을 선택적으로 초기화하는 예시적인 방법을 나타내는 흐름도이다.
도 6은 컴퓨팅 디바이스의 예시적인 아키텍처를 도시한다.
본 명세서의 구현들은 자동화된 메시징 시스템을 이용하여 적어도 하나의 사용자와의 다이얼로그를 개시하고 그리고/또는 적용시키는 것에 관한 것으로, 다이얼로그는 사용자의 컴퓨팅 디바이스의 사용자 인터페이스 입력 및 출력 디바이스를 통해 발생한다. 이러한 구현들의 일부에서, 자동화된 메시징 시스템은 사용자와 관련된 적어도 하나의 작업(예를 들어, 적어도 하나의 액션 및 액션과 관련된 적어도 하나의 엔티티(예를 들어, 서비스 엔터티)를 나타내는 작업)을 식별하고 그리고 작업을 식별하는 것에 기초하여 사용자와 다이얼로그를 개시한다. 자동화된 메시징 시스템은 작업에 관련된 추가 정보를 사용자에게 제공하고 그리고/또는 다이얼로그 동안 제공된 사용자 입력에 기초하여 작업의 하나 이상의 파라미터들의 값들을 결정하기 위해 다이얼로그를 개시할 수 있다. 일부 구현들에서, 자동화된 메시징 시스템은 또한 다이얼로그 동안 결정되는 파라미터들의 값들을 이용하여 작업의 수행을 개시할 수 있다.
일부 구현들에서, 자동화된 메시징 시스템은 사용자로부터 특정 정보를 요구하는 다이얼로그 동안 질문들 또는 다른 촉구들을 생성할 수 있고 그리고 다이얼로그 동안 사용자에 의해 제공된 사용자 인터페이스 입력에 기초하여 촉구들을 능동적으로 적용시킬 수 있다. 이러한 구현들의 일부에서, 사용자와의 다이얼로그 동안 자동화된 메시징 시스템에 의해 생성된 촉구들은, 작업에 대해 필요한 그리고/또는 요구되는 파라미터들에 대한 값들을 사용자로부터 추출하도록 구성될 수 있고, 그리고 다이얼로그 동안의 사용자의 응답들에 기초하여 다이얼로그 도중에 적용될 수 있다.
일부 구현들에서, 사용자와의 다이얼로그에 관여할 때, 자동화된 메시징 시스템은 하나 이상의 서비스 엔티티들에 대해 구성된 하나 이상의 프로토콜들에 기초하여 그리고/또는 지역 언어 데이터베이스의 하나 이상의 엔트리들에 기초하여 하나 이상의 촉구들을 생성할 수 있다.
다양한 구현들에서, 사용자에게 제시할 콘텐트를 생성할 때, 자동화된 메시징 시스템은 작업과 관련되어 있고 소스 언어에 있는 콘텐트를 식별하고, 그 콘텐트를 사용자의 언어인 상이한 언어로 번역하고, 그리고 사용자에게 나타내기 위해 번역된 콘텐트를 제공할 수 있다. 또한, 다양한 실시예들에서, 사용자와의 다이얼로그에서 사용자로부터 수신된 사용자 입력은 사용자의 언어일 수 있고, 그리고 자동화된 메시징 시스템은 입력을 작업과 관련된 서비스 엔티티의 선호되는 언어로 번역할 수 있다.
이제, 도 1을 참조하면, 여기에 개시된 기술들이 구현될 수 있는 예시적인 환경이 도시되어 있다. 예시적인 환경은 복수의 클라이언트 컴퓨팅 디바이스들(1061-N) 및 자동화된 메시징 시스템(120)을 포함한다. 자동화된 메시징 시스템(120)이 도 1에 도시되어 있지만, 클라이언트 컴퓨팅 디바이스들(1061-N)과는 별개로, 일부 구현들에서, 자동화된 메시징 시스템(120)의 모든 또는 일부 양상들은 하나 이상의 클라이언트 컴퓨팅 디바이스들(1O61-N)에 의해 구현될 수 있다. 예를 들어, 클라이언트 디바이스(1061)는 자동화된 메시징 시스템(120)의 하나 이상의 양상들을 구현할 수 있고 그리고 클라이언트 디바이스(106N)는 또한 자동화된 메시징 시스템(120)의 하나 이상의 양상들의 개별적인 예를 구현할 수 있다. 자동화된 메시징 시스템(120)의 하나 이상의 양상들이 클라이언트 컴퓨팅 디바이스들(1O61-N)로부터 멀리 떨어진 하나 이상의 컴퓨팅 디바이스들에 의해 구현되는 구현들에서, 클라이언트 컴퓨팅 디바이스들(1061-N) 및 자동화된 메시징 시스템(120)의 그러한 양상들은 근거리 통신망(LAN) 및/또는 광역 통신망(WAN)(예를 들어, 인터넷)과 같은 하나 이상의 네트워크들을 통해 통신할 수 있다.
클라이언트 디바이스(1061-N)는, 예를 들어, 데스크탑 컴퓨팅 디바이스, 랩탑 컴퓨팅 디바이스, 태블릿 컴퓨팅 디바이스, 이동 전화 컴퓨팅 디바이스, 사용자 차량의 컴퓨팅 디바이스(예를 들어, 차량 내 통신 시스템, 차량 내 엔터테인먼트 시스템, 차량 내 네비게이션 시스템), 또는 컴퓨팅 디바이스를 포함하는 사용자의 웨어러블 장치(예를 들어, 컴퓨팅 디바이스를 갖는 사용자의 시계, 컴퓨팅 디바이스를 갖는 사용자의 안경들, 가상 또는 증강 현실 컴퓨팅 디바이스) 중 하나 이상을 포함할 수 있다. 추가적인 및/또는 대안의 클라이언트 컴퓨팅 디바이스들이 제공될 수 있다. 일부 구현들에서, 주어진 사용자는 컴퓨팅 디바이스들의 조정된 "생태계(ecosystem)"를 집합적으로 형성하는 복수의 클라이언트 컴퓨팅 디바이스들을 이용하여 자동화된 메시징 시스템(120)과 통신할 수 있다. 하지만, 간결성을 위해, 본 개시에서 서술된 예들은 단일 클라이언트 컴퓨팅 디바이스(106)를 동작시키는 사용자에 초점을 맞출 것이다.
클라이언트 컴퓨팅 디바이스들(1061-N) 각각은 메시지 교환 클라이언트들 (1071-N) 중 대응하는 하나와 같은 다양한 서로 다른 애플리케이션들을 동작시킬 수 있다. 메시지 교환 클라이언트들(1071-N)은 다양한 형태들로 존재할 수 있고, 그리고 상기 형태들은 클라이언트 컴퓨팅 디바이스들(1061-N)에 따라 다를 수 있고, 그리고/또는 다수의 형태들이 클라이언트 컴퓨팅 디바이스들(1061-N) 중 하나에서 동작될 수 있다. 일부 구현들에서, 하나 이상의 메시지 교환 클라이언트들(1071-N)은 단문 메시징 서비스("SMS") 및/또는 멀티미디어 메시징 서비스("MMS") 클라이언트, 온라인 채팅 클라이언트(예를 들어, 인스턴트 메신저, 인터넷 중계 채팅, 또는 "IRC" 등), 소셜 네트워크와 관련된 메시징 애플리케이션, 자동화된 메시징 시스템(120)과의 대화 전용 개인 보조 메시징 서비스 등을 포함할 수 있다. 일부 구현들에서, 하나 이상의 메시지 교환 클라이언트들(1071-N)은 웹 브라우저(도시되지 않음) 또는 클라이언트 컴퓨팅 디바이스(106)의 다른 애플리케이션에 의해 렌더링된 웹 페이지 또는 다른 리소스들을 통해 구현될 수 있다.
본 명세서에서 보다 상세하게 기술된 바와 같이, 다양한 구현들에서, 자동화된 메시징 시스템(120)은 클라이언트 컴퓨팅 디바이스들(1061-N) 중 하나의 사용자와 관련된 작업을 식별하고 그리고 상기 클라이언트 컴퓨팅 디바이스를 통해 상기 사용자에게 상기 작업에 적합한 콘텐트를 제공함으로써 상기 작업과 관련된 사용자와의 다이얼로그를 개시한다. 자동화된 메시징 시스템(120)에 의한 작업과 관련된 다이얼로그의 "개시(initiation)"는, 반드시, 사용자가 시스템(120)을 통해 임의의 다이얼로그에 관여되지 않았고 그리고/또는 시스템(120)으로 하여금 다이얼로그를 개시하게 하는 임의의 입력을 사용자가 제공하지 않았음을 의미하지는 않는다. 오히려, 이것은 시스템에 의한 작업과 관련된 다이얼로그가 개시되기 전에, 자동화된 메시징 시스템(120)과의 진행중인 대화는 명시적으로 작업으로 전달되지 않음을 의미한다. 예를 들어, 사용자는, 하루의 뉴스, 날씨 등의 업데이트를 얻기 위해 자동화된 메시징 시스템과의 다이얼로그에 관여할 수 있으며, 그리고 시스템(120)은 그러한 관여 중에 작업과 관련된 대화를 개시할 수 있다. 일부 구현들에서, 자동화 된 메시징 시스템(120)은, 자동화된 메시징 시스템(120)에 직접적으로 작업과 관련된 임의의 입력(예를 들어, 시스템(120)과의 사전 다이얼로그들에서 언어 입력)을 사용자가 제공하지 않고, 작업과 관련된 사용자와의 다이얼로그를 개시할 수 있다. 예를 들어, 자동화된 메시징 시스템(120)은 다른 시스템들(예를 들어, 이메일 시스템, 검색 엔진, 캘린더 시스템 및/또는 자동화된 메시징 시스템(120)으로부터 분리된 다른 시스템)과의 사용자 상호 작용에 기초하여 사용자의 현재 및/또는 과거 위치에 기초한 다이얼로그를 개시할 수 있다.
각각의 클라이언트 컴퓨팅 디바이스들(1061-N) 및 자동화된 메시징 시스템(120)은 데이터 및 소프트웨어 애플리케이션들의 저장을 위한 하나 이상의 메모리들, 데이터에 액세스하고 애플리케이션을 실행하기 위한 하나 이상의 프로세서들 및 네트워크를 통한 통신을 용이하게 하는 다른 컴포넌트들을 포함할 수 있다. 하나 이상의 클라이언트 컴퓨팅 디바이스들(1061-N) 및/또는 자동화 메시징 시스템(120)에 의해 수행되는 동작들은 다수의 컴퓨터 시스템들에 분산될 수 있다. 자동화된 메시징 시스템(120)은, 예를 들어, 네트워크를 통해 서로 결합되는 하나 이상의 위치들에서 하나 이상의 컴퓨터들 상에서 실행되는 컴퓨터 프로그램들로서 구현될 수 있다.
자동화된 메시징 시스템(120)은 자연 언어 프로세서(122), 사용자 속성 엔진 (124), 작업 엔진(126), 번역 엔진(128), 메시지 생성 엔진(130) 및 작업 파라미터 모듈(132)을 포함할 수 있다. 일부 구현들에서, 하나 이상의 엔진(122, 124, 126, 128, 130) 및/또는 모듈(132)은 생략될 수 있다. 일부 구현들에서, 하나 이상의 엔진(122, 124, 126, 128, 130) 및/또는 모듈(132)의 전부 또는 일부가 결합될 수 있다. 일부 구현들에서, 하나 이상의 엔진(122, 124, 126, 128, 130) 및/또는 모듈 (132)은 자동화된 메시징 시스템(120)으로부터 분리된 컴포넌트 내에서 구현될 수 있다. 예를 들어, 122, 124, 126, 128, 130 및/또는 132 중 하나 이상, 또는 그것의 임의의 동작 부분은 클라이언트 컴퓨팅 디바이스들(1061-N)에 의해 실행되는 컴포넌트에서 구현될 수 있다.
자연 언어 프로세서(122)는 클라이언트 컴퓨팅 디바이스들(1061-N)을 통해 사용자들에 의해 생성된 자연 언어 입력을 처리하고 그리고 자동화된 메시징 시스템 (120)의 하나 이상의 다른 컴포넌트들에 의한 사용을 위해 주석 출력을 생성한다. 예를 들어, 자연 언어 프로세서(122)는 클라이언트 디바이스(1061)의 하나 이상의 사용자 인터페이스 입력 디바이스들을 통해 사용자에 의해 생성된 자연 언어 자유 형식 입력을 처리할 수 있다. 생성된 주석 출력은 자연 언어 입력의 하나 이상의 주석들 및 임의로 자연 언어 입력의 용어들 중 하나 이상(예를 들어, 모두)을 포함한다.
일부 구현들에서, 자연 언어 프로세서(122)는 자연 언어 입력의 다양한 유형들의 문법 정보를 식별하고 주석을 달도록 구성된다. 예를 들어, 자연 언어 프로세서(122)는 그 문법적 역할들로 용어들에 주석을 달기 위해 구성된 음성 태거(speech tagger)를 포함할 수 있다. 예를 들어, 음성 태거의 부분은 각 용어를 "명사(noun)", "동사(verb)", "형용사(adjective)", "대명사(pronoun)"등과 같은 부분으로 태그할 수 있다. 또한, 예를 들어, 일부 구현들에서, 자연 언어 프로세서(122)는 자연 언어 입력의 용어들 간의 구문적 관계들을 결정하도록 구성된 의존성 파서(dependency parser)를 추가적으로 그리고/또는 대안적으로 포함할 수 있다. 예를 들어, 의존성 파서는 어느 용어가 다른 용어들, 문장의 주체들 및 동사 등(예를 들어, 파스 트리)을 변경하는지를 결정할 수 있으며 그리고 그러한 의존성들에 대한 주석들을 만들 수 있다.
일부 구현들에서, 자연 언어 프로세서(122)는 사람들, 조직들, 위치들 등에 대한 참조들과 같은 하나 이상의 세그먼트들 내의 엔티티 참조들에 주석을 달도록 구성된 엔티티 태거를 추가적으로 그리고/또는 대안적으로 포함할 수 있다. 엔티티 태거는, (예를 들어, 사람들과 같은 엔티티 클래스에 대한 모든 참조들의 식별을 가능하게 하도록) 고도의 세분성으로 그리고/또는 (예를 들어, 특정 개인과 같은 특정 엔티티에 대한 모든 참조들의 식별을 가능하게 하도록) 낮은 수준의 세분성으로 엔티티에 대한 참조들에 주석을 달 수 있다. 엔티티 태거는 특정 엔티티를 분석하기 위해 자연 언어 입력의 콘텐트에 의존할 수 있고 그리고/또는 특정 엔티티를 분석하기 위해 지식 그래프 또는 다른 엔티티 데이터베이스와 선택적으로 통신할 수 있다.
일부 구현들에서, 자연 언어 프로세서(122)는 부가적으로 그리고/또는 대안으로 하나 이상의 문맥 큐들(contextual cues)에 기초하여 동일한 엔티티에 대한 참조들을 그룹화하거나 "클러스터링(clustering)"하도록 구성된 코레퍼런스 리졸버(coreference resolver)를 포함한다. 예를 들어, 코레퍼런스 리졸버는, 자연 언어 입력 "나는 아시아 빌리지를 좋아한다. 그것을 예약해라.(I like Asia Village. Book it please.)"에서 용어 "그것(it)"을 "아시아 빌리지(Asia Village)"로 분석 할 수 있다.
일부 구현들에서, 자연 언어 프로세서(122)의 하나 이상의 컴포넌트들은 자연 언어 프로세서(122)의 하나 이상의 다른 컴포넌트들로부터의 주석들에 의존할 수 있다. 예를 들어, 일부 구현들에서, 명명된 엔티티 태거는 모든 언급들을 특정 엔티티에 주석으로 넣을 때, 코레퍼런스 리졸버 및/또는 의존성 파서로부터의 주석들에 의존할 수 있다. 또한, 예를 들어, 일부 구현들에서, 코레퍼런스 리졸버는 동일한 엔티티에 대한 참조들을 클러스터링할 때 의존성 파서로부터의 주석들에 의존할 수 있다. 일부 구현들에서, 특정 자연 언어 입력을 처리할 때, 자연 언어 프로세서(122)의 하나 이상의 컴포넌트들은 하나 이상의 주석들을 결정하기 위해 특정 자연 언어 입력 외부의 관련 사전 입력 및/또는 다른 관련 데이터를 사용할 수 있다. 예를 들어, 자동화된 보조자와의 다이얼로그에서 사용자의 제1 메시지는 "내일 정오에 약속할 것인가(do they have an appointment for tomorrow at noon)?"이고 사용자의 후속 메시지는 "그때 예약해라(book it for then)"일 수 있다. "그때 예약해라(book it for then)"를 처리할 때, 코레퍼런스 리졸버는 "그것(it)"을 "약속(appointment)"으로 분석할 수 있으며, "내일 정오에 약속할 것인가(do they have an appointment for tomorrow at noon)"의 사전 입력을 활용하여 "그때(then)"를 "내일 정오(tomorrow at noon)"로 분석할 수 있다.
사용자 속성 엔진(124)은 자동화된 메시징 시스템(120)과의 다이얼로그에 관여하고 있는 사용자의 하나 이상의 속성들을 결정하고 그리고/또는 자동화된 메시징 시스템(120)은 사용자와의 다이얼로그를 개시할 수 있으며 그리고 이들 속성을 자동화된 메시징 시스템(120)의 하나 이상의 다른 컴포넌트들에 제공한다. 속성들은, 예를 들어, 사용자에게 할당할 작업을 결정할 때, 작업에 대한 하나 이상의 파라미터들에 대한 값들을 결정할 때, 사용자와의 다이얼로그를 개시할 때를 결정할 때, 하나 이상의 사용자들과의 다이얼로그에 대한 출력을 생성할 때, 사용자에게 제공된 자연 언어 출력을 번역할지를 결정할 때, 자동화된 메시징 시스템(120)의 다른 컴포넌들에 의해 이용될 수 있다. 사용자 속성 엔진(124)은 하나 이상의 사용자 속성들을 저장할 수 있는 사용자 속성 데이터베이스(152)와 통신한다. 다양한 구현들에서, 사용자 속성 엔진(124) 및/또는 사용자 속성 데이터베이스(152)는 클라이언트 컴퓨팅 디바이스들(1061-N) 전체 및/또는 일부분에서 구현될 수 있고 그리고/또는 클라이언트 컴퓨팅 디바이스들(1O61-N)에 의해 제공된 데이터에 기초하여 하나 이상의 사용자 속성들을 결정할 수 있다. 사용자 속성 엔진(124)에 의해 결정될 수 있는 사용자 속성들의 일부 예들은, (예를 들어, GPS 또는 다른 위치 데이터에 기초한) 사용자의 현재 위치, 사용자의 과거 위치(들)(예를 들어, 사용자의 "집(home)", 사용자가 이전에 방문한 위치들), 사용자의 언어(들), (예를 들어, 사용자의 전자 달력에 기초한) 사용자의 시간 제한, 및 (예를 들어, 복수의 인터넷 서비스에 걸친 사용자 활동들에 기초한) 사용자의 사용자 프로파일을 포함한다.
작업 엔진(126)은 사용자에 대한 작업을 식별하고 그리고 메시지 생성 엔진(130)에 그 작업과 관련된 정보(예를 들어, 액션의 식별자 및/또는 작업에 대한 하나 이상의 서비스 엔티티들, 작업에 대한 하나 이상의 미리 결정된 파라미터들의 값들)을 제공하고 그리고 선택적으로 메시지 생성 엔진(130)이 사용자와의 작업 관련 다이얼로그를 개시하는 것이 적절한 지의 표시를 메시지 생성 엔진(130)에 제공한다. 작업 엔진(126)은, 작업 데이터베이스(154)와 같은 사용자에 대한 작업, 사용자 속성 엔진(124)에 의해 제공되는 사용자 속성들 및/또는 사용자에 의해 자동화된 메시징 시스템(120)에 제공되는 과거의 자연 언어 입력을 결정하기 위해 하나 이상의 다양한 자원들을 이용할 수 있다.
작업 데이터베이스(154)는 하나 이상의 비 일시적인 컴퓨터 판독 가능한 매체 상에 제공될 수 있고, 각각 적어도 하나의 액션 및 액션과 관련된 적어도 하나의 엔티티를 나타내는 복수의 작업들을 정의할 수 있다. 작업들의 몇가지 예들은, 정부 기관과 약속하기, 사업체에서 서비스 요청하기, 사업체로부터 물품 주문하기, 레스토랑에서 음식 주문하기, 택시로 운송하기, 고객 만나기, 유틸리티 서비스 설정하기, 영화 티켓 구매하기 등을 포함한다. 작업들은 다양한 레벨들의 세분성을 갖는 작업 데이터베이스(154)에서 정의될 수 있다. 예를 들어, 작업은, "어떤 정부 기관과의 어떤 약속 일정(schedule any appointment with any government agency)" 또는 더 좁게 "특정 정부 기관과의 약속 일정(schedule an appointment with a particular government agency)" 또는 "특정 정부 기관과의 특정 유형의 약속 일정(schedule a particular type of appointment with a particular government agency)"일 수 있다. 일부 구현들에서, 작업 데이터베이스(154)의 하나 이상의 작업들은 각각 하나 이상의 특정 사용자들과 연관될 수 있고 그리고/또는 작업 데이터베이스(154)의 하나 이상의 작업들은 작업을 예시화할 수 있는 하나 이상의 특정 기준과 연관될 수 있다. 일부 구현들에서, 작업 데이터베이스(154)의 모든 또는 일부 양상들은 하나 이상의 클라이언트 컴퓨팅 디바이스들(1061-N)의 일부로서 포함될 수 있다.
일부 구현들에서, 작업 엔진(126)은 작업 데이터베이스(154)에서 사용자와 이미 연관되어 있는 작업에 기초하여 사용자에 대한 작업을 식별할 수 있다. 예를 들어, 작업 데이터베이스(154)는, 사용자에 특정적인 그리고 사용자에 의해 이용되는 하나 이상의 클라이언트 컴퓨팅 장치들(1061-N)을 통해 사용자에 의해 수행되는 하나 이상의 액션들과 같은, 사용자에 의한 그리고/또는 사용자에게 보내지는 하나 이상의 컴퓨팅 기반 액션들에 응답하여 생성될 수 있는 하나 이상의 엔트리들을 포함할 수 있다. 예를 들어, 작업 데이터베이스(154)는 하나 이상의 캘린더 엔트리들, 리마인더 엔트리들 및/또는 사용자에게 개인적이고(예를 들어, 사용자의 허가 없이 다른 사용자들에게 액세스할 수 없고) 그리고 컴퓨팅 디바이스(예를 들어, 캘린더 애플리케이션)의 하나 이상의 애플리케이션들과의 사용자의 상호 작용을 통해 사용자에 의해 의도적으로 생성될 수 있는 다른 엔트리들을 포함할 수 있다.
또한, 예를 들어, 작업 데이터베이스(154)는 사용자에 의해 의도적으로 생성되지 않은 하나 이상의 엔트리를 포함할 수 있지만, 하나 이상의 클라이언트 컴퓨팅 디바이스들(1061-N)을 통해 사용자에 의해 수행되는 하나 이상의 액션들에 기초하여 하나 이상의 컴퓨팅 디바이스들에 의해 추론적으로 생성된다. 예를 들어, 사용자가 오래된 가구를 제거하는 것과 관련된 다수의 인터넷 검색들, 예를 들어, "오래된 가구를 없애는 방법(how do I get rid of old furniture)", "가구를 수집하는 사람(who picks up furniture)" 및 "가구 제거(furniture removal)"의 검색들을 수행하는 것을 가정해보자. 이러한 예에서, 가구 제거 작업에 대한 엔트리는 의도적으로 엔트리를 생성하지 않고 작업 데이터베이스(154)에서 사용자에 대해 선택적으로 생성될 수 있다. 또 다른 예로서, 작업 데이터베이스(154)는 사용자에 의해 의도적으로 생성되지 않지만, 사용자에게 지시된 하나 이상의 컴퓨팅 액션들 기초하여, 예를 들어, 이메일들, 문자 메시지들, 또는 사용자에게 전송된 다른 통신들의 콘텐트에 기초하여 생성된 하나 이상의 엔트리들을 포함할 수 있다.
일부 구현들에서, 작업 엔진(126)은, 작업 데이터베이스(154)에서 사용자와 이미 연관되어 있는 작업 없이 사용자에 대한 작업을 식별할 수 있다. 예를 들어, 일부 구현들에서, 작업 데이터베이스(154)는 작업을 예시화할 수 있는 하나 이상의 기준과 연관된 작업들을 포함할 수 있다. 작업 엔진(126)은 사용자 속성 엔진(124)에 의해 제공된 사용자 속성들과 이들 기준들 간의 일치에 기초하여 사용자들에 대한 작업으로서 그러한 작업들 중 하나를 결정할 수 있다. 예를 들어, 작업 데이터베이스(154)는, 레스토랑에 있는 기준 및 사용자가 사용하는 언어가 아니거나 그리고/또는 사용자의 기본 언어가 아닌 기본 언어를 갖는 위치에 있는 기준과 관련된 "음식 주문(ordering food)" 작업을 포함할 수 있다. 작업 엔진(126)은, 사용자의 현재 위치가 레스토랑에 있고 그리고 현재 위치가 사용자가 말하지 않은 언어를 사용하는 지리적 영역에 있음을 나타내는 사용자 속성 엔진(124)에 의해 제공되는, 사용자 속성들에 기초하여 사용자에 대한 "음식 주문(ordering food)" 작업을 식별할 수 있다. 다른 예로서, 작업 데이터베이스(154)는 특정 도시에 대한 새로운 이동자라는 기준과 관련된 특정 도시와 함께 무료 정크 제거를 계획하는 작업을 포함할 수 있다. 작업 엔진(126)은, 사용자가 최근에 그 특정 도시로 이동했다는 것을 나타내는 사용자 속성 엔진(124)에 의해 제공되는 사용자 속성들에 기초하여 "무료 정크 제거 스케줄링(scheduling free junk removal)" 작업을 식별할 수 있다. 또 다른 예로서, 작업 데이터베이스(154)는 특정 도시에 대한 새로운 방문자가 되는 기준과 관련된 특정 도시에서 지하철 티켓을 구매하는 작업을 포함할 수 있다. 작업 엔진(126)은, 사용자가 특정 도시에 존재하고 이전에 특정 도시를 방문하지 않았음을 나타내는 사용자 속성 엔진(124)에 의해 제공된 사용자 속성들에 기초하여 "지하철 티켓 구매(purchase a subway ticket)" 작업을 식별할 수 있다.
번역 엔진(128)은 사용자에 의해 제공된 자연 언어 입력을 다른 언어로 변역할 수 있고 그리고/또는 메시지 생성 엔진(130)에 의해 생성된 자연 언어 출력을 상기 출력을 수신하는 사용자가 말하는 언어(예를 들어, 수신하는 사용자의 모국어)로 번역할 수 있다. 일부 구현들에서, 번역 엔진(128)은, 사용자의 모국어와 같이 사용자가 말하는 언어를 결정하기 위해 사용자 속성 엔진(124)에 의해 제공된 하나 이상의 사용자 속성들을 이용할 수 있다.
일부 구현들에서, 메시지 생성 엔진(130)은, 사용자의 관련 클라이언트 컴퓨팅 디바이스를 통해 사용자와의 작업 관련 다이얼로그를 개시하고 그리고 작업이 사용자에게 할당되었음을 식별하는 것에 기초하여 다이얼로그를 개시한다. 예를 들어, 메시지 생성 엔진(130)은, 작업이 사용자의 작업임을 식별하는 작업 엔진(126)에 의해 제공된 출력에 기초하여 작업과 관련된 다이얼로그를 개시할 수 있다. 번역 엔진(128)과 관련하여 서술된 바와 같이, 다양한 구현들에서, 메시지 생성 엔진 (130)은 번역 엔진(128)을 통해 사용자와의 다이얼로그에 관여할 수 있다. 예를 들어, 메시지 생성 엔진(128)은 사용자에게 제시되기 전에 메시지 생성 엔진(130)에 의해 생성된 자연 언어 출력을 번역할 수 있고 그리고/또는 메시지 생성 엔진(130)에 제공되기 전에 및/또는 서비스 엔티티를 갖는 작업을 개시하기 위한 통신의 일부로서 서비스 엔티티에 제공되기 전에 사용자에 의해 공식화된 자연 언어 입력을 번역할 수 있다.
메시지 생성 엔진(130)은, 작업과 관련된 추가 정보를 사용자에게 제공하기 위해 그리고/또는 다이얼로그 동안 제공된 사용자 입력에 기초하여, 작업의 하나 이상의 파라미터들에 대한 값들을 결정하기 위해 작업 관련 다이얼로그를 개시할 수 있다. 일부 구현들에서, 메시지 생성 엔진(130)은, 사용자로부터 작업에 필요한 및/또는 요구되는 파라미터들에 대한 값들을 추출하도록 구성된 다이얼로그 동안의 질문들 또는 다른 촉구들을 생성할 수 있고 그리고/또는 다이얼로그 동안 사용자의 응답들을 기초하여 다이얼로그에서 적용될 수 있다.
메시지 생성 엔진(130)은 사용자로부터 정보를 요청하기 위해 질문들 또는 다른 촉구들을 생성하는데 하나 이상의 리소스들을 이용한다. 예를 들어, 메시지 생성 엔진(130)은 다이얼로그 동안 사용자의 현재 및/또는 과거 자연 언어 입력, 자연 언어 프로세서(122)에 의해 제공되는 입력의 주석들, 사용자 속성 엔진(124)에 의해 제공된 사용자 속성(들), 작업 파라미터들에 대한 값들 또는 작업 엔진(126)에 의해 제공된 다른 작업 정보, 엔티티 프로토콜 데이터베이스(156)의 엔티티 프로토콜들, 및/또는 지역 언어 데이터베이스(158)의 하나 이상의 엔트리들을 이용할 수 있다. 메시지 생성 엔진(130)은, 다이얼로그 동안 사용자에 의해 제공된 자연 언어 입력에 의해 작업에 대한 어떤 파라미터가 유효하게 지정되었는지를 결정하고 그리고 해당 파라미터들에 대한 값들을 작업과 연관시켜 저장하는 작업 파라미터 모듈(132)을 포함할 수 있다. 메시지 생성 엔진(130)은 사용자가 그 작업에 대해 이미 유효하게 특정된 작업에 대한 임의의 파라미터들을 지정하도록 촉구하는 자연 언어 출력의 생성을 방지하기 위해 그러한 저장된 값을 이용할 수 있다. 작업 파라미터 모듈(132)은 작업의 실행을 초기화하기 위해 하나 이상의 다른 컴퓨팅 시스템들에 작업 및 작업에 대한 파라미터들의 값들(작업 엔진(126)에 의해 결정되고 그리고/또는 다이얼로그 중에 결정된 파라미터들에 대한 값들)을 또한 전달할 수 있다.
엔티티 프로토콜 데이터베이스(156)는 하나 이상의 비 일시적인 컴퓨터 판독 가능 매체상에 제공될 수 있고, 그리고 작업의 하나 이상의 엔티티들 및/또는 하나 이상의 액션들에 각각 적용 가능한 복수의 프로토콜들을 정의한다. 각각의 프로토콜은 작업의 연관된 액션을 수행하고 그리고/또는 관련된 서비스 엔티티/엔티티들과 연관된 액션을 수행하기 위해 하나 이상의 필요한 그리고/또는 원하는 파라미터들을 정의한다. 예를 들어, 제1 프로토콜은 레스토랑 예약 액션과 관련되고 그리고 예약을 받는 모든 레스토랑과 관련된 일반 프로토콜일 수 있다. 제1 프로토콜은 예약 날짜, 예약 시간 및 예약 인원과 같은 액션에 필요한 파라미터들을 정의할 수 있다. 또한, 예를 들어, 제2 프로토콜은, 레스토랑 예약 액션과 관련되고 그리고 특정 레스토랑과 같이 예약을 하는 레스토랑들의 서브 세트와 관련된 제2 프로토콜일 수 있다. 제2 프로토콜은, 사용자가 실내 또는 실외 좌석, 부스 또는 테이블을 원하는지, 그리고 사용자가 음식물을 가려먹는지와 같은 특정 레스토랑에 대한 필요한 그리고/또는 원하는 파라미터들을 정의할 수 있다.
지역 언어 데이터베이스(158)는 하나 이상의 비 일시적인 컴퓨터 판독 가능 매체 상에 제공될 수 있고, 그리고 하나 이상의 지리적 영역들 및/또는 언어들 각각에 대해, 해당 지리적 영역 및/또는 언어에서 대화식으로 사용되는 언어 세그먼트들(예를 들어, 문장들, 어구들 및/또는 용어들) 및 선택적으로 그러한 언어 세그먼트들와 연관되는 작업들을 정의하는 엔트리들을 포함한다. 예를 들어, 미국 내의 지역에 대한 엔트리들은, 택시 운전자로부터 운송 수단을 얻는 작업과 같은 하나 이상의 작업들과 모두 관련된 "나는 [지역]으로 가고 싶습니다(I would like a ride to [location])", "[위치]까지 예상되는 요금은 얼마입니까(what is the estimated fare to [location])", "태워주셔서 감사합니다(thank you for the ride)"의 엔트리들을 포함할 수 있다. 또한, 예를 들어, 미국 내의 지역에 대한 엔트리들은, 레스토랑 방문 작업, 음식 주문 작업 및/또는 다른 작업과 관련된 "나는 [음식]을 주문하고 싶습니다(I would like to order [food])."라는 엔트리들; 레스토랑 방문 작업, 서비스 엔티티 방문 작업 및/또는 다른 작업 등과 관련된 "화장실이 어디에 있는지 알려줄 수 있어요(Can you show me where the restrooms are)?"라는 엔트리를 포함할 수 있다. 앞의 예들에서 괄호 "[]"내의 단어들은, 해당 클래스에 대한 서술 및/또는 해당 클래스의 구성원이고 사용자가 제공한 자연 언어 입력을 기초로 결정될 수 있는 특정 단어(들)로 메시지 생성 엔진(130)에 의해 "채워질(filled)" 수 있는 단어들의 클래스를 나타냄을 알 수 있다. 지역 언어 데이터베이스(158)의 언어 세그먼트들은, 텍스트 세그먼트들 포함할 수 있고 그리고 ".wav" 파일들, ".mp3" 파일들, ".mpeg" 파일들 및/또는 컴퓨팅 디바이스에 의해 실행될 때 컴퓨팅 디바이스로 하여금 대응하는 오디오 출력을 생성하도록 하는 다른 포맷의 파일들과 같은 가청 파일들 및/또는 가청 파일들로의 링크들을 또한 포함할 수 있다.
메시지 생성 엔진(130)은 작업과 관련된 다이얼로그를 개시 및/또는 계속할 때 사용자에게 제공하기 위해 콘텐트를 결정하는 것에서 지역 언어 데이터베이스 (158)의 엔트리들을 이용할 수 있다. 예를 들어, 본 명세서에서 보다 상세히 설명되는 바와 같이, 사용자의 특정 작업에 대해, 메시지 생성 엔진(130)은 데이터베이스(158)에서 그 작업과 관련되고, 사용자의 현재 위치와 관련되고 그리고/또는 사용자의 현재 위치에서 언어와 관련된 하나 이상의 언어 세그먼트들을 식별할 수 있다. 메시지 생성 엔진(130)은, 작업과 관련된 사용자와의 다이얼로그를 개시하는데 제공되는 콘텐트의 일부로서 그리고/또는 사용자와의 작업 관련 다이얼로그의 계속에서 제공되는 추가 콘텐트의 일부로서 이들 언어 세그먼트들을 사용자에게 청각적 및/또는 시각적으로 제시할 수 있다.
이제, 도 2a 및 도 2b를 참조하면, 자동화된 메시징 시스템(120) 및 메시지 교환 클라이언트(1071)의 다양한 컴포넌트들에 대한 추가적인 서술이 제공된다. 도 2a 및 도 2b의 일부 서술은, 클라이언트 컴퓨팅 디바이스(1061)의 사용자와 여기에 서술된 구현에 따라 자동화된 메시징 시스템(120) 사이에서 발생할 수 있는 다이얼로그의 예를 디스플레이하는 디스플레이 스크린(140)을 구비한 도 1의 컴퓨팅 디바이스(1061)를 나타내는 도 3a 및 도 3b로부터 예들을 포함한다. 특히, 다이얼로그는, 여기에 서술된 구현들에 따른 자동화된 메시징 시스템 (120)에 의해 각각 생성될 수 있는 작업 관련 콘텐트(390A, 390B, 390C 및 390D)를 포함하고 그리고 사용자 입력들(380A 및 380B)을 포함한다. 디스플레이 스크린(140)은, 사용자가 가상 키보드를 통해 사용자 입력을 생성하도록 선택할 수 있는 텍스트 응답 인터페이스 요소(384) 및 사용자가 마이크로폰을 통해 사용자 입력을 생성하도록 선택할 수 있는 음성 응답 인터페이스 요소(385)를 더 포함한다. 디스플레이 스크린(140)은 또한 컴퓨팅 디바이스(1061)로 하여금 하나 이상의 액션들을 수행하도록 사용자와 상호 작용할 수 있는 시스템 인터페이스 요소들(381, 382, 383)을 포함한다.
도 2a는 메시지 교환 클라이언트(1071)를 통해 사용자와의 다이얼로그를 개시하기 위해, 사용자의 작업(202)에 기초하여, 작업 관련 콘텐트(203A)를 사용자의 메시지 교환 클라이언트(1071)에 제공하는 예를 도시한다.
도 2a에서, 작업 엔진(126)은 작업 데이터베이스(154)에 기초하여 그리고/또는 사용자 속성 엔진(124)에 의해 제공된 하나 이상의 사용자 속성들(201)에 기초하여 사용자의 작업(202)을 식별한다. 작업 엔진(126)은 메시지 생성 엔진(130)에 작업(202)을 제공한다.
실시 예로서, 작업 엔진(126)이 "가구를 제거하는(removing furniture)" 액션을 나타내는 "오래된 가구를 제거하는(removing old furniture)" 작업(202)을 결정하고 그리고 액션에 대한 "서니베일 시티(The city of Sunnyvale)"의 특정 서비스 엔티티에 나타내는 것으로 가정한다. 실시예의 일부 구현들에서, 작업 엔진(126)은 작업 데이터베이스(154)에서 사용자와 연관되는 것에 기초하고 그리고/또는 사용자 속성 엔진(124)에 의해 제공된 사용자 속성들(201)에 기초하여 작업을 식별할 수 있다.
예를 들어, 사용자가, "가구를 없애는 방법(how do I get rid of furniture)", "가구를 수집하는 사람(who picks up furniture)" 및 "가구 제가(furniture removal)"의 검색들과 같은, 가구를 제거하는 것과 관련된 다수의 검색들을 개별 검색 엔진에 제출했다고 가정해보자. 이러한 예에서, 일반적인 가구 제거 작업은 그러한 검색들에 기초하여 작업 데이터베이스(154)에서 사용자와 선택적으로 연관될 수 있다. 실시 예의 일부 구현들에서, 작업 엔진(126)은 사용자 속성 엔진(124)에 의해 제공되는 사용자 속성들(201)에 기초하여 가구 제거 작업을 위한 특정 서비스 엔티티로서 서니베일 시티를 식별할 수 있다. 예를 들어, 작업 엔진(126)은, 사용자 속성들(201)에 기초하여, 사용자가 서니베일 시티의 거주자임을 결정할 수 있고, 그리고 작업 데이터베이스(154) 및/또는 다른 리소스에 기초하여, 서니베일 시티의 가구 제거 작업은 해당 도시의 거주자가 되는 필수 기준과 관련이 있음을 또한 결정할 수 있다. 또한, 예를 들어, 작업 엔진(126)은, 사용자 속성들(201)에 기초하여, 사용자가 서니베일 시티에 새로운 이동자임을 결정할 수 있고, 그리고 작업 데이터베이스(154) 및/또는 다른 리소스에 기초하여, 서니베일 시티에 대한 가구 제거 작업은 특정 도시에 새로운 이동자가 되는 선택 기준과 관련이 있음(예를 들어, 새로운 이동자들이 아직 도시 서비스들에 익숙하지 않을 수 있기에)을 또한 결정할 수 있다. 사용자 속성들(201)과 서니베일 시티에 대한 가구 제거 작업에 대한 기준 사이의 적합성에 기초하여, 작업 엔진(126)은 그 작업을 사용자를 위한 작업으로 식별할 수 있다.
메시지 생성 엔진(130)은 작업 관련 콘텐트(203A)를 생성하는데 사용하기 위해 엔티티 프로토콜 데이터베이스(156)로부터 엔티티 프로토콜 및/또는 로컬 언어 데이터베이스(158)로부터의 언어 세그먼트를 식별하기 위해 작업(202)을 이용한다. 일부 구현들에서, 작업 관련 콘텐트(203A)는, 사용자가 작업 수행에 도움이 필요한지 여부를 결정할 때(예를 들어, "[작업]을 수행할 필요가 있을 것 같습니다. 도와 주시겠습니까(It seems you need to perform [task]. Would you like me to help)?"의 자연 언어 출력) 그리고/또는 작업(202)에 대해 필요한 및/또는 원하는 파라미터를 결정할 때("[작업]을 수행할 필요가 있을 것 같습니다. 도와드릴 수 있습니다. 그렇다면 [작업 파라미터들]을 알려주십시오.(It seems you need to perform [task]. I can help. Let me know [task parameter(s)] if so.)"의 자연 언어 출력) 사용을 위해 사용자로부터의 사용자 인터페이스 입력을 요구하는 촉구인 자연 언어 출력과 같은, 자연 언어 출력이다.
작업 관련 콘텐트(203A)는 클라이언트 컴퓨팅 디바이스(1061)의 사용자 인터페이스 출력 디바이스를 통해 사용자에게 청각적 및/또는 시각적 표현을 위해 메시지 교환 클라이언트(1071)에 제공된다. 일부 구현들에서, 작업 관련 콘텐트(203A)는 자연 언어 출력이고, 그러한 출력은 번역 엔진(128)에 의해 메시지 교환 클라이언트(1071)의 사용자의 언어로 번역된다. 이러한 구현들에서, 번역된 출력은 메시지 교환 클라이언트(1071)에 제공된다. 일부 다른 구현들에서, 메시지 교환 클라이언트(1071)는 번역 엔진(128)을 포함하여 번역을 수행할 수 있다.
일부 구현들에서, 메시지 생성 엔진(130)은 자동화된 메시지를 생성하는데 이용하기 위한 엔티티 프로토콜을 결정하기 위해 작업(202)에 의해 지시된 액션 및/또는 엔티티를 이용한다. 예를 들어, 레스토랑 후보 엔티티들에 대한 레스토랑 예약 액션을 나타내는 "레스토랑 예약하기(making a restaurant reservation)" 작업의 경우, 메시지 생성 엔진(130)은 예약을 하기 위해 모든 레스토랑들에 적용 가능한 일반 엔티티 프로토콜을 식별할 수 있다. 일반 엔티티 프로토콜은 엔티티 프로토콜 데이터베이스(156)에서 "레스토랑 예약하기(making a restaurant reservation)" 액션 및/또는 "레스토랑(restaurant)" 엔티티들에 할당되는 것에 기초하여 식별될 수 있다. 일반 엔티티 프로토콜은 예약 날짜, 예약 시간, 예약 인원수 및 예약 레스토랑과 같은 작업을 수행하기 위해 하나 이상의 필요한 그리고/또는 원하는 파라미터들을 정의할 수 있다. 메시지 생성 엔진(130)은 하나 이상의 이들 파라미터들에 관한 정보를 요구하기 위해 작업 관련 콘텐트(203A)를 생성할 수 있다. 일부 구현들에서, 일반 엔티티 프로토콜 및/또는 다른 프로토콜들의 하나 이상의 파라미터들은 이들 파라미터에 대한 촉구들에 포함하기 위해 텍스트를 포함하거나 또는 다르게 표시할 수 있다. 예를 들어, 예약을 위한 사람들의 수와 관련된 파라미터는 "얼마나 많은(for how many)"과 "얼마나 많은 사람들을 위한(how many people)"과 같은 텍스트를 포함할 수 있다.
일부 구현들에서, 메시지 생성 엔진(130)은, 작업 파라미터(존재한다면)가 작업(202)에 의해 이미 특정된 것을 결정하는 작업 파라미터 모듈(132)을 포함한다. 예를 들어, 작업(202)은, 작업(202)의 실행을 위한 특정 서비스 엔티티와 같이 이미 특정된 하나 이상의 파라미터들에 대한 값들을 작업 엔진(126)에 의해 제공받을 수 있다. 메시지 생성 엔진(130)은 이미 특정된 파라미터들을 지정하도록 사용자에게 촉구하는 작업 관련 콘텐트(203A)의 생성을 방지하기 위해 이미 특정된 파라미터(들)을 이용할 수 있다.
실시예를 계속하여, 메시지 생성 엔진(130)은, "가구 제거(removing furniture)"의 액션을 나타내며 그리고 액션을 위해 "서니베일 시티(the city of Sunnyvale)"의 특정 서비스 엔티티를 나타내는 "오래된 가구를 제거(removing old furniture)" 작업(202)에 응답하여, 도 3a의 작업 관련 콘텐트(390A)를 생성할 수 있다. 일부 구현들에서, 메시지 생성 엔진(130)은 엔티티 프로토콜 데이터베이스 (156)의 프로토콜에 기초하여 콘텐트(390A)를 생성할 수 있다. 예를 들어, 데이터베이스(156)는, "가구 제거(removing furniture)"의 액션과 관련되고 그리고 "서니베일 시티(the city of Sunnyvale)"의 특정 서비스 엔티티와 관련되는 특정 엔티티 프로토콜을 포함할 수 있다. 이러한 구현들 중 일부에서, 프로토콜은, 콘텐트(390A)의 자연 언어 텍스트의 일부 또는 전부, 및 작업과 관련된 사용자와 다이얼로그를 개시하기 위해 텍스트가 제공되어야 한다는 표시를 포함할 수 있다. 콘텐트(390A)가 도 3a에 도시되어 있지만, 일부 구현들에서, 번역 엔진(128)에 의해 다른 언어로 번역될 수 있고 그리고 번역은 콘텐트(390A)로서 사용자에게 제공될 수 있다.
도 2b는, 작업(202)(도 2a)에 기초하고(예컨대, 작업에 기초하여 선택된 엔티티 프로토콜에 기초하고) 그리고 다이얼로그의 연속에서 사용자에 의해 제공된 자연 언어 입력(204)에 기초하여 추가적인 작업 관련 콘텐트(202B)를 생성함으로써 도 2a에 개시된 다이얼로그를 계속하는 예를 나타낸다. 추가 작업 관련 콘텐트(203B)는 사용자에게 시각적 및/또는 청각적 표현을 위해 메시지 교환 클라이언트(1071)에 제공된다.
도 2b에서, 도 2a의 작업 관련 콘텐트(203A)에 응답하여, 사용자는 컴퓨팅 디바이스(1061)의 하나 이상의 사용자 인터페이스 입력 디바이스들을 이용하여 자연 언어 입력(204)을 자연 언어 프로세서(122)로 전송하는 메시지 교환 클라이언트 (1071)에 응답 자연 언어 입력(204)을 제공한다. 자연 언어 입력(204)은, 본 명세서에서 서술된 것과 같이 자유 형식 입력일 수 있고, 그리고 예를 들어, 컴퓨팅 디바이스의 물리적 또는 가상 키보드를 통해 사용자에 의해 제공된 유형화된 입력 또는 컴퓨팅 디바이스의 마이크로폰에 사용자에 의해 제공된 음성 입력일 수 있다. 자연 언어 입력(204)이 음성 입력인 구현들에서, 컴퓨팅 디바이스 및/또는 자연 언어 프로세서(122)에 의한 텍스트 입력으로 선택적으로 기록될 수 있다.
실시예를 계속하여, 자연 언어 입력(204)은 도 3a의 사용자 입력(380A)에 의해 도시된 바와 같이 "물론이야! 나는 2개의 소파와 4개의 의자를 갖고 있어(Sure! I have 2 sofas and 4 chairs)"가 될 수 있고, 그리고 작업 관련 콘텐트(390A)를 제공함으로써 메시지 생성 엔진(130)에 의해 개시된 다이얼로그를 계속하여 사용자에 의해 제공될 수 있다.
자연 언어 프로세서(122)는 자연 언어 입력(204)을 처리하고 그리고 자연 언어 입력의 다양한 주석들을 생성한다. 자연 언어 프로세서(122)는 주석 생성된 출력(예를 들어, 자연 언어 입력(204) 및 생성된 주석들의 용어들)(205)을 메시지 생성 엔진(130)에 제공한다.
실시예를 계속하여, 자연 언어 입력(204)은 도 3a의 사용자 입력(380A)에 의해 도시된 바와 같이 "물론이야! 나는 2개의 소파들과 4개의 의자들을 갖고 있어(Sure! I have 2 sofas and 4 chairs)"가 될 수 있고, 그리고 자연 언어 프로세서(122)는 긍정 응답으로 "물론이야(Sure)!"를 주석으로 달고, 가구 엔티티들로 "소파들(sofas)" 및 "의자들(chairs)"을 주석으로 달고, 그리고 "소파들(sofas)"과 관련된 수량으로 "2" 및 "의자들(chairs)"과 관련된 수량으로 "4"로 주석을 답니다. 자연 언어 프로세서(122)는 이들 용어들 및/또는 주석 입력(205)으로서 주석들 중 하나 이상을 제공할 수 있다.
메시지 생성 엔진(130)은 추가 작업 관련 콘텐트(203B)를 생성하는데 사용하기 위해 주석된 입력(205) 및 엔티티 프로토콜 데이터베이스(156)로부터의 엔티티 프로토콜 및/또는 로컬 언어 데이터베이스(158)로부터의 언어 세그먼트를 이용한다. 예를 들어, 메시지 생성 엔진(130)은, 주석된 입력(205)이 추가 작업 관련 콘텐트에 대한 사용자의 요구를 나타내지를 결정하기 위해 주석된 입력(205)을 분석할 수 있다. 예를 들어, 입력(205)이 추가 작업 관련 콘텐트에 대한 요구를 나타내는 경우, 메시지 생성 엔진(130)은, 엔티티 프로토콜에 의해 정의된 하나 이상의 원하는 그리고/또는 필요한 파라미터들에 대한 값들을 제공하도록 사용자에게 촉구하는 추가 작업 관련 콘텐트(203B)를 생성하기 위해 도 2a에서 이용된 엔티티 프로토콜을 이용할 수 있다. 본 명세서에 기술된 것처럼, 작업 파라미터 모듈(132)은 액션에 대한 어떤 파라미터들(만약 있다면)이 자연 언어 입력(204)에 의해 유효하게 지정되는지 (그리고/또는 작업(202)에 의해 이미 지정되었는지)를 결정할 수 있고, 그리고 이들 파라미터에 대해 지정된 값들을 저장할 수 있다. 메시지 생성 엔진(130)은, 이러한 파라미터들을 다시 지정하도록 사용자에게 촉구하는 추가 작업 관련 콘텐트(203B)의 생성을 방지하기 위해 작업 파라미터 모듈(132)의 결정을 이용할 수 있다. 예를 들어, 메시지 생성 엔진(130)이 "약속 날짜(date of appointment)"에 대한 파라미터를 포함하는 파라미터들을 정의하는 프로토콜을 이용하는 경우, 모듈(132)은 자연 언어 입력(204)이 특정 날짜를 나타내고 그리고 그 특정 날짜가 그 파라미터에 대해 유효하면 그 파라미터에 대한 특정 날짜를 할당할 수 있다. 그 할당에 기초하여, 그 파라미터는 메시지 생성 엔진(130)에 의해 무시될 수 있고, 추가 작업 관련 콘텐트(203B)는 대신 다른 파라미터들에 기초하여 생성될 수 있다.
실시예를 계속하여, "물론이야! 나는 2개의 소파들과 4개의 의자들을 갖고 있어(Sure! I have 2 sofas and 4 chairs)"의 수신된 자연 언어 입력(204)에 응답하여, 메시지 생성 엔진(130)은 "미안하지만, 한번 수집에 2개의 아이템만 허용된다(Sorry, only two items allowed per collection)."이라는 추가 작업 관련 콘텐트(203B)를 생성할 수 있다. 일부 구현들에서, 메시지 생성 엔진(130)은 작업 파라미터 모듈(132)에 의해 제공된 입력에 기초하여 콘텐트(203B)를 생성할 수 있다. 예를 들어, 모듈(132)은, 2개의 가구 아이템들의 최대 값을 갖는 (도 2a에서 사용된 프로토콜의) 파라미터에 대해 6개의 가구 아이템들이 자연 언어 입력(204)에서 특정되는지를 결정하고 그리고 파라미터들에 대한 특정 값들이 유효하지 않다는 지시를 메시지 생성 엔진(130)에 제공하기 위해 주석된 입력(205)을 사용할 수 있다. 메시지 생성 엔진(130)은, 프로토콜에 대한 파라미터에 기초하고 그리고 프로토콜에서 그 파라미터에 대해 지정된 최대 값에 기초하여 콘텐트(390B)를 생성할 수 있다.
추가 작업 관련 콘텐트(203B)는 클라이언트 컴퓨팅 디바이스(1061)의 사용자 인터페이스 출력 디바이스를 통해 사용자에게 청각 및/또는 시각 표현을 위해 메시지 교환 클라이언트(1071)에 제공된다. 일부 구현들에서, 추가 작업 관련 콘텐트(203B)는 자연 언어 출력이며, 그 출력은 번역 엔진(128)에 의해 메시지 교환 클라이언트(1071)의 사용자의 언어로 번역된다. 이러한 구현들에서, 번역된 출력은 메시지 교환 클라이언트(1071)에 제공된다.
실시예를 계속하여, 도 2b의 예의 다른 예시는, 메시지 생성 엔진(130)이 추가 작업 관련 콘텐트(390B)를 제공한 후에 발생한다고 가정하자. 특히, 사용자는, "오케이, 나는 2개의 소파들을 먼저 처리할 것이다(OK. I'll do the 2 sofas first)"를 나타내는 도 3a의 다른 추가 사용자 입력(380B)을 제공한다고 가정하자. 이러한 구현들 중 일부에서, 메시지 생성 엔진(130)은 도 3a의 다른 추가 작업 관련 콘텐트(390C)를 생성할 수 있다. 예를 들어, 작업 파라미터 모듈(132)은 사용자 입력(380B)이 프로토콜의 가구 아이템 파라미터의 양에 대해 유효한 값(2)을 지시한다고 결정할 수 있고, 그리고 메시지 생성 엔진(130)은 아직 유효한 값이 할당되지 않은 프로토콜의 "약속 날짜(appointment date)" 파라미터에 대한 사용자 입력을 요청하기 위해 도 3a의 추가 작업 관련 콘텐트(390C)를 생성할 수 있다.
추가 작업 관련 콘텐트(390C)는, 프로토콜에서 결정(예를 들어, 정의)될 수 있는 약속 날짜 파라미터(예를 들어, "당신은 집에 있어야 한다(you'll need to be at home)"와 관련된 정보를 포함하고, 촉구("어느 날짜를 원하는가(Which date do you want)")를 포함하며, 그리고 약속 날짜 파라미터에 대한 유효한 값(날짜)들의 선택가능한 옵션들을 포함한다. 일부 구현들에서, 메시지 생성 엔진(130)은, 서니베일 시티에 대한 이용 가능한 서비스 날짜를 반영하도록 업데이트된 하나 이상의 데이터베이스들을 참조함으로써, 그리고 서니베일 시티와 관련된 컴퓨팅 시스템 및/또는 사람에게 통신을 보내고, 응답으로 날짜들을 수신하고 그리고/또는 다른 기술들을 이용함으로써 선택가능한 옵션들에 대한 날짜들을 결정할 수 있다.
사용자는, 대응하는 그래픽 요소와의 상호 작용을 통해(예를 들어, 그래픽 요소를 탭핑함으로써) 그리고/또는 "6월 19일 부탁합니다(June 19th please)"과 같은 추가의 자연 언어 입력에 의해 선택 가능한 옵션들 중 하나를 선택할 수 있다. 예를 들어, 도 3a에서 도시된 것처럼, 사용자가 "6/19"를 포함하는 그래픽 요소를 "탭(taps)"하거나 또는 다르게 선택한다고 가정하자. 그러한 추가 입력은, 작업 파라미터 모듈(132)을 통해, 작업에 대한 모든 파라미터들이 유효한 값들로 지정되었음을 결정할 수 있는 메시지 생성 엔진(130)에 제공될 수 있다. 이에 응답하여, 메시지 생성 엔진(130)은, 작업이 개시되었음을 나타내는 다른 추가 작업 관련 콘텐트(390D)("6월 19일 예약됨(Reserved for June 19th)")를 제공하고 그리고 작업과 관련된 추가 정보("확인 편지 ... 받은 편지함(A confirmation letter ... inbox)")를 제공할 수 있다. 일부 구현들에서, 작업 파라미터 모듈(132)은, 이들 컴퓨팅 시스템들에 의해 그리고/또는 이들 컴퓨팅 시스템들로부터 사용자 인터페이스 출력을 수신하는 하나 이상의 인간들에 의해, 액션의 수행을 개시하기 위해 (예를 들어, 서니베일 시티에 의해 제어되는) 하나 이상의 다른 컴퓨팅 시스템들에 작업에 대한 파라미터들의 특정 값들을 전달함으로써 작업을 개시할 수 있다.
도 3b는 클라이언트 컴퓨팅 디바이스(1061)의 사용자와 여기에 개시된 구현들에 따른 자동화된 메시징 시스템 사이(120)에서 발생할 수 있는 다이얼로그의 다른 예를 디스플레이하는 디스플레이 스크린(140)을 구비한 도 1의 컴퓨팅 디바이스(1061)를 도시한다. 특히, 도 3b는, 도 3a에 도시된 것과 상이한 자연 언어 사용자 인터페이스 입력을 제공하는 사용자에 응답하여, 도 3a의 다이얼로그가 어떻게 상이할 수 있는지에 대한 일 예를 도시한다. 즉, 이는, 자동화된 메시징 시스템(120)이 다이얼로그 동안 제공되는 사용자 인터페이스 입력에 기초하여 다이얼로그를 어떻게 적용시킬 수 있는지의 한 예를 도시한다.
도 3b에서, 자동화된 메시징 시스템(120)은, 도 3a의 작업 관련 콘텐트(390A)와 동일한 작업 관련 콘텐트(390E)로 다이얼로그를 개시한다. 도 3b에서, 사용자는 "물론이야(Sure)!"만을 포함하고 그리고 도 3a의 입력(380B)으로서 아이템들의 양을 특정하지 않는 입력(380C)에 응답한다. 자동화된 메시징 시스템(120)은, 도 3a에서와 같이 프로토콜의 가구 아이템들 파라미터의 양에 기초하여 생성될 수 있는 추가의 작업 관련 콘텐트(390F)를 제공하지만, 사용자가 도 3a의 입력(380B)에서 행한 바와 같이 입력(380C)에서 유효하지 않은 양 파라미터를 지정하지 않기 때문에 상이한 콘텐트를 포함한다.
도 3b에서, 사용자는 "소파와 TV(A sofa and a TV)"의 입력(380D)으로 응답한다. 메시지 생성 엔진(130)은, "미안하지만 TV는 안돼. 그냥 소파만인지 아니면 다른 아이템을 추가할 것인가?(Sorry, no TVs. Just the sofa or add another item?)"의 추가의 작업 관련 콘텐트(390G)로 응답한다. 이 응답은, TV를 제거할 수 없음을 지정하는 프로토콜의 추가 파라미터를 기반으로 할 수 있다.
도 3b의 다이얼로그는 추가의 사용자 입력(380E) 및 추가의 사용자 입력 (380E)에 적합한 추가의 작업 관련 콘텐트(390D)로 계속된다.
이제, 도 4를 참조하면, 작업 관련 콘텐트를 생성하기 위해 로컬 언어 데이터베이스(158)를 이용하는 메시지 생성 엔진(130)의 다른 예들이 제공된다. 도 4는 클라이언트 컴퓨팅 디바이스(1061)의 사용자와 여기에 개시된 구현들에 따른 자동화된 메시징 시스템(120) 사이에서 발생할 수 있는 다이얼로그의 또 다른 예를 디스플레이하는 디스플레이 스크린(140)을 구비한 도 1의 컴퓨팅 디바이스(1061)를 도시한다. 도 4의 디스플레이 스크린(140)은, 사용자가 가상 키보드를 통해 사용자 입력을 생성하도록 선택할 수 있는 텍스트 응답 인터페이스 요소(484) 및 사용자가 마이크로폰을 통해 사용자 입력을 생성하도록 선택할 수 있는 음성 응답 인터페이스 요소(485)를 더 포함한다. 또한, 디스플레이 스크린(140)은 컴퓨팅 디바이스(1061)로 하여금 하나 이상의 액션들을 수행하도록 하기 위해 사용자와 상호 작용할 수 있는 시스템 인터페이스 요소들(481, 482, 483)을 포함한다.
도 4에서, 작업 엔진(126)은 "음식을 주문하는(ordering food)" 액션을 지시하고 그리고 그 액션에 대한 "레스토랑(a restaurant)"의 서비스 엔티티를 지시하는 "레스토랑에서의 음식 주문(ordering food in a restaurant)"의 작업을 식별한다. 일부 구현들에서, 작업 엔진(126)은, 사용자 속성 엔진(124)에 의해 제공된 사용자의 하나 이상의 사용자 속성들이 그 작업에 대한 하나 이상의 기준을 따르는지를 결정하는 것에 기초하여 "레스토랑에서 음식 주문(ordering food in a restaurant)"을 식별할 수 있다. 예를 들어, "레스토랑에서의 음식 주문(ordering food in a restaurant)" 작업은, 레스토랑에 있고 그리고 사용자의 언어(예를 들어, 사용자의 기본 언어)와 상이한 기본 언어를 사용하는 지역에 있는 기준을 포함한다고 가정하자. 또한, 사용자의 사용자 속성들은, 사용자가 레스토랑에 있고 레스토랑이 사용자의 언어와 다른 기본 언어를 사용하는 지역에 있다고 가정하자. 예를 들어, 사용자가 스페인어 사용 국가에 있고 사용자가 사용하는 언어가 단지 영어인 경우를 가정하자. 작업 엔진(126)은 사용자 속성들과 작업에 대한 기준 간의 적합성에 기초하여 "레스토랑에서의 음식 주문(ordering food in a restaurant)" 작업"을 식별할 수 있다.
메시지 생성 엔진(130)은, 사용자가 작업 수행을 돕기를 원하는지("주문 하시겠습니까(Would you like help ordering?)")를 촉구하는 작업 관련 컨텐츠 (490A)를 생성하기 위해 "레스토랑에서의 음식 주문(ordering food in a restaurant)"이라는 작업을 이용한다.
도 4의 작업 관련 콘텐트(490A)에 응답하여, 사용자는, "응. 나는 닭고기를 주문하고 싶다(Yes. I'd like to order some chicken)"라는 응답성 자연 언어 입력 (480A)을 제공하기 위해 컴퓨팅 디바이스(1061)의 하나 이상의 사용자 인터페이스 입력 디바이스들을 이용한다.
메시지 생성 엔진(130)은, 지역 언어 데이터베이스(158)로부터 "메 구스타리아 [음식] 파버(Me gustaria [food] favor)"의 자연어 입력을 식별하기 위해 작업 및 (사용자 속성에 의해 표시된 바와 같은) 사용자의 현재 위치를 사용한다. 예를 들어, 그 자연 언어 엔트리는, 데이터베이스(158)에서 "음식 주문(ordering food)" 작업 및 사용자의 현재 위치에 대응하는 지리적 영역과 관련되는 것에 기초하여 식별될 수 있다. 메시지 생성 엔진(130)은, 자연 언어 엔트리에 기초한 자연 언어 출력을 포함하고 그리고 입력(480A)에서 표시된 "닭(chicken)"의 번역인 "폴로(pollo)"에 기초하여 "[음식(food)]"의 자리에 대체된 "폴로(pollo)"를 포함하는 콘텐트(490B)를 생성한다.
콘텐트(490B)는, 또한, 사용자에 의해 선택될 때, 컴퓨팅 디바이스(1061)의 스피커를 통해 사용자에게 "메 구스타리아 폴로 파버(Me gustaria pollo favor)"가 청취 가능하도록 제시된, 선택가능한 그래픽 요소("예를 듣기 원하면 클릭하시오(Click to hear an example)")를 포함한다. 일부 구현들에서, "메 구스타리아 폴로 파버(Me gustaria pollo favor)"가 "메 구스타리아 폴로 파버(Me gustaria pollo favor)"의 디스플레이 대신 또는 디스플레이에 추가하여 자동으로 사용자에게 청각적으로 제시될 수 있다.
콘텐트(490C)는, 또한, 사용자에 의해 선택될 때, 사용자에 의해 제공된 음성 입력이 컴퓨팅 디바이스(1061)의 마이크로폰에 의해 캡처되도록 하는 선택 가능한 그래픽 요소("그것을 말하기 위해 여기를 클릭하시오(Click here to try saying it)")를 포함한다. 음성 입력은, "메 구스타리아 폴로 파버(Me gustaria pollo favor)"와 일치하는지를 결정하기 위해 자동화된 메시징 시스템(120) 및/또는 다른 컴포넌트에 의해 분석될 수 있다. 일치하는 경우, 자동화된 메시징 시스템(120)은, 사용자가 언어 세그먼트를 적절하게 낭독했음을 지시하는 추가의 작업 관련 콘텐트(도시되지 않음)를 통해 사용자에게 피드백을 제공할 수 있다. 일치하지 않으면, 자동화된 메시징 시스템은, 사용자가 언어 세그먼트를 적절하게 암송하지 않았음을 나타내고, 적절하게 열거되지 않은 용어(들)을 나타내며, 그리고/또는 청각적으로 문구를 사용자에게 제공하고 및/또는 사용자에게 문구를 들을 수 있는 또 다른 기회를 제공하는 추가 작업 관련 콘텐트(도시되지 않음)을 통해, 사용자에게 피드백을 제공할 수 있다.
지역 언어 데이터베이스(158)로부터의 엔트리를 이용하는 특정 예가 도 4에 도시되어 있지만, 많은 변형들이 고려된다. 예를 들어, 사용자의 작업을 식별하는 것에 응답하여 일부 구현들에서, 자동화된 메시징 시스템(120)은, 사용자가 이들 문구들을 제공 받기를 원한다는 것을 확인하도록 사용자에게 먼저 촉구하지 않고 하나 이상의 문맥상 적절한 "외국어(foreign language)" 문구들을 제공함으로써 다이얼로그를 개시할 수 있다. 예를 들어, 도 4의 다이얼로그의 개시는 "당신이 식당에 있는 것처럼 보인다. 음식을 주문하기 원하면, '메 구스타리아, [당신의 원하는 음식], 파버'라고 말하시오. 예를 들어, 닭을 주문하기 위해 '메 구스타리아 폴로 파버'라고 말하시오(It seems like you are in a restaurant. If you would like to order food say 'Me gustaria, [the food you want], favor'. For example, to order chicken say 'Me gustaria pollo favor')" 일 수 있다. 다이얼로그의 개시는 또한 임의로 자동적으로 청각적으로 적어도 일부의 콘텐트를 제시하고 그리고/또는 적어도 일부의 콘텐트를 언급하려는 사용자의 시도를 자동적으로 청취할 수 있다.
다른 예로서, 사용자가 사용자의 주 언어와 상이한 주 언어를 갖는 지리적 영역의 레스토랑에 있는 것에 기초하여(또는 사용자가 곧 그 식당에 있을 것임을 나타내는 사용자의 캘린더 엔트리에 기초하여), 작업 엔진(126)은 "식당에서 의사소통(communicate in a restaurant)"이라는 보다 일반적인 작업을 식별할 수 있다. 또한, 메시지 생성 엔진(130)은, 지역 언어 데이터베이스(158)로부터, "그라시아스(gracias)"(감사합니다), "돈데 에스타 엘 바노(donde esta el bano)"(화장실이 어디에요), "메 구스타리아, [당신의 원하는 음식], 파버(Me gustaria, [the food you want], favor)"(나는 [당신의 원하는 음식]을 먹고 싶습니다)의 언어 세그먼트들과 같은 작업에 관련된 여러 언어 세그먼트들을 식별할 수 있다. 메시지 생성 엔진(130)은 "레스토랑에서 사용하기에 유용한 지역 언어 문구들을 듣고 싶으면 알려주세요(Let me know if you would like to hear helpful local language phrases to use in a restaurant)"의 콘텐트로 다이얼로그를 개시할 수 있다. 긍정적인 사용자 입력에 응답하여, 메시지 생성 엔진(130)은 이들 언어 세그먼트들의 영어 설명과 함께 하나 이상의 식별된 언어 세그먼트들(예를 들어, N개의 가장 인기있는 언어 세그먼트들)을 사용자에게 제시할 수 있다.
다이얼로그에 관여하기 위한 그래픽 사용자 인터페이스는 도 3a, 도 3b 및 도 4에 도시되어 있고 그리고 본 명세서에 일부 다른 예들에 서술되어 있다. 그러나, 일부 구현들에서, 자동화된 메시징 시스템(120)에 의해 제공되는 촉구들은 반드시 그러한 촉구들을 디스플레이하지 않고 청각적으로 (사용자의 컴퓨팅 디바이스의 스피커(들)을 통해) 사용자에게 전달될 수 있다. 더욱이, 이러한 구현들의 일부 버전에서, 사용자 입력은 언어 사용자 인터페이스 입력을 제공하는 사용자를 통해 제공될 수 있다. 하나의 특정 예로서, 일부 구현들에서, 사용자는 임의의 디스플레이를 포함하지 않는 컴퓨팅 디바이스를 이용하여 자동화된 메시징 시스템과의 다이얼로그에 관여할 수 있다.
도 5는 사용자의 작업에 기초하여 사용자와의 다이얼로그를 개시하고, 다이얼로그 중에 사용자에 의해 제공된 자연 언어 입력에 기초하여 다이얼로그를 구성하며, 그리고 다이얼로그에서 분석된 하나 이상의 파라미터들로 작업의 성능을 선택적으로 초기화하는 예시적인 방법(500)을 나타내는 흐름도이다. 편의상, 흐름도의 동작들은 동작들을 수행하는 시스템을 참조하여 서술된다. 이러한 시스템은 자동화된 메시징 시스템(120)과 같은 다양한 컴퓨터 시스템들의 다양한 컴포넌트들을 포함할 수 있다. 더욱이, 방법(500)의 동작들이 특정 순서로 도시되어 있지만, 이것에 한정되는 것은 아니다. 하나 이상의 동작들이 재정렬, 생략 또는 추가될 수 있다.
블록(552)에서, 시스템은 사용자의 작업을 식별한다.
블록(554)에서, 시스템은 사용자의 컴퓨팅 디바이스의 사용자 인터페이스 출력 디바이스를 통해 사용자에게 제시하기 위해 작업에 적합한 콘텐트를 제공함으로써 사용자와 다이얼로그를 개시한다. 일부 구현들에서, 시스템은 태스크와 관련되는 (예를 들어, 작업에 의해 표시된 액션 및/또는 엔티티와 관련되는) 프로토콜을 식별할 수 있고, 그리고 프로토콜에 기초하여 콘텐트를 생성할 수 있다. 일부 구현들에서, 시스템은 작업과 연관된 하나 이상의 언어 세그먼트들을 식별할 수 있고, 언어 세그먼트(들)에 기초하여 콘텐트를 생성할 수 있고 그리고/또는 사용자가 언어 세그먼트들과 관련된 추가 작업 콘텐트를 원할 것인지를 결정하기 위해 콘텐트를 생성할 수 있다.
블록(556)에서, 시스템은, 블록(554)에서 콘텐트를 제공하는 것에 응답하여, 사용자의 컴퓨팅 디바이스(또는 사용자의 다른 컴퓨팅 디바이스)의 사용자 인터페이스 입력 디바이스를 통해 사용자에 의해 공식화된 자연 언어 입력을 수신한다. 일부 구현들에서, 자연 언어 입력은 사용자 인터페이스 입력 디바이스를 통해 사용자에 의해 공식화된 자유 형식 입력이다.
블록(558)에서, 시스템은 작업에 적합하고 블록(556)에서 수신된 자연 언어 입력에 기초한 추가 콘텐트를 생성한다. 일부 구현들에서, 시스템은 블록(554)에서 선택적으로 식별된 프로토콜과 같이, 태스크와 관련된 프로토콜에 기초하여 추가 컨텐트를 생성할 수 있다. 예를 들어, 시스템은 프로토콜에 정의된 작업 파라미터들과 관련된 사용자 입력을 요구하기 위해 추가 콘텐트를 생성할 수 있다. 이러한 예에서, 시스템은 블록(556)에서 수신된 자연 언어 입력에 기초하여 사용자가 작업과 관련된 추가적인 콘텐트를 원하는 것을 나타내는 추가의 콘텐트를 생성할 수 있고 그리고/또는 블록(556)에서 수신된 자연 언어 입력에 의해 정의된 유효 값을 가지지 않은 작업 파라미터에 기초하여 추가 콘텐트를 생성할 수 있다. 일부 구현들에서, 블록(554)의 콘텐트는 작업과 연관된 언어 세그먼트를 포함하며, 블록(556)의 입력은 언어 세그먼트를 구두로 말할 수 있는 사용자에 의한 시도이며, 그리고 블록(558)의 추가 콘텐트는 블록(556)의 입력 분석에 기초한 시도로 피드백된다.
블록(560)에서, 시스템은 사용자의 컴퓨팅 디바이스의 사용자 인터페이스 출력 디바이스를 통해 사용자에게 나타내기 위한 추가 콘텐트를 제공한다.
선택적인 블록(562)에서, 시스템은, 추가 콘텐트를 제공하는 것에 응답하여, 사용자 인터페이스 입력 디바이스를 통해 사용자에 의해 공식화된 추가의 자연 언어 입력을 수신한다.
선택적인 블록(564)에서, 시스템은, 블록(552)에서 작업에 대한 하나 이상의 작업 파라미터들(예를 들어, 모든 작업 파라미터들 또는 모든 필요한 작업 파라미터들)이 블록(552)에서 작업과 함께 제공된 값들 및/또는 블록(556 및/또는 562)에서 사용자에 의해 제공된 자연 언어 입력에 기초하여 결정된 값들에 의해 분석될 수 있다. 예를 들어, 시스템은, 작업에 대한 프로토콜에 정의된 모든 필요한 작업 파라미터들에 대해 값들이 정의되었는지를 결정할 수 있다.
모든 작업 파라미터들이 분석되지 않았다고 시스템이 결정하면, 시스템은 블록(566)으로 진행하여 분석되지 않은 작업 파라미터(들)을 분석하기 위해 다른 추가 콘텐트를 생성한다. 일부 구현들에서, 추가 콘텐트는 블록(554 및/또는 558)에서 선택적으로 결정된 프로토콜에 기초한다. 예를 들어, 시스템은, 블록들(556 및 562)에서 수신된 입력에 의해 특정되지 않는 이러한 특정 파라미터들을 고려하여, 블록(554)에서 결정된 프로토콜에 대한 하나 이상의 특정 파라미터들을 요청하기 위한 추가 촉구를 생성할 수 있다.
블록(566)에서 추가 촉구를 생성한 후, 시스템은 블록들(560 및 562)로 진행하고, 이후, 블록(562)의 제2 반복에서 수신된 또 다른 입력에 기초하여 블록(552)의 작업에 대한 하나 이상의 작업 파라미터들(예를 들어, 모든 작업 파라미터들 또는 모든 필요한 작업 파라미터들)이 분석됨을 블록(564)에서 다시 결정한다.
시스템이 블록(564)에서(블록(564)의 제1 반복 또는 후속 반복에서)에서 작업 파라미터들이 분석될 수 있다고 결정하면, 시스템은, 시스템이 작업의 수행을 개시하는 선택적인 블록(568)으로 진행한다. 일부 구현들에서, 시스템은, 이러한 컴퓨팅 시스템들에 의해 그리고/또는 이들 컴퓨팅 시스템으로부터 사용자 인터페이스 출력을 수신하는 하나 이상의 인간들에 의해 작업의 수행을 개시하도록 하나 이상의 분석된 파라미터들의 값들을 가진 작업을 하나 이상의 다른 컴퓨팅 시스템들에 전달할 수 있다.
도 6은 여기에 서술된 기술들의 하나 이상의 양상들을 수행하기 위해 선택적으로 이용될 수 있는 예시적인 컴퓨팅 장치(610)의 블록도이다. 일부 구현들에서, 하나 이상의 클라이언트 컴퓨팅 디바이스들(1601-N), 자동화된 메시징 시스템(120) 및/또는 다른 컴포넌트(들)은 예시적인 컴퓨팅 디바이스(610)의 하나 이상의 컴포넌트들을 포함할 수 있다.
컴퓨팅 디바이스(610)는 통상적으로 버스 서브시스템(612)을 통해 다수의 주변 디바이스들과 통신하는 적어도 하나의 프로세서(614)를 포함한다. 이러한 주변 디바이스들은, 예를 들어, 메모리 서브시스템(625) 및 파일 저장 서브시스템(626)을 포함하는 저장 서브시스템(624), 사용자 인터페이스 출력 디바이스들(620), 사용자 인터페이스 입력 디바이스들(622) 및 네트워크 인터페이스 서브시스템(616)을 포함할 수 있다. 입력 및 출력 디바이스는 컴퓨팅 디바이스(610)와의 사용자 상호 작용을 가능하게 한다. 네트워크 인터페이스 서브시스템(616)은 외부 네트워크들에 인터페이스를 제공하고 그리고 다른 컴퓨팅 디바이스들 내의 대응하는 인터페이스 디바이스들에 연결된다.
사용자 인터페이스 입력 디바이스들(622)은, 키보드, 마우스, 트랙볼, 터치 패드 또는 그래픽 태블릿과 같은 포인팅 디바이스, 스캐너, 디스플레이에 통합된 터치 스크린, 음성 인식 시스템들과 같은 오디오 입력 디바이스들, 마이크로폰들, 및/또는 다른 유형의 입력 디바이스들을 포함할 수 있다. 일반적으로, 용어 "입력 디바이스(input device)"의 사용은 컴퓨팅 디바이스(610)에 또는 통신 네트워크상에 정보를 입력하는 모든 가능한 유형들을 디바이스들 및 방식들을 포함하도록 의도된다.
사용자 인터페이스 출력 디바이스들(620)은 디스플레이 서브시스템, 프린터, 팩스 머신 또는 오디오 출력 디바이스들과 같은 비 시각적 디스플레이들을 포함할 수 있다. 디스플레이 서브 시스템은 음극선관(CRT), 액정 디스플레이(LCD)와 같은 평판 디바이스, 프로젝션 디바이스, 또는 가시적 이미지를 생성하기 위한 다른 메커니즘을 포함할 수 있다. 디스플레이 서브 시스템은 또한 오디오 출력 디바이스들을 통한 비 시각적 디스플레이를 제공할 수 있다. 일반적으로, 용어 "출력 디바이스(output device)"의 사용은 컴퓨팅 디바이스(610)로부터 사용자 또는 다른 머신 또는 컴퓨팅 디바이스로 정보를 출력하는 모든 가능한 유형들의 디바이스들 및 방식들을 포함하도록 의도된다.
저장 서브시스템(624)은 여기에 서술된 일부 또는 모든 모듈들의 기능을 제공하는 프로그래밍 및 데이터 구조를 저장한다. 예를 들어, 저장 서브시스템(624)은 도 5의 방법들의 선택된 양상들을 수행하기 위한 로직을 포함할 수 있다.
이들 소프트웨어 모듈들은 일반적으로 프로세서(614) 단독으로 또는 다른 프로세서들과 조합하여 실행된다. 저장 서브시스템(624)에서 사용되는 메모리(625)는, 프로그램 실행 중 명령 및 데이터의 저장을 위한 메인 랜덤 액세스 메모리(RAM)(630) 및 고정된 명령어들이 저장되는 판독 전용 메모리(ROM)(632)를 포함하는 다수의 메모리들을 포함할 수 있다. 파일 저장 서브시스템(626)은 프로그램 및 데이터 파일들을 위한 영구 저장 장치를 제공할 수 있으며, 그리고 하드 디스크 드라이브, 관련 착탈가능한 매체와 함께 플로피 디스크 드라이브, CD-ROM 드라이브, 광 드라이브 또는 착탈가능한 매체 카트리지들을 포함할 수 있다. 특정 구현들의 기능을 구현하는 모듈들은, 저장 서브시스템(624)의 파일 저장 서브시스템(626) 또는 프로세서(들)(614)에 의해 액세스 가능한 다른 머신들에 저장될 수 있다.
버스 서브시스템(612)은 컴퓨팅 디바이스(610)의 다양한 컴포넌트들 및 서브 시스템들이 의도된 바와 같이 서로 통신하게 하는 메커니즘을 제공한다. 버스 서브시스템(612)은 단일 버스로서 개략적으로 도시되어 있지만, 버스 서브시스템의 다른 구현들은 다수의 버스들을 사용할 수 있다.
컴퓨팅 디바이스(610)는 워크스테이션, 서버, 컴퓨팅 클러스터, 블레이드 서버, 서버 팜 또는 임의의 다른 데이터 프로세싱 시스템 또는 컴퓨팅 디바이스를 포함하는 다양한 유형일 수 있다. 컴퓨터들 및 네트워크들의 끊임없이 변화하는 특성으로 인해, 도 6에 도시된 컴퓨팅 디바이스(610)의 서술은 단지 일부 구현들을 설명하기 위한 특정 예로서 의도된다. 도 6에 도시된 컴퓨팅 디바이스보다 많거나 적은 컴포넌트들을 갖는 컴퓨팅 디바이스(610)의 많은 다른 구성들이 가능하다.
여기에 서술된 시스템들이 사용자들에 관한 개인 정보를 수집하거나 또는 개인 정보를 사용할 수 있는 경우, 사용자들은 프로그램들 또는 피처들이 사용자 정보(예를 들어, 사용자의 사회적 네트워크, 사회적 액션들 또는 활동들, 직업, 사용자의 선호도들 또는 사용자의 현재 지리적 위치에 관한 정보)를 수집하는지를 제어하거나, 또는 사용자에게 더 관련이 있을 수 있는 콘텐트 서버로부터 콘텐트를 수신할지 여부 그리고/또는 수신하는 방법을 제어하기 위한 기회가 제공될 수 있다. 또한, 특정 데이터는 개인 식별 정보가 제거될 수 있도록 저장되거나 사용되기 전에 하나 이상의 방식들로 취급될 수 있다. 예를 들어, 어떤 개인 식별 가능한 정보도 사용자에 대해 결정될 수 없도록 사용자의 신원은 처리될 수 있거나 또는 사용자의 특정 지리적 위치가 결정될 수 없도록, 지리적 위치 정보가 획득되는 곳(예를 들어, 도시, 우편 번호 또는 스테이트 레벨)으로 사용자의 지리적 위치가 일반화될 수 있다. 따라서, 사용자는 사용자에 관한 정보 수집 방법 및/또는 사용 방법에 대한 제어권을 가질 수 있다.
몇몇 구현들이 본 명세서에서 설명되고 예시되었지만, 기능을 수행하고 그리고/또는 결과들 및/또는 여기에 서술된 하나 이상의 이점들을 얻기 위한 다양한 다른 수단 및/또는 구조들이 이용될 수 있고, 그리고 그러한 변형들 및/또는 수정들 각각은 본 명세서에서 서술된 구현들의 범위 내에 있는 것으로 간주된다. 보다 일반적으로는, 여기에 서술된 모든 파라미터들, 치수들, 재료들 및 구성들은 예시적인 것이며, 실제 파라미터, 치수들, 재료들 및/또는 구성들은 특정 애플리케이션 또는 그 교시들이 사용되는 애플리케이션들이 의존할 것이다. 통상의 기술자는 일상적인 실험만을 사용하여 본 명세서에서 서술된 특정 구현들에 대한 많은 균등물을 인식할 수 있거나 또는 확인할 수 있을 것이다. 따라서, 전술한 구현들은 단지 예일 뿐이며, 첨부된 청구 범위 및 그 등가물의 범위 내에서, 구현들은 구체적으로 서술되고 청구된 것과 다르게 실시될 수 있음을 이해해야 한다. 본 개시의 구현들은 여기에 서술된 각각의 개별적인 피처, 시스템, 물품, 재료, 키트 및/또는 방법에 관한 것이다. 또한, 그러한 피처들, 시스템들, 물품들, 재료들, 키트들 및/또는 방법들이 상호 불일치하지 않는 경우, 둘 이상의 그러한 피처들, 시스템들, 물품들, 재료들, 키트들 및/또는 방법들의 임의의 조합이 본 발명의 범위 내에 포함된다.

Claims (25)

  1. 방법으로서,
    사용자와 아직 연관되지 않은 적어도 하나의 작업에 대해, 상기 사용자의 현재 위치에 기초하여 자동화된 메시징 시스템과 연관된 하나 이상의 프로세서들에 의해, 상기 사용자에 대한 적어도 하나의 작업을 식별하는 단계 - 상기 작업은 적어도 하나의 액션 및 상기 액션과 관련된 적어도 하나의 엔티티를 표시하며 - 와;
    상기 하나 이상의 프로세서들에 의해, 상기 엔티티의 위치에 대응하는 상기 사용자의 현재 위치에 기초하여 상기 적어도 하나의 작업을 상기 사용자에게 할당하는 단계 - 상기 할당은 상기 사용자에 의해 상기 자동화된 메시징 시스템에 제공되는 임의의 사용자 인터페이스 입력과는 무관하며 - 와;
    상기 하나 이상의 프로세서들에 의해 그리고 상기 엔티티의 위치에 대응하는 상기 사용자의 현재 위치에 기초하여 상기 적어도 하나의 작업을 상기 사용자에게 할당하는 것을 기반으로, 상기 작업과 관련된 사용자와의 다이얼로그를 개시하는 단계 - 상기 개시하는 단계는, 상기 자동화된 메시징 시스템을 통해 그리고 상기 사용자가 상기 자동화된 메시징 시스템에 상기 작업과 관련된 어떤 입력도 직접 제공하지 않으면서 행해지고, 그리고 상기 개시하는 단계는, 상기 사용자의 컴퓨팅 디바이스의 스피커를 통해 상기 사용자에게 청각적으로 제시하기 위해 상기 작업에 적용가능한 콘텐트를, 상기 자동화된 메시징 시스템에 의해 자동으로 제공하는 단계를 포함하고,
    상기 다이얼로그를 개시하기 전에, 상기 자동화된 메시징 시스템에 의해, 상기 사용자와 상기 자동화된 메시징 시스템 사이의 임의의 진행중인 다이얼로그는 상기 작업에 명시적으로 전달되지 않으며, 그리고
    상기 작업에 적용 가능한 콘텐트는 상기 엔티티의 위치에 대응하는 사용자의 현재 위치에 기초하여 상기 사용자에게 할당된 작업의 엔티티에 적용 가능하며 - 와;
    상기 제공에 응답하여 상기 하나 이상의 프로세서들에 의해, 상기 다이얼로그를 계속하고 그리고 상기 컴퓨팅 디바이스의 사용자 인터페이스 입력 디바이스를 통해 상기 사용자에 의해 생성된 자유 형식 자연 언어 입력을 수신하는 단계와;
    상기 하나 이상의 프로세서들에 의해, 상기 작업에 적용가능하고 그리고 상기 자연 언어 입력에 기초한 추가적인 콘텐트를 생성하는 단계와; 그리고
    상기 다이얼로그의 연속에서 상기 하나 이상의 프로세서들에 의해, 사용자 인터페이스 출력 디바이스를 통해 상기 사용자에게 나타내기 위한 상기 추가적인 콘텐트를 제공하는 단계를 포함하는 것을 특징으로 하는
    방법.
  2. 제1항에 있어서,
    상기 하나 이상의 프로세서들에 의해, 상기 사용자의 현재 위치가 상기 엔티티의 위치와 매칭하는지를 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 하나 이상의 프로세서들에 의해, 상기 사용자의 현재 위치가 상기 엔티티의 위치와 매칭하고 그리고 상기 엔티티의 위치가 상기 사용자에게 익숙한 위치가 아님을 결정하는 단계 - 상기 엔티티의 위치가 상기 사용자에게 익숙한 위치가 아님을 결정하는 것은 상기 사용자가 상기 엔티티의 위치에 대한 새로운 이동자 또는 새로운 방문자라는 결정에 기초하며 - 와;
    상기 하나 이상의 프로세서들에 의해 상기 작업을 식별하는 단계는 상기 엔티티의 위치에 익숙하지 않은 개인들과 관련된 상기 작업에 또한 기초하며; 그리고
    상기 하나 이상의 프로세서들에 의해 상기 작업을 상기 사용자에게 할당하는 단계는 상기 엔티티의 위치가 상기 사용자에게 익숙하지 않고 그리고 상기 작업이 상기 엔티티의 위치에 익숙하지 않은 개인들과 연관되어 있음을 결정하는 것에 또한 기초하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 하나 이상의 프로세서들에 의해, 상기 작업에 적용가능하고 그리고 소스 언어로 이루어진 소스 언어 콘텐트를 식별하는 단계와;
    상기 하나 이상의 프로세서들에 의해, 상기 소스 언어와 상이한 상기 사용자의 언어를 식별하는 단계와; 그리고
    상기 소스 언어 콘텐트를 상기 소스 언어로부터 상기 사용자의 언어로 번역함으로써, 상기 하나 이상의 프로세서들에 의해, 상기 콘텐트를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 하나 이상의 프로세서들에 의해, 상기 작업의 수행과 관련된 복수의 파라미터들을 정의하는 프로토콜을 식별하는 단계와; 그리고
    상기 하나 이상의 프로세서들에 의해, 하나 이상의 파라미터들의 그룹에 관련된 입력을 요구하기 위해 콘텐트 또는 추가적인 콘텐트를 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 액션에 의해 표시된 엔티티는 서비스 엔티티이고, 상기 자유 형식 자연 언어 입력은 복수의 자연 언어 입력들을 포함하고, 그리고 상기 복수의 자연 언어 입력들은 상기 사용자의 모국어이며, 상기 방법은,
    상기 하나 이상의 프로세서들에 의해, 상기 서비스 엔티티에 대한 선호 언어를 식별하는 단계와;
    상기 하나 이상의 프로세서들에 의해, 상기 복수의 자연 언어 입력들 중 적어도 일부를 상기 모국어로부터 상기 선호 언어로 번역하는 단계와; 그리고
    상기 하나 이상의 프로세서들에 의해, 상기 번역된 자연 언어 입력을 상기 서비스 엔티티에 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 작업을 상기 사용자에게 할당하는 것은 또한 상기 사용자의 현재 위치에 기초하고, 상기 사용자의 현재 위치는 상기 사용자가 말하지 않는 제1 언어를 사용하는 지리적 영역에 있으며,
    상기 지리적 영역에 있는 상기 사용자의 현재 위치에 기초하여 제공되는 상기 작업에 적용가능한 콘텐트는, 상기 작업과 관련하여 상기 엔티티에서 말해지지만 상기 사용자가 말하지 않는 제1 언어의 관용 어구(common phrase)를 포함하고;
    상기 콘텐트의 제공에 응답하여 수신된 상기 자유 형식 자연 언어 입력은 상기 관용 어구를 구어체로 말하려고 하는 시도의 오디오이고; 그리고
    상기 추가적인 콘텐트는 상기 오디오의 분석에 기초한 피드백인 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 방법은, 상기 하나 이상의 프로세서들에 의해, 상기 엔티티에 대한 액션의 수행과 관련된 복수의 파라미터들을 정의하는 프로토콜을 식별하는 단계를 더 포함하고,
    상기 추가적인 콘텐트를 생성하는 단계는 하나 이상의 파라미터들의 그룹으로 향하는 입력을 요구하기 위해 수행되며,
    상기 방법은,
    상기 다이얼로그를 계속하고 그리고 상기 사용자 인터페이스 입력 디바이스를 통해 상기 사용자에 의해 생성된 추가적인 자유 형식 자연 언어 입력을, 상기 추가적인 콘텐트를 제공하는 것에 응답하여 상기 하나 이상의 프로세서들에 의해 수신하는 단계와; 그리고
    상기 추가적인 자유 형식 자연 언어 입력에 기초하여 하나 이상의 파라미터들에 대한 하나 이상의 값들을 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서,
    상기 하나 이상의 프로세서들에 의해, 상기 결정된 하나 이상의 값들을 갖는 상기 엔티티에 대한 액션을 개시하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  10. 제8항에 있어서,
    상기 파라미터들에 대한 하나 이상의 값들을 결정한 후에 상기 하나 이상의 프로세서들에 의해, 유효 값들이 특정되지 않은 하나 이상의 파라미터들을 식별하는 단계와;
    상기 하나 이상의 프로세서들에 의해, 유효 값들이 지정되지 않은 상기 하나 이상의 파라미터들로 향하는 입력을 요구하기 위해 추가적인 콘텐트를 생성하는 단계와; 그리고
    상기 다이얼로그의 연속에서 상기 하나 이상의 프로세서들에 의해, 상기 사용자 인터페이스 출력 디바이스를 통해 상기 사용자에게 나타내기 위한 추가 콘텐트를 제공하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  11. 제1항에 있어서,
    상기 방법은, 상기 하나 이상의 프로세서들에 의해, 상기 엔티티에 대한 액션의 수행과 관련된 복수의 파라미터들을 정의하는 프로토콜을 식별하는 단계를 더 포함하고,
    상기 추가적인 콘텐트를 생성하는 단계는 하나 이상의 파라미터들의 그룹으로 향하는 입력을 요구하기 위해 수행되며,
    상기 방법은, 상기 다이얼로그를 계속하고 그리고 상기 사용자 인터페이스 입력 디바이스를 통해 상기 사용자에 의해 생성된 추가적인 자유 형식 자연 언어 입력을, 상기 추가적인 콘텐트를 제공하는 것에 응답하여 상기 하나 이상의 프로세서들에 의해 수신하는 단계와;
    상기 추가적인 자유 형식 자연 언어 입력에 의해 특정된 적어도 하나의 값이 상기 그룹의 상기 파라미터들 중 주어진 파라미터에 대해 유효하지 않은 것으로 결정하는 단계와;
    상기 값이 상기 주어진 파라미터에 대해 유효하지 않고 그리고 상기 주어진 파라미터에 대한 하나 이상의 기준을 나타내는 추가의 컨텐트를 생성하는 단계와; 그리고
    상기 다이얼로그의 연속에서 상기 하나 이상의 프로세서들에 의해, 상기 사용자 인터페이스 출력 디바이스를 통해 상기 사용자에게 나타내기 위한 추가적인 콘텐트를 제공하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  12. 제11항에 있어서,
    상기 하나 이상의 프로세서들에 의해, 상기 엔티티에 대한 액션의 수행과 관련된 복수의 파라미터들을 정의하는 프로토콜을 식별하는 단계와; 그리고
    상기 자연 언어 입력에 의해 특정된 적어도 하나의 값이 상기 그룹의 상기 파라미터들 중 주어진 파라미터에 대해 유효하지 않은 것으로 결정하는 단계를 더 포함하고,
    상기 추가적인 콘텐트를 생성하는 단계는, 상기 값이 상기 주어진 파라미터에 대해 유효하지 않다는 표시를 포함하고 그리고 상기 주어진 파라미터에 대한 하나 이상의 기준의 표시를 포함하도록 상기 추가적인 콘텐트를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  13. 삭제
  14. 제1항에 있어서,
    상기 다이얼로그를 개시하는 단계는 상기 자동화된 메시징 시스템으로 향하는 사용자 인터페이스 입력에 응답하고, 상기 사용자 인터페이스 입력은 상기 작업을 명시적으로 식별하지 않는 것을 특징으로 하는 방법.
  15. 제1항에 있어서,
    상기 사용자에게 나타내기 위한 추가적인 콘텐트를 제공하는 단계는, 상기 콘텐트와 동시 디스플레이를 위해 상기 추가적인 콘텐트를 제공하는 단계를 포함하고, 상기 콘텐트와의 동시 디스플레이는 상기 컴퓨팅 디바이스에 의해 렌더링된 그래픽 사용자 인터페이스를 통해 이루어지는 것을 특징으로 하는 방법.
  16. 제15항에 있어서,
    상기 사용자에게 나타내기 위한 추가적인 콘텐트를 제공하는 단계는, 상기 자연 언어 입력과 동시 디스플레이를 위해 상기 추가적인 콘텐트를 제공하는 단계를 포함하고, 상기 자연 언어 입력과의 동시 디스플레이는 상기 컴퓨팅 디바이스에 의해 렌더링된 상기 그래픽 사용자 인터페이스를 통해 이루어지는 것을 특징을 하는 방법.
  17. 제15항에 있어서,
    상기 자동화된 메시징 시스템은 상기 사용자의 컴퓨팅 디바이스로부터 멀리 떨어져 있는 하나 이상의 컴퓨팅 디바이스들에서 적어도 부분적으로 구현되는 것을 특징으로 하는 방법.
  18. 시스템으로서,
    메모리 및 하나 이상의 프로세서들을 포함하고,
    상기 메모리는, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
    사용자와 아직 연관되지 않은 적어도 하나의 작업에 대해, 상기 사용자에게 상기 적어도 하나의 작업을 할당하고, 상기 작업은 적어도 하나의 액션 및 상기 액션과 관련된 적어도 하나의 엔티티를 표시하며, 상기 사용자에게 상기 적어도 하나의 작업을 할당하는 것은, 상기 하나 이상의 프로세서들로 하여금:
    상기 사용자가 현재 위치에 있고 그리고 상기 현재 위치가 상기 사용자에게 익숙한 위치가 아님을 결정하는 결정하고,
    상기 사용자의 현재 위치에 익숙하지 않은 개인들과 관련된 작업에 기초하여 상기 작업을 식별하고,
    상기 현재 위치가 상기 사용자에게 익숙한 위치가 아님을 결정하는 것과 상기 작업이 상기 사용자의 현재 위치에 익숙하지 않은 개인들과 관련되는 것에 기초하여 상기 작업을 상기 사용자에게 할당하고, 상기 할당은 상기 사용자에 의해 상기 시스템에 제공되는 임의의 사용자 인터페이스 입력과는 무관하며;
    상기 사용자에게 상기 작업을 할당하는 것에 기초하여, 상기 작업과 관련된 사용자와의 다이얼로그를 개시하고, 상기 다이얼로그를 개시하는 것에서, 상기 하나 이상의 프로세서들은, 상기 사용자의 컴퓨팅 디바이스의 스피커를 통해 상기 사용자에게 청각적으로 제시하기 위해, 상기 작업에 적용가능한 콘텐트를 자동으로 제공하며,
    상기 다이얼로그를 개시하는 것은, 상기 사용자가 상기 컴퓨팅 디바이스에 상기 작업과 관련된 어떤 입력도 직접 제공하지 않으면서 행해지고, 그리고
    상기 다이얼로그를 개시하기 전에, 임의의 진행중인 다이얼로그는 상기 작업에 명시적으로 전달되지 않으며,
    상기 제공에 응답하여, 상기 다이얼로그를 계속하고 그리고 상기 컴퓨팅 디바이스의 사용자 인터페이스 입력 디바이스를 통해 상기 사용자에 의해 생성된 자유 형식의 자연 언어 입력을 수신하고,
    상기 작업에 적용가능하고 그리고 상기 자연 언어 입력에 기초한 추가적인 콘텐트를 생성하며, 그리고
    상기 다이얼로그에 연속으로, 사용자 인터페이스 출력 디바이스를 통해 상기 사용자에게 나타내기 위한 추가적인 콘텐트를 제공하도록 하는 명령어들을 저장하는 것을 특징으로 하는
    시스템.
  19. 삭제
  20. 제18항에 있어서,
    상기 현재 위치가 상기 사용자에게 익숙한 위치가 아니라는 것을 결정하기 위한 명령어들은, 상기 사용자의 현재 위치가 상기 엔티티의 위치와 대응하는지를 결정하고 그리고 상기 사용자의 현재 위치가 사용자가 말하지 않는 제1 언어를 사용하는 지리적 영역에 있는지를 결정하기 위한 명령어들을 더 포함하고,
    상기 지리적 영역에 있는 상기 사용자의 현재 위치에 기초하여 제공되는 상기 작업에 적용가능한 콘텐트는, 상기 작업과 관련하여 상기 엔티티에서 말해지지만 상기 사용자가 말하지 않는 제1 언어의 관용 어구를 포함하고;
    상기 콘텐트의 제공에 응답하여 수신된 상기 자유 형식 자연 언어 입력은 상기 관용 어구를 구어체로 말하려고 하는 시도의 오디오이고; 그리고
    상기 추가적인 콘텐트는 상기 오디오의 분석에 기초한 피드백인 것을 특징으로 하는 시스템.
  21. 제18항에 있어서,
    상기 하나 이상의 프로세서들에 의해 실행될 때,
    상기 명령어들은 또한 상기 하나 이상의 프로세서들로 하여금,
    상기 엔티티에 대한 액션의 수행과 관련된 복수의 파라미터들을 정의하는 프로토콜을 식별하도록 하고,
    상기 추가적인 콘텐트를 생성하는 것에서, 상기 하나 이상의 프로세서들은 상기 하나 이상의 파라미터들의 그룹을 요구하기 위해 상기 추가적인 콘텐트를 생성하도록 하고,
    상기 추가적인 콘텐트를 제공하는 것에 응답하여, 상기 다이얼로그를 계속하고 그리고 상기 사용자 인터페이스 입력 디바이스를 통해 상기 사용자에 의해 생성된 추가적인 자유 형식 자연 언어 입력을 수신하도록 하며, 그리고
    상기 추가적인 자유 형식 자연 언어 입력에 기초하여 하나 이상의 파라미터들에 대한 하나 이상의 값들을 결정하도록 하는 것을 특징으로 하는 시스템.
  22. 하나 이상의 프로세서들에 의한 명령어들의 실행에 응답하여, 상기 하나 이상의 프로세서들로 하여금 동작을 수행하도록 하는 상기 명령어들을 포함하는 적어도 하나의 비 일시적인 컴퓨터 판독 가능 매체로서,
    상기 동작들은:
    사용자와 아직 연관되지 않은 적어도 하나의 작업에 대해, 상기 사용자의 현재 위치에 기초하여, 상기 사용자에 대한 적어도 하나의 작업을 식별하고, 상기 작업은 적어도 하나의 액션 및 상기 액션과 관련된 적어도 하나의 엔티티를 표시하며,
    상기 엔티티의 위치에 대응하는 상기 사용자의 현재 위치에 기초하여 상기 적어도 하나의 작업을 상기 사용자에게 할당하고, 상기 할당은 상기 사용자에 의해 상기 하나 이상의 프로세서들에 제공되는 임의의 사용자 인터페이스 입력과는 무관하며,
    상기 작업을 상기 사용자에게 할당하는 것에 기초하고, 상기 엔티티의 위치에 대응하는 상기 사용자의 현재 위치에 기초하며, 그리고 상기 사용자가 상기 하나 이상의 프로세서들에 상기 작업과 관련된 어떤 입력도 직접 제공하고 않으면서, 상기 작업과 관련된 사용자와의 다이얼로그를 개시하고,
    상기 다이얼로그를 개시하는 것에서, 상기 하나 이상의 프로세서들은, 상기 사용자의 컴퓨팅 디바이스의 스피커를 통해 상기 사용자에게 청각적으로 제시하기 위해, 상기 작업에 적용가능한 콘텐트를 자동으로 제공하며, 그리고 상기 다이얼로그를 개시하기 전에, 임의의 진행중인 다이얼로그는 상기 작업에 명시적으로 전달되지 않으며,
    상기 작업에 적용가능한 상기 콘텐트는, 상기 엔티티의 위치에 대응하는 상기 사용자의 현재 위치에 기초하여 상기 사용자에게 할당되는 상기 작업의 엔티티에 적용가능하며,
    상기 제공에 응답하여, 상기 다이얼로그를 계속하고 그리고 상기 컴퓨팅 디바이스의 사용자 인터페이스 입력 디바이스를 통해 상기 사용자에 의해 생성된 자유 형식의 자연 언어 입력을 수신하고,
    상기 작업에 적용가능하고 그리고 상기 자연 언어 입력에 기초한 추가적인 콘텐트를 생성하며, 그리고
    상기 다이얼로그에 연속으로, 사용자 인터페이스 출력 디바이스를 통해 상기 사용자에게 나타내기 위한 추가적인 콘텐트를 제공하도록 하는 것들을 포함하는 것을 특징으로 하는
    적어도 하나의 비 일시적인 컴퓨터 판독 가능 매체.
  23. 제22항에 있어서,
    하나 이상의 프로세서들에 의한 상기 명령어들의 실행에 응답하여, 상기 하나 이상의 프로세서들로 하여금 제2항 내지 제12항 및 제14항 내지 제17항 중 어느 한 항의 방법을 수행하도록 하는 명령어들을 더 포함하는
    적어도 하나의 비 일시적인 컴퓨터 판독 가능 매체.
  24. 제1항 내지 제12항 및 제14항 내지 제17항 중 어느 한 항의 방법을 수행하도록 구성된 장치.
  25. 컴퓨팅 장치에 의해 실행될 때 제1항 내지 제12항 및 제14항 내지 제17항 중 어느 한 항의 방법을 수행하게 하는 기계 판독 가능 명령어들을 포함하는, 기록 매체에 저장된, 컴퓨터 프로그램.
KR1020187036107A 2016-05-17 2016-12-27 사용자의 컴퓨팅 디바이스의 사용자 인터페이스 디바이스들을 통해 사용자와의 다이얼로그의 자동화된 개시 및 적용 KR102226244B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/157,055 US11494206B2 (en) 2016-05-17 2016-05-17 Automated initiation and adaptation of a dialog with a user via user interface devices of a computing device of the user
US15/157,055 2016-05-17
PCT/US2016/068734 WO2017200587A1 (en) 2016-05-17 2016-12-27 Automated initiation and adaptation of a dialog with a user via user interface devices of a computing device of the user

Publications (2)

Publication Number Publication Date
KR20190007034A KR20190007034A (ko) 2019-01-21
KR102226244B1 true KR102226244B1 (ko) 2021-03-10

Family

ID=57838512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187036107A KR102226244B1 (ko) 2016-05-17 2016-12-27 사용자의 컴퓨팅 디바이스의 사용자 인터페이스 디바이스들을 통해 사용자와의 다이얼로그의 자동화된 개시 및 적용

Country Status (6)

Country Link
US (2) US11494206B2 (ko)
EP (1) EP3458957A1 (ko)
JP (1) JP6797212B2 (ko)
KR (1) KR102226244B1 (ko)
CN (2) CN117234708A (ko)
WO (1) WO2017200587A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018007127T5 (de) * 2018-02-20 2020-11-05 Lg Electronics Inc. Anzeigevorrichtung
US11157703B2 (en) 2018-04-19 2021-10-26 Sg Gaming, Inc. Systems and methods for natural language processing in gaming environments
US11501089B2 (en) * 2019-06-05 2022-11-15 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device thereof based on determining intent of a user speech in a first language machine translated into a predefined second language
WO2023030619A1 (en) * 2021-09-01 2023-03-09 Cariad Se Telephone service device for requesting services, vehicle and method
US20210209293A1 (en) * 2020-01-02 2021-07-08 Whatsapp Inc. Cross-application data sharing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120253790A1 (en) 2011-03-31 2012-10-04 Microsoft Corporation Personalization of Queries, Conversations, and Searches
US20130275164A1 (en) 2010-01-18 2013-10-17 Apple Inc. Intelligent Automated Assistant
US20150142704A1 (en) 2013-11-20 2015-05-21 Justin London Adaptive Virtual Intelligent Agent

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0028775D0 (en) * 2000-11-25 2001-01-10 Hewlett Packard Co Voice communication concerning a local entity
JP2002258738A (ja) 2001-03-01 2002-09-11 Nna Japan Co Ltd 語学学習支援システム
US20020183072A1 (en) * 2001-04-17 2002-12-05 Galia Steinbach BeyondguideTM method and system
JP4330065B2 (ja) 2003-09-30 2009-09-09 クラリオン株式会社 ナビゲーション装置、方法及びプログラム
US20050281395A1 (en) * 2004-06-16 2005-12-22 Brainoxygen, Inc. Methods and apparatus for an interactive audio learning system
US20060150119A1 (en) * 2004-12-31 2006-07-06 France Telecom Method for interacting with automated information agents using conversational queries
US8660244B2 (en) 2006-02-17 2014-02-25 Microsoft Corporation Machine translation instant messaging applications
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
JP4451435B2 (ja) 2006-12-06 2010-04-14 本田技研工業株式会社 言語理解装置、言語理解方法、及び、コンピュータプログラム
US7941133B2 (en) * 2007-02-14 2011-05-10 At&T Intellectual Property I, L.P. Methods, systems, and computer program products for schedule management based on locations of wireless devices
WO2011161664A1 (en) * 2010-06-21 2011-12-29 Shimon Messika System for providing information and services to a tourist community
US9560089B2 (en) * 2012-12-11 2017-01-31 Nuance Communications, Inc. Systems and methods for providing input to virtual agent
US9223826B2 (en) * 2013-02-25 2015-12-29 Facebook, Inc. Pushing suggested search queries to mobile devices
US9201865B2 (en) * 2013-03-15 2015-12-01 Bao Tran Automated assistance for user request that determines semantics by domain, task, and parameter
AU2014233517B2 (en) * 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
CN105190607B (zh) * 2013-03-15 2018-11-30 苹果公司 通过智能数字助理的用户培训
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
KR102197560B1 (ko) 2013-06-07 2020-12-31 애플 인크. 지능형 자동 어시스턴트
US9461945B2 (en) * 2013-10-18 2016-10-04 Jeffrey P. Phillips Automated messaging response
US8849675B1 (en) * 2013-12-18 2014-09-30 Google Inc. Suggested query constructor for voice actions
US20150178652A1 (en) * 2013-12-23 2015-06-25 Egan Schulz Systems and methods for targeted assistance on user check-in
US9830044B2 (en) * 2013-12-31 2017-11-28 Next It Corporation Virtual assistant team customization
EP3230824A4 (en) * 2014-12-11 2018-08-08 Microsoft Technology Licensing, LLC Virtual assistant system to enable actionable messaging
US10691473B2 (en) * 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10635281B2 (en) * 2016-02-12 2020-04-28 Microsoft Technology Licensing, Llc Natural language task completion platform authoring for third party experiences
US9785715B1 (en) * 2016-04-29 2017-10-10 Conversable, Inc. Systems, media, and methods for automated response to queries made by interactive electronic chat

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130275164A1 (en) 2010-01-18 2013-10-17 Apple Inc. Intelligent Automated Assistant
US20120253790A1 (en) 2011-03-31 2012-10-04 Microsoft Corporation Personalization of Queries, Conversations, and Searches
US20150142704A1 (en) 2013-11-20 2015-05-21 Justin London Adaptive Virtual Intelligent Agent

Also Published As

Publication number Publication date
KR20190007034A (ko) 2019-01-21
US20230055576A1 (en) 2023-02-23
JP2019518278A (ja) 2019-06-27
EP3458957A1 (en) 2019-03-27
CN109643246A (zh) 2019-04-16
US11494206B2 (en) 2022-11-08
JP6797212B2 (ja) 2020-12-09
WO2017200587A1 (en) 2017-11-23
US20170337186A1 (en) 2017-11-23
CN117234708A (zh) 2023-12-15
CN109643246B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
US10826856B2 (en) Automated generation of prompts and analyses of user responses to the prompts to determine an entity for an action and perform one or more computing actions related to the action and the entity
US11488601B2 (en) Dependency graph conversation modeling for use in conducting human-to-computer dialog sessions with a computer-implemented automated assistant
US11941420B2 (en) Facilitating user device and/or agent device actions during a communication session
KR102005531B1 (ko) 다중 사용자 메시지 교환 스레드에서 자동화 어시스턴트와의 상호 작용을 위한 제안 제공
US10127227B1 (en) Providing access to user-controlled resources by automated assistants
JP7263376B2 (ja) 自動化されたアシスタントによる以前の対話コンテキスト間の遷移
US11322140B2 (en) Providing prompt in an automated dialog session based on selected content of prior automated dialog session
KR102226244B1 (ko) 사용자의 컴퓨팅 디바이스의 사용자 인터페이스 디바이스들을 통해 사용자와의 다이얼로그의 자동화된 개시 및 적용
US20190341039A1 (en) Dependency graph generation in a networked system
KR20220100729A (ko) 서드 파티 에이전트를 사용하기 위한 호출 요청 생성 및 전송
CN118093076A (zh) 用于与计算机实现的自动助理进行人机对话会话的依赖图谈话建模

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant