KR102439740B1 - 제작자 제공 콘텐츠 기반 인터랙티브 대화 애플리케이션 테일링 - Google Patents

제작자 제공 콘텐츠 기반 인터랙티브 대화 애플리케이션 테일링 Download PDF

Info

Publication number
KR102439740B1
KR102439740B1 KR1020217041372A KR20217041372A KR102439740B1 KR 102439740 B1 KR102439740 B1 KR 102439740B1 KR 1020217041372 A KR1020217041372 A KR 1020217041372A KR 20217041372 A KR20217041372 A KR 20217041372A KR 102439740 B1 KR102439740 B1 KR 102439740B1
Authority
KR
South Korea
Prior art keywords
structured content
customized version
interactive conversation
conversation application
version
Prior art date
Application number
KR1020217041372A
Other languages
English (en)
Other versions
KR20210156344A (ko
Inventor
레온 니콜스
조슈아 윌리엄스
우리 퍼스트
난디니 스토커
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Priority to KR1020227030052A priority Critical patent/KR20220124295A/ko
Publication of KR20210156344A publication Critical patent/KR20210156344A/ko
Application granted granted Critical
Publication of KR102439740B1 publication Critical patent/KR102439740B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G06N7/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Stored Programmes (AREA)

Abstract

구현들은 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하는 것에 관한 것이며, 맞춤형 버전은 맞춤형 버전의 제작자가 지정한 구조화된 콘텐츠에 기초하여 맞춤된다. 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하는 것은 비서 애플리케이션의 비서 인터페이스를 통해 맞춤형 버전에 할당된 호출 문구 및/또는 맞춤형 버전을 식별하는 다른 사용자 인터페이스 입력을 수신함에 응답하여 이루어 질 수 있다. 일부 구현들에서, 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전은 맞춤형 버전의 제작자에 의해 지정되고 그리고/또는 구조화된 콘텐츠 및/또는 맞춤형 버전을 제작할 때 제작자가 제공한 다른 입력에 기초하여 예측되는 페르소나 값(들)으로 실행된다. 일부 구현들에서, 인터랙티브 대화 애플리케이션의 맞춤형 버전을 제작할 때 제작자가 제공하는 구조화된 콘텐츠 및/또는 다른 입력이맞춤형 버전을 인덱싱하는데 이용된다.

Description

제작자 제공 콘텐츠 기반 인터랙티브 대화 애플리케이션 테일링{TAILORING AN INTERACTIVE DIALOG APPLICATION BASED ON CREATOR PROVIDED CONTENT}
본 명세서는 제작자 제공 콘텐츠 기반 인터랙티브 대화 애플리케이션 테일링에 관한 것이다.
자동 비서(또한, "개인 비서","모바일 비서" 등으로도 알려짐)는 스마트 폰, 태블릿 컴퓨터, 웨어러블 장치, 자동차 시스템, 독립형 개인 비서 장치 등과 같은 다양한 클라이언트 장치를 통해 사용자와 인터랙션할 수 있다. 자동 비서는 사용자로부터 입력(예컨대, 타이핑을 통한 및/또는 발언을 통한 자연 언어 입력)을 수신하고 응답 콘텐츠(예컨대, 시각적 및/또는 청각적 자연 언어 출력)로 응답한다. 클라이언트 장치를 통해 인터랙션하는 자동 비서는 클라이언트 장치 자체 및/또는 "클라우드"의 클라이언트 장치(예컨대, 컴퓨팅 장치(들)와 네트워크 통신하는 하나 이상의 원격 컴퓨팅 장치를 통해 구현될 수 있다.
본 명세서는 일반적으로, 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전(tailored version)을 실행하기 위한 방법, 장치 및 컴퓨터 판독 가능 매체에 관한 것이며, 맞춤형 버전은 맞춤형 버전의 제작자에 의해 지정된 구조화된 콘텐츠에 기초하여 맞춤된다. 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하는 것은 비서 애플리케이션의 비서 인터페이스를 통해 맞춤형 버전에 할당된 호출 문구 및/또는 맞춤형 버전을 식별하는 다른 사용자 인터페이스 입력을 수신함에 응답할 수 있다. 맞춤형 버전을 실행하는 것은 비서 인터페이스를 통한 프리젠테이션을 위해 사용자 인터페이스 출력의 다수의 인스턴스들을 생성하는 것을 포함할 수 있다. 사용자 인터페이스 출력의 다수의 인스턴스들 각각은 인터랙티브 대화 애플리케이션의 실행 동안 대응하는 대화 전환(dialog turn)을 위한 것이고, 다수의 인스턴스들 각각은 구조화된 콘텐츠를 사용하는 동적 인터랙티브 대화 애플리케이션의 적응(adaptation)을 통해 생성된다. 예컨대, 동적 인터랙티브 대화 애플리케이션의 다양한 변수들이 제작자가 지정한 구조화된 콘텐츠를 기반으로 하는 값으로 채워질 수 있으며, 그럼으로써 인터랙티브 대화 애플리케이션을 구조화된 콘텐츠에 적응시킬 수 있다.
여기에 설명된 바와 같이, 동적 인터랙티브 대화 애플리케이션의 다수의 맞춤형 버전들이 실행될 수 있으며, 맞춤형 버전들 각각은 대응하는 제작자에 의해 지정된 대응하는 구조화된 콘텐츠에 기초하여 실행된다. 예컨대, 제 1 맞춤형 버전을 실행할 때, 제 1 제작자에 의해 지정된 제 1의 구조화된 콘텐츠에 기초한 제 1 값들이 동적 인터랙티브 대화 애플리케이션의 다양한 변수들에 이용될 수 있고, 제 2 맞춤형 버전을 실행할 때, 제 2 제작자에 의해 지정된 제 2의 구조화된 콘텐츠에 기초한 제 2 값들이 이용될 수 있고, 동적 인터랙티브 대화 애플리케이션의 다양한 변수들이 채워질 수 있다.
이러한 및 다른 방식으로, 각 맞춤형 버전의 실행에서 그 버전에 대한 구조화된 콘텐츠에서 제작자에 의해 지정되고, 그 버전을 생성할 때 제작자의 사용자 인터페이스 입력에 의해 지정되고 그리고/또는 그 버전에 대한 구조화된 콘텐츠 및/또는 다른 사용자 인터페이스 입력에 기초하여 예측되는 변수들만을 적응시키면서 다수의 맞춤형 버전들 각각에 대해 동일한 고정 코드가 실행될 수 있다. 이는 인터랙티브 대화 애플리케이션을 제작하는데 필요한 계산 리소스들을 저감할 수 있게 한다. 예컨대, 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전의 제작자는 구조화된 콘텐츠 및/또는 다른 입력을 통해 변수를 지정하는데 있어 계산 리소스들 및 위에서 (및 본 명세서의 모든 곳에서) 설명한 바와 같이 인터랙티브 대화 애플리케이션을 적응시키는데 사용되는 변수들을 이용할 수 있다. 그러나, 동적 인터랙티브 대화 애플리케이션의 고정 코드가 대신 사용되기 때문에 제작자는 맞춤형 버전의 전체 실행을 위해 다양한 코드를 지정하는 데 상당한 계산 리소스들을 사용할 필요가 없다. 더욱이, 이는 다수의 애플리케이션들을 저장하는 데 필요한 컴퓨터 하드웨어 저장 공간을 저감할 수 있다. 예컨대, 다수의 맞춤형 버전들 각각에 대해 고정 코드의 고유 인스턴스를 저장할 필요없이 다수의 맞춤형 버전 각각에 대한 변수들이 저장될 수 있다.
본 명세서에 설명된 일부 구현들에서, 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전이 맞춤형 버전의 제작자에 의해 지정되고, 그리고/또는 구조화된 콘텐츠 및/또는 맞춤형 버전을 제작하는데 있어 제작자에 의해 제공되는 다른 입력에 기초하여 예측되는 하나 이상의 페르소나 값들로 실행된다. 페르소나 값들은 인터랙티브 대화 애플리케이션의 하나 이상의 변수에 이용되며, 그럼으로써 이 페르소나 값들에 기초하여 인터랙티브 대화 애플리케이션을 적응시킬 수 있다. 각각의 페르소나 값은 맞춤형 버전을 실행할 때 생성되는 가청 및/또는 그래픽 사용자 인터페이스 출력에 영향을 줄 수 있다.
예컨대, 하나 이상의 페르소나 값들은 맞춤형 버전의 실행에서 자연 언어 사용자 인터페이스 출력으로서 제공될 컴퓨터에 의해 생성되는 스피치(speech)의 톤, 억양, 피치 및/또는 다른 음성 특성을 정의할 수 있다. 또한, 예컨대, 하나 이상의 페르소나 값은 고정 코드로 정의된 사용자 인터페이스 출력들(즉, 지정된 구조화된 콘텐츠에 정의되지 않은 것)과 같은 다양한 사용자 인터페이스 출력에 사용될 용어(들), 문구(들) 및/또는 형식의 정도를 정의할 수 있다. 예컨대, 제 1 맞춤형 버전에 대한 하나 이상의 페르소나 값들은 매우 포멀(formal)한(예컨대, 구어체 및/또는 다른 우연한 발화들을 배제한) 다양한 자연 언어 사용자 인터페이스 출력들이 제공되는 결과를 가져올 수 있는 반면, 제 2 맞춤형 버전에 대한 하나 이상의 페르소나 값들은 매우 캐쥬얼(casual)한 (즉, 격식 정도가 낮은) 다양한 자연 언어 사용자 인터페이스 출력들이 제공되는 결과를 가져올 수 있다. 또한, 예컨대, 제 1 맞춤형 버전에 대한 하나 이상의 페르소나 값들은 (제 2 영역에 고유한 용어들을 포함함이 없이) 제 2 영역에 고유한 용어들을 포함하는 다양한 자연 언어 사용자 인터페이스 출력들이 제공되는 결과를 가져올 수 있는 반면, 제 2 맞춤형 버전에 대한 하나 이상의 페르소나 값들은 (제 1 영역에 고유한 용어들을 포함함이 없이) 제 1 영역에 고유한 용어들을 포함함이 없이) 다양한 자연 언어 사용자 인터페이스 출력들이 제공되는 결과를 가져올 수 있다. 또 다른 예로서, 하나 이상의 페르소나 값은 음악, 음향 효과, 그래픽 특성 및/또는 사용자 인터페이스 출력으로서 제공되는 다른 특징들을 정의할 수 있다.
맞춤형 버전에 대한 페르소나 값들을 사용하여 동적 인터랙티브 대화애플리케이션의 맞춤형 버전을 실행하면 맞춤형 버전이 보다 이해하기 쉽고 자연스러운 사용자 인터페이스 출력을 제공하게 되어 사용자와의 보다 효과적인 통신이 가능하게 된다. 예를 들어, 여기에 기술된 기법은 사용자가 더 쉽게 이해할 수 있는 언어 및/또는 표현을 사용하여 특정 사용자에게 의미를 전달하기 위해 맞춤화된 버전을 허용할 수 있다. 예를 들어, 여기서 설명한 바와 같이 개인별 값은 맞춤 버전을 실행하기 위해 이용되는 구조화된 콘텐츠에 기초하여 결정될 수 있으며, 결과적으로 맞춤 버전을 호출할 가능성이 더 높은 사용자에게 적응할 수 있다. 페르소나 값에 기초한 자연 언어 사용자 인터페이스 출력의 적응은 맞춤 버전의 실행을 통해 이루어지는 대화형 대화의 전체 지속시간을 다른 경우에 필요한 것보다 짧게 만들 수 있으며, 따라서 맞춤 버전을 실행하는 컴퓨터 시스템의 계산 부하를 줄일 수 있다.
전술한 바와 같이 다양한 구현에서, 하나 이상의 페르소나 값들은 맞춤형 버전을 생성할 때 제작자가 제공한 구조화된 콘텐츠 및/또는 다른 입력에 기초하여 예측된다. 예측된 값들은 맞춤형 버전에 자동으로 할당 및/또는 제안된 페르소나 값들로서 제작자에게 제시될 수 있으며, 만일 사용자 인터페이스 입력을 통해 제작자가 확인하면 맞춤형 버전에 할당된다. 이러한 구현들 중 다수에서, 페르소나 값들은 훈련된 머신 학습 모델을 사용하여, 맞춤형 버전을 작성하는데 제공된 구조화된 콘텐츠의 적어도 일부 및/또는 다른 입력의 처리에 기초하여 예측된다. 예컨대, 구조화된 콘텐츠 중 적어도 일부는 훈련된 머신 학습 모델에 대한 입력의 적어도 일부로서 적용될 수 있고, 그 입력은 하나 이상의 출력 값들을 생성하기 위해 머신 학습 모델을 사용하여 처리되고, 페르소나 값들은 하나 이상의 출력 값들에 기초하여 선택된다. 훈련된 머신 학습 모델은, 예컨대, 대응하는 이전의 맞춤형 버전을 생성할 때 이전에 제시된 구조화된 콘텐츠에 기초하여 각각 생성되는 훈련 인스턴스들 및 대응하는 이전의 맞춤형 버전에 대한 이전에 제시된 (예컨대, 대응하는 제작자에 의해 명시적으로 선택된) 페르소나 값들에 기초하여 훈련될 수 있다.
본 명세서에 설명된 일부 구현들에서, 인터랙티브 대화 애플리케이션의 맞춤형 버전을 생성할 때 제작자에 의해 제공되는 구조화된 콘텐츠 및/또는 다른 입력은 맞춤형 버전의 인덱싱에 이용된다. 예컨대, 맞춤형 버전은 제작자가 맞춤형 버전에 대해 제공한 하나 이상의 호출 문구들을 기반으로 인덱스될 수 있다. 다른 예로서, 맞춤형 버전은 제작자에 의해 지정된 구조화된 콘텐츠에 기초하여 결정된 하나 이상의 엔티티들에 기초하여 추가적으로 또는 대안적으로 인덱스될 수 있다. 예컨대, 엔티티들 중 적어도 일부는 구조화된 콘텐츠에 포함된 별칭을 갖는 복수의 엔티티들에 대한(예컨대, 지식 그래프에서) 정의된 관계를 갖는 것에 기초하여 결정될 수 있다. 이러한 엔티티들은 비록 이 엔티티들의 별칭들이 구조화된 콘텐츠에 포함되지 않더라도 맞춤형 버전을 인덱스하는데 이용될 수 있다. 예컨대, 구조화된 콘텐츠는 지정된 도시에서 많은 관심 지점들에 대한 별칭을 포함할 수 있지만 지정된 도시에 대한 어떤 별칭도 포함할 수 없다. 관심 지점들 및 선택적으로 다른 콘텐츠에 대한 별칭은 지식 그래프에서 관심 지점들에 대응하는 엔티티들을 식별하는 데 사용된다. 또한, 모든 엔티티들은 지식 그래프에서 특정 도시와 정의된 관계(예컨대,"위치된" 관계)를 갖는 것으로 결정될 수 있다. 그 정의된 관계 및 그 정의된 관계를 갖는 엔티티들의 배수(예컨대, 적어도 임계 값)에 기초하여, 맞춤형 버전은 특정 도시에 기초하여 인덱스될 수 있다(예컨대, 특정 도시의 하나 이상의 별칭들에 의해 인덱스될 수 있다) ). 그 후, 사용자는 특정 도시를 참조하는 사용자 인터페이스 입력의 제출을 통해 맞춤형 버전을 발견할 수 있다. 예컨대, 사용자는 자동 비서 인터페이스를 통해 "[특정 도시의 별칭]에 대한 애플리케이션을 원한다"라는 음성 입력을 제공할 수 있다. 특정 도시에 기초하여 인덱스되는 맞춤형 버전을 기반으로, 자동 비서 인터페이스와 연관된 자동 비서는 자동으로 맞춤형 버전을 실행하거나 맞춤형 버전을 실행 옵션으로 나타내는 출력이 사용자에게 제시되게 할 수 있으며, 만일 프리젠테이션에 응답하여 긍정적인 사용자 인터페이스 입력이 수신되면 맞춤형 버전을 실행할 수 있다. 이들 및 다른 방식으로, 사용자의 요청을 만족시키는 동적 대화 애플리케이션의 맞춤형 버전이 효율적으로 식별되고 실행될 수 있다. 이를 통해 사용자는 이러한 맞춤형 버전을 식별하기 위해 여러 요청들을 제출하지 않아도 되므로 계산 및/또는 네트워크 리소스를 절약할 수 있다.
일부 구현들에서, 하나 이상의 프로세서들에 의해 구현되는 방법이 제공되며, 이 방법은 하나 이상의 네트워크 인터페이스들을 통해, 상기 동적 인터랙티브 대화 애플리케이션의 표시와, 상기 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하기 위한 구조화된 콘텐츠 및 상기 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전을 위한 적어도 하나의 호출 문구을 수신하는 단계를 포함한다. 상기 표시, 상기 구조화된 콘텐츠 및 상기 적어도 하나의 호출 문구는 사용자에 의한 클라이언트 디바이스와의 인터랙션에 응답하여 상기 사용자의 상기 클라이언트 디바이스에 의해 생성된 하나 이상의 데이터 패킷들로 전송된다. 본 방법은 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대한 복수의 페르소나 값들을 자동으로 선택하기 위해 상기 구조화된 콘텐츠를 처리하는 단계를 더 포함하며, 상기 구조화된 콘텐츠는 상기 페르소나 값들을 명시적으로 나타내지 않는다. 상기 표시, 상기 구조화된 콘텐츠 및 상기 적어도 하나의 호출 문구를 수신 함에 후속함과 아울러 상기 복수의 페르소나 값들을 자동으로 선택함에 후속하여, 본 방법은 상기 클라이언트 장치 또는 추가적인 클라이언트 장치의 비서 인터페이스를 통해 제공되는 자연 언어 입력을 수신하는 단계와; 상기 자연 언어 입력이 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대한 호출 문구과 일치하는 지를 결정하는 단계를 포함한다.
상기 자연 언어 입력이 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대한 호출 문구과 일치하는 것으로 결정함에 응답하여, 본 방법은 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하는 단계를 포함하며, 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하는 단계는 상기 비서 인터페이스를 통해 프리젠테이션을 위한 출력의 다수의 인스턴스들을 생성하는 것을 포함하고, 상기 출력의 다수의 인스턴스들 각각은 상기 인터랙티브 대화 애플리케이션의 실행 동안 대응하는 대화 전환을 위한 것이며 상기 구조화된 콘텐츠를 사용함과 아울러 상기 페르소나 값들 중 대응하는 하나 이상을 이용하여 생성된다.
본 명세서에 개시된 기술의 이러한 구현 및 다른 구현은 다음 특징 중 하나 이상을 선택적으로 포함할 수 있다.
다양한 구현들에서, 상기 복수의 페르소나 값들을 자동으로 선택하기 위해 상기 구조화된 콘텐츠를 처리하는 단계는, 훈련된 머신 학습 모델에 대한 입력으로서 상기 구조화된 콘텐츠의 적어도 일부를 적용하는 것과; 하나 이상의 출력 값들을 생성하기 위해, 상기 훈련된 머신 학습 모델을 사용하여 상기 구조화된 콘텐츠의 적어도 일부를 처리하는 것과; 그리고 상기 하나 이상의 출력 값들에 기초하여 상기 페르소나 값들을 선택하는 것을 포함할 수 있다. 다양한 구현들에서, 상기 하나 이상의 출력 값들은 제 1 페르소나에 대한 제 1 확률 및 제 2 페르소나에 대한 제 2 확률을 포함하고, 상기 하나 이상의 출력 값들에 기초하여 상기 페르소나 값들을 선택하는 것은상기 제 1 확률 및 제 2 확률에 기초하여 제 2 페르소나에 대해 상기 제 1 페르소나를 선택하는 것과; 그리고 적어도 하나의 데이터베이스에서 상기 선택된 제 1 페르소나에 할당되는 상기 페르소나 값들에 기초하여 상기 페르소나 값들을 선택하는 것을 포함할 수 있다. 다양한 구현들에서, 본 방법은 상기 훈련된 머신 러닝 모델에 대한 추가 입력으로서, 상기 동적 인터랙티브 대화 애플리케이션의 표시를 적용하는 것과; 그리고 상기 하나 이상의 출력 값들을 생성하기 위해 상기 훈련된 머신 학습 모델을 사용하여 상기 표시 및 상기 구조화된 콘텐츠의 적어도 일부를 처리하는 것을 더 포함할 수 있다.
다양한 구현들에서, 상기 복수의 페르소나 값들을 자동으로 선택하기 위해 구조화된 콘텐츠를 처리하는 단계는 상기 구조화된 콘텐츠에 기초하여 하나 이상의 엔티티들을 결정하는 것과; 상기 훈련된 머신 학습 모델에 대한 입력으로서, 상기 엔티티들 중 적어도 일부를 적용하는 것과; 하나 이상의 출력 값들을 생성하기 위해, 상기 훈련된 머신 학습 모델을 사용하여 상기 엔티티들 중 적어도 일부를 처리하는 것과; 그리고 상기 하나 이상의 출력 값들에 기초하여 상기 페르소나 값들을 선택하는 것을 포함할 수 있다.
다양한 구현들에서, 상기 훈련된 머신 학습 모델을 사용하여 상기 구조화된 콘텐츠의 적어도 일부를 처리하기에 앞서, 본 방법은 하나 이상의 데이터베이스들로부터, 다수의 이전의 사용자 제출물들을 식별하는 것과, 상기 다수의 이전의 사용자 제출물들 각각은 이전에 제출된 구조화된 콘텐츠 및 대응하는 이전에 제출된 페르소나 값들을 포함하고, 상기 이전에 제출된 페르소나 값들은 대응하는 사용자에 의해 명시적으로 선택되고; 그리고 상기 이전의 사용자 제출물들에 기초하여 복수의 훈련 인스턴스들을 생성하는 것과, 상기 훈련 인스턴스들 각각은 상기 이전의 사용자 제출물들 중 대응하는 하나에 기초하여 생성되고, 상기 이전의 사용자 제출물들 중 대응하는 하나의 상기 이전에 제출된 구조화된 콘텐츠에 기초하는 훈련 인스턴스 입력과 상기 이전의 사용자 제출물들 중 대응하는 하나의 상기 이전에 제출된 페르소나 값들에 기초하는 훈련 인스턴스 출력을 포함하며; 그리고 상기 복수의 훈련 인스턴스들에 기초하여 상기 훈련된 머신 학습 모델을 훈련시키는 것을 더 포함할 수 있다.
이들 구현들 중 일부에서, 상기 머신 러닝 모델을 훈련시키는 것은, 상기 훈련된 머신 러닝 모델을 사용하여, 상기 훈련 인스턴스들 중 특정 훈련 인스턴스의 상기 훈련 인스턴스 입력을 처리하는 것과; 상기 처리에 기초하여 예측된 출력을 생성하는 것과; 상기 예측된 출력을 상기 특정 훈련 인스턴스의 훈련 인스턴스 출력과 비교함에 기초하여 에러를 생성하는 것; 및 상기 에러를 이용한 역 전파에 기초하여 상기 훈련된 머신 학습 모델을 업데이트하는 것을 포함할 수 있다.
다양한 구현들에서, 상기 구조화된 콘텐츠를 처리하는 단계는 상기 사용자에 의해 지정된 문서로부터 상기 구조화된 콘텐츠를 파싱하는 것을 포함할 수 있다. 다양한 구현들에서, 상기 페르소나 값들은 상기 대화의 톤, 상기 대화의 문법 및 상기 대화와 함께 제공되는 비-언어적 소리 중 적어도 하나와 관련될 수 있다.
일부 구현들에서, 하나 이상의 프로세서들에 의해 구현되는 방법이 제공되며, 이 방법은 하나 이상의 네트워크 인터페이스들을 통해, 상기 동적 인터랙티브 대화 애플리케이션의 표시와 상기 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하기 위한 구조화된 콘텐츠를 수신하는 단계와, 상기 표시 및 상기 구조화된 콘텐츠는 사용자에 의한 클라이언트 디바이스와의 인터랙션에 응답하여 상기 사용자의 상기 클라이언트 디바이스에 의해 생성된 하나 이상의 데이터 패킷들로 전송되며; 하나 이상의 관련 엔티티들을 결정하기 위해 상기 구조화된 콘텐츠를 처리하는 단계와; 상기 하나 이상의 관련 엔티티들에 기초하여 상기 동적 인터랙티브 대화 애플리케이션의 상기 맞춤형 버전을 인덱싱하는 단계와; 상기 인덱싱 단계에 후속하여, 상기 클라이언트 장치 또는 추가의 클라이언트 장치의 비서 인터페이스를 통해 제공되는 자연 언어 입력을 수신하는 단계와; 상기 자연 언어 입력으로부터 하나 이상의 호출 엔티티들을 결정하는 단계와; 엔티티들의 맵핑을 식별하는 단계와, 상기 맵핑은 상기 호출 엔티티들 중 적어도 하나 및 상기 관련 엔티티들 중 적어도 하나를 포함하며; 상기 매핑에서 상기 호출 엔티티들과 상기 관련 엔티티들과의 사이의 관계에 기초하여 상기 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전을 식별하는 단계를 포함한다. 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전을 식별함에 기초하여, 본 방법은 상기 인터랙티브 대화 애플리케이션의 동적 버전을 실행하는 단계를 포함하며, 상기 인터랙티브 대화 애플리케이션의 동적 버전을 실행하는 단계는 상기 비서 인터페이스를 통해 프리젠테이션을 위한 출력의 복수의 인스턴스들을 생성하는 것을 포함하고, 상기 출력의 다수의 인스턴스들 각각은 상기 인터랙티브 대화 애플리케이션의 실행 동안 대응하는 대화 전환을 위한 것이며 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전의 구조화된 콘텐츠의 적어도 일부를 이용하여 생성된다.
본 명세서에 개시된 기술의 이러한 구현 및 다른 구현은 선택적으로 다음 특징 중 하나 이상을 선택적으로 포함할 수 있다.
다양한 구현들에서, 상기 하나 이상의 관련 엔티티들을 결정하기 위해 구조화된 콘텐츠를 처리하는 단계는, 하나 이상의 용어들을 식별하기 위해 상기 구조화된 콘텐츠를 파싱하는 것과; 상기 용어들 중 하나 이상을 갖는 하나 이상의 엔티티들을 별칭들(aliases)로서 식별하는 것과; 그리고 상기 하나 이상의 관련 엔티티들 중 특정 관련 엔티티를, 상기 특정 관련 엔티티가 상기 식별된 하나 이상의 엔티티들의 배수와 정의된 관계를 가짐에 기초하여 결정하는 것을 포함할 수 있다.
다양한 구현들에서, 상기 특정 엔티티의 별칭은 상기 구조화된 콘텐츠에는 포함되지 않을 수 있다. 이들 구현들 중 일부에서, 상기 특정 관련 엔티티를 결정하는 것은 상기 특정 관련 엔티티가 상기 식별된 하나 이상의 엔티티들의 배수의 적어도 임계 값과 정의된 관계를 가짐에 더 기초한다.
다양한 구현들에서, 본 방법은 상기 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대한 적어도 하나의 호출 문구를 하나 이상의 프로세서들을 통해 수신하는 단계; 및 상기 적어도 하나의 호출 문구에 기초하여 상기 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전을 추가로 인덱싱하는 단계를 더 포함할 수 있다.
다양한 구현들에서, 본 방법은 상기 구조화된 콘텐츠 및 상기 관련 엔티티들 사이의 관계에 기초하여 상기 관련 엔티티를 가중시키는 단계를 더 포함할 수 있다. 이들 구현들 중 일부에서, 상기 맞춤형 버전을 식별하는 단계는 상기 관련 엔티티의 가중치에 더 기초할 수 있다. 다른 구현들에서, 본 방법으 상기 입력 엔티티들 및 상기 관련 엔티티들에 기초하여 상기 동적 인터랙티브 대화 애플리케이션의 제 2 맞춤형 버전을 식별하는 단계; 및 상기 가중치에 기초하여 상기 맞춤형 버전을 선택하는 단계를 더 포함할 수 있다.
다양한 구현들에서, 본 방법은 제 2의 구조화된 콘텐츠 및 제 2 버전의 관련 엔티티를 갖는 제 2 맞춤형 버전을 상기 입력 엔티티들 및 상기 제 2 버전의 관련 엔티티들에 기초하여 식별하는 단계를 더 포함할 수 있고, 상기 출력의 다수의 인스턴스들 각각은 적어도 상기 구조화된 콘텐츠의 일부 및 제 2 의 구조화된 콘텐츠의 일부를 이용하여 생성된다.
일부 구현들에서, 하나 이상의 프로세서들에 의해 구현되는 방법이 제공되며, 이 방법은 하나 이상의 네트워크 인터페이스들을 통해, 상기 동적 인터랙티브 대화 애플리케이션의 표시와, 상기 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하기 위한 구조화된 콘텐츠 및 상기 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전을 위한 적어도 하나의 호출 문구을 수신하는 단계를 포함한다. 상기 표시, 상기 구조화된 콘텐츠 및 상기 적어도 하나의 호출 문구는 사용자에 의한 클라이언트 디바이스와의 인터랙션에 응답하여 상기 사용자의 상기 클라이언트 디바이스에 의해 생성된 하나 이상의 데이터 패킷들로 전송된다. 본 방법은 상기 표시, 상기 구조화된 콘텐츠 및 상기 적어도 하나의 호출 문구를 수신함에 후속하여, 상기 클라이언트 장치 또는 추가의 클라이언트 장치의 비서 인터페이스를 통해 제공되는 발언 입력을 수신하는 단계와; 상기 발언 입력이 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대한 호출 문구과 일치하는지를 결정하는 단계를 더 포함한다.
본 방법은 상기 발언 입력이 상기 호출 문구와 일치함을 결정함에 응답하여, 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하는 단계를 더 포함하며, 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하는 단계는 비서 인터페이스를 통해 프리젠테이션을 위한 출력의 다수의 인스턴스들을 생성하는 것을 포함하고, 상기 출력의 다수의 인스턴스들 각각은 상기 인터랙티브 대화 애플리케이션을 실행하는 동안 대응하는 대화 전환을 위한 것이고 상기 구조화된 콘텐츠를 사용하여 생성된다.
또한, 일부 구현들은 하나 이상의 컴퓨팅 장치의 하나 이상의 프로세서들을 포함하며, 하나 이상의 프로세서들은 관련된 메모리에 저장된 명령어들을 실행하도록 동작 가능하고, 명령어들은 전술한 임의의 방법의 수행을 유발시키도록 구성된다. 일부 구현은 또한 전술한 방법 중 임의의 것을 수행하기 위해 하나 이상의 프로세서에 의해 실행 가능한 컴퓨터 명령어들을 저장하는 하나 이상의 비-일시적 컴퓨터 판독 가능 저장 매체를 포함한다.
본 명세서에서 보다 상세하게 설명된 전술한 개념 및 추가 개념의 모든 조합은 본원에 개시된 주제의 일부인 것으로 고려된다는 것을 이해해야 한다. 예컨대, 본 개시의 끝에 나타나는 청구된 주제의 모든 조합은 본 명세서에 개시된 주제의 일부인 것으로 고려된다.
도 1은 본 명세서에 개시된 구현이 구현될 수 있는 예시적인 환경의 블록도이다.
도 2는 여기에 개시된 구현에 이용될 수 있는 구조화된 콘텐츠의 예이다.
도 3은 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전을 생성하기 위한 요청에 대한 페르소나 값들이 어떻게 선택될 수 있는지의 예를 도시한다.
도 4는 여기에 개시된 구현들에 따른 예시적인 방법을 도시한 흐름도이다.
도 5는 여기에 개시된 구현들에 따라 페르소나 선택 모델을 생성하는 예시적인 방법을 예시하는 흐름도이다.
도 6은 지식 그래프에서 엔티티를 나타내는 노드를 갖는 그래프도이다.
도 7은 맞춤형 버전의 애플리케이션에 대해 지정된 구조화된 콘텐츠와 관련된 엔티티에 기초하여 애플리케이션의 맞춤형 버전을 인덱싱하는 예를 도시한 것이다.
도 8은 여기에 개시된 구현들에 따른, 사용자, 클라이언트 장치, 및 사용자와 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하는 클라이언트 장치와 관련된 자동 비서 사이의 예시적인 대화를 도시한 것이다.
도 9는 본 명세서에 개시된 구현에 따른 도 8의 인터랙티브 대화 애플리케이션의 다른 맞춤형 버전을 실행하는 클라이언트 장치와 관련된 사용자와 클라이언트 장치, 및 사용자와 자동 비서자 사이의 다른 예시적인 대화를 도시한다.
도 10은 컴퓨팅 장치의 예시적인 아키텍처를 도시한다.
일부 경우에, 인터랙티브 대화 애플리케이션의 맞춤형 버전은 수신된 구조화된 콘텐츠 및 인터랙티브 대화 애플리케이션의 수신된 표시에 기초하여 생성된다. 구조화된 콘텐츠 및 표시는 제작자의 클라이언트 장치와의 인터랙션을 통해 제작자에 의해 제공되는 하나 이상의 사용자 인터페이스 입력에 응답하여 자동 비서 또는 자동 비서와 연관된 컴포넌트로 전송될 수 있다. 인터랙티브 대화 애플리케이션의 표시는 인터랙티브 대화 애플리케이션을 식별하는데 이용되며, 구조화된 콘텐츠는 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하는데 이용된다. 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하는데 다양한 유형의 구조화된 콘텐츠가 제공되어 활용될 수 있다. 예컨대, 구조화된 콘텐츠는 프롬프트들과, 그리고 객관식 질문 및 해당 답변(예컨대, 각 질문에 대한 정답 및 하나 이상의 오답), 농담 및 대응 펀치라인 (예컨대, 각 농담에 대해 해당 펀치 라인) 등과 같은 프롬프트 및 가능한 응답을 포함하는 스프레드 시트일 수 있다. 다른 예로서, 구조화된 HTML 또는 XML 문서가 제공될 수 있고, 심지어 구조화되지 않은 문서가 처리 및 구조화된 문서로 변환될 수 있다.
일부 구현들에서, 하나 이상의 페르소나 값들이 맞춤형 버전에 할당될 수 있고, 그 후 이 페르소나 값들은 맞춤형 버전을 실행하는데 이용될 수 있다. 페르소나 값들은 음성 출력의 가청 특성, 음성 출력을 위한 자연 언어를 생성하는데 사용되는 문법 특성, 및/또는 음성 출력에 제공될 특정 용어 및/또는 문구(예컨대, 구조화된 콘텐츠에 추가되는)를 나타낼 수 있다. 예컨대, 페르소나 값들은 집합적으로, 여왕(예컨대, 적절한 문법을 갖는 여성 음성), 로봇(예컨대, 뻣뻣한 스피킹 톤의 과장된 자동 음성) 및/또는 교사와 같은 개별적인 페르소나를 정의할 수 있다. 일부 구현들에서, 페르소나 값들은 톤 값, 문법 값, 및 다른 페르소나를 작성하기 위해 변경될 수 있는 성별 값과 같이 변화할 수 있는 자동 비서의 제시 음성의 상이한 특성들일 수 있다. 일부 구현들에서, 하나 이상의 페르소나 값들은 복수의 후보 음성-텍스트 모델들로부터 페르소나 값(들)을 따르는 특정 음성-텍스트 모델을 선택하기 위해 이용될 수 있다. 일부 구현들에서, 하나 이상의 페르소나 값들은 음성-텍스트 변환에 이용하기 위해 대응하는 특성들을 선택하는데 이용될 수 있다.
이제 도 1을 참조하면, 도 1은 본 명세서에 개시된 기술이 구현될 수 있는 예시적인 환경을 도시한다. 예시적인 환경은 클라이언트 장치(106), 자동 비서(110) 및 맞춤형 애플리케이션 엔진(120)을 포함한다. 도 1에서, 맞춤형 애플리케이션 엔진(120)이 자동 비서(110)의 일부로서 도시되어 있다. 그러나, 많은 구현들에서, 맞춤형 애플리케이션 엔진(120)은 자동 비서(110)와 별개인 하나 이상의 컴포넌트들에 의해 구현될 수 있다. 예컨대, 맞춤형 애플리케이션 엔진(120)은 하나 이상의 네트워크들을 통해 자동 비서(110)와 인터페이스할 수 있고, 하나 이상의 API(application programming interface)를 이용하여 자동 비서(110)와 선택적으로 인터페이스할 수 있다. 맞춤형 애플리케이션 엔진(120)이 자동 비서(110)와 분리된 일부 구현에서, 맞춤형 애플리케이션 엔진(120)은 자동 비서(110)를 제어하는 당사자로부터 고유한 제 3 자에 의해 제어된다.
클라이언트 장치(106)는 예컨대 독립형 음성-활성화 스피커 장치, 데스크탑 컴퓨팅 장치, 랩탑 컴퓨팅 장치, 태블릿 컴퓨팅 장치, 휴대 전화 컴퓨팅 장치, 사용자 차량의 컴퓨팅 장치 일 수 있고, 컴퓨팅 장치(예컨대, 컴퓨팅 장치를 갖는 사용자의 시계, 컴퓨팅 장치를 갖는 사용자의 안경, 가상 또는 증강 현실 컴퓨팅 장치)를 포함하는 사용자의 웨어러블 일 수 있다. 추가적인 및/또는 대안적인 클라이언트 장치가 제공될 수 있다.
도 1에서 자동 비서(110)가 클라이언트 장치(106)와 별개로 도시되어 있지만, 일부 구현들에서, 자동 비서(110)의 모든 또는 양태는 클라이언트 장치(106)에 의해 구현될 수도 있다. 예컨대, 일부 구현에서, 입력 처리 엔진(112)은 클라이언트 장치(106)에 의해 구현될 수 있다. 자동 비서(110)의 하나 이상의(예컨대, 모든) 양상이 클라이언트 장치(106)로부터 원격에 있는 하나 이상의 통신 장치들에 의해 구현되는 구현예들에서, 클라이언트(106)와 자동 비서(110)의 그러한 양태들은 광역 네트워크(WAN)과 같은 하나 이상의 네트워크(예컨대, 인터넷)와 통신할 수 있다. 본 명세서에 설명된 바와 같이, 클라이언트 장치(106)는 클라이언트 장치(106)의 사용자가 자동 비서 장치(110)와 인터페이스하는 자동 비서 인터페이스를 포함할 수 있다.
하나의 클라이언트 장치(106)만이 자동 비서(110)와 조합하여 예시되어 있지만, 많은 구현에서 자동 비서(110)는 원격에 있을 수 있고, 사용자의 복수의 클라이언트 장치들 각각 및/또는 복수의 클라이언트 장치들 각각과 인터페이스할 수 있다. 여러 사용자의 클라이언트 장치 예컨대, 자동 비서(110)는 상이한 세션을 통해 복수의 장치들 각각과의 통신을 관리할 수 있고, 복수의 세션을 병렬로 관리할 수 있다. 예컨대, 일부 구현들에서, 자동 비서(110)는 클라우드 인프라스트럭춰를 사용하는 예컨대 여러 사용자로부터의 대량 요청을 처리하기에 적합한 소프트웨어를 실행하는 고성능 컴퓨터 클러스터 또는 서버 팜을 사용하는 클라우드 기반 서비스로 구현될 수 있다. 그러나, 단순화를 위해, 단일 클라이언트 장치(106)와 관련하여 본 명세서에서 많은 예가 설명된다.
자동 비서(110)는 입력 처리 엔진(112), 출력 엔진(135) 및 호출 엔진(160)을 포함한다. 일부 구현들에서, 자동 비서(110)의 엔진들 중 하나 이상은 자동 비서(110)와 분리된 컴포넌트에서 생략, 결합 및/또는 구현될 수 있다. 또한, 자동 비서(110)는 간략화를 위해 본 명세서에 도시되지 않은 추가 엔진을 포함할 수 있다. 예컨대, 자동 비서(110)는 대화 상태 추적 엔진, 그 자신의 대화 엔진을 포함할 수 있다(또는 인터랙티브 모듈(126)을 맞춤형 애플리케이션 엔진(120)과 공유할 수 있다).
자동 비서(110)는 클라이언트 장치(106)로부터 사용자 입력의 인스턴스를 수신한다. 예컨대, 자동 비서(110)는 스트리밍 오디오 기록의 형태로 자유 형식의 자연 언어 음성 입력을 수신할 수 있다. 스트리밍 오디오 기록은 클라이언트 장치(106)의 사용자의 음성 입력을 캡처하는 클라이언트 장치(106)의 마이크로폰으로부터 수신된 신호에 응답하여 클라이언트 장치(106)에 의해 생성될 수 있다. 다른 예로서, 자동 비서(110)는 자유 형식의 자연 언어 유형 입력을 수신할 수 있다. 일부 구현들에서, 자동 비서(110)는 그래픽 사용자 인터페이스 요소상에서의 다수의 옵션들 중 하나의 선택 또는 제공되는 구조화된 콘텐츠(예컨대, 별도의 스프레드 시트 문서 또는 다른 문서에서)와 같은 사용자로부터 자유롭지 않은 입력을 수신할 수 있다 )는 인터랙티브 대화 애플리케이션의 맞춤형 버전을 생성한다. 다양한 구현에서, 입력은 클라이언트 장치(106)의 사용자가 자동 비서(110)와 인터랙션하는 자동 비서 인터페이스를 통해 클라이언트 장치에 제공된다. 인터페이스는 오디오 전용 인터페이스, 그래픽 전용 인터페이스 또는 오디오 및 그래픽 인터페이스 일 수 있다.
일부 구현들에서, 사용자 입력은 클라이언트 장치(106)의 사용자에 의한 자동 비서(110)의 명시적인 호출에 응답하여 클라이언트 장치(106)에 의해 생성되고 및/또는 자동 비서(110)에 제공될 수 있다. 예컨대, 호출은 클라이언트 장치(106)에 의해 사용자의 특정 음성 입력(예컨대,"이봐 비서"와 같은 자동 비서(110) 핫 워드/문구), 하드웨어 버튼과의 사용자 인터랙션 및/또는 버튼(예컨대, 하드웨어 버튼의 탭, 클라이언트 장치(106)에 의해 디스플레이되는 그래픽 인터페이스 요소의 선택) 및/또는 다른 특정 사용자 인터페이스 입력의 가상의 검출일 수 있다. 일부 구현들에서, 자동 비서(110)는 자동 비서(110)에 의해(직접적으로 또는 간접적으로) 실행 가능한 특정 애플리케이션을(직접적으로 또는 간접적으로) 나타내는 사용자 입력을 수신할 수 있다. 예컨대, 입력 처리 엔진(112)은 "비서, 나는 대통령의 퀴즈를 하고 싶다"의 입력을 클라이언트 장치(106)로부터 수신할 수 있다. 입력 처리 엔진(112)은 수신된 오디오를 파싱하고 파싱된 콘텐츠를 호출 엔진(160)에 제공할 수 있다. 호출 엔진(160)은 "대통령의 퀴즈"가 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대한 호출 문구인지를 결정하기 위해(예컨대, 인덱스(152)를 이용하여) 분석된 콘텐츠를 이용할 수 있다. 이에 응답하여, 호출 엔진(160)은 조정된 애플리케이션 엔진(120)이 조정된 버전을 실행하고 자동 비서 인터페이스를 통해 클라이언트 장치(106)의 사용자와 인터랙티브 대화에 참여하게하는 호출 명령을 맞춤형 애플리케이션 엔진(120)에 전송할 수 있다.
자동 비서(110)는 전형적으로 클라이언트 장치(106)로부터 사용자 입력의 인스턴스를 수신함에 응답하여 출력의 인스턴스를 제공한다. 출력의 인스턴스는, 예컨대, 장치(106)에 의해 청각적으로 제시되는(예컨대, 클라이언트 장치(106)의 스피커를 통해 출력되는) 오디오, 및 장치(106)에 의해 그래픽으로 제시될 (예컨대, 클라이언트 장치(106)의 디스플레이를 통해 렌더링되는) 텍스트 및/또는 그래픽 콘텐츠일 수 있다. 기타 등등. 본 명세서에 설명된 바와 같이, 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행할 때, 특정 대화 전환에서 제공된 출력은 인터랙티브 대화 애플리케이션에 기초하여 및 맞춤형 버전에 대한 구조화된 콘텐츠 및/또는 맞춤형 버전의 페르소나 값에 기초하여 맞춤형 애플리케이션 엔진(120)에 의해 생성될 수 있다. 본 명세서에서 사용되는 바와 같이, 대화 전환은 사용자 발화(예컨대, 음성 입력 또는 다른 자연어 입력의 인스턴스) 및 응답 시스템 발화(예컨대, 가청 및/또는 그래픽 출력의 인스턴스)를 지칭하거나 그 반대로도 지칭한다.
자동 비서(110)의 입력 처리 엔진(112)은 클라이언트 장치(106)를 통해 수신된 자연 언어 입력을 처리하고, 호출 엔진(160), 맞춤형 애플리케이션 엔진(120) 등과 같은 자동 비서(110)의 하나 이상의 다른 컴포넌트에 의해 사용하기 위해 주석이 달린 출력을 생성한다. 예컨대, 입력 처리 엔진(112)은 클라이언트 장치(106)의 하나 이상의 사용자 인터페이스 입력 장치를 통해 사용자에 의해 생성된 자연 언어 자유 형식 입력을 처리할 수 있다. 생성된 주석이 달린 출력은 자연 언어 입력의 하나 이상의 주석 및 선택적으로 자연 언어 입력의 용어 중 하나 이상(예컨대, 모두)을 포함한다. 다른 예로서, 입력 처리 엔진(112)은 음성 입력의 인스턴스를 수신하고(예컨대, 디지털 오디오 데이터의 형태로), 그 음성 입력을 하나 이상의 텍스트 워드 및 문구를 포함하는 텍스트로 변환하는 음성-텍스트 모듈을 추가로 또는 대안적으로 포함할 수 있다. 일부 구현에서, 음성-텍스트 모듈은 스트리밍 음성-텍스트 엔진이다. 음성-텍스트 모듈은 하나 이상의 저장된 음성-텍스트 모델(언어 모델이라고도 함)에 의존할 수 있으며, 이는 언어의 단어 시퀀스와 함께 언어의 오디오 신호와 음소 단위 사이의 관계를 모델링할 수 있다. .
일부 구현들에서, 입력 처리 엔진(112)은 자연 언어 입력에서 다양한 유형의 문법 정보를 식별하고 주석을 달도록 구성된다. 예컨대, 입력 처리 엔진(112)은 문법 역할을 갖는 용어에 주석을 달도록 구성된 스피치 태거의 일부를 포함할 수 있다. 예컨대, 스피치 태거의 일부는 "명사","동사","형용사","대명사" 등과 같은 스피치의 일부로 각 용어에 태그를 지정할 수 있다. 또한, 예컨대, 일부 구현들에서, 입력 처리 엔진(112)은 자연 언어 입력에서 용어들 사이의 구문적 관계를 결정하도록 구성된 의존 파서를 추가로 및/또는 대안적으로 포함할 수 있다. 예컨대, 의존 파사는 어떤 용어가 문장의 다른 용어, 주제 및 동사 등을 수정하는지(예컨대, 문구 트리)를 결정할 수 있으며 이러한 의존에 대한 주석을 작성할 수 있다.
출력 엔진(135)은 출력의 인스턴스를 클라이언트 장치(106)에 제공한다. 일부 상황에서, 출력의 인스턴스는 맞춤형 버전의 인터랙티브 대화 애플리케이션을 실행할 때 맞춤형 애플리케이션 엔진(120)에 의해 생성된 응답 콘텐츠에 기초할 수 있다. 다른 상황에서, 출력의 인스턴스는 인터랙티브 대화 애플리케이션의 맞춤형 버전일 필요가 없는 다른 애플리케이션에 의해 생성된 응답 콘텐츠에 기초할 수 있다. 예컨대, 자동 비서(110) 자체는 응답 콘텐츠를 생성하는 하나 이상의 내부 애플리케이션을 포함할 수 있고/있거나 인터랙티브 대화 애플리케이션의 버전이 맞지 않는 제 3 자 애플리케이션과 인터페이스할 수 있고 응답 콘텐츠를 생성할 수 있다. 일부 구현들에서, 출력 엔진(135)은 응답 콘텐츠의 텍스트 컴포넌트들을 오디오 포맷으로 변환하는 텍스트-스피치 엔진을 포함할 수 있고, 출력 엔진(135)에 의해 제공되는 출력은 오디오 포맷(예컨대, 스트리밍 오디오)일 수 있다. 일부 구현들에서, 응답 콘텐츠는 이미 오디오 포맷일 수 있다. 일부 구현들에서, 출력 엔진(135)은 텍스트 응답 콘텐츠를 추가로 또는 대안적으로 출력으로서(선택적으로 장치(106)에 의해 오디오로 변환하기 위해) 제공하고 그리고/또는 다른 그래픽 콘텐츠를 클라이언트 장치(106)에 의한 그래픽 디스플레이를 위한 출력으로서 제공한다.
맞춤형 애플리케이션 엔진(120)은 인덱싱 모듈(122), 페르소나 모듈(124), 대화 모듈(126), 엔티티 모듈(128) 및 콘텐츠 입력 엔진(130)을 포함한다. 일부 구현들에서, 맞춤형 애플리케이션 엔진(120)의 모듈(들)은 맞춤형 애플리케이션 엔진(120)과 별개인 컴포넌트에서 생략, 결합 및/또는 구현될 수 있다. 또한, 맞춤형 애플리케이션 엔진(120)은 간략화를 위해 본 명세서에 도시되지 않은 추가의 모듈을 포함할 수 있다.
콘텐츠 입력 엔진(130)은 맞춤형 버전의 인터랙티브 대화 애플리케이션을 생성하기 위해 제작자에 의해 제공된 콘텐츠를 처리한다. 일부 구현들에서, 제공된 콘텐츠는 구조화된 콘텐츠를 포함한다. 예컨대, 도 2를 참조하면. 구조화된 콘텐츠의 예가 제공된다. 구조화된 콘텐츠는 클라이언트 장치(106) 또는 다른 클라이언트 장치(예컨대, 다른 사용자의 클라이언트 장치)로부터 콘텐츠 입력 엔진(130)으로 전송될 수 있다. 도 2의 구조화된 콘텐츠는 질문 열(210)의 엔트리, 정답 열(215)의 엔트리, 및 3개의 오답 열(220) 각각의 엔트리를 포함하는 스프레드 시트의 각 행(205a-d)을 갖는 스프레드 시트이다. 일부 구현들에서, 도 2의 스프레드 시트의 열들의 헤더들은 맞춤형 애플리케이션 엔진(120)에 의해 미리 채워질 수 있고, 각각의 행의 엔트리는 대응하는 클라이언트 장치를 이용하고 헤더를 지침으로서 이용하는 제작자에 의해 채워질 수 있다. 이러한 구현 중 일부에서, 맞춤형 애플리케이션 엔진(120)은 이용 가능한 다수의 인터랙티브 대화 애플리케이션들 중 어느 것에 기초하여 맞춤형 버전을 생성하고자 하는지를 나타내는 헤더에 기초하여 헤더를 미리 채운다. 예컨대, 도 2의 헤더는 2는 제작자가 "사소한" 인터랙티브 대화 애플리케이션을 선택함에 기초하여 미리 채워질 수 있다. 반면에 사용자가 "농담" 인터랙티브 대화 애플리케이션을 선택한 경우 "농담" 및 "펀치 라인" 헤더를 대신 채워질 수 있다.
콘텐츠 입력 엔진(130)은 도 2의 구조화된 콘텐츠를 수신한다. 도 2에 도시된 바와 같이, 선택적으로 콘텐츠를 처리하고, 대응하는 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행할 때 이용하기 위해 콘텐츠를 맞춤형 콘텐츠 데이터베이스(158)에 저장한다. 콘텐츠를 처리하는 것은 엔트리에 대한 열 및 행에 기초하여 사용자에 의해 제공된 엔트리에 주석을 달고 그리고/또는 저장하는 것을 포함할 수 있다. 예컨대, 콘텐츠 입력 엔진(130)은 열(210), 행(205A)의 엔트리를 저장하고 이를 맞춤형 버전에 대한 "질문" 엔트리로서 주석을 달 수 있다. 또한, 콘텐츠 입력 엔진(130)은 열(215), 행(205A)의 엔트리를 저장하고 이를 이전에 저장된 "질문" 엔트리에 대한 "정답" 엔트리로서 주석을 달 수 있고, 열(220), 행(205A)의 에트리를 저장하고, 이전 저장된 "질문" 엔트리에 대해 "오답" 엔트리로서 이들에 주석을 달 수 있다. 콘텐츠를 처리하는 것은 추가로 및/또는 대안적으로 구조화된 콘텐츠의 값이 하나 이상의 요구된 기준에 부합하는지 검증하고, 그렇지 않은 경우 제작자에게 정정하도록 프롬프트하는 것을 포함할 수 있다. 하나 이상의 필수 기준은 콘텐츠 유형(예컨대, 숫자 만, 알파벳 만), 콘텐츠 길이(예컨대, X 문자 및/또는 Y 용어) 등을 포함할 수 있다.
콘텐츠 입력 엔진(130)은 또한, 맞춤형 버전에 대한 구조화된 콘텐츠와 관련하여, 대응하는 인터랙티브 대화 애플리케이션의 표시, 맞춤형 버전에 대한 제공된 호출 문구(들), 및 임의의 선택된 및/또는 예측된 맞춤형 버전의 페르소나 값(들)을 저장한다. 스프레드 시트가 도 2에 도시되어 있지만, 콘텐츠 입력 엔진(130)은 다른 유형의 구조화된 콘텐츠를 처리할 수 있는 것으로 이해된다. 또한, 일부 구현들에서 콘텐츠 입력 엔진(130)은 비-구조화된 콘텐츠를 구조화된 포맷으로 변환한 다음 구조화된 포맷을 처리할 수 있다.
대화 모듈(126)은 선택적으로 맞춤형 버전에 대한 추가 값(들)(예컨대, 페르소나 값(들))과 함께, 애플리케이션 및 맞춤형 버전에 대한 구조화된 콘텐츠를 사용하여 맞춤형 버전의 인터랙티브 대화 애플리케이션을 실행한다. 예컨대, 대화 모듈(126)은 특정 인터랙티브 대화 애플리케이션에 대한 고정 코드를 애플리케이션 데이터베이스(159)로부터 검색하고, 맞춤형 콘텐츠 데이터베이스(158)로부터 특정 버전에 대한 구조화된 콘텐츠 및/또는 다른 콘텐츠를 검색함으로써 특정 인터랙티브 대화 애플리케이션에 대한 특정 맞춤형 버전을 실행할 수 있다. 대화 모듈(126)은 특정 인터랙티브 대화 애플리케이션에 대한 고정 코드 및 맞춤형 버전에 대한 맞춤형 콘텐츠를 이용하여 특정 맞춤형 버전을 실행할 수 있다.
인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하면, 대화 모듈(126)은 다수의 대화 전환에 관여한다. 각각의 대화 전환 대화 모듈(126)은 출력 엔진(135)에 콘텐츠를 제공할 수 있고, 출력 엔진(135)은 클라이언트 장치(106)에(청각적으로 또는 그래픽으로) 제시될 사용자 인터페이스 출력으로서 콘텐츠(또는 그 변환물)를 제공할 수 있다. 제공되는 출력은 인터랙티브 대화 애플리케이션 및 구조화된 콘텐츠 및/또는 개인 설정 값을 기반으로 할 수 있다. 더욱이, 많은 대화 전환에서 제공되는 출력은(대화 전환 및/또는 이전 대화 전환의) 사용자 발화 및/또는 이전 대화 전환의 시스템 발화(예컨대,"대화 상태")에 기초할 수 있다. 대화 전환의 사용자 발화는 입력 처리 엔진(112)에 의해 처리될 수 있고, 제공할 응답 콘텐츠를 결정하는데 대화 모듈(126)에 의해 이용되는 입력 처리 엔진(122)으로부터 출력될 수 있다. 많은 출력 인스턴스가 인터랙티브 대화 상자 애플리케이션 및 구조화된 콘텐츠를 기반으로 하지만 출력의 일부 안정성은 구조화된 내용을 참조하지 않고 인터랙티브 대화 상자 애플리케이션을 기반으로 할 수 있다. 예컨대, 인터랙티브 대화 애플리케이션은 고정 코드만을 이용하여 및/또는 제작자가 제공하지 않은 다른 콘텐츠를 참조하여 다양한 사용자 입력에 응답할 수 있는 고정 코드를 포함할 수 있다. 다시 말해, 맞춤형 버전을 실행하는 동안 많은 대화 전환이 제공된 구조화된 콘텐츠의 영향을 받는 반면 일부 대화 전환은 영향을 미치지 않는다.
일부 구현에서, 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행할 때, 대화 모듈(126)은 특정 사용자의 수행에 기초하여 특정 사용자에 대한 하나 이상의 출력 안정성을 추가로 및/또는 대안적으로 커스터마이즈할 수 있다. 특정 사용자의 성능은 맞춤형 버전의 현재 실행의 하나 이상의 이전 대화 전환에서의 수행 및/또는 맞춤형 버전의 이전 실행(들)에서 특정 사용자와의 하나 이상의 인터랙티브 대화에서의 수행 및 다른 맞춤형 버전 및/또는 기타 인터랙티브 대화 애플리케이션의 사전 실행을 포함할 수 있다. 예컨대, 인터랙티브 대화 애플리케이션이 퀴즈 애플리케이션이고 제공된 사용자가 질문에 올바르게 대답하기 위해 노력한 경우 힌트를 하나 이상의 출력에 있는 질문과 함께 사전에 제공할 수 있으며 페르소나 값을 보다 "장려하도록" 으로 조정할 수 있다.". 예컨대, 맞춤형 버전의 퀴즈 애플리케이션을 실행할 때 오답에 대한 응답으로 제공된 출력은 처음에는 "잘못된, 잘못된, 잘못된"일 수 있지만 최소한 임계 값 이상의 질문에 잘못 대답하는 사용자에 대한 응답으로 "좋은 답변이지만 맞지 않습니다-다시 시도하십시오"로 적응된다.
이러한 적응은 하나 이상의 페르소나 값의 적응을 통해 달성될 수 있다. 다른 예로서, 맞춤형 애플리케이션의 맞춤형 버전을 실행할 때 정답에 응답하여 제공되는 출력은 초기에 "정확하고 훌륭한 작업"일 수 있지만, 단순히 "정확"(예컨대, 대화 속도를 높이기 위해)에 응답하여, 사용자의 실적이 좋거나 대화 속도가 느려진다. 특정 사용자의 수행 데이터(예컨대, 점수, 오류 수, 소요 시간 및/또는 기타 데이터)는 맞춤형 버전의 실행을 통해 지속될 수 있으며, 맞춤형 버전의 여러 실행 인스턴스에서(및/또는) 다른 맞춤형 버전 및/또는 기타 애플리케이션) 및 하나 이상의 출력의 적응을 통해 특정 사용자의 경험을 사용자 정의하는 데 사용된다. 일부 구현에 있어서, 맞춤형 버전을 실행함에 있어서의 그러한 사용자-수행 특정 적응은 맞춤형 버전의 구조화된 콘텐츠에 및/또는 다른 특징에 기초하여 이미 적응된 하나 이상의 페르소나 값들의 추가의 적응을 포함할 수 있는 페르소나의 적응을 통해 달성될 수 있다.
페르소나 모듈(124)은 맞춤형 버전의 제작자-제공 구조화된 콘텐츠 및/또는 다른 콘텐츠를 이용하여 맞춤형 버전의 인터랙티브 대화 애플리케이션의 페르소나 값을 하나 이상 선택한다. 페르소나 모듈(124)은 맞춤형 버전과 관련하여 페르소나 값을 맞춤형 콘텐츠 데이터베이스(158)에 저장할 수 있다. 선택된 페르소나 값은 맞춤형 버전의 실행에서 대화 모듈(126)에 의해 이용된다. 예컨대, 선택된 페르소나 값은 맞춤형 버전의 실행 동안 하나 이상의 대화창에서 제공될 문법, 톤 및/또는 음성 출력의 다른 양태를 선택하는데 이용될 수 있다. 페르소나 모듈(124)은 맞춤형 버전에 대한 페르소나 값을 선택하는데 다양한 기준을 이용할 수 있다. 예컨대, 페르소나 모듈(124)은 맞춤형 버전의 구조화된 콘텐츠, 맞춤형 버전의 호출 문구(들), 구조화된 콘텐츠와 연관된 엔티티들(예컨대, 엔티티 모듈(128)과 관련하여 후술되는 바와 같이)을 이용할 수 있다. 인터랙티브 대화 애플리케이션(예컨대, 퀴즈, 농담, 사실 목록 또는 운송 스케줄러) 등 일부 구현들에서, 페르소나 모듈(124)은 하나 이상의 페르소나 값들을 선택함에 있어서 하나 이상의 선택 모델들(156)을 이용할 수 있다. 본 명세서에 설명된 바와 같이, 페르소나 모듈(124)은 맞춤형 버전에 대한 하나 이상의 페르소나 값(들)을 자동으로 선택 및 구현할 수 있고/있거나 맞춤형 버전에 대한 구현 전에 하나 이상의 페르소나 값을 선택하고 제작자에 의한 확인을 요구할 수 있다.
페르소나는 별개의 성격이며 페르소나 값의 모음으로 구성되며, 그 중 일부는 특정 유형의 페르소나를 반영하도록 미리 결정될 수 있다. 예컨대, 페르소나에는 "여왕","왕","교사","로봇" 및/또는 하나 이상의 다른 유형이 포함될 수 있다. 각각의 페르소나는 복수의 페르소나 값으로 표현될 수 있으며, 각각은 페르소나의 특징적인 측면을 반영하고, 개별적인 페르소나는 각각에 대해 미리 설정된 값을 가질 수 있다(또는 할당될 수 있는 값으로 제한될 수 있다). 예컨대, 페르소나는 페르소나 값의 모음 일 수 있고, 말하기 음성 특성, 문법 특성 및 비언어적 소리 특성(예컨대, 퀴즈의 질문 라운드 사이에 재생되는 음악)을 포함한다. "여왕" 인물은 SPEAKING VOICE =(VALU E 1)을 가질 수 있다. GRAMMAR =(값 2), SOUND =(값 3) 페르소나 값. "교사" 페르소나는 페르소나 값으로 SPEAKING VOICE =(VALUE 4), GRAM MAR =(VALUE 5) 및 SOUN D =(VALUE 6)를 가질 수 있다. 일부 구현들에서, 페르소나는 맞춤형 버전에 대해 선택될 수 있고 대응하는 페르소나 값들은 그 페르소나를 포함하는 페르소나 값들에 기초하여 설정될 수 있다. 예컨대, 페르소나 값을 선택하기 위해 본 명세서에 설명된 기술은 먼저 페르소나를 선택함으로써 그 페르소나 값을 선택하고, 그 선택된 페르소나를 구성하는 페르소나 값을 식별하고, 이에 따라 맞춤형 버전의 페르소나 값을 설정할 수 있다. 일부 구현에서, 하나 이상의 페르소나 값은 페르소나의 일부가 아닐 수 있고 페르소나가 선택될 때 페르소나와 독립적으로 설정될 수 있다. 예컨대, "교사" 페르소나에는 "GENDER" 페르소나 값이 설정되어 있지 않을 수 있으며 "남성" 또는 "여성"을 나타내는 페르소나 값은 "교사" 페르소나에 독립적으로 할당될 수 있다.
엔티티 모듈(128)은 구조화된 콘텐츠에서 참조되는 하나 이상의 엔티티, 및 선택적으로 그러한 참조된 엔티티와 관련된 하나 이상의 엔티티를 결정하기 위해 수신된 구조화된 콘텐츠에 제공된 용어 및/또는 다른 콘텐츠를 이용한다. 엔티티 모듈(128)은 이러한 엔티티를 결정하는데 엔티티 데이터베이스(154)(예컨대, 지식 그래프)를 이용할 수 있다. 예컨대 구조화된 콘텐츠에는 "대통령", "George Washington"및 "Civil War"라는 용어가 포함될 수 있다. 엔티티 모듈(128)은 엔티티 데이터베이스(154)로부터 각 용어와 연관된 엔티티를 식별할 수 있다. 예컨대, 엔티티 모듈(128)은 "George Washington"이 그 엔티티의 별칭인 것에 기초하여 미국의 제 1 대 대통령과 연관된 엔티티를 식별할 수 있다. 엔티티 모듈(128)은 "미국 대통령" 엔티티와의 "그룹에 속하는" 관계를 갖는 "조지 워싱턴(George Washington)"에 기초하여 "미국 대통령"과 연관된 엔티티와 같이, 참조된 엔티티와 관련된 하나 이상의 추가 엔티티를 선택적으로 식별할 수 있다.
엔티티 모듈(128)은 결정된 엔티티를 인덱싱 모듈(122) 및/또는 페르소나 모듈(124)에 제공할 수 있다. 인덱싱 모듈(122)은 맞춤형 버전을 인덱싱할 수 있고, 구조화된 콘텐츠에 기초하여 결정된 하나 이상의 엔티티에 기초하여 구조화된 콘텐츠에 대응한다. 페르소나 모듈(124)은 맞춤형 버전에 대한 하나 이상의 페르소나 값을 선택할 때 하나 이상의 엔티티를 이용할 수 있다.
이제 도 3을 참조하면, 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전을 생성하기위한 요청에 대해 페르소나 값이 어떻게 선택될 수 있는지의 예가 제공된다. 콘텐츠 입력 엔진(130)은 인터랙티브 대화 애플리케이션의 표시(171)를 수신하여 조정한다. 이것은, 예컨대, 퀴즈 애플리케이션의 표시, 농담 애플리케이션의 표시 또는 교통 문의 애플리케이션의 표시 일 수 있다. 제작자가 인터랙티브 대화 애플리케이션에 대응하는 그래픽 요소를 선택하거나, 인터랙티브 대화 애플리케이션에 대응하는 용어(들)를 선택하거나, 그렇지 않으면 인터랙티브 대화 애플리케이션에 구조화된 콘텐츠를 제공하려는 요구를 나타내는 표시에 응답하여 표시가 수신될 수 있다. 또한, 콘텐츠 입력 엔진(130)은 구조화된 콘텐츠를 수신한다. 예컨대, 퀴즈 애플리케이션의 표시(171)에 대해, 콘텐츠 입력 엔진(130)은 도 2에 도시된 콘텐츠를 포함하는 문서를 수신할 수 있다. 또한, 콘텐츠 입력 엔진(130)은 호출 문구(173)를 수신한다. 예컨대, 도 2의 구조화된 콘텐츠에 대해 제작자는 "대통령 상식"의 표시 문구(173)를 제공할 수 있다.
콘텐츠 입력 엔진(130)은 표시, 구조화된 콘텐츠 중 적어도 일부 및/또는 호출 문구(174)를 페르소나 모듈(124) 및/또는 엔티티 모듈(128)에 제공한다. 엔티티 모듈(128)은 엔티티 데이터베이스(154)를 사용하여 이들 아이템 중 하나 이상에서 참조된 엔티티(175)를 식별하기 위해 표시, 구조화된 콘텐츠 중 적어도 일부 및/또는 호출 문구(174)를 이용하고, 엔티티(175)를 페르소나 모듈 (124)에 제공한다.
페르소나 모듈(124)은 하나 이상의 페르소나 값(176)을 선택하기 위해 선택 모델 중 적어도 하나 및 데이터(174 및/또는 175)를 사용한다. 예컨대, 페르소나 모듈(124)은 머신 학습 모델 인 선택 모델 중 하나를 이용하여 데이터(174 및/또는 175)를 처리하고, 처리에 기초하여 페르소나 값(176)을 나타내는 출력을 생성할 수 있다. 예컨대, 출력은 복수의 별개의 인물 각각에 대한 확률을 나타낼 수 있고, 확률에 기초하여 선택된 사람 중 하나(예컨대,"여왕"인물) 및 인물 값(176)은 다음과 같은 인물 값의 집합 일 수 있다. 그 페르소나를 구성한다. 다른 예로서, 출력은 복수의 페르소나 값 각각에 대한 확률, 및 확률에 기초하여 선택된 페르소나 값의 서브 세트를 포함할 수 있다.
예컨대, 초등학교 퀴즈를 위한 구조화된 콘텐츠의 경우, 페르소나 모듈(124)은 대응하는 맞춤형 버전이 "느린" 음성 출력을 제공하도록 하여 페르소나 값(들)을 선택하여, 가능한 모든 오답보다 적은 오답을 제공할 수 있다. 질문에 대한 답변을 위한 옵션, 잘못된 답변에 대한 응답 출력으로 격려 피드백을 제공하거나 단어 사용을 어린이에게 알려진 용어로 제한한다. 안정성을 위해 선택한 페르소나 값으로 인해 "닫기, 그러나! 다시 시도하십시오! 성인 청중을 위한 구조화된 콘텐츠의 경우, 개인 모듈(124)은 "잘못된, 잘못된, 잘못된"의 출력을 제공하는 다른 사람의 값(들)을 대안적으로 선택할 수 있는 반면,"잘못된 응답이 수신될 때 응답 적인 콘텐츠로 제공될 수 있다.
일부 구현들에서, 페르소나 모듈(124)은 맞춤형 버전이 실행되는 특정 사용자의 속성(들)에 기초하여 페르소나 값(들)을 추가 및/또는 대안적으로 선택한다. 예컨대,"성인" 속성을 갖는 특정 사용자에 대해 맞춤형 버전이 실행되는 경우, 개인 모듈(124)은 그러한 속성(및 선택적으로 추가 속성)에 기초하여 페르소나 값을 선택할 수 있다. 이들 및 다른 방식으로, 특정 맞춤형 버전의 페르소나 값(들)은"사용자 별"로 적응될 수 있고, 이에 따라 맞춤형 애플리케이션의 각 버전이 그것이 실행되는 사용자에 맞게 조정된다. 머신 러닝 모델(들)은 맞춤형 버전이 실행되는 사용자의 속성(들)에 기초하여 그러한 페르소나 값(들)을 선택하는데 선택적으로 훈련되고 활용될 수 있다. 예컨대, 머신 러닝 모델(들)은 맞춤형 버전이 실행되는 사용자에 의한 명시 적 선택에 기초한 훈련 예를 이용할 수 있으며, 여기서 명시 적 선택은 그러한 사용자(들)이 원하는 하나 이상의 페르소나 값을 나타낸다 맞춤형 버전의 실행에 활용된다. 교육 예제는 선택적으로 맞춤형 버전의 구조화된 콘텐츠를 기반으로 할 수도 있다. 예컨대, 머신 러닝 모델(들)은 맞춤형 버전이 실행되는 사용자의 속성(들) 및 구조화된 콘텐츠 및/또는 맞춤형의 다른 특징에 기초하여 하나 이상의 페르소나 값을 예측하도록 훈련될 수 있다.
페르소나 값(176)은 구조화된 콘텐츠(172), 표시(171) 및/또는 호출 문구와 함께 맞춤형 콘텐츠 데이터베이스(158)에 저장될 수 있다. 이러한 값은 집합적으로 인터랙티브 대화 상자 애플리케이션의 맞춤형 버전을 정의할 수 있다. 후속 사용자는 자연어 음성을 자동 비서에게 제공할 수 있고, 그런 다음 자연어 입력에서 용어를 식별하고 그 용어가 맞춤형 버전의 호출 문구(173)에 대응함을 식별할 수 있다. 예컨대, 호출 엔진(160)(도 1)은 수신된 사용자 인터페이스 입력을 처리하여, 존재한다면, 복수의 이전에 제출된 맞춤형 버전의 인터랙티브 대화 애플리케이션의 어느 것이 호출되고 있는지를 판정할 수 있다. 일부 구현들에서, 맞춤형 버전의 애플리케이션이 생성될 때, 제작자는 애플리케이션을 호출하기 위해 미래에 이용될 호출 문구를 제공할 수 있다. 일부 구현들에서, 하나 이상의 엔티티는 구조화된 콘텐츠와 관련되는 것으로 식별될 수 있고, 호출 엔진(160)은 사용자 입력 및 관련 엔티티에 기초하여 하나 이상의 맞춤형 버전을 선택할 수 있다.
도 4는 맞춤형 버전의 구조화된 콘텐츠 및 페르소나 값에 기초하여 인터랙티브 대화 애플리케이션의 맞춤형 버전이 후속 사용자에 대해 어떻게 실행되는지의 예를 제공하는 흐름도이다. 편의상, 도 4의 흐름도의 동작들은 동작을 수행하는 시스템을 참조하여 설명된다. 이 시스템은 다양한 컴퓨터 시스템의 다양한 컴포넌트를 포함할 수 있다. 또한, 도 4의 방법의 동작이 특정 순서로 도시되며, 이는 제한 적인 것으로 의도되지 않는다. 하나 이상의 작업이 재정렬, 생략 또는 추가될 수 있다.
블록(405)에서, 자연 언어 입력이 사용자로부터 수신된다. 자연 언어는 도 1의 입력 처리 엔진(112)과 하나 이상의 특성을 공유하는 컴포넌트에 의해 수신될 수 있다.
블록(410)에서, 하나 이상의 용어가 자연 언어 입력으로 식별된다. 예컨대, 용어(들)는 입력 처리 엔진(112)과 하나 이상의 특성을 공유하는 컴포넌트에 의해 식별될 수 있다. 또한, 하나 이상의 용어와 관련된 실체가 선택적으로 식별될 수 있다. 예컨대, 엔티티는 엔티티 모듈(128)과 하나 이상의 특성을 공유하는 컴포넌트에 의해 엔티티 데이터베이스로부터 결정될 수 있다.
블록(415)에서, 자동으로 선택된 페르소나 값을 갖는 이전에 생성된 맞춤형 버전이 자연 언어 입력에서의 용어 및/또는 엔티티에 기초하여 식별된다. 일부 구현들에서, 이전에 생성된 맞춤형 버전은 맞춤형 버전과 관련된 호출 문구와 일치하는 자연어 입력에 기초하여 식별될 수 있다. 일부 구현들에서, 맞춤형 버전은 본 명세서에서 더 상세히 설명되는 바와 같이, 자연 언어 입력의 세그먼트들과 맞춤형 버전과 연관된 하나 이상의 엔티티들 사이의 식별된 관계에 기초하여 식별될 수 있다.
블록(420)에서, 프롬프트는 대화 모듈(126)에 의해 생성된다. 그 후, 프롬프트는 출력 엔진(135)을 통해 사용자에게 제공될 수 있다. 예컨대, 대화 모듈(126)은 페르소나 값들 및/또는 구조화된 콘텐츠에 기초하여 텍스트 프롬프트를 생성하고 텍스트를 출력 엔진(135)에 제공할 수 있으며, 이는 텍스트를 음성으로 변환하고 음성을 사용자에게 제공할 수 있다. 프롬프트를 생성할 때, 대화 모듈(126)은 페르소나 값에 기초하여 문법, 단어 사용 및/또는 프롬프트의 다른 특성을 변화시킬 수 있다. 또한, 대화 모델(126)에 의해 생성된 텍스트의 음성 버전을 제공할 때, 출력 엔진(135)은 하나 이상의 페르소나 값의 하나 이상의 페르소나 값에 기초하여 출력된 음성의 톤, 성별, 말하기 속도 및/또는 다른 특성을 변화시킬 수 있다. 맞춤형 버전의 애플리케이션을 호출했습니다. 블록(420)의 일부 구현에서, 프롬프트는"반복"프롬프트 일 수 있으며, 이는 초기 반복에서 항상 맞춤형 버전에 제공된다.
블록 425에서, 사용자의 자연어 응답이 수신된다. 자연 언어 응답은 입력 처리 엔진(112)과의 컴포넌트 공유 특성에 의해 분석될 수 있고, 입력 특성으로부터 하나 이상의 용어 및/또는 엔티티를 결정할 수 있다.
블록 430에서, 응답 콘텐츠가 제공된다. 응답 콘텐츠는 블록(425)의 수신된 입력, 맞춤형 버전의 구조화된 콘텐츠 및 맞춤형 버전의 페르소나 값(들)에 기초하여 생성될 수 있다.
응답 콘텐츠가 제공된 후, 블록 425의 또 다른 반복에서 사용자의 추가적인 자연 언어 응답이 수신될 수 있고, 블록 430의 또 다른 반복에서 추가 응답 콘텐츠가 다시 생성 및 제공될 수 있다. 이것은 맞춤형 버전이 완료될 때까지 계속될 수 있으며, 블록(425)에서의 자연어 응답의 인스턴스는 맞춤형 버전과의 인터랙션을 중단하려는 욕구를 나타내거나 및/또는 다른 조건(들)이 만족된다.
도 5는 여기에 개시된 구현들의 다른 예시적인 방법에 따른 흐름도이다. 도 5는 개인 선택을 이용하기 위해 머신 학습 모델(예컨대, 신경망 모델)을 훈련시키는 예를 도시한다. 편의상, 도 5의 흐름도의 동작들은 동작을 수행하는 시스템을 참조하여 설명된다. 이 시스템은 다양한 컴퓨터 시스템의 다양한 컴포넌트를 포함할 수 있다. 또한, 도 5의 방법의 동작이 순서적으로 도시 되엇지만, 이는 제한적인 것으로 의도되지 않는다. 하나 이상의 작업이 재정렬, 생략 또는 추가될 수 있다.
블록 552에서, 시스템은 인터랙티브 대화 애플리케이션의 맞춤형 버전의 구조화된 콘텐츠 및 페르소나 값을 선택한다. 일례로서, 구조화된 콘텐츠 및 페르소나 값은 데이터베이스(158)로부터 선택될 수 있고, 페르소나 값은 대응하는 제작자에 의해 명시적으로 표시되고 그리고/또는 해당하는 제작자에 의해 원하는 페르소나 값으로서 확인될 수 있다.
블록 554에서, 시스템은 구조화된 콘텐츠 및 페르소나 값에 기초하여 트레이닝 인스턴스를 생성한다. 블록(554)은 서브 블록들(5411 및 5542)을 포함한다.
서브블록 5541에서, 시스템은 구조화된 콘텐츠 및 선택적으로 맞춤형 버전이 대응하는 인터랙티브 대화 애플리케이션의 표시에 기초하여 트레이닝 인스턴스의 트레이닝 인스턴스 입력을 생성한다. 일부 구현에서, 시스템은 구조화된 콘텐츠에 기초하여 결정된 엔티티에 기초하여 훈련 인스턴스의 훈련 인스턴스 입력을 추가로 또는 대안적으로 생성한다. 일례로서, 훈련 인스턴스 입력은 인터랙티브 대화 애플리케이션의 표시, 제목 및 첫 번째 X 용어 또는 X 가장 자주 발생하는 용어와 같은 구조화된 콘텐츠로부터의 용어 서브 세트를 포함할 수 있다. 예컨대, 교육 인스턴스 입력에는 인터랙티브 대화 상자 애플리케이션을 나타내는 값과 함께 TFI DF 값이 가장 높은 구조화된 콘텐츠의 50 개 용어가 포함될 수 있다. 다른 예로서, 트레이닝 인스트루먼트 입력은 인터랙티브 대화 애플리케이션의 표시뿐만 아니라 구조화된 콘텐츠의 용어(및/또는 다른 콘텐츠)의 일부(또는 모든)의 임베딩을 포함할 수 있다. 예컨대, 구조화된 콘텐츠의 용어 임베딩은 별도의 모델을 사용하여 생성된 Word2Vec 임베딩일 수 있다.
서브 블록(5422)에서, 시스템은 페르소나 값에 기초하여 트레이닝 인스턴스의 트레이닝 인스턴스 출력을 생성한다. 예컨대, 훈련 인스턴스 출력은 각각 별개의 페르소나를 나타내는 X 출력을 포함할 수 있다. 특정 트레이닝 인스턴스에 대해, 트레이닝 인스턴스 출력은 블록(552)의 페르소나 값이 따르는 개별 페르소나에 대응하는 출력에 대한 "1"(또는 다른 "양수" 값) 및 "0" (또는 다른 모든 출력에 대한 다른 "음수" 값). 다른 예로서, 트레이닝 인스턴스 출력은 각각 페르소나 특성을 나타내는 Y 출력을 포함할 수 있다. 특정 트레이닝 인스턴스에 대해, 트레이닝 인스턴스 출력은 각각의 Y 출력에 대해, 출력에 의해 표현되는 페르소나 특성에 대한 블록(552)의 페르소나 값의 페르소나 값을 나타내는 값을 포함할 수 있다. 예컨대, Y 출력 중 하나는"포멀리즘"의 정도를 나타낼 수 있고, 블록(552)의 대응하는 페르소나 값이 "비공식적"인 경우, 그 출력에 대한 트레이닝 인스턴스 출력은 "0"(또는 다른 값)일 수 있다. 블록(552)의 대응하는 페르소나 값이 "공식"이면 "1"(또는 다른 값)일 수 있다.
블록(556)에서, 시스템은 처리할 인터랙티브 대화 애플리케이션의 추가 버전이 있는지 여부를 결정한다. 그렇다면, 시스템은 추가 맞춤형 버전으로부터 구조화된 콘텐츠 및 페르소나 값을 사용하여 블록 552 및 554를 반복한다.
블록 558-566은 블록 552, 554 및 556의 다중 반복에 따라 또는 이와 동시에 수행될 수 있다.
블록 558에서, 시스템은 블록 554의 반복에서 생성된 트레이닝 인스턴스를 선택한다.
블록 560에서, 시스템은 훈련 인스턴스를 머신 학습 모델에 입력으로서 적용한다. 예컨대, 머신 학습 모델은 블록 5541에서 생성된 훈련 인스턴스 입력의 치수에 대응하는 입력 치수를 가질 수 있다.
블록(562)에서, 시스템은 적용된 훈련 인스턴스 입력에 기초하여 머신 학습 모델을 통해 출력을 생성한다. 예컨대, 머신 학습 모델은 블록 5541에서 생성된 훈련 인스턴스 출력의 치수에 대응하는 출력 치수를 가질 수 있다(예컨대, 출력의 각 치수는 페르소나 특성에 대응할 수 있다).
블록(564)에서, 시스템은 생성된 출력 및 훈련 인스턴스 출력에 기초하여 머신 학습 모델을 업데이트한다. 예컨대, 시스템은 블록(562)에서 생성된 출력 및 트레이닝 인스턴스 출력에 기초하여 에러를 결정하고 머신 러닝 모델을 통해 에러를 역 전파할 수 있다.
블록 566에서, 시스템은 하나 이상의 추가의 미처리 훈련 인스턴스가 있는지를 결정한다. 그렇다면, 시스템은 블록(558)으로 되돌아 가서 추가 훈련 인스턴스를 선택한 다음, 추가 처리되지 않은 훈련 인스턴스에 기초하여 블록(560, 562 및 564)을 수행한다. 일부 구현들에서, 블록 566에서, 시스템은 하나 이상의 트레이닝 기준들이 만족되면(예컨대, 임계치 수의 에포크가 발생했거나 및/또는 트레이닝의 임계치 지속 기간이 발생한 경우) 추가의 처리되지 않은 트레이닝 인스턴스들을 처리하지 않기로 결정할 수 있다. 방법(500)이 비-배치 학습 기술과 관련하여 설명되었지만, 일괄 처리는 추가로 및/또는 대안적으로 이용될 수 있다.
도 1의 방법에 따라 훈련된 머신 학습 모델. 그 후, 인터랙티브 대화 애플리케이션의 맞춤형 버전의 제작자에 의해 지시된 구조화된 콘텐츠 및/또는 다른 콘텐츠에 기초하여 맞춤형 버전에 대한 페르소나 값을 예측하기 위해도 5를 이용할 수 있다. 예컨대,도 1의 구조화된 콘텐츠. 도 2는 모델에 대한 입력으로서 제공될 수 있고, 개성 페르소나 파라미터는 확률이 0.8 인 "교사" 및 확률이 0.2 인 "퀸"의 값일 수 있다. 이는 구조화된 콘텐츠에 기초하여, 사용자가 여왕 성격보다는 교사 성격이 제공되는 퀴즈 애플리케이션에 관심을 가질 가능성이 더 크다는 것을 나타낼 수 있다.
도 5는 활용될 수 있는 페르소나 선택 모델의 일 예와 관련하여 설명된다. 그러나, 추가 적 및/또는 대안적인 페르소나 선택 모델이 본원에 설명된 대안과 같은 하나 이상의 페르소나 값을 선택하는데 이용될 수 있다. 이러한 추가 적 및/또는 대안적인 페르소나 선택 모델은 선택적으로 도 5와 관련하여 설명된 것과 상이한 트레이닝 인스턴스에 기초하여 트레이닝된 머신 러닝 모델 일 수 있다.
일례로서, 다양한 사용자에 의한 페르소나 값의 과거의 명시 적인 선택에 기초하여 선택 모델이 생성될 수 있고, 이러한 선택 모델은 추가로 또는 대안적으로 특정 페르소나 값을 선택하는데 이용될 수 있다. 예컨대, 일부 구현들에서, 다중 페르소나 값들의 표시가 사용자에게 제시될 수 있고, 다중 페르소나 값들의 단일 페르소나 값의 사용자 선택이 다중 값들로부터 단일 페르소나 값을 선택하기 위해 이용될 수 있다. 다수의 사용자의 이러한 명시 적인 선택은 선택 모델을 생성하는데 이용될 수 있다. 예컨대, 전술 한 것과 유사한 트레이닝 인스턴스가 생성될 수 있지만, 각 트레이닝 인스턴스의 트레이닝 인스턴스 출력은 사용자에 의해 선택된 페르소나 값에 기초하여 생성될 수 있다. 예컨대, 훈련 인스턴스의 경우"1"(또는 다른"양수 값")을 출력 차원에 사용할 수 있다. 선택된 다른 성격 값(예컨대,"교사"성격) 및"0"(또는 다른"음성"값)에 대응하는 다른 모든 성격 값에 대응하는 각각의 출력 차원에 대해 사용될 수 있다. 또한, 예컨대, 훈련 인스턴스의 경우, 선택된 페르소나 값에 대응하는 출력 치수에 대해"1"(또는 다른"양성 값")이 이용될 수 있고,"0.5"(또는 다른"중간 값")이 이용될 수 있다. 사용자에게 제시되었지만 선택되지 않은 다른 페르소나 값에 대응하는 출력 치수(들)에 대해,"0"(또는 다른"음수"값)은 모두에 대응하는 각각의 출력 치수에 이용될 수 있다. 다른 페르소나 값. 이러한 방식 및 다른 방식으로, 사용자에 의한 페르소나 값의 명시 적인 선택은 하나 이상의 페르소나 선택 모델을 생성하는데 이용될 수 있다.
도 1과 관련하여 언급된 바와 같이. 인덱싱 모듈(122)은 사용자로부터 구조화된 콘텐츠를 수신하고, 구조화된 콘텐츠와 관련된 하나 이상의 엔티티에 기초하여 인덱스(152)에서 대응하는 맞춤형 버전을 인덱스한다. 맞춤형 버전의 애플리케이션이 관련 엔티티의 표시와 함께 저장된 후, 후속 사용자의 자연어 입력이 용어에 대해 파싱될 수 있고 파싱된 용어에 관련된 엔티티가 엔티티 모듈(128)에 의해 엔티티 데이터베이스(154)에서 식별될 수 있다. 사용자가 만든 애플리케이션을 유연하게 인덱싱할 수 있으므로 사용자 및/또는 후속 사용자는 정확한 호출 문구를 알 필요가 없다. 대신에, 인덱싱 모듈(122)은 예컨대 서빙된 콘텐츠의 원하는 주제를 나타내는 자연 언어 입력을 제공함으로써 사용자가 콘텐츠를 "발견" 하게한다.
작업 예로서, 사용자는 주 수도에 관한 질문을 포함하는 퀴즈 애플리케이션을 위한 구조화된 콘텐츠를 제공할 수 있다. 따라서 정답(올 바르고 틀린 답)은 도시의 이름 일 수 있으며, 각 질문에는 주 이름을 포함하거나 그 반대의 질문이있을 수 있다. 구조화된 콘텐츠는 전술 한 바와 같이 콘텐츠 입력 엔진(130)에 의해 수신될 수 있다. 또한, 구조화된 콘텐츠는 동적 대화 애플리케이션의 표시 및 선택적으로 추후에 맞춤형 버전의 애플리케이션에서 콘텐츠를 호출하기위한 호출 문구을 제공받을 수 있다. 구조 콘텐츠를 파싱한 후, 콘텐츠 입력 엔진(130)은 파싱된 콘텐츠를 엔티티 모듈(128)에 제공할 수 있고, 이는 엔티티 데이터베이스(154)에서 하나 이상의 관련 엔티티를 식별할 수 있다. 작업 예로 돌아가서도 6을 참조한다. 도 6에서, 복수의 노드의 그래프가 제공된다. 각각의 노드는 엔티티에 대한 별칭을 포함하고 엔티티 데이터베이스(154)의 일부를 나타낸다. 노드는 "Sacramento"610,"Columbus"645,"Albany"640 및"Olympia"635를 포함한 주 수도를 포함한다. 또한 그래프에는 관련 엔티티를 나타내는 노드가 포함된다. 예컨대, 모든 주 수도 노드는 "주 수도 도시" 노드(625)에 연결된다.
주 수도 퀴즈 애플리케이션과 관련된 구조화된 콘텐츠가 수신될 때, 엔티티 모듈(128)은 구조화된 콘텐츠와 관련된 그래프에서 노드를 식별할 수 있다. 예컨대 구조화된 콘텐츠에는 ""Sacramento"및"Los Angeles" 라는 가능한 답과 함께 "캘리포니아의 수도는 무엇입니까?"라는 질문 프롬프트가 포함될 수 있다. 그런 다음 그래프의 해당 노드가 식별될 수 있다. 엔티티 모듈(128)은 대응하는 노드의 표시 및/또는 노드와 관련된 엔티티의 표시를 인덱싱 모듈(122)에 제공할 수 있다. 예컨대, 주 수도 퀴즈는 "Albany"의 답변 선택과 함께" 뉴욕의 수도는 무엇입니까?"라는 질문을 추가로 포함할 수 있으며, 엔티티 모듈(128)은 "주 수도 도시"에 대한 노드를 "새크라멘토"610 및"알바니"640에 대한 노드들을 연결하는 일반 카테고리로서 식별할 수 있다.
일부 구현들에서, 엔티티 모듈(128)은 구조화된 콘텐츠 중 일부와 관련된 노드만을 식별할 수 있다. 예컨대, 퀴즈 애플리케이션에서, 엔티티 모듈(128)은 부정확 한 엔티티를 구조화된 콘텐츠와 연관시키는 것을 피하기 위해 정답과 관련된 노드 및 오답이 아닌 노드를 식별할 수 있다. 일부 구현들에서, 엔티티 모듈(128)은 사용자에 의해 제공되는 경우, 호출 문구와 관련된 엔티티들을 추가로 식별할 수 있다. 예컨대, 사용자는"수도 도시"의 호출 문구를 제공할 수 있고 엔티티 모듈(128)은"국가 수도 도시"(625)를 식별할 수 있다.
일부 구현들에서, 구조화된 콘텐츠와 하나 이상의 엔티티들 간의 관계가 가중될 수 있다. 예컨대, 엔터티 모듈(128)은 퀴즈 애플리케이션에서 정답으로부터 식별된 엔터티에 가중치를할당하여 구조화된 콘텐츠에서 오답과 관련된 엔터티보다 관련성을 나타내는 점수를 가질 수 있다. 또한, 엔티티 모듈(128)은 구조화된 콘텐츠 및 엔티티 둘 다와 관련된 엔티티의 수에 기초하여 카테고리 또는 다른 엔티티와의 관계를 계량할 수 있다. 예컨대,"Sacramento"610,"Olympia"635 및"Albany"640을 포함하는 구조화된 콘텐츠의 경우 엔티티 모듈 128은"미국 서부 도시"630보다"주 수도 도시"625와의 관계가 더 클 수 있다. 구조화된 콘텐츠와 관련된 엔티티는"주 수도"(625)와 관련된다.
인덱싱 모듈(122)은이어서 하나 이상의 엔티티를 사용하여 맞춤형 버전의 애플리케이션을 인덱싱한다. 일부 실시 예들에서, 인덱싱 모듈(122)은 모든 식별된 엔티티들로 애플리케이션의 맞춤형 버전을 인덱싱할 수 있다. 일부 구현들에서, 인덱싱 모듈(122)은 임계 값을 초과하는 관계 스코어를 갖는 엔티티 들만으로 맞춤형 버전을 인덱싱할 수 있다. 일부 구현들에서, 인덱싱 모듈(122)은 애플리케이션의 맞춤형 버전의 인덱싱에 사용할 엔티티를 결정하기 위해 하나 이상의 트레이닝 모델을 이용할 수 있다.
입력 처리 엔진(112)은 사용자로부터 자연 언어 입력을 수신하고, 맞춤형 버전으로 인덱싱된 엔티티에 기초하여 사용자에게 제공하기 위해 맞춤형 버전의 인터랙티브 대화 애플리케이션을 식별할 수 있다. 도 1을 참조하면 도 7에서, 자연 언어 입력(181)은 전술 한 바와 같이 입력 처리 엔진(112)에 의해 수신된다. 입력 처리 엔진(112)은 입력을 분석하여 입력에서 하나 이상의 용어를 식별한다. 예컨대, 사용자는"주 수도 퀴즈를 줘"라는 문구를 말할 수 있고, 입력 처리 엔진(112)은 문구 분석된 입력(181)으로서 "주", "주 수도" 및 "퀴즈"의 용어를 식별할 수 있다. 파싱된 입력(181) 중 일부는 엔티티 모듈(128)에 제공될 수 있으며, 이는 엔티티 데이터베이스에서 하나 이상의 관련 엔티티(183)를 식별한다. 일부 구현에서, 엔티티 모듈(128)은 파싱된 입력(181)과 식별된 엔티티 사이의 연관 수에 기초하여 식별된 엔티티에 가중치를 할당할 수 있다.
인덱싱 모듈(122)은 관련 엔티티(183)(및할당된 경우 관련 가중치)를 수신하고 관련 엔티티(183)에 포함된 엔티티에 의해 인덱스된 하나 이상의 맞춤형 버전의 애플리케이션(184)을 식별한다. 예컨대, 엔티티 모듈(128)은"주 수도 도시"를 관련 엔티티의 별칭으로 식별할 수 있고, 인덱싱 모듈(122)은 예시적인 맞춤형 버전을 사용자에게 제공하는 버전으로 식별할 수 있다. 일부 구현들에서, 인덱싱 모듈(122)은 애플리케이션의 다수의 잠재 적 버전들을 식별하고 엔티티 모듈(128)에 의해 관련 엔티티들(183)에할당된 가중치들에 기초하여 버전들 중 하나를 선택할 수 있다.
일부 구현들에서, 인덱싱 모듈(122)은 다수의 잠재 적 버전들을 식별하고 다수의 잠재 적 버전들로부터의 콘텐츠를 포함하는 버전을 사용자에게 제공할 수 있다. 예컨대, 인덱싱 모듈(122)은"주 수도 도시"퀴즈 애플리케이션을 식별할 수 있고, 제 2 버전과 연관된 엔티티 및 관련 엔티티에 기초하여 맞춤형 콘텐츠 데이터베이스(158)에서 제 2"주 수도 도시"퀴즈를 추가로 식별할 수 있다. 인덱싱 모듈(122)은 그러한 식별에서 인덱스(122)(도 1)를 선택적으로 이용할 수 있다. 따라서, 사용자는 관련이없는 사용자가 두 버전을 생성하더라도 단일 버전으로 완벽하게 제공되는 다수의 소스로부터 구조화된 콘텐츠를 포함하는 하이브리드 애플리케이션을 제공받을 수 있다.
도 8은 인터랙티브 대화 애플리케이션의 맞춤형 버전에 액세스할 수 있는 사용자(101), 음성 가능 클라이언트 장치(806), 및 사용자(101)와 클라이언트 장치(806)와 연관된 자동 비서 사이에서 발생할 수 있는 대화의 예를 도시한다. 클라이언트 장치(806)는 하나 이상의 마이크로폰 및 하나 이상의 스피커를 포함한다. 도 1의 자동 비서(110)의 하나 이상의 양태. 도 1은 클라이언트 장치(806) 및/또는 클라이언트 장치(806)와 네트워크 통신하는 하나 이상의 컴퓨팅 장치에서 구현될 수 있다. 따라서, 설명의 편의를 위해 자동 비서(110)는 도 8의 설명에서 참조된다.
사용자 입력 880A는 동적 인터랙티브 퀴즈 애플리케이션의 맞춤형 버전에 대한 호출 문구입니다. 입력은 입력 처리 엔진(112)에 의해 수신되며, 이는 맞춤형 애플리케이션에 관한 것으로"퀴즈"를 식별한다. 따라서, 입력 처리 엔진(112)은 전술 한 바와 같이 파싱된 입력을 호출 엔진(160)에 제공한다. 일부 구현들에서, 호출 엔진(160)은 입력이 명시 적 호출 문구를 포함하지 않는다고 결정할 수 있고, 하나 이상의 입력 엔티티들을 결정하고 제공된 입력에 의해 호출될 수 있는 관련 엔티티에 의해 인덱스된 버전들을 식별하기 위해 입력을 인덱싱 모듈(122)에 제공할 수 있다.
출력(882A)에서, 프롬프트가 제공된다. 이 프롬프트는"교사"페르소나로 제공되며"클래스"에서 학생으로 사용자를 처리한다. 출력(882B)에서, 비언어 적 사운드(즉, 벨 울림)가 프롬프트에 포함되며 추가적으로"교사"페르소나의 일부 및/또는 하나 이상의 페르소나 값과 관련될 수 있다. 프롬프트는 질문 형태의 구조화된 콘텐츠를 더 포함한다.
사용자 입력(880B)에서, 사용자는 답변을 제공한다. 입력 처리 엔진(112)은 입력을 파싱하고 파싱된 입력을 대화 모듈(126)에 제공한다. 대화 모듈(126)은 입력이 올바른지(즉, 구조화된 콘텐츠에서 정답과 일치함) 검증하고 사용자에게 제공하기 위해 새로운 대화 회전을 생성한다. 또한, 출력(882C)은 구조화된 콘텐츠뿐만 아니라 애플리케이션의 버전과 관련된 페르소나 또는 페르소나 값에 기초하여 생성된 대화를 포함한다. 사용자는 사용자 입력(880C)에서 부정확하게 응답하고 대화 모듈(126)에 의해 생성된 다음 출력(882D)은 부 정답을 통지한다. 대안적인 예로서, 구조화된 콘텐츠가 퀴즈가 어린 아이에게 더 가능성이 높다고 표시 한 경우, 출력(882D)은보다 격려 적인 단어를 제공하고, 두 번째 추측을 허용하고 /거나 도시된 대화 상자 대신 사용자에게 힌트를 제공할 수 있다. 도 1에서 8. 사용자 입력(880F)에서, 사용자는 애플리케이션을 종료하고자한다는 것을 표시한다. 이것은 표준 호출 문구 및/또는 자동 비서로 입력을 조정하여 애플리케이션에 전송하는 것을 나타내는 여러 문구 중 하나 일 수 있다.
도 9는 도 8의 사용자(101), 음성 가능 클라이언트 장치(806), 및 대화의 페르소나 값과 다르지만 동일한 구조화된 값을 갖는 하나 이상의 페르소나와의 인터랙티브 대화 애플리케이션의 맞춤형 버전에의 액세스와 함께, 사용자(101)와 클라이언트 장치(806)와 연관된 자동 비서 사이에서 발생할 수 있는 대화의 다른 예를 도시한다. 사용자 입력(980A)에서, 사용자는 도 8의 대화와 동일한 방식으로 맞춤형 버전을 호출한다.
출력 982A에서, 프롬프트가 제공된다. 이 대화 상자에서 조정된 버전은 대신"교사"페르소나와 연관되며 이전 예제에서"클래스"가 아닌"제목"으로 사용자를 처리한다. 대화 모듈(126)은이 출력에서 사용자에 대한 타이틀이 요구되는 것을 식별하고, 애플리케이션의 버전과 관련된 페르소나 값에 기초하여,"여왕"페르소나가"대상"을 사용자의 이름으로 이용 하는지를 결정할 수 있다. 출력(982B)에서, 다른 비언어 적 사운드(즉, 트럼펫)가 프롬프트에 포함되며 추가적으로"퀸"페르소나의 일부 및/또는 하나 이상의 페르소나 값과 관련될 수 있다. 대화 모듈(126)은 연관된 페르소나 값들 중 하나 이상에 따라 프롬프트에서 상이한 사운드를 삽입할 수 있다. 프롬 pt는 질문 형태로 동일한 구조화된 콘텐츠를 더 포함한다.
사용자 입력(980B)에서, 사용자는 답변을 제공한다. 도 3의이 사용자 입력 단계에서 이전에 제공된 것과 동일한 답변이다. 도 8 및 대화 모듈(126)은 동일한 방식으로 응답을 처리한다. 또한, 출력(982C)은 구조화된 콘텐츠뿐만 아니라 애플리케이션의 버전과 관련된 페르소나 또는 페르소나 값에 기초하여 생성된 대화를 포함하며, 또한 맞춤형 버전에 대해 선택된 하나 이상의 페르소나 값과 일치하도록 조정된다. 사용자는 사용자 입력(980C)에서 부정확하게 응답하고, 대화 모듈(126)에 의해 생성된 다음 출력(982D)은도 3과 다른 용어를 사용하지만 부정확 한 응답을 통지한다. 8. 사용자 입력(980F)에서, 사용자는 애플리케이션을 종료하고자한다는 것을 표시한다. 이것은 표준 호출 문구 및/또는 자동 비서로 입력을 사용자 정의된 애플리케이션으로 전송하는 것을 중지하는 것을 나타내는 여러 문구들 중 하나 일 수 있다.
위에서 설명된 일부 예가 퀴즈 인터랙티브 대화 애플리케이션과 관련하여 설명되었지만, 다양한 구현이 다양한 유형의 인터랙티브 대화 애플리케이션과 함께 이용될 수 있는 것으로 이해된다. 예컨대, 일부 구현들에서 제공된 구조화된 콘텐츠는 버스 시간표, 기차 시간표 또는 다른 운송 시간표 일 수 있다. 예컨대, 구조화된 콘텐츠는 복수의 정류장(예컨대, 교차점) 및 이들 각각의 정류장에 대한 시간을 포함하는 버스 시간 테이블 일 수 있다. 인터랙티브 대화 애플리케이션은 인터랙티브으로 다양한 조회에 응답할 수 있는 고정 코드를 포함할 수 있다. 버스 시간표를 기반으로하는 맞춤형 버전을 실행하는 경우 인터랙티브 대화 상자 애플리케이션은 다양한 쿼리에 응답하여 어떤 유형의 응답을 제공할지 결정하는 데 고정 코드를 사용하고 구조화된 콘텐츠를 사용하여 다양한 쿼리에 대한 다양한 응답을 제공할 수 있다.
도 10은 본 명세서에 설명된 기술의 하나 이상의 양태를 수행하기 위해 선택적으로 사용될 수 있는 예시적인 컴퓨팅 장치(1010)의 블록도이다. 일부 구현들에서, 장치(106), 자동 비서(110) 및/또는 다른 컴포넌트(들) 중 하나 이상은 예시적인 컴퓨팅 장치(1010)의 하나 이상의 컴포넌트를 포함할 수 있다.
컴퓨팅 장치(1010)는 전형적으로 버스 서브 시스템(1012)을 통해 다수의 주변 장치들과 통신하는 적어도 하나의 프로세서(1014)를 포함한다. 이러한 주변 장치들은, 예를 들어, 메모리 서브 시스템(1025) 및 파일 스토리지 서브 시스템(1026), 사용자 인터페이스 출력 장치(1020), 사용자 인터페이스 입력 장치(1022) 및 네트워크인터페이스 서브 시스템(1016)을 포함하는 스토리지 서브 시스템(1024)을 포함할 수 있다. 입력 및 출력 장치는 컴퓨팅 장치(1010)와의 사용자 인터랙션을 허용한다. 네트워크 인터페이스 서브 시스템(1016)은 외부 네트워크에 인터페이스를 제공하고, 다른 컴퓨팅 장치의 대응하는 인터페이스 장치에 연결된다.
사용자 인터페이스 입력 장치(1022)는 키보드, (마우스, 트랙볼, 터치 패드 또는 그래픽 태블릿과 같은) 포인팅 장치, 스캐너, 디스플레이에 통합된 터치 스크린, (음성 인식 시스템과 같은) 오디오 입력 장치, 마이크로폰 및/또는 다른 유형의 입력 장치를 포함할 수 있다. 일반적으로, 용어 "입력 장치"의 사용은 모든 가능한 유형의 장치, 및 컴퓨팅 장치(1010) 또는 통신 네트워크에 정보를 입력하는 방법을 포함하도록 의도된 것이다.
사용자 인터페이스 출력 장치(1020)는 디스플레이 서브 시스템, 프린터, 팩스기, 또는 오디오 출력 장치와 같은 비-시각적 디스플레이를 포함할 수 있다. 디스플레이 서브 시스템은 음극선관(CRT), 액정 디스플레이(LCD)와 같은 평판 장치, 투영 장치, 또는 시각적 이미지를 생성하기 위한 다른 메커니즘을 포함할 수 있다. 디스플레이 서브 시스템은 또한 오디오 출력 장치를 통해서와 같이 비-시각적 디스플레이를 제공할 수 있다. 일반적으로, 용어 "출력 장치"의 사용은 모든 가능한 유형의 장치, 및 컴퓨팅 장치(1010)로부터 사용자 또는 다른 머신 또는 컴퓨팅 장치로 정보를 출력하는 방법을 포함하도록 의도된 것이다.
스토리지 서브 시스템(1024)은 본 명세서에 설명된 일부 또는 모든 모듈의 기능을 제공하는 프로그래밍 및 데이터 구성을 저장한다. 예를 들어, 스토리지 서브 시스템(1024)은 여기에 설명된 다양한 방법들의 선택된 양태를 수행하는 로직을 포함할 수 있다.
이들 소프트웨어 모듈은 일반적으로 프로세서(1014)에 의해 단독으로 또는 다른 프로세서와의 조합으로 실행된다. 스토리지 서브 시스템(1024)에 사용되는 메모리(1025)는 프로그램 실행 동안 명령 및 데이터의 저장을 위한 메인 랜덤 액세스 메모리(RAM)(1130) 및 정해진 명령들이 저장된 판독 전용 메모리(ROM)(1032)를 비롯한 다수의 메모리를 포함할 수 있다. 파일 저장 서브 시스템(1026)은 프로그램 및 데이터 파일을 위한 영구 저장을 제공할 수 있으며, 하드 디스크 드라이브, 관련 이동식 매체와 함께하는 플로피 디스크 드라이브, CD-ROM 드라이브, 광학 드라이브 또는 이동식 매체 카트리지를 포함할 수 있다. 특정 구현의 기능을 구현하는 모듈은 파일 스토리지 서브 시스템(1026)에 의해 스토리지 서브 시스템(1024) 또는 프로세서(들)(1014)에 의해 액세스 가능한 다른 머신들에 저장될 수 있다.
버스 서브 시스템(1012)은 컴퓨팅 장치(1010)의 다양한 컴포넌트 및 서브 시스템이 의도된 대로 서로 통신하도록 하는 메커니즘을 제공한다. 버스 서브 시스템(1012)이 단일 버스로서 개략적으로 도시되어 있지만, 버스 서브 시스템의 대안적인 구현들은 다수의 버스를 사용할 수 있다.
컴퓨팅 장치(1010)는 워크스테이션, 서버, 컴퓨팅 클러스터, 블레이드 서버, 서버 팜, 또는 임의의 다른 데이터 처리 시스템 또는 컴퓨팅 장치를 포함하는 다양한 유형일 수 있다. 컴퓨터 및 네트워크의 끊임없이 변화하는 특성으로 인해, 도 10에 도시된 컴퓨팅 장치(1010)의 설명은 일부 구현을 설명하기 위한 특정 예로서만 의도된 것이다. 컴퓨팅 장치(1010)의 많은 다른 구성이 도 10에 도시된 컴퓨팅 장치보다 더 많거나 적은 컴포넌트를 가질 수 있다.
여기에서 논의된 특정 구현들이 사용자들에 관한 개인 정보(예를 들어, 다른 전자 통신들로부터 추출된 사용자 데이터, 사용자의 소셜 네트워크에 관한 정보, 사용자의 위치, 사용자의 시간, 사용자의 생체 정보 및 사용자의 활동 및 인구 통계 정보, 사용자들 간의 관계 등)를 수집하거나 이용할 수 있는 상황들에서, 사용자에게는 정보 수집 여부, 개인 정보의 저장 여부, 개인 정보의 사용 여부, 사용자에 관한 정보의 수집, 저장 및 사용 방법을 제어할 한번 이상의 기회가 제공될 수 있다. 즉, 본 명세서에서 논의된 시스템 및 방법은 관련 사용자로부터 그렇게 하도록 명시적인 승인을 받은 경우에만 사용자 개인 정보를 수집, 저장 및/또는 사용한다.
예를 들어, 프로그램들 또는 특징들(features)이 그 특정 사용자에 관한 사용자 정보 또는 그 프로그램 또는 특징과 관련된 다른 사용자들에 관한 사용자 정보를 수집하는지 여부에 대한 제어가 사용자에게 제공된다. 개인 정보 수집 대상이 되는 각 사용자에게는 정보 수집에 대한 허가 및 권한 부여 및 그 정보의 어느 부분의 수집에 대한 허가 또는 권한부여를 제공하기 위해 그 사용자와 관련된 정보 수집에 대해 제어할 수 있게 하는 하나 이상의 옵션이 제공된다. 예를 들어, 통신 네트워크를 통해 사용자들에게 하나 이상의 이러한 제어 옵션이 제공될 수 있다. 또한, 특정 데이터는 개인의 식별가능한 정보가 제거되도록 저장 또는 사용하기 전에 하나 이상의 방식으로 처리될 수 있다. 한 예로서, 개인의 식별 가능한 정보가 결정될 수 없도록 사용자의 신원이 처리될 수 있다. 다른 예로서, 사용자의 특정 위치가 결정될 수 없도록 사용자의 지리적 위치가 더 큰 영역으로 일반화될 수 있다.

Claims (17)

  1. 하나 이상의 프로세서에 의해 구현되는 방법으로서,
    하나 이상의 네트워크 인터페이스를 통해, 동적 인터랙티브 대화 애플리케이션을 식별하기 위한 표시와, 상기 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하기 위한 구조화된 콘텐츠를 수신하는 단계 -상기 구조화된 콘텐츠는 스프레드시트(spreadsheet)를 포함하고, 상기 표시 및 상기 구조화된 콘텐츠는 사용자에 의한 클라이언트 장치와의 인터랙션에 응답하여 사용자의 클라이언트 장치에 의해 생성된 하나 이상의 데이터 패킷으로 전송됨-;
    상기 표시에 기초하고 그리고 상기 스프레드시트의 열 및 행에 기초하여 사기 구조화된 콘텐츠를 하나 이상의 데이터베이스에 저장하는 단계;
    상기 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대한 복수의 출력 응답 특성을 자동으로 선택하기 위해 상기 표시 및 상기 저장된 구조화된 콘텐츠 중 하나 또는 둘 모두를 처리하는 단계 -상기 구조화된 콘텐츠는 상기 출력 응답 특성을 명시적으로 나타내지 않음-;
    상기 표시를 수신하고, 상기 구조화된 콘텐츠를 저장하고, 복수의 출력 응답 특성을 자동으로 선택한 후:
    클라이언트 장치 또는 추가 사용자의 추가 클라이언트 장치의 어시스턴트 인터페이스를 통해 제공되는 자연어 입력을 수신하는 단계;
    상기 자연어 입력이 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대응한다고 결정하는 단계; 그리고
    상기 자연어 입력이 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대응한다는 결정에 응답하여:
    상기 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하는 단계를 포함하며,
    상기 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하는 단계는, 어시스턴트 인터페이스를 통해 프리젠테이션을 위한 출력의 하나 이상의 인스턴스를 생성하는 단계를 포함하고, 상기 출력의 하나 이상의 인스턴스 각각은 상기 인터랙티브 대화 애플리케이션의 실행 동안 대응하는 대화 전환을 위한 것이고 그리고 상기 구조화된 콘텐츠에 기초하고 복수의 출력 응답 특성 중 하나 이상에 기초하여 생성되는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  2. 제1항에 있어서, 자연어 입력에는 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대한 호출 문구가 없는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  3. 제2항에 있어서, 상기 자연어 입력이 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대응한다고 결정하는 단계는,
    상기 자연어 입력의 하나 이상의 용어가 맞춤형 버전의 구조화된 콘텐츠에 대응한다고 결정하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  4. 제3항에 있어서, 상기 자연어 입력의 하나 이상의 용어가 맞춤형 버전의 구조화된 콘텐츠에 대응한다고 결정하는 단계는 상기 하나 이상의 용어가 맞춤형 버전의 구조화된 콘텐츠로부터 추론되는 엔티티에 대응한다고 결정하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  5. 제1항에 있어서, 복수의 출력 응답 특성을 자동으로 선택하기 위해 상기 표시 및 구조화된 콘텐츠 중 하나 또는 둘 다를 처리하는 단계는,
    훈련된 기계 학습 모델에 대한 입력으로서 상기 표시 및 구조화된 콘텐츠 중 적어도 일부 중에서 하나 또는 둘 모두를 적용하는 단계;
    하나 이상의 출력 값을 생성하기 위해 상기 훈련된 기계 학습 모델을 사용하여 상기 입력을 처리하는 단계; 그리고
    상기 하나 이상의 출력 값에 기초하여 상기 출력 응답 특성을 선택하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  6. 제1항에 있어서, 상기 복수의 출력 응답 특성 중 하나 이상은 하나 이상의 문법 특성을 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  7. 제1항에 있어서, 상기 복수의 출력 응답 특성 중 하나 이상은 하나 이상의 그래픽 속성을 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  8. 하나 이상의 프로세서에 의해 구현되는 방법으로서,
    하나 이상의 네트워크 인터페이스를 통해, 동적 인터랙티브 대화 애플리케이션을 식별하기 위한 표시 및 상기 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하기 위한 구조화된 콘텐츠를 수신하는 단계 -상기 구조화된 콘텐츠는 스프레드시트를 포함하고, 상기 표시 및 구조화된 콘텐츠는 클라이언트 장치에 의해 생성된 하나 이상의 데이터 패킷으로 전송됨-;
    상기 표시에 기초하고 그리고 상기 스프레드시트의 열 및 행에 기초하여 상기 구조화된 콘텐츠를 하나 이상의 데이터베이스에 저장하는 단계;
    상기 표시를 수신하고 그리고 상기 구조화된 콘텐츠를 저장한 후:
    클라이언트 장치 또는 추가 클라이언트 장치의 어시스턴트 인터페이스를 통해 제공되는 자연어 입력을 수신하는 단계 -상기 자연어 입력은 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전을 명시적으로 호출하지 않음-;
    상기 자연어 입력이 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대응한다고 결정하는 단계 -상기 자연어 입력이 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대응한다고 결정하는 단계는,
    상기 구조화된 콘텐츠에 기초하여 결정된 콘텐츠를 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전에 매핑하는 인덱스에 액세스하는 단계;
    상기 자연어 입력의 하나 이상의 용어가 상기 콘텐츠에 대응한다고 결정하는 단계; 그리고
    상기 자연어 입력의 하나 이상의 용어가 상기 콘텐츠에 대응한다는 결정에 기초하여 실행을 위해 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전을 선택하는 단계를 포함함-;
    실행을 위해 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전을 선택하는 것에 응답하여:
    상기 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하는 단계를 포함하며,
    인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하는 단계는 어시스턴트 인터페이스를 통해 프리젠테이션을 위한 출력의 하나 이상의 인스턴스를 생성하는 단계를 포함하고, 상기 출력의 하나 이상의 인스턴스 각각은 상기 인터랙티브 대화 애플리케이션의 실행 동안 대응하는 대화 전환을 위한 것이고 그리고 상기 구조화된 콘텐츠를 사용하여 생성되는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  9. 제8항에 있어서, 상기 콘텐츠는 구조화된 콘텐츠로부터 추론되는 엔티티를 포함하고, 상기 자연어 입력의 하나 이상의 용어가 상기 콘텐츠에 대응한다고 결정하는 단계는 상기 하나 이상의 용어가 맞춤형 버전의 구조화된 콘텐츠로부터 추론되는 엔티티에 대응한다고 결정하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  10. 제8항에 있어서, 상기 방법은,
    상기 구조화된 콘텐츠로부터 추론되는 엔티티를 결정하는 단계를 더 포함하며, 상기 구조화된 콘텐츠로부터 추론되는 엔티티를 결정하는 단계는,
    구조화된 콘텐츠에서 적어도 제1 엔티티를 식별하는 단계, 그리고
    엔티티 데이터베이스의 제1 엔티티와 관련되는 엔티티에 기초하여 엔티티를 결정하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  11. 제10항에 있어서, 상기 구조화된 콘텐츠로부터 추론되는 엔티티를 결정하는 단계는,
    구조화된 콘텐츠에서 적어도 제2 엔티티를 식별하는 단계, 그리고
    엔티티가 제1 엔티티와 관련되고 엔티티 데이터베이스의 제2 엔티티와 관련되는 것에 기초하여 엔티티를 결정하는 단계를 더 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
  12. 하나 이상의 컴퓨팅 장치의 시스템으로서,
    하나 이상의 데이터베이스;
    명령어를 저장하는 메모리;
    하나 이상의 프로세서로 하여금 동작들을 수행하도록 하기 위해 상기 메모리에 저장된 명령어를 실행하도록 동작 가능한 하나 이상의 프로세서를 포함하며, 상기 동작들은,
    클라이언트 장치에 의해 생성된 하나 이상의 데이터 패킷에서, 동적 인터랙티브 대화 애플리케이션을 식별하기 위한 표시 및 동적 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하기 위한 구조화된 콘텐츠를 수신하는 동작 -상기 구조화된 콘텐츠는 스프레드시트를 포함함-;
    상기 표시에 기초하고 그리고 상기 스프레드시트의 열 및 행에 기초하여 상기 구조화된 콘텐츠를 하나 이상의 데이터베이스에 저장하는 동작;
    인터랙티브 대화 애플리케이션의 맞춤형 버전에 대한 복수의 출력 응답 특성을 자동으로 선택하기 위해 상기 표시 및 저장된 구조화된 콘텐츠 중 하나 또는 둘 다를 처리하는 동작 -상기 구조화된 콘텐츠는 출력 응답 특성을 명시적으로 나타내지 않음-;
    상기 표시를 수신하고, 구조화된 콘텐츠를 저장하고, 복수의 출력 응답 특성을 자동으로 선택한 후:
    클라이언트 장치의 어시스턴트 인터페이스 또는 추가 사용자의 추가 클라이언트 장치를 통해 제공되는 자연어 입력을 수신하는 동작;
    상기 자연어 입력이 인터랙티브 대화 애플리케이션의 맞춤 버전에 대응한다고 결정하는 동작; 그리고
    상기 자연어 입력이 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대응한다는 결정에 응답하여:
    인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하ㄴ는 동작을 포함하며,
    상기 인터랙티브 대화 애플리케이션의 맞춤형 버전을 실행하는 동작은 어시스턴트 인터페이스를 통해 프리젠테이션을 위한 출력의 하나 이상의 인스턴스를 생성하는 동작을 포함하고, 상기 출력의 하나 이상의 인스턴스 각각은 상기 인터랙티브 대화 애플리케이션의 실행 동안 대응하는 대화 전환을 위한 것이고 그리고 상기 구조화된 콘텐츠에 기초하고 복수의 출력 응답 특성 중 하나 이상에 기초하여 생성되는 것을 특징으로 하는 하나 이상의 컴퓨팅 장치의 시스템.
  13. 제12항에 있어서, 상기 자연어 입력에는 상기 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대한 호출 문구가 없는 것을 특징으로 하는 하나 이상의 컴퓨팅 장치의 시스템.
  14. 제13항에 있어서, 상기 자연어 입력이 인터랙티브 대화 애플리케이션의 맞춤형 버전에 대응한다고 결정하도록 하는 명령어는,
    상기 자연어 입력의 하나 이상의 용어가 맞춤형 버전의 구조화된 콘텐츠에 대응한다고 결정하도록 하는 명령어를 포함하는 것을 특징으로 하는 하나 이상의 컴퓨팅 장치의 시스템.
  15. 제14항에 있어서, 상기 자연어 입력의 하나 이상의 용어가 맞춤형 버전의 구조화된 콘텐츠에 대응한다고 결정하도록 하는 명령어는 하나 이상의 용어가 맞춤화된 버전의 구조화된 콘텐츠로부터 추론된 엔티티에 대응한다고 결정하도록 하는 명령어를 포함하는 것을 특징으로 하는 하나 이상의 컴퓨팅 장치의 시스템.
  16. 제14항에 있어서, 상기 복수의 출력 응답 특성 중 하나 이상은 하나 이상의 문법 특성을 포함하는 것을 특징으로 하는 하나 이상의 컴퓨팅 장치의 시스템.
  17. 제14항에 있어서, 상기 복수의 출력 응답 특성 중 하나 이상은 하나 이상의 그래픽 속성을 포함하는 것을 특징으로 하는 하나 이상의 컴퓨팅 장치의 시스템.
KR1020217041372A 2017-10-03 2018-10-03 제작자 제공 콘텐츠 기반 인터랙티브 대화 애플리케이션 테일링 KR102439740B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227030052A KR20220124295A (ko) 2017-10-03 2018-10-03 제작자 제공 콘텐츠 기반 인터랙티브 대화 애플리케이션 테일링

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762567729P 2017-10-03 2017-10-03
US62/567,729 2017-10-03
US15/838,278 2017-12-11
US15/838,278 US10453456B2 (en) 2017-10-03 2017-12-11 Tailoring an interactive dialog application based on creator provided content
KR1020197036742A KR102342172B1 (ko) 2017-10-03 2018-10-03 제작자 제공 콘텐츠 기반 인터랙티브 대화 애플리케이션 테일링
PCT/US2018/054123 WO2019070823A1 (en) 2017-10-03 2018-10-03 CUSTOMIZING AN INTERACTIVE DIALOGUE APPLICATION FROM A CREATOR PROVIDED CONTENT

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197036742A Division KR102342172B1 (ko) 2017-10-03 2018-10-03 제작자 제공 콘텐츠 기반 인터랙티브 대화 애플리케이션 테일링

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227030052A Division KR20220124295A (ko) 2017-10-03 2018-10-03 제작자 제공 콘텐츠 기반 인터랙티브 대화 애플리케이션 테일링

Publications (2)

Publication Number Publication Date
KR20210156344A KR20210156344A (ko) 2021-12-24
KR102439740B1 true KR102439740B1 (ko) 2022-09-02

Family

ID=65896215

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020197036742A KR102342172B1 (ko) 2017-10-03 2018-10-03 제작자 제공 콘텐츠 기반 인터랙티브 대화 애플리케이션 테일링
KR1020227030052A KR20220124295A (ko) 2017-10-03 2018-10-03 제작자 제공 콘텐츠 기반 인터랙티브 대화 애플리케이션 테일링
KR1020217041372A KR102439740B1 (ko) 2017-10-03 2018-10-03 제작자 제공 콘텐츠 기반 인터랙티브 대화 애플리케이션 테일링

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020197036742A KR102342172B1 (ko) 2017-10-03 2018-10-03 제작자 제공 콘텐츠 기반 인터랙티브 대화 애플리케이션 테일링
KR1020227030052A KR20220124295A (ko) 2017-10-03 2018-10-03 제작자 제공 콘텐츠 기반 인터랙티브 대화 애플리케이션 테일링

Country Status (7)

Country Link
US (4) US10453456B2 (ko)
EP (1) EP3516512A1 (ko)
JP (2) JP7204690B2 (ko)
KR (3) KR102342172B1 (ko)
CN (2) CN110730953B (ko)
AU (3) AU2018345706B2 (ko)
WO (1) WO2019070823A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701003B2 (en) 2018-05-21 2020-06-30 Slack Technologies, Inc. Systems and methods for initiating external actions via a group-based communication system
US10978069B1 (en) * 2019-03-18 2021-04-13 Amazon Technologies, Inc. Word selection for natural language interface
US11748660B2 (en) * 2020-09-17 2023-09-05 Google Llc Automated assistant training and/or execution of inter-user procedures
CN112329453B (zh) * 2020-10-27 2024-02-27 北京百度网讯科技有限公司 样本章节的生成方法、装置、设备以及存储介质
US20220222437A1 (en) * 2021-01-08 2022-07-14 Nice Ltd. Systems and methods for structured phrase embedding and use thereof
US11947783B2 (en) * 2021-01-25 2024-04-02 Google Llc Undoing application operation(s) via user interaction(s) with an automated assistant
US11900933B2 (en) * 2021-04-30 2024-02-13 Edst, Llc User-customizable and domain-specific responses for a virtual assistant for multi-dwelling units
US11720228B2 (en) 2021-08-05 2023-08-08 Evernorth Strategic Development, Inc. Systems and methods for transforming an interactive graphical user interface according to machine learning models
CN114997140B (zh) * 2021-09-17 2023-04-28 荣耀终端有限公司 校验语义的方法和装置
WO2023113786A1 (en) 2021-12-14 2023-06-22 Google Llc System(s) and method(s) for enabling a representative associated with an entity to modify a trained voice bot associated with the entity
US11847473B1 (en) 2022-07-07 2023-12-19 Evernorth Strategic Development, Inc. Adaptive graphical user interfaces for synthesized time-windowed machine learning models
US11822894B1 (en) * 2022-12-30 2023-11-21 Fmr Llc Integrating common and context-specific natural language understanding processing in a virtual assistant application
CN117574327A (zh) * 2023-12-14 2024-02-20 盐城市崇达石化机械有限公司 一种压裂泵故障检测方法、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060100875A1 (en) * 2004-09-27 2006-05-11 Hauke Schmidt Method and system to parameterize dialog systems for the purpose of branding
US20130152092A1 (en) * 2011-12-08 2013-06-13 Osher Yadgar Generic virtual personal assistant platform

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3286354B2 (ja) * 1992-09-21 2002-05-27 三洋電機株式会社 ピッチパターンの生成方法
US6144938A (en) 1998-05-01 2000-11-07 Sun Microsystems, Inc. Voice user interface with personality
JP2000339338A (ja) 1999-05-31 2000-12-08 Mitsubishi Electric Corp 事例検索装置
JP2002023783A (ja) * 2000-07-13 2002-01-25 Fujitsu Ltd 対話処理システム
US20030167167A1 (en) 2002-02-26 2003-09-04 Li Gong Intelligent personal assistants
JP2003255991A (ja) 2002-03-06 2003-09-10 Sony Corp 対話制御システム、対話制御方法及びロボット装置
KR20070002017A (ko) * 2004-02-17 2007-01-04 보이스 시그널 테크놀로지스, 인코포레이티드. 멀티모달 내장형 인터페이스들의 교체가능한 커스텀화 방법및 장치
KR100807307B1 (ko) * 2006-07-10 2008-02-28 한국전자통신연구원 대화형 음성 인터페이스 시스템 및 그 응답 방법
JP2011192029A (ja) 2010-03-15 2011-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報検索装置及び方法及びプログラム
JP2012198277A (ja) 2011-03-18 2012-10-18 Toshiba Corp 文書読み上げ支援装置、文書読み上げ支援方法および文書読み上げ支援プログラム
US10223636B2 (en) * 2012-07-25 2019-03-05 Pullstring, Inc. Artificial intelligence script tool
US9465833B2 (en) * 2012-07-31 2016-10-11 Veveo, Inc. Disambiguating user intent in conversational interaction system for large corpus information retrieval
CN102866990B (zh) * 2012-08-20 2016-08-03 北京搜狗信息服务有限公司 一种主题对话方法和装置
WO2014039106A1 (en) * 2012-09-10 2014-03-13 Google Inc. Answering questions using environmental context
US20140278403A1 (en) * 2013-03-14 2014-09-18 Toytalk, Inc. Systems and methods for interactive synthetic character dialogue
US9355378B2 (en) * 2013-03-14 2016-05-31 American Express Travel Related Services Company, Inc. Systems and methods for identifying and delivering tailored content based upon a service dialog
JP6320397B2 (ja) 2013-09-20 2018-05-09 株式会社東芝 音声選択支援装置、音声選択方法、およびプログラム
US9606977B2 (en) * 2014-01-22 2017-03-28 Google Inc. Identifying tasks in messages
JP6340351B2 (ja) 2015-10-05 2018-06-06 日本電信電話株式会社 情報検索装置、辞書作成装置、方法、及びプログラム
CN105719648B (zh) * 2016-04-22 2019-12-13 百度在线网络技术（北京）有限公司 个性化无人车交互方法及无人车
CN106294726A (zh) * 2016-08-09 2017-01-04 北京光年无限科技有限公司 基于机器人角色交互的处理方法及装置
US10217453B2 (en) 2016-10-14 2019-02-26 Soundhound, Inc. Virtual assistant configured by selection of wake-up phrase

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060100875A1 (en) * 2004-09-27 2006-05-11 Hauke Schmidt Method and system to parameterize dialog systems for the purpose of branding
US20130152092A1 (en) * 2011-12-08 2013-06-13 Osher Yadgar Generic virtual personal assistant platform

Also Published As

Publication number Publication date
AU2018345706B2 (en) 2021-04-01
JP2023040118A (ja) 2023-03-22
AU2021203758A1 (en) 2021-07-08
CN110730953B (zh) 2023-08-29
US10453456B2 (en) 2019-10-22
KR20220124295A (ko) 2022-09-13
JP2020536265A (ja) 2020-12-10
US20200265841A1 (en) 2020-08-20
AU2022221524B2 (en) 2023-05-25
AU2022221524A1 (en) 2022-09-22
US10573315B1 (en) 2020-02-25
KR102342172B1 (ko) 2021-12-23
KR20200007891A (ko) 2020-01-22
US20190103104A1 (en) 2019-04-04
CN110730953A (zh) 2020-01-24
US20200051568A1 (en) 2020-02-13
EP3516512A1 (en) 2019-07-31
CN117112097A (zh) 2023-11-24
AU2018345706A1 (en) 2020-01-02
JP7204690B2 (ja) 2023-01-16
US10650821B1 (en) 2020-05-12
KR20210156344A (ko) 2021-12-24
AU2021203758B2 (en) 2022-06-16
US10796696B2 (en) 2020-10-06
WO2019070823A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
KR102439740B1 (ko) 제작자 제공 콘텐츠 기반 인터랙티브 대화 애플리케이션 테일링
JP7486540B2 (ja) 複数の年齢グループおよび／または語彙レベルに対処する自動化されたアシスタント
CN111033492B (zh) 为自动化助手提供命令束建议
JP6686226B2 (ja) 適切なエージェントの自動化アシスタント呼び出し
US9805718B2 (en) Clarifying natural language input using targeted questions
CN110741363B (zh) 使用机器学习处理自然语言以基于槽描述符确定槽值
JP2017058673A (ja) 対話処理装置及び方法と知能型対話処理システム
KR102345615B1 (ko) 사용자 구성의 맞춤형 인터렉티브 대화 애플리케이션
KR20230025708A (ko) 오디오 제시 인터렉션을 갖는 자동화된 어시스턴트
US11924150B2 (en) System(s) and method(s) for enabling a representative associated with an entity to modify a trained voice bot associated with the entity
US20240195758A1 (en) System(s) and method(s) for enabling a representative associated with an entity to modify a trained voice bot associated with the entity
Rupitz et al. Development of an Amazon Alexa App for a University Online Search

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant