KR20150113127A

KR20150113127A - 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것

Info

Publication number: KR20150113127A
Application number: KR1020157023440A
Authority: KR
Inventors: 도날드 더블유. 피트쉘; 아담 존 체예르; 크리스토퍼 딘 브리그함; 토마스 알. 그루버
Original assignee: 애플 인크.
Priority date: 2013-03-15
Filing date: 2014-03-14
Publication date: 2015-10-07
Also published as: CN105027197B; WO2014144949A2; AU2014233517A1; KR101759009B1; WO2014144949A3; AU2014233517B2; US9922642B2; US20140278413A1; CN105027197A

Abstract

하나 이상의 프로세서들 및 메모리를 갖춘 전자 디바이스는 디지털 어시스턴트를 트레이닝시키는 절차를 포함한다. 몇몇 실시예들에서, 디바이스는 디지털 어시스턴트와 음성 입력을 포함한 사용자 간의 대화에서 교착 상태를 검출한다. 러닝 세션 중에, 디바이스는 음성 입력에 연관된 의도 추론 또는 작업 실행을 조정하여, 만족스러운 응답을 만들어 내기 위해, 사용자로부터 차후 해명 입력을 활용한다. 몇몇 실시예들에서, 디바이스는 작업을 완료하기 위해 이전에 사용된 양태에 연관된 성공 또는 실패의 패턴을 식별하며, 패턴에 대한 원인으로서, 음성 인식, 의도 추론 또는 작업 실행에 사용된 파라미터에 관한 가설을 생성한다. 그 후에, 디바이스는 작업의 차후 완료에 대한 파라미터를 변화시킴으로써, 가설을 테스트하며, 차후 완료로부터 수집된 피드백 정보에 기반하여, 가설을 채택 또는 거절한다.

Description

적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것{TRAINING AN AT LEAST PARTIAL VOICE COMMAND SYSTEM}

관련 출원들에 대한 상호 참조

본 출원은, 2013년 3월 15일자로 출원되고 명칭이 "적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것(TRAINING AN AT LEAST PARTIAL VOICE COMMAND SYSTEM)"인 미국 가출원 제61/792,078호의 우선권 주장 출원이며, 이에 의하여 상기 미국 가출원은 모든 목적들을 위해 본 명세서에 참조로 포함된다.

기술 분야

개시된 실시예들은 일반적으로 디지털 어시스턴트(digital assistant) 시스템들에 관한 것으로, 보다 구체적으로 디지털 어시스턴트 시스템을 트레이닝시키는 것에 관한 것이다.

사람 개인 비서들과 같이, 디지털 어시스턴트 시스템들은 요청된 작업(task)들을 수행하고, 요청된 조언, 정보, 또는 서비스들을 제공할 수 있다. 사용자의 요청을 이행하는 디지털 어시스턴트 시스템의 능력은, 요청 또는 명령어들의, 디지털 어시스턴트 시스템의 정확한 이해력에 의존한다. 자연 언어 프로세싱에서의 최근의 진보들은, 사용자들이, 구어 또는 텍스트 형태들로 자연 언어를 사용하여 디지털 어시스턴트 시스템들과 상호 작용하는 것을 가능하게 하였다. 그러한 디지털 어시스턴트 시스템들은 사용자의 입력을 해석하여 사용자의 의도를 추론하고, 추론된 의도를 액션가능한(actionable) 작업들 및 파라미터들로 번역하고, 작업들을 수행하기 위해 동작들을 실행하거나, 서비스들을 전개하며, 사용자가 이해할 수 있는 출력을 만들어낼 수 있다. 이상적으로는, 디지털 어시스턴트 시스템에 의해 만들어진 출력은, 사용자와 디지털 어시스턴트 시스템 간의 자연 언어 상호 작용 중에 표현된 사용자의 의도를 이행해야 한다.

사용자의 요청들에 대해 만족스러운 응답들을 만들어 내기 위한 디지털 어시스턴트 시스템의 능력은, 디지털 어시스턴트 시스템에 이용 가능한 자연 언어 프로세싱, 지식 베이스, 및 인공지능에 의존한다. 디지털 어시스턴트 시스템에 대해 우수하게 설계된 트레이닝 절차는 시스템과의 상호 작용 시에 사용자의 경험을 개선시키며, 시스템의 서비스들 및 성능들에서의 사용자의 신뢰를 촉진시킬 수 있다.

본 명세서에 개시된 실시예들은 사용자의 요청들에 대해 만족스러운 응답들을 보다 규칙적으로 제공하기 위해, 디지털 어시스턴트을 트레이닝시키는 방법들, 시스템들, 비-일시적 컴퓨터 판독가능 저장 매체 및 사용자 인터페이스들을 제공한다.

이에 따라서, 몇몇 실시예들은 디지털 어시스턴트를 동작시키는 방법을 제공하고, 방법은, 하나 이상의 프로세서들 및 하나 이상의 프로그램들을 저장하는 메모리를 포함한 디바이스에서: 디지털 어시스턴트와 사용자 간의 대화 중에 교착 상태(impasse)를 검출하는 단계 - 대화는 사용자로부터 적어도 하나의 음성 입력을 포함함 -; 및 교착 상태를 검출하는 것에 응답하여, 적어도 하나의 음성 입력에 연관된 러닝 세션(learning session)을 확립하는 단계를 포함한다. 러닝 세션 중에, 방법은: 사용자로부터 하나 이상의 차후 해명 입력들을 수신하는 단계; 하나 이상의 차후 해명 입력들에 적어도 부분적으로 기반하여, 적어도 하나의 음성 입력에 대한 만족스러운 응답을 만들어 내기 위해, 적어도 하나의 음성 입력에 연관된 의도 추론(intent inference) 및 작업 실행 중 적어도 하나를 조정하는 단계; 및 적어도 하나의 음성 입력의 추후 발생들을 프로세싱하기 위해, 만족스러운 응답을 적어도 하나의 음성 입력에 연관시키는 단계를 포함한다.

몇몇 실시예들에서, 디지털 어시스턴트를 트레이닝시키는 또 다른 방법은 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 명령어들을 저장하는 메모리를 포함한 전자 디바이스에서 수행된다. 디지털 어시스턴트와 사용자 간의 대화 중에, 방법은: 사용자로부터 초기 음성 입력을 수신하는 단계; 초기 음성 입력에 기반하여 초기 의도를 추론하는 단계; 추론되는 초기 의도를 이행하기 위해 초기 응답을 제공하는 단계; 및 초기 응답을 거절하는 후속(follow-up) 음성 입력을 수신하는 단계를 포함한다. 초기 응답을 거절하는 후속 음성 입력을 수신할 시에, 방법은 초기 음성 입력에 연관된 러닝 세션을 확립하는 단계를 포함한다. 러닝 세션 중에, 방법은: 초기 음성 입력에 대한 만족스러운 응답을 만들어 내기 위해, 초기 음성 입력에 연관된 의도 추론 및 작업 실행 중 적어도 하나를 조정하는 단계; 및 초기 음성 입력의 추후 발생들을 프로세싱하기 위해, 만족스러운 응답을 초기 음성 입력에 연관시키는 단계를 포함한다.

몇몇 실시예들에서, 디지털 어시스턴트를 트레이닝시키는 추가적인 방법은 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 명령어들을 저장하는 메모리를 포함한 전자 디바이스에서 수행된다. 방법은: 작업의 하나 이상의 이전 완료들에 연관된 피드백 정보를 얻는 단계; 및 작업을 완료하기 위해 이전에 사용된 음성 인식, 의도 추론 또는 작업 실행의 양태에 연관된 성공 또는 실패의 패턴을 식별하는 단계를 포함한다. 방법은: 성공 또는 실패의 패턴에 대한 원인으로서, 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터에 관한 가설을 생성하는 단계; 작업의 완료에 대한 하나 이상의 차후 요청들을 식별하는 단계; 작업의 차후 완료들에 대해 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터를 변화시킴으로써, 가설을 테스트하는 단계; 및 작업의 차후 완료들로부터 수집된 피드백 정보에 기반하여, 가설을 채택 또는 거절하는 단계를 더 포함한다.

또 다른 양태에서, 전자 디바이스는 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 이때 하나 이상의 프로그램들은, 하나 이상의 프로세서들에 의해 실행될 시에, 전자 디바이스로 하여금 상술된 방법들 중 어느 하나를 실행하도록 하는 명령어들을 포함한다.

여전히 또 다른 양태에서, 비-일시적 컴퓨터 판독가능 매체는, 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행될 시에, 전자 디바이스로 하여금 상술된 방법들 중 어느 하나를 실행하도록 하는 하나 이상의 프로그램들을 저장한다.

본 명세서에서 기술된 발명 대상의 하나 이상의 실시예의 세부 사항들은 이하에서, 첨부된 도면들 및 기술내용에서 설명된다. 발명 대상의 다른 특징들, 양태들, 및 이점들은 기술내용, 도면들, 및 청구항들로부터 명백하게 될 것이다.

도 1은 몇몇 실시예들에 따른 디지털 어시스턴트가 동작하는 환경을 예시하는 블록 다이어그램이다.
도 2는 몇몇 실시예들에 따른 디지털 어시스턴트 클라이언트 시스템을 예시하는 블록 다이어그램이다.
도 3a는 몇몇 실시예들에 따른 디지털 어시스턴트 시스템 또는 그의 서버부를 예시하는 블록 다이어그램이다.
도 3b는 몇몇 실시예들에 따른, 도 3a에 도시된 디지털 어시스턴트의 기능들을 예시하는 블록 다이어그램이다.
도 3c는 몇몇 실시예들에 따른, 도 3b에 도시된 온톨로지(ontology)의 일부의 다이어그램이다.
도 4a 내지 4c는 몇몇 실시예들에 따른 디지털 어시스턴트를 트레이닝시키는 예시적인 프로세스에 대한 플로 차트이다.
도 5는 몇몇 실시예들에 따른, 도 3b에 포함된 트레이닝 모듈의 블록 다이어그램이다.
도 6a 내지 6c는 몇몇 실시예들에 따른 디지털 어시스턴트를 트레이닝시키는 예시적인 프로세스에 대한 플로 차트이다.
도 7은 몇몇 실시예들에 따른 전자 디바이스의 기능적인 블록 다이어그램이다.
도 8은 몇몇 실시예들에 따른 전자 디바이스의 기능적인 블록 다이어그램이다.
동일 참조 번호들은 도면들 전체에 걸쳐 해당 부분들을 지칭한다.

도 1은 몇몇 실시예들에 따른 디지털 어시스턴트의 동작 환경(100)의 블록 다이어그램이다. 용어들 "디지털 어시스턴트", "가상 어시스턴트", "지능형 자동화 어시스턴트", 또는 "자동 디지털 어시스턴트"는, 사용자 의도를 추론하기 위해 구어 및/또는 텍스트 형태로 자연 언어 입력을 해석하고 추론된 사용자 의도에 기반하여 액션들을 수행하는 임의의 정보 프로세싱 시스템을 지칭한다. 예를 들어, 추론된 사용자 의도에 따라 작동하기 위해, 시스템은 다음 것 중 하나 이상을 수행할 수 있다: 추론된 사용자 의도를 달성하도록 설계된 단계들과 파라미터들을 갖춘 작업 플로를 식별하는 것, 추론된 사용자 의도로부터의 특정 요건들을 작업 플로에 입력하는 것; 프로그램들, 방법들, 서비스들, API들, 기타 등등을 호출함으로써, 작업 플로를 실행하는 것; 및 가청 형태로(예를 들면, 음성), 그리고/또는 시각적 형태로 사용자에 대하여 출력 응답들을 생성하는 것.

구체적으로, 디지털 어시스턴트는 자연 언어 커맨드(command), 요청, 표현법(statement), 이야기, 및/또는 문의의 형태로 사용자 요청을 적어도 부분적으로 수락할 수 있다. 통상적으로, 사용자 요청은 디지털 어시스턴트에 의한 작업의 정보제공(informational) 대답, 또는 수행을 추구한다. 사용자 요청에 대한 만족스러운 응답은, 요청된 정보제공 대답, 요청된 작업의 수행, 또는 이들 둘의 조합 중 어느 하나의 제공이다. 예를 들어, 사용자는 디지털 어시스턴트에게 질문을, 그 예로서 "지금 여기가 어디야?"라고 물을 수 있다. 사용자의 현재 위치에 기반하여, 디지털 어시스턴트는 "당신은 센트럴 공원에 있습니다"라고 대답할 수 있다. 사용자는 또한 작업의 수행, 예를 들어, "오늘 오후 4시에 엄마에게 전화할 것을 상기시켜줘"를 요청할 수 있다. 응답으로, 디지털 어시스턴트는 요청을 수신확인하고, 그 후에 사용자의 전자 스케쥴에 적절한 리마인더 항목을 생성시킬 수 있다. 요청된 작업의 수행 중에, 디지털 어시스턴트는 연장된 일정 기간(period of time) 동안, 정보의 다수의 교환들을 수반하는 연속적인 대화로 사용자와 때때로 상호 작용한다. 다양한 작업들의 요청 정보 또는 수행에 대하여, 디지털 어시스턴트와 상호 작용하는 수많은 다른 방식들이 있다. 구두 응답(verbal response)들을 제공하고, 프로그래밍된 액션들을 취하는 것과 더불어, 디지털 어시스턴트는 또한 (예를 들면, 텍스트, 경고들, 음악, 비디오들, 애니메이션들 등으로서) 다른 시각적 형태 또는 오디오 형태로 응답들을 제공한다.

디지털 어시스턴트의 예시는, 2011년 1월 10일자로 출원된 "지능형 자동화 어시스턴트(Intelligent Automated Assistant)"라는 본 출원인의 미국 실용신안 출원 제12/987,982호에 기술되고, 그의 전체적인 개시는 참조로 본 명세서에 포함된다.

도 1에 도시된 바와 같이, 몇몇 실시예들에서, 디지털 어시스턴트는 클라이언트-서버 모델에 따라 구현된다. 디지털 어시스턴트는 사용자 디바이스(104a, 104b) 상에서 실행되는 클라이언트-측부(102a, 102b)(이하, "DA-클라이언트(102)"), 및 서버 시스템(108) 상에서 실행되는 서버-측부(106)(이하, "DA-서버(106)")를 포함한다. DA-클라이언트(102)는 하나 이상의 네트워크들(110)을 통해 DA-서버(106)와 통신한다. DA-클라이언트(102)는 클라이언트-측 기능성들, 그 예로서 사용자-대면(facing) 입출력 프로세싱을 제공하며, DA-서버(106)와 통신한다. DA 서버(106)는 각자의 사용자 디바이스(104) 상에 각각 존재하는 많은 DA 클라이언트들(102)에게 서버-측 기능성들을 제공한다.

몇몇 실시예들에서, DA-서버(106)는 클라이언트-대면 I/O 인터페이스(112), 하나 이상의 프로세싱 모듈들(114), 데이터 및 모델들(116), 및 외부 서비스들에 대한 I/O 인터페이스(118)를 포함한다. 클라이언트-대면 I/O 인터페이스는 디지털 어시스턴트 서버(106)에 대한 클라이언트-대면 입출력 프로세싱을 용이하게 한다. 하나 이상의 프로세싱 모듈들(114)은, 자연 언어 입력에 기반하여 사용자의 의도를 결정하고 추론된 사용자 의도에 기반하여 작업 실행을 수행하기 위해 데이터 및 모델들(116)을 활용한다. 몇몇 실시예들에서, 데이터 및 모델들(116)은, 각자의 사용자의 온톨로지(예를 들면, 온톨로지(360))와는 다른 DA-서버(106)에 의해 유지된 복수의 온톨로지들(예를 들면, 세계적 온톨로지, 지역적 온톨로지, 문화적 온톨로지, 국가적 온톨로지, 주-전체 온톨로지, 도시-전체 온톨로지 등)을 저장한다. 온톨로지의 기능들은 도 3b에 대해 이하에서 보다 상세하게 기술된다. 몇몇 실시예들에서, DA-서버(106)는 작업 완료 또는 정보 획득을 위해 네트워크(들)(110)를 통해 외부 서비스들(120)과 통신한다. 외부 서비스들에 대한 I/O 인터페이스(118)는 그러한 통신들을 용이하게 한다.

사용자 디바이스(104)의 예시들은, 핸드헬드 컴퓨터, 개인용 정보 단말기(personal digital assistant, PDA), 태블릿 컴퓨터, 랩탑 컴퓨터, 데스크탑 컴퓨터, 셀룰러폰, 스마트폰, 향상된 범용 패킷 무선 서비스(enhanced general packet radio service, EGPRS) 모바일 폰, 미디어 플레이어, 내비게이션 디바이스, 게임 콘솔, 텔레비전, 원격 제어, 또는 이들 데이터 프로세싱 디바이스들 또는 다른 데이터 프로세싱 디바이스들 중 임의의 2개 이상의 조합을 포함하지만, 이에 제한되지 않는다. 사용자 디바이스(104)에 대해 보다 상세한 설명은 도 2에 도시된 예시적인 사용자 디바이스(104)와 관련하여 제공된다.

통신 네트워크(들)(110)의 예시들은 근거리 네트워크들("LAN") 및 광역 네트워크들("WAN"), 예를 들면, 인터넷을 포함한다. 통신 네트워크(들)(110)은, 다양한 유선 또는 무선 프로토콜들, 그 예로서 예를 들면, 이더넷(Ethernet), 범용 직렬 버스(Universal Serial Bus, USB), 파이어와이어(FIREWIRE), 이동통신용 글로벌 시스템(Global System for Mobile Communications, GSM), 향상된 데이터 GSM 환경(Enhanced Data GSM Environment, EDGE), 코드분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 블루투스(Bluetooth), 와이-파이(Wi-Fi), 보이스 오버 인터넷 프로토콜(voice over Internet Protocol, VolP), 와이-맥스(Wi-MAX) 또는 임의의 다른 적합한 통신 프로토콜을 포함하여, 임의의 공지된 네트워크 프로토콜을 사용하여, 선택적으로 구현된다.

서버 시스템(108)은 하나 이상의 독립형 데이터 프로세싱 장치 또는 분산형 네트워크의 컴퓨터들 상에서 구현된다. 몇몇 실시예들에서, 서버 시스템(108)은 또한, 서버 시스템(108)의 근원적인 컴퓨팅 리소스들 및/또는 인프라스트럭처 리소스들을 제공하기 위해, 써드 파티 서비스 제공자들(예를 들면, 써드-파티 클라우드 서비스 제공자들)의 다양한 가상 디바이스들 및/또는 서비스들을 이용한다.

도 1에 도시된 디지털 어시스턴트가 클라이언트-측부(예를 들면, DA- 클라이언트(102)) 및 서버-측부(예를 들면, DA-서버(106)) 둘 다를 포함하지만, 몇몇 실시예들에서, 디지털 어시스턴트의 기능들은 사용자 디바이스 상에 설치된 독립형 애플리케이션으로 구현된다. 추가적으로, 디지털 어시스턴트의 클라이언트부와 서버부 간의 기능성들의 분할들은 서로 다른 실시예들에서 변할 수 있다. 예를 들어, 몇몇 실시예들에서, DA-클라이언트는, 사용자-대면 입출력 프로세싱 기능들만을 제공하고 디지털 어시스턴트의 모든 다른 기능성들을 백엔드 서버에게 위임하는 씬-클라이언트(thin-client)이다.

본 명세서에서 나중에 기술되는 바와 같이, 디지털 어시스턴트는 크라우드 소싱(crowd sourcing) 기능성을 구현할 수 있다. 크라우드 소싱 기능성은, 디지털 어시스턴트가 다른 DA-클라이언트들 또는 써드 파티 정보 소스들(소위 "크라우드-소싱 정보 소스들" 또는 "CS 정보 소스들")로부터 정보를 모으고 요청 이행, 몇몇 경우들에서, 의도 추론을 용이하게 하기 위해 크라우드 소싱된 정보를 사용하는 것을 허용한다.

도 2는 몇몇 실시예들에 따른 사용자-디바이스(104)의 블록 다이어그램이다. 사용자 디바이스(104)는 메모리 인터페이스(202), 하나 이상의 프로세서들(204), 및 주변장치 인터페이스(peripherals interface, 206)를 포함한다. 사용자 디바이스(104) 내의 다양한 구성요소들은 하나 이상의 통신 버스들 또는 신호 라인들에 의해 결합된다. 사용자 디바이스(104)는 주변장치 인터페이스(206)에 결합된 다양한 센서들, 서브시스템들, 및 주변 디바이스들을 포함한다. 센서들, 서브시스템들, 및 주변 디바이스들은 정보를 모으고, 그리고/또는 사용자 디바이스(104)의 다양한 기능성들을 용이하게 한다.

예를 들어, 모션 센서(210), 광 센서(212), 및 근접 센서(214)는 주변장치 인터페이스(206)에 결합되어 배향 센싱 기능, 광 센싱 기능, 및 근접 센싱 기능을 용이하게 한다. 하나 이상의 다른 센서들(216), 그 예로서 위치선정 시스템(예를 들면, GPS 수신기), 온도 센서, 바이오메트릭 센서, 자이로스코프, 콤파스, 가속도계, 기타 등등은 또한 관련 기능성들을 용이하게 하기 위해, 주변장치 인터페이스(206)에 연결된다.

몇몇 실시예들에서, 카메라 서브시스템(220) 및 광학 센서(222)는, 카메라 기능들, 그 예로서 사진들을 찍고 비디오 클립들을 기록하는 것을 용이하게 하기 위해 활용된다. 통신 기능들은, 다양한 통신 포트들, 무선 주파수 수신기들 및 송신기들, 및/또는 광학(예를 들면, 적외선) 수신기들 및 송신기들을 포함할 수 있는 하나 이상의 유선 및/또는 무선 통신 서브시스템들(224)을 통하여 용이하게 된다. 오디오 서브시스템(226)은 스피커들(228) 및 마이크(230)에 결합되어, 보이스 지원 기능들(voice-enabled functions), 그 예로서 보이스 인식, 보이스 복제, 디지털 레코딩, 및 전화기 기능들을 용이하게 한다.

몇몇 실시예들에서, I/O 서브시스템(240)은 또한 주변장치 인터페이스(206)에 결합된다. I/O 서브시스템(240)은 터치 스크린 제어기(242) 및/또는 다른 입력 제어기(들)(244)를 포함한다. 터치 스크린 제어기(242)는 터치 스크린(246)에 결합된다. 터치 스크린(246) 및 터치 스크린 제어기(242)는, 복수의 터치 감도 기술들, 그 예로서 전기용량성, 저항성, 적외선, 표면 탄성파 기술들, 근접 센서 어레이들 기타 등등 중 어느 하나를 사용하여, 예를 들어, 그의 접촉 및 이동, 또는 파손을 검출할 수 있다. 다른 입력 제어기(들)(244)는 다른 입력/제어 디바이스들(248), 그 예로서 하나 이상의 버튼들, 라커 스위치들(rocker switches), 썸 휠(thumb-wheel), 적외선 포트, USB 포트, 및/또는 포인터 디바이스, 그 예로서 스타일러스에 결합될 수 있다.

몇몇 실시예들에서, 메모리 인터페이스(202)는 메모리(250)에 결합된다. 메모리(250)는 고속 랜덤 액세스 메모리 및/또는 비-휘발성 메모리, 그 예로서 하나 이상의 자기 디스크 저장 디바이스들, 하나 이상의 광학 저장 디바이스들, 및/또는 플래시 메모리(예를 들면, NAND, NOR)를 포함할 수 있다.

몇몇 실시예들에서, 메모리(250)는 운영 체제(252), 통신 모듈(254), 그래픽 사용자 인터페이스 모듈(256), 센서 프로세싱 모듈(258), 전화 모듈(260), 및 애플리케이션들(262)을 저장한다. 운영 체제(252)은 기본 시스템 서비스들을 핸들링하고 하드웨어 의존 작업들을 수행하는 명령어들을 포함한다. 통신 모듈(254)은 하나 이상의 추가적인 디바이스들, 하나 이상의 컴퓨터들 및/또는 하나 이상의 서버들과 통신하는 것을 용이하게 한다. 그래픽 사용자 인터페이스 모듈(256)은 그래픽 사용자 인터페이스 프로세싱을 용이하게 한다. 센서 프로세싱 모듈(258)은 센서-관련 프로세싱 및 기능들을 용이하게 한다. 전화 모듈(260)은 전화-관련 프로세스들 및 기능들을 용이하게 한다. 애플리케이션 모듈(262)은 사용자 애플리케이션들의 다양한 기능성들, 그 예로서 전자-메시징, 웹브라우징, 미디어 프로세싱, 내비게이션, 이미징 및/또는 다른 프로세스들 및 기능들을 용이하게 한다.

본 명세서에 기술된 바와 같이, 메모리(250)는 또한, 디지털 어시스턴트의 클라이언트-측 기능성들을 제공하기 위해, (예를 들면, 디지털 어시스턴트 클라이언트 모듈(264) 내의) 클라이언트-측 디지털 어시스턴트 명령어들 및 다양한 사용자 데이터(266)(예를 들면, 사용자-특정 어휘 데이터, 선호사항 데이터, 및/또는 다른 데이터, 그 예로서 사용자의 전자 주소록, 해야 할 일 리스트들, 쇼핑 리스트들 등)를 저장한다.

다양한 실시예들에서, 디지털 어시스턴트 클라이언트 모듈(264)은, 사용자 디바이스(104)의 다양한 사용자 인터페이스들(예를 들면, I/O 서브시스템(244))을 통해 보이스 입력(예를 들면, 음성 입력), 텍스트 입력, 터치 입력, 및/또는 제스처 입력을 수락할 수 있다. 디지털 어시스턴트 클라이언트 모듈(264)은 또한, 오디오 형태(예를 들면, 음성 출력), 시각적 형태, 및/또는 촉각 형태로 출력을 제공할 수 있다. 예를 들어, 출력은 보이스, 사운드, 경고들, 텍스트 메시지들, 메뉴들, 그래픽들, 비디오들, 애니메이션들, 진동들, 및/또는 상기의 것들 중 2개 이상의 조합들로 제공될 수 있다. 동작 중에, 디지털 어시스턴트 클라이언트 모듈(264)은 통신 서브시스템들(224)을 사용하여, 디지털 어시스턴트 서버와 통신한다.

몇몇 실시예들에서, 디지털 어시스턴트 클라이언트 모듈(264)은, 사용자에 연관된 상황, 현재의 사용자 상호 작용, 및/또는 현재의 사용자 입력을 확립하기 위해, 다양한 센서들, 서브시스템들, 및 주변 디바이스들을 활용하여 사용자 디바이스(104)의 주위 환경으로부터 추가적인 정보를 모은다. 몇몇 실시예들에서, 디지털 어시스턴트 클라이언트 모듈(264)은 사용자의 의도를 추론하는 것에 도움을 주기 위해, 디지털 어시스턴트 서버로 사용자 입력에 관한 상황 정보 또는 그의 서브셋을 제공한다. 몇몇 실시예들에서, 디지털 어시스턴트 또한 어떻게 출력들을 준비하여 사용자에게 전달할지를 결정하기 위해 상황 정보를 사용한다.

몇몇 실시예들에서, 사용자 입력을 수반하는 상황 정보는 센서 정보, 예를 들면, 조명, 주변 노이즈, 주변 온도, 주위 환경의 이미지들 또는 비디오들 등을 포함한다. 몇몇 실시예들에서, 상황 정보는 또한 사용자 디바이스(104)의 물리적 상태(예를 들면, 디바이스 배향, 디바이스 위치, 디바이스 온도, 파워 레벨, 속도, 가속도, 모션 패턴들, 셀룰라 신호들 강도 등)를 포함한다. 몇몇 실시예들에서, 사용자 디바이스(104)의 소프트웨어 상태에 관련된 정보(예를 들면, 실행중인 프로세스들, 설치 프로그램들, 과거 및 현재 네트워크 활동들, 백그라운드 서비스들, 에러 로그들, 리소스들 사용량 등)는 사용자 입력에 연관된 상황 정보로서 디지털 어시스턴트 서버에 제공된다.

몇몇 실시예들에서, 디지털 어시스턴트 클라이언트 모듈(264)은 디지털 어시스턴트 서버로부터의 요청들에 응답하여 사용자 디바이스(104) 상에 저장된 정보(예를 들면, 사용자 데이터(266))를 선택적으로 제공한다. 몇몇 실시예들에서, 디지털 어시스턴트 클라이언트 모듈(264)은 또한, 디지털 어시스턴트 서버(106)에 의한 요청 시에, 자연 언어 대화 또는 다른 사용자 인터페이스들을 통해 사용자로부터 추가적인 입력을 끌어낸다. 디지털 어시스턴트 클라이언트 모듈(264)은 사용자 요청에서 표현된 사용자의 의도의 의도 추론 및/또는 이행에서 디지털 어시스턴트 서버(106)에 도움을 주기 위해, 추가적인 입력을 디지털 어시스턴트 서버(106)에게 전달한다.

다양한 실시예들에서, 메모리(250)는 추가적인 명령어들 또는 보다 적은 명령어들을 포함한다. 더욱이, 사용자 디바이스(104)의 다양한 기능들은 하나 이상의 신호 프로세싱 및/또는 주문형 반도체(application specific integrated circuit)들로 구현되는 것을 포함하여, 하드웨어로 그리고/또는 펌웨어로 구현될 수 있다.

도 3a는 몇몇 실시예들에 따른 예시의 디지털 어시스턴트 시스템(300)의 블록 다이어그램이다. 몇몇 실시예들에서, 디지털 어시스턴트 시스템(300)은 독립형 컴퓨터 시스템 상에서 구현된다. 몇몇 실시예들에서, 디지털 어시스턴트 시스템(300)은 다수의 컴퓨터들에 걸쳐 분산된다. 몇몇 실시예들에서, 디지털 어시스턴트의 모듈들 및 기능들 중 몇몇은 서버부 및 클라이언트부로 분할되고, 이때 클라이언트부는 사용자 디바이스(예를 들면, 사용자 디바이스(104)) 상에 존재하며, (예를 들면, 도 1에 도시된 바와 같이) 하나 이상의 네트워크들을 통해 서버부(예를 들면, 서버 시스템(108))와 통신한다. 몇몇 실시예들에서, 디지털 어시스턴트 시스템(300)은 도 1에 도시된 서버 시스템(108)(및/또는 디지털 어시스턴트 서버(106))의 실시예이다. 디지털 어시스턴트 시스템(300)은 디지털 어시스턴트 시스템의 일 예시일 뿐, 디지털 어시스턴트 시스템(300)은 도시된 것보다 더 많은 또는 더 적은 구성요소들을 가질 수 있거나, 2개 이상의 구성요소들을 조합할 수 있거나, 또는 구성요소들의 서로 다른 구성 또는 배치를 가질 수 있음을 주목해야 한다. 도 3a에 도시된 다양한 구성요소들은, 하나 이상의 신호 프로세싱 및/또는 주문형 반도체들을 포함하여, 하드웨어, 하나 이상의 프로세서들에 의해 실행되는 소프트웨어 명령어들, 펌웨어, 또는 이들의 조합으로 구현될 수 있다.

디지털 어시스턴트 시스템(300)은 메모리(302), 하나 이상의 프로세서들(304), 입/출력(I/O) 인터페이스(306), 및 네트워크 통신 인터페이스(308)를 포함한다. 이들 구성요소들은 하나 이상의 통신 버스들 또는 신호 라인들(310)에 걸쳐 서로 통신한다.

몇몇 실시예들에서, 메모리(302)는 비-일시적 컴퓨터 판독가능 저장 매체, 그 예로서 고속 랜덤 액세스 메모리 및/또는 비-휘발성 저장 매체(예를 들면, 하나 이상의 자기 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비-휘발성 솔리드 스테이트 메모리 디바이스들)를 포함한다.

몇몇 실시예들에서, I/O 인터페이스(306)는 디지털 어시스턴트 시스템(300)의 입/출력 디바이스들(316), 그 예로서 디스플레이들, 키보드들, 터치 스크린들, 및 마이크들을, 사용자 인터페이스 모듈(322)에 결합시킨다. I/O 인터페이스(306)는, 사용자 인터페이스 모듈(322)과 함께, 사용자 입력들(예를 들면, 보이스 입력, 키보드 입력들, 터치 입력들 등)을 수신하며, 그들을 적당하게 프로세싱한다. 몇몇 실시예들에서, (예를 들면, 디지털 어시스턴트가 독립형 사용자 디바이스 상에서 구현될 시에) 디지털 어시스턴트 시스템(300)은 도 2에서 사용자 디바이스(104)에 대해 기술된 구성요소들, 및 I/O 및 통신 인터페이스들 중 어느 하나를 포함한다. 몇몇 실시예들에서, 디지털 어시스턴트 시스템(300)은 디지털 어시스턴트 구현의 서버부를 나타내며, 사용자 디바이스(예를 들면, 도 2에 도시된 사용자 디바이스(104)) 상에 존재하는 클라이언트-측부를 통해 사용자와 상호 작용한다.

몇몇 실시예들에서, 네트워크 통신 인터페이스(308)는 유선 통신 포트(들)(312) 및/또는 무선 송신 및 수신 회로부(314)를 포함한다. 유선 통신 포트(들)는 하나 이상의 유선 인터페이스들, 예를 들면, 이더넷, 범용 직렬 버스(USB), 파이어와이어 등을 통해 통신 신호들을 수신하고 전송한다. 무선 회로(314)는 RF 신호들 및/또는 광학 신호들을 통신 네트워크들 및 다른 통신 디바이스들로부터/로 수신하고 전송한다. 무선 통신들은 복수의 통신 표준들, 프로토콜들 및 기술들, 그 예로서 GSM, EDGE, CDMA, TDMA, Bluetooth, Wi-Fi, VoIP, Wi-MAX, 또는 임의의 다른 적합한 통신 프로토콜 중 어느 하나를 선택적으로 사용한다. 네트워크 통신 인터페이스(308)는, 네트워크들, 그 예로서 인터넷, 인트라넷 및/또는 무선 네트워크, 그 예로서 셀룰러 전화 네트워크, 무선 로컬 영역 네트워크(LAN) 및/또는 도시권 통신 네트워크(metropolitan area network, MAN)로, 디지털 어시스턴트 시스템(300)과 다른 디바이스들 간의 통신을 가능하게 한다.

몇몇 실시예들에서, 메모리(302), 또는 메모리(302)의 컴퓨터 판독가능 저장 매체들은: 운영 체제(318), 통신 모듈(320), 사용자 인터페이스 모듈(322), 하나 이상의 애플리케이션들(324), 및 디지털 어시스턴트 모듈(326)의 모두 또는 서브셋을 포함하는 프로그램들, 모듈들, 명령어들, 및 데이터 구조들을 저장한다. 하나 이상의 프로세서들(304)은 이들 프로그램들, 모듈들, 및 명령어들을 실행하며, 데이터 구조들로부터/로 판독/기입한다.

운영 체제(318)(예를 들면, 다윈(Darwin), RTXC, LINUX, UNIX, OS X, WINDOWS, 또는 임베디드 운영 체제, 그 예로서 VxWorks)은 일반적인 시스템 작업들(예를 들면, 메모리 관리, 저장 디바이스 제어, 전력 관리 등)을 제어 및 관리하는 다양한 소프트웨어 구성요소들 및/또는 드라이버들을 포함하며, 다양한 하드웨어, 펌웨어와 소프트웨어 구성요소들 간의 통신들을 용이하게 한다.

통신 모듈(320)은 디지털 어시스턴트 시스템(300)과 다른 디바이스들 간에서, 네트워크 통신 인터페이스(308)에 걸쳐 통신들을 용이하게 한다. 예를 들어, 통신 모듈(320)은 도 2에 도시된 디바이스(104)의 통신 인터페이스(254)와 선택적으로 통신한다. 통신 모듈(320)은 또한 무선 회로(314) 및/또는 유선 통신 포트(312)에 의해 수신된 데이터를 핸들링하기 위한 다양한 구성요소들을 포함한다.

사용자 인터페이스 모듈(322)은 (예를 들면, 키보드, 터치 스크린, 포인팅 디바이스, 제어기, 및/또는 마이크로부터) I/O 인터페이스(306)를 통해 사용자로부터의 커맨드들 및/또는 입력들을 수신하며, 디스플레이 상에 사용자 인터페이스 객체들을 생성한다. 사용자 인터페이스 모듈(322)은 또한 출력들(예를 들면, 음성, 사운드, 애니메이션, 텍스트, 아이콘들, 진동들, 햅틱 피드백, 및 광 등)을 준비하여 I/O 인터페이스(306)를 통해(예를 들면, 디스플레이들, 오디오 채널들, 스피커들, 및 터치-패드들 등을 통해) 사용자에게 전달한다.

애플리케이션들(324)은, 하나 이상의 프로세서들(304)에 의해 실행되도록 구성된 프로그램들 및/또는 모듈들을 포함한다. 예를 들어, 디지털 어시스턴트 시스템이 독립형 사용자 디바이스 상에서 구현되는 경우, 애플리케이션들(324)은, 사용자 애플리케이션들, 그 예로서 게임들, 캘린더 애플리케이션, 내비게이션 애플리케이션, 또는 이메일 애플리케이션을 선택적으로 포함한다. 디지털 어시스턴트 시스템(300)이 서버 팜(server farm) 상에 구현되는 경우, 애플리케이션들(324)은, 예를 들어, 리소스 관리 애플리케이션들, 진단 애플리케이션들, 또는 스케줄링 애플리케이션들을 선택적으로 포함한다.

메모리(302)는 또한 디지털 어시스턴트 모듈(또는 디지털 어시스턴트의 서버부)(326)을 저장한다. 몇몇 실시예들에서, 디지털 어시스턴트 모듈(326)은 다음의 서브-모듈들, 또는 그의 서브셋 또는 슈퍼셋(superset)을 포함한다: 입/출력 프로세싱 모듈(328), 음성/텍스트(speech-to-text, STT) 프로세싱 모듈(330), 자연 언어 프로세싱 모듈(332), 대화 플로 프로세싱 모듈(334), 작업 플로 프로세싱 모듈(336), 서비스 프로세싱 모듈(338), 트레이닝 모듈(340), 및 크라우드 소싱 모듈(342). 이들 모듈들 각각은 디지털 어시스턴트(326)의 다음의 데이터 및 모델들 중 하나 이상, 또는 그의 서브셋 또는 슈퍼셋에 액세스한다: 온톨로지(360), 어휘 색인부(344), 사용자 데이터(348), 범주화 모듈(349), 명확화 모듈(350), 작업 플로 모델들(354), 서비스 모델들(356), CS 지식 베이스(358), 및 사용자 로그(370).

몇몇 실시예들에서, 디지털 어시스턴트 모듈(326)에서 구현되는 프로세싱 모듈들, 데이터, 및 모델들을 사용하여, 디지털 어시스턴트 시스템(300)은 다음 중 적어도 몇몇을 수행한다: 사용자로부터 수신된 자연 언어 입력에서 표현된 사용자의 의도를 식별하는 것; (예를 들면, 단어들, 이름들, 의도들 등을 명확하게 함으로써) 사용자의 의도를 완전하게 추론하는데 필요한 정보를 활동적으로 끌어내서 얻는 것; 추론된 의도를 이행하기 위한 작업 플로를 결정하는 것; 및 추론된 의도를 이행하기 위해 작업 플로를 실행하는 것. 몇몇 실시예들에서, 디지털 어시스턴트는 또한, 다양한 이유들로 인해, 만족스러운 응답이 사용자에게 제공되지 못했거나, 제공될 수 없었을 시에, 적절한 액션들을 취한다.

몇몇 실시예들에서, 도 3b에 도시된 바와 같이, I/O 프로세싱 모듈(328)은, 사용자 입력(예를 들면, 음성 입력)을 얻고 사용자 입력에 대한(예를 들면, 음성 출력으로서) 응답들을 제공하기 위해, 도 3a의 I/O 디바이스들(316)을 통해 사용자와 상호 작용하거나, 또는 도 3a의 네트워크 통신 인터페이스(308)를 통해 사용자 디바이스(예를 들면, 도 1의 사용자 디바이스(104))와 상호 작용한다. I/O 프로세싱 모듈(328)은, 사용자 입력의 수신과 함께, 또는 사용자 입력의 수신 직후에, 사용자 디바이스로부터 사용자 입력에 연관된 상황 정보를 선택적으로 얻는다. 상황 정보는 사용자 입력에 관련된 사용자-특정 데이터, 어휘, 및/또는 선호사항들을 포함한다. 몇몇 실시예들에서, 상황 정보는 또한, 사용자 요청이 수신될 때의 디바이스(예를 들면, 도 1의 사용자 디바이스(104))의 소프트웨어 및 하드웨어 상태들, 및/또는 사용자 요청이 수신되었던 때의 사용자의 주위 환경에 관련된 정보를 포함한다. 몇몇 실시예들에서, I/O 프로세싱 모듈(328)은 또한, 사용자 요청에 관한 사용자에게 후속 질문들을 전송하며, 사용자로부터 대답들을 수신한다. 사용자 요청이 I/O 프로세싱 모듈(328)에 의해 수신되고, 사용자 요청이 음성 입력을 포함할 시에, I/O 프로세싱 모듈(328)은 음성/텍스트 변환을 위해 음성 입력을 음성/텍스트(STT) 프로세싱 모듈(330)로 포워딩한다.

음성/텍스트 프로세싱 모듈(330)은 I/O 프로세싱 모듈(328)을 통해 음성 입력(예를 들면, 보이스 레코딩에서 캡쳐된 사용자 발언)을 수신한다. 몇몇 실시예들에서, 음성/텍스트 프로세싱 모듈(330)은, 음성 입력을 음소들의 시퀀스로서, 그리고 최종적으로는, 하나 이상의 언어들로 쓰여진 단어들 또는 토큰들의 시퀀스로서 인식하기 위해, 다양한 음향 및 언어 모델들을 사용한다. 음성/텍스트 프로세싱 모듈(330)은 임의의 적합한 음성 인식 기법들, 음향 모델들, 및 언어 모델들, 그 예로서 은닉 마코프 모델(Hidden Markov Model)들, 동적 시간 워핑(Dynamic Time Warping, DTW) 기반 음성 인식, 및 다른 통계적 및/또는 분석적 기법들을 사용하여 구현될 수 있다. 몇몇 실시예들에서, 음성/텍스트 프로세싱은 써드 파티 서비스에 의해, 또는 사용자의 디바이스 상에서 적어도 부분적으로 수행될 수 있다. 음성/텍스트 프로세싱 모듈(330)이 음성/텍스트 프로세싱의 결과물(예를 들면, 단어들 또는 토큰들의 시퀀스)을 얻으면, 이는 의도 추론을 위해 결과물을 자연 언어 프로세싱 모듈(332)로 전달한다.

음성/텍스트 프로세싱에 관한 보다 상세한 설명은, 2011년 9월 20일자로 출원된 "통합 음성 인식 결과물(Consolidating Speech Recognition Results)"이라는 미국 실용신안 출원 제13/236,942호에서 기술되고, 그의 전체적인 개시는 참조로 본 명세서에 포함된다.

디지털 어시스턴트의 자연 언어 프로세싱 모듈(332)("자연 언어 프로세서")은 음성/텍스트 프로세싱 모듈(330)에 의해 생성된 단어들 또는 토큰들의 시퀀스("토큰 시퀀스")를 취하며, 토큰 시퀀스를, 디지털 어시스턴트에 의해 인식된 하나 이상의 "액션가능한 의도들"에 연관시키도록 시도한다. "액션가능한 의도"는 디지털 어시스턴트에 의해 수행될 수 있는 작업을 나타내며, 작업 플로 모델들(354)에서 구현되는, 연관된 작업 플로를 가진다. 연관된 작업 플로는 디지털 어시스턴트가 작업을 수행하기 위해 취하는 일련의 프로그래밍된 액션들 및 단계들이다. 디지털 어시스턴트의 성능들의 범위는, 작업 플로 모델들(354)에서 구현되어 저장되는 작업 플로들의 수 및 다양성에, 또는 다시 말해, 디지털 어시스턴트가 인식하는 "액션가능한 의도들"의 수 및 다양성에 의존한다. 그러나, 디지털 어시스턴트의 유효성은 또한, 자연 언어로 표현된 사용자 요청으로부터 정확한 "액션가능한 의도(들)"를 추론하는 어시스턴트의 능력에 의존한다.

몇몇 실시예들에서, 음성/텍스트 프로세싱 모듈(330)로부터 얻어진 단어들 또는 토큰들의 시퀀스와 더불어, 자연 언어 프로세서(332)는 또한 사용자 요청에 연관된 상황 정보를 (예를 들면, I/O 프로세싱 모듈(328)로부터) 수신한다. 자연 언어 프로세서(332)는, 음성/텍스트 프로세싱 모듈(330)로부터 수신된 토큰 시퀀스에 포함된 정보를 명확하게 하고, 보충하고, 그리고/또는 더 정의하기 위해 상황 정보를 선택적으로 사용한다. 상황 정보는, 예를 들어, 사용자 선호사항들, 사용자 디바이스의 하드웨어 및/또는 소프트웨어 상태들, 사용자 요청 전, 요청 중, 또는 요청 직후에 수집된 센서 정보, 디지털 어시스턴트와 사용자 간의 앞선 상호 작용들(예를 들면, 대화), 기타 등등을 포함한다.

몇몇 실시예들에서, 자연 언어 프로세싱은 온톨로지(360)에 기반한다. 온톨로지(360)는 많은 노드들을 포함하는 계층적 구조이고, 각각의 노드는 "액션가능한 의도들" 또는 다른 "속성들" 중 하나 이상에 관련된 "액션가능한 의도" 또는 "속성"을 나타낸다. 상기에서 주목된 바와 같이, "액션가능한 의도"는 디지털 어시스턴트가 수행할 수 있는 작업을 나타낸다(즉, 그것이 "액션가능하거나" 또는 작동될 수 있음). "속성"은 액션가능한 의도 또는 또 다른 속성의 서브-양태에 연관된 파라미터를 나타낸다. 온톨로지(360)에서 액션가능한 의도 노드와 속성 노드 간의 연결성은 속성 노드에 의해 나타난 파라미터가 액션가능한 의도 노드에 의해 나타난 작업에 어떻게 부속되는지를 정의한다.

몇몇 실시예들에서, 온톨로지(360)는 액션가능한 의도 노드들 및 속성 노드들로 이루어진다. 온톨로지(360) 내에서, 각각의 액션가능한 의도 노드는 직접적으로, 또는 하나 이상의 중간 속성 노드들을 통해, 하나 이상의 속성 노드들에 링크된다. 유사하게, 각각의 속성 노드는 직접적으로, 또는 하나 이상의 중간 속성 노드들을 통해, 하나 이상의 액션가능한 의도 노드들에 링크된다. 예를 들어, 도 3c에 도시된 바와 같이, 온톨로지(360)는 "레스토랑 예약" 노드 - 액션가능한 의도 노드를 선택적으로 포함한다. 속성 노드들 "레스토랑", (예약) "일자/시간", 및 "참석 인원수(party size)" 각각은 액션가능한 의도 노드(예를 들면, "레스토랑 예약" 노드)에 직접적으로 링크된다. 추가적으로, 속성 노드들 "요리", "가격대", "전화 번호", 및 "위치"는 속성 노드 "레스토랑"의 서브-노드들이며, 중간 속성 노드 "레스토랑"을 통해 "레스토랑 예약" 노드(예를 들면, 액션가능한 의도 노드)에 각각 링크된다. 또 다른 예시에서, 도 3c에 도시된 바와 같이, 온톨로지(360)는 또한 "리마인더 설정" 노드(예를 들면, 또 다른 액션가능한 의도 노드)를 포함할 수 있다. 속성 노드들 (리마인더 설정) "일자/시간" 및 (리마인더) "대상" 각각은 "리마인더 설정" 노드에 링크된다. 속성 "일자/시간"이 레스토랑을 예약한 작업 및 리마인더를 설정하는 작업 둘 다에 관련되었기 때문에, 속성 노드 "일자/시간"은 온톨로지(360)에서 "레스토랑 예약" 노드 및 "리마인더 설정" 노드 둘 다에 링크된다.

액션가능한 의도 노드는, 그의 링크된 속성 노드들과 함께, "도메인"으로 때때로 기술된다. 본 논의에서, 각각의 도메인은 각자의 액션가능한 의도에 연관되며, 특정 액션가능한 의도에 연관된 그룹의 노드들(및 이들 간의 관계들)을 지칭한다. 예를 들어, 도 3c에 도시된 온톨로지(360)는 온톨로지(360) 내에서 레스토랑 예약 도메인(362)의 예시 및 리마인더 도메인(364)의 예시를 포함한다. 레스토랑 예약 도메인은 액션가능한 의도 노드 "레스토랑 예약", 속성 노드들 "레스토랑", "일자/시간" 및 "참석 인원수", 및 서브-속성 노드들 "요리", "가격대", "전화 번호" 및 "위치"를 포함한다. 리마인더 도메인(364)은 액션가능한 의도 노드 "리마인더 설정", 및 속성 노드들 "대상" 및 "일자/시간"을 포함한다. 몇몇 실시예들에서, 온톨로지(360)는 많은 도메인들로 이루어진다. 몇몇 실시예에서, 온톨로지(360)는 다수의 도메인으로 구성된다. 각각의 도메인은 선택적으로 하나 이상의 속성 노드들을 하나 이상의 다른 도메인들과 공유한다. 예를 들어, "일자/시간" 속성 노드는 레스토랑 예약 도메인(362) 및 리마인더 도메인(364)과 더불어, 선택적으로 많은 서로 다른 도메인들(예를 들면, 스케줄링 도메인, 여행 예약 도메인, 영화 티켓 도메인 등)에 연관된다.

도 3c가 온톨로지(360) 내에서 2개 예시의 도메인들을 예시하지만, 다른 도메인들(또는 액션가능한 의도들)은 예를 들어, "전화 통화 개시", "길 찾기(find directions)", "미팅 스케쥴링", "메시지 전송", 및 "질문에 대한 대답 제공", 기타 등등을 포함한다. "메시지 전송" 도메인은 "메시지 전송" 액션가능한 의도 노드에 연관되며, 속성 노드들, 그 예로서 "수신인(들)", "메시지 타입", 및 "메시지 본문"을 선택적으로 더 포함한다. 속성 노드 "수신인"은 예를 들어, 서브-속성 노드들, 그 예로서 "수신인 이름" 및 "메시지 주소"에 의해, 선택적으로 더 정의된다.

몇몇 실시예들에서, 온톨로지(360)는, 디지털 어시스턴트가 이해 및 작동할 수 있는 모든 도메인들(및 그에 따른 액션가능한 의도들)을 포함한다. 몇몇 실시예들에서, 온톨로지(360)는, 그 예로서 전체 도메인들 또는 노드들을 추가 또는 제거함으로써, 또는 온톨로지(360) 내의 노드들 간의 관계들을 변경함으로써, 선택적으로 변경된다.

몇몇 실시예들에서, 다수의 관련된 액션가능한 의도들에 연관된 노드들은 선택적으로 온톨로지(360) 내의 "슈퍼 도메인" 하에 떼지어 모이게 된다. 예를 들어, "여행" 슈퍼 도메인은 여행들에 관련된 속성 노드들 및 액션가능한 의도 노드들의 클러스터를 선택적으로 포함한다. 여행들에 관련된 액션가능한 의도 노드들은 "비행기 예약", "호텔 예약", "차량 렌탈", "길들 찾기", "관심 지점들 찾기", 기타 등등을 선택적으로 포함한다. 동일한 슈퍼 도메인(예를 들면, "여행들" 슈퍼 도메인) 하의 액션가능한 의도 노드들은 때때로 많은 속성 노드들을 공통으로 가진다. 예를 들어, "비행기 예약", "호텔 예약", "차량 렌탈", "길들 찾기", "관심 지점들 찾기"에 대한 액션가능한 의도 노드들은 속성 노드들 "시작 위치", "목적지", "출발 일자/시간", "도착 일자/시간", 및 "참석 인원수" 중 하나 이상을 때때로 공유한다.

몇몇 실시예들에서, 온톨로지(360) 내의 각각의 노드는, 노드에 의해 나타난 속성 또는 액션가능한 의도에 관련된 한 세트의 단어들 및 구문(phrase)들에 연관된다. 각각의 노드에 연관된 각자의 세트의 단어들 및/또는 구문들은 노드에 연관된 소위 "어휘"이다. 각각의 노드에 연관된 각자의 세트의 단어들 및/또는 구문들은 노드에 의해 나타난 속성 또는 액션가능한 의도에 연관되어 어휘 인덱스(344)에 저장될 수 있다. 예를 들어, 도 3b로 돌아가서, "레스토랑"의 속성에 대한 노드에 연관된 어휘는 단어들, 그 예로서 "음식", "음료들", "요리", "배고픔", "먹기", "피자", "패스트 푸드", "식사", 기타 등등을 선택적으로 포함한다. 또 다른 예시로, "전화 통화 개시"의 액션가능한 의도에 대한 노드에 연관된 어휘는 단어들 및 구문들, 그 예로서 "전화하기", "전화", "다이얼", "이 번호로 전화하기", "~에게 전화하기", 기타 등등을 선택적으로 포함한다. 어휘 인덱스(344)는 서로 다른 언어들로 단어들 및 구문들을 선택적으로 포함한다.

자연 언어 프로세서(332)는 음성/텍스트 프로세싱 모듈(330)로부터 토큰 시퀀스(예를 들면, 텍스트 스트링(string))를 수신하며, 어떤 노드들이 토큰 시퀀스 내의 단어들에 의해 관련되는지를 결정한다. 몇몇 실시예들에서, 토큰 시퀀스 내의 단어 또는 구문이 (어휘 인덱스(344)를 통해) 온톨로지(360) 내의 하나 이상의 노드들에 연관되는 것으로 발견되는 경우, 단어 또는 구문은 그들 노드들을 "트리거(trigger)" 또는 "활성화" 시킬 것이다. 활성화된 노드들의 양 및/또는 상대적 중요도에 기반하여, 자연 언어 프로세서(332)는 액션가능한 의도들 중 하나를, 디지털 어시스턴트가 수행하도록 사용자가 의도한 작업으로서 선택할 것이다. 몇몇 실시예들에서, 가장 많이 "트리거링된" 노드들을 가진 도메인이 선택된다. 몇몇 실시예들에서, (예를 들면, 그의 다양한 트리거링된 노드들의 상대적 중요도에 기반하여) 최고 신뢰 값을 가진 도메인이 선택된다. 몇몇 실시예들에서, 도메인은 트리거링된 노드들의 수 및 중요도의 조합에 기반하여 선택된다. 몇몇 실시예들에서, 노드를 선택함에 있어, 추가적인 팩터들, 그 예로서, 디지털 어시스턴트가 사용자로부터 유사한 요청을 이전에 정확하게 해석했는지 역시 고려된다.

몇몇 실시예들에서, 디지털 어시스턴트는 또한 어휘 인덱스(344)에 특정 엔티티(entity)들의 이름들을 저장하고, 그 결과, 이들 이름들 중 하나가 사용자 요청에서 검출될 시에, 자연 언어 프로세서(332)는, 이름이 온톨로지 내의 속성 또는 서브-속성의 특정 사례를 지칭한다고 인식할 수 있을 것이다. 몇몇 실시예들에서, 특정 엔티티들의 이름들은 사업체들, 레스토랑들, 사람들, 영화들, 기타 등등의 이름들이다. 몇몇 실시예들에서, 디지털 어시스턴트는 다른 데이터 소스들, 그 예로서 사용자의 주소록, 영화 데이터베이스, 뮤지션 데이터베이스, 및/또는 레스토랑 데이터베이스로부터 특정 엔티티 이름들을 검색 및 식별한다. 몇몇 실시예들에서, 토큰 시퀀스 내의 단어가 특정 엔티티의 이름(그 예로서 사용자의 주소록 내의 이름)임을 자연 언어 프로세서(332)가 식별할 시에, 그 단어는 사용자 요청에 대한 온톨로지 내의 액션가능한 의도를 선택하는데 있어 추가적인 중요성이 부여된다.

예를 들어, 사용자 요청으로부터 단어들 "산토 씨"가 인식되며, "산토"라는 성(last name)이 사용자의 주소록 내의 연락처 사람(contact)들 중 하나로서 어휘 인덱스(344)에서 발견될 시에, 그 후에 사용자 요청은 "메시지 전송" 또는 "전화 통화 개시" 도메인에 대응할 가능성이 있다. 또 다른 예시로, 사용자 요청에서 단어들 "ABC 카페"가 발견되고, 용어 "ABC 카페"가 사용자의 도시에 있는 특정 레스토랑의 이름으로서 어휘 인덱스(344)에서 발견될 시에, 그 후에 사용자 요청은 "레스토랑 예약" 또는 "레스토랑들 찾기" 도메인에 대응할 가능성이 있다.

사용자 데이터(348)는 사용자-특정 정보, 그 예로서 사용자-특정 어휘, 사용자 선호사항들, 사용자 주소 또는 홈 위치, 사용자의 디폴트 및 제2 언어들, 사용자의 주소록, 및 각각의 사용자에 대한 다른 단기 또는 장기 정보를 포함한다. 몇몇 실시예들에서, 자연 언어 프로세서(332)는 사용자 입력에 포함된 정보를 보충하여 사용자 의도를 더 정의하기 위해 사용자-특정 정보를 사용한다. 예를 들어, "내 친구들을 내 생일 파티에 초대해줘"라는 사용자 요청에 대해, 자연 언어 프로세서(332)는, "친구들"이 누구인지, 그리고 언제 어디서 "생일 파티"가 열릴 것인지를 결정하기 위해, 그/그녀의 요청에 그러한 정보를 명확하게 제공할 것을 사용자에게 요구하기 보다는 오히려, 사용자 데이터(348)에 액세스할 수 있다.

토큰 스트링에 기반하여 온톨로지를 검색하는 다른 상세한 설명은 2008년 12월 22일자로 출원된 "활동적 온톨로지를 사용하여 검색하는 방법 및 장치(Method and Apparatus for Searching Using An Active Ontology)"라는 미국 실용신안 출원 제12/341,743호에 기술되고, 그의 전체적인 개시는 참조로 본 명세서에 포함된다.

몇몇 구현예들에서, 자연 언어 프로세서(332)는 범주화 모듈(349)을 포함한다. 몇몇 구현예들에서, 범주화 모듈(349)은 텍스트 스트링 내의 하나 이상의 용어들 각각이 이하에서 보다 상세하게 논의된 바와 같이, 엔티티, 활동, 또는 위치 중 하나인지를 결정한다. 몇몇 구현예들에서, 범주화 모듈(349)은 하나 이상의 용어들 중 각각의 용어를 엔티티, 활동, 또는 위치 중 하나로서 분류한다.

몇몇 실시예들에서, 자연 언어 프로세서(332)가 사용자 요청에 기반하여 액션가능한 의도(또는 도메인)을 식별하면, 자연 언어 프로세서(332)는 식별된 액션가능한 의도를 나타내기 위해 구조화된 질의를 생성한다. 몇몇 실시예들에서, 구조화된 질의는 액션가능한 의도에 대한 도메인 내에서, 하나 이상의 노드들에 대한 파라미터들을 포함하며, 파라미터들 중 적어도 몇몇은 사용자 요청에서 명시된 특정 정보 및 요건들로 채워진다. 예를 들어, 사용자는 "7시에 스시 가게에 저녁 예약을 해줘"라고 말할 수 있다. 이러한 경우에, 자연 언어 프로세서(332)는 사용자 입력에 기반하여 액션가능한 의도를 "레스토랑 예약"으로 정확하게 식별할 수 있다. 온톨로지에 따라서, "레스토랑 예약" 도메인에 대한 구조화된 질의는 파라미터들, 그 예로서 {요리}, {시간}, {일자}, {참석 인원수}, 기타 등등을 선택적으로 포함한다. 몇몇 실시예들에서, 사용자의 발언에 포함된 정보에 기반하여, 자연 언어 프로세서(332)는 레스토랑 예약 도메인에 대한 부분적인 구조화된 질의를 생성하고, 이때 부분적인 구조화된 질의는 파라미터들 {요리="스시"} 및 {시간="7pm"}을 포함한다. 그러나, 이러한 예시에서, 사용자의 발언은 도메인에 연관된 구조화된 질의를 완료하기에 불충분한 정보를 포함한다. 그러므로, 다른 필요한 파라미터들, 그 예로서 {참석 인원수} 및 {일자}는 현재 이용 가능한 정보에 기반하여 구조화된 질의에 명시되지 않는다. 몇몇 실시예들에서, 자연 언어 프로세서(332)는 구조화된 질의의 몇몇 파라미터들을 수신된 상황 정보로 채운다. 예를 들어, 몇몇 실시예들에서, 사용자가 "내 근처" 스시 레스토랑을 요청한 경우, 자연 언어 프로세서(332)는 구조화된 질의 내의 {위치} 파라미터를 사용자 디바이스(104)로부터의 GPS 좌표들로 채운다.

몇몇 실시예들에서, 자연 언어 프로세서(332)는 구조화된 질의(임의의 완료된 파라미터들을 포함)를 작업 플로 프로세싱 모듈(336)("작업 플로 프로세서")로 전달한다. 작업 플로 프로세서(336)는 자연 언어 프로세서(332)로부터 구조화된 질의를 수신하고, 구조화된 질의를 완료하고, 필요한 경우, 사용자의 최종 요청을 "완료"하는데 요구된 액션들을 수행하도록 구성된다. 몇몇 실시예들에서, 이들 작업들을 완료하는데 필요한 다양한 절차들은 작업 플로 모델들(354)에서 제공된다. 몇몇 실시예들에서, 작업 플로 모델들은 사용자로부터 추가적인 정보를 얻기 위한 절차들, 및 액션가능한 의도에 연관된 액션들을 수행하기 위한 작업 플로들을 포함한다.

상술된 바와 같이, 구조화된 질의를 완료하기 위해, 작업 플로 프로세서(336)는 추가적인 정보를 얻고, 그리고/또는 잠재적으로 애매한 발언들을 명확하게 하기 위하여, 때때로 사용자와 추가적인 대화를 개시할 필요가 있다. 그러한 상호 작용들이 필요할 시에, 작업 플로 프로세서(336)는 사용자와의 대화에 관여하기 위해 대화 프로세싱 모듈(334)("대화 프로세서(334)")을 호출한다. 몇몇 실시예들에서, 대화 프로세서(334)는 사용자에게 추가적인 정보를 어떻게 (그리고/또는 언제) 물어볼지를 결정하며, 사용자 응답들을 수신 및 프로세싱한다. 질문들은 I/O 프로세싱 모듈(328)을 통하여, 사용자들에게 제공되며, 대답들은 사용자들로부터 수신된다. 몇몇 실시예들에서, 대화 프로세서(334)는 오디오 및/또는 시각적 출력을 통해 사용자에게 대화 출력을 제시하며, 구두적 또는 물리적(예를 들면, 클릭) 응답들을 통해 사용자로부터 입력을 수신한다. 상기의 예시를 계속하면, 작업 플로 프로세서(336)가 도메인 "레스토랑 예약"에 연관된 구조화된 질의에 대한 "참석 인원수" 및 "일자" 정보를 결정하기 위해, 대화 플로 프로세서(334)를 호출할 시에, 대화 플로 프로세서(335)는 질문들, 그 예로서 "얼마나 많은 사람들이 있습니까?" 및 "몇 일입니까?"를 생성하여 사용자에게 전달한다. 대답들이 사용자로부터 수신되면, 그 후에 대화 플로 프로세서(334)는 구조화된 질의를 누락된 정보로 채우거나, 또는 정보를 작업 플로 프로세서(336)에 전달하여, 구조화된 질의로부터 누락 정보를 완료할 수 있다.

몇몇 경우들에서, 작업 플로 프로세서(336)는, 예를 들면, "메시지 전송" 도메인에 대한 구조화된 질의가, 의도된 수신인이 "밥"이라는 것을 나타내고, 사용자가 마침 "밥"이라는 이름이 붙은 다수의 연락처 사람들을 가질 시에, 하나 이상의 애매한 속성들을 가진 구조화된 질의를 수신한다. 그러한 경우들에서, 작업 플로 프로세서(336)는, 대화 프로세서(334)가 구조화된 질의의 이러한 속성을 명확하게 하는 것을 선택적으로 요청한다. 그 다음으로, 대화 프로세서(334)는 선택적으로 사용자에게 "어느 밥입니까?"라고 물으며, 사용자가 선택할 수 있는 "밥"이라 이름이 붙은 연락처 사람들의 리스트를 디스플레잉한다(또는 판독한다).

몇몇 구현예들에서, 명확화 모듈(350)은 대명사들을 명확하게 한다. 그러한 구현예들에서, 명확화 모듈(350)은 하나 이상의 용어들 중 하나를 대명사로 식별하며, 대명사가 지칭하는 명사를 결정한다. 몇몇 구현예들에서, 명확화 모듈(350)은, 전자 디바이스의 사용자에 연관된 사용자 데이터(348) 또는 어휘 인덱스(344)를 사용함으로써, 대명사가 지칭하는 명사를, 엔티티, 활동, 또는 위치의 이름으로서, 결정한다.

몇몇 구현예들에서, 명확화 모듈(350)은 용어들 중 하나 이상의 의미를 결정하기 위해, 핸드헬드 전자 디바이스(예를 들면, 사용자 디바이스(104))의 하나 이상의 센서들(예를 들면, 근접 센서(214), 광 센서(212), GPS 수신기(213), 온도 센서(215), 및 모션 센서(210))로부터 얻어진 정보를 액세스한다. 몇몇 구현예들에서, 명확화 모듈(350)은 엔티티, 활동, 또는 위치 중 하나에 연관된 2개의 용어들 각각을 식별한다. 예를 들어, 2개의 용어들 중 제1의 것은 사람을 지칭하고, 2개의 용어들 중 제2의 것은 위치를 지칭한다. 몇몇 구현예들에서, 명확화 모듈(350)은 엔티티, 활동, 또는 위치 중 하나에 연관된 3 개의 용어들 각각을 식별한다.

작업 플로 프로세서(336)가 액션가능한 의도에 대한 구조화된 질의를 완료하면, 작업 플로 프로세서(336)는 액션가능한 의도에 연관된 최종 작업을 수행하기 위해 진행한다. 이에 따라서, 작업 플로 프로세서(336)는 구조화된 질의에 포함된 특정 파라미터들에 따라서 작업 플로 모델 내의 단계들 및 명령어들을 실행한다. 예를 들어, "레스토랑 예약"의 액션가능한 의도에 대한 작업 플로 모델은 레스토랑에 연락하여, 특정 시간에 특정 참석 인원수에 대한 예약을 실제로 요청하는 단계들 및 명령어들을 선택적으로 포함한다. 예를 들어, 구조화된 질의, 그 예로서: {레스토랑 예약, 레스토랑 = ABC 카페, 일자 = 3/12/2012, 시간 = 7pm, 참석 인원수 = 5}를 사용하여, 작업 플로 프로세서(336)는: (1) ABC 카페의 서버 또는 레스토랑 예약 시스템, 그 예로서 OPENTABLE®에 로깅하는 것, (2) 웹 사이트 상의 한 양식에 일자, 시간, 및 참석 인원수 정보를 입력하는 것, (3) 양식을 제출하는 것, 및 (4) 사용자의 캘린더에 예약에 대한 캘린더 진입을 만드는 것의 단계들을 선택적으로 수행한다.

몇몇 실시예들에서, 작업 플로 프로세서(336)는, 사용자 입력에 요청된 작업을 완료하기 위해, 또는 사용자 입력에 요청된 정보제공 대답을 제공하기 위해, 서비스 프로세싱 모듈(338)("서비스 프로세서")의 도움을 활용한다. 예를 들어, 서비스 프로세서(338)는, 작업 플로 프로세서(336) 대신, 전화 통화를 하고, 캘린더 진입을 설정하고, 지도 검색을 호출하고, 사용자 디바이스 상에 설치된 다른 사용자 애플리케이션들을 호출하거나 상기 다른 사용자 애플리케이션들과 상호 작용하며, 써드 파티 서비스들(예를 들면, 레스토랑 예약 포털, 소셜 네트워킹 웹사이트, 뱅킹 포털 등)을 호출하거나 상기 써드 파티 서비스들과 상호 작용하기 위해 작동할 수 있다. 몇몇 실시예들에서, 각각의 서비스에 의해 요구된 프로토콜들 및 애플리케이션 프로그래밍 인터페이스(API)들은 서비스 모델들(356) 중 각자의 서비스 모델에 의해 명시될 수 있다. 서비스 프로세서(338)는 서비스를 위해 적절한 서비스 모델에 액세스하며, 서비스 모델에 따른 서비스에 의해 요구되는 프로토콜들 및 API들에 따라 서비스에 대한 요청들을 생성한다.

예를 들어, 레스토랑이 온라인 예약 서비스를 가능하게 할 경우, 레스토랑은 예약을 하기 위해 필요한 파라미터들, 및 필요한 파라미터의 값들을 온라인 예약 서비스로 전하기 위한 API들을 명시하는 서비스 모델을 제출할 수 있다. 작업 플로 프로세서(336)에 의해 요청될 시, 서비스 프로세서(338)는 서비스 모델에 저장된 웹 주소를 사용하여 온라인 예약 서비스와의 네트워크 연결을 확립하며, 예약의 필요한 파라미터들(예를 들면, 시간, 일자, 참석 인원수)을 온라인 예약 서비스의 API에 따른 포맷으로 온라인 예약 인터페이스로 전송할 수 있다.

몇몇 실시예들에서, 자연 언어 프로세서(332), 대화 프로세서(334), 및 작업 플로 프로세서(336)는, 사용자의 의도를 추론 및 정의하고, 사용자 의도를 더 명확하게 하고 개량시키는 정보를 얻으며, 마지막으로는 사용자의 의도를 이행하는 응답(예를 들면, 사용자에 대한 출력, 또는 작업의 완료)을 생성하기 위해, 집합적으로 그리고 반복적으로 사용된다.

몇몇 실시예들에서, 사용자의 요청을 이행하는데 필요한 작업들의 모두가 수행된 이후에, 디지털 어시스턴트(326)는 확인 응답을 정형화하며, 응답을 I/O 프로세싱 모듈(328)을 통해 사용자에게 다시 전송한다. 사용자 요청이 정보제공 대답을 추구하는 경우, 확인 응답은 사용자에게 요청된 정보를 제시한다. 몇몇 실시예들에서, 디지털 어시스턴트는 또한, 사용자가 디지털 어시스턴트(326)에 의해 만들어진 응답에 만족하는지를 나타내도록 사용자에게 요청한다.

디지털 어시스턴트에 대해 보다 상세한 설명은 2010년 1월 18일자로 출원되고 명칭이 "지능형 자동화 어시스턴트(Intelligent Automated Assistant)"인 미국 실용신안 출원 제12/987,982호에서, 그리고 또한 2011년 6월 3일자로 출원되고 명칭이 "수행할 작업들을 나타내는 데이터 항목들을 생성 및 프로세싱하는 것(Generating and Processing Data Items That Represent Tasks to Perform)"인 미국 실용신안 출원 제61/493,201호에서 찾아볼 수 있으며, 그들의 전체적인 개시들은 참조로 본 명세서에 포함된다.

많은 사례들에서, 디지털 어시스턴트는 사용자로부터의 요청의 형태를 한 음성 입력에 기반하여 사용자의 의도를 추론하며, 사용자 요청에 의해 추구된 정보를 제공함으로써, 또는 사용자 요청에 따른 작업을 수행함으로써, 사용자의 요청을 이행할 수 있다. 그러나, 때때로, 디지털 어시스턴트는 정보 또는 액션에 대하여 사용자 요청에 대한 만족스러운 응답을 제공하지 못한다. 실패들에 대한 이유들은 많이 있을 수 있고, 그 예로서 사용자 요청에서의 불완전한 음성 인식, 인식되지 않은 용어들 및 개념들, 디지털 어시스턴트의 서비스들에서의 부정확하거나 미완료된 정보, 및 불충분한 성능, 기타 등등이 있을 수 있다. 사용자 요청에 대한 만족스러운 응답을 제공하는 것에 대한 디지털 어시스턴트의 실패의 이유에 상관 없이, 디지털 어시스턴트가 추후 실패들을 방지하여 사용자 요청을 만족시키기 위해, 적합한 트레이닝 특징을 구현하는 것이 바람직하다.

도 3b에 도시된 바와 같이, 몇몇 실시예들에서, 디지털 어시스턴트(326)는 또한, 트레이닝 모듈(340)이 사용자 요청에 대해 만족스러운 응답을 제공하지 못함(또는 디지털 어시스턴트와 사용자 간의 대화에서의 교착 상태)을 검출할 시에, 음성/텍스트 프로세싱(예를 들면, 음성 인식에 사용된 언어 모델들, 음향 모델들, 어휘), 자연 언어 프로세싱(예를 들면, 문법, 온톨로지 등) 또는 작업-플로 프로세싱의 하나 이상의 파라미터들을 변화 또는 조정하도록 구성된 트레이닝 모듈(340)을 포함한다. 몇몇 실시예들에서, 트레이닝 모듈은 사용자 요청에 대해 만족스러운 응답을 만들어 내지 못함 다음에, 사용자로부터 해명 입력들을 활용한다. 몇몇 실시예들에서, 트레이닝 모듈은 실패된 사용자 요청에 관하여 사용자로부터 명확한 응답을 끌어낸다.

몇몇 실시예들에서, 디지털 어시스턴트(326)는 또한 실패된 사용자 요청에 관련된 하나 이상의 다른 DA-클라이언트들(102)(예를 들면, 하나 이상의 외부 CS 정보 소스들)로부터 피드백 정보를 수집하도록 구성된 크라우드 소싱 모듈(342)을 포함하며, 음성 프로세싱(음성 인식 포함), 자연 언어 프로세싱(의도 추론 포함), 및/또는 작업 플로 프로세싱(작업 실행 포함)에서 디지털 어시스턴트의 능력들을 보충하기 위해 피드백 정보를 사용한다. 예를 들어, 크라우드 소싱된 피드백 정보는 음성 특히 악센트들 또는 사투리들을 인식하여, 도메인들에 연관된 어휘를 확장하고, 그리고/또는 추가 도메인 엔티티들을 식별하는데 도움을 준다. 몇몇 실시예들에서, 크라우드 소싱된 피드백 정보는 추가 도메인들 및 작업 플로들을 생성하여 디지털 어시스턴트의 성능들을 더 확장시키기 위해, (디지털 어시스턴트 그 자체에 의해, 또는 디지털 어시스턴트의 제공자에 의해) 사용된다.

몇몇 실시예들에서, 크라우드 소싱 모듈(342)은 크라우드 소싱된(CS) 지식 베이스(358)를 확립 및 유지시킨다. CS 지식 베이스(358)는, 디지털 어시스턴트가 사용자에게 제공하는 정보제공 또는 작업 요청들을 어드레싱하는 크라우드 소싱된 정보를 저장한다. 몇몇 실시예들에서, CS 지식 베이스(358)의 콘텐츠는, 디지털 어시스턴트가 처음에 성공적으로 응답하지 못했지만, 그러나 추후에 크라우드-소싱된 정보를 사용하여 이행되어왔던 이전의 사용자 요청들의 기록들에 의해 조직화된다. CS 지식 베이스(358)는, 추후에 수신된, 동일하거나 유사한 사용자 요청들에 대한 만족스러운 응답들을 제공하기 위해, 디지털 어시스턴트에 대한 참조들 및 정보를 제공한다. 몇몇 실시예들에서, CS 지식 베이스(358)는 자연 언어 프로세서에 의한 검색을 용이하게 하도록 조직화된다. 예를 들어, CS 지식 베이스(358) 내의 정보 및 대답들은 온톨로지(360)에서 노드들에 의해 인덱싱되고, 그 결과 자연 언어 프로세서의 인프라스트럭처는 하나 이상의 관련 도메인들에서 과거의 질문들 및 대답들을 빠르게 찾는 것에 영향을 받을 수 있다.

몇몇 실시예들에서, 트레이닝 모듈(340), 크라우드 소싱 모듈(342) 및 CS 지식 베이스(358)는 디지털 어시스턴트 시스템(326)의 일부이며, 다양한 내부 애플리케이션 인터페이스들을 통하여, 다양한 다른 구성요소들을 액세스할 수 있다. 몇몇 실시예들에서, 트레이닝 모듈(340), 크라우드 소싱 모듈(342), 및 CS 지식 베이스(358) 중 하나 이상, 또는 그의 하나 이상의 서브-구성요소들은 디지털 어시스턴트 시스템(326)으로부터 선택적으로 별도로 제공되며, 디지털 어시스턴트 시스템(326)은 하나 이상의 외부 애플리케이션 프로그래밍 인터페이스(API)들을 통하여, 이러한 모듈들 및 그의 서브-구성요소들 각각을 액세스한다. 몇몇 실시예들에서, 디지털 어시스턴트 시스템(326)의 다양한 양태들, 그 예로서 음성/텍스트, 자연 언어 프로세싱 또는 작업-플로 프로세싱은 디지털 어시스턴트 시스템(326)의 추후 수행을 개선시키기 위해, CS 지식 베이스(358)에 저장된 정보에 기반하여 변경된다.

몇몇 실시예들에서, 디지털 어시스턴트는 사용자 요청들, 및 디지털 어시스턴트와 사용자 간의 상호 작용들에 기반하여, 사용자 디바이스(104)의 사용자를 위해 사용자 로그(370)를 유지시킨다. 사용자 로그는, 정보, 그 예로서 수신된 사용자 요청들, 사용자 요청들을 둘러싼 상황 정보, 사용자에게 제공된 응답들, 및 사용자에 의해 제공된 피드백(예를 들면, 해명 입력들 또는 거절들), 디지털 어시스턴트에 의해 사용된 파라미터들, 모델들, 써드-파티 서비스들, 및 절차들을 선택적으로 저장하여, 응답들 등을 생성 및 제공한다. 몇몇 실시예들에서, 사용자 로그는 다양한 검색 파라미터들, 그 예로서 시간, 위치, 사용자, 인구, 응답 타입, 피드백 타입, 작업 타입, 기간, 실패 타입 등에 의해 검색가능하다.

도 3b는 디지털 어시스턴트(326)의 모든 구성요소들 간의 통신 인터페이스들을 명확하게 도시하지는 않았지만, 도시된 구성요소들이 직접적으로, 또는 하나 이상의 다른 인터페이스들, 그 예로서 애플리케이션 프로그래밍 인터페이스(API)들, 데이터베이스 질의 인터페이스들, 및/또는 다른 인터페이스들, 프로토콜들, 및/또는 통신 채널들을 통하여, 디지털 어시스턴트(326)의 다른 구성요소들과 통신을 할 수 있음은 이해되어야 한다.

도 4a 내지 4c는 몇몇 실시예들에 따른 디지털 어시스턴트를 트레이닝시키는 방법(400)의 플로 다이어그램을 도시한다. 몇몇 실시예들에서, 방법(400)은 하나 이상의 프로세서들 및 메모리(예를 들면, 각자의 DA-클라이언트(102) 또는 DA-서버(106))를 포함한 전자 디바이스에서 수행된다. 몇몇 실시예들에서, 방법(400)은 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되는, 메모리(예를 들면, 비-일시적 컴퓨터 판독가능 저장 매체들)에 저장된 한 세트의 명령어들에 의해 통제된다.

몇몇 실시예들에서, 디지털 어시스턴트와 사용자 간의 대화 중에(402), 전자 디바이스는 사용자로부터 적어도 하나의 음성 입력을 수신한다(404). 디지털 어시스턴트와 사용자 간의 대화 중에, 도 3b는, 예를 들어, 사용자로부터 적어도 하나의 음성 입력을 수신하도록 구성된 I/O 프로세싱 모듈(328)을 도시한다. 음성 입력은, 예를 들어, 액션, 그 예로서 "엄마에게 전화하자"라는 사용자 요청, 또는 정보, 그 예로서 "빅 바신 주립 공원으로 가는 길을 알려줘"라는 사용자 요청을 포함한다.

몇몇 실시예들에서, 대화 중에, 전자 디바이스는 적어도 하나의 음성 입력에 기반하여 초기 의도를 추론한다(406). 도 3b는, 예를 들어, 사용자 요청(예를 들면, "엄마에게 전화해")에 연관된 각자의 토큰 시퀀스를 생성하도록 구성된 음성/텍스트 프로세싱 모듈(330)을 도시한다. 그 다음으로, 자연 언어 프로세서(332)는 음성/텍스트 프로세싱 모듈(330)로부터 각자의 토큰 시퀀스를 얻고, 각자의 토큰 시퀀스를 액션가능한 의도(또는 작업)에 연관시키도록 구성된다. 각자의 토큰 시퀀스를 액션가능한 의도에 연관시키는 이러한 프로세스는 때때로 의도 추론으로 지칭된다. 자연 언어 프로세서(332)는, 각자의 토큰 시퀀스를, 온톨로지(360) 내의 도메인(예를 들면, "전화 통화" 도메인)에 연관된 액션가능한 의도(예를 들면, "전화 통화 개시" 액션가능한 의도)에 연관시킨다. 차후에, 자연 언어 프로세서(332)는 식별된 액션가능한 의도를 나타내기 위해, 구조화된 질의를 생성시킨다. 예를 들어, "전화 통화 개시"에 대한 구조화된 질의는 선택적으로 다음의 파라미터들을 포함한다: {이름}, {전화 번호} 기타 등등. 몇몇 실시예들에서, 자연 언어 프로세서(332)는 사용자 요청으로부터 {이름} 파라미터를 "엄마"로, 그리고 {전화 번호} 파라미터를 사용자 데이터 내의 사용자 주소록에 저장된 엄마의 휴대(cell) 전화 번호로 채운다(348).

몇몇 실시예들에서, 대화 중에, 전자 디바이스는 추론되는 초기 의도를 이행하기 위해, 초기 응답을 제공한다(408). 작업 플로 프로세싱 모듈(336)은 자연 언어 프로세서(332)로부터 구조화된 질의를 얻고, 액션가능한 의도에 연관된 최종 작업을 수행하도록 구성된다. 이에 따라서, 작업 플로 프로세서(336)는 구조화된 질의에 포함된 특정 파라미터들에 따라서 각자의 작업 플로 모델 내의 단계들 및 명령어들을 실행한다. 예를 들어, "전화 통화 개시"의 액션가능한 의도에 대한 작업 플로 모델은 전화 통화 개시에 대한 단계들 및 명령어들을 포함한다. 예를 들어, 구조화된 질의, 그 예로서: {전화 통화 개시, 이름 = 엄마, 전화 번호 = 엄마의 휴대 전화 번호}를 사용하여, 작업 플로 프로세서(336)는: (1) 엄마의 휴대 전화 번호로 엄마에게 전화 통화를 하는 것을 사용자가 원할지를 사용자에게 묻는 것; 및 (2) 엄마의 휴대 전화 번호로 엄마에게 전화를 하기 위해 전화 통화 애플리케이션을 호출하는 것의 단계들을 수행한다.

몇몇 실시예들에서, 대화 중에, 전자 디바이스는 초기 응답을 거절하는, 사용자로부터의 후속 음성 입력을 수신한다(410). 도 3b는, 예를 들어, 초기 응답을 거절하는, 사용자로부터의 후속 음성 입력을 수신하도록 구성된 I/O 프로세싱 모듈(328)을 도시한다. 예를 들어, 사용자는 디지털 어시스턴트의 초기 응답 "당신은 엄마의 휴대 전화로 엄마에게 전화하길 원합니까?"에 대해, "아니. 멈춰"를 말함으로써(예를 들면, 후속 음성 입력), 응답한다.

전자 디바이스는 디지털 어시스턴트와 사용자 간의 대화 중에 교착 상태를 검출하고, 이때 대화는 사용자로부터 적어도 하나의 음성 입력을 포함한다(412). 도 3b는, 예를 들어, 디지털 어시스턴트와 사용자(예를 들면, 적어도 하나의 사용자 음성 입력 포함) 간의 대화 중에 교착 상태를 검출하도록 구성된 트레이닝 모듈(340)을 도시한다. 상기의 예시에 관련하여, 트레이닝 모듈(340)은, 디지털 어시스턴트가 초기 응답을 거절하는, 사용자로부터의 후속 음성 입력(예를 들면, "아니. 멈춰")을 수신할 시에, 대화에서 교착 상태를 검출한다.

몇몇 실시예들에서, 교착 상태는: 적어도 하나의 음성 입력에 대한 초기 응답의 단 하나의 사용자 거절, 이때 초기 응답은 만족스러운 응답과는 다름; 적어도 하나의 음성 입력에 대한, 2개 이상의 해당하는 명료한 응답들의 2개 이상의 사용자 거절들; 및 대화를 종료시키는 사용자 커맨드로 구성된 한 세트 중 하나를 포함한다(414). 몇몇 구현예들에서, 트레이닝 모듈(340)은 상기의 예시에서 논의된 바와 같이, 초기 응답의 단 하나의 사용자 거절 이후에 교착 상태를 검출하도록 구성된다. 몇몇 구현예들에서, 트레이닝 모듈(340)은 적어도 하나의 음성 입력에 대한, 2개 이상의 해당하는 명료한 응답들의 2개 이상의 사용자 거절들 이후에 교착 상태를 검출하도록 구성된다. 예를 들어, 디지털 어시스턴트는, 디지털 어시스턴트로부터의 초기 응답(예를 들면, "당신은 엄마의 휴대 전화로 엄마에게 전화하길 원합니까?")을 거절하는, 사용자로부터의 후속 음성 입력(예를 들면, "아니. 멈춰")을 수신하며, 초기 응답을 거절하는 후속 음성 입력을 수신한 이후에, 디지털 어시스턴트는 사용자에게 "당신은 엄마 직장으로 전화하길 원합니까?"를 묻고, 이때 직장 전화 번호는 휴대 전화 번호와는 다르다. 이러한 예시에서, 디지털 어시스턴트는 제2 응답을 거절하는, 사용자로부터의 제2 후속 음성 입력(예를 들면, "아니, 엄마 직장으로도 전화하고 싶지 않아")을 수신한다. 제2 응답을 거절하는, 사용자로부터의 제2 후속 음성 입력을 수신한 이후에, 디지털 어시스턴트는 교착 상태를 검출한다. 몇몇 구현예들에서, 트레이닝 모듈(340)은, 사용자가 디지털 어시스턴트와의 대화를 끝내는 커맨드를 실행할 시에 교착 상태를 검출하도록 구성된다. 예를 들어, 사용자는 엄마와의 연결로부터 전화 통화를 멈추기 위해 종료 커맨드를 누르거나, 또는 사용자는 전자 디바이스를 잠그거나, 또는 사용자는 대화를 끝내기 위해 홈 커맨드를 누른다. 상술된 예시들에서, 사용자는 사용자 요청에 관련된 작업의 완료를 중단시킨다.

몇몇 실시예들에서, 교착 상태를 검출한 이후에, 전자 디바이스는 러닝 세션을 확립하기 위해 사용자 인증을 얻는다(416). 도 3b는, 예를 들어, 러닝 세션을 확립하기 위해, 사용자로부터 인증을 얻도록 구성된 트레이닝 모듈(340)을 도시한다. 예를 들어, 트레이닝 모듈(340)은, 러닝 세션을 확립하여 교착 상태를 해결하고 사용자 요청에 대한 만족스러운 응답을 만들어 내는 것을 사용자가 원할지를 사용자에게 질의하기 위해 대화 프로세싱 모듈(334)을 호출한다.

교착 상태를 검출하는 것에 응답하여, 전자 디바이스는 사용자로부터의 적어도 하나의 음성 입력에 연관된 러닝 세션을 확보한다(418). 도 3b는, 예를 들어, 사용자 요청에 대한 만족스러운 응답을 만들어 내고, 사용자 요청에 연관된 추후 교착 상태를 방지하기 위해, 교착 상태를 검출한 이후에, 러닝 세션을 확보하도록 구성된 트레이닝 모듈(340)을 도시한다. 몇몇 실시예들에서, 러닝 세션 중에, 트레이닝 모듈(340)은 사용자 요청에 대한 만족스러운 응답을 만들어 내기 위해, 음성/텍스트 프로세싱(음성 인식 포함), 자연 언어 프로세싱(의도 추론 포함) 및/또는 작업-플로 프로세싱(작업 실행 포함)의 하나 이상의 파라미터들을 일시적으로 조정하도록 구성된다. 몇몇 실시예들에서, 러닝 세션 중에, 트레이닝 모듈(340)은 정상 동작들 동안보다 사용자 요청에 대해 더 많고 변화된 응답들을 만들어 내기 위해, 음성/텍스트 프로세싱 및/또는 자연 언어 프로세싱의 하나 이상의 임계치들을 일시적으로 변화시키도록 구성된다.

몇몇 실시예들에서, 러닝 세션 중에, 그리고 사용자로부터 하나 이상의 차후 해명 입력들을 수신하기에 앞서, 전자 디바이스는 사용자로부터의 적어도 하나의 음성 입력에 대한 2개 이상의 대안 응답들을 제공한다(420). 도 3b는, 예를 들어, 사용자 요청에 대한 2개 이상의 대안 응답들을 제공하도록 구성된 트레이닝 모듈(340)을 도시한다. 예를 들어, 사용자가 사용자 요청(예를 들면, "엄마에게 전화해")에 대한 디지털 어시스턴트의 초기 응답(예를 들면, "당신은 엄마의 휴대 전화로 엄마에게 전화하길 원합니까?")을 거절한 이후에, 디지털 어시스턴트는 사용자 요청에 대한 2개의 대안 응답들(예를 들면, "당신은 엄마의 직장 전화로, 또는 스카이프로 엄마에게 전화하길 원합니까?")을 사용자에게 제공한다. 몇몇 구현예들에서, 2개 이상의 대안 응답들은 초기 응답과는 다르다.

몇몇 실시예들에서, 전자 디바이스는 사용자로부터의 적어도 하나의 음성 입력에 대한 2개 이상의 대안 응답들을 생성하기 위해, 각자의 의도 추론 또는 음성 인식 임계치를 감소시킨다(424). 몇몇 실시예들에서, 트레이닝 모듈(340)은, 해당하는 낮은 신뢰 값들로 인해, 자연 언어 프로세서(332)가 처음에 선택하지 않았던 사용자 요청에 대한 2개 이상의 대안 응답들을 제공하도록 구성된다. 사용자가 최고 신뢰 값에 연관된 초기 응답을 거절한 이후에, 트레이닝 모듈(340)은 2개 이상의 대안 응답들을 사용자에게 제공하기 위해, 자연 언어 프로세서(332)에 의해 요구된 임계치 신뢰 레벨을 낮춘다. 예를 들어, 상술된 예시에서 나타난 대안 응답들은 초기 응답용의 85% 신뢰 값에 비해, 65% 신뢰 값 및 40% 신뢰 값 각각을 가진다.

몇몇 실시예들에서, 러닝 세션 중에, 그리고 사용자로부터 하나 이상의 차후 해명 입력들을 수신하기에 앞서, 전자 디바이스는 사용자로부터 하나 이상의 차후 해명 입력들을 끌어내기 위해, 사용자로부터의 적어도 하나의 음성 입력의 적어도 일부를 재표현(rephrase)한다(426). 예를 들어, 사용자 음성 입력은, 액션, 그 예로서 "내 와이프한테 전화걸어(ring)"를 수행하기 위해, 디지털 어시스턴트에 대한 사용자 요청이다. 그러나, 자연 언어 프로세서(332)는 단어 "전화걸기(ring)"로부터 액션가능한 의도를 추론할 수 없어, 교착 상태가 발생된다. 교착 상태를 검출하는 것에 응답하여, 트레이닝 모듈(340)은 사용자로부터 해명 입력을 끌어내기 위해 사용자 요청을 재표현, 그 예로서 "당신의 와이프에게 전화하자(call)는 것입니까?" 하도록 구성된다. 차후에, 이러한 예시에서, 사용자는, "그래, 맞아" 응답을 함으로써, 이것이 사용자의 본래 의도라는 것을 수신확인한다. 그 다음으로, 트레이닝 모듈(340)은 단어 "전화걸기(ring)"를 "전화하기(call)" 속성 노드에 관련시키기 위해, 온톨로지(360) 내에서 노드들 간의 관계를 변화시킨다. 예를 들어, "통화 개시" 액션가능한 노드 하에, 트레이닝 모듈(340)은 "전화걸기"를 동의어로서, 또는 "전화하기" 속성 노드에 대한 서브-속성 노드로서 추가한다.

몇몇 실시예들에서, 초기 의도는 최적의 추측이며, 러닝 세션 중에, 전자 디바이스는: 사용자로부터 하나 이상의 차후 해명 입력들을 수신하기에 앞서, 적어도 하나의 음성 입력에 기반하여 제2 의도를 추론하고, 이때 제2 의도는 제2 최적의 추측이며, 제2 의도는 초기 의도와는 다르며; 추론되는 제2 의도를 이행하기 위해 제2 응답을 제공한다(428). 예를 들어, 사용자 요청(예를 들면, "엄마에게 전화해")에 응답하여, 디지털 어시스턴트는 사용자에게 "당신은 엄마의 휴대 전화로 엄마에게 전화하길 원합니까?"라고 물음으로써, 사용자에게 초기 의도의 최적의 추측을 제공한다. 몇몇 구현예들에서, 자연 언어 프로세서(332)는 처음에 최적의 추측을 선택하고, 이때 온톨로지는 최적의 추측에 연관된 최고 신뢰 값을 나타낸다. 초기 응답에 응답하여, 사용자는 "아니. 멈춰"라고 답하며, 트레이닝 모듈(340)은 대화에서 교착 상태를 검출한다. 차후에, 러닝 세션 중에, 트레이닝 모듈(340)은 사용자에게 제2 최적의 추측, 그 예로서 "당신은 엄마 직장으로 전화하길 원합니까?"를 제공한다. 몇몇 구현예들에서, 자연 언어 프로세서(332)는 차후에 제2 최적의 추측을 선택하고, 이때 온톨로지는 제2 최적의 추측에 연관된 제2 최고 신뢰 값을 나타낸다.

러닝 세션 중에, 전자 디바이스들은 사용자로부터 하나 이상의 차후 해명 입력들을 수신한다(430). 몇몇 실시예들에서, 해명 입력은 사용자로부터의 사용자 요청 또는 초기 음성 입력을 반복하는 사용자 음성 입력, 강세가 변화된, 사용자로부터의 사용자 요청 또는 초기 음성 입력을 반복하는 사용자 음성 입력, 디지털 어시스턴트가 잘못해석하거나 잘못식별한 단어의 철자를 제공하는 사용자 음성 입력, 디지털 어시스턴트가 제공한 2개 이상의 대안 응답들 중 대안 응답을 수락하는 사용자 음성 입력, 디지털 어시스턴트가 제공한 재표현된 사용자 요청을 확인하는 사용자 음성 입력, 디지털 어시스턴트가 제공한 제2 최적의 추측을 수락하는 사용자 음성 입력, 초기 사용자 요청에 대해 더 상세하게 설명하거나, 또는 초기 사용자 요청을 명확하게 하는 사용자 음성 입력, 기타 등등을 포함한다. 예를 들어, 액션, 그 예로서 "톰 요크에게 메시지를 보내"를 수행하라는 사용자 요청이 있고, 디지털 어시스턴트가 처음에 "그러한 이름은 주소록에 없습니다"를 말함으로써 응답한 이후에, 사용자는 "톰 요크에게 메시지를 보내"를 말함으로써, 그의 초기 요청을 반복한다. 또 다른 예시에서, 액션, 그 예로서 "필립 기스(Phillip Giese)에게 전화하자"(기-즈(giz-ay) 발음)를 수행하라는 사용자 요청이 있고, 디지털 어시스턴트가 처음에 "그러한 이름은 주소록에 없습니다"를 말함으로써 응답한 이후에, 사용자는 연락처 사람 성의 철자를 제공함으로써(예를 들면, "그 안에 있는 것을 안다. 필립 기-즈에게 전화하자. 지-아이-이-에스-이(G-I-E-S-E)"), 그의 요청을 명확하게 한다. 또 다른 예시에서, 정보, 그 예로서 "빅 바신 주립 공원으로 가는 길을 알려줘"라는 사용자 요청이 있고, 디지털 어시스턴트가 처음에 사용자 데이터(348)에 저장된 사용자의 홈 위치로부터 빅 바신 주립 공원으로 가는 길을 디스플레잉함으로써 응답한 이후에, 사용자는 "아니. 내 현재 위치로부터 빅 바신 주립 공원으로 가는 길을 알려줘"를 말함으로써 그의 초기 요청을 명확하게 한다. 또 다른 예시에서, 액션, 그 예로서 "내 상태를 '라디오헤드 콘서트가 오늘이구나!'로 설정하라고 페이스스페이스에 알려줘"를 수행하라는 사용자 요청이 있고, 디지털 어시스턴트가 처음에 사용자에게 "당신은 페이스스페이스에 '라디오헤드 콘서트가 오늘이구나'라는 메시지를 보내길 원합니까 ?"라고 물음으로써 응답한 이후에, 사용자는 "아니, 나는 누구한테도 메시지를 보내는 것을 원치 않아. 내 페이스스페이스 어플에서 내 상태를 '라디오헤드 콘서트가 오늘이구나!'로 설정해줘"를 말함으로써 그의 초기 요청을 명확하게 한다. 상술된 예시들 각각에서, 사용자로부터의 후속 음성 입력은 해명 입력이다.

몇몇 실시예들에서, 하나 이상의 차후 해명 입력들은 하나 이상의 사용자 텍스트 입력들을 포함한다(432). 몇몇 실시예들에서, 사용자로부터의 해명 입력은 디지털 어시스턴트가 잘못해석하거나 잘못식별한 단어의 철자를 제공하는 사용자 텍스트 입력, 또는 초기 목소리의 사용자 요청을 반복시키는 사용자 텍스트 입력을 포함한다. 예를 들어, 사용자 요청, 그 예로서 "가장 가까운 이탈리아 레스토랑을 찾아줘"가 있고, 디지털 어시스턴트가 처음에 "근처에서 이탈리아 신발을 파는 가게 3 개를 찾았습니다"를 말함으로써 응답한 이후에, 사용자는 디바이스(104)의 터치-스크린 상에 디스플레잉된 키보드를 통해 "이탈리아 음식"을 타이핑한다. 또 다른 예시에서, 액션, 그 예로서 "지미 호파에게 전화하자(Call Jimmy Hoffa)"를 수행하라는 사용자 요청이 있고, 디지털 어시스턴트가 처음에 사용자에게 "지미 호포드(Jimmy Hofford)에게 전화하길 원합니까?"라고 물음으로써 응답한 이후에, 사용자는 디바이스(104)의 터치-스크린 상에 디스플레잉된 키보드를 통해 "C-A-L-L H-O-F-F-A"를 타이핑한다.

몇몇 실시예들에서, 하나 이상의 차후 해명 입력들은 적어도 하나의 음성 입력의 정의 또는 발음을 포함한다(434). 예를 들어, 사용자로부터의 해명 입력은 디지털 어시스턴트에 의해 잘못해석되거나 잘못식별된 단어를 정의한 사용자 음성 입력, 또는 디지털 어시스턴트에 의해 잘못해석되거나 잘못식별된 단어의 정확한 발음에 강세를 두는 사용자 음성 입력을 포함한다. 예를 들어, 정보, 그 예로서 "가장 인근에 있는 돼지고기 상점(Charcuterie store)을 찾아줘"에 대한 사용자 요청이 있고, 디지털 어시스턴트가 처음에 "그 단어의 의미를 모르겠습니다"라고 말함으로써 응답한 이후에, 사용자는 돼지고기 집에 대한 정의를 제공한다. 예를 들어, 정보, 그 예로서 "컬럼비아(Columbia)의 내일 예상 온도를 알려줘"에 대한 사용자 요청이 있고, 디지털 어시스턴트가 처음에 콜럼비아(Colombia), 보고타에 대한 내일의 일기 예보를 디스플레잉함으로써 응답한 이후에, 사용자는 컬럼비아의 발음에 강세를 둠으로써(예를 들면, "아니. 컬-럼-비이-아 사우스 캐롤라이나(Co-LUM-bee-a South Carolina)에 대한 내일 온도를 원한다고"), 그의 요청을 명확하게 한다.

러닝 세션 중에, 전자 디바이스는 하나 이상의 차후 해명 입력들에 적어도 부분적으로 기반하여, 음성 입력에 대한 만족스러운 응답을 만들어 내기 위해, 적어도 하나의 음성 입력에 연관된 의도 추론 및 작업 실행 중 적어도 하나를 조정한다(436). 몇몇 실시예들에서, 트레이닝 모듈(340)은, 사용자에 의해 제공된 하나 이상의 해명 입력들을 적어도 부분적으로 기반하여, 만족스러운 응답을 만들어 내기 위해, 음성/텍스트 프로세싱(예를 들면, 음성 인식에 사용된 언어 모델들, 음향 모델들 또는 어휘), 자연 언어 프로세싱(예를 들면, 의도 추론에 사용된 문법 또는 온톨로지) 및 작업-플로 프로세싱(예를 들면, 작업 실행에 사용된 작업 플로 모델들) 중 적어도 하나를 조정하도록 구성된다. 예를 들어, 트레이닝 모듈(340)은 사용자에 의한 해명 입력 이후에, 전화 통화 개시에 연관된 작업 플로 모델(예를 들면, 엄마의 휴대 전화 번호 대신에 엄마의 직장으로 전화하기 위해 작업 플로를 변화시키는 것), 또는 메시지 전송에 연관된 작업 플로(예를 들면, 사용자가 페이스스페이스에서 상태를 설정하려고 요청할 시에, 페이스스페이스로 메시지를 전송하는 대신에 페이스스페이스에서 상태를 설정하는 것)를 조정하도록 구성된다. 또 다른 예시에서, 트레이닝 모듈(340)은 온톨로지(360)에서 속성 노드에 동의어를 추가하거나(예를 들면, "전화하기" 동의어로서 "전화걸기" 추가), 온톨로지(360)에서 노드들 간의 관계를 조정하거나, 또는 온톨로지(360)에서 사용자 요청에 연관된 도메인을 변화시킴으로써(예를 들면, 음성 입력 "테이블을 찾아줘"를 "레스토랑 예약" 도메인 대신, "가구" 도메인에 연관시키는 것), 자연 언어 프로세서(332)의 파라미터를 조정하도록 구성된다. 또 다른 예시에서, 트레이닝 모듈(340)은 음성 인식에 연관된 언어 또는 음성 모델을 조정하도록 구성된다(예를 들면, "컬럼비아"를 "껄-럼-비이-아(ko-LOM-bee-a)" 대신, "컬-럼-비이-아(co-LUM-bee-a)"에 연관시키는 것).

몇몇 실시예들에서, 적어도 하나의 음성 입력에 대한 만족스러운 응답은 사용자에 의한 어떠한 추가적인 거절도 끌어내지 않는다(438). 도 3b는, 예를 들어, 응답이 사용자로부터 차후 거절을 끌어내지 않을 시에, 사용자 요청에 대한 응답이 만족스러운 응답이라고 결정하도록 구성된 트레이닝 모듈(340)을 도시한다. 예를 들어, 정보, 그 예로서 "인근의 인도 레스토랑을 찾아줘"에 대한 사용자 요청에 응답하여 디지털 어시스턴트가 인근의 인도 레스토랑들의 리스트를 디스플레잉한 이후에, 사용자는 리스트에서 레스토랑들 중 하나를 선택하여 선택된 레스토랑의 리뷰 글(review)을 읽으며, 사용자는 리스트 내의 레스토랑을 선택하여 전화를 하고, 그리고/또는 사용자는 (곧 바로 또는 추후 언젠가에) 리스트 내의 레스토랑을 간다. 이러한 예시에서, 트레이닝 모듈(340)은 인도 레스토랑들의 디스플레잉된 리스트가 사용자 요청에 대한 만족스러운 응답이라고 결정한다. 또 다른 예시에서, 액션, 그 예로서 "금주 토요일 밤에 라면 식당(place)에 2 명을 예약해줘"라는 사용자 요청에 응답하여, 디지털 어시스턴트는 8:00 PM 토요일에 사용자의 홈 인근의 라면 레스토랑에 2 명을 예약한 이후에, 사용자는 예약을 거부하지 않고, 그리고/또는 사용자는 토요일 밤에 라면 레스토랑을 간다. 이러한 예시에서, 트레이닝 모듈(340)은 레스토랑 예약이 사용자 요청에 대한 만족스러운 응답이라고 결정한다.

러닝 세션 중에, 전자 디바이스는 적어도 하나의 음성 입력의 추후 발생들을 프로세싱하기 위해, 만족스러운 응답을 적어도 하나의 음성 입력에 연관시킨다(440). 도 3b는, 예를 들어, 사용자 요청 또는 음성 입력의 추후 발생들이 교착 상태 대신에 만족스러운 응답을 만들어 내기 위해, 음성/텍스트 프로세싱, 자연 언어 프로세싱 및 작업-플로 프로세싱 중 적어도 하나를 영구적으로(또는 반-영구적으로) 조정함으로써, 만족스러운 응답을 사용자 요청(예를 들면, 적어도 하나의 음성 입력 포함)에 연관시키도록 구성된 트레이닝 모듈(340)을 도시한다. 이러한 방식으로, 적어도 하나의 음성 입력에 대한 각자의 초기 응답은 만족스러운 응답으로 대체된다. 몇몇 실시예들에서, 사용자는 디지털 어시스턴트와 대화를 개시하거나, 또는 사용자의 디지털 어시스턴트에 연관된 웹사이트를 방문함으로써, 디지털 어시스턴트에 의해 이루어진 조정들을 변경 또는 복원(revert)할 수 있다.

몇몇 실시예들에서, 만족스러운 응답을 적어도 하나의 음성 입력에 연관시키는 것은 적어도 하나의 음성 입력에 대한 각자의 초기 응답을, 사용자들의 커뮤니티 내의 한 세트의 사용자들에 대한 만족스러운 응답으로 대체하는 것을 포함한다(442). 몇몇 실시예들에서, DA-서버(106)는 복수의 DA-클라이언트들(102)에 의해 공유된 세계적(또는 지역적 또는 문화적 등) 음성/텍스트 프로세싱 모델들(예를 들면, 음성 인식에 사용된 언어 모델들, 음향 모델들 및 어휘), 자연 언어 프로세싱 데이터(예를 들면, 의도 추론에 사용된 문법 및 하나 이상의 온톨로지들) 또는 작업-플로 프로세싱 모델들(예를 들면, 작업 실행에 사용된 작업 플로들)을 저장한다. 몇몇 실시예들에서, 사용자 요청에 대한 만족스러운 응답을 만들어 내는 것에 응답하여, 트레이닝 모듈(340)은 음성 입력에 대한 만족스러운 응답을 DA-서버(106)에 제공한다. 그 다음으로, DA-서버(106)는 음성 입력에 대한 초기 응답을, 트레이닝 모듈(340)에 의해 만들어진 음성 입력에 대한 만족스러운 응답으로 대체하기 위하여, 세계적으로(또는 지역적으로) 공유된 음성/텍스트 프로세싱 모델들, 자연 언어 프로세싱 데이터 또는 작업-플로 프로세싱 모델들 중 적어도 하나를 조정한다. 몇몇 실시예들에서, DA-서버(106)는 복수의 온톨로지들을 저장한다. 예를 들어, DA-서버(106)는 홈-도시를 공동으로 가진 사용자들의 커뮤니티 내의 한 세트의 사용자들에 의해 공유된 도시-전체 온톨로지를 저장한다. 이러한 예시에서, 사용자의 만족스러운 응답은 사용자에 연관된 도시-전체 온톨로지를 변화시키기 위해 사용된다.

몇몇 실시예들에서, 전자 디바이스는: 적어도 하나의 음성 입력에 연관된 사용자들의 커뮤니티 내의 한 세트의 사용자들로부터 각자의 해명 입력들을 수신하며(444); 사용자들의 커뮤니티 내의 한 세트의 사용자들로부터의 각자의 해명 입력들에 적어도 부분적으로 기반하여, 러닝 세션 중에 사용자에 대한 적어도 음성 입력에 대하여 만족스러운 응답을 만들어 내기 위해, 적어도 하나의 음성 입력에 연관된 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나를 조정한다(446). 도 3b는, 예를 들어, 다른 DA-클라이언트들(102)로부터: 각자의 사용자 요청(예를 들면, 적어도 하나의 음성 입력 포함)에 연관된 해명 입력들 및/또는 만족스러운 응답들(때때로, 크라우드 소싱된 피드백 정보라 함)을 얻도록 구성된 크라우드 소싱 모듈(342)을 도시한다. 몇몇 구현예들에서, 동작 환경(100) 내에서 모든 DA-클라이언트들(102)은 사용자들의 커뮤니티에서 어셈블링(assembling)된다. 몇몇 실시예들에서, 크라우드 소싱 모듈(342)은 사용자들의 커뮤니티 내의 한 세트의 사용자들로부터 크라우드 소싱된 피드백 정보를 얻는다. 예를 들어, 크라우드 소싱 모듈(342)은 사용자와의 공통점, 그 예로서 사용자의 홈-도시(예를 들면, 서니베일), 사용자의 홈 도시권(예를 들면, 샌프란시스코 베이 에어리어), 사용자의 홈-주(예를 들면, 캘리포니아), 사용자의 홈 지역(예를 들면, 웨스트 코스트), 사용자의 국가/나라(예를 들면, 미국), 사용자의 직업(예를 들면, 엔지니어), 사용자의 모교(예를 들면, 클렘슨 대학), 사용자의 민족성(예를 들면, 위구르), 및 다른 그러한 공통점들을 공유하는, 사용자들의 커뮤니티 내의 하나 이상의 세트들의 사용자들로부터 크라우드 소싱된 피드백 정보를 얻는다. 도 3b는, 예를 들어, 크라우드 소싱 모듈(342)에 의해 얻어진 크라우드 소싱된 피드백 정보를 저장하도록 구성된 CS 지식 베이스(358)를 도시한다. 트레이닝 모듈(340)은 음성/텍스트 프로세싱(음성 인식 포함), 자연 언어 프로세싱(의도 추론 포함) 및 작업-플로 프로세싱(작업 실행 포함) 중 적어도 하나를 조정하여, 각자의 사용자 요청에 대한 만족스러운 응답을 만들어 내기 위해, 각자의 사용자 요청에 연관된 크라우드 소싱된 피드백 정보를 활용하도록 구성된다.

도 4a 내지 4c에서의 동작들이 기술된 특정 순서는 단지 예시적일 뿐, 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도된 것인 아님을 이해해야 한다. 기술 분야의 통상의 기술자는 본 명세서에 기술된 동작들의 순서를 바꾸기 위해 다양한 방식들을 인식할 수 있다.

도 5는 몇몇 실시예들에 따른 트레이닝 모듈(340)의 블록 다이어그램을 예시한다. 트레이닝 모듈(340)은 패턴 식별 모듈(510), 가설 생성 모듈(512), 모니터링 모듈(514), 파라미터 변화 모듈(516), 분석(analytics) 모듈(518), 및 일반화 모듈(520)을 포함한다. 패턴 식별 모듈(514)은 각자의 작업의 이전 완료에 연관된 복수의 이벤트들 각각으로부터 수집된 피드백 정보에 기반하여, 각자의 작업의 완료에 대한 성공 또는 실패의 패턴을 식별하도록 구성된다. 몇몇 실시예들에서, 복수의 이벤트들로부터 수집된 피드백 정보는 사용자 로그(370)에 저장된다. 몇몇 실시예들에서, 패턴 식별 모듈(510)은 사용자 로그(370) 내의 피드백 정보, 및 각자의 작업의 완료에 연관된 사용자들의 커뮤니티 내의 적어도 한 세트의 DA-클라이언트들(102)로부터 크라우드 소싱된 피드백 정보에 기반하여, 각자의 작업의 완료에 대한 성공 또는 실패의 패턴을 식별하도록 더 구성된다.

가설 생성 모듈(512)은 패턴 식별 모듈(510)에 의해 식별된 성공 또는 실패의 패턴에 대한 원인으로서, 음성/텍스트 프로세싱(음성 인식 포함), 자연 언어 프로세싱(의도 추론 포함) 및 작업-플로 프로세싱(작업 실행 포함) 중 적어도 하나에 연관된 파라미터에 관한 가설을 생성하도록 구성된다. 모니터링 모듈(514)은 사용자에 의한 차후 요청들을 식별하여 각자의 작업, 또는 각자의 작업과 유사한 작업을 완료하기 위해, 음성/텍스트 프로세싱 및 자연 언어 프로세싱을 모니터링하도록 구성된다. 파라미터 변화 모듈(516)은 가설 생성 모듈(512)에 의해 생성된 가설을 테스트하기 위해, 음성/텍스트 프로세싱, 자연 언어 프로세싱 또는 작업-플로 프로세싱 중 적어도 하나를 일시적으로 조정하도록 구성된다. 분석 모듈(518)은 사용자 로그(370)에 저장된 각자의 작업의 차후 완료들로부터 수집된 피드백 정보에 기반하여, 가설 생성 모듈(512)에 의해 생성된 가설을 채택 또는 거절하도록 구성된다. 선택적으로, 일반화 모듈(520)은, 트레이닝 모듈(340)에 포함된 경우, 사용자들의 커뮤니티 내의 하나 이상의 세트들의 DA-클라이언트들(102)에 대한 가설을 테스트하기 위해, 가설을 DA 서버(106)에 제공하도록 구성된다. 몇몇 실시예들에서, 사용자들의 커뮤니티 내의 하나 이상의 세트들의 DA-클라이언트들(102 각각은 사용자와의 공통점(예를 들면, 위치, 지역, 문화, 악센트, 사투리 등)을 공유한다.

도 5가 도 3b에서의 디지털 어시스턴트(326)의 모든 구성요소들 간의 통신 인터페이스들을 명확하게 도시하지 않았지만, 도 5에 도시된 구성요소들은 직접적으로, 또는 하나 이상의 다른 인터페이스들, 그 예로서 애플리케이션 프로그래밍 인터페이스(API)들, 데이터베이스 질의 인터페이스들, 및/또는 다른 인터페이스들, 프로토콜들, 및/또는 통신 채널들을 통하여, 도 3b에서의 디지털 어시스턴트(326)의 다른 구성요소들과 통신할 수 있음은 이해되어야 한다.

도 6a 내지 6c는 몇몇 실시예들에 따른 디지털 어시스턴트를 트레이닝시키는 방법(600)의 플로 다이어그램을 예시한다. 몇몇 실시예들에서, 방법(600)은 하나 이상의 프로세서들 및 메모리를 포함한 전자 디바이스(예를 들면, 각자의 DA-클라이언트(102) 또는 DA-서버(106))에서 수행된다. 몇몇 실시예들에서, 방법(600)은 도 5에서 예시된 디지털 어시스턴트(326)에서 수행된다. 몇몇 실시예들에서, 방법(600)은 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되는, 메모리(예를 들면, 비-일시적 컴퓨터 판독가능 저장 매체들)에 저장된 한 세트의 명령어들에 의해 통제된다.

전자 디바이스는 작업의 하나 이상의 이전 완료들에 연관된 피드백 정보를 얻는다(602). 액션(예를 들면, 드라이 클리닝을 가져오기 위해, 연락처 사람과 통화를 하거나, 또는 메시지를 연락처 사람에게 전송하거나, 또는 리마인더를 설정하는 것) 또는 정보(예를 들면, 시너고그(synagogue) 길들을 디스플레잉하거나, 또는 남성복 매장들의 리스트를 디스플레잉함)에 대한 사용자 요청(때때로 작업이라고도 함)을 완료한 이후에, 디지털 어시스턴트(326)는 작업의 완료에 연관된 피드백 정보를 수집하여, 피드백 정보를 사용자 로그(370)에 저장하도록 구성된다. 디지털 어시스턴트(326)는 작업의 완료에 관한 외재적(explicit) 및 내재적(implicit) 피드백 정보 둘 다를 수집한다. 외재적 피드백 정보는, 예를 들어, 한 세트의 디스플레잉된 길들을 거절하는 사용자 음성 입력, 디지털 어시스턴트와의 대화를 끝내는 사용자 커맨드(예를 들면, 홈 버튼을 누르는 것, 디바이스를 턴 오프시키는 것, 또는 디바이스를 잠그는 것), 디지털 어시스턴트에 의한 제안을 긍정하는 사용자 음성 입력, 기타 등등을 포함한다. 내재적 피드백 정보는, 예를 들어, 사용자가 디지털 어시스턴트에 의해 제안된 레스토랑에 물리적으로 가는 것, 사용자가 디지털 어시스턴트에 의해 제안된 길들을 따라가는 것, 사용자가 디지털 어시스턴트에 의해 제안된 레스토랑에 물리적으로 가지 않는 것, 기타 등등을 포함한다. 디지털 어시스턴트(326)는 사용자로부터의 음성 입력, 사용자로부터의 텍스트 입력, 사용자 액션들, 상황 정보(예를 들면, 사용자 디바이스의 하드웨어 또는 소프트웨어 상태에 부속하는 정보), 기타 등등의 형태를 한 피드백 정보를 수집한다.

몇몇 실시예들에서, 피드백 정보는 작업의 완료에 연관된 응답의 사용자 거절을 포함한다(604). 예를 들어, 정보, 그 예로서 "이탈리아 음식을 찾아줘"에 대한 사용자 요청이 있고, 디지털 어시스턴트가 인근의 이탈리아 레스토랑들을 디스플레잉함으로써 응답한 이후에, 사용자는, "아니. 이탈리아 젤라토를 원해"를 말함으로써 디스플레잉된 결과물들을 거절한다. 또는, 또 다른 예시에서, 액션, 그 예로서 "크리스티나에게 전화하자"를 수행하기 위한 사용자 요청이 있고, 디지털 어시스턴트가 크리스티나의 직장 전화 번호로 크리스티나와의 통화를 제공함으로써 응답한 이후에, 사용자는 "아니. 멈춰. 크리스티나의 휴대 전화 번호로 크리스티나에게 전화하자"를 말함으로써 응답한다.

몇몇 실시예들에서, 피드백 정보는 작업의 완료 다음에 사용자 위치를 포함한다(606). 예를 들어, 정보, 그 예로서 "토요일 밤에 샌프란시스코에 있는 콘서트를 찾아줘"에 대한 사용자 요청이 있고, 디지털 어시스턴트가 금주 토요일 밤에 있는 샌프란시스코의 콘서트들의 리스트(인디펜던트(The Independent)에서의 레스 댄 제이크 콘서트(Less than Jake concert)를 포함)를 디스플레잉함으로써 응답한 이후에, 디지털 어시스턴트는 사용자 디바이스(104)를 통하여 사용자의 GPS 좌표들을 토요일 밤 샌프란시스코 내의 인디펜던트에서 검출한다.

몇몇 실시예들에서, 피드백 정보는 완료된 작업 인근의 위치에서 소모되는 시간 양(length of time)을 포함한다(608). 예를 들어, 정보, 그 예로서 "인근의 박물관을 찾아줘"에 대한 사용자 요청이 있고, 디지털 어시스턴트가 산 호세 내의 혁신 기술 박물관(Tech Museum of Innovation) 및 산 호세 내의 로시크루시안 이집트 박물관(Rosicrucian Egyptian Museum)을 포함하여 사용자의 홈 위치에 가까운 박물관들의 리스트를 디스플레잉함으로써 응답한 이후에, 디지털 어시스턴트는, 10분 거리에 있는 기술 박물관, 및 120분 거리에 있는 로시크루시안 이집트 박물관에서, 사용자 디바이스(104)를 통해 사용자의 GPS 좌표들을 검출한다. 몇몇 실시예들에서, 완료된 작업에 연관된 위치에서, 사용자가 소모한 시간량은 완료된 이벤트에 대응하는 인디케이터 값(indicator value)에 영향을 준다(인디케이터 값들은 이하에서 상세하게 논의됨).

몇몇 실시예들에서, 피드백 정보는 작업의 완료 다음에 사용자 액션을 포함한다(610). 예를 들어, 정보, 그 예로서 "오늘의 칼트레인 스케줄을 알려달라"에 대한 사용자 요청이 있고, 디지털 어시스턴트가 칼트레인에 대한 오늘의 북행 시간표를 디스플레잉함으로써 응답한 이후에, 디지털 어시스턴트는 서니베일과 팔로 알토 간에서 북행 열차에 탑승한 사용자를, 사용자 디바이스(104)에 의해 검출된 음향 환경, GPS 좌표들, 네트워크 신호들 등을 통하여 검출한다.

전자 디바이스는 작업을 완료하기 위해 이전에 사용된 음성 인식, 의도 추론 또는 작업 실행의 양태에 연관된 성공 또는 실패의 패턴을 식별한다(612). 도 5는, 예를 들어, 사용자 로그(370)에 저장된 피드백 정보에 기반하여, 작업을 완료하기 위해 이전에 사용된 음성 인식, 의도 추론 및 작업 실행의 양태에 연관된 성공 또는 실패의 패턴을 식별하도록 구성된 패턴 식별 모듈(510)을 도시한다. 사용자 로그(370)에 포함된 피드백 정보는 각자의 작업의 이전 완료들에 연관된 성공 또는 실패의 복수의 인디케이터들을 포함한다. 몇몇 실시예들에서, 성공 또는 실패의 인디케이터들 각각은 1 내지 0의 인디케이터 값에 연관되고, 이때 1에 가까운 인디케이터 값은 성공의 강한 인디케이터를 뜻하고, 0에 가까운 인디케이터 값은 실패의 강한 인디케이터를 뜻한다. 예를 들어, 사용자 로그(370)는 "레스토랑들을 찾아줘"라는 사용자 요청(또는 작업)에 관련된 피드백 정보의 풀(pool)을 저장하고, 이때 피드백 정보의 각각의 진입은 "레스토랑들을 찾아줘"라는 액션가능한 의도 노드가 트리거링되었던 이벤트에 관련된다. 이러한 예시에서, 패턴 식별 모듈(510)은, 사용자 요청에 관련된, 성공의 인디케이터를 갖춘 3 개의 피드백 정보 진입들(예를 들면, 0.5보다 큰 인디케이터 값), 및 실패의 인디케이터를 갖춘 5 개의 피드백 정보 진입들(예를 들면, 0.5 이하의 인디케이터 값)을 사용자 로그(370)가 포함한다는 점으로 인해, 각자의 사용자 요청, 그 예로서 "그리스 레스토랑을 찾아줘"에 관련된 실패의 패턴을 식별한다. 인디케이터 값들과 관련하여, 예를 들어, 사용자가 사용자의 요청(예를 들면, "구두 수선공(cobbler)을 찾아줘")에 응답하여 디스플레잉된 구두 수선공들의 리스트 상의 구두 수선공에게 가는 경우, 피드백 정보 진입에 연관된 인디케이터 값은, 사용자가 디스플레잉된 구두 수선공들의 리스트 중 5분 내에 있는 구두 수선공에게 가는 경우에는 0.95일 것이거나, 또는 사용자가 구두 수선공들의 리스트가 디스플레잉된 지 2주 후에 구두 수선공에게 가는 경우에는 0.55일 것이다.

몇몇 실시예들에서, 성공 또는 실패의 패턴을 식별하는 것은 러닝 기회를 검출하는 것을 포함하고, 이때 러닝 기회를 검출하는 것은 사용자 로그에서 작업의 완료의 하나 이상의 이전 실패들을 식별하는 것을 포함한다(614). 도 5는, 예를 들어, 각자의 작업에 연관된 실패의 하나 이상의 이전 인디케이터들로부터 사용자 로그(370)에서 실패의 패턴을 식별함으로써, 러닝 기회(즉, 음성 인식, 의도 추론 또는 작업 실행 중 적어도 하나를 개선시키기 위한 기회)를 검출하도록 구성된 패턴 식별 모듈(510)을 도시한다. 몇몇 실시예들에서, 패턴 식별 모듈(510)은, 각자의 작업에 대하여 실패의 인디케이터들의 정규 합산(normalized sum)이 성공의 인디케이터들의 정규 합산보다 크거나, 또는 각자의 작업에 대하여 성공의 인디케이터들에 대한 실패의 인디케이터들의 비율이 1 이상일 시에, 러닝 기회를 식별한다.

몇몇 실시예들에서, 전자 디바이스는 사용자로부터 차후 해명을 끌어내기 위해, 작업의 완료의 하나 이상의 이전 실패들을 사용자에게 제공한다(616). 예를 들어, 패턴 식별 모듈(510)이 각자의 작업에 관련된 러닝 기회를 식별한 이후에, 디지털 어시스턴트가 각자의 작업을 완료하기 위해 이전 실패들 중 하나 이상을 사용자에게 제공하여, 차후 해명을 끌어냄으로써, 각자의 작업에 관련된 음성 인식, 의도 추론 또는 작업 실행 중 적어도 하나를 개선시킨다. 예를 들어, 패턴 식별 모듈(510)은 정보, 그 예로서 "바를 찾아줘"에 대한 사용자 요청(때때로, 작업이라고도 함)에 관련된 러닝 기회를 식별하는데, 이는 이러한 작업에 관련된 사용자 로그(370)에서 이벤트들의 풀이 실패의 패턴을 나타내기 때문이다. 이러한 예시에서, 디지털 어시스턴트는 각자의 작업에 관련된, 사용자로부터의 차후 해명 응답을 끌어내기 위하여, "당신이 '바를 찾아줘'라고 말할 시에 동네(dive) 바들, 댄스 클럽들 또는 라운지 바들을 찾길 원하는 것입니까 ?"라고 사용자에게 물어 러닝 기회를 잡음으로써, 각자의 작업에 관련된 음성 인식, 의도 추론 또는 작업 실행 중 적어도 하나를 개선시킨다.

몇몇 실시예들에서, 디지털 어시스턴트는, 사용자가 트레이닝 모드를 택하거나(예를 들면, 사용자가 "우리 몇몇 착오를 정리하자"라고 말하는 것), 또는 사용자 자신이 문제가 있는 화자(speaker)라고 자신을 식별하거나, 또는 사용자가 한가하다는 것(idle)을 디지털 어시스턴트가 검출할 시에(예를 들면, 사용자가 디지털 어시스턴트와 농담을 간단하게 주고 받는 경우, 디지털 어시스턴트는 사용자에게 트레이닝 모드로 들어가길 원하는지를 물어봄), 러닝 기회를 적극적으로 잡도록 구성된다.

전자 디바이스는 성공 또는 실패의 패턴에 대한 원인으로서, 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터에 관한 가설을 생성한다(618). 도 5는, 예를 들어, 패턴 식별 모듈(510)에 의해 식별된 성공 또는 실패의 패턴에 대한 원인으로서, 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터에 관한 가설을 생성하도록 구성된 가설 생성 모듈(512)을 도시한다. 예를 들어, 패턴 식별 모듈(510)은 사용자의 주소록 내의 연락처 사람과의 통화에 관련된 작업(예를 들면, "필립 기스에게 전화하자")의 완료에 관하여 실패의 패턴을 식별하며, 그 다음으로, 가설 생성 모듈(512)은 실패의 패턴에 대한 원인으로서, 음성 인식에 사용된 파라미터에 관한 가설을 생성한다(예를 들면, 연락처 사람의 성에 대한 음성 또는 언어 모델은 변경되어야 함). 또 다른 예시에서, 패턴 식별 모듈(510)은 온톨로지(360)에서 발견되지 않은 동사에 관련된 작업의 완료(예를 들면, "내 와이프에게 전화걸어")에 관하여 실패의 패턴을 식별하며, 그 다음으로, 가설 생성 모듈(512)은 실패의 패턴에 대한 원인으로서, 의도 추론에 사용된 파라미터에 관한 가설을 생성한다(예를 들면, "전화걸기"는 온톨로지(360) 내에서 "전화하기"에 대한 동의어 또는 서브-속성 노드로서 추가되어야 함). 몇몇 실시예들에서, 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터에 관한 가설은, 음성/텍스트 프로세싱에 대한 언어 또는 음향 모델을 조정하는 것, 음성/텍스트 프로세싱에 대한 어휘에 단어를 추가하는 것, 자연 언어 프로세싱에 대한 온톨로지(360) 내의 노드들 또는 도메인들 간의 관계를 변화시키는 것, 자연 언어 프로세싱에 대한 온톨로지(360)에 속성 노드들을 추가하는 것, 또는 작업 플로 프로세싱에 대한 작업 플로 모델을 변화시키는 것이 패턴 식별 모듈(510)에 의해 식별된 성공 또는 실패의 패턴을 보다 개선시킬 수 있는 가설을 포함한다.

전자 디바이스는 작업의 완료에 대한 하나 이상의 차후 요청들을 식별한다(620). 도 5는 예를 들어, 작업의 완료에 대한, 사용자에 의한 하나 이상의 차후 요청들을 식별하도록 구성된 모니터링 모듈(514)을 도시한다. 예를 들어, 모니터링 모듈(514)은 작업의 완료에 대한 차후 요청을 식별하기 위해, 음성/텍스트 프로세싱 모듈(330)에 의해 만들어진 각각의 토큰 시퀀스, 및/또는 자연 언어 프로세서(332)에 의해 만들어진 각각의 구조화된 질의를 모니터링하도록 구성된다.

몇몇 실시예들에서, 작업의 완료에 대한 각자의 차후 요청을 식별한 이후에, 전자 디바이스는 가설을 테스트하기 위해 사용자 인증을 얻는다(622). 몇몇 실시예들에서, 디지털 어시스턴트는 작업에 대한 성공 또는 실패의 패턴의 원인으로서, 가설을 테스트하기 전에 사용자 인증을 얻도록 구성된다. 예를 들어, 트레이닝 모듈(340)은 사용자 요청에 대한 만족스러운 응답을 만들어 내기 위해, 사용자가 작업에 관련된 가설(예를 들면, 작업을 수행하기 위한 사용자 요청)을 테스트하길 원하는지를 사용자에게 질의하기 위한 대화 프로세싱 모듈(334)을 호출한다.

전자 디바이스는 작업의 차후 완료들에 대한 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터를 변화시킴으로써, 가설을 테스트한다(624). 도 5는, 예를 들어, 모니터링 모듈(516)에 의해 검출된, 작업의 완료에 대한 차후 요청에 대하여 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터를 일시적으로 변화시킴으로써, 가설 생성 모듈(512)에 생성된 가설을 테스트하도록 구성된 파라미터 변화 모듈(516)을 도시한다.

몇몇 실시예들에서, 가설을 테스트하는 것은, 가설에 연관된 가설 신뢰 값이 미리 결정된 신뢰 임계치를 초과할 시에 발생된다(626). 몇몇 실시예들에서, 가설 생성 모듈(512)은 모든 가설들에 0 내지 1의 신뢰 값을 할당하도록 구성되어, 가설에 연관된 작업의 하나 이상의 이전 완료들에 연관된 피드백 정보에 기반하여 생성한다. 0에 가까운 신뢰 값은 성공 또는 실패의 패턴의 원인인 가설의 낮은 가능성을 뜻하며, 1에 가까운 신뢰 값은 성공 또는 실패의 패턴의 원인인 가설의 높은 가능성을 뜻한다. 그러나, 실제로, 가설 신뢰 값은 절대로 0 또는 1이 될 수 없다. 더욱이, 몇몇 실시예들에서, 파라미터 변화 모듈(516)은, 가설에 할당된 신뢰 값이 미리 결정된 신뢰 임계치, 그 예로서 0.5, 0.67, 또는 0.75를 초과할 시에, 작업의 차후 완료에 대한 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에서 사용된 파라미터를 변화시킴으로써, 가설을 테스트하도록 구성된다.

전자 디바이스는 작업의 차후 완료들로부터 수집된 피드백 정보에 기반하여 가설을 채택 또는 거절한다(628). 예를 들어, 분석 모듈(518)(도 5)은 작업의 하나 이상의 차후 완료들로부터 수집된 피드백 정보에 기반하여 가설을 채택 또는 거절하도록 구성된다. 몇몇 실시예들에서, 분석 모듈(518)이 가설을 채택할 시에, 파라미터 변화 모듈(516)은 작업의 차후 완료들에 대해 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터를 영구적으로 또는 반-영구적으로 변화시키도록 구성된다.

몇몇 실시예들에서, 가설을 채택 또는 거절하는 것은 작업에 연관된 작업 완료 메트릭(metric)이 개선되었는지를 결정하는 것을 포함한다(630). 몇몇 실시예들에서, 작업 완료 메트릭은 각자의 작업(또는 사용자 요청)의 완료들에 관련된 피드백 정보에 기반한, 성공의 인디케이터들에 대한 실패의 인디케이터들의 비율이다. 몇몇 실시예들에서, 분석 모듈(618)은 작업 완료 메트릭이 개선된 경우, 가설을 채택하도록 구성된다. 다시 말해, 분석 모듈(618)은, 가설을 구현한 이후에 작업에 대한, 성공의 인디케이터들에 대한 실패들의 인디케이터들의 비율이 가설을 구현시키기 전의 비율보다 낮은 경우, 가설을 채택하도록 구성된다(예를 들면, 작업 완료 메트릭이 0에 다가갈 시에 개선됨).

몇몇 실시예들에서, 가설을 테스트하는 것은 제1 사용자에 대해 테스트를 수행하는 것을 포함하며, 제1 사용자에 의해 작업의 차후 완료들로부터 수집된 피드백 정보에 기반하여, 가설을 채택한 이후에(632), 전자 디바이스는: 사용자들의 커뮤니티 내의 한 세트의 한 명 이상의 사용자들에 대하여 가설을 테스트하며 - 이때 제1 사용자는 사용자들의 커뮤니티 내의 한 세트의 한 명 이상의 사용자들 중에 있음 - (634); 사용자들의 커뮤니티 내의 한 세트의 한 명 이상의 사용자들에 의해 작업의 차후 완료들로부터 수집된 피드백 정보에 기반하여, 가설을 채택 또는 거절한다 - 이때 가설을 채택하는 것은 사용자들의 커뮤니티 내의 한 세트의 한 명 이상의 사용자들 중 적어도 일부에 대해 가설을 구현하는 것을 포함함 - (636). 예를 들어, 파라미터 변화 모듈(516)은 검출된 작업의 차후 완료들에 대해 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터를 일시적으로 변화시킴으로써, 제1 사용자에 대한, 가설 생성 모듈(512)에 의해 생성된 가설을 테스트하도록 구성된다. 분석 모듈(518)이 가설을 채택한다는 결정에 따라서, 일반화 모듈(520)은 사용자들의 커뮤니티 내의 한 세트의 한 명 이상의 사용자들에 대해 가설을 더 일반화시키고 - 이때 제1 사용자는 한 세트의 사용자들 중에 있음 -, 가설을 DA-서버(106)에게 제공하도록 구성된다.

몇몇 실시예들에서, 제1 사용자 및 사용자들의 커뮤니티 내의 한 세트의 한 명 이상의 사용자들은 공통점을 공유한다. 예를 들어, 사용자 및 한 세트의 사용자들 양쪽은 캘리포니아, 서니베일에 살거나, 또는 사용자 및 한 세트의 사용자들 양쪽은 원자력 엔지니어들이다. 그 다음으로, DA-서버(106)는 한 세트의 사용자들에 의해 작업의 차후 완료들에 대해 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에서 사용된 파라미터를 일시적으로 변화시킴으로써, 한 세트의 사용자들에 대한 가설을 테스트한다. DA-서버(106)는 사용자들의 커뮤니티 내의 한 세트의 사용자들에 의해 작업의 차후 완료들로부터 수집된 피드백 정보에 기반하여, 가설을 채택 또는 거절한다. DA-서버(106)는 사용자들의 커뮤니티 내의 한 세트의 한 명 이상의 사용자들 중 적어도 일부에 대해 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터를 영구적으로 또는 반-영구적으로 변화시킴으로써 가설을 채택한다. 몇몇 실시예들에서, DA-서버(106)는, 한 세트의 사용자들이 속하는 슈퍼 세트(super set)의 사용자들에 대해, 또는 사용자들의 전체 커뮤니티에 대해 가설을 테스트함으로써, 가설을 일반화시키려고 더 시도한다.

몇몇 실시예들에서, 가설을 거절한 이후에(638), 전자 디바이스는: 성공 또는 실패의 패턴에 대한 원인으로서, 음성 인식, 의도 추정 및 작업 실행 중 적어도 하나에 사용된 파라미터에 관한 변경 가설을 생성하며(640); 작업의 차후 완료들에 대해 음성 인식, 의도 추정 및 작업 실행 중 적어도 하나에서 파라미터를 변화시킴으로써, 변경 가설을 테스트한다(642). 도 5는, 예를 들어, 분석 모듈(520)이 본래 가설을 거절한 이후에, 본래 가설을 고려하여 변경 가설을 생성하도록 구성된 가설 생성 모듈(512)을 도시한다. 예를 들어, 완료 메트릭이 개선되지 않았기 때문에, 작업에 관련된, 0.8 신뢰 값을 가진 본래 가설을 분석 모듈(520)이 거절한 이후에, 가설 생성 모듈은 신뢰 값이 낮은, 작업에 관련된 변경 가설을 생성하도록 구성된다. 이러한 예시에서, 파라미터 변화 모듈(516)은 작업의 차후 완료들에 대해 음성 인식, 의도 추정 및 작업 실행 중 적어도 하나에서 파라미터를 일시적으로 변화시킴으로써, 변경 가설을 테스트하도록 구성된다. 예를 들어, 변경 가설은, 분석 모듈(518)에 의해 거절된 제1(또는 본래) 가설과 비교하여, 음성 인식에서의 음성 모델로의 보다 급격한(또는 덜 급격한) 변화, 또는 의도 추론(자연 언어 프로세싱)에 대한 노드들 간의 관계를 포함한다.

도 6a 내지 6c에서의 동작들이 기술된 특정 순서는 단지 예시적일 뿐, 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도된 것이 아님을 이해해야 한다. 기술 분야의 통상의 기술자는 본 명세서에 기술된 동작들의 순서를 바꾸기 위해 다양한 방식들을 인식할 수 있다.

몇몇 실시예들에 따라서, 도 7은, 다양하게 기술된 실시예들의 원리들에 따라 구성된 전자 디바이스(700)의 기능적인 블록 다이어그램을 도시한다. 디바이스의 기능적인 블록들은 다양하게 기술된 실시예들의 원리들을 수행하기 위해, 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합에 의해 선택적으로 구현된다. 기술 분야의 통상의 기술자라면, 도 7에 기술된 기능적인 블록들이 다양하게 기술된 실시예들의 원리들을 구현하기 위해 선택적으로 서브-블록들로 조합되거나, 분리되는 것을 이해한다. 그러므로, 본 명세서의 기술내용은 선택적으로 본 명세서에 기술된 기능적인 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지지한다.

도 7에 도시된 바와 같이, 전자 디바이스(700)는 사운드 입력을 수신하도록 구성된 사운드 수신 유닛(702), 사운드를 출력하도록 구성된 스피커 유닛(704), 선택적으로, 정보를 디스플레잉하고 터치 접촉들을 수신하도록 구성된 터치-스크린 디스플레이 유닛(706); 및 사운드 수신 유닛(702), 스피커 유닛(704) 및, 선택적으로, 터치-스크린 디스플레이 유닛(706)에 결합된 프로세싱 유닛(708)을 포함한다. 몇몇 실시예들에서, 프로세싱 유닛(708)은 검출 유닛(710), 확립 유닛(712), 조정 유닛(714), 및 연관 유닛(716)을 포함한다.

프로세싱 유닛(708)은 디지털 어시스턴트와 사용자 간의 대화 중에 교착 상태를 (예를 들면, 검출 유닛(710)으로) 검출하도록 구성되고, 이때 대화는 사용자로부터 (예를 들면, 사운드 수신 유닛(702)으로 수신된) 적어도 하나의 음성 입력을 포함한다. 교착 상태를 검출하는 것에 응답하여, 프로세싱 유닛(708)은 적어도 하나의 음성 입력에 연관된 러닝 세션을 (예를 들면, 확립 유닛(712)으로) 확립하도록 구성된다. 러닝 세션 중에, 프로세싱 유닛(708)은: 사용자로부터 하나 이상의 차후 해명 입력들을 (예를 들면, 사운드 수신 유닛(702) 또는 터치-스크린 디스플레이 유닛(706)으로) 수신하고; 하나 이상의 차후 해명 입력들에 적어도 부분적으로 기반하여, 적어도 하나의 음성 입력에 대한 만족스러운 응답을 만들어 내기 위해, 적어도 하나의 음성 입력에 연관된 의도 추론 및 작업 실행 중 적어도 하나를 (예를 들면, 조정 유닛(714)으로) 조정하며; 적어도 하나의 음성 입력의 추후 발생들을 프로세싱하기 위해, 만족스러운 응답을 적어도 하나의 음성 입력에 (예를 들면, 연관 유닛(716)으로) 연관시키도록 구성된다.

몇몇 실시예들에 따라서, 도 8은, 다양하게 기술된 실시예들의 원리들에 따라 구성된 전자 디바이스(800)의 기능적인 블록 다이어그램을 도시한다. 디바이스의 기능적인 블록들은 다양하게 기술된 실시예들의 원리들을 수행하기 위해, 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합에 의해 선택적으로 구현된다. 기술 분야의 통상의 기술자라면, 도 8에 기술된 기능적인 블록들이 다양하게 기술된 실시예들의 원리들을 구현하기 위해 선택적으로 서브-블록들로 조합되거나, 분리되는 것을 이해한다. 그러므로, 본 명세서의 기술내용은 선택적으로 본 명세서에 기술된 기능적인 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지지한다.

도 8에 도시된 바와 같이, 전자 디바이스(800)는 사운드 입력을 수신하도록 구성된 사운드 수신 유닛(802), 사운드를 출력하도록 구성된 스피커 유닛(804), 선택적으로, 정보를 디스플레잉하고 터치 접촉들을 수신하도록 구성된 터치-스크린 디스플레이 유닛(806); 및 사운드 수신 유닛(802), 스피커 유닛(804) 및, 선택적으로, 터치-스크린 디스플레이 유닛(806)에 결합된 프로세싱 유닛(808)을 포함한다. 몇몇 실시예들에서, 프로세싱 유닛(808)은 획득 유닛(810), 식별 유닛(812), 생성 유닛(814), 모니터링 유닛(816), 변화 유닛(818), 및 분석 유닛(820)을 포함한다.

프로세싱 유닛(808)은: 작업의 하나 이상의 이전 완료들에 연관된 피드백 정보를 (예를 들면, 획득 유닛(810)으로) 얻으며; 작업을 완료하기 위해 이전에 사용된 음성 인식, 의도 추론 또는 작업 실행의 양태에 연관된 성공 또는 실패의 패턴을 (예를 들면, 식별 유닛(812)으로) 식별하도록 구성된다. 프로세싱 유닛(808)은: 성공 또는 실패의 패턴에 대한 원인으로서, 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터에 관한 가설을 (예를 들면, 생성 유닛(814)으로) 생성하며; 작업의 완료에 대한 하나 이상의 차후 요청들을 (예를 들면, 모니터링 유닛(816)으로)으로 식별하도록 더 구성된다. 프로세싱 유닛(808)은: 작업의 차후 완료들에 대한 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터를 (예를 들면, 변화 유닛(818)으로) 변화시킴으로써 가설을 테스트하며; 작업의 차후 완료들로부터 수집된 피드백 정보에 기반하여, 가설을 (예를 들면, 분석 유닛(820)으로) 채택 또는 거절하도록 더 구성된다.

상기의 기술내용은, 설명의 목적상, 특정 구현예들을 참조하여 기술되었다. 그러나, 상기의 예시적인 논의들은 총망라하거나, 또는 개시된 구현예들을 개시된 정확한 형태들로 제한시키는 것으로 의도되지는 않는다. 상기의 교시들을 고려할 시에, 많은 변형들 및 변화들이 가능하다. 개시된 생각들의 원리들 및 현실적인 응용들을 최적으로 설명하여, 고려된 특정 용도에 적합한 바와 같이, 기술 분야의 통상의 기술자가 그들을 다양한 변형들로 최적으로 활용하는 것을 가능하게 하기 위하여, 구현예들이 선택되어 기술된다.

용어들 "제1", "제2" 등이 다양한 요소들을 기술하기 위해 본 명세서에 사용될 수 있지만, 이러한 요소들은 이러한 용어들에 의해 제한되지 않아야 함이 이해될 것이다. 이러한 용어들은 단지 일측 요소를 타측 것으로부터 구별하기 위해 사용된다. 예를 들어, "제1 사운드 검출기"의 모든 발생들이 일관적으로 다시 이름이 붙여지며, "제2 사운드 검출기"의 모든 발생들이 일관적으로 다시 이름이 붙여지는 한, 기술내용의 의미를 변화시킴 없이, 제1 사운드 검출기는 제2 사운드 검출기로 칭해질 수 있으며, 유사하게, 제2 사운드 검출기는 제1 사운드 검출기로 칭해질 수 있다. 제1 사운드 검출기 및 제2 사운드 검출기 둘 다는 사운드 검출기들이지만, 그러나 그들은 동일한 사운드 검출기는 아니다.

본 명세서에서 사용된 전문 용어는 특정 구현예들을 목적상 기재하기 위함일 뿐, 청구항을 제한하는 것으로는 의도되지 않는다. 본 구현예들 및 첨부된 청구항들의 기술내용에 사용되는 바와 같이, 단수의 형태("a", "an" 및 "the")는 문맥상 명확하게 달리 나타나지 한, 복수의 형태들 역시 포함하는 것으로 의도된다. 또한, 본 명세서에서 사용되는 바와 같이, 용어 "및/또는"은 연관되어 열거된 항목들 중 하나 이상의 임의의 및 모든 가능한 조합들을 지칭하고 포괄함이 이해될 것이다. 본 명세서에서 사용될 시에, 용어들 "포함한다(comprise)", 및/또는 "포함하는(comprising)"은 진술되는 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 구성요소들의 존재를 명시하지만, 그러나 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 구성요소들, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않음이 더 이해될 것이다.

본 명세서에서 사용되는 바와 같이, 용어 "~하는 경우(if)"는 문맥상에 의존하여, "~할 시(when)" 또는 "~할 시에(upon)", 또는 진술된 조건 선례가 참이라고, "결정하는 것에 응답하여(in response to determining)" 또는 "결정에 따라서(in accordance with a determination), 또는 "검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석될 수 있다. 유사하게, 구문 "[진술된 조건 선례가 참이라고] 결정된 경우" 또는 "[진술된 조건 선례가 참인] 경우", 또는 "[진술된 조건 선례가 참이] 될 시"는 문맥상에 의존하여, 진술된 조건 선례가 참이라고, "결정할 시에" 또는 "결정 시에", 또는 "결정하는 것에 응답하여" 또는 결정에 따라서", 또는 "검출할 시에" 또는 검출하는 것에 응답하여"를 의미하는 것으로 해석될 수 있다.

Claims

하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 명령어들을 저장하는 메모리를 포함하는 전자 디바이스에서 수행되는, 디지털 어시스턴트를 트레이닝시키는 컴퓨터-구현 방법으로서,
상기 디지털 어시스턴트와 사용자 간의 대화 중에 교착 상태(impasse)를 검출하는 단계 - 상기 대화는 상기 사용자로부터 적어도 하나의 음성 입력을 포함함 -;
상기 교착 상태를 검출하는 것에 응답하여, 상기 적어도 하나의 음성 입력에 연관된 러닝 세션(learning session)을 확립하는 단계;
상기 러닝 세션 중에는:
상기 사용자로부터 하나 이상의 차후 해명 입력들을 수신하는 단계;
상기 하나 이상의 차후 해명 입력들에 적어도 부분적으로 기반하여, 상기 적어도 하나의 음성 입력에 대한 만족스러운 응답을 만들어 내기 위해, 상기 적어도 하나의 음성 입력에 연관된 의도 추론(intent inference) 및 작업(task) 실행 중 적어도 하나를 조정하는 단계; 및
상기 적어도 하나의 음성 입력의 추후 발생들을 프로세싱하기 위해, 상기 만족스러운 응답을 상기 적어도 하나의 음성 입력에 연관시키는 단계
를 포함하는, 방법.
제1항에 있어서, 상기 교착 상태를 검출하는 단계는:
상기 디지털 어시스턴트와 상기 사용자 간의 대화 중에:
상기 사용자로부터 적어도 하나의 음성 입력을 수신하는 단계;
상기 적어도 하나의 음성 입력에 기반하여, 초기 의도를 추론하는 단계;
상기 추론되는 초기 의도를 이행하기 위해, 초기 응답을 제공하는 단계;
상기 초기 응답을 거절하는, 상기 사용자로부터의 후속(follow-up) 음성 입력을 수신하는 단계
를 포함하는, 방법.
제2항에 있어서, 상기 초기 의도는 최적의 추측이며; 상기 러닝 세션 중에, 상기 방법은:
상기 사용자로부터 상기 하나 이상의 차후 해명 입력들을 수신하기에 앞서, 상기 적어도 하나의 음성 입력에 기반하여 제2 의도를 추론하는 단계 - 상기 제2 의도는 제2 최적의 추측이며, 상기 제2 의도는 상기 초기 의도와는 다름 -; 및
상기 추론되는 제2 의도를 이행하기 위해, 제2 응답을 제공하는 단계
를 더 포함하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 교착 상태는:
상기 만족스러운 응답과는 다른 초기 응답의 단 하나의 사용자 거절; 상기 초기 응답의 2개 이상의 사용자 거절들; 및
상기 대화를 종료시키는 사용자 커맨드(command)
로 구성된 한 세트 중 하나를 포함하는, 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 교착 상태를 검출한 이후에, 상기 러닝 세션을 확립하기 위해 사용자 인증을 얻는 단계를 더 포함하는, 방법.
제1항 내지 제2항 및 제4항 내지 제5항 중 어느 한 항에 있어서,
상기 러닝 세션 중에:
상기 사용자로부터 상기 하나 이상의 차후 해명 입력들을 수신하기에 앞서, 상기 사용자로부터의 적어도 하나의 음성 입력에 대한 2개 이상의 대안 응답들을 제공하는 단계를 더 포함하는, 방법.
제5항에 있어서,
상기 러닝 세션 중에:
상기 사용자로부터의 적어도 하나의 음성 입력에 대한 2개 이상의 대안 응답들을 생성하기 위해, 각자의 의도 추론 또는 음성 인식 임계치를 감소시키는 단계를 더 포함하는, 방법.
제1항 내지 제2항 및 제4항 내지 제5항 중 어느 한 항에 있어서,
상기 러닝 세션 중에:
상기 사용자로부터 상기 하나 이상의 차후 해명 입력들을 수신하기에 앞서, 상기 사용자로부터 하나 이상의 차후 해명 입력들을 끌어내기 위해, 상기 사용자로부터의 적어도 하나의 음성 입력 중 적어도 일부를 재표현(rephrase)하는 단계를 더 포함하는, 방법.
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 하나 이상의 해명 입력들은 상기 적어도 하나의 음성 입력 다음에 하나 이상의 사용자 텍스트 입력들을 포함하는, 방법.
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 하나 이상의 해명 입력들은 상기 적어도 하나의 음성 입력의 정의 또는 발음을 포함하는, 방법.
제1항 내지 제10항 중 어느 한 항에 있어서, 상기 적어도 하나의 음성 입력에 대한 만족스러운 응답은 상기 사용자에 의한 어떠한 추가적인 거절도 끌어내지 않는, 방법.
제1항 내지 제11항 중 어느 한 항에 있어서, 상기 만족스러운 응답을 상기 음성 입력에 연관시키는 단계는 상기 적어도 음성 입력에 대한 각자의 초기 응답을, 사용자들의 커뮤니티 내의 한 세트의 사용자들에 대한 만족스러운 응답으로 대체하는 단계를 포함하는, 방법.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 적어도 하나의 음성 입력에 연관된 사용자들의 커뮤니티 내의 한 세트의 사용자들로부터 각자의 해명 입력들을 수신하는 단계; 및
상기 사용자들의 커뮤니티 내의 한 세트의 사용자들로부터의 각자의 해명 입력들에 적어도 부분적으로 기반하여, 상기 러닝 세션 중에 상기 사용자에 대한 적어도 음성 입력에 대하여 상기 만족스러운 응답을 만들어 내기 위해, 상기 적어도 하나의 음성 입력에 연관된 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나를 조정하는 단계
를 더 포함하는, 방법.
하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 명령어들을 저장하는 메모리를 포함하는 전자 디바이스에서 수행되는, 디지털 어시스턴트를 트레이닝시키는 컴퓨터-구현 방법으로서,
상기 디지털 어시스턴트와 사용자 간의 대화 중에:
사용자로부터 초기 음성 입력을 수신하는 단계;
상기 초기 음성 입력에 기반하여 초기 의도를 추론하는 단계;
상기 추론되는 초기 의도를 이행하기 위해 초기 응답을 제공하는 단계;
상기 초기 응답을 거절하는 후속 음성 입력을 수신하는 단계;
상기 초기 응답을 거절하는 후속 음성을 수신할 시에, 상기 초기 음성 입력에 연관된 러닝 세션을 확립하는 단계;
상기 러닝 세션 중에:
상기 초기 음성 입력에 대한 만족스러운 응답을 만들어 내기 위해, 상기 초기 음성 입력에 연관된 의도 추론 및 작업 실행 중 적어도 하나를 조정하는 단계; 및
상기 초기 음성 입력의 추후 발생들을 프로세싱하기 위해, 상기 만족스러운 응답을 상기 초기 음성 입력에 연관시키는 단계
를 포함하는, 방법.
하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 명령어들을 저장하는 메모리를 포함하는 전자 디바이스에서 수행되는, 디지털 어시스턴트를 트레이닝시키는 컴퓨터-구현 방법으로서,
작업의 하나 이상의 이전 완료들에 연관된 피드백 정보를 얻는 단계;
상기 작업을 완료하기 위해 이전에 사용된 음성 인식, 의도 추론 또는 작업 실행의 양태에 연관된 성공 또는 실패의 패턴을 식별하는 단계;
상기 성공 또는 실패의 패턴에 대한 원인으로서, 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터에 관한 가설을 생성하는 단계;
상기 작업의 완료에 대한 하나 이상의 차후 요청들을 식별하는 단계;
상기 작업의 차후 완료들에 대해 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터를 변화시킴으로써, 상기 가설을 테스트하는 단계; 및
상기 작업의 차후 완료들로부터 수집된 피드백 정보에 기반하여, 상기 가설을 채택 또는 거절하는 단계
를 포함하는, 방법.
제15항에 있어서, 피드백 정보는 작업의 완료에 연관된 응답의 사용자 거절을 포함하는, 방법.
제15항에 있어서, 피드백 정보는 작업의 완료 다음에 사용자 위치를 포함하는, 방법.
제15항에 있어서, 피드백 정보는 완료된 작업 인근의 위치에서 소모되는 시간 양(length of time)을 포함하는, 방법.
제15항에 있어서, 피드백 정보는 작업의 완료 다음에 사용자 액션을 포함하는, 방법.
제15항 내지 제19항 중 어느 한 항에 있어서,
상기 작업의 완료에 대한 각자의 차후 요청을 식별한 이후에, 상기 가설을 테스트하기 위해 사용자 인증을 얻는 단계를 더 포함하는, 방법.
제15항 내지 제20항 중 어느 한 항에 있어서, 상기 가설을 테스트하는 단계는, 상기 가설에 연관된 가설 신뢰 값이 미리 결정된 신뢰 임계치를 초과할 시에 발생되는, 방법.
제15항 내지 제21항 중 어느 한 항에 있어서, 상기 작업의 차후 완료들로부터 수집된 피드백 정보에 기반하여, 상기 가설을 채택 또는 거절하는 단계는, 상기 작업에 연관된 작업 완료 메트릭(metric)이 개선되었는지를 결정하는 단계를 포함하는, 방법.
제15항 내지 제22항 중 어느 한 항에 있어서, 상기 가설을 테스트하는 단계는 제1 사용자에 대해 테스트를 수행하는 단계를 포함하며;
상기 방법은:
상기 제1 사용자에 의해 상기 작업의 차후 완료들로부터 수집된 피드백 정보에 기반하여, 상기 가설을 채택한 이후에, 사용자들의 커뮤니티 내의 한 세트의 한 명 이상의 사용자들에 대하여 상기 가설을 테스트하는 단계 - 상기 사용자는 상기 사용자들의 커뮤니티 내의 제1 세트의 한 명 이상의 사용자들 중에 있음 -; 및
상기 사용자들의 커뮤니티 내의 한 세트의 한 명 이상의 사용자들에 의해 상기 작업의 차후 완료들로부터 수집된 피드백 정보에 기반하여, 상기 가설을 채택 또는 거절하는 단계 - 상기 가설을 채택하는 단계는 상기 사용자들의 커뮤니티 내의 한 세트의 한 명 이상의 사용자들 중 적어도 일부에 대해 상기 가설을 구현하는 단계를 포함함 -
를 더 포함하는, 방법.
제15항 내지 제22항 중 어느 한 항에 있어서,
상기 가설을 거절한 이후에, 상기 성공 또는 실패의 패턴에 대한 원인으로서, 음성 인식, 의도 추정 및 작업 실행 중 적어도 하나에 사용된 파라미터에 관한 변경 가설을 생성하는 단계; 및
상기 작업의 차후 완료들에 대해 음성 인식, 의도 추정 및 작업 실행 중 적어도 하나에서 상기 파라미터를 변화시킴으로써, 상기 변경 가설을 테스트하는 단계
를 더 포함하는, 방법.
제15항 내지 제24항 중 어느 한 항에 있어서,
성공 또는 실패의 패턴을 식별하는 단계는 러닝 기회를 검출하는 단계를 포함하며;
러닝 기회를 검출하는 단계는 사용자 로그에서 상기 작업의 완료의 하나 이상의 이전 실패들을 식별하는 단계를 포함하는, 방법.
제25항에 있어서,
상기 사용자로부터 차후 해명을 끌어내기 위해, 상기 작업의 완료의 하나 이상의 이전 실패들을 상기 사용자에게 제공하는 단계를 더 포함하는, 방법.
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리 - 상기 하나 이상의 프로그램들은 제1항 내지 제26항 중 어느 한 항의 방법을 수행하는 명령어들을 포함함 -
를 포함하는, 휴대용 전자 디바이스 또는 컴퓨터 시스템.
하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서,
상기 하나 이상의 프로그램들은, 하나 이상의 프로세서들을 갖춘 휴대용 전자 디바이스 또는 컴퓨터 시스템에 의해 실행될 시에, 상기 디바이스로 하여금 제1항 내지 제26항 중 어느 한 항의 방법을 수행하도록 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
디스플레이, 메모리, 및 상기 메모리에 저장된 하나 이상의 프로그램들을 실행시키는 하나 이상의 프로세서들을 갖춘 휴대용 전자 디바이스 또는 컴퓨터 시스템 상의 그래픽 사용자 인터페이스로서,
상기 그래픽 사용자 인터페이스는 제1항 내지 제26항 중 어느 한 항의 방법에 따라서 디스플레잉되는 사용자 인터페이스들을 포함하는, 그래픽 사용자 인터페이스.
제1항 내지 제26항 중 어느 한 항의 방법을 수행하는 수단을 포함하는, 휴대용 전자 디바이스 또는 컴퓨터 시스템.
제1항 내지 제26항 중 어느 한 항의 방법을 수행하는 수단을 포함하는, 휴대용 전자 디바이스 또는 컴퓨터 시스템에 사용되는 정보 프로세싱 장치.
제1항 내지 제26항 중 어느 한 항의 방법을 수행하도록 구성된 프로세싱 유닛을 포함하는, 휴대용 전자 디바이스 또는 컴퓨터 시스템.
사운드 입력을 수신하도록 구성된 사운드 수신 유닛; 사운드를 출력하도록 구성된 스피커 유닛; 및
상기 사운드 수신 유닛 및 상기 스피커 유닛에 결합된 프로세싱 유닛
을 포함하며, 상기 프로세싱 유닛은:
상기 디지털 어시스턴트와 사용자 간의 대화 중에 교착 상태를 검출하고 - 상기 대화는 상기 사용자로부터 적어도 하나의 음성 입력을 포함함 -;
상기 교착 상태를 검출하는 것에 응답하여, 상기 적어도 하나의 음성 입력에 연관된 러닝 세션을 확립하고;
상기 러닝 세션 중에는:
상기 사용자로부터 하나 이상의 차후 해명 입력들을 수신하고;
상기 하나 이상의 차후 해명 입력들에 적어도 부분적으로 기반하여, 상기 적어도 하나의 음성 입력에 대한 만족스러운 응답을 만들어 내기 위해, 상기 적어도 하나의 음성 입력에 연관된 의도 추론 및 작업 실행 중 적어도 하나를 조정하며;
상기 적어도 하나의 음성 입력의 추후 발생들을 프로세싱하기 위해, 상기 만족스러운 응답을 상기 적어도 하나의 음성 입력에 연관시키도록 구성되는, 전자 디바이스.
제33항에 있어서, 상기 교착 상태를 검출하는 것은:
상기 디지털 어시스턴트와 상기 사용자 간의 대화 중에, 상기 프로세싱 유닛은:
상기 사용자로부터 적어도 하나의 음성 입력을 수신하고;
상기 적어도 하나의 음성 입력에 기반하여, 초기 의도를 추론하고;
상기 추론되는 초기 의도를 이행하기 위해, 초기 응답을 제공하며;
상기 초기 응답을 거절하는, 상기 사용자로부터의 후속 음성 입력을 수신하도록 더 구성되는 것
을 포함하는, 전자 디바이스.
제34항에 있어서, 상기 초기 의도는 최적의 추측이며; 상기 러닝 세션 중에, 상기 프로세싱 유닛은:
상기 사용자로부터 상기 하나 이상의 차후 해명 입력들을 수신하기에 앞서, 상기 적어도 하나의 음성 입력에 기반하여 제2 의도를 추론하며 - 상기 제2 의도는 제2 최적의 추측이며, 상기 제2 의도는 상기 초기 의도와는 다름 -;
상기 추론되는 제2 의도를 이행하기 위해, 제2 응답을 제공하도록 더 구성되는, 전자 디바이스.
제33항 내지 제35항 중 어느 한 항에 있어서, 상기 교착 상태는:
상기 만족스러운 응답과는 다른 초기 응답의 단 하나의 사용자 거절; 상기 초기 응답의 2개 이상의 사용자 거절들; 및
상기 대화를 종료시키는 사용자 커맨드
로 구성된 한 세트 중 하나를 포함하는, 전자 디바이스.
제33항 내지 제36항 중 어느 한 항에 있어서, 상기 프로세싱 유닛은:
상기 교착 상태를 검출한 이후에, 상기 러닝 세션을 확립하기 위해 사용자 인증을 얻도록 더 구성되는, 전자 디바이스.
제33항 내지 제34항 및 제36항 내지 제37항 중 어느 한 항에 있어서, 상기 러닝 세션 중에, 상기 프로세싱 유닛은:
상기 사용자로부터 상기 하나 이상의 차후 해명 입력들을 수신하기에 앞서, 상기 사용자로부터의 적어도 하나의 음성 입력에 대한 2개 이상의 대안 응답들을 제공하도록 더 구성되는, 전자 디바이스.
제38항에 있어서, 상기 러닝 세션 중에, 상기 프로세싱 유닛은:
상기 사용자로부터의 적어도 하나의 음성 입력에 대한 2개 이상의 대안 응답들을 생성하기 위해, 각자의 의도 추론 또는 음성 인식 임계치를 감소시키도록 더 구성되는, 전자 디바이스.
제33항 내지 제34항 및 제36항 내지 제37항 중 어느 한 항에 있어서, 상기 러닝 세션 중에, 상기 프로세싱 유닛은:
상기 사용자로부터 상기 하나 이상의 차후 해명 입력들을 수신하기에 앞서, 상기 사용자로부터 하나 이상의 차후 해명 입력들을 끌어내기 위해, 상기 사용자로부터의 적어도 하나의 음성 입력 중 적어도 일부를 재표현하도록 더 구성되는, 전자 디바이스.
제33항 내지 제40항 중 어느 한 항에 있어서, 상기 하나 이상의 해명 입력들은 상기 적어도 하나의 음성 입력 다음에 하나 이상의 사용자 텍스트 입력들을 포함하는, 전자 디바이스.
제33항 내지 제40항 중 어느 한 항에 있어서, 상기 하나 이상의 해명 입력들은 상기 적어도 하나의 음성 입력의 정의 또는 발음을 포함하는, 전자 디바이스.
제33항 내지 제42항 중 어느 한 항에 있어서, 상기 적어도 하나의 음성 입력에 대한 만족스러운 응답은 상기 사용자에 의한 어떠한 추가적인 거절도 끌어내지 않는, 전자 디바이스.
제33항 내지 제43항 중 어느 한 항에 있어서,
상기 만족스러운 응답을 상기 음성 입력에 연관시키는 것은 상기 적어도 음성 입력에 대한 각자의 초기 응답을, 사용자들의 커뮤니티 내의 한 세트의 사용자들에 대한 만족스러운 응답으로 대체하는 것을 포함하는, 전자 디바이스.
제33항 내지 제44항 중 어느 한 항에 있어서, 상기 프로세싱 유닛은:
상기 적어도 하나의 음성 입력에 연관된 사용자들의 커뮤니티 내의 한 세트의 사용자들로부터 각자의 해명 입력들을 수신하며;
상기 사용자들의 커뮤니티 내의 한 세트의 사용자들로부터의 각자의 해명 입력들에 적어도 부분적으로 기반하여, 상기 러닝 세션 중에 상기 사용자에 대한 적어도 음성 입력에 대하여 상기 만족스러운 응답을 만들어 내기 위해, 상기 적어도 하나의 음성 입력에 연관된 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나를 조정하도록 더 구성되는, 전자 디바이스.
사운드 입력을 수신하도록 구성된 사운드 수신 유닛; 사운드를 출력하도록 구성된 스피커 유닛; 및
상기 사운드 수신 유닛 및 상기 스피커 유닛에 결합된 프로세싱 유닛을 포함하며, 상기 프로세싱 유닛은:
상기 디지털 어시스턴트와 사용자 간의 대화 중에:
사용자로부터 초기 음성 입력을 수신하고;
상기 초기 음성 입력에 기반하여 초기 의도를 추론하고;
상기 추론되는 초기 의도를 이행하기 위해 초기 응답을 제공하고;
상기 초기 응답을 거절하는 후속 음성 입력을 수신하고;
상기 초기 응답을 거절하는 후속 음성을 수신할 시에, 상기 초기 음성 입력에 연관된 러닝 세션을 확립하고; 상기 러닝 세션 중에:
상기 초기 음성 입력에 대한 만족스러운 응답을 만들어 내기 위해, 상기 초기 음성 입력에 연관된 의도 추론 및 작업 실행 중 적어도 하나를 조정하며;
상기 초기 음성 입력의 추후 발생들을 프로세싱하기 위해, 상기 만족스러운 응답을 상기 초기 음성 입력에 연관시키도록 구성되는, 전자 디바이스.
사운드 입력을 수신하도록 구성된 사운드 수신 유닛; 사운드를 출력하도록 구성된 스피커 유닛; 및
상기 사운드 수신 유닛 및 상기 스피커 유닛에 결합된 프로세싱 유닛
을 포함하며, 상기 프로세싱 유닛은:
작업의 하나 이상의 이전 완료들에 연관된 피드백 정보를 얻고;
상기 작업을 완료하기 위해 이전에 사용된 음성 인식, 의도 추론 또는 작업 실행의 양태에 연관된 성공 또는 실패의 패턴을 식별하고;
상기 성공 또는 실패의 패턴에 대한 원인으로서, 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터에 관한 가설을 생성하고;
상기 작업의 완료에 대한 하나 이상의 차후 요청들을 식별하고;
상기 작업의 차후 완료들에 대해 음성 인식, 의도 추론 및 작업 실행 중 적어도 하나에 사용된 파라미터를 변화시킴으로써, 상기 가설을 테스트하며;
상기 작업의 차후 완료들로부터 수집된 피드백 정보에 기반하여, 상기 가설을 채택 또는 거절하도록 구성되는, 전자 디바이스.
제47항에 있어서, 피드백 정보는 작업의 완료에 연관된 응답의 사용자 거절을 포함하는, 전자 디바이스.
제47항에 있어서, 피드백 정보는 작업의 완료 다음에 사용자 위치를 포함하는, 전자 디바이스.
제47항에 있어서, 피드백 정보는 완료된 작업 인근의 위치에서 소모되는 시간 양을 포함하는, 전자 디바이스.
제47항에 있어서, 피드백 정보는 작업의 완료 다음에 사용자 액션을 포함하는, 전자 디바이스.
제47항 내지 제51항 중 어느 한 항에 있어서, 상기 프로세싱 유닛은:
상기 작업의 완료에 대한 각자의 차후 요청을 식별한 이후에, 상기 가설을 테스트하기 위해 사용자 인증을 얻도록 더 구성되는, 전자 디바이스.
제47항 내지 제52항 중 어느 한 항에 있어서, 상기 프로세싱 유닛은, 상기 가설에 연관된 가설 신뢰 값이 미리 결정된 신뢰 임계치를 초과할 시에 상기 가설을 테스트하도록 구성되는, 전자 디바이스.
제47항 내지 제53항 중 어느 한 항에 있어서, 상기 프로세싱 유닛은, 상기 작업에 연관된 작업 완료 메트릭이 개선되었을 시에, 상기 가설을 채택 또는 거절하도록 구성되는, 전자 디바이스.
제47항 내지 제54항 중 어느 한 항에 있어서, 상기 가설을 테스트하는 것은 제1 사용자에 대해 테스트를 수행하는 것을 포함하며;
상기 프로세싱 유닛은:
상기 제1 사용자에 의해 상기 작업의 차후 완료들로부터 수집된 피드백 정보에 기반하여, 상기 가설을 채택한 이후에, 사용자들의 커뮤니티 내의 한 세트의 한 명 이상의 사용자들에 대하여 상기 가설을 테스트하며 - 상기 사용자는 상기 사용자들의 커뮤니티 내의 제1 세트의 한 명 이상의 사용자들 중에 있음 -;
상기 사용자들의 커뮤니티 내의 한 세트의 한 명 이상의 사용자들에 의해 상기 작업의 차후 완료들로부터 수집된 피드백 정보에 기반하여, 상기 가설을 채택 또는 거절하도록 - 상기 가설을 채택하는 것은 상기 사용자들의 커뮤니티 내의 한 세트의 한 명 이상의 사용자들 중 적어도 일부에 대해 상기 가설을 구현하는 것을 포함함 - 더 구성되는, 전자 디바이스.
제47항 내지 제54항 중 어느 한 항에 있어서, 상기 프로세싱 유닛은:
상기 가설을 거절한 이후에, 상기 성공 또는 실패의 패턴에 대한 원인으로서, 음성 인식, 의도 추정 및 작업 실행 중 적어도 하나에 사용된 파라미터에 관한 변경 가설을 생성하며;
상기 작업의 차후 완료들에 대해 음성 인식, 의도 추정 및 작업 실행 중 적어도 하나에서 상기 파라미터를 변화시킴으로써, 상기 변경 가설을 테스트하도록 더 구성되는, 전자 디바이스.
제47항 내지 제56항 중 어느 한 항에 있어서,
성공 또는 실패의 패턴을 식별하는 것은 러닝 기회를 검출하는 것을 포함하며;
러닝 기회를 검출하는 것은 사용자 로그에서 상기 작업의 완료의 하나 이상의 이전 실패들을 식별하는 것을 포함하는, 전자 디바이스.
제57항에 있어서, 상기 프로세싱 유닛은:
상기 사용자로부터 차후 해명을 끌어내기 위해, 상기 작업의 완료의 하나 이상의 이전 실패들을 상기 사용자에게 제공하도록 더 구성되는, 전자 디바이스.