KR20150107754A - 사용자 생성 지식을 통한 협력 학습 기법 - Google Patents

사용자 생성 지식을 통한 협력 학습 기법 Download PDF

Info

Publication number
KR20150107754A
KR20150107754A KR1020157019420A KR20157019420A KR20150107754A KR 20150107754 A KR20150107754 A KR 20150107754A KR 1020157019420 A KR1020157019420 A KR 1020157019420A KR 20157019420 A KR20157019420 A KR 20157019420A KR 20150107754 A KR20150107754 A KR 20150107754A
Authority
KR
South Korea
Prior art keywords
personal assistant
task
user
learned
knowledge
Prior art date
Application number
KR1020157019420A
Other languages
English (en)
Inventor
래리 헥
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150107754A publication Critical patent/KR20150107754A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

여러 사용자들로부터 정보를 획득하고 습득된 정보를 다른 사용자들에게 전달하기 위해 중앙 지식 관리자에 의해 피드백 루프가 사용된다. 각각의 사용자는 오랜 시간에 걸쳐 사용자에게서 습득하는 퍼스널 어시스턴트(personal assistant)를 활용한다. 사용자는 NUI(natural user interface) 및/또는 일부 다른 인터페이스를 통해 자신의 퍼스널 어시스턴트에게 새로운 지식을 학습시킬 수 있다. 예를 들어, 퍼스널 어시스턴트와 상호작용하기 위해 자연어 대화 및 의도를 표현하는 다른 비언어적 양식(제스처, 터치, 응시, 이미지/비디오, 발성 등)의 조합이 사용될 수 있다. 지식이 학습됨에 따라, 각각의 퍼스널 어시스턴트는 새로이 습득된 지식을 다시 지식 관리자에게 전송한다. 여러 퍼스널 어시스턴트로부터 획득된 지식은 총괄적 지능(collective intelligence)을 형성하도록 결합된다. 이 총괄적 지능은 그 후 퍼스널 어시스턴트 각각에게 다시 전송된다. 이런 방식으로 하나의 퍼스널 어시스턴트의 지식은 피드백 루프를 통해 다른 퍼스널 어시스턴트에게 도움을 준다.

Description

사용자 생성 지식을 통한 협력 학습 기법{COLLABORATIVE LEARNING THROUGH USER GENERATED KNOWLEDGE}
인공 지능(AI) 시스템은 제한된 영역/범위의 지식을 갖고 있다. AI 시스템에 사용되는 컴퓨팅 머신을 설계하고 훈련시키는 것은 수많은 인간의 수고를 요구한다. 일반적으로, 특정 분야/태스크의 지식의 깊이가 깊어질수록 많은 분야/태스크에 걸친 지식의 폭은 감소하게 된다. 역으로, 많은 분야/태스크에 걸친 지식의 폭이 증가하면, 특정 분야/태스크에 대한 지식의 깊이는 감소한다. 오늘날, 많은 AI 시스템에서는 흔히 제한된 수의 분야에서의 지식의 깊이를 위해 지식의 폭이 희생된다. 이들 AI 시스템의 지능을 확장하는 것(scaling)이 도전과제이다.
본 개요는 후속하여 발명의 상세한 설명 부분에서 설명되는 개념들 중 선택된 것들을 단순화된 형태로 소개하고자 제공되는 것이다. 본 개요는 청구항의 청구대상의 핵심적인 특징이나 필수적인 특징들을 밝히고자 함이 아니며, 청구항의 청구대상의 범위를 결정하는 데 도움이 되고자 함도 아니다.
여러 사용자들로부터 정보를 획득하고 학습된 정보를 다른 사용자들에게 전달하기 위해 중앙 지식 관리자에 의해 피드백 루프가 사용된다. 각각의 사용자는 오랜 시간에 걸쳐 사용자로부터 학습하는 퍼스널 어시스턴트(personal assistant)를 활용한다. 사용자는 NUI(natural user interface) 및/또는 일부 다른 인터페이스를 통해 자신의 퍼스널 어시스턴트에게 새로운 지식(예컨대, 태스크(task))을 학습시킬 수 있다. 예를 들어, 퍼스널 어시스턴트와 상호작용하기 위해 자연어 대화 및 인텐트(intent)를 표현하는 다른 비언어적 양식(제스처, 터치, 응시, 이미지/비디오, 발성 등)의 조합이 사용될 수 있다. 지식이 학습됨에 따라, 각각의 퍼스널 어시스턴트는 새로이 학습한 지식을 다시 지식 관리자에게 전송한다. 여러 퍼스널 어시스턴트로부터 획득된 지식은 총괄적 지능(collective intelligence)을 형성하도록 결합된다. 이 총괄적 지능은 그 후 퍼스널 어시스턴트 각각에게 다시 전송된다. 이런 방식으로 하나의 퍼스널 어시스턴트의 지식은 피드백 루프를 통해 다른 퍼스널 어시스턴트에게 도움을 준다.
도 1은 여러 사용자들로부터 학습하는 퍼스널 어시스턴트를 이용하여 총괄적인 학습을 하기 위한 시스템을 도시한 것이다.
도 2는 퍼스널 어시스턴트 및 중앙 지식 베이스와 상호작용하기 위한 프로세스를 도시한 것이다.
도 3은 퍼스널 어시스턴트를 사용하여 획득한 정보를 학습하고 저장하기 위한 프로세스를 도시한 것이다.
도 4는 멀티모달 시스템(mutimodal system) 내의 퍼스널 어시스턴트 및 여러 사용자로부터 학습한 정보를 사용하여 총괄적인 학습을 하기 위한 예시적인 시스템을 도시한 것이다.
도 5 내지 7 및 관련 설명은 본 발명의 실시예들이 실시될 수 있는 다양한 운영 환경에 대한 논의를 제공한다.
도 8은 인텐트 검출기 및 인텐트 모델을 도시한 것이다.
이하에서는 도면을 참조하여 다양한 실시예를 설명하며, 도면에서 유사한 참조번호는 유사한 요소들을 나타낸다.
도 1은 여러 사용자들로부터 학습하는 퍼스널 어시스턴트를 사용하여 총괄적인 학습을 하기 위한 시스템을 도시한 것이다. 도시된 바와 같이, 시스템(100)은 지식 관리자(26), 총괄적 사용자 지식(160), 퍼스널 어시스턴트(1-N), 로그(130), 이해 모델(150), 애플리케이션(110) 및 터치 스크린 입력 장치/디스플레이(115)를 포함한다.
지식 관리자(26)와의 통신을 용이하게 하기 위해, 하나 이상의 콜백 루틴(callback routine)이 구현될 수 있다. 일실시예에 따르면, 애플리케이션 프로그램(110)은 음성 입력 및 터치 감지 입력 장치(115) 및/또는 다른 입력 장치로부터의 입력을 수신하도록 구성되는 멀티모달 애플리케이션이다. 이들 입력의 예로는 음성 입력, 키보드 입력(예컨대, 물리적 키보드 및/또는 SIP), 비디오 기반 입력 등을 들 수 있다. 애플리케이션 프로그램(110)은 또한 멀티모달 출력(예컨대, 스피치, 그래픽, 진동, 사운드 등)을 제공할 수도 있다. 지식 관리자(26)는 사용자 입력(예컨대 스피치/제스처)에 응답하여 애플리케이션에 또는 이로부터 정보를 제공할 수 있다. 예를 들어, 사용자는 애플리케이션(110)이 수행할 태스크(예컨대, 영화 선택, 아이템 구매, 제품 식별 등)를 나타내는 구문(phrase)을 말할 수 있다. 제스처는 집기(pinch) 제스처, 늘리기(stretch) 제스처, 선택 제스처(예컨대, 디스플레이된 요소 위에서의 탭핑 액션), 선택하여 유지하기(select and hold) 제스처(예컨대, 디스플레이된 요소 상에서 수신된 탭핑 및 유지 제스처), 스와이핑 액션 및/또는 드래그 액션 등을 포함할 수 있지만 이들로 한정되지는 않는다.
도시된 시스템(100)은 터치 입력이 수신되었는지(예컨대, 손가락이 터치 스크린을 터치하거나 거의 터치하는 것)를 검출하는 터치 스크린 입력 장치/디스플레이(115)를 포함한다. 사용자의 터치 입력을 검출하는 어떠한 유형의 터치 스크린도 이용될 수 있다. 예를 들어, 터치 스크린은 터치 입력을 검출하는 하나 이상의 용량성 재료 층을 포함할 수 있다. 용량성 재료에 더하여 또는 그 대신에 다른 센서들이 사용될 수도 있다. 예를 들어, 적외선(IR) 센서가 사용될 수도 있다. 일실시예에 따르면, 터치 스크린은 터치가능한 표면과 접촉하거나 또는 그 위에 있는 객체를 검출하도록 구성된다. 본 명세서에서 "위(above)"란 용어가 사용되지만, 이것은 터치 패널 시스템의 방향과는 무관함을 이해해야 한다. "위"란 용어는 그러한 모든 방향에 적용될 수 있도록 사용하고자 한다. 터치 스크린은 터치 입력이 수신되는 위치(예컨대, 시작 지점, 중간 지점 및 종료 지점)를 결정하도록 구성될 수 있다. 터치가능한 표면과 객체 사이에서의 실제 접촉은 예컨대 터치 패널에 결합된 마이크로폰 또는 진동 센서를 포함한 임의의 적절한 수단에 의해 검출될 수 있다. 접촉을 검출하기 위한 센서의 예들의 리스트는 압력 기반 메커니즘, 마이크로 머신형 가속도계, 압전 장치, 용량형 센서, 저항형 센서, 유도형 센서, 레이저 진동계, 및 LED 진동계를 포함한다.
지식 관리자(26)는 피드백 루프를 사용하여 퍼스널 어시스턴트(예컨대, 퍼스널 어시스턴트(1-N))를 통해 획득된 여러 사용자로부터의 정보를 획득하고, 그 후 여러 사용자와 연관되지만 아직 새로 학습된 정보를 포함하지는 않는 다른 퍼스널 어시스턴트에게 학습된 정보를 전달한다. 각 사용자는 오랜 시간에 걸쳐 사용자에게서 습득하는 퍼스널 어시스턴트를 활용한다. 예를 들어, 장치(115)(및/또는 다른 장치들)를 사용하는 사용자는 퍼스널 어시스턴트(1)와 연관될 수 있고, 다른 사용자는 퍼스널 어시스턴트(2)와 연관될 수 있으며, 또 다른 사용자는 다른 퍼스널 어시스턴트와 연관될 수 있다.
사용자는 NUI 및/또는 몇몇 다른 인터페이스를 통해 자신의 퍼스널 어시스턴트에 새로운 지식을 학습시킬 수 있다. 예를 들어, 퍼스널 어시스턴트와 상호작용하기 위해 자연어 대화 및 인텐트를 표현하는 다른 비언어적 양식(제스처, 터치, 응시, 이미지/비디오, 발성 등)의 조합이 사용될 수 있다. 지식 관리자(26) 및 퍼스널 어시스턴트는 퍼스널 어시스턴트 및/또는 다른 애플리케이션과 상호작용할 때 사용되는 이해 모델(예컨대, SLU(Spoken Language Understanding) 모델 및/또는 이해 모델(150)과 같은 멀티모달 이해 모델)을 사용할 수 있다.
퍼스널 어시스턴트에 의해 지식이 습득됨에 따라, 퍼스널 어시스턴트는 새로이 습득된 지식을 다시 지식 관리자(26)에게 전송한다. 지식 관리자(26)는 습득된 지식을 중앙의 총괄적 지식 베이스(KB)(160)에 결합한다. 여러 퍼스널 어시스턴트로부터 획득된 지식은 중앙의 KB에서 결합되어 KB(160)와 연관되는 여러 사용사들을 위한 총괄적 지능(collective intelligence)을 형성한다. 이 총괄적 지능은 그 후 퍼스널 어시스턴트 머신 각각에게 다시 전송된다. 이런 방식으로 하나의 퍼스널 어시스턴트의 지식은 피드백 루프를 통해 다른 퍼스널 어시스턴트에게 혜택을 준다.
지식 관리자(26)는 (예컨대, 퍼스널 어시스턴트로부터)학습된 지식을 이해 모델(150)에 포함시킬 수 있는데, 이해 모델은 입력을 수신하고 (예컨대 음성/비음성)응답 및 시스템에서 디스플레이된 출력을 전달할 때 사용된다. 보다 자세한 사항은 이하에 제공된다.
도 2 및 3은 사용자 생성 지식을 통해 협력 학습하기 위한 예시적인 프로세스(200, 300)를 도시한 것이다. 본 명세서에 제공된 루틴들에 대한 논의를 참고할 때, 다양한 실시예들의 논리적인 동작들은 (1) 컴퓨팅 시스템에서 실행되는 컴퓨터 구현 동작 또는 프로그램 모듈들의 시퀀스 및/또는 (2) 컴퓨팅 시스템 내에서의 상호접속된 머신 로직 회로 또는 회로 모듈들로서 구현된다는 것을 이해해야 한다. 이러한 구현은 본 발명을 구현하는 컴퓨팅 시스템의 성능 요건에 따른 선택의 문제이다. 따라서, 본 명세서에 기술된 실시예들을 구성하는 예시된 논리적 동작들은 동작, 구조적 디바이스, 액트 또는 모듈로서 다양하게 지칭된다. 이들 동작, 구조적 디바이스, 액트 및 모듈은 소프트웨어, 펌웨어, 특수 목적 디지털 로직, 및 이들의 임의의 조합으로 구현될 수 있다.
도 2는 퍼스널 어시스턴트 및 중앙 지식 베이스와의 상호작용을 위한 프로세스(200)를 도시한 것이다.
시작 동작 후에, 이 프로세스는 동작(210)으로 이동하며, 여기서 태스크를 수행하기 위한 사용자 상호작용이 수신된다. 사용자 상호작용은, 사용자와 연관되는 퍼스널 어시스턴트에 의해 태스크를 수행할 것(예컨대, 일부 액션/액션들의 세트를 수행할 것)을 지시한다. NUI(natural user interface) 및/또는 몇몇 다른 인터페이스가 사용자 상호작용을 수신하기 위해 사용된다. 예를 들어, 퍼스널 어시스턴트와 상호작용하기 위해 자연어 대화 및 의도를 표현하는 다른 비언어적 양식(제스처, 터치, 응시, 이미지/비디오, 발성, 인쇄된 텍스트 입력, 수기 텍스트 등)의 조합이 사용될 수 있다. 퍼스널 어시스턴트 애플리케이션과 대화하기 위해 이해 모델을 갖춘 음성 대화 시스템이 사용될 수도 있다.
동작(220)으로 진행하면, 퍼스널 어시스턴트가 태스크를 수행하는 방법을 아는 경우와 퍼스널 어시스턴트가 태스크를 수행하는 방법을 모르는 경우에 대한 판정이 이루어진다. 예를 들어, 퍼스널 어시스턴트는 태스크를 수행하는 방법을 이미 습득했을 수도 있다. 퍼스널 어시스턴트는, 태스크를 완료하는 방법을 이해하는 것 또는 사용자의 특정한 인텐트가 아직 퍼스널 어시스턴트의 지식의 일부가 아님을 이해하는 것과 같이, 자신이 갖고 있지 않은 지식을 사용자가 참고할 때를 판단한다.
일실시예에 따르면, 미지의 지식(unknown knowledge)을 판단하기 위해 우도비(likelihood ratio)가 사용된다(도 8 참고). 도 8에 도시된 인텐트 모델은 퍼스널 어시스턴트 및 중앙 지식 베이스에게 기지의 인텐트(known intent)를 표현하며, 기계 학습형 통계 모델이다. 도 8에 도시된 배경 모델은 기지의 인텐트를 나타낸다. 퍼스널 어시스턴트에 의한 미지의 지식은 엔티티/슬롯, 엔티티들/슬롯들 간의 관계, 인텐트, 개념, 분야(domain), 태스크 모델 등과 같은 다양한 유형일 수 있다.
퍼스널 어시스턴트가 태스크 수행 방법을 모를 경우, 이 프로세스는 동작(222)으로 이동한다. 퍼스널 어시스턴트가 태스크 수행 방법을 알 경우, 태스크가 수행되고 이 프로세스는 종료 블록으로 이동한다.
동작(222)에서, 퍼스널 어시스턴트가 태스크를 학습한다. 퍼스널 어시스턴트가 태스크 수행 방법을 모를 경우, 퍼스널 어시스턴트는 사용자로부터 이 정보를 수신한다. 일실시예에 따르면, 사용자와의 대화 상호작용이 개시되어 이 새로운 지식(예컨대, 새로운 태스크)을 지식 베이스에 추가한다. 예를 들어, 사용자는 "나에게 해리포터 영화에 대한 표를 사주세요(Buy me tickets to the Harry Potter movie)"라고 퍼스널 어시스턴트에게 말한다. 퍼스널 어시스턴트는 이것이 "영화표를 사주세요(buy movie tickets)"란 의도를 갖고 있지 않다고 인식한다. 그러나, 퍼스널 어시스턴트는 영화의 분야 및 개념과, "사는(buy)" 행위는 이해한다. 이러한 이해를 가지고, 퍼스널 어시스턴트는 "나는 영화에 대한 표를 사는 방법을 몰라요. 알려주세요?(I don't know how to buy tickets to a movie. Please show me?)"라고 대답한다. 이 정보는 태스크를 수행하는 사용자의 행위를 통해 그리고/또는 다른 모달리티(예컨대, 스피치, 제스처 등)를 통해 학습될 수 있다. 학습된 정보(예컨대, 태스크)는 다양한 방법을 이용하여 저장될 수 있다. 일실시예에 따르면, 지식 베이스(예컨대, FREEBASE, DBpedia 등)가 획득되고 퍼스널 어시스턴트와 상호작용하고 있는 사용자로부터 획득된 지식에 의해 확장된다. 새로운 노드들 및 이들 노드를 기존의 노드에 연결하는 에지를 추가함으로써 그래프가 확장된다. 이들 확장은 학습된 새로운 지식을 나타낸다. 지식 베이스에 대한 확장은 은연중에 또는 명시적으로 학습될 수 있다(보다 많은 정보에 대해서는 도 3 및 관련 논의를 참고하라).
동작(224)에서, 학습된 정보(예컨대, 태스크)는 퍼스널 어시스턴트에 의해 중앙 지식 베이스에게 전송된다. 일실시예에 따르면, 지식 베이스에 추가된 그래프의 노드는 지식 관리자에게 전송된다.
동작(230)으로 이동하면, 학습된 정보가 중앙 지식 베이스에 추가된다. 중앙 지식 베이스는 여러 사용자 및/또는 여러 컴퓨팅 장치와 각각 연관되는 여러 퍼스널 어시스턴트 각각으로부터 학습된 정보를 포함한다. 일실시예에 따르면, 퍼스널 어시스턴트로부터 수신된 노드는 지식 베이스에 통합된다.
동작(240)으로 진행하면, 퍼스널 어시스턴트들 중 하나로부터의 새로 학습된 정보가 다른 퍼스널 어시스턴트들과 공유된다. 퍼스널 어시스턴트들 중 전부/일부는 새로운 정보를 수신할 수 있다. 예를 들어, 퍼스널 어시스턴트들이 회사의 피고용인과 연관될 경우, 한 피고용인으로부터의 학습된 정보가 회사의 다른 피고용인에게 전송될 수 있다. 학습된 정보를 회사의 피고용인 각자에게 전송하는 대신에, 이 정보는 결정된 기준에 기초하여 전달될 수도 있다(예컨대, 팀, 부서 등의 일부).
동작(250)으로 진행하면, 중앙 관리자로부터의 획득된 정보는 정보를 수신하는 각각의 퍼스널 어시스턴트들에 의해 통합된다. 이런 방식으로 다른 퍼스널 어시스턴트로부터 학습된 정보가 다른 퍼스널 어시스턴트들에 의해 활용될 수 있다.
이 프로세스는 이후 종료 동작으로 이동하고 다른 액션을 처리하기 위해 리턴된다.
도 3은 퍼스널 어시스턴트를 이용하여 획득된 정보를 학습하고 저장하기 위한 프로세스(300)를 도시한 것이다.
시작 동작 후에, 이 프로세스는 동작(310)으로 이동하며, 여기서 퍼스널 어시스턴트가 이미 알고 있는 정보에 기초하여 학습할 태스크가 일반화된다. 예를 들어, 전술한 예에서, 퍼스널 어시스턴트는 그것이 "영화표를 사주세요(buy movie tickets)"란 의도를 갖고 있지 않은 것으로 인식하지만 영화의 분야 및 개념과, "사는(buy)" 행위는 이해한다. 이러한 이해를 가지고, 퍼스널 어시스턴트는 적절한 지식 베이스 및/또는 지식 베이스 내의 위치에 액세스할 수 있다.
동작(320)으로 진행하면, 일반적으로 학습할 태스크에 매칭되는 지식 베이스(일실시예에서는 그래프로서)가 액세스된다. 일실시예에 따르면, 사용자 독립적 지식 베이스(예컨대, FREEBASE, DBPEDIA 등)가 액세스된다. 일반적으로, 지식 베이스는 각각의 고유 식별자를 갖는 여러 주제/엔티티와 관련된 구조화된 데이터를 포함한다. 예를 들어, FREEBASE는 현재 거의 2천3백만 개의 엔티티를 포함한다. 이 데이터는 검색/쿼리를 수행하고 새로운 데이터를 기록하는데(예컨대, 새로운 엔티티를 추가하고, 새로운 엔티티를 확장하는 등에) 사용될 수 있는 API(Application Programming Interface)를 통해 액세스될 수 있다.
동작(330)으로 진행하면, 태스크를 수행하기 위한 정보가 사용자로부터 학습된다. 이 정보는 태스크를 수행하기 위한 사용자의 행위를 등록하는 것을 통해 그리고/또는 다른 모달리티(예컨대, 스피치, 제스처 등)를 통해 학습될 수 있다. 액션을 수신하고/거나 정보를 제시하기 위해 하나 이상의 사용자 인터페이스가 디스플레이될 수도 있다.
동작(340)으로 이동하면, 새로 학습된 정보(예컨대, 태스크)가 저장된다. 일실시예에 따르면, 지식 베이스(예컨대, FREEBASE, DBPEDIA 등)는 퍼스널 어시스턴트와 상호작용하고 있는 사용자로부터 획득된 지식에 의해 확장된다. 그래프는 새로운 노드들 및 이들 노드를 기존의 노드에 연결하는 에지들을 추가함으로써 확장된다. 이들 확장은 학습된 새로운 지식을 나타낸다. 지식 베이스로의 확장은 암시적으로 또는 명시적으로 학습될 수 있다. 일실시예에 따르면, 태스크 모델을 나타내기 위해 HMM(hidden Markov model)이 사용되는데, 여기서 HMM의 각 상태는 인텐트이다. HMM을 초기화하기 위해 로그(예컨대, 쿼리, 클릭, 페이지 뷰, 드웰 타임(dwell time) 등과 같은 검색 및 브라우즈 로그)로부터의 데이터가 사용될 수 있다. 개별 사용자가 퍼스널 어시스턴트가 본 적도 없고 그 실행 방법도 모르는 새로운 태스크를 퍼스널 어시스턴트에게 소개할 때, 퍼스널 어시스턴트는 자신이 데이터로 구축한 대형 태스크 모델 세트로부터 이 태스크를 식별한다. 그 후 이 모델은 사용자의 예시적인 데이터에 그것을 적응시킴으로서 사용자가 시스템에게 학습시키고 있는 새로운 태스크를 일반화하는데 사용된다. 일실시예에 따르면, 연결된 그래프, 통상적으로는 가중된 트리플 또는 쿼드 스토어(weighted triple or quad store)에 의해 하위 레벨 지식이 표현된다. 그래프의 노드는 엔티티(사람, 장소, 또는 사물)이다. 그래프의 에지는 엔티티들 간의 관계이다. 인텐트/태스크 그래프는 보다 하위의 레벨 개념의 서브그래프를 보다 상위의 레벨 인텐트/태스크(예컨대, 액션)에 맵핑함으로써 구축될 수 있다. 간단한 경우, 단일 개념 그래프 노드(엔티티)는 자신과 연관된 관련 인텐트/액션을 갖는다.
동작(350)으로 진행하여, 지식 베이스가 저장된다. 그 다음에 이 프로세스는 종료 동작으로 이동하고 다른 액션들을 처리하기 위해 리턴된다.
도 4는 멀티모달 시스템에서 퍼스널 어시스턴트 및 여러 사용자로부터 학습된 정보를 사용하여 협력 학습하는 예시적인 시스템을 도시한 것이다. 도시된 바와 같이, 시스템(1000)은 서비스(1010), 데이터 저장부(1045), 터치 스크린 입력 장치/디스플레이(1050)(예컨대, 슬레이트) 및 스마트 폰(1030)을 포함한다.
도시된 바와 같이, 서비스(1010)는, 다양한 애플리케이션(예컨대, 게임, 브라우징, 로케이팅, 생산성 서비스(예컨대, 스프레드시트, 문서, 프리젠테이션, 차트, 메시지 등))과 관련된 멀티모달 서비스와 같은 서비스를 제공하도록 구성될 수 있는 클라우드 기반 및/또는 엔터프라이즈 기반 서비스이다. 서비스는 상이한 유형의 입력/출력을 사용하여 상호작용할 수 있다. 예를 들어, 사용자는 스피치 입력, 터치 입력, 하드웨어 기반 입력 등을 사용할 수 있다. 서비스는 사전 녹화된 스피치 및 합성된 스피치를 결합하는 스피치 출력을 제공할 수도 있다. 서비스(1010)에 의해 제공된 서비스들/애플리케이션들 중 하나 이상의 기능은 또한 클라이언트/서버 기반 애플리케이션으로서 구성될 수 있다. 시스템(1000)은 멀티모달 애플리케이션과 관련된 서비스를 보여주지만, 지식 관리자(26) 및 퍼스널 어시스턴트(예컨대, 퍼스널 어시스턴트(1031) 및 퍼스널 어시스턴트(1051))로부터 학습한 정보를 사용하기 위한 다른 서비스/애플리케이션이 구성될 수도 있다.
도시된 바와 같이, 서비스(1010)는 임의의 수의 테넌트(예컨대, 테넌트 1 내지 N)에게 리소스(1015) 및 서비스를 제공하는 멀티테넌트 서비스이다. 멀티테넌트 서비스(1010)는, 서비스에 가입된 테넌트들에게 리소스/서비스(1015)를 제공하고 각 테넌트의 데이터를 다른 테넌트 데이터로부터 보호되도록 별도로 유지하는 클라우드 기반 서비스이다.
예시된 시스템(1000)은 터치 스크린 입력 장치/디스플레이(1050)(예컨대, 슬레이트/태블릿 장치) 및 터치 입력이 수신된 경우(예컨대, 손가락이 터치 스크린을 터치하거나 거의 터치함)를 검출하는 스마트폰(1030)을 포함한다. 사용자의 터치 입력을 검출하는 임의의 유형의 터치 스크린이 이용될 수 있다. 예를 들어, 터치 스크린은 터치 입력을 검출하는 하나 이상의 용량성 물질층을 포함할 수 있다. 용량성 물질 대신에 또는 이에 더하여 다른 센서를 사용해도 된다. 예를 들어, 적외선 센서를 사용해도 된다. 일실시예에 따르면, 터치 스크린은 터치가능한 표면과 접촉해 있거나 또는 그 위에 있는 객체를 검출하도록 구성된다. 본 명세서에서 "위(above)"란 용어가 사용되지만, 이것은 터치 패널 시스템의 방향과는 무관함을 이해해야 한다. "위"란 용어는 그러한 모든 방향에 적용될 수 있도록 의도된다. 터치 스크린은 터치 입력이 수신되는 위치(예컨대, 시작 지점, 중간 지점 및 종료 지점)를 결정하도록 구성될 수 있다. 터치가능한 표면과 객체 사이에서의 실제 접촉은 예컨대 터치 패널에 결합된 마이크로폰 또는 진동 센서를 포함한 임의의 적절한 수단에 의해 검출될 수 있다. 접촉을 검출하기 위한 센서의 예들의 리스트는 압력 기반 메커니즘, 마이크로 머신형 가속도계, 압전 장치, 용량형 센서, 저항형 센서, 유도형 센서, 레이저 진동계, 및 LED 진동계를 포함한다.
스마트폰(1030) 및 터치 스크린 입력 장치/디스플레이(1050)는 또한 멀티모달 애플리케이션을 구비하도록 구성되고 각각은 퍼스널 어시스턴트(1031, 1051)를 포함한다.
도시된 바와 같이, 터치 스크린 입력 장치/디스플레이(1050) 및 스마트폰(1030)은, 애플리케이션의 사용을 보여주며 멀티모달 입력/출력사용하여 결정된 액션들을 수행하는, 예시적인 디스플레이(1052/1032)를 보여준다. 데이터는 장치(예컨대, 스마트폰(1030), 슬레이트(1050) 및/또는 일부 다른 위치(예컨대, 네트워크 데이터 저장소(1045)) 상에 저장될 수 있다. 데이터 저장부(1054)는 여러 퍼스널 어시스턴트 각각으로부터 학습된 정보를 포함하는 중앙 지식 베이스를 저장하는데 사용될 수 있다. 장치에 의해 사용된 애플리케이션은 클라이언트 기반 애플리케이션, 서버 기반 애플리케이션, 클라우드 기반 애플리케이션 및/또는 일부 조합일 수 있다.
지식 관리자(26)는 본 명세서에 기술된 바와 같이 퍼스널 어시스턴트를 통해 협력 학습하는 것에 관한 동작들을 수행하도록 구성된다. 관리자(26)는 서비스(1010) 내에 도시되어 있지만, 관리자의 기능은 다른 위치(예컨대, 스마트폰(1030) 및/또는 슬레이트 장치(1050))에 포함될 수도 있다.
본 명세서에 기술된 실시예들과 기능들은 유선 및 무선 컴퓨팅 시스템, 모바일 컴퓨팅 시스템(예컨대, 모바일 전화기, 태블릿 또는 슬레이트 타입 컴퓨터, 랩탑 컴퓨터 등)을 포함한 다수의 컴퓨팅 시스템을 통해 동작할 수 있다. 또한, 본 명세서에 기술된 실시예들과 기능들은 분산 시스템을 통해 동작할 수 있는데, 여기서 애플리케이션 기능, 메모리, 데이터 저장 및 검색, 및 다양한 기능들이 인터넷 또는 인트라넷과 같은 분산 컴퓨팅 네트워크를 통해 서로 원격으로 동작할 수 있다. 다양한 유형의 정보 및 사용자 인터페이스가 온보드 컴퓨팅 장치의 디스플레이를 통해 또는 하나 이상의 컴퓨팅 장치와 연관된 원격 디스플레이 유닛을 통해 디스플레이될 수 있다. 예를 들어, 다양한 유형의 정보 및 사용자 인터페이스가 다양한 유형의 정보 및 사용자 인터페이스가 투영되는 월 서피스 상에서 디스플레이되고 상호작용될 수 있다. 본 발명의 실시예가 실시될 수 있는 다수의 컴퓨팅 시스템과의 상호작용은 키스트로크 입력, 터치 스크린 입력, 음성 또는 다른 오디오 입력, 제스처 입력 등을 포함하는데, 여기서 관련 컴퓨팅 장치가 컴퓨팅 장치의 기능을 제어하기 위한 사용자 제스처를 캡처하고 해석하기 위한 검출(예컨대, 카메라) 기능을 갖추고 있다.
도 5 내지 7 및 관련 설명은 본 발명의 실시예들을 실시하는데 이용될 수 있는 다양한 운영 환경에 대한 논의를 제공한다. 그러나, 이들 도면과 관련하여 예시되고 논의되는 장치 및 시스템은 예시 및 설명을 위한 것이며 본 명세서에 기술된 본 발명의 실시예를 실시하기 위해 이용될 수 있는 다수의 컴퓨팅 장치 구성을 제한하는 것은 아니다.
도 5는 본 발명의 실시예들을 실시하는데 이용될 수 있는 컴퓨팅 장치(1100)의 예시적인 물리적 컴포넌트를 도시한 블록도이다. 후술하는 컴퓨팅 장치의 컴포넌트는 전술한 컴퓨팅 장치에 적합할 수 있다. 기본 구성에서, 컴퓨팅 장치(1100)는 적어도 하나의 처리 유닛(1102) 및 시스템 메모리(1104)를 포함할 수 있다. 컴퓨팅 장치의 정확한 구성 및 유형에 따라, 시스템 메모리(1104)는, 한정적인 것은 아니지만, 휘발성(예컨대, RAM), 비휘발성(예컨대, ROM), 플래시 메모리 또는 이들의 임의의 조합일 수 있다. 시스템 메모리(1104)는 운영 체제(1105), 하나 이상의 프로그램 모듈(1106), 웹 브라우저 애플리케이션(1120)을 포함할 수 있다. 운영 체제(1105)는, 예컨대, 컴퓨팅 장치(1100)의 동작을 제어하는데 적합할 수 있다. 일실시예에서, 프로그래밍 모듈(1106)은 전술한 바와 같이 컴퓨팅 장치(1100)에 설치된 지식 관리자(26)를 포함할 수 있다. 또한, 본 발명의 실시예는 그래픽스 라이브러리, 다른 운영 체제, 또는 임의의 다른 애플리케이션 프로그램과 함께 실시될 수 있으며 임의의 특정 애플리케이션 또는 시스템에 제한되지 않는다. 이 기본 구성은 도 5에 점선(1108) 내에 있는 컴포넌트들로 도시되어 있다.
컴퓨팅 장치(1100)는 부가적인 특징들 또는 기능을 가질 수 있다. 예를 들어, 컴퓨팅 장치(1100)는 또한 예컨대, 자기 디스크, 광학 디스크, 또는 테이프와 같은 부가적인 데이터 저장 장치(착탈식 및/또는 비착탈식)를 포함할 수 있다. 그러한 부가적인 저장부는 착탈식 저장부(1109) 및 비착탈식 저장부(1110)로 도시되어 있다.
전술한 바와 같이, 운영 체제(1105)를 포함한 다수의 프로그램 모듈 및 데이터 파일이 시스템 메모리(1104)에 저장될 수 있다. 관리자와 같은 프로그래밍 모듈(1106)은 처리 유닛(1102)에서 실행되는 동안, 예컨대 전술한 방법과 관련된 동작을 포함하는 프로세스를 수행할 수 있다. 전술한 프로세스는 일례이며, 처리 유닛(1102)은 다른 프로세스를 수행할 수도 있다. 본 발명의 실시예에 따라 사용될 수 있는 다른 프로그래밍 모듈은 전자 메일 및 컨택 애플리케이션, 워드 프로세싱 애플리케이션, 스프레드시트 애플리케이션, 데이터베이스 애플리케이션, 슬라이드 프리젠테이션 애플리케이션, 드로잉 또는 컴퓨터 지원 애플리케이션 프로그램 등을 포함할 수 있다.
일반적으로, 본 발명의 실시예에 따르면, 프로그램 모듈은 루틴, 프로그램, 컴포넌트, 데이터 구조, 및 특정 태스크를 수행하거나 특정 추상 데이터 타입을 구현할 수 있는 다른 유형의 구조를 포함한다. 또한, 본 발명의 실시예는, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 또는 프로그램가능형 가전, 미니컴퓨터, 메인프레임 컴퓨터 등을 포함한 다른 컴퓨터 시스템 구성으로 실시될 수도 있다. 본 발명의 실시예는 또한 통신망을 통해 링크되는 원격 처리 장치에 의해 태스크가 수행되는 분산 컴퓨팅 환경에서 실시될 수도 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 위치할 수 있다.
또한, 본 발명의 실시예는 개별 전자 소자를 포함하는 전자 회로, 로직 게이트를 포함하는 패키지형 또는 집적형 전자 칩, 마이크로프로세서를 이용하는 회로, 또는 전자 소자 또는 마이크로프로세서를 포함하는 단일 칩에서 실시될 수 있다. 예를 들어, 본 발명의 실시예는 SOC(system-on-a-chip)를 통해 실시될 수 있는데, 도 5에 도시된 각각의 또는 다수의 컴포넌트들이 단일 집적 회로 칩에 집적될 수 있다. 이러한 SOC 장치는 하나 이상의 처리 유닛, 그래픽스 유닛, 통신 유닛, 시스템 가상화 유닛 및 칩 기판 상에 단일 집적 회로로서 집적되는(또는 "버닝되는(burned)")다양한 애플리케이션 기능을 포함할 수 있다. SOC를 통해 동작할 때, 관리자(26)와 관련하여 본 명세서에서 설명한 기능은 단일 집적 회로(칩) 상의 컴퓨팅 장치/시스템(1100)의 다른 컴포넌트들과 통합된 애플리케이션 특정 로직을 통해 동작할 수 있다. 본 발명의 실시예들은, 기계, 광학, 유체공학, 및 양자 기술을 포함한, 예컨대, AND, OR, 및 NOT과 같은 논리 연산을 수행할 수 있는 다른 기술들을 이용하여 실시될 수도 있다. 또한, 본 발명의 실시예는 범용 컴퓨터 또는 임의의 다른 회로 또는 시스템에서 실시될 수도 있다.
본 발명의 실시예는, 예를 들어, 컴퓨터 프로세스(방법), 컴퓨팅 시스템, 또는 컴퓨터 프로그램 제품 또는 컴퓨터 판독가능 매체와 같은 제품으로 구현될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 시스템에 의해 판독가능하며 컴퓨터 프로세스를 실행하기 위한 명령어로 이루어진 컴퓨터 프로그램을 인코딩하는 컴퓨터 저장 매체일 수 있다.
본 명세서에서 사용된 컴퓨터 판독가능 매체라는 용어는 컴퓨터 저장 매체를 포함한다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체를 포함할 수 있다. 시스템 메모리(1104), 착탈식 저장부(1109) 및 비착탈식 저장부(1110)는 모두 컴퓨터 판독가능 저장 매체의 예들(즉, 메모리 저장부)이다. 컴퓨터 저장 매체는, 제한적인 것은 아니지만, RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 다른 광학 저장부, 자기 카세트, 자기 테이프, 자기 디스크 저장부 또는 기타 자기 저장 장치, 또는 정보를 저장하는데 사용될 수 있으며 컴퓨팅 장치(1100)에 의해 액세스될 수 있는 임의의 다른 매체를 포함한다. 임의의 그러한 컴퓨터 저장 매체는 컴퓨팅 장치(1100)의 일부일 수 있다. 컴퓨팅 장치(1100)는 또한 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치 등과 같은 입력 장치(1112)를 가질 수 있다. 디스플레이, 스피커, 프린터 등과 같은 출력 장치(1114)가 포함될 수도 있다. 전술한 장치들은 예들이며 다른 장치들이 사용될 수도 있다.
카메라 및/또는 몇몇 다른 감지 장치가 하나 이상의 사용자를 녹화하고 컴퓨팅 장치의 사용자들에 의해 만들어진 모션 및/또는 제스처를 캡처하도록 동작할 수 있다. 감지 장치는 또한, 예컨대 마이크로폰에 의해 말해진 단어를 캡처하고/또는 키보드 및/또는 마우스(도시되지 않음)와 같은 사용자로부터의 다른 입력을 캡처하도록 동작할 수 있다. 감지 장치는 사용자의 움직임을 검출할 수 있는 임의의 움직임 검출 장치를 포함할 수 있다. 예를 들어, 카메라는 복수의 카메라 및 복수의 마이크로폰을 포함하는 MICROSOFT KINECT® 모션 캡처 장치를 포함할 수도 있다.
본 명세서에서 사용되는 컴퓨터 판독가능 매체란 용어는 통신 매체를 포함할 수도 있다. 통신 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파나 다른 전송 메커니즘과 같은 변조된 데이터 신호 내의 기타 데이터를 포함할 수 있고, 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"란 용어는 정보를 신호로 인코드하는 것과 같은 방식으로 설정 또는 변경된 하나 이상의 특징을 갖는 신호를 의미한다. 예를 들어, 제한적인 것은 아니지만, 통신 매체는 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체, 음향, RF, 적외선 및 기타 무선 매체들과 같은 무선 매체를 포함한다.
도 6a 및 6b는, 예를 들어, 모바일 전화기, 스마트폰, 태블릿 퍼스널 컴퓨터, 랩탑 컴퓨터 등과 같이, 본 발명의 실시예들을 실시하는데 이용될 수 있는 적절한 모바일 컴퓨팅 환경을 도시한 것이다. 도 6a를 참고하면, 실시예를 구현하기 위한 예시적인 모바일 컴퓨팅 장치(1200)가 도시되어 있다. 기본 구성에서, 모바일 컴퓨팅 장치(1200)는 입력 요소 및 출력 요소를 구비한 핸드헬드 컴퓨터이다. 입력 요소는 사용자로 하여금 모바일 컴퓨팅 장치(1200)에 정보를 입력할 수 있게 하는 터치 스크린 디스플레이(1205) 및 입력 버튼(1215)을 포함할 수 있다. 모바일 컴퓨팅 장치(1200)는 또한 추가적인 사용자 입력을 가능하게 하는 선택적 측면 입력부(1215)를 포함할 수 있다. 선택적인 측면 입력부(1215)는 회전 스위치, 버튼, 또는 임의의 다른 유형의 수동 입력 요소일 수 있다. 다른 실시예에서, 모바일 컴퓨팅 장치(1200)는 더 많거나 또는 더 적은 입력 요소를 포함할 수 있다. 예를 들어, 디스플레이(1205)는 일부 실시예에서 터치 스크린이 아닐 수도 있다. 또 다른 실시예에서는, 모바일 컴퓨팅 장치가 디스플레이(1205) 및 입력 버튼(1215)을 갖는 셀룰러폰과 같은 휴대형 전화 시스템이다. 모바일 컴퓨팅 장치(1200)는 또한 선택적 키패드(1235)를 포함할 수 있다. 선택적 키패드(1215)는 물리적 키패드 또는 터치 스크린 디스플레이 상에 생성된 "소프트" 키패드일 수 있다.
모바일 컴퓨팅 장치(1200)는 GUI(graphical user interface)를 디스플레이할 수 있는 디스플레이(1205)와 같은 출력 요소를 포함한다. 다른 출력 요소는 스피커(1225) 및 LED 라이트(1220)를 포함한다. 또한, 모바일 컴퓨팅 장치(1200)는, 사용자에게 이벤트를 통지하기 위해 모바일 컴퓨팅 장치(1200)를 진동시키는 진동 모듈(도시되어 있지 않음)을 포함할 수 있다. 또 다른 실시예에서, 모바일 컴퓨팅 장치(1200)는 출력 신호를 제공하는 다른 수단을 제공하는 헤드폰 잭(도시되어 있지 않음)을 포함할 수 있다.
본 명세서에서는 모바일 컴퓨팅 장치(1200)와 관련하여 설명하였지만, 다른 실시예에서는 본 발명이 데스크탑 환경, 랩탑 또는 노트북 컴퓨터 시스템, 멀티프로세서 시스템, 마이크로 프로세서 기반 또는 프로그램가능 가전, 네트워크 PC, 미니 컴퓨터, 메인 프레임 컴퓨터 등과 같은 임의의 수의 컴퓨터 시스템과 함께 사용된다. 본 발명의 실시예는 또한 분산 컴퓨팅 환경 내의 통신망을 통해 링크되어 있는 원격 처리 장치에 의해 태스크가 수행되는 분산 컴퓨팅 환경에서 실시될 수도 있는데, 분산 컴퓨팅 환경에서, 프로그램은 로컬 및 원격 메모리 저장 장치에 위치할 수 있다. 요약하면, 복수의 환경 센서와, 사용자에게 통지 및 복수의 통지 이벤트 유형을 제공하기 위한 복수의 출력 요소를 구비한 임의의 컴퓨터 시스템이 본 발명의 실시예를 이룰 수 있다.
도 6b는 도 6a에 도시된 컴퓨팅 장치와 같은 일실시예에 사용된 모바일 컴퓨팅 장치의 컴포넌트를 도시한 블록도이다. 즉, 모바일 컴퓨팅 장치(1200)는 일부 실시예를 구현하는 시스템(1202)을 포함할 수 있다. 예를 들어, 시스템(1202)은, 프리젠테이션 애플리케이션, 브라우저, 이메일, 스케줄링, 인스턴트 메시징, 및 매체 재생기 애플리케이션과 같은, 데스크탑 또는 노트북 컴퓨터의 애플리케이션과 유사한 하나 이상의 애플리케이션을 실행할 수 있는 "스마트폰"을 구현하는데 사용될 수 있다. 일부 실시예에서, 시스템(1202)은 통합형 PDA(personal digital assistant) 및 무선 전화기와 같은 컴퓨팅 장치로서 통합된다.
하나 이상의 애플리케이션 프로그램(1266)은 메모리(1262)에 로딩될 수 있으며 운영 체제(1264) 상에서 또는 이와 연관하여 실행될 수 있다. 애플리케이션 프로그램의 예로는 전화 다이얼러 프로그램, 이메일 프로그램, PIM(personal information management) 프로그램, 워드 프로세싱 프로그램, 스프레드시트 프로그램, 인터넷 브라우저 프로그램, 메시징 프로그램 등을 들 수 있다. 시스템(1202)은 또한 메모리(1262) 내에 비휘발성 저장부(1268)를 포함한다. 비휘발성 저장부(1268)는 시스템(1202) 전원이 나가도 손실되어서는 안 되는 영구적 정보(persistent information)를 저장하는데 사용될 수 있다. 애플리케이션(1266)은 이메일 또는 이메일 애플리케이션에 의해 사용된 다른 메시지 등과 같은 정보를 사용하고 비휘발성 저장부(1268)에 저장한다. 동기화 애플리케이션(도시되어 있지 않음)이 또한 시스템(1202)에 존재할 수 있으며, 호스트 컴퓨터에 저장된 대응 정보와 동기화된 비휘발성 저장부(1268)에 저장된 정보를 유지하기 위해 호스트 컴퓨터 상에 존재하는 대응 동기화 애플리케이션과 상호작용하도록 프로그램된다. 전술한 바와 같이 지식 관리자(26)를 포함하는 다른 애플리케이션이 메모리(1262)에 로딩되어 장치(1200) 상에서 실행될 수도 있다.
시스템(1202)은 하나 이상의 배터리로서 구현될 수 있는 전원(1270)을 갖는다. 전원(1270)은 배터리에 전력을 보충하거나 재충전하는 전력공급 도킹 크래들 또는 AC 어댑터와 같은 외부 전력 소스를 더 포함할 수 있다.
시스템(1202)은 무선 주파수 통신을 송신 및 수신하는 기능을 수행하는 무선부(1272)를 포함할 수 있다. 무선부(1272)는 통신 캐리어 또는 서비스 제공자를 통해 시스템(1202)과 "외부 세계" 사이의 무선 접속을 용이하게 한다. 무선부(1272)에 대한 전송은 OS(1264)의 제어 하에서 행해진다. 즉, 무선부(1272)에 의해 수신된 통신은 OS(1264)를 통해 애플리케이션 프로그램(1266)에 보급될 수 있으며 그 역도 성립한다.
무선부(1272)는 시스템(1202)이, 예컨대 네트워크를 통해 다른 컴퓨팅 장치와 통신할 수 있게 한다. 무선부(1272)는 통신 매체의 일례이다. 통신 매체는 통상적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호 내의 다른 데이터로 구현될 수 있으며, 정보 전달 매체를 포함한다. "변조된 데이터 신호"란 용어는 정보를 신호로 인코드하는 것과 같은 방식으로 설정 또는 변경된 하나 이상의 특징을 갖는 신호를 의미한다. 예를 들어, 제한적인 것은 아니지만, 통신 매체는 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체, 음향, RF, 적외선 및 기타 무선 매체와 같은 무선 매체를 포함한다. 본 명세서에 사용된 컴퓨터 판독가능 매체란 용어는 저장 매체 및 통신 매체를 모두 포함한다.
시스템(1202)의 실시예는 두 유형의 통지 출력 장치, 즉 시각적 통지를 제공하는데 사용될 수 있는 LED(1220) 및 오디오 통지를 제공하기 위해 스피커(1225)와 함께 사용될 수 있는 오디오 인터페이스(1274)로 도시되어 있다. 이들 장치는 전원(1270)에 직접 결합되어, 작동시에 프로세서(1260) 및 다른 컴포넌트들이 배터리 전력을 보존하기 위해 꺼지더라도 통지 메커니즘에 의해 지시된 기간 동안 온 상태로 유지된다. LED(1220)는 사용자가 장치의 파워 온 상태를 지시하는 동작을 취할 때까지 무한정 온 상태로 유지되도록 프로그램될 수 있다. 오디오 인터페이스(1274)는 사용자에게 가청 신호를 제공하고 사용자로부터 가청 신호를 수신하도록 사용된다. 예를 들어, 오디오 인터페이스(1274)는 스피커(1225)에 결합되는 것 외에, 마이크로폰(1220)에 결합되어, 예컨대, 텔레비전 대화를 용이하게 하기 위해 가청 입력을 수신할 수 있다. 본 발명의 실시예에 따르면, 마이크로폰(1220)은 또한 통지의 제어를 용이하게 하기 위해 오디오 센서 역할을 할 수 있다. 시스템(1202)은 또한 정지 이미지, 비디오 스트림 등을 기록하기 위해 온보드 카메라(1230)의 동작을 가능하게 하는 비디오 인터페이스(1276)를 더 포함할 수 있다.
시스템(1202)을 구현하는 모바일 컴퓨팅 장치는 부가적인 특징들 또는 기능을 가질 수 있다. 예를 들어, 장치는 자기 디스크, 광 디스크, 또는 테이프와 같은 추가적인 데이터 저장 장치(착탈식 및/또는 비착탈식)를 포함할 수 있다. 이러한 추가적인 저장부는 도 6b에 저장부(1268)로 도시되어 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체를 포함할 수 있다.
장치(1200)에 의해 생성되거나 캡처되고 시스템(1202)을 통해 저장된 데이터/정보는 전술한 바와 같이 장치(1200) 상에 로컬로 저장될 수 있으며, 또는 그 데이터는 무선부(1272)를 통해 또는 장치(1200)와 이 장치(1200)와 연관된 별도의 컴퓨팅 장치, 예컨대, 인터넷과 같은 분산 컴퓨팅 네트워크 내의 서버 컴퓨터 사이의 유선 접속을 통해 장치에 의해 액세스될 수 있는 임의의 수의 저장 매체에 저장될 수 있다. 이러한 데이터/정보는 무선부(1272) 또는 분산 컴퓨팅 네트워크를 경유하여 장치(1200)를 통해 액세스될 수 있다. 이와 유사하게, 그러한 데이터/정보는, 전자 메일 및 협업 데이터/정보 공유 시스템을 포함한, 잘 알려진 데이터/정보 전송 및 저장 수단에 따라 저장하고 사용하기 위한 컴퓨팅 장치들 사이에서 쉽게 전송될 수 있다.
도 7은 메시지 항목의 구성 동안 사용된 아이템을 추천하기 위한 시스템 아키텍처를 도시한 것이다.
지식 관리자(26)를 통해 관리된 컴포넌트는 상이한 통신 채널에 또는 다른 저장 타입으로 저장될 수 있다. 예를 들어, 컴포넌트들이 이들 컴포넌트로부터 개발되는 정보와 함께 디렉토리 서비스(1322), 웹 포털(1324), 메일박스 서비스(1326), 인스턴트 메시징 저장부(1328) 및 소셜 네트워킹 사이트(1330)를 이용하여 저장될 수 있다. 시스템/애플리케이션(26, 1320)은 저장부(1316)에서의 컴포넌트의 관리 및 저장을 가능하게 하기 위해 이들 유형의 시스템들 중 어느 하나를 이용할 수 있다. 서버(1332)는 변화(variation)를 이용하고 결정하는 것과 관련된 통신 및 서비스를 제공할 수 있다. 서버(1332)는 네트워크(1308)를 통해 웹 상의 서비스 및 콘텐츠를 클라이언트에게 제공할 수 있다. 서버(1332)를 이용할 수 있는 클라이언트의 예로는 임의의 범용 퍼스널 컴퓨터를 포함하는 컴퓨팅 장치(1302), 태블릿 컴퓨팅 장치(1304) 및/또는 스마트폰을 포함할 수 있는 모바일 컴퓨팅 장치(1306)를 들 수 있다. 이들 장치 중 한 장치는 저장부(1316)로부터 디스플레이 컴포넌트 관리 통신 및 콘텐츠를 획득할 수 있다.
이상, 본 발명의 실시예에 따른 방법, 시스템, 및 컴퓨터 프로그램 제품의 블록도 및/또는 동작도를 참조하여 본 발명의 실시예를 설명하였다. 블록에 표시된 기능/동작은 임의의 흐름도에 도시된 것과 다른 순서로 일어날 수 있다. 예를 들어, 순서대로 도시된 2개의 블록이 실제로는 거의 동시에 실행될 수도 있고 또는 포함된 기능/동작에 따라 이들 블록이 때론 반대의 순서로 실행될 수도 있다.
이상의 상세한 설명, 예들 및 데이터는 본 발명의 구성의 제조 및 사용에 대한 완벽한 설명을 제공한다. 본 발명의 많은 실시예들이 본 발명의 사상 및 범주로부터 벗어나지 않고 이루어질 수 있기 때문에, 본 발명은 후술하는 청구범위에 의해 정의된다.

Claims (10)

  1. 퍼스널 어시스턴트(personal assistant)를 이용하여 협력 학습하는 방법으로서,
    테스크 수행을 지시하는 사용자 상호작용을 퍼스널 어시스턴트에서 수신하는 단계와,
    상기 퍼스널 어시스턴트가 상기 태스크를 수행하는 방법을 아는 경우와 상기 퍼스널 어시스턴트가 상기 태스크를 수행하는 방법을 모르는 경우를 판정하는 단계 -상기 판정하는 단계는
    상기 퍼스널 어시스턴트를 사용하여 상기 태스크를 수행하기 위한 명령어를 학습하는 단계와,
    상이한 사용자와 연관되는 상이한 퍼스널 어시스턴트로부터 학습된 명령어를 수신하고 상기 퍼스널 어시스턴트와 공유되는 태스크를 포함하는 총괄적 사용자 지식 베이스(knowledge base)를 생성하는 지식 관리자(knowledge manager)에게 상기 학습된 명령어를 전송하는 단계
    를 포함함- 와,
    다른 사용자로부터 학습된 퍼스널 어시스턴트와의 상호작용으로부터 학습된 상기 총괄적 사용자 지식 베이스로부터의 정보를 수신하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 테스크 수행을 지시하는 사용자 상호작용을 퍼스널 어시스턴트에서 수신하는 단계는 스피치 입력 및 적어도 하나의 다른 형태의 입력을 포함하는 멀티모달(multimodal) 사용자 입력을 수신하는 단계를 포함하는
    방법.
  3. 제1항에 있어서,
    사용자 독립형 지식 베이스에 액세스하는 단계와,
    상기 사용자 독립형 지식 베이스를 상기 학습된 태스크로 확장하는 단계
    를 더 포함하는 방법.
  4. 제1항에 있어서,
    상기 퍼스널 어시스턴트를 사용하여 상기 태스크를 수행하기 위한 명령어를 학습하는 단계는 하위 레벨 개념의 서브 그래프를 상위 레벨 액션에 맵핑함으로써 구성되는 그래프인 태스크 모델을 생성하는 단계를 포함하는
    방법.
  5. 제4항에 있어서,
    패턴 인식 분류기, 순차적 패턴 인식 분류기, 및 HMM(hidden Markov model) 중 적어도 하나를 사용하여 상기 태스크 모델을 나타내는 단계
    를 더 포함하는 방법.
  6. 제5항에 있어서,
    상기 태스크 모델은 쿼리, 클릭, 페이지 뷰(page view) 및 드웰 타임(dwell time) 중 둘 이상을 포함하는 검색 및 브라우즈 로그(log)로부터 초기화되는
    방법.
  7. 제3항에 있어서,
    상기 태스크의 일반화를 결정하는 단계와,
    상기 사용자로부터 학습된 예시 데이터에 기초하여 상기 지식 베이스를 확장하는 단계
    를 더 포함하는 방법.
  8. 제1항에 있어서,
    상기 지식 베이스의 노드는 개인, 장소, 및 아이템을 포함하는 엔티티이고, 상기 지식 베이스의 에지(edge)는 엔티티들 간의 관계인
    방법.
  9. 퍼스널 어시스턴트를 이용하여 협력 학습하는 방법을 수행하는 컴퓨터 실행가능 명령어가 저장되어 있는 컴퓨터 판독가능 기록매체로서,
    상기 방법은
    테스크 수행을 지시하는 사용자 상호작용을 퍼스널 어시스턴트에서 수신하는 단계와,
    상기 퍼스널 어시스턴트가 상기 태스크를 수행하는 방법을 아는 경우와 상기 퍼스널 어시스턴트가 상기 태스크를 수행하는 방법을 모르는 경우를 판정하는 단계 -상기 판정하는 단계는
    상기 퍼스널 어시스턴트를 사용하여 상기 태스크를 수행하기 위한 명령어를 학습하는 단계와,
    지식 베이스에 액세스하고 상기 태스크를 수행하기 위한 학습된 명령어를 사용하여 상기 사용자 독립적인 지식 베이스를 확장하는 단계와,
    상이한 사용자와 연관되는 상이한 퍼스널 어시스턴트로부터 학습된 명령어를 수신하고 상기 퍼스널 어시스턴트와 공유되는 태스크를 포함하는 총괄적 사용자 지식 베이스를 생성하는 지식 관리자에게 상기 학습된 명령어를 전송하는 단계
    를 포함함- 와,
    다른 사용자로부터 학습된 퍼스널 어시스턴트와의 상호작용으로부터 학습된 상기 총괄적 사용자 지식 베이스로부터의 정보를 수신하는 단계
    를 포함하는 컴퓨터 판독가능 매체.
  10. 퍼스널 어시스턴트를 이용하여 협력 학습하는 시스템으로서,
    프로세서 및 메모리와,
    상기 프로세서를 사용하여 실행되는 운영 환경과,
    디스플레이와,
    지식 관리자
    를 포함하되,
    상기 지식 관리자는
    테스크 수행을 지시하는 사용자 상호작용을 퍼스널 어시스턴트에서 수신하는 동작과,
    상기 퍼스널 어시스턴트가 상기 태스크를 수행하는 방법을 아는 경우와 상기 퍼스널 어시스턴트가 상기 태스크를 수행하는 방법을 모르는 경우를 판정하는 동작 -상기 판정하는 동작은
    상기 퍼스널 어시스턴트를 사용하여 상기 태스크를 수행하기 위한 명령어를 학습하는 동작과,
    상기 태스크의 일반화 결정 시에 지식 베이스에 액세스하고 상기 태스크를 수행하기 위한 학습된 명령어를 사용하여 상기 사용자 독립적인 지식 베이스를 확장하는 동작과,
    상이한 사용자와 연관되는 상이한 퍼스널 어시스턴트로부터 학습된 명령어를 수신하고 상기 퍼스널 어시스턴트와 공유되는 태스크를 포함하는 총괄적 사용자 지식 베이스를 생성하는 지식 관리자에게 상기 학습된 명령어를 전송하는 동작
    을 포함함- 와,
    다른 사용자로부터 학습된 퍼스널 어시스턴트와의 상호작용으로부터 학습된 상기 총괄적 사용자 지식 베이스로부터의 정보를 수신하는 동작
    을 포함하는 컴퓨터 판독가능 매체.
KR1020157019420A 2013-01-17 2014-01-14 사용자 생성 지식을 통한 협력 학습 기법 KR20150107754A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/743,511 2013-01-17
US13/743,511 US20140201629A1 (en) 2013-01-17 2013-01-17 Collaborative learning through user generated knowledge
PCT/US2014/011377 WO2014113349A1 (en) 2013-01-17 2014-01-14 Collaborative learning through user generated knowledge

Publications (1)

Publication Number Publication Date
KR20150107754A true KR20150107754A (ko) 2015-09-23

Family

ID=50073446

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157019420A KR20150107754A (ko) 2013-01-17 2014-01-14 사용자 생성 지식을 통한 협력 학습 기법

Country Status (6)

Country Link
US (1) US20140201629A1 (ko)
EP (1) EP2946346A1 (ko)
JP (1) JP2016509301A (ko)
KR (1) KR20150107754A (ko)
CN (1) CN104937612A (ko)
WO (1) WO2014113349A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210036878A (ko) * 2020-09-15 2021-04-05 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 정보 푸시 방법, 장치, 기기 및 저장매체

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10446142B2 (en) 2015-05-20 2019-10-15 Microsoft Technology Licensing, Llc Crafting feedback dialogue with a digital assistant
US10686738B2 (en) * 2015-07-24 2020-06-16 Facebook, Inc. Providing personal assistant service via messaging
CN106126584A (zh) * 2016-06-20 2016-11-16 陈�胜 一种在互联网上生成个人知识地图的系统
WO2018009897A1 (en) * 2016-07-07 2018-01-11 Harman International Industries, Incorporated Portable personalization
US10217462B2 (en) 2016-08-31 2019-02-26 Microsoft Technology Licensing, Llc Automating natural language task/dialog authoring by leveraging existing content
US11288574B2 (en) 2016-10-20 2022-03-29 Microsoft Technology Licensing, Llc Systems and methods for building and utilizing artificial intelligence that models human memory
JP7100422B2 (ja) 2016-10-21 2022-07-13 富士通株式会社 データプロパティ認識のための装置、プログラム、及び方法
EP3312724B1 (en) 2016-10-21 2019-10-30 Fujitsu Limited Microservice-based data processing apparatus, method, and program
JP6805765B2 (ja) 2016-10-21 2020-12-23 富士通株式会社 ソフトウェアサービスの実行のためのシステム、方法、及びプログラム
EP3312722A1 (en) 2016-10-21 2018-04-25 Fujitsu Limited Data processing apparatus, method, and program
US10776170B2 (en) 2016-10-21 2020-09-15 Fujitsu Limited Software service execution apparatus, system, and method
US11348475B2 (en) * 2016-12-09 2022-05-31 The Boeing Company System and method for interactive cognitive task assistance
US10649739B2 (en) * 2016-12-20 2020-05-12 Microsoft Technology Licensing, Llc Facilitating application development
US10140286B2 (en) * 2017-02-22 2018-11-27 Google Llc Optimized graph traversal
US10535342B2 (en) * 2017-04-10 2020-01-14 Microsoft Technology Licensing, Llc Automatic learning of language models
US11025566B2 (en) * 2017-04-12 2021-06-01 Facebook, Inc. Techniques for intent-based search for bots
US10860587B2 (en) * 2017-06-14 2020-12-08 Microsoft Technology Licensing, Llc Conversationally-relevant content requests
US11436469B2 (en) 2017-07-31 2022-09-06 Microsoft Technology Licensing, Llc Knowledge graph for conversational semantic search
JP6981118B2 (ja) 2017-09-11 2021-12-15 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
US20190129749A1 (en) * 2017-11-01 2019-05-02 Microsoft Technology Licensing, Llc Automated extraction and application of conditional tasks
US10497004B2 (en) * 2017-12-08 2019-12-03 Asapp, Inc. Automating communications using an intent classifier
US11593413B2 (en) * 2018-04-12 2023-02-28 Microsoft Technology Licensing, Llc Computerized assistance using artificial intelligence knowledge base
US20190354851A1 (en) * 2018-05-17 2019-11-21 International Business Machines Corporation Construction of a machine learning model for structured inputs
US11436215B2 (en) 2018-08-20 2022-09-06 Samsung Electronics Co., Ltd. Server and control method thereof
WO2020091454A1 (en) 2018-10-31 2020-05-07 Samsung Electronics Co., Ltd. Method and apparatus for capability-based processing of voice queries in a multi-assistant environment
CN109902104A (zh) * 2019-02-11 2019-06-18 北京百度网讯科技有限公司 用于管理知识库的方法、装置、设备和介质
US11468881B2 (en) * 2019-03-29 2022-10-11 Samsung Electronics Co., Ltd. Method and system for semantic intelligent task learning and adaptive execution
JP7292980B2 (ja) * 2019-06-04 2023-06-19 キヤノン株式会社 情報管理装置、撮像装置、制御方法、並びにプログラム
US11501753B2 (en) 2019-06-26 2022-11-15 Samsung Electronics Co., Ltd. System and method for automating natural language understanding (NLU) in skill development
US11875231B2 (en) 2019-06-26 2024-01-16 Samsung Electronics Co., Ltd. System and method for complex task machine learning
US11176147B2 (en) 2019-07-25 2021-11-16 Microsoft Technology Licensing, Llc Querying a relational knowledgebase that provides data extracted from plural sources
JP7302127B2 (ja) * 2019-08-28 2023-07-04 Ｔｏｙｏ Ｔｉｒｅ株式会社 タイヤ用ゴム組成物、及びそれを用いたウィンタータイヤ
KR20210026962A (ko) 2019-09-02 2021-03-10 삼성전자주식회사 보이스 어시스턴트 서비스를 제공하는 장치 및 방법
CN111177335B (zh) * 2019-11-29 2023-11-21 广东轩辕网络科技股份有限公司 一种基于知识图谱的智能助理的信息处理方法及装置
US10999440B1 (en) * 2020-01-02 2021-05-04 Avaya Inc. Method to augment routing delivery systems with intuitive human knowledge, expertise, and iterative artificial intelligence and machine learning in contact center environments
US11914650B2 (en) * 2020-07-22 2024-02-27 International Business Machines Corporation Data amalgamation management between multiple digital personal assistants
US20240029726A1 (en) * 2022-07-21 2024-01-25 Sony Interactive Entertainment LLC Intent Identification for Dialogue Support

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231571A (en) * 1990-08-14 1993-07-27 Personal Financial Assistant, Inc. Personal financial assistant computer method
US7242988B1 (en) * 1991-12-23 2007-07-10 Linda Irene Hoffberg Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US5727950A (en) * 1996-05-22 1998-03-17 Netsage Corporation Agent based instruction system and method
US5909679A (en) * 1996-11-08 1999-06-01 At&T Corp Knowledge-based moderator for electronic mail help lists
CA2239666A1 (en) * 1998-06-04 1999-12-04 Hsin-Kuo Lee Digital traffic signal device
US6484155B1 (en) * 1998-07-21 2002-11-19 Sentar, Inc. Knowledge management system for performing dynamic distributed problem solving
EP1101160B1 (en) * 1998-08-05 2003-04-02 BRITISH TELECOMMUNICATIONS public limited company Multimodal user interface
US7036128B1 (en) * 1999-01-05 2006-04-25 Sri International Offices Using a community of distributed electronic agents to support a highly mobile, ambient computing environment
US6708163B1 (en) * 1999-02-24 2004-03-16 Hillol Kargupta Collective data mining from distributed, vertically partitioned feature space
WO2001020521A2 (en) * 1999-09-14 2001-03-22 Inventions, Inc. Training, certifying, assigning and collaborating agents among multiple users
US7725307B2 (en) * 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US7099855B1 (en) * 2000-01-13 2006-08-29 International Business Machines Corporation System and method for electronic communication management
AU2001241510A1 (en) * 2000-02-16 2001-08-27 Askit Systems Inc. Customer service system and method
US7149347B1 (en) * 2000-03-02 2006-12-12 Science Applications International Corporation Machine learning of document templates for data extraction
US6757362B1 (en) * 2000-03-06 2004-06-29 Avaya Technology Corp. Personal virtual assistant
US6466654B1 (en) * 2000-03-06 2002-10-15 Avaya Technology Corp. Personal virtual assistant with semantic tagging
US7644057B2 (en) * 2001-01-03 2010-01-05 International Business Machines Corporation System and method for electronic communication management
US20030046273A1 (en) * 2001-08-28 2003-03-06 Intel Corporation Personal assistance service with instant messaging
US20030083923A1 (en) * 2001-10-29 2003-05-01 Diego Guicciardi Collaboration-enabled enterprise
US7257455B1 (en) * 2001-12-19 2007-08-14 Discovery Machine, Inc. System and method for collecting and representing knowledge using task-method-knowledge with structure-behavior-function in a computer system
WO2004002044A2 (en) * 2002-02-01 2003-12-31 John Fairweather A system for exchanging binary data
CN1437131A (zh) * 2002-02-07 2003-08-20 明日工作室股份有限公司 一种登录系统及其方法
US7023979B1 (en) * 2002-03-07 2006-04-04 Wai Wu Telephony control system with intelligent call routing
US7031918B2 (en) * 2002-03-20 2006-04-18 Microsoft Corporation Generating a task-adapted acoustic model from one or more supervised and/or unsupervised corpora
US20030190593A1 (en) * 2002-04-05 2003-10-09 Wisnosky Dennis E. Systems and methods for the automated generation of individual transition plans
US8015143B2 (en) * 2002-05-22 2011-09-06 Estes Timothy W Knowledge discovery agent system and method
JP5087273B2 (ja) * 2003-06-18 2012-12-05 ザイ コーポレイション オブ カナダ インコーポレイテッド 設定可能な情報特定システム及び方法
CN1570901A (zh) * 2003-07-23 2005-01-26 台达电子工业股份有限公司 手持交互式字典查询装置及其方法
JP4411900B2 (ja) * 2003-08-08 2010-02-10 ソニー株式会社 電子機器間の相互成長システム、電子機器及びロボット装置
US7450567B1 (en) * 2003-09-08 2008-11-11 Avaya Inc. Web-based personal assistant
US8442839B2 (en) * 2004-07-16 2013-05-14 The Penn State Research Foundation Agent-based collaborative recognition-primed decision-making
US7590589B2 (en) * 2004-09-10 2009-09-15 Hoffberg Steven M Game theoretic prioritization scheme for mobile ad hoc networks permitting hierarchal deference
US7370022B2 (en) * 2005-07-08 2008-05-06 Honda Motor Co. Building plans for household tasks from distributed knowledge
US8666928B2 (en) * 2005-08-01 2014-03-04 Evi Technologies Limited Knowledge repository
US20070043687A1 (en) * 2005-08-19 2007-02-22 Accenture Llp Virtual assistant
US8677377B2 (en) * 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7606700B2 (en) * 2005-11-09 2009-10-20 Microsoft Corporation Adaptive task framework
US7822699B2 (en) * 2005-11-30 2010-10-26 Microsoft Corporation Adaptive semantic reasoning engine
US7962479B2 (en) * 2005-11-09 2011-06-14 Yahoo! Inc. System and method for generating substitutable queries
US7933914B2 (en) * 2005-12-05 2011-04-26 Microsoft Corporation Automatic task creation and execution using browser helper objects
US8131718B2 (en) * 2005-12-13 2012-03-06 Muse Green Investments LLC Intelligent data retrieval system
US7809665B2 (en) * 2006-03-22 2010-10-05 Sony Corporation Method and system for transitioning from a case-based classifier system to a rule-based classifier system
US20080019575A1 (en) * 2006-07-20 2008-01-24 Anthony Scalise Digital image cropping using a blended map
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080086290A1 (en) * 2006-10-04 2008-04-10 Wilson Ian A Method for modeling task and workload
US20080140786A1 (en) * 2006-12-07 2008-06-12 Bao Tran Systems and methods for commercializing ideas or inventions
US7885913B2 (en) * 2007-03-28 2011-02-08 Yahoo! Inc. Distributed collaborative knowledge generation system wherein students perform queries using a dynamic knowledge database and retrieved subsets of data are shared with multiple users on the web
US20090132088A1 (en) * 2007-04-24 2009-05-21 Tairob Ltd. Transfer of knowledge from a human skilled worker to an expert machine - the learning process
US20090043749A1 (en) * 2007-08-06 2009-02-12 Garg Priyank S Extracting query intent from query logs
JP2009053303A (ja) * 2007-08-24 2009-03-12 Nippon Telegr & Teleph Corp <Ntt> 議論知識グラフ構築方法、議論知識グラフ構築装置、議論知識グラフ構築プログラムおよびそのプログラムを記録した記録媒体
US8065173B2 (en) * 2007-10-29 2011-11-22 Suhayya Abu-Hakima Collaborative multi-agent system for dynamic management of electronic services in a mobile global network environment
US7877389B2 (en) * 2007-12-14 2011-01-25 Yahoo, Inc. Segmentation of search topics in query logs
US8326998B2 (en) * 2007-12-20 2012-12-04 Verizon Patent And Licensing Inc. Multimedia personal assistant
EP2231007A1 (en) * 2008-01-11 2010-09-29 Oregon Health and Science University Rapid serial presentation communication systems and methods
GB2458461A (en) * 2008-03-17 2009-09-23 Kai Yu Spoken language learning system
US20090240539A1 (en) * 2008-03-21 2009-09-24 Microsoft Corporation Machine learning system for a task brokerage system
US8694355B2 (en) * 2008-05-30 2014-04-08 Sri International Method and apparatus for automated assistance with task management
US20100223212A1 (en) * 2009-02-27 2010-09-02 Microsoft Corporation Task-related electronic coaching
US9858925B2 (en) * 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9039419B2 (en) * 2009-11-06 2015-05-26 International Business Machines Corporation Method and system for controlling skill acquisition interfaces
US20110119269A1 (en) * 2009-11-18 2011-05-19 Rakesh Agrawal Concept Discovery in Search Logs
US8762374B1 (en) * 2010-03-08 2014-06-24 Emc Corporation Task driven context-aware search
US8694304B2 (en) * 2010-03-26 2014-04-08 Virtuoz Sa Semantic clustering and user interfaces
US8386929B2 (en) * 2010-06-22 2013-02-26 Microsoft Corporation Personal assistant for task utilization
WO2012030838A1 (en) * 2010-08-30 2012-03-08 Honda Motor Co., Ltd. Belief tracking and action selection in spoken dialog systems
EP2637594A4 (en) * 2010-11-11 2015-05-06 Univ Johns Hopkins ROBOT SYSTEMS FOR HUMAN MACHINE COLLABORATION
US9575776B2 (en) * 2010-12-30 2017-02-21 Samsung Electrônica da Amazônia Ltda. System for organizing and guiding a user in the experience of browsing different applications based on contexts
US9785242B2 (en) * 2011-03-12 2017-10-10 Uday Parshionikar Multipurpose controllers and methods
US20120290509A1 (en) * 2011-05-13 2012-11-15 Microsoft Corporation Training Statistical Dialog Managers in Spoken Dialog Systems With Web Data
KR20120132716A (ko) * 2011-05-30 2012-12-10 주식회사 크레듀 소셜 네트워크 서비스를 이용한 협력 학습 시스템
US9082402B2 (en) * 2011-12-08 2015-07-14 Sri International Generic virtual personal assistant platform
US20130159377A1 (en) * 2011-12-15 2013-06-20 AsystMe, LLC Proactive automated personal assistant
US20130231990A1 (en) * 2012-03-01 2013-09-05 Sears Brands, Llc Methods and systems for providing personal shopping services
US20130254139A1 (en) * 2012-03-21 2013-09-26 Xiaoguang Lei Systems and methods for building a universal intelligent assistant with learning capabilities
US9489636B2 (en) * 2012-04-18 2016-11-08 Tagasauris, Inc. Task-agnostic integration of human and machine intelligence
US8990128B2 (en) * 2012-06-05 2015-03-24 International Business Machines Corporation Graph-based framework for multi-task multi-view learning
US9390174B2 (en) * 2012-08-08 2016-07-12 Google Inc. Search result ranking and presentation
US9085303B2 (en) * 2012-11-15 2015-07-21 Sri International Vehicle personal assistant
WO2014088588A1 (en) * 2012-12-07 2014-06-12 Empire Technology Development Llc Personal assistant context building
US20150121203A1 (en) * 2013-10-25 2015-04-30 Palo Alto Research Center Incorporated System and method for generating uniform format pages for a system for composing messages
US20150121202A1 (en) * 2013-10-25 2015-04-30 Palo Alto Research Center Incorporated System and method for transmitting mixed content type messages
US10296570B2 (en) * 2013-10-25 2019-05-21 Palo Alto Research Center Incorporated Reflow narrative text objects in a document having text objects and graphical objects, wherein text object are classified as either narrative text object or annotative text object based on the distance from a left edge of a canvas of display
US9659279B2 (en) * 2013-10-25 2017-05-23 Palo Alto Research Center Incorporated Method and system for enhanced inferred mode user interface operations
US20150121179A1 (en) * 2013-10-25 2015-04-30 Palo Alto Research Center Incorporated System and method for creating graphically rich messages incorporating shared docments

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210036878A (ko) * 2020-09-15 2021-04-05 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 정보 푸시 방법, 장치, 기기 및 저장매체

Also Published As

Publication number Publication date
WO2014113349A1 (en) 2014-07-24
CN104937612A (zh) 2015-09-23
JP2016509301A (ja) 2016-03-24
US20140201629A1 (en) 2014-07-17
EP2946346A1 (en) 2015-11-25

Similar Documents

Publication Publication Date Title
KR20150107754A (ko) 사용자 생성 지식을 통한 협력 학습 기법
AU2019208255B2 (en) Environmentally aware dialog policies and response generation
US9292492B2 (en) Scaling statistical language understanding systems across domains and intents
US9489114B2 (en) Showing interactions as they occur on a whiteboard
US9875237B2 (en) Using human perception in building language understanding models
US20130339831A1 (en) Dynamic reports connected to project data
US20140281868A1 (en) Semantic zoom-based navigation of displayed content
US20140181219A1 (en) Suggesting related items
US9830039B2 (en) Using human wizards in a conversational understanding system
US20140129910A1 (en) Dynamic layout of content in a grid based application
US20140350931A1 (en) Language model trained using predicted queries from statistical machine translation
US20140068547A1 (en) Sharing application code across platforms
US20130262105A1 (en) Dynamic long-distance dependency with conditional random fields
US20140207448A1 (en) Adaptive online feature normalization for speech recognition

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid