KR102406236B1

KR102406236B1 - 대화 이해 시스템 구축 기법

Info

Publication number: KR102406236B1
Application number: KR1020217029117A
Authority: KR
Inventors: 루히 사리카야; 다니엘 보이에스; 래리 헥; 타소스 아나스타사코스
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2013-06-21
Filing date: 2014-06-05
Publication date: 2022-06-07
Also published as: KR102303483B1; KR20160021787A; CN110263327A; KR20210114562A; US9311298B2; US20140379326A1; WO2014204659A2; EP3011472A2; US20170255612A1; US9697200B2; US20160203125A1; WO2014204659A3; CN105474170A; CN110263327B; US10572602B2; CN105474170B

Abstract

대화 이해(CU) 서비스에서 애셋을 이용하여 대화 이해를 위한 애플리케이션을 인에이블하는 방법은, 애플리케이션에 대하여 이용할 도메인을 결정하는 단계; 애플리케이션에서 이용할 도메인과 연관되는 애플리케이션 프로그래밍 인터페이스(API)의 선택을 수신하는 단계; API의 선택 및 결정된 도메인에 기초하여 CU 서비스에 대하여 모델을 자동으로 갱신하는 단계; 및 모델을 CU 서비스에 이용 가능하게 만드는 단계를 포함한다.

Description

대화 이해 시스템 구축 기법{BUILDING CONVERSATIONAL UNDERSTANDING SYSTEMS}

대화 이해(CU: conversational understanding) 시스템은 다양한 애플리케이션에 이용된다. 예컨대, CU 시스템은 사용자가 콘텐트를 검색하거나, 아이템을 구매하거나, 방향을 취득하는 등을 할 수 있게 개발되고 있다. CU 개발 프로세스는, CU 구축 프로세스의 각 단계에서, 과학자 및 컴퓨터 언어학자와 같은 전문가를 이용한다. 예컨대, CU 애플리케이션의 생성시에 사용되는 데이터의 레이블링(labeling)에 전문가가 이용된다.

본 개요는 후속하여 발명의 상세한 설명 부분에서 설명되는 개념들 중 선택된 것들을 단순화된 형태로 소개하고자 제공되는 것이다. 본 개요는 청구항의 청구대상의 핵심적인 특징이나 필수적인 특징들을 밝히고자 함이 아니며, 청구항의 청구대상의 범위를 결정하는 데 도움이 되고자 함도 아니다.

개발자는 CU 서비스 또는 플랫폼에서 이용 가능한 애셋(asset) 및 툴(tool)의 도움으로 대화 이해(CU) 시스템을 구축할 수 있다. 툴 및 애셋은 개발자가 CU용 애플리케이션을 이용할 수 있게 하는 한편, CU 서비스와 상호작용해서 해당 CU 서비스를 확장할 수 있게 하도록 제공된다. 툴은 레이블링 툴, 트레이닝 툴, 타당성 검증 툴 등과 같은 다양한 툴을 포함하지만, 이들에 한정되는 것은 아니다. 툴은 기존 도메인에서 커버리지(coverage)를 선택하고, 하나 이상의 도메인의 커버리지를 확장하고, 또한 CU 서비스에서 신규 도메인을 생성하는 데 이용될 수 있다. 예컨대, 개발자는 애플리케이션에 포함시키기 위해 CU 서비스 내의 하나 이상의 기존 도메인(예컨대, 날씨, 경재, 뉴스, 스포츠, ...)으로부터 하나 이상의 애플리케이션 프로그래밍 인터페이스(API)를 선택할 수 있다. 개발자는 CU 서비스 내의 모델을 갱신하는 데 사용되는 데이터를 개발자가 레이블링하는 것을 돕기 위해 툴에 의해 분석되는 예시적인 자연 언어(NL) 문장을 제공할 수 있다. 예컨대, 툴은 개발자가 예시적인 NL 문장으로부터 도메인을 식별하고, 인텐트 액션(intent actions)을 결정하고, 인텐트 객체(intent objects)를 결정하고, 슬롯(slots)을 결정하는 것을 도울 수 있다. 툴은 예시적인 NL 문장에 대하여 가능한 레이블을 자동으로 결정하는 한편, 사용자가 신규 도메인, 인텐트 액션, 인텐트 객체 및 슬롯을 생성하는 것을 허용한다. 예컨대, 툴은 개발자가 인텐트 및 슬롯에 대하여 그 자신의 태그를 추가하거나 또는 자동으로 결정된 태그를 선택하는 데 이용될 수 있다. 개발자가 예시적인 NL 문장의 전부 또는 일부에 태그를 붙인 후에, CU 서비스 내의 모델은 자동으로 갱신되고 타당성 검증이 이루어진다. 예컨대, 타당성 검증 툴은 테스트 데이터에 대한 모델의 정밀도를 결정하는 데 이용될 수 있다.

도 1은 대화 이해 서비스와 상호작용하기 위한 애플리케이션을 생성하는 개발자용 툴을 포함하는 시스템을 도시한 것이다.
도 2는 예시적인 NL 문장을 레이블링하기 위한 예시적인 그래픽 사용자 인터페이스를 도시한 것이다.
도 3은 대화 이해 서비스와 상호작용하기 위한 애플리케이션을 생성하는 툴을 이용하는 프로세스를 도시한 것이다.
도 4는 도메인 모델, 인텐트 모델, 또는 슬롯 모델을 짜맞추는 것에 의해 또는 신규 모델을 트레이닝하기 위해 하위 데이터를 결합하는 것에 의해 맞춤형 모델을 구축하기 위해 예시적인 자연 언어 문장으로부터 도메인, 액션, 및 객체를 자동으로 검출하는 프로세스를 도시한 것이다.
도 5는 대화 이해 시스템과 연관되는 도메인을 추가 또는 갱신하는 프로세스를 도시한 것이다.
도 6은 기존의 도메인으로부터 인텐트(또는 인텐트 액션 및/또는 객체)를 재사용함으로써 신규 도메인을 대화 이해 시스템에 추가하기 위해 기존의 도메인을 이용하는 예시적인 테이블을 도시한 것이다.
도 7은 제공된 툴을 이용하여 개발자에 의해 생성된 기능을 이용해서 애플리케이션과 상호작용하는 대화 이해 시스템을 도시한 것이다.
도 8은 대화 이해 애플리케이션을 개발하기 위한 툴을 제공하는 예시적인 온라인 시스템을 도시한 것이다.
도 9, 도 10a, 도 10b 및 도 11 및 관련 기재는 본 발명의 실시예가 실시될 수 있는 다양한 운영 환경의 논의를 제공한다.

이하에서는 도면을 참조하여 다양한 실시예를 설명하며, 도면에서 유사한 참조번호는 유사한 요소들을 나타낸다.

도 1은 대화 이해 서비스와 상호작용하기 위한 애플리케이션을 생성하기 위해 개발자용 툴을 포함하는 시스템을 도시한 것이다.

도시된 바와 같이, 시스템(100)은 대화 이해(CU) 서비스(105), 개발 관리자(26), 애플리케이션 프로그래머 인터페이스(API)(120), 모델(140), 데이터(150), 레이블링 툴(160), 트레이닝 툴(170), 타당성 검증 툴(180), 애플리케이션(110) 및 터치 스크린 입력 장치(115)를 포함한다.

일반적으로, CU 서비스(105)와 같은 목표 지향적 CU 서비스에서의 자연 언어 이해(Natural Language Understanding(NLU))는, 자연 언어(NL)로 표현되는, 사용자의 도메인(들) 및 인텐트(들)의 식별에 지향되어 있고, 연관된 인수(arguments) 또는 슬롯을 추출하는 것이다. 예컨대, 항공사 도메인에 있어서, 사용자는 운항 정보를 요청(예컨대, "다음주에 뉴욕에서 보스톤으로 가는 항공편이 있습니까(I want to fly to Boston from New York next week)")하곤 한다. 사용자가 자연 언어를 이용해서 영화를 검색하고 해당 영화를 자연 언어 커맨드로 재생하곤 하는 영화 도메인에 있어서는, 다수의 상이한 슬롯 유형(예컨대, 영화 배우, 영화 출시일, 영화 등급 등)이 존재한다. NLU 시스템의 종래의 트레이닝은 전문가에 의해 수동으로 레이블링(도메인, 인텐트, 및 슬롯)되거나 또는 자동으로 레이블링되고 전문가에 의해 검사되는 쿼리(queries)를 이용한다.

개발 관리자(26)는 CU 서비스(105)와 상호작용하기 위한 애플리케이션을 개발 및 구축함에 있어서 개발자를 돕는 툴을 제공하도록 구성된다. 툴은 레이블링 툴(160), 트레이닝 툴(170), 타당성 검증 툴(180) 등과 같은 다양한 툴을 포함하지만, 이들에 한정되는 것은 아니다.

기존의 도메인에서 커버리지를 선택하고, 하나 이상의 도메인을 확장하고, 또한 CU 서비스와 상호작용하는 신규 도메인을 생성하는 데 상이한 툴들이 이용될 수 있다. 예컨대, 개발자는 애플리케이션에 의해 액세스되는 CU 서비스(105) 내의 하나 이상의 기존의 도메인(예컨대, 날씨, 경제, 뉴스, 스포츠, ...)으로부터 하나 이상의 애플리케이션 프로그래밍 인터페이스(API)(120)를 선택할 수 있다. 일반적으로, 도메인은 이해를 위해 CU 서비스가 트레이닝되는 액션 세트와 연관되는 영역(예컨대, 영화 도메인, 음악 도메인, 책 도메인, 게임 도메인, 항공 도메인, ...)이다. 도메인은 특정 영역에 관련되는 것이 보통이지만, 하나 이상의 영역을 포함할 수도 있다. 개발자는 툴을 이용해서 CU 서비스(105)에서 도메인을 확장하거나 또는 신규 도메인을 생성할 수도 있다.

일 실시예에 따르면, CU 서비스가 추가되는 각각의 도메인에 대해서는, 새롭게 추가된 도메인을 반영하기 위해 일정한 수의 기존의 모델(140)이 갱신된다. 일 실시예에 따르면, 모델은 도메인 모델, 인텐트 액션 모델, 인텐트 객체 모델 및 슬롯 모델을 포함한다. 다른 실시예에 따르면, 신규 모델은 신규 도메인의 추가시에 생성될 수 있다.

데이터(150)는 대화 이해를 위한 애플리케이션을 생성하는 것 및 인에이블하는 것에 관련되는 데이터를 포함한다. 일 실시예에 따르면, 애플리케이션은 CU 서비스(105)와 상호작용한다. 예컨대, 데이터(150)는 CU 서비스(105)의 모델을 트레이닝하는 데 사용되는 트레이닝 데이터, CU 서비스(105)에 관련되는 하나 이상의 스키마, CU 서비스(105)에서 기존의 도메인을 확장하거나 또는 신규 도메인을 생성하는 데 사용되는 예시적인 데이터(예컨대, 예시적인 NL 문장) 등을 포함할 수 있다. 일 실시예에 따르면, 트레이닝 데이터와 같은 데이터는 도메인 및 인텐트에 걸쳐서 공유될 수 있다. 예컨대, 인텐트 액션에 대한 트레이닝 데이터는 다양한 도메인에 걸쳐서 공통될 수 있다.

레이블링 툴(160)은 개발자가 원하는 도메인, 인텐트 및 슬롯에 대하여 데이터를 레이블링하는 것을 돕는 데 이용될 수 있다. 예컨대, 레이블링 툴(160)은 개발자가 인텐트 및 슬롯에 대하여 그 자신의 태그를 추가하는 데 이용될 수 있다. 개발자는 어떤 기존의 도메인, 인텐트 액션, 인텐트 객체, 및 슬롯을 사용할지와, 추가적인 커버리지를 CU 서비스(105)에 어떻게 포함시킬지를 결정함에 있어서 개발자를 돕기 위해 레이블링 툴에 의해 분석되는 예시적인 NL 문장을 제공할 수 있다. 레이블링 툴(160)은 예시적인 NL 문장에 대하여 가능한 레이블을 자동으로 결정하고 사용자가 신규 도메인, 인텐트 액션, 인텐트 객체 및 슬롯을 생성하는 것을 허용한다. 예컨대, 툴은 개발자가 인텐트 및 슬롯에 대하여 그 자신의 태그를 추가하거나 또는 자동으로 결정된 태그를 선택하는 데 이용될 수 있다. 레이블링 툴(160)은 도메인 검출기(122), 인텐트 액션 검출기(123), 인텐트 객체 검출기(124) 및 슬롯 태깅 컴포넌트(slot tagging component)(125)를 이용할 수 있다.

도메인 검출기(122)는 상이한 NL 문장들로부터 도메인들을 식별한다. 예컨대, 개발자는 그들이 CU 서비스용으로 커버하고 싶은 예시적인 NL 문장을 제공할 수 있다. 도메인 검출기(122)는 예시로부터 단일의 도메인 또는 다수의 도메인을 식별할 수 있다. 예컨대, 도메인 검출기(122)는 하나의 예시적인 NL 문장으로부터 영화 도메인과 소셜 도메인을 모두 식별하고, 다른 예시적인 NL 문장으로부터는 영화 도메인을 식별할 수 있다. 예시로부터 검출되는 도메인은 이미 CU 서비스(105)에 의해 지원될 수 있거나 또는 그렇지 않을 수 있다. 도메인 검출기(122)의 결과는 그래픽 사용자 인터페이스(GUI)(112)에서 디스플레이될 수 있다.

인텐트 액션 검출기(123)는 현재의 예시적인 NL 문장에 대하여 인텐트 액션을 예측하도록 구성된다. 인텐트 액션은 예시적인 NL 문장에서 수행되는 액션(예컨대, 검색, 포스팅, 플레이, 구매, ...)이다. 예컨대, 인텐트 액션 검출기(123)는 취득 액션; 검색 액션; 포스팅 액션; 플레이 액션 등의 인텐트 액션을 현재의 NL 문장에 대하여 예측할 수 있다. 예측된 인텐트 액션은 예측된 인텐트 액션이 원하는 액션인지를 판정하기 위해 GUI(112)에서 개발자에게 디스플레이될 수 있다.

각각의 판정된 인텐트 액션에 대하여, 인텐트 객체 검출기(124)에 의해 하나 이상의 인텐트 객체가 식별된다. 인텐트 객체는 그 판정된 인텐트 액션에 관련되는 객체이다. 인텐트 객체는 판정된 인텐트 액션의 객체(예컨대, 영화, 사진, 아이템, ...)이다. 인텐트 객체 검출기(124)의 결과는 그래픽 사용자 인터페이스(GUI)(112)에 디스플레이될 수 있다. 일 실시예에 따르면, 인텐트(즉, 인텐트 액션과 인텐트 객체의 조합)는 현재의 예시적인 NL 문장으로부터 결정된다.

슬롯 태깅은 결정된 도메인, 인텐트 액션, 및 인텐트 객체를 이용해서 슬롯 태깅 컴포넌트(125)에 의해 수행된다. 일반적으로, 슬롯 태깅은 어떤 슬롯이 NL 문장의 단어들과 연관되는지를 식별한다. 예시적인 NL 문장은 예측을 이용해서 자동으로 태깅되고 나서, 결정시에 개발자에 의해 수정될 수 있다. 예컨대, 개발자는 GUI(112)를 이용해서 태깅을 변경할 수 있다. 슬롯 태깅 컴포넌트(125)의 결과는 그래픽 사용자 인터페이스(GUI)(112)에 디스플레이될 수 있다.

트레이닝 툴(170)은 CU 서비스(105)의 모델을 갱신하는 데 이용될 수 있는 상이한 툴들을 포함한다. 예컨대, 개발자는 추가적인 트레이닝 데이터로 하나 이상의 모델을 갱신하기 위해 트레이닝 툴을 선택할 수 있다.

타당성 검증 툴(180)은 개발자가 갱신된 모델의 정밀도를 결정하는 데 이용될 수 있다. 예컨대, 타당성 검증 툴(180)은 모델을 이용해서 얻어지는 결과를 예측된 결과와 비교하는 데 이용될 수 있다. 타당성 검증 툴(180)은 또한 개발자가 개별적인 예시가 정확하게 처리되는지를 확인하는 데 이용될 수 있다. 타당성 검증 툴(180)이 결과가 부정확하다고 지시할 경우에, 결과는 (예컨대, 레이블을 변경함으로써) 수정될 수 있다.

개발 관리자(26)와의 통신을 용이하게 하기 위해, 하나 이상의 콜백(callback) 루틴이 구현될 수 있다. 실시예에 따르면, 애플리케이션 프로그램(110)은 스피치(speech) 입력 및 터치 감응식 입력 장치(115) 또는 다른 입력 장치로부터의 입력을 수신하도록 구성되는 다모드(multimodal) 애플리케이션이다. 예를 들어, 음성 입력, 키보드 입력(예컨대, 물리적 키보드 및/또는 SIP), 비디오 기반 입력 등이다. 애플리케이션 프로그램(110)은 또한 다모드 출력(예컨대, 스피치, 그래픽, 진동, 사운드, ...)을 제공할 수 있다. 개발 관리자(26)는 사용자 입력(예컨대, 스피치, 제스처)에 응답하여 애플리케이션(110)에 대하여 정보를 제공할 수 있다. 예컨대, 사용자는 애플리케이션(110)에 의해 수행할 태스크를 식별하기 위해 구절(예컨대, 영화를 선택, 아이템을 구매, 제품을 식별, ...)을 말할 수 있다. 제스처는 집기(pinch) 제스처; 스트레치 제스처; 선택 제스처(예컨대, 디스플레이된 요소에 대한 탭 액션); 선택 및 유지 제스처(예컨대, 디스플레이된 요소에 대하여 수신된 탭 및 유지 제스처); 스와이핑(swiping) 액션 및/또는 드래깅 액션 등을 포함할 수 있지만, 이들에 한정되는 것은 아니다. 제스처는 또한 웨이브 제스처, 스크롤 제스처, 가이드 제스처 등과 같은 선택적으로 캡처된 제스처를 포함할 수 있다. 예컨대, MICROSOFT KINECT와 같은 장치를 이용해서 제스처를 검출할 수 있다.

예시된 바와 같은 시스템(100)은 터치 입력(예컨대, 터치 스크린을 손가락으로 터치하는 행위 또는 거의 터치하는 행위)이 언제 수신되었는지를 검출하는 터치 스크린 입력 장치(115)를 포함한다. 임의의 유형의 터치 스크린을 이용해서 사용자의 터치 입력을 검출할 수 있다. 상세한 내용은 아래에 제공된다.

도 2는 예시적인 NL 문장을 레이블링하기 위한 예시적인 그래픽 사용자 인터페이스를 도시한다.

예시된 바와 같이, 도 2는 현재의 NL 예시 문장(205), 도메인 섹션(210), 인텐트 액션 섹션(220), 인텐트 객체 섹션(230), 및 슬롯 섹션(240)을 포함하는 그래픽 사용자 인터페이스(GUI)(200)를 도시한다.

일 실시예에 따르면, CU 서비스는 하나 이상의 도메인에 대하여 트레이닝되는, 도메인 모델, 하나 이상의 인텐트 모델 및 슬롯 모델을 포함하는 모델 세트를 포함한다. 설명을 위해, 하기의 예시는 게임 도메인, 영화 도메인, 음악 도메인, 및 포괄적 커맨드 도메인을 포함하는 4개의 상이한 도메인에 대하여 트레이닝되는 CU 서비스에 관련된다. CU 서비스에 대하여 모델을 트레이닝하는 데 사용되는 데이터에는 주석이 달린다. 상술한 바와 같이, 레이블링 툴은 개발자가 모델을 갱신하는 데 사용된 데이터에 레이블링하는 것을 돕는 데 이용될 수 있다.

현재의 예시에 있어서, 개발자는 스포츠 및 가능한 다른 도메인에 관련되는 예시적인 NL 문장을 제출했다. 일반적으로, 예시적인 NL 문장은 개발되는 애플리케이션과 사용자가 어떻게 상호작용하게 되는지를 예시하는 문장이다. 예컨대, 스포츠 애플리케이션에서, 도메인은 스포츠 도메인, 날씨 도메인, 영화 도메인, 포괄적 커맨드 도메인 등에 관련되는 정보를 포함할 수 있다.

개발자에 의해 제출된 각각의 예시적인 NL 문장은 레이블링 툴에 의해 처리될 수 있다. 예시적인 NL 문장을 이용해서 추가적인 NL 문장이 자동으로 발생될 수도 있다. 예컨대, 예시적인 NL 문장과 동일한 의미를 나타내는 다른 방식들을 내포하는 강화된 문장 리스트를 자동으로 발생시키는 문장 환언(rephrasing) 툴을 이용해서 예시적인 NL 문장이 환언될 수 있다.

GUI(200)는 예시적인 NL 문장(205), 즉 "코비 브라이언트의 점프 슛 사진들을 보여달라(Show me Kobe Bryant jump shot pictures)"의 처리를 도시한다.

도메인 섹션(210)은 예시적인 NL 문장(205)에 대하여 도메인 검출기를 실행한 결과를 도시한다. 도메인 검출기는 자동으로 실행될 수 있거나 또는 수동으로 실행될 수 있다. 예컨대, 개발자는 도메인 검출기를 실행하기 위해 도메인(Domain) 옵션(212)을 선택할 수 있다. 예시된 바와 같이, 도메인 검출기는 예시적인 NL 문장(205) 및 도메인에 대한 신뢰도 점수(confidence score)에 관련되는 CU 서비스 내의 가용 도메인들로부터 도메인을 식별한다. 신뢰도 점수는 예시적인 NL 문장에 대하여 도메인이 정확하게 식별되는지의 여부에 대한 지시를 개발자에게 제공한다. 일 실시예에 따르면, 신뢰도 점수는 0과 1 사이의 범위이며, 여기서는 점수가 높을수록 낮은 점수에 비해 도메인이 예시적인 NL 문장에 더 관련됨을 의미한다. 개발자는 (도메인 옆에 디스플레이된 박스를 선택함으로써) 제안된 도메인들 중 하나를 택하거나 또는 도메인 추가(Add Domain) 옵션(214)을 선택함으로써 그 자신의 도메인을 추가할 수 있다. 현재의 예시에서는, 개발자가 신규 "스포츠(Sports)" 도메인을 추가했다.

인텐트 액션 섹션(220)은 예시적인 NL 문장(205)에 대하여 인텐트 액션 검출기를 실행한 결과를 도시한다. 인텐트 액션 검출기는 자동으로 실행될 수 있거나 또는 수동으로 실행될 수 있다. 예컨대, 개발자는 인텐트 액션 검출기를 실행하기 위해 인텐트 액션(Intent Action) 옵션(222)을 선택할 수 있다. 인텐트 액션 분류기의 실행에 응답하여, 가장 공산이 큰 인텐트 액션(예컨대, 가장 높은 N 결과)이 신뢰도 점수와 함께 디스플레이된다. 개발자는 또한 모델에 이미 내포되어 있는 디스플레이된 인텐트 액션 레이블을 이용하는 예시적인 NL 문장을 확인하기 위해 예시 확인(See Examples) 옵션(226)을 선택할 수 있다. 개발자는 예시적인 NL 문장을 예시 문장들과 비교해서 제안된 인텐트 액션들 중 하나를 택하도록 결정하거나, 또는 개발자는 예시적인 NL 문장을 레이블링하기 위해 그 자신의 인텐트 액션을 추가하도록 선택할 수 있다. 예컨대, 사용자는 인텐트 액션 추가(Add Intent Action) 옵션(224)을 선택할 수 있다.

인텐트 객체 섹션(230)은 예시적인 NL 문장(205)에 대하여 인텐트 객체 검출기를 실행한 결과를 도시한다. 인텐트 객체 검출기는 자동으로 실행될 수 있거나 또는 수동으로 실행될 수 있다. 예컨대, 개발자는 인텐트 객체 검출기를 실행하기 위해 인텐트 객체(Intent Object) 옵션(232)을 선택할 수 있다. 인텐트 객체 분류기의 실행에 응답하여, 가장 공산이 큰 인텐트 객체(예컨대, 가장 높은 N 결과)가 신뢰도 점수와 함께 디스플레이된다. 개발자는 또한 모델에 이미 내포되어 있는 디스플레이된 인텐트 객체 레이블을 이용하는 예시적인 NL 문장을 확인하기 위해 예시 확인(See Examples) 옵션(236)을 선택할 수 있다. 개발자는 예시적인 NL 문장을 예시 문장들과 비교해서 제안된 인텐트 객체들 중 하나를 택하도록 결정하거나, 또는 개발자는 예시적인 NL 문장을 레이블링하기 위해 그 자신의 인텐트 객체를 추가하도록 선택할 수 있다. 예컨대, 사용자는 인텐트 객체 추가(Add Intent Object) 옵션(234)을 선택할 수 있다.

슬롯 섹션(240)은 예시적인 NL 문장(205)에서 엔티티를 슬롯 태깅한 결과를 도시한다. 슬롯 태깅은 자동으로 실행될 수 있거나 또는 수동으로 실행될 수 있다. 예컨대, 개발자는 슬롯 태깅을 실행하기 위해 슬롯 태깅(Slot Tagging) 옵션(242)을 선택할 수 있다. 슬롯 태깅의 실행에 응답하여, 상이한 검출 슬롯들(예컨대, 가장 높은 N 결과)이 신뢰도 점수와 함께 디스플레이된다. 개발자는 또한 모델에 이미 내포되어 있는 유사한 슬롯들을 확인하기 위해 예시 확인(See Examples) 옵션(246)을 선택할 수 있다. 개발자는 제안된 것을 택하거나 또는 문장의 순서를 강조표시하도록 선택할 수 있으며, 신규 슬롯 추가(Add New Slot) 옵션(244)을 선택함으로써 신규 슬롯 이름을 부여할 수 있다. 현재의 예시에서는, 개발자가 신규 "운동선수(Athlete)" 슬롯을 생성했다.

하나 이상의 문장에 대하여 상기 스텝들을 수행한 후에, 플랫폼은 예시적인 NL 문장의 다음 세트에 대하여 개발자에게 보다 나은 제안을 하기 위해 모델을 자동으로 갱신한다.

제시된 프로세스는 개발자들이 그들의 데이터를 기존의 데이터와 유사하게 레이블링하게 만든다.

도 3 내지 도 5는 대화 이해 시스템을 구축하기 위해 툴을 이용하는 프로세스를 예시한다. 본 명세서에 제시된 처리 순서에 대한 논의를 참고할 때, 다양한 실시예들의 논리적인 동작들은 (1) 컴퓨팅 시스템에서 실행되는 컴퓨터 구현 동작 또는 프로그램 모듈들의 시퀀스 및/또는 (2) 컴퓨팅 시스템 내에서의 상호접속된 머신 로직 회로 또는 회로 모듈들로서 구현된다는 것을 이해해야 한다. 이러한 구현은 본 발명을 구현하는 컴퓨팅 시스템의 성능 요건에 따른 선택의 문제이다. 따라서, 본 명세서에 기술된 실시예들을 구성하는 예시된 논리적 동작들은 동작, 구조적 장치, 액트 또는 모듈로서 다양하게 지칭된다. 이들 동작, 구조적 장치, 액트 및 모듈은 소프트웨어, 펌웨어, 특수 목적 디지털 로직, 및 이들의 임의의 조합으로 구현될 수 있다.

도 3은 대화 이해 서비스와 상호작용하기 위한 애플리케이션을 생성하기 위해 툴을 이용하는 프로세스를 도시한다.

개시 동작 이후에, 프로세스(300)는 동작(310)으로 이동하고, 여기서는 CU 애플리케이션을 개발 및 가능하게 하기 위한 툴이 디스플레이된다. 툴은 개발자가 대화 이해(CU) 시스템 및 서비스와 상호작용하기 위한 애플리케이션을 구축할 수 있게 하기 위해 제공된다. 툴은 API 선택 툴, 레이블링 툴, 트레이닝 툴, 타당성 검증 툴 등과 같은 다양한 툴을 포함하지만, 이들에 한정되는 것은 아니다. 툴은 기존의 도메인으로부터 기능을 선택하고, 하나 이상의 도메인을 확장하고, 또한 신규 도메인을 생성하는 데 사용될 수 있다.

동작(320)으로 이행하면, 툴은 애플리케이션뿐만 아니라 애플리케이션용의 상응하는 API에서 어떤 도메인을 사용할지를 결정하는 데 이용된다. 예컨대, 도메인 검출기는 개발되는 애플리케이션에 관련되는 CU 서비스에서 기존의 도메인을 식별하는 데 이용될 수 있다. 사용자는 또한 하나 이상의 도메인과 연관되는 하나 이상의 기존의 API를 선택할 수 있다.

결정 동작(330)으로 이동하면, 도메인에 대한 갱신이 있는지의 여부 또는 도메인이 CU 시스템에 추가되는지의 여부에 대하여 판정이 이루어진다. 도메인에 대한 갱신이 없거나 또는 도메인이 추가되지 않는 경우에는, 프로세스는 동작(350)으로 이동한다. 도메인에 대한 갱신이 있거나 또는 도메인이 추가되는 경우에는, 프로세스는 동작(340)으로 이동한다.

동작(340)에서, 툴은 모델의 갱신 및 타당성 검증에 이용된다. 예컨대, 레이블링 툴, 트레이닝 툴 및 타당성 검증 툴은 개발자가 개발되고 있는 애플리케이션에 대한 커버리지를 포함하도록 CU 서비스를 갱신하는 데 이용될 수 있다.

동작(350)으로 이동하면, CU 시스템 내의 모델이 애플리케이션에 의해 이용된다. 모델은 하나 이상의 애플리케이션에 의해 이용될 수 있다.

이후, 프로세스는 종료 동작으로 이동하고, 다른 액션의 처리로 복귀한다.

도 4는 도메인 모델, 인텐트 모델, 또는 슬롯 모델을 짜맞추는 것에 의해 또는 신규 모델을 트레이닝하기 위해 하위 데이터를 결합하는 것에 의해 맞춤형 모델을 구축하기 위해 예시적인 자연 언어 문장으로부터 도메인, 액션, 및 객체를 자동으로 검출하는 프로세스를 도시한다.

개시 동작 이후에, 프로세스(400)는 동작(410)으로 이동하고, 여기서는 예시적인 NL 문장이 수신된다. 예시적인 NL 문장들은 상이한 형태들로 수신될 수 있다. 예컨대, 예시는 문장 또는 발언의 형태로 될 수 있다. 예컨대, 예시적인 NL 문장은 "톰 크루즈의 최신 영화를 검색하라(find the most recent tom cruise movie)"일 수 있다. 다른 예시는 "소셜 네트워크 사이트 X에 대하여 이 링크를 포스팅하라(post this link on social network site X)"일 수 있다.

동작(420)으로 이동하면, 예시적인 NL 문장에 연관된 도메인이 검출된다. 일반적으로, 도메인은 액션 세트와 연관되는 영역(예컨대, 영화 도메인, 음악 도메인, 책 도메인, 게임 도메인, 항공 도메인, ...)이다. CU 서비스의 도메인 모델에 이미 내포되어 있는 도메인에 의존하여 0개 또는 그 이상의 도메인이 검출될 수 있다. 예컨대, 도메인 모델은 초기에 하나의 도메인(예컨대, 영화)을 포함할 수 있으며, 이후, 이 도메인이 다른 도메인(예컨대, 소셜)을 포함하도록 확장된다. 보다 많은 도메인들이 도메인 모델에서 추가 또는 제거될 수 있다. 상기에 제공된 예시에 있어서, 2개의 상이한 도메인이 검출될 수 있다(예컨대, 영화 및 소셜).

동작(430)으로 이동하면, 검출된 도메인 각각과 연관되는 인텐트 액션(들)을 결정하기 위해 도메인 검출의 출력이 사용된다. 하나 이상의 인텐트 액션이 검출될 수 있다. 인텐트 액션은 수행되어야 할 액션(예컨대, 검색, 포스팅, 플레이, 구매, ...)이다. 상기에 제공된 예시에 있어서, 검출된 인텐트 액션은 "검색" 및 "포스팅"을 포함한다. 검출된 도메인은 임의의 인텐트 액션의 검출을 돕는 데 사용될 수 있거나, 또는 그렇지 않을 수 있다. 인텐트 액션 도메인은 인텐트 액션이 연관되는 도메인(들)에 따라 상이한 인텐트 액션들을 태깅할 수 있다. 예컨대, 인텐트 액션 "검색"은 다수의 상이한 도메인(예컨대, 영화, 게임, 책, 항공, ...)과 연관될 수 있는 반면, 인텐트 액션 "포스팅"은 단일의 도메인(예컨대, 소셜)과 연관될 수 있다.

동작(440)으로 이행하면, 인텐트 객체(들)가 검출된다. 각각의 결정된 인텐트 액션에 대하여, 하나 이상의 인텐트 객체가 식별된다. 인텐트 객체는 그 결정된 인텐트 액션에 관련되는 객체이다. 인텐트 객체는 결정된 인텐트 액션의 객체(예컨대, 영화, 사진, 아이템, ...)이다. 상기에 제공된 예시에 있어서, 검출된 인텐트 객체는 "영화" 및 "사진"을 포함한다.

동작(450)으로 이동하면, 슬롯 태깅이 수행된다. 하나 이상의 슬롯 모델이 사용될 수 있다. 상기에 제공된 예시에 있어서, 영화 슬롯 모델에 대한 슬롯은 "최신(most recent)"으로 설정되는 ReleaseDate(출시일) 슬롯, "톰 크루즈(Tom Cruise)"로 설정되는 MovieStar(영화배우) 슬롯, "영화(movie)"로 설정되는 MovieType(영화 유형) 슬롯, 및 "사진(picture)"으로 설정되는 ItemType(아이템 유형) 슬롯을 포함한다. 소셜 미디어 슬롯 모델에 대한 슬롯은 "X"로 설정되는 SocialMedia(소셜 미디어) 슬롯을 포함한다. 다른 도메인들은 다른 유형의 슬롯을 포함할 수 있다. 예컨대, 여행 도메인은 출발 장소, 출발 시간, 도착 시간, 도착 목적지, 여행 방법, 제약사항(예컨대, 최저 비용, 도중하차 없음, 등)에 대한 슬롯을 포함할 수 있다. 식사 도메인은 요리 유형, 시간, 파티 사이즈, 예약 필요성, 및 관련 장소(예컨대, 도보 거리 내, 접속역(transit station), 등)에 대한 슬롯을 포함할 수 있다. 개발자는 슬롯 모델에 하나 이상의 슬롯을 추가할 수 있다. 예컨대, 여행 도메인에 대한 슬롯 모델은 여행 방법에 대한 슬롯을 포함하지 않을 수 있다. 발언을 태깅하는 제안된 예시를 이용해서, 개발자는 신규 슬롯을 생성할 수 있다.

동작(460)으로 이동하면, CU 시스템에 대한 모델은 갱신 또는 커스터마이징된다. 일 실시예에 따르면, 신규 모델이 트레이닝될 수 있다.

이후, 프로세스는 종료 동작으로 이동하고, 다른 액션들의 처리로 복귀한다.

도 5는 대화 이해 시스템과 연관되는 도메인을 추가 또는 갱신하는 프로세스를 도시한다.

개시 동작 후에, 프로세스(500)는 동작(510)으로 이동하고, 여기서는 CU 서비스에 갱신 또는 추가할 도메인이 결정된다. 하나 이상의 모델이 갱신 또는 생성될 수 있다. 일 실시예에 따르면, 도메인 모델, 인텐트 액션 모델, 인텐트 객체 모델 및 슬롯 모델을 포함하는 4개의 모델이 갱신된다. 다른 실시예에 따르면, 2개의 신규 모델(인텐트 및 슬롯 모델)이 도메인 추가시에 생성된다.

동작(520)으로 이동하면, 도메인 모델은 추가할 신규 도메인으로 갱신된다. 설명을 위해, 이해 시스템이 현재 4개의 상이한 도메인(영화, 음악, 게임 및 포괄적 커멘드)을 지원하고 있고 스포츠 도메인이 추가되어야 한다고 가정한다. 이해 시스템에 2개의 신규 모델을 추가하는 대신에, 스포츠 도메인에 관련되는 언어가 NL 문장 내에 놓이는 경우에, 신규 스포츠 도메인을 검출하기 위해 기존의 도메인 모델이 갱신된다.

동작(530)으로 이행하면, 인텐트 액션 모델에 아직 포함되어 있지 않은 임의의 신규 인텐트 액션을 지원하기 위해 인텐트 액션 모델이 갱신된다. 신규 도메인과 연관되는 다수의 인텐트 액션은 갱신되기 전에 이미 인텐트 액션 모델에 의해 지원될 수 있다. 예컨대, 스포츠 도메인과 연관되는 "취득(get)" 및 "검색(find)" 인텐트 액션은 이미 인텐트 액션 모델에 의해 지원될 수 있다. 0개 또는 그 이상의 인텐트 액션이 인텐트 액션 모델에 추가될 수 있다(예컨대, "스케줄", ...).

동작(540)으로 이동하면, 인텐트 객체 모델에 아직 포함되어 있지 않은 임의의 신규 인텐트 객체를 지원하기 위해 인텐트 객체 모델이 갱신된다. 신규 도메인과 연관되는 다수의 인텐트 객체는 갱신되기 전에 이미 인텐트 객체 모델에 의해 지원될 수 있다. 예컨대, 이미 지원된 인텐트 객체는 "게임", "사진", "인물 정보"를 포함할 수 있다. 0개 또는 그 이상의 인텐트 객체가 인텐트 객체 모델에 추가될 수 있다(예컨대, "뉴스", ...).

동작(550)으로 이동하면, 신규 도메인을 지원하기 위해 슬롯 모델이 갱신된다. 일 실시예에 따르면, 도메인을 지원하기 위해 단일의 슬롯 모델이 사용된다. 슬롯은 하나 이상의 상이한 도메인, 액션 및 인텐트와 연관될 수 있다.

도 6은 기존의 도메인으로부터 인텐트(또는 인텐트 액션 및/또는 객체)를 재사용함으로써 신규 도메인을 대화 이해 시스템에 추가하기 위해 기존의 도메인을 이용하는 예시적인 테이블을 도시한다.

설명을 위해, 예시적인 CU 서비스 내의 모델은 영화 도메인, 음악 도메인, 게임 도메인 및 포괄적 커맨드 도메인을 포함하는 4개의 상이한 도메인을 이용해서 트레이닝되지만, 이에 한정되지는 않는다. 다소간의 도메인이 모델을 트레이닝하는 데 사용될 수 있다.

현재의 예시에 있어서, 개발자는 신규 스포츠 도메인을 CU 서비스에 추가하려 한다. 일 실시예에 따르면, 개발자는 예시적인 NL 문장을 제공한다. 예시적인 NL 문장 각각에 대하여, 툴은 인텐트 액션 및 인텐트 객체를 예측한다.

테이블(600)은 예시적인 NL 문장 컬럼, 예측된 인텐트 액션 컬럼, 실제 인텐트 액션 컬럼, 예측된 인텐트 객체 컬럼, 실제 인텐트 객체 컬럼, 및 예측된 인텐트 컬럼을 포함한다. 테이블(600)은 4개의 예시적인 NL 문장을 도시한다.

테이블(600)의 참조에 의해 알 수 있듯이, 예측된 인텐트 액션은 스포츠 도메인이 현재의 CU 서비스의 일부가 아님에도 불구하고 정확하게 예측된다. 현재의 예시에 있어서, 예측된 인텐트 액션은 실제 인텐트 액션과 동일하다. 예측된 인텐트 객체는 인텐트 액션에 비해 정확하게 예측되는 것은 아니지만, 타당하다.

테이블(600) 내의 처음 2개의 NL 문장에 있어서, 처음 2개의 NL 문장 각각은 게임 또는 경기에 관련되기 때문에, 게임 도메인으로부터 "게임" 인텐트 객체 레이블이 예측된다.

3번째 NL 문장 예시는 인텐트 액션 및 인텐트 객체를 기존의 도메인과 공유하고, 정확하게 예측된다.

4번째 NL 문장 예시는, 실제 인텐트가 "뉴스 취득(get_news)"을 페치하는 것이었더라도, "인물 정보 취득(get_person_info)"을 이용해서 정보를 검색하는 오른쪽 문맥(right context)을 검출했다.

CU 서비스에서 커버된 도메인의 수가 현재의 예시에서의 4개를 넘어서 증가하기 때문에, 보다 바람직한 커버리지로 인해 예측이 더 정확해지게 된다. 실험 결과로부터, 자동으로 결정된 예측이 당시의 90% 이상 정확하다는 것을 알았다.

도 7은 제공된 툴을 이용하여 개발자에 의해 생성된 기능을 이용해서 애플리케이션과 상호작용하는 대화 이해 시스템을 예시한다.

예시된 바와 같이, 시스템(700)은 입력 관리자(710), 언어 이해 컴포넌트(720), 다이얼로그 엔진(730), 응답 생성기(740), 및 애플리케이션(770)을 포함한다.

애플리케이션(770)은 CU 서비스(705)와 상호작용하도록 구성되며 본 명세서에 기술된 바와 같은 툴을 이용해서 개발된 애플리케이션이다. 애플리케이션(770)은 CU 서비스(705)와 상호작용하기 위한 자연 사용자 인터페이스(natural user interface)(NUI) 또는 일부 다른 인터페이스를 포함할 수 있다. 예컨대, 자연 언어 다이얼로그 및 인텐트를 표현하는 다른 비언어적 양상(예컨대, 제스처, 터치, 응시, 이미지, 비디오, 구술된 운율 등)의 조합이 서비스(705)와의 상호작용에 사용될 수 있다. 예시된 바와 같이, CU 서비스(705)는 애플리케이션(770)으로부터 스피치 발언을 수신하고 사용자와 대화하도록 구성된다.

입력 관리자(710)는 애플리케이션(770)으로부터 입력(사용자 다이얼로그 액트)을 수신하도록 구성된다. 사용자 다이얼로그 액트는 상이한 유형의 사용자 입력일 수 있다. 예컨대, 사용자 다이얼로그 액트는 스피치 입력(예컨대, 발언), 터치 입력, 제스처 입력, 텍스트 입력뿐만 아니라, 다른 유형의 입력일 수 있다.

입력 관리자(710)는 자동 음성 인식기(ASR), 제스처 인식기, 필체 인식기 등과 같은 상이한 컴포넌트를 포함할 수 있다. 사용자 다이얼로그 액트가 스피치인 경우에, 스피치는 ASR을 이용해서 입력 관리자(710)에 의해 인식된다. 입력 관리자(710)는 언어 이해 컴포넌트(720)에 인도되는 텍스트를 출력한다.

언어 이해 컴포넌트(720)는 텍스트를 수신 및 분석하도록 구성된다. 일반적으로, 언어 이해 컴포넌트(720)는 의미를 텍스트의 단어들에 연관시킨다. 예컨대, 언어 이해 컴포넌트(720)는 텍스트를 태깅하고, 텍스트의 구문 해석을 수행하는 등을 할 수 있다. 언어 이해 컴포넌트(720)는 자연 언어 문장을 의미론적 표현으로 변환하는 전통적으로 규칙 기반 컴포넌트이다.

다이얼로그 엔진(730)은 사용자 다이얼로그 액트에 응답하여 머신 액션을 결정함으로써 다이얼로그를 관리한다. 다이얼로그 엔진(730)은 다이얼로그 상태 계산 컴포넌트(732)를 이용해서 가능한 다이얼로그 상태를 계산한다. 다이얼로그 관리자(734)는 머신 액션 또는 머신 액션들을 결정한다. 다이얼로그 관리자(734)에 의해 사용되는 다이얼로그 상태 정보는 다이얼로그 내에서의 현재 순번에 대한 정보뿐만 아니라 다이얼로그 내에서의 한번 이상의 지난 순번에 대한 정보를 포함한다. 다이얼로그 엔진(730)은 결정된 머신 액션을 응답 생성기(740)에 제공한다.

응답 생성기(740)는 사용자에게 어떤 유형의 응답을 제공할지를 결정한다. 예컨대, 응답 생성기(740)는 사용자에게 구술 응답을 또는 사용자에게 시각 응답을 제공하라고 결정할 수 있다. 예컨대, 텍스트-투-스피치("TTS") 컴포넌트는 결정된 때의 합성된 스피치로서 응답을 출력할 수 있다. 응답 생성기(740)는 입력에 대한 응답을 애플리케이션(770)에 제공한다.

도 8은 대화 이해 애플리케이션을 개발하기 위한 툴을 제공하는 예시적인 온라인 시스템을 예시한다.

도시된 바와 같이, 시스템(1000)은 서비스(1010), 데이터 저장부(1045), 툴(1046), 터치 스크린 입력 장치(1050)(예컨대, 슬레이트), 스마트 폰(1030) 및 디스플레이 장치(1080)를 포함한다.

도시된 바와 같이, 서비스(1010)는, 본원에서 기술되는 다이얼로그 서비스와 같은 서비스를 제공하도록 구성될 수 있는 클라우드 기반 및/또는 엔터프라이즈 기반 서비스이다. 서비스는 상이한 유형의 입력 및 출력을 사용하여 상호작용할 수 있다. 예를 들어, 사용자는 스피치 입력, 터치 입력, 하드웨어 기반 입력 등을 사용할 수 있다. 서비스(1010)에 의해 제공된 서비스들 중 하나 이상의 서비스의 기능은 클라이언트 서버 기반 애플리케이션으로서 구성될 수도 있다.

예시된 바와 같이, 서비스(1010)는 임의의 수의 테넌트(예컨대 테넌트 1 내지 N)에게 리소스(1015) 및 서비스를 제공하는 멀티테넌트 서비스이다. 멀티테넌트 서비스(1010)는, 서비스에 가입된 테넌트들에게 리소스(1015)를 제공하고 각 테넌트의 데이터를 다른 테넌트 데이터로부터 보호되도록 별도로 유지하는 클라우드 기반 서비스이다.

예시된 시스템(1000)은 터치 스크린 입력 장치(1050)(예컨대, 슬레이트 장치) 및 터치 입력이 수신된 때(예컨대, 손가락이 터치 스크린을 터치하거나 거의 터치함)를 검출하는 스마트폰(1030)을 포함한다. 사용자의 터치 입력을 검출하는 임의의 유형의 터치 스크린이 이용될 수 있다. 예를 들어, 터치 스크린은 터치 입력을 검출하는 하나 이상의 용량성 물질층을 포함할 수 있다. 용량성 물질 대신에 또는 이에 더하여 다른 센서를 사용해도 된다. 예를 들어, 적외선 센서를 사용해도 된다. 일 실시예에 따르면, 터치 스크린은 터치가능한 표면과 접촉해 있거나 또는 그 위에 있는 객체를 검출하도록 구성된다. 본 명세서에서 "위(above)"란 용어가 사용되지만, 이것은 터치 패널 시스템의 방향과는 무관함을 이해해야 한다. "위"란 용어는 그러한 모든 방향에 적용될 수 있도록 의도된다. 터치 스크린은 터치 입력이 수신되는 위치(예컨대, 시작 지점, 중간 지점 및 종료 지점)를 결정하도록 구성될 수 있다. 터치가능한 표면과 객체 사이에서의 실제 접촉은 예컨대 터치 패널에 결합된 마이크로폰 또는 진동 센서를 포함한 임의의 적절한 수단에 의해 검출될 수 있다. 접촉을 검출하기 위한 센서의 예들의 리스트는 압력 기반 메커니즘, 마이크로 머신형 가속도계, 압전 장치, 용량형 센서, 저항형 센서, 유도형 센서, 레이저 진동계, 및 LED 진동계를 포함한다.

일 실시예에 따르면, 스마트 폰(1030), 터치 스크린 입력 장치(1050), 및 장치(1080)는 다모드 입력 및 출력으로 구성되고 서비스(1010)와 상호작용하는 애플리케이션(1031, 1051, 1081)을 각각 포함하며, 툴(1046)을 이용해서 개발되었다.

예시된 바와 같이, 터치 스크린 입력 장치(1050), 스마트 폰(1030), 및 디스플레이 장치(1080)는 애플리케이션의 이용을 도시하는 예시적인 디스플레이(1052, 1032, 및 1082)를 도시한다. 데이터는 장치(예컨대, 스마트 폰(1030), 터치 스크린 입력 장치(1050)) 및/또는 몇몇 다른 장소(예컨대, 네트워크 데이터 저장부(1045))에 저장될 수 있다. 데이터 저장부(1045), 또는 몇몇 다른 저장부는 모델뿐만 아니라 다른 데이터를 저장하는 데 사용될 수 있다. 장치에 의해 사용된 애플리케이션은 클라이언트 기반 애플리케이션, 서버 기반 애플리케이션, 클라우드 기반 애플리케이션 또는 일부 조합일 수 있다. 일 실시예에 따르면, 디스플레이 장치(1080)는 디스플레이에 결합된 MICROSOFT XBOX와 같은 장치일 수 있다.

개발 관리자(26)는 본 명세서에 기술된 바와 같은 프로세스들에 관련되는 동작들을 수행하도록 구성된다. 개발 관리자(26)는 서비스(1010)와 상호작용하는 애플리케이션을 생성하기 위해 개발자에 의해 이용되는 툴(1046)에 액세스하도록 구성된다. 관리자(26)가 서비스(1010) 내부에 도시되어 있지만, 관리자의 기능은 다른 장소(예컨대, 스마트 폰(1030) 및/또는 터치 스크린 입력 장치(1050) 및/또는 장치(1080))에 포함될 수 있다.

본 명세서에 기술된 실시예들과 기능들은 데스크톱 컴퓨터 시스템, 유선 및 무선 컴퓨팅 시스템, 모바일 컴퓨팅 시스템(예컨대, 모바일 전화, 넷북, 태블릿 또는 슬레이트 타입 컴퓨터, 노트북 컴퓨터, 및 랩톱 컴퓨터), 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 또는 프로그램 가능 가전 제품, 미니컴퓨터, 및 메인프레임 컴퓨터를, 제한 없이 포함하는 다수의 컴퓨팅 시스템을 통해 동작할 수 있다.

또한, 본 명세서에 기술된 실시예들과 기능들은 분산 시스템(예컨대, 클라우드 기반 컴퓨팅 시스템)을 통해 동작할 수 있는데, 여기서 애플리케이션 기능, 메모리, 데이터 저장 및 검색, 및 다양한 처리 기능들이 인터넷 또는 인트라넷과 같은 분산 컴퓨팅 네트워크를 통해 서로 원격으로 동작할 수 있다. 다양한 유형의 정보 및 사용자 인터페이스가 온보드 컴퓨팅 장치의 디스플레이를 통해 또는 하나 이상의 컴퓨팅 장치와 연관된 원격 디스플레이 유닛을 통해 디스플레이될 수 있다. 예를 들어, 다양한 유형의 정보 및 사용자 인터페이스가 다양한 유형의 정보 및 사용자 인터페이스가 투영되는 월 서피스 상에서 디스플레이되고 상호작용될 수 있다. 본 발명의 실시예가 실시될 수 있는 다수의 컴퓨팅 시스템과의 상호작용은 키스트로크 입력, 터치 스크린 입력, 음성 또는 다른 오디오 입력, 제스처 입력 등을 포함하는데, 여기서 관련 컴퓨팅 장치가 컴퓨팅 장치의 기능을 제어하기 위한 사용자 제스처를 캡처하고 해석하기 위한 검출(예컨대, 카메라) 기능을 갖추고 있다.

도 9 내지 도 11 및 관련 설명은 본 발명의 실시예들을 실시하는데 이용될 수 있는 다양한 운영 환경에 대한 논의를 제공한다. 그러나, 도 9 내지 도 11과 관련하여 예시되고 논의되는 장치 및 시스템은 예시 및 설명을 위한 것이며 본 명세서에 기술된 본 발명의 실시예를 실시하기 위해 이용될 수 있는 다수의 컴퓨팅 장치 구성을 제한하는 것은 아니다.

도 9는 본 발명의 실시예들을 실시하는데 이용될 수 있는 컴퓨팅 장치(1100)의 물리적 컴포넌트(즉, 하드웨어)를 도시한 블록도이다. 후술하는 컴퓨팅 장치의 컴포넌트는 전술한 컴퓨팅 장치에 적합할 수 있다. 기본 구성에서, 컴퓨팅 장치(1100)는 적어도 하나의 처리 유닛(1102) 및 시스템 메모리(1104)를 포함할 수 있다. 컴퓨팅 장치의 구성 및 유형에 따라, 시스템 메모리(1104)는, 한정적인 것은 아니지만, 휘발성 저장부(예컨대, 랜덤 액세스 메모리), 비휘발성 저장부(예컨대, 리드 온리 메모리), 플래시 메모리, 또는 이들 메모리의 임의의 조합일 수 있다. 시스템 메모리(1104)는 운영 체제(1105)와, 개발 관리자(26)와 같은 소프트웨어 애플리케이션(1120)을 실행하는 데 적합한 하나 이상의 프로그램 모듈(1106)을 포함할 수 있다. 운영 체제(1105)는, 예컨대, 컴퓨팅 장치(1100)의 동작을 제어하는데 적합할 수 있다. 또한, 본 발명의 실시예는 그래픽스 라이브러리, 다른 운영 체제, 또는 임의의 다른 애플리케이션 프로그램과 함께 실시될 수 있으며 임의의 특정 애플리케이션 또는 시스템에 한정되지 않는다. 이 기본 구성은 도 9에 점선(1108) 내에 있는 컴포넌트들로 도시되어 있다. 컴퓨팅 장치(1100)는 부가적인 특징들 또는 기능을 가질 수 있다. 예를 들어, 컴퓨팅 장치(1100)는 예컨대, 자기 디스크, 광학 디스크, 또는 테이프와 같은 부가적인 데이터 저장 장치(착탈식 및/또는 비착탈식)를 또한 포함할 수 있다. 그러한 부가적인 저장부는 도 9에서 착탈식 저장 장치(1109) 및 비착탈식 저장 장치(1110)로 도시되어 있다.

전술한 바와 같이, 프로그램 모듈 및 데이터 파일이 시스템 메모리(1104)에 저장될 수 있다. 프로그램 모듈(1106)(예컨대, 개발 관리자(26))은 처리 유닛(1102)에서 실행되는 동안, 도면들에서 예시된 방법 및 프로세스의 하나 이상의 단계를 포함하는 프로세스를 수행할 수 있지만, 이에 한정되는 것은 아니다. 본 발명의 실시예에 따라 사용될 수 있는 다른 프로그램 모듈은 전자 메일 및 컨택트 애플리케이션, 워드 프로세싱 애플리케이션, 스프레드시트 애플리케이션, 데이터베이스 애플리케이션, 슬라이드 프리젠테이션 애플리케이션, 드로잉 또는 컴퓨터 지원 애플리케이션 프로그램 등을 포함할 수 있다.

또한, 본 발명의 실시예는 개별 전자 소자를 포함하는 전자 회로, 로직 게이트를 포함하는 패키지형 또는 집적형 전자 칩, 마이크로프로세서를 이용하는 회로, 또는 전자 소자 또는 마이크로프로세서를 포함하는 단일 칩에서 실시될 수 있다. 예를 들어, 본 발명의 실시예는 SOC(system-on-a-chip)를 통해 실시될 수 있는데, 도 9에 예시된 각각의 또는 다수의 컴포넌트들이 단일 집적 회로에 집적될 수 있다. 이러한 SOC 장치는 하나 이상의 처리 유닛, 그래픽스 유닛, 통신 유닛, 시스템 가상화 유닛 및 칩 기판 상에 단일 집적 회로로서 집적되는(또는 "버닝되는(burned)") 다양한 애플리케이션 기능을 포함할 수 있다. SOC를 통해 동작할 때, 개발 관리자(26)와 관련하여 본 명세서에서 설명한 기능은 단일 집적 회로(칩) 상의 컴퓨팅 장치(1100)의 다른 컴포넌트들과 통합된 애플리케이션 특정 로직을 통해 동작할 수 있다. 본 발명의 실시예들은, 기계, 광학, 유체공학, 및 양자 기술을 포함한, 예컨대, AND, OR, 및 NOT과 같은 논리 연산을 수행할 수 있는 다른 기술들을 이용하여 실시될 수도 있다. 또한, 본 발명의 실시예는 범용 컴퓨터 또는 임의의 다른 회로 또는 시스템에서 실시될 수도 있다.

컴퓨팅 장치(1100)는 또한 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치 등과 같은 하나 이상의 입력 장치(들)(1112)를 구비할 수 있다. 디스플레이, 스피커, 프린터 등과 같은 출력 장치(들)(1114) 역시 포함될 수 있다. 상술한 장치들은 예시이며, 다른 장치들이 사용될 수 있다. 컴퓨팅 장치(1100)는 다른 컴퓨팅 장치(1118)와의 통신을 허용하는 하나 이상의 통신 접속부(1116)를 포함할 수 있다. 적절한 통신 접속부(1116)의 예시로서는, RF 전송기, 수신기, 및/또는 트랜시버 회로; 범용 직렬 버스(USB), 병렬, 및/또는 직렬 포트가 있지만, 이들에 한정되는 것은 아니다.

본 명세서에서 사용된 컴퓨터 판독 가능 매체라는 용어는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체를 포함할 수 있다. 시스템 메모리(1104), 착탈식 저장 장치(1109) 및 비착탈식 저장 장치(1110)는 모두 컴퓨터 판독 가능 저장 매체의 예시들(즉, 메모리 저장부)이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 다른 광학 저장부, 자기 카세트, 자기 테이프, 자기 디스크 저장부 또는 기타 자기 저장 장치, 또는 정보를 저장하는데 사용될 수 있으며 컴퓨팅 장치(1100)에 의해 액세스될 수 있는 임의의 다른 제조 물품을 포함한다. 임의의 그러한 컴퓨터 저장 매체는 컴퓨팅 장치(1100)의 일부일 수 있다. 컴퓨터 저장 매체는 반송파 또는 기타 전파 또는 변조된 데이터 신호를 포함하지 않는다.

통신 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파나 다른 전송 메커니즘과 같은 변조된 데이터 신호 내의 기타 데이터에 의해 실현될 수 있고, 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"란 용어는 정보를 신호로 인코드하는 것과 같은 방식으로 설정 또는 변경된 하나 이상의 특징을 갖는 신호를 의미할 수 있다. 예를 들어, 제한적인 것은 아니지만, 통신 매체는 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체와, 음향, RF, 적외선 및 기타 무선 매체들과 같은 무선 매체를 포함할 수 있다.

도 10a 및 도 10b는, 예를 들어, 모바일 전화기, 스마트 폰, 태블릿 퍼스널 컴퓨터, 랩톱 컴퓨터 등과 같이, 본 발명의 실시예들을 실시하는데 이용될 수 있는 모바일 컴퓨팅 장치(1200)를 예시한 것이다. 도 10a를 참고하면, 실시예를 구현하기 위한 모바일 컴퓨팅 장치(1200)의 일 실시예가 예시되어 있다. 기본 구성에서, 모바일 컴퓨팅 장치(1200)는 입력 요소 및 출력 요소를 구비한 핸드헬드 컴퓨터이다. 모바일 컴퓨팅 장치(1200)는, 통상적으로 사용자로 하여금 모바일 컴퓨팅 장치(1200)에 정보를 입력할 수 있게 하는 디스플레이(1205) 및 하나 이상의 입력 버튼(1215)을 포함한다. 모바일 컴퓨팅 장치(1200)의 디스플레이(1205)는 또한 입력 장치(예컨대, 터치 스크린 디스플레이)로서 기능할 수 있다. 포함될 경우에는, 선택적 측면 입력 요소(1215)가 추가적인 사용자 입력을 가능하게 한다. 측면 입력 요소(1215)는 회전 스위치, 버튼, 또는 임의의 다른 유형의 수동 입력 요소일 수 있다. 대안적인 실시예에서, 모바일 컴퓨팅 장치(1200)는 다소간의 입력 요소를 포함할 수 있다. 예를 들어, 디스플레이(1205)는 일부 실시예에서 터치 스크린이 아닐 수도 있다. 또 다른 대안적인 실시예에서는, 모바일 컴퓨팅 장치(1200)가 셀룰러 폰과 같은 휴대형 전화 시스템이다. 모바일 컴퓨팅 장치(1200)는 또한 선택적 키패드(1235)를 포함할 수 있다. 선택적 키패드(1235)는 물리적 키패드 또는 터치 스크린 디스플레이 상에 생성된 "소프트" 키패드일 수 있다. 다양한 실시예에 있어서, 출력 요소는 그래픽 사용자 인터페이스(GUI)를 보여주기 위한 디스플레이(1205), 시각 지시기(1220)(예컨대, 발광 다이오드), 및/또는 오디오 트랜스듀서(1225)(예컨대, 스피커)를 포함한다. 일부 실시예에 있어서, 모바일 컴퓨팅 장치(1200)는 사용자에게 촉각 피드백을 제공하는 진동 트랜스듀서를 포함한다. 또 다른 실시예에 있어서, 모바일 컴퓨팅 장치(1200)는 신호를 외부 장치에 송신하거나 또는 신호를 외부 장치로부터 수신하기 위한 오디오 입력(예컨대, 마이크로폰 잭), 오디오 출력(예컨대, 헤드폰 잭), 및 비디오 출력(예컨대, HDMI 포트)과 같은 입력 및/또는 출력 포트를 포함한다.

도 10b는 모바일 컴퓨팅 장치의 일 실시예의 아키텍처를 예시한 블록도이다. 즉, 모바일 컴퓨팅 장치(1200)는 일부 실시예를 구현하는 시스템(1202)(즉, 아키텍처)을 포함할 수 있다. 일 실시예에 있어서, 시스템(1202)은 하나 이상의 애플리케이션(예컨대, 브라우저, 이메일, 캘린더링, 컨택트 관리자, 메시징 클라이언트, 게임, 및 매체 클라이언트, 재생기)을 실행할 수 있는 "스마트 폰"으로서 구현된다. 일부 실시예에서, 시스템(1202)은 통합형 PDA(personal digital assistant) 및 무선 전화기와 같은 컴퓨팅 장치로서 통합된다.

하나 이상의 애플리케이션 프로그램(1266)은 메모리(1262)에 로딩될 수 있으며 운영 체제(1264) 상에서 또는 이와 연관하여 실행될 수 있다. 애플리케이션 프로그램의 예로는 전화 다이얼러 프로그램, 이메일 프로그램, PIM(personal information management) 프로그램, 워드 프로세싱 프로그램, 스프레드시트 프로그램, 인터넷 브라우저 프로그램, 메시징 프로그램 등을 들 수 있다. 시스템(1202)은 또한 메모리(1262) 내에 비휘발성 저장 영역(1268)을 포함한다. 비휘발성 저장 영역(1268)은 시스템(1202) 전원이 나가도 손실되어서는 안 되는 영구적 정보(persistent information)를 저장하는 데 사용될 수 있다. 애플리케이션 프로그램(1266)은 이메일 또는 이메일 애플리케이션에 의해 사용된 다른 메시지 등과 같은 정보를 사용하고 비휘발성 저장 영역(1268)에 저장할 수 있다. 동기화 애플리케이션(도시되어 있지 않음)이 또한 시스템(1202)에 존재할 수 있으며, 호스트 컴퓨터에 저장된 상응하는 정보와 동기화된 비휘발성 저장 영역(1268)에 저장된 정보를 유지하기 위해 호스트 컴퓨터 상에 존재하는 상응하는 동기화 애플리케이션과 상호작용하도록 프로그램된다. 본 명세서에서 기술한 바와 같은 개발 관리자(26)를 포함하는 다른 애플리케이션이 메모리(1262)에 로딩되어서 모바일 컴퓨팅 장치(1200) 상에서 실행될 수도 있다는 점을 인식해야 한다.

시스템(1202)은 하나 이상의 배터리로서 구현될 수 있는 전원 장치(1270)를 갖는다. 전원 장치(1270)는 배터리에 전력을 보충하거나 재충전하는 전력공급 도킹 크래들 또는 AC 어댑터와 같은 외부 전원을 더 포함할 수 있다.

시스템(1202)은 무선 주파수 통신을 송신 및 수신하는 기능을 수행하는 무선부(1272)를 또한 포함할 수 있다. 무선부(1272)는 통신 캐리어 또는 서비스 제공자를 통해 시스템(1202)과 "외부 세계(outside world)" 사이의 무선 접속을 용이하게 한다. 무선부(1272)에 대한 전송은 운영 체제(1264)의 제어 하에서 행해진다. 즉, 무선부(1272)에 의해 수신된 통신은 운영 체제(1264)를 통해 애플리케이션 프로그램(1266)에 보급될 수 있으며 그 역도 성립한다.

시각 지시기(1220)는 시각 통지를 제공하는 데 사용될 수 있으며, 및/또는 오디오 인터페이스(1274)는 오디오 트랜스듀서(1225)를 통해 청각 통지를 발생시키는 데 사용될 수 있다. 예시된 실시예에 있어서, 시각 지시기(1220)는 발광 다이오드(LED)이고 오디오 트랜스듀서(1225)는 스피커이다. 이들 장치는 전원 장치(1270)에 직접 결합되어, 작동시에 프로세서(1260) 및 다른 컴포넌트들이 배터리 전력을 보존하기 위해 꺼지더라도 통지 메커니즘에 의해 지시된 기간 동안 온 상태로 유지된다. LED는 사용자가 장치의 파워 온 상태를 지시하는 동작을 취할 때까지 무한정 온 상태로 유지되도록 프로그램될 수 있다. 오디오 인터페이스(1274)는 사용자에게 가청 신호를 제공하고 사용자로부터 가청 신호를 수신하도록 사용된다. 예를 들어, 오디오 인터페이스(1274)는 오디오 트랜스듀서(1225)에 결합되는 것 외에, 마이크로폰에도 결합되어, 예컨대, 전화 대화를 용이하게 하기 위한 가청 입력을 수신할 수 있다. 본 발명의 실시예에 따르면, 후술되는 바와 같이, 마이크로폰은 또한 통지의 제어를 용이하게 하기 위해 오디오 센서 역할을 할 수 있다. 시스템(1202)은 또한 정지 이미지, 비디오 스트림 등을 기록하기 위해 온보드 카메라의 동작을 가능하게 하는 비디오 인터페이스(1276)를 더 포함할 수 있다.

시스템(1202)을 구현하는 모바일 컴퓨팅 장치(1200)는 부가적인 특징들 또는 기능을 가질 수 있다. 예를 들어, 모바일 컴퓨팅 장치(1200)는 자기 디스크, 광 디스크, 또는 테이프와 같은 추가적인 데이터 저장 장치(착탈식 및/또는 비착탈식)를 또한 포함할 수 있다. 이러한 추가적인 저장부는 도 10b에 저장 영역(1268)으로 예시되어 있다. 모바일 컴퓨팅 장치(1200)는 주변 장치 포트(1230)를 포함할 수도 있다.

모바일 컴퓨팅 장치(1200)에 의해 생성되거나 캡처되고 시스템(1202)을 통해 저장된 데이터/정보는 전술한 바와 같이 모바일 컴퓨팅 장치(1200) 상에 로컬로 저장될 수 있으며, 또는 그 데이터는 무선부(1272)를 통해 또는 모바일 컴퓨팅 장치(1200)와 이 모바일 컴퓨팅 장치(1200)와 연관된 별도의 컴퓨팅 장치, 예컨대, 인터넷과 같은 분산 컴퓨팅 네트워크 내의 서버 컴퓨터와의 사이의 유선 접속을 통해 장치에 의해 액세스될 수 있는 임의의 수의 저장 매체에 저장될 수 있다. 이러한 데이터/정보는 무선부(1272) 또는 분산 컴퓨팅 네트워크를 경유하여 모바일 컴퓨팅 장치(1200)를 통해 액세스될 수 있다는 점을 인식해야 한다. 이와 유사하게, 그러한 데이터/정보는, 전자 메일 및 협업 데이터/정보 공유 시스템을 포함한, 잘 알려진 데이터/정보 전송 및 저장 수단에 따라 저장하고 사용하기 위한 컴퓨팅 장치들 사이에서 쉽게 전송될 수 있다.

도 11은 전술한 바와 같이, 예시적인 시스템의 아키텍처의 실시예를 예시한 것이다. 개발 관리자(26)와 연관하여 개발, 상호작용, 또는 편집된 콘텐트는 상이한 통신 채널에 또는 다른 저장 유형으로 저장될 수 있다. 예를 들어, 다양한 문서는 디렉토리 서비스(1322), 웹 포털(1324), 메일박스 서비스(1326), 인스턴트 메시징 저장부(1328), 또는 소셜 네트워킹 사이트(1330)를 이용하여 저장될 수 있다. 개발 관리자(26)는, 본 명세서에 기술된 바와 같이, 데이터 이용을 가능하게 하기 위해 이들 유형의 시스템들 중 어느 하나를 이용할 수 있다. 서버(1320)는 개발 관리자(26)를 클라이언트에게 제공할 수 있다. 일례로서, 서버(1320)는 웹을 통해 개발 관리자(26)를 제공하는 웹 서버일 수 있다. 서버(1320)는 웹을 통한 개발 관리자(26)를 네트워크(1315)를 거쳐 클라이언트에게 제공할 수 있다. 예로서, 클라이언트 컴퓨팅 장치는 컴퓨팅 장치(1100)로서 구현될 수 있으며, 퍼스널 컴퓨터, 태블릿 컴퓨팅 장치(1310) 및/또는 모바일 컴퓨팅 장치(1200)(예컨대, 스마트 폰)에서 실현될 수 있다. 클라이언트 컴퓨팅 장치(1100, 1310, 및 1200)의 이들 실시예 중 어느 하나는 저장부(1316)로부터 콘텐트를 취득할 수 있다.

예컨대, 본 발명의 실시예에 따른 방법, 시스템, 및 컴퓨터 프로그램 제품의 블록도 및/또는 동작도를 참조하여 본 발명의 실시예를 설명하였다. 블록에 주지된 기능/동작은 임의의 흐름도에 도시된 것과 다른 순서로 일어날 수 있다. 예를 들어, 순서대로 도시된 2개의 블록이 실제로는 거의 동시에 실행될 수도 있거나, 또는 수반되는 기능/동작에 따라 이들 블록이 때론 반대의 순서로 실행될 수도 있다.

본원에 제공된 하나 이상의 실시예의 기재 및 예시는 청구된 발명의 범위를 한정하거나 또는 제한하려는 것이 전혀 아니다. 본원에 제공된 실시예, 예시 및 상세는 소유권을 전달하기에 충분하다고 생각되고, 청구된 발명의 최선의 방식을 타인이 만들어서 이용하는 것을 가능하게 한다. 청구된 발명은 본원에서 제공된 임의의 실시예, 예시, 또는 상세에 한정되는 것으로 이해되어서는 안 된다. 조합하여 또는 별도로 도시 및 기술되는지의 여부에 관계없이, 실시예가 특정 세트의 특징을 갖게 하기 위해 다양한 특징들(구조적 특징 및 방법론적 특징)은 선택적으로 포함되거나 또는 생략되는 것으로 의도된다. 본원의 기재 및 예시를 제공받았다면, 본 기술분야의 숙련자는 청구된 발명의 확대된 범위로부터 일탈하지 않는 본원에서 실현되는 일반적인 발명 개념의 확대된 양태들의 정신 내에서 실시예들을 변경, 수정, 및 대체하는 것을 생각해낼 수 있을 것이다.

Claims

방법으로서,
컴퓨팅 장치에 의해 언어 입력을 수신하는 단계와,
상기 컴퓨팅 장치에 의해, 상기 언어 입력을 처리해서 상기 언어 입력과 연관된 도메인을 결정하는 단계와,
상기 컴퓨팅 장치에 의해, 상기 도메인과 연관된 액션을 결정하는 단계와,
상기 컴퓨팅 장치에 의해, 상기 액션이 상기 언어 입력을 만족하는지 여부를 결정하는 단계와,
상기 언어 입력을 만족시키기 위해서는 추가 액션이 필요하다고 결정되는 경우, 상기 컴퓨팅 장치에 의해, 상기 언어 입력에 적어도 부분적으로 기초해서 상기 추가 액션을 생성하는 단계와,
상기 추가 액션으로 상기 도메인을 자동으로 업데이트하는 단계
를 포함하는 방법.
제 1 항에 있어서,
상기 업데이트된 도메인을 대화 이해 서비스에 제공하는 단계
를 더 포함하는 방법.
제 1 항에 있어서,
상기 도메인은 도메인 모델과 연관되는
방법.
제 1 항에 있어서,
상기 언어 입력을 자동으로 환언(rephrasing)하는 단계
를 더 포함하는 방법.
제 4 항에 있어서,
상기 언어 입력을 환언하는 것은, 상기 언어 입력의 의미를 다른 방식으로 표현하는 추가 언어 입력을 생성하는
방법.
제 1 항에 있어서,
상기 언어 입력으로부터 객체를 결정하는 단계
를 더 포함하는 방법.
제 6 항에 있어서,
상기 객체는 신뢰도 점수(confidence score)와 연관되는
방법.
제 7 항에 있어서,
상기 신뢰도 점수를 디스플레이하는 단계
를 더 포함하는 방법.
시스템으로서,
적어도 하나의 프로세서와,
상기 적어도 하나의 프로세서에 연결되고, 상기 프로세서에 의해 실행될 때 방법을 수행하는 명령어가 저장되는 메모리
를 포함하되,
상기 방법은,
애플리케이션에 명령을 제공하는 자연 언어 입력의 예시를 수신하는 단계와,
도메인, 인텐트 액션(intent actions) 및 인텐트 객체(intent objects)를 검출하는 단계와,
상기 검출된 도메인, 상기 인텐트 액션 및 상기 인텐트 객체를 제공하는 단계와,
상기 검출된 도메인, 상기 인텐트 액션 및 상기 인텐트 객체 중 하나 이상에 대응하는 입력을 수신하는 단계와,
상기 수신된 입력에 적어도 부분적으로 기초해서 대화 이해 서비스의 하나 이상의 모델을 자동으로 업데이트하는 단계
를 포함하는,
시스템.
제 9 항에 있어서,
상기 방법은, 상기 자연 언어 입력에 도메인 검출기를 적용하는 단계를 더 포함하는
시스템.
제 9 항에 있어서,
상기 방법은, 상기 인텐트 액션에 대한 신뢰도 점수를 디스플레이하는 단계를 더 포함하는
시스템.
제 9 항에 있어서,
상기 방법은, 상기 인텐트 객체에 대한 신뢰도 점수를 디스플레이하는 단계를 더 포함하는
시스템.
제 9 항에 있어서,
상기 방법은, 상기 자연 언어 입력에 대해 슬롯 태깅(slot tagging)을 수행하는 단계를 더 포함하는
시스템.
제 9 항에 있어서,
상기 대화 이해 서비스의 하나 이상의 모델을 자동으로 업데이트하는 단계는, 상기 대화 이해 서비스와 연관된 도메인 모델, 인텐트 액션 모델 및 인텐트 객체 모델 중 하나 이상을 업데이트하는 단계를 포함하는
시스템.
대화 이해 서비스를 업데이트하는 시스템으로서,
프로세서와,
상기 프로세서에 의해 실행될 때, 방법을 수행하는 명령어를 저장하는 메모리
를 포함하되,
상기 방법은,
애플리케이션과 상호작용하기 위해 사용되는 자연 언어 문장으로부터 도메인, 인텐트 액션 및 인텐트 객체를 검출하는 단계와,
상기 인텐트 액션 및 상기 인텐트 객체에 적어도 부분적으로 기초해서 상기 검출된 도메인이 업데이트되어야 하는지 여부를 결정하는 단계와,
상기 검출된 도메인이 업데이트되어야 한다고 결정되면, 추가 인텐트 액션 및 추가 인텐트 객체 중 하나 이상을 사용해서 상기 검출된 도메인을 자동으로 업데이트하는 단계
를 포함하는,
시스템.
제 15 항에 있어서,
상기 방법은, 상기 도메인에 대한 신뢰도를 디스플레이하는 단계를 더 포함하는
시스템.
제 15 항에 있어서,
상기 방법은, 상기 검출된 인텐트 액션에 대한 신뢰도를 디스플레이하는 단계를 더 포함하는
시스템.
제 15 항에 있어서,
상기 방법은, 상기 대화 이해 서비스에 새로운 인텐트 액션이 추가될 것임을 나타내는 입력을 수신하는 단계를 더 포함하는
시스템.
제 15 항에 있어서,
상기 방법은, 상기 검출된 인텐트 객체에 대한 신뢰도를 디스플레이하는 단계를 더 포함하는
시스템.
제 15 항에 있어서,
상기 방법은, 상기 대화 이해 서비스에 새로운 인텐트 객체가 추가될 것임을 나타내는 입력을 수신하는 단계를 더 포함하는
시스템.
컴퓨터-구현된 방법으로서,
컴퓨팅 장치에서 언어 입력을 수신하는 단계와,
상기 컴퓨팅 장치에 의해, 상기 언어 입력을 처리해서 상기 언어 입력과 연관된 도메인을 결정하는 단계와,
상기 컴퓨팅 장치에 의해, 상기 도메인과 연관된 액션을 결정하는 단계와,
상기 컴퓨팅 장치에 의해, 상기 액션이 상기 언어 입력을 만족하는지 여부를 결정하는 단계와,
상기 언어 입력을 만족시키기 위해서는 추가 액션이 필요하다고 결정되는 경우, 추가 정보의 요청을 원격 컴퓨팅 장치로 전송하는 단계와,
상기 원격 컴퓨팅 장치로부터 상기 추가 정보를 수신하는 단계 - 상기 추가 정보는 상기 추가 액션을 어떻게 수행할지에 대한 명령을 포함함 -
를 포함하는 컴퓨터-구현된 방법.
제 21 항에 있어서,
상기 추가 액션으로 상기 도메인을 업데이트하는 단계
를 더 포함하는 컴퓨터-구현된 방법.
제 22 항에 있어서,
상기 업데이트된 도메인을 대화 이해 서비스에 제공하는 단계
를 더 포함하는 컴퓨터-구현된 방법.
제 21 항에 있어서,
상기 언어 입력을 자동으로 환언하는 단계
를 더 포함하는 컴퓨터-구현된 방법.
제 24 항에 있어서,
상기 언어 입력을 환언하는 것은, 상기 언어 입력의 의미를 다른 방식으로 표현하는 추가 언어 입력을 생성하는
를 더 포함하는 컴퓨터-구현된 방법.
제 21 항에 있어서,
상기 언어 입력으로부터 객체를 결정하는 단계
를 더 포함하는 컴퓨터-구현된 방법.
제 26 항에 있어서,
상기 객체는 신뢰도 점수와 연관되는
컴퓨터-구현된 방법.
제 27 항에 있어서,
상기 신뢰도 점수를 디스플레이하는 단계
를 더 포함하는 컴퓨터-구현된 방법.