KR20050061369A

KR20050061369A - 질문 인식기

Info

Publication number: KR20050061369A
Application number: KR1020040106928A
Authority: KR
Inventors: 칼부찌마셀로; 샐라스샐리
Original assignee: 마이크로소프트 코포레이션
Priority date: 2003-12-16
Filing date: 2004-12-16
Publication date: 2005-06-22
Also published as: JP2005182817A; CN1629845A; MXPA04012757A; US20050131872A1; EP1555625A1; CA2490202A1; BRPI0405683A

Abstract

본 발명은 구체화된 데이터를 갖는 원격 배치된 데이터를 포함할 수 있는 복수의 데이터 소스들에 대한 질문을 실행하기 위한 시스템 및 방법에 관한 것이다. 데이터 소스들은 예를 들면, 소매, 여행, 엔터테인먼트 등에 관한 데이터를 포함할 수 있다. 데이터 소스는 또한 소정의 지역 사회 또는 지역 사회의 그룹에 국한된 데이터만을 포함할 수도 있다. 시스템은 입력 질문을 수용하고 그 형태를 변형하여 최종 질문을 제공하는 프리-프로세서(pre-processor)를 포함한다. 이러한 변형은 예를 들면 철자의 정정을 포함할 수 있다. 시스템은 최종 질문을, 질문내의 인식된 패턴들 또는 이전에 제출된 질문들로부터 사용자가 제공한 분류 데이터와 분류자 용어의 존재에 기초하여 분류한다. 시스템은 다음으로 질문 분류에 기초하여 질문을 실행하기 위한 데이터 소스의 서브세트를 선택한다. 질문은 선택된 데이터 소스들에 대해 실행된다.

Description

질문 인식기{QUERY RECOGNIZER}

본 발명은 질문들에 대한 대답을 효과적으로 제공하기 위한 자동화된 질문 인식기들에 관한 것이다.

질문 검색 엔진의 한가지 목표는 질문에 대한 빠른 응답을 제공하는 것이다. 느린 응답 검색 엔진에 직면한 온 라인 사용자는 검색을 재전송하려고 노력하고, 검색을 중지하며, 다른 검색 엔진으로 가려고 하거나, 아마도 더 빠른 결과를 찾기 위해 검색을 재공식화하려고 함으로써 반응할 수 있다. 사용자가 결과를 얻는데 인식된 속도의 문제점에 대한 해결책을 구하려는 시도를 방해할 만큼 빠르게 사용자에게 그 결과들이 리턴될 수 있다면 바람직하다.

웬(Wen) 등에 의한 "Clustering User Queries of a Search engine"이라는 표제의 공보는 프로세스의 목표가 검색 엔진 검색 정확도를 증가시키는 것이라는 것을 기술하고 있다. 웬 등의 페이퍼 클러스터들은 미리 정형화된 FAQ(frequently asked questions) 문서가 질문을 요청하는 사람에게 제공될 수 있도록 질문한다. 예를 들면, 만일 클러스터링 프로세스가 "새로운 차들"에 관한 질문이라고 판정하는 경우, "새로운 차" FAQ 문서는 "새로운 차" 질문에 대한 응답으로서 리턴된다. 이 방법은 각 질문 클러스터에 대한 FAQ 문서의 존재를 미리 추정하고 또한 검색 엔진에 제공되는 모든 질문에 대한 매칭 클러스터의 존재를 미리 추정한다. 웹 사이트 www.ask.com은 사용자가 질문 결과에 대해 요청할 수 있는 수단을 제공하고 이 사이트는 웬 등의 기사에 개시된 것과 유사한 기술들을 사용할 수도 있다.

질문 검색 엔진의 일부를 형성하는 분석 소프트웨어가 그 카테고리에 따라 질문을 정확하게 식별할 수 있다면, 검색 엔진은 보다 빠르게 질문에 응답할 수 있다.

예시적인 시스템은 사용자로부터의 질문을 분석하고 데이터로 질문들에 응답한다. 질문 프로세서는 질문을 평가하고 한 형태의 질문을 다른 데이터 소스에 전송하여 변형된 형태의 질문에 대한 응답을 생성한다. 시스템은 질문 또는 변형된 형태의 질문을 평가하고 한가지 타입의 질문을 식별하는 인식기 컴포넌트를 실행한다. 예시적인 실시예에서, 질문 프로세서는 질문을 구체화된 하나 또는 그 이상의 복수의 인식기들에 전송하기 위한 인식기 브로커(recognizer broker)를 포함한다.

그러한 인식기는 단어 또는 표시(token) 매칭 인식기이다. 시스템은 질문 입력 단어 또는 표시와 데이터베이스에 저장된 단어들과 매칭시키고 이들 단어들을 신뢰도(confidence level)로 카테고리화한다. 신뢰도는 이전에 제공된 질문들을 이용하는 사용자 레이팅의 히스토리를 정의하는 데이터베이스 기록으로부터 유도된다.

본 발명의 이들 및 다른 목적, 이점 및 특징들은 첨부된 도면들과 결합하여 보다 상세히 기술된다.

도 2는 본 발명의 예시적인 실시예에 따라 구성된 질문 분석기의 개략도이다. 질문 분석기(10)는 사용자로부터 질문(11)을 수신할 때 그 분석을 시작한다. 보다 구체적으로, 분석기는 차례로 다른 서버에의 통신 접속에 의해 결합되는 서버 컴퓨터 또는 네트워크에 의한 컴퓨터들과 같은 컴퓨터 시스템(20)(도 1)상에서 시행되는 소프트웨어로 구성된다. 대부분의 통상적인 예에서, 사용자는 그 자신의 컴퓨터를 로그온하고 인터넷 와이드 영역 네트워크에 의해 서버로서 작용하는 원격 컴퓨터 시스템과 통신한다.

다른 통합 검색 엔진들과 결합 가능한, 서버(20)상에서 실행되는 검색 엔진 소프트웨어는 질문에 대한 빠른 응답을 제공한다. 응답은 사용자에게 검색 결과(12)의 형태로 제공되며, 통상적으로 인터넷과 같은 네트워크상에서 사용자에게 역으로 전송된다. 응답은 검색 결과에 내장된 웹 사이트 또는 기사들에 대한 링크를 갖는 웹 사이트 요약 또는 일련의 기사로서 정형화될 수 있다. 적당한 질문 응답 컴퓨터로서 기능할 수 있는 컴퓨터 시스템(20)은 도 1에 도시되어 있으며 이하 보다 상세히 기술된다.

예시적인 컴퓨터 시스템(20)은 질문을 평가하기 위한 질문 프로세서(10)를 정의하는 소프트웨어를 포함한다. 질문(11)의 접수에 대한 한가지 가능한 응답은 변형된 형태의 질문에 기초하여 검색을 수행하는 다른 서버에 변형된 형태의 질문을 재전송하는 것이다. 일례로서, 검색 결과의 다른 소스는 항공운임, 호텔 등에 관한 데이터를 제공하는 여행 웹 사이트를 호스팅(hosting)하는 서버일 수 있다. 한 지역내의 교회의 목록을 보유한 종교적인 웹 사이트일 수 있다. 차례로 자동차 판매에 대한 링크들을 갖는 자동차 정보 전용의 사이트일 수 있다. 코스 비소모 카테고리들 중 나머지로는 뉴스, 로컬, 스포츠, 백과사전, 히스토리, 책들, 영화들, 엔터테인먼트 등이 있다.

도 1에 도시된 서버 컴퓨터 시스템(20)은 또한 질문을 직접적으로 평가할 수 있으며 서버(20)에 의해 보유된 데이터베이스의 콘텐츠에 기초하여 응답 또는 결과를 제공한다. 이 데이터베이스는 수천의 사이트들에서 인터넷 카탈로그 페이지 콘텐츠를 검색하는 웹 크롤러(web crawler)에 의해 취득된 단어들의 인덱스 형태로 정보를 포함한다. 이 스캐닝은 주기적으로 발생하여 사이트의 콘텐츠의 일자 표시까지 확실하게 한다. 컴퓨터 시스템(20)이 질문 결과에 대해 검색하든지 검색 요구를 다른 컴퓨터에 전송하든지 무관하게, 결과(12)는 서버(20)에 의해 포맷화되어 사용자에게 역 전송된다. 이 결과는 문서들 또는 정보를 포함하는 다른 사이트들에 링크의 리스트를 포함하기 때문에, 사용자는 문서를 클릭할 수 있고 사용자의 웹 브라우저는 링크에 의해 지정된 인터넷 어드레스로 다시 향하게 된다.

다른 위치에서 검색 엔진들을 효과적으로 활용하기 위해, 컴퓨터 시스템(20)은 질문 또는 입력 정보의 타입을 식별하기 위한 변형된 형태의 질문을 평가하기 위한 복수의 인식기들(220)(도 3)을 활용한다. 일반 질문의 타입이 식별되면, 분석기 통합 프로그램(16)은 대안적인 사이트 검색 엔진이 질문을 전송할 수 있는지를 결정하고 또는 질문을 초기에 수신하는 컴퓨터 시스템(20)에 의해 질문이 추가로 평가되어야 하는지를 대안적으로 결정한다.

질문 프로세싱

서버(20)는 입력 질문에 대해 몇가지 기능을 수행하는 질문 프로세서 컴포넌트(14)를 포함한다. 도 4는 질문 프로세서(10)의 동작을 도시한 흐름도이다. 질문 프로세서는 입력 질문을 수신하고(110), 질문의 지리적 그리고 인터넷(웹 페이지) 기점, 사용자가 최근에 방문한 웹 사이트들, 및 사용자가 최근에 입력한 질문들 및 사용자가 선택했었던 질문들에 대한 결과와 같은 특정 사용자에 관한 질문 컨텍스트 정보를 억세스한다(120). 질문 컨텍스트 정보의 일부는 질문이 시작된 소스 컴퓨터의 어드레스에 내장된 정보에 포함된다. 어드레스는 필드들로 나뉘어진 32비트의 스트링이다. IETF에 의해 공표된 RFC#791 섹션 3.2는 IP 어드레싱 시스템의 상세를 기술한다.

각 인터넷 서비스 제공자(또는 국가 또는 회사)는 IP 범위 클래스 A, B, C를 취득하고 그 자신의 필요에 따라 활용가능한 32 비트를 분할한다. 대부분의 경우, 회사 인터넷 접속 위치의 존재로 인해 도시에 IP를 관련시킬 수 있다. 이 역 검색(reverse lookup)은 항상 정확하지 않으며, 예를 들면, 모든 AOL 사용자들은 버지니아에 근거지를 둔 IP 어드레스를 갖는다.

질문 프로세서는 다음으로 질문을 변경하거나 확대하기 위한 질문에 대한 몇가지 기능들을 수행하여 질문 분석을 최적화한다. 이 확대의 목적은 이 특정 사용자에 가장 근접한 결과를 빠르게 리턴시키기 위한 것이다.

단계(130)에서, 질문 프로세서는 질문에 대한 철자 체크를 행하고 철자가 틀린 질문내의 용어들의 철자를 변경하거나 정확하게 철자 체크된 용어들로 질문을 확대시킨다. 질문 프로세서는 구(phrase)로서 그룹화되어야 하는 정보를 사용할 수도 있다(135). 질문 프로세서는 공통적으로 실행된 질문들에 관한 정보를 이용하여 용어들이 구로서 그룹화되어야 하는지를 결정한다.

단계(140)에서, 질문 프로세서는 구매될 아이템들에 대해 검색중에 있는 질문들 또는 민감한 위치인 로컬 질문과 같은 소정 타입이 질문이라는 것을 표시자(indicator)로서 기능하는 구내의 단어들을 식별하거나 인식한다. 이들 단어 또는 용어의 식별은 질문 프로세서가 질문이 시작되는 지형적인 기원에 기초하여 집 코드(zip code) 또는 지역 코드(area code) 정보와 같은 컨텍스트 상세 정보로 질문을 확대할 수 있게 한다.

이 단계에서, 질문의 각 구는 개념 또는 카테고리 매칭에 대한 인식기 브로커(210)와 질문 분석기(200)에 의해 나뉘어지고(broken), 유래하며(stem), 분석된다. 특정 사용자에 대해 수집된 과거 데이터에 결합하여 콘텐츠에 엄격하게 기초한 개념들은 가능한 통합 결과, 즉 가장 효과적인 분석에 대한 질문을 중개(broker)할 결과를 식별한다. 통합(federation)은 질문에 적절한 데이터를 제공하여 질문에 대한 결과를 생성하기 위해 별개의 서비스(내부 또는 외부)에 질문의 "넘기기(handing off)"로서 정의된다. 구를 인식하는 동안, 다수의 질문 인식기들(221, 222, 223, 224 등)은 질문을 평가하고 인식기 브로커(210)가 선정된 세트의 카테코리들 중 하나에 속하는 질문의 가능성을 결정한다.

이들 개별 모듈 또는 컴포넌트들은 질문 프리-프로세싱의 분석 레벨에서 사용된다. 워드 브로커는 질문의 각 구를 개별 단어들로 분리하고 이들 단어들을 출력 어레이 또는 리스트에 저장한다. 스템머(stemmer) 컴포넌트는 워드 브로커 출력 어레이로부터 각 단어의 루트(root)를 찾는 시도를 하고 대응하는 루트 단어들의 어레이를 생성할 것이다. 최종적으로, 인식기 컴포넌트는 데이터베이스(230)에 저장된 의미 리스트(intent lists)에 대해 루트 단어들(또는 루트를 가지고 있지 않은 워드들에 대한 실제 단어들)을 매칭시키려고 할 것이다. 인식기 컴포넌트는 또한 알고리즘 질문 의미 분석기를 이용하여 패턴들에 대해 검색한다. 이 분석의 결과들은 카테고리와 신뢰 정도를 퍼센티지로 제공한다. 형태 "뷰익과 새턴의 가격을 비교하라(compare price Buick and Satturn)"의 사용자에 의해 입력된 질문을 고려하자.

하단의 표 1은 이 질문에 대한 인식기(221)의 분석 결과의 리스트이다.

루트 또는 단어	카테고리	신뢰도
Satturn 또는 Saturn	차들	68%
Satturn 또는 Saturn	과학	46%
Satturn 또는 Saturn	신화	14%
Buick	차들	91%
Price	쇼핑	99%
Compare	쇼핑	50%

단계(150)에서(도 4), 사용자의 유사 의미는 변형된 질문에 기초하여 그리고 과거 질문들의 관점에서 결정된다, 예를 들면, 사용자가 최근에 차들을 검색하는 수많은 질문들을 입력하였다면, 또는 질문이 카포인트(carpoint) 웹 페이지상의 웹 검색 박스에 입력하였다면, 용어 Saturn의 "차(car)" 의미는 가장 적절하며 결과를 제공하는데 사용될 것이다.

최종정리된 질문 및 결정된 질문 타입에 기초하여, 질문 프로세서는 단계(160)에서 질문을 실행하기 위한 한 세트의 데이터 소스를 선택한다. 질문은 변형된 형태 "compare price Saturn and Buick cat:cars:80"의 질문이다. 이 형태의 질문은 프리프로세서(14)가 단어 "Saturn"의 철자를 정정하고, 질문이 카테고리 "차들(cars)"에 관련되는 80%의 신뢰도를 가진 질문을 확대했다는 것을 가리킨다.

단계(170)에서, 질문(인식기에 의해 증대된 것과 같은)은 데이터 소스들에 대해 동시에 시행될 수 있거나 바람직한 데이터 소스들은 바람직한 데이터 소스들이 과부하 또는 기술적인 어려움으로 인해 "시간 초과(time out)" 또는 충분한 결과를 제공하지 못하는 경우에 사용된 첫번째 및 다른 데이터 소스들을 억세스할 수도 있다.

데이터 소스 또는 제공자는 웹 서버(20)를 운영하는 내부 제공자 또는 Encarta, Expedia, Overture, Inktomi, Yell기페이지들 등과 같은 외부 제공자일 수 있다. 데이터 소스에는 미국에 기초를 둔 영어 질문을 의미하는 "en-us"와 같은 질문 구성 및 증대된 질문이 제공된다. 모든 가능한 데이터 소스들의 리스트로부터, 2개의 리스트들은 증대된 질문 및 질문 구성에 대해 구성된다. 첫번째 리스트는 다른 데이터 소스에 따라 좌우되지 않는 소스들의 리스트이고 이들 소스들의 두번째 리스트는 다른 소스들에 따라 좌우된다. 제1 리스트에 대한 소스들은 첫번째로 평행하다고 불리우며 다음으로 제1 리스트내의 소스들에 대한 의존도를 갖는 소스들이라고 불리운다.

빠르게 대중적인 질문들에 대한 결과를 제공하기 위해, 질문 프로세서(10)는 대중적인 질문들에 대한 결과를 캐쉬한다. 결과들이 캐쉬되어 있는 질문들과 유사한 결과를 찾는 질문들은 우선 적당한 캐쉬로 향하게 된다. 캐쉬들은 캐쉬된 정보가 변경, 즉 일자별로 또는 시간단위로 변경되는 레이트에 따라 상이한 간격으로 갱신될 수도 있다. 로컬 질문들로서 식별되었던 질문들은 옐로우 페이지 타입 디렉토리 데이터 소스로 향하게 된다. 자동차 질문으로서 식별되었던 질문들은 자동차 판매 데이터 소스로 향하게 된다.

리턴된 결과들은 포스트 프로세싱 컴포넌트(18)에 의해 드듀플리케이트(de-duplicate)되고 랭킹(ranking)된다. 결과들은 컨텍스트 정보 및 질문 타입에 기초하여 사용자에게 제공된다. 랭크된 결과들의 제공은 기록된 사용자 기호에 기초하여 개별화될 수 있다. 랭크된 결과들은 또한 오리지널 질문, 최종 질문들, 결과들을 기록하는 계측 데이터베이스(instrumentation database)에 기록될 수도 있으며, 그 결과들은 사용자에 의해 선택된다. 계측 데이터베이스는 검색 엔진의 성공을 모니터링하는데 사용된다.

인식기 브로커(210)

인식기 브로커(210)로 되돌아가면, 다수의 포인트들이 강조된다. 우선, 다수의 인식기들(221, 222 등)이 있다. 일 실시예에서, 브로커(210)는 단지 각 인식기가 변형된 형태의 질문을 평가하고 예측된 카테고리의 질문으로 리턴시키게 한다. 대안적인 실시예에서, 브로커(210)는 질문의 소스로부터 유추된 다른 정보에 기초하여 인식기를 선택한다. 예를 들면, 만일 사용자의 어드레스가 지역 소스가 '스페인"으로서 지정되었다면, 영어 문자들의 리스트 매칭 인식기에 전송되는 질문은 불충분하게 되어, 브로커가 활용가능한 정보를 이용하여 인식기들에 관한 지능적인 선택을 활용하게 된다. 브로커들 중 일부는 단어들에 기초하는 것이 아니라 알고리즘에 기초하며 발견적 학습 루울(heuristics rules)을 이용하여 인식된 패턴들과 같은 의미(intent)에 대해 검색한다. 예를 들어 만일 5 디지트의 스트링이 질문내에 나타나는 경우, 집 코드(zip code)를 식별하기 위한 인식기는 국가의 특정 지역에 관한 검색에 대한 로컬 검색 질문이라는 것을 높은 레벨의 신뢰도로 응답할 것이다. 유사한 방식에서, 인식기는 전화 패턴들을 검색한다.

예시적인 실시예에서, 인식기들은 2가지의 타입들, 알고리즘 또는 리스트 매칭이다. 알고리즘 질문 의미 인식기는 발견적 학습 루울을 사용하여 사용자가 타이핑한 단어들이 무엇을 의미하는지를 판정한다. 일례는 전화 번호들이다. 전화 번호가 타이핑되었는지를 검출하는 루울은 7 디지트가 후속되는 분리기(separator)가 후속하는 3 디지트들 또는 4 이상의 디지트가 후속되는 분리기가 후속하는 2 디지트일 수 있다. 그래서, 사용자가 "(425)882-800"을 타이핑하면, 인식기 브로커는 이 질문을 높은 정도의 신뢰도로 전화 번호로서 플래그(flag)한다. 이는 어떤 소스 또는 제공자와 콘택할지를 통합 브로커를 지원할 수 있다. 알고리즘 질문 의미 분석기들의 다른 예는 다음과 같다:

·전화번호 - 예를 들면, "(425)880-8080의 명칭을 찾아라"

·집 코드(Zip Code) - 예를 들면, "중국 레스토랑 98052"

·E-메일 어드레스 - 예를 들면, "개발자 mcalbu@microsoft.com"

·URL - 예를 들면, "yahoo.com에 가는 방법"

·UPS 번호 - "트랙 Z9857103753300"

상술한 바와 같이, 리스트 매칭 질문 의미 인식기들은 사전 검색 구조에 기초한다. 사전내에 각각의 입력의 경우, 데이터베이스는 그 자체로서의 단어 또는 구, 후보 카테고리 및 매칭 가능성을 갖는다. 데이터베이스(230)내의 등록의 서브세트는 다음 등록을 포함할 수 있다.

·Paris - 도시(80%); 호텔(40%)

·Las Vegas - 도시(90%)

·Hotel - 여행(80%)

·Jaguar - 자동차(50%)

·Window - 자동차(30%)

·Jaguar - 동물(50%)

·Restaurant - 로컬(60%)

·Hair Cut - 로컬(50%)

사용자가 "라스베가스에 있는 파리스 호텔(Paris Hotel in Las Vegas)"과 같은 질문을 타이핑하는 경우, 적당한 질문 인식기는 질문의 상세 부분들은 도시(Paris, Las Vegas)를 포함하고, 호텔(Paris)를 포함하며, 여행(Hotel)을 포함하다고 표시할 것이다. 인식기는 각 단어 또는 구가 속하는 카테고리가 어떤 것인지는 물론, 구의 위치를 보고할 것이다. 상술한 예에서, "Paris Hotel in Las Vegas"의 질문의 결과는 다음과 같을 것이다:

·문자들 1-5: 호텔(40%)

·문자들 1-5: 도시(80%)

·문자들 7-11: 여행(80%)

·문자들 16-24: 도시(90%)

인식기 브로커는 이것을 통합 프로세서로 되돌려 보내서 질문의 할당에 관한 특정 액션을 취한다.

예를 들어 인식기(221)(영어 리스트 매칭 인식기)에 의해 질문내의 단어들에 속한 신뢰도는 이전 검색의 히스토리에 기초한다. 데이터베이스(230)는 데이터베이스내에 보유된 검색 히스토리에 기초한 단어들에 대한 카테고리들과 단어들을 리스트를 보유한다. 상술한 예로부터, 데이터베이스는 사용자가 단어 "Saturn"을 포함하는 질문으로부터의 결과들을 제공할 때, 타임의 "자동차(car)" 카테고리 68%에 관심이 있다는 것을 과거 경험으로부터 알 수 있으며, 이는 사용자가 단어 "Saturn"을 포함하는 질문의 결과를 제공할 때 그 빈도로 카테고리에 링크를 클릭하기 때문이다.

표 1의 결과들은 질문의 단어들에 기초한 결합된 신뢰도를 갖는 결과로서 요약된다. 2개의 단어들은 자동차에 대한 비교적 높은 신뢰도를 가지며 2개의 단어들은 쇼핑에 대한 높은 신뢰도를 갖는다. 통합 컴포넌트(16)는 2개의 구체화된 검색 엔진, 쇼핑에 관한 것과 자동차에 관한 것에 대한 질문을 전송할 수 있다. 또한, "자동차 쇼핑"에 적합한 특정 검색 사이트라는 것을 알 수 있다.

질문 의미 인식 구의 다른 이용이 있을 것이며, 여기서 소정 카테고리가 나타나는 경우 질문 의미 인식기를 실행하는 웹 서버는 광고를 선택적으로 표시(비표시)할 수 있다. 예를 들면, 서버는 질문의 카테고리가 "자동차"이었다면 "결과(Results)" 웹 페이지상에 "도요타 광고(Toyota ad)"를 표시할 수 있다. 다른 것은 콘텐츠를 표시하지 않는 선택을 응답한다. 예를 들면, 만일 인식기가 질문을 분석하여 "라이브 섹스(live sex)"와 같은 "성인 용어"를 포함하고 있다고 판정하면, 소프트웨어는 특정 통합들을 억제하거나 검색 결과 페이지의 결과들의 요소들을 억제하는 정보를 이용할 수 있다. 현 시점에서, 광고 프로모션을 제공하는 서버 소프트웨어는 질문 부분들을 축어적으로 추출할 수 있으며 그러한 서비스에 대해 지불하는 광고주에 대한 추출된 부분을 부가할 수 있다. 인식기의 이용은 질문에 포함되지 않은 콘텐츠를 자동적으로 부가하는 것은 물론 질문이 공격적인 언어를 포함하는 경우에 임의 고객들에게 광고를 억제함으로써 서비스를 향상시킬 수 있다.

대안적인 예시 실시예들은 질문을 카테고리화하는 것에 국한되지 않으며 질문 확장에 관한 것이다. 이들 2가지 예제들을 고려하자:

예제 1: 사용자들은 그들의 브라우저의 검색 텍스트 박스에 의해 구 "Restaurants in Redmond, WA"를 입력한다. 인식기는 질문을 구 "Restaurants in Redmond, WA zip:98052:90 cat:local:60"을 형성하도록 확장하고, 여기서 "zip:98052:90"은 검색 엔진의 유용한 조각의 정보인, zip code 98052를 참조할 90%의 기회가 있다는 것을 의미한다. 또한, local:60의 카테고리화는 이것이 로컬 검색 콘텐츠에 대해 요구한 60%의 신뢰도를 가지고 있다는 것을 의미한다.

예제 2: 사용자는 "News about Iraq"라고 타이핑하고 인식기는 이 질문을 :News about Iraq cat:news:80 ranking:date:30"이라고 확장하며, 여기서 "cat:news:80"은 뉴스 카테고리일 가능성이 80%이고 "ranking:date:30"은 랭커(ranker)가 일자 필드에 대한 30%의 가중치를 이용하여야 한다는 것을 의미한다.

컴퓨터 시스템(20)

도 1을 참조함으로써 알 수 있는 바와 같이, 본 발명의 실행시 이용하기 위한 대표적인 컴퓨터 시스템(20)은 하나 또는 그 이상의 프로세싱 유닛(21), 시스템 메모리(22) 및 프로세싱 유닛(21)에 시스템 메모리를 포함한 다양한 시스템 컴포넌트들을 결합시키는 시스템 버스(23)를 포함한다. 시스템 버스(23)는 메모리 버스 또는 메모리 컨트롤러, 주변 버스, 및 다양한 버스 구조들 중 어느 하나를 이용한 로컬 버스를 포함하는 몇가지 타입의 버스 구조들 중 어느 하나일 수 있다.

시스템 메모리는 판독 전용 메모리(ROM)(24) 및 랜덤 억세스 메모리(RAM)(25)를 포함한다. 시동하는 동안 컴퓨터(20)내의 구성요소들간에 정보를 전송할 수 있게 하는 기본적인 루틴을 포함하는 기본 입출력 시스템(26)(BIOS)은 ROM(24)내에 저장된다.

컴퓨터(20)는 도시되지 않은 하드 디스크로부터 판독 및 기록하기 위한 하드 디스크 드라이브(27), 분리가능한 자기 디스크(29)로부터 판독 및 기록하기 위한 자기 디스크 드라이브(28), CD ROM 또는 광 매체와 같은 분리가능한 광 디스크(31)로부터 판독 및 기록하기 위한 광 디스크 드라이브(30)를 더 포함한다. 하드 디스크 드라이브(27), 자기 디스크 드라이브(28) 및 광 디스크 드라이브(30)는 각기 하드 디스크 드라이브 인터페이스(32), 자기 디스크 드라이브 인터페이스(33) 및 광 디스크 인터페이스(34)에 의해 시스템 버스(23)에 접속된다. 드라이브들 및 관련 컴퓨터 판독가능 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈 및 컴퓨터(20)용 다른 데이터의 불휘발성 저장을 제공한다. 본 명세서에 기술된 예시적인 환경은 하드 디스크, 분리가능한 자기 디스크(29) 및 분리가능한 광 디스크(31)를 사용하였지만, 본 분야의 숙련된 자라면, 자기 카세트, 플래쉬 메모리 카드, 디비털 비디오 디스크, 베르누이 카트리지, RAM, ROM 등과 같은 컴퓨터에 의해 억세스가능한 데이터를 저장할 수 있는 다른 타입의 컴퓨터 판독가능 매체도 예시적인 구동 환경에 사용될 수 있다는 것을 알 수 있을 것이다.

데이터 마이닝 소프트웨어 컴포넌트(12)를 포함하는 다수의 프로그램 모듈은 구동 시스템(35), 하나 또는 그 이상의 어플리케이션 프로그램(36), 다른 프로그램 모듈(37) 및 프로그램 데이터(38)를 포함하는 하드 디스크, 자기 디스크(29), 광 디스크(31), ROM(24) 또는 RAM(25)에 저장될 수도 있다. 사용자는 컴퓨터에 키보드(40) 및 입력 디바이스(42)와 같은 입력 디바이스들을 통해 명령 및 정보를 입력할 수 있다. 다른 입력 디바이스(미도시됨)는 마이크로폰, 조이스틱, 게임 패드, 위성접시, 스캐너 등을 포함할 수도 있다. 이들 및 다른 입력 디바이스들은 시스템 버스에 결합되는 시리얼 포트 인터페이스(46)를 통해 프로세싱 유닛(21)에 접속되는 반면, 병렬 포트, 게임 포트 또는 유니버셜 시리얼 버스(USB)와 같은 다른 인터페이스에 의해 접속될 수도 있다. 모니터(47) 또는 다른 타입의 디스플레이 디바이스는 또한 비디오 어댑터(48)와 같은 인터페이스를 통해 시스템 버스(23)에 접속된다. 모니터에 부가하여, 개인용 컴퓨터들은 통상적으로 스피커 및 프린터들과 같은 다른 주변 출력 디바이스들(미도시됨)을 포함한다.

컴퓨터(20)는 원격 컴퓨터(49)와 같은 하나 또는 그 이상의 원격 컴퓨터들에 에 로컬 접속을 이용하여 네트워크 한경에서 구동될 수도 있다. 원격 컴퓨터(48)는 다른 개인용 컴퓨터, 서버, 라우트, 네트워크 PC, 피어(peer) 디바이스 또는 다른 공통 네트워크 노드일 수 있으며, 통상적으로 메모리 저장 디바이스(50)만이 도 1에 도시되었다고 할지라도 컴퓨터(20)에 관련된 상술한 엘리먼트들 모두 도는 대다수를 포함한다. 도 1에 도시된 로컬 접속은 LAN(local area network)(51) 및 WAN(wide area network)(52)를 포함한다. 그러한 네트워크 환경은 사무실, 기업-전체 컴퓨터 네트워크, 인트라넷 및 인터넷에 일반적인 것이다.

LAN 네트워크 환경에 사용될 때, 컴퓨터(20)는 네트워크 인터페이스 또는 어댑터(53)를 통해 로컬 네트워크(51)에 접속된다. WAN 네트워크 환경에 사용될 때, 컴퓨터(20)는 통상적으로 인터넷과 같은 와이트 에어리어 네트워크(52)를 통해 통신을 설정하기 위한 다른 수단 또는 모뎀(54)을 포함한다. 내장형 또는 외장형일 수도 있는 모뎀(54)은 시리얼 포트 인터페이스(46)를 통해 시스템 버스(23)에 접속된다. 네트워크화된 시스템에서, 컴퓨터(20)에 관련하여 도시된 프로그램 모듈 또는 그 부분들은 원격 메모리 저장 디바이스에 저장될 수도 있다. 도시된 네트워크 접속들은 예시적인 것이며 컴퓨터들간의 접속 링크를 설정하는 다른 수단이 사용될 수 있다는 것을 알 수 있을 것이다.

본 발명은 질문 검색 엔진의 일부를 형성하는 분석 소프트웨어가 그 카테고리에 따라 질문을 정확하게 식별하여, 검색 엔진이 보다 빠르게 질문에 응답할 수 있도록 할 수 있는 효과가 있습니다.

인터미디어 질문 결과에 대한 전략적인 정보를 설정하고 유지하는 것은 보다 효과적인 질문 계획으로 이끌 수 있다는 것은 상술한 설명으로부터 알 수 있다. 본 발명은 특정 상황하에서 기술되었지만, 본 발명은 첨부된 청구항의 기술적 사상 또는 범위내에서 부합되는 공개된 설계로부터 모든 변형 및 대안을 포함한다는 것을 의미한다.

도 1은 본 발명의 예시적인 실시예에 이용하기 적합한 컴퓨터 시스템의 개략적인 도면.

도 2는 본 발명의 예시적인 실시예에 따라 구성된 질문 인식기의 블럭도.

도 3은 질문 프리-프로세서(pre-processor)의 서브컴포넌트의 블럭도.

도 4는 도 2의 질문 인식기의 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

10 : 질문 분석기

11 : 사용자 질문

12 : 결과

14 : 질문 프리프로세싱

16 : 통합

18 : 포스트프로세싱

Claims

사용자로부터의 질문들을 분석하고 상기 질문들에 응답하기 위한 시스템에 있어서,

a) 입력 질문을 평가하고 상기 질문의 변형된 형태를 데이터 소스에 전송하여 상기 변형된 형태의 질문에 대한 응답을 생성하는 질문 프로세서; 및

b) 상기 질문 또는 상기 변형된 형태의 질문을 평가하고 상기 질문내의 데이터를 식별하기 위한 복수의 인식기들

을 포함하고;

c) 상기 질문 프로세서는 상기 복수의 인식기들 중 특정된 하나 또는 그 이상의 인식기에 상기 질문을 전송하기 위한 인식기 브로커(recognizer broker)를 포함하하는 것을 특징으로 하는 시스템.
제1항에 있어서, 상기 인식기 브로커는 상기 질문을 소정 정도의 신뢰도를 가진 임의의 타입 질문으로서 카테고리화하는 것을 특징으로 하는 시스템.
제1항에 있어서, 상기 질문 인식기는 상기 질문에서 식별된 데이터에 기초하여 상기 입력 질문의 변형된 형태를 생성하기 위한 정보를 부가하는 것을 특징으로 하는 시스템.
제3항에 있어서, 상기 질문 인식기는 상기 입력 질문에 카테고리를 부가하는 것을 특징으로 하는 시스템.
제3항에 있어서, 상기 질문 인식기는 상기 입력 질문에 포함된 정보에 관련한 정보를 부가하는 것을 특징으로 하는 시스템.
제1항에 있어서, 문서들을 검색하고 상기 문서들을 카테고리화하는 웹 크롤러(web crawler)와 상기 질문 프로세서로부터의 입력에 기초한 결과를 제공하기 위한 데이터베이스를 더 포함하는 것을 특징으로 하는 시스템.
제1항에 있어서, 상기 질문 프로세서는 상기 변형된 질문을 데이터 소스에 전송하기 이전의 카테고리를 포함하는 상기 질문을 변형하는 것을 특징으로 하는 시스템.
제1항에 있어서, 상기 질문 프로세서는 질문내의 철자가 잘못된 단어들의 철자를 변경하는 것을 특징으로 하는 시스템.
제1항에 있어서, 상기 인식기들 중 하나는 데이터베이스에 저장된 단어들과 질문 입력 단어들을 매칭시키고 상기 단어들을 신뢰도로 카테고리화하는 것을 특징으로 하는 시스템.
제9항에 있어서, 상기 데이터베이스는 신뢰도를 설정하는데 이용하기 위한 사용자 레이팅(user rating)의 히스토리를 포함하는 것을 특징으로 하는 시스템.
제9항에 있어서, 상기 사용자 레이팅의 히스토리는 이전에 제출된 질문들에 기초하여 제공된 이전 결과들의 사용자 선택에 기초하는 것을 특징으로 하는 시스템.
제10항에 있어서, 상기 데이터베이스는 단어들의 인덱스와 상기 단어들에 대한 질문의 카테고리의 표시를 포함하며, 동일한 단어에 대해 다수의 카테고리가 존재하는 것을 특징으로 하는 시스템.
제1항에 있어서, 입력 질문내의 문자들의 패턴을 인식하여 상기 질문을 카테고리화하기 위한 패턴 인식기를 포함하는 것을 특징으로 하는 시스템.
제1항에 있어서, 하나 또는 그 이상의 패턴 인식기들은 상기 인식기에서 식별을 위한 특정 언어의 용어의 데이터베이스를 포함하는 것을 특징으로 하는 시스템.
사용자로부터의 질문들을 분석하고 데이터를 이용하여 상기 질문들에 응답하기 위한 시스템에 있어서,

a) 상기 질문을 평가하고 상기 질문의 변형된 형태를 데이터 소스에 전송하여 상기 변형된 형태의 질문에 대한 응답을 생성하는 질문 프로세서;

b) 상기 질문 또는 상기 변형된 형태의 질문을 평가하고 상기 질문에서 식별된 표시들에 기초한 질문 타입을 식별하기 위한 질문 인식기; 및

c) 표시들을 저장하고 상기 표시들을 포함하는 질문의 타입에 대한 신뢰도를 관련시키며, 입력 질문의 표시와 데이터베이스내의 표시간의 매칭이 확인될 때 상기 질문 인식기에 신뢰도를 제공하는 데이터베이스를 포함하는 것을 특징으로 하는 시스템.
제15항에 있어서, 상기 질문 프로세서는 상기 변형된 형태를 상기 데이터 소스에 전송하기 전에 상기 질문의 형태를 변형하고, 상기 변형된 형태는 질문 표시자의 카테고리를 포함하는 것을 특징으로 하는 시스템.
질문을 평가하는 방법에 있어서,

a) 입력 질문을 평가하고 상기 질문의 변형된 형태를 데이터 소스에 전송하여, 상기 질문의 표시들을 평가하여 상기 변형된 형태의 질문을 생성하는 복수의 질문 인식기들 중 특정된 하나 또는 그 이상의 인식기를 이용하여 상기 질문을 평가함으로써 상기 변형된 형태의 질문에 대한 응답을 생성하는 것을 특징으로 하는 방법.
제17항에 있어서, 상기 입력 질문은 소정 정도의 신뢰도를 가진 소정 타입의 질문으로서 식별되는 것을 특징으로 하는 방법.
제17항에 있어서, 상기 입력 질문에서 식별된 데이터에 기초하여 상기 입력 질문의 변형된 형태를 생성하기 위한 정보를 부가하는 단계를 포함하는 것을 특징으로 하는 방법.
제17항에 있어서, 상기 입력 질문에 카테고리를 부가하는 단계를 포함하는 것을 특징으로 하는 방법.
제17항에 있어서, 상기 입력 질문에 포함된 정보에 관련된 정보를 부가하는 단계를 포함하는 것을 특징으로 하는 방법.
제17항에 있어서, 문서들을 검색하고 상기 문서들을 카테고리화하며, 상기 입력 질문의 콘텐츠에 기초하여 상기 질문 프로세서로부터 유도된 입력에 기초하여 확률을 제공하기 위한 데이터베이스를 보유하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제17항에 있어서, 상기 질문 프로세서는 상기 입력 질문내에서 철자가 잘못된 단어들의 철자를 변경하는 것을 특징으로 하는 방법.
제17항에 있어서, 상기 질문 인식기들 중 하나는 질문 입력 단어들과 데이터베이스에 저장된 단어들을 매칭시키고 상기 단어들을 신뢰도로 카테고리화하는 것을 특징으로 하는 방법.
제24항에 있어서, 상기 데이터베이스는 상기 신뢰도를 설정시 이용하기 위한 사용자 레이팅의 히스토리를 포함하는 것을 특징으로 하는 방법.
제25항에 있어서, 상기 사용자 레이팅의 히스토리는 이전에 제출된 입력 질문들에 기초하여 제공된 이전 결과의 사용자 선택에 기초하는 것을 특징으로 하는 방법.
제26항에 있어서, 상기 데이터베이스는 단어들의 인덱스 및 상기 단어들에 대한 질문의 카테고리의 표시를 포함하고, 동일 단어에 대해 다수의 카테고리가 존재하는 것을 특징으로 하는 방법.
제17항에 있어서, 상기 질문을 변경하기 위해 입력 질문내의 문자들의 패턴을 인식하는 것을 특징으로 하는 방법.
제28항에 있어서, 하나 또는 그 이상의 패턴 인식기들은 상기 인식기에서 식별용 특정 언어들의 용어들의 데이터베이스를 포함하는 것을 특징으로 하는 방법.
복수의 데이터 소스들에 대해 질문을 실행하기 위한 명령들을 갖는 컴퓨터 판독가능 매체에 있어서,

상기 질문을 프리프로세싱(preprocessing)하여 최종 질문을 형성하기 위한 명령;

이전에 제출된 명령들로부터 사용자가 제공한 분류 데이터와 분류 용어들의 존재에 기초하여 상기 최종 질문을 분류시키기 위한 명령; 및

질문 분류에 기초하여 상기 질문을 실행시키기 위한 데이터 소스들의 서브세트를 선택하기 위한 명령을 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.