KR101078864B1 - 질의/문서 주제 범주 변화 분석 시스템 및 그 방법과 이를 이용한 질의 확장 기반 정보 검색 시스템 및 그 방법 - Google Patents

질의/문서 주제 범주 변화 분석 시스템 및 그 방법과 이를 이용한 질의 확장 기반 정보 검색 시스템 및 그 방법 Download PDF

Info

Publication number
KR101078864B1
KR101078864B1 KR1020090025759A KR20090025759A KR101078864B1 KR 101078864 B1 KR101078864 B1 KR 101078864B1 KR 1020090025759 A KR1020090025759 A KR 1020090025759A KR 20090025759 A KR20090025759 A KR 20090025759A KR 101078864 B1 KR101078864 B1 KR 101078864B1
Authority
KR
South Korea
Prior art keywords
query
subject category
document
category
subject
Prior art date
Application number
KR1020090025759A
Other languages
English (en)
Other versions
KR20100107610A (ko
Inventor
맹성현
정유철
김경민
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020090025759A priority Critical patent/KR101078864B1/ko
Priority to US12/706,826 priority patent/US8452798B2/en
Publication of KR20100107610A publication Critical patent/KR20100107610A/ko
Application granted granted Critical
Publication of KR101078864B1 publication Critical patent/KR101078864B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3338—Query expansion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions

Abstract

본 발명은 정보 검색 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 사용자들이 정보 검색 키워드로서 입력한 질의와 그 정보 검색 결과로부터 사용자들이 적합하다고 여겨 선택한 문서에 대해 질의 주제 범주 및 문서 주제 범주를 분류해 이 질의 주제 범주와 문서 주제 범주간의 변화를 분석하는 질의/문서 주제 범주 변화 분석 시스템 및 그 방법과, 정보 검색 수행에 있어 사용자로부터 입력받은 질의를 상기 주제 범주 변화 분석 결과를 이용해 확장하여 이 확장된 질의로 해당되는 문서를 검색하는, 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 시스템 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은, 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 방법에 있어서, 사용자 질의와 적합 문서간 주제 범주 변화 분석 결과로서의 주제 범주 변화 지도와, 사용자 질의/적합 문서에 대해 각 주제 범주별로 해당 문서들이 가상 문서로서 생성되어 있되, 사용자로부터 질의를 입력받으면 상기 입력 질의에 대해 질의/문서 텍스트 정보를 토대로 해당되는 질의 주제 범주를 분류하는 단계; 상기 주제 범주 변화 지도를 토대로 상기 분류한 질의 주제 범주에 대한 적합 문서 주제 범주를 할당하는 단계; 상기 가상 문서를 토대로 상기 할당한 질의 주제 범주와 적합 문서 주제 범주에 대해 대표적인 키워드들을 랭킹하는 단계; 상기 랭킹한 대표적인 키워드들을 이용해 상기 입력 질의를 확장하는 단계; 및 상기 확장한 질의로 해당되는 문서들을 검색하는 단계를 포함한다.
Figure R1020090025759
정보 검색, 질의 주제 범주, 문서 주제 범주, 주제 범주 분류, 주제 범주 변화 분석, 질의 확장, 사용자 관심사 변화

Description

질의/문서 주제 범주 변화 분석 시스템 및 그 방법과 이를 이용한 질의 확장 기반 정보 검색 시스템 및 그 방법{The query/document topic category transition analysis system and method and the query expansion based information retrieval system and method}
본 발명은 정보 검색 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 사용자들이 정보 검색 키워드로서 입력한 질의와 그 정보 검색 결과로부터 사용자들이 적합하다고 여겨 선택한 문서에 대해 질의 주제 범주 및 문서 주제 범주를 분류해 이 질의 주제 범주와 문서 주제 범주간의 변화를 분석하는 질의/문서 주제 범주 변화 분석 시스템 및 그 방법과, 정보 검색 수행에 있어 사용자로부터 입력받은 질의를 상기 주제 범주 변화 분석 결과를 이용해 확장하여 이 확장된 질의로 해당되는 문서를 검색하는, 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 시스템 및 그 방법에 관한 것이다.
온라인(인터넷) 정보 검색 서비스에 관한 종래기술로는 검색 엔진 기반 문서 유사도 랭킹 기법, 주제 범주 기반 문서 분류 기법, 주제 범주 기반 로그 분석 기법 등이 있다.
검색 엔진 기반 문서 유사도 랭킹 기법[이하, '종래기술1'이라 함]
종래기술1에서는 검색 엔진에 의해 사용자로부터 입력받은 질의와 관련 있는 문서를 검색하여 그 문서 유사도 순으로 검색 결과를 랭킹한다. 덧붙여, 최근 상용화된(서비스 중인) 대부분의 정보 검색 웹 포털에서는 검색 엔진을 탑재해 블로그, 지식, 이미지, 뉴스, 쇼핑 정보 등과 같은 다양한 종류의 웹 콘텐츠를 검색 질의를 기반으로 랭킹하여 사용자에게 제공해 주고 있다.
이를 위해 사전에 웹 상의 모든 문서들을 색인해 놓아야 되며, 검색 엔진은 문서 색인을 토대로 문서들 상의 용어 및 문서간 링크들을 통계적으로 분석하여 순위화된 리스트 형태[문서를 가리키는 링크들의 집합]로서 사용자 입력 질의에 부합한 검색 결과를 생성하고, 이를 웹 페이지를 통해 사용자에게 제공한다.
그런데, 정보 검색 랭킹에 있어 주로 문서의 텍스트 및 메타 데이터, 문서들간의 관계 정보(예; 링크 또는 주제 범주)가 사용된다. 아울러, 대중으로부터 주목받는 콘텐츠, 현재 인기를 얻고 있는 콘텐츠를 검색 결과 상위에 랭킹하는 방식이 제한적으로 사용되고 있으나, 그 사용자로부터 입력받은 정보 검색 키워드로서의 질의 범주에 따라 달라지는 사용자 선호도에 대해서는 정보 검색 랭킹 결정의 요소에서 배제되어 있는 문제점이 있다.
주제 범주 기반 문서 분류 기법[이하, '종래기술2'이라 함]
종래기술2에서는 정보 검색 시스템을 구축하는데 있어 각각의 입력 문서를 미리 정의된 하나의 주제 범주 또는 미리 정의된 다수의 주제 범주로 사전에 분류해 놓는다.
예컨대, 종래기술2에서의 문서 분류 과정은 다음과 같다.
수동으로 구축된 학습 집단의 문서를 기계 학습에 적합한 형태로 표현하는 과정을 수행하며, 이러한 문서 표현 과정에서 자질 선정과 자질을 이용한 가중치 부여가 이루어진다.
그런후, 적당한 시간 내에 정확한 범주 할당을 위해 문서 범주화 규칙을 학습하는 과정을 수행하며, 그 학습 결과에 따라 새로운 문서들로 분류한다.
특히, 기 구축된 텍스트 기반의 택소노미(Taxonomy)가 구비된 경우에는 입력 문서로부터 입력 벡터를 추출하고, 미리 정의된 주제 범주 각각을 나타내는 벡터들과의 유사도를 생성해 문서에 주제 범주를 할당하는 방식이 사용된다.
위와 같은 문서 분류 과정은 음성 인식 기반 고객센터 자동 호 분류 시스템, 키워드 광고를 위한 광고 콘텐츠의 주제 범주 분류 시스템, 웹/특허/학술문서/도서의 자동 분류 시스템 등과 같은 분야에 다양하게 적용될 수 있다.
한편, 오픈 디렉토리 프로젝트(ODP; Open Directory Project, 이하 'ODP'라 함)와 같이 계속적으로 진화를 거듭하는 택소노미를 사용해 자동으로 사용자 질의의 주제 범주 또는 문서의 주제 범주를 분류하는 방법론이 시도되고 있으나, 질의 주제 범주와 문서 주제 범주간의 변화를 분석한 연구는 전무한 형편이다.
주제 범주 기반 로그 분석 기법[이하, '종래기술3'이라 함]
종래기술3에서는 사용자로부터 입력받은 질의에 관한 웹 로그에 포함된 세션 정보, 이 질의에 대해 검색한 결과에 관한 웹 로그에 포함된 세션 정보를 토대로 사용자 입력 질의 및 사용자 열람 콘텐츠의 주제 범주를 기반으로 사용자 방문 경로를 탐지하고, 그 방문 경로 변화 추이를 분석해, 정보 검색 시스템에 사용한다.
예컨대, "Analysis of Topic Dynamics in Web Search, Xuehua Shen et al, Int. Conf. of World Wide Web, 2005"에서는 사용자가 질의를 한 후에 방문하는 웹 페이지들간 주제 범주 변화를 마코프 모델(Markov Model)을 기반으로 시간별, 사용자별(개인/그룹/일반 대중)로 분석 및 학습하여, 추후 사용자들이 방문할 웹 페이지의 주제 범주를 예측하는 실험을 시행하였다. 이러한 실험 시행 결과로 개별 사용자의 행동 양상을 어느 정도 예측할 수 있었으며, 사용자들을 비슷한 집단의 사람끼리 분류해서 분석했을 때 그 성능이 향상됨을 확인했다.
그러나, 상기와 같은 종래방식은 사용자들이 입력한 질의와 이 사용자들이 방문한 웹 페이지의 차이점을 고려하지 않은 채, 단지 사용자들이 방문할 웹 페이지간 주제 범주만을 예측하였다.
또한, 상기와 같은 종래방식은 ODP 택소노미를 사용하였으나, 주제 범주에 대해 단지 소수(15개)의 최상위 주제 범주만을 사용했을 뿐만 아니라 ODP 택소노미에 기반한 정밀한(상세한) 주제 범주 분류를 수행하지 못한 문제점이 있다.
따라서, 정보 검색 서비스를 이용하는 사용자의 관심 주제 변화를 보다 세밀 하게 파악, 특히 정보 검색 키워드 입력 당시의 사용자들의 관심 주제와 실제 정보 검색 결과로부터 적합하다고 여겨 문서를 선택할 때의 사용자들의 관심 주제가 다를 수 있다는 현상(성향, 경향)에 착안해, 사용자의 의도 또는 관심 주제를 보다 상세한 질의/문서 주제 범주로 분류할 수 있는 기술이 절실히 요구되고 있다.
또한, 질의/문서 주제 범주 분류를 토대로 사용자 질의와 적합 문서(사용자가 선택한 문서) 사이에 그 주제 범주의 변화를 보다 면밀하게 분석할 수 있는 기술이 절실히 요구되고 있다.
또한, 질의/문서 주제 범주 변화 분석을 토대로 대량의 사용자 로그 기반으로 그 주제 변화 경향을 자동으로 추출해 사용자 질의를 확장하여 사용자 만족도 높은 정보 검색 결과를 제공하는 기술이 절실히 요구되고 있다.
즉, 주제별로 대중적으로 주목받는 또는 사용자 입장에서 선호되는 문서(콘텐츠)의 주제 범주를 간파하여 그 주제 범주에 해당하는 문서를 정보 검색 결과로서 상위에 랭킹시킬 수 있는 기술이 절실히 요구되고 있다.
이에, 본 발명은 상기와 같은 문제점을 해결하고 상기와 같은 요구에 부응하기 위하여 제안된 것으로, 사용자들이 정보 검색 키워드로서 입력한 질의와 그 정보 검색 결과로부터 사용자들이 적합하다고 여겨 선택한 문서에 대해 질의 주제 범주 및 문서 주제 범주를 분류해 이 질의 주제 범주와 문서 주제 범주간의 변화를 분석하는 질의/문서 주제 범주 변화 분석 시스템 및 그 방법과, 정보 검색 수행에 있어 사용자로부터 입력받은 질의를 상기 주제 범주 변화 분석 결과를 이용해 확장하여 이 확장된 질의로 해당되는 문서를 검색하는, 질의/문서 주제 범주 변화 분석 을 이용한 질의 확장 기반 정보 검색 시스템 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 제1 방법은, 질의 주제 범주와 문서 주제 범주간의 변화를 분석하는 방법에 있어서, 사용자로부터 입력받은 질의에 대해 질의/문서 텍스트 정보를 토대로 해당되는 질의 주제 범주를 분류하고, 상기 입력 질의에 의한 정보 검색 결과로부터 상기 사용자가 선택한 문서에 대해 질의/문서 텍스트 정보를 토대로 해당되는 문서 주제 범주를 분류하는 단계; 상기 분류한 질의 주제 범주와 상기 분류한 문서 주제 범주간의 주제 범주 변화에 관한 가중치를 도출하는 단계; 및 상기 도출한 주제 범주 변화에 관한 가중치를 토대로 사용자 질의와 적합 문서간 주제 범주 변화 분석 결과로서 주제 범주 변화 지도를 생성하는 단계를 포함한다.
또한, 본 발명의 제1 방법은, 상기 생성한 주제 범주 변화 지도를 토대로 사용자 질의/적합 문서에 대해 각 주제 범주별로 해당 문서들을 가상 문서로서 생성 하는 단계; 및 상기 생성한 가상 문서로부터 적어도 하나의 대표 키워드를 추출해 저장하는 단계를 더 포함한다.
한편, 본 발명의 제2 방법은, 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 방법에 있어서, 사용자 질의와 적합 문서간 주제 범주 변화 분석 결과로서의 주제 범주 변화 지도와, 사용자 질의/적합 문서에 대해 각 주제 범주별로 해당 문서들이 가상 문서로서 생성되어 있되, 사용자로부터 질의를 입력받으면 상기 입력 질의에 대해 질의/문서 텍스트 정보를 토대로 해당되는 질의 주제 범주를 분류하는 단계; 상기 주제 범주 변화 지도를 토대로 상기 분류한 질의 주제 범주에 대한 적합 문서 주제 범주를 할당하는 단계; 상기 가상 문서를 토대로 상기 할당한 질의 주제 범주와 적합 문서 주제 범주에 대해 대표적인 키워드들을 랭킹하는 단계; 상기 랭킹한 대표적인 키워드들을 이용해 상기 입력 질의를 확장하는 단계; 및 상기 확장한 질의로 해당되는 문서들을 검색하는 단계를 포함한다.
또한, 본 발명의 제2 방법은, 상기 검색한 문서들을 상기 대표적인 키워드들 랭킹 순서에 따라 사용자에게 제공하는 단계를 더 포함한다.
한편, 본 발명은, 상기 제1 방법 또는 제2 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
한편, 본 발명의 제1 시스템은, 질의 주제 범주와 문서 주제 범주간의 변화를 분석하는 시스템에 있어서, 질의/문서 텍스트 정보가 저장되어 있는 적합도 판단 문서 컬렉션 DB; 상기 질의/문서 텍스트 정보를 토대로 사용자 질의에 대해 질의 주제 범주를 분류하고, 상기 질의/문서 텍스트 정보를 토대로 상기 사용자 질의 에 의한 정보 검색 결과로부터 선택된 문서에 대해 문서 주제 범주를 분류하기 위한 주제 범주 분류기; 및 상기 주제 범주 분류기에서 분류한 질의 주제 범주 및 문서 주제 범주간의 주제 범주 변화에 관한 가중치를 토대로 생성되는 사용자 질의와 적합 문서간 주제 범주 변화 지도가 저장되는 주제 범주 변화 지도 DB를 포함한다.
또한, 본 발명의 제1 시스템은, 상기 주제 범주 변화 지도 DB의 주제 범주 변화 지도를 토대로 사용자 질의/적합 문서에 대해 각 주제 범주별로 해당 문서들이 생성되어 가상 문서로서 저장되고, 상기 가상 문서로부터 추출된 적어도 하나의 대표 키워드가 저장되는 주제 범주별 가상 문서 집합 DB를 더 포함한다.
한편, 본 발명의 제2 시스템은, 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 시스템에 있어서, 사용자 질의와 적합 문서간 주제 범주 변화 분석 결과로서의 주제 범주 변화 지도와, 사용자 질의/적합 문서에 대해 각 주제 범주별로 해당 문서들이 가상 문서로서 생성되어 질의/문서 주제 범주 변화 분석 시스템에 저장되어 있되, 사용자 질의에 대해 질의 주제 범주를 분류하고, 상기 주제 범주 변화 지도를 토대로 상기 분류한 질의 주제 범주에 대한 적합 문서 주제 범주를 할당하고, 상기 가상 문서를 토대로 상기 할당한 질의 주제 범주와 적합 문서 주제 범주에 대해 대표적인 키워드들을 랭킹하고, 상기 랭킹한 대표적인 키워드들을 이용해 상기 사용자 질의를 확장하기 위한 질의 확장기; 및 상기 질의 확장기에서 확장한 사용자 질의로 해당되는 문서들을 검색하기 위한 검색 엔진을 포함한다.
상기와 같은 본 발명은 사용자로부터 입력받은 정보 검색 키워드에 관한 질의 주제 범주에 적합한(관련된) 문서 주제 범주를 예측해 사용자 질의를 확장하여 사용자 관심사 변화가 반영된 문서를 검색할 수 있으며, 이를 통해 적합도 높은 문서들을 상위에 랭킹시켜 검색 서비스의 사용자 만족도를 높일 수 있도록 하는 효과가 있다.
또한, 본 발명은 상세한 수준의 (다)계층적인 주제 범주 구조를 사용하여 사용자들의 관심사 변화를 효율적으로 분석해 질의 확장에 활용할 수 있도록 하는 효과가 있다.
또한, 본 발명은 질의 주제 범주에서 문서 주제 범주로의 전환 횟수를 토대로 특정 주제에 대한 일반 대중 또는 특정 그룹의 주된 경향을 반영하여 정보 검색 서비스를 제공할 수 있도록 하는 효과가 있다.
또한, 본 발명은 사용자 질의와 이 사용자 질의와 관련된 문서(예; 텍스트 콘텐츠 등)를 정의하기만 하면, 어떠한 정보 검색 서비스 분야에도 쉽고 유연하게 적용할 수 있는 효과가 있다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면들을 함께 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명에 따른 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 시스템에 대한 일실시예 구성도이고, 도 2는 도 1의 주제 범주 분류기에 대한 일실시예 구성도이고, 도 3은 도 1의 주제 범주 변화 지도를 설명하기 위한 예시도이고, 도 4는 본 발명에 따른 사용자 질의와 적합 문서간 주제 범주 변화 분석 결과를 보여주기 위한 일실시예 설명도이고, 도 5는 본 발명에 따른 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 방법에 대한 일실시예 흐름도이다.
이하, 본 발명의 설명의 이해를 도모하고자 '질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 시스템 및 그 방법'[이하, '정보 검색 시스템 및 그 방법'은 이를 지칭함]에 대해 먼저 설명하기로 하며, 이를 통해 '질의/문서 주제 범주 변화 분석 시스템 및 그 방법'[이하, '주제 범주 변화 분석 시스템 및 그 방법'은 이를 지칭함]에 대해 그 관련 부분에서 함께 설명하기로 한다.
한편, 본 발명에서 문서(Document)란 통상적으로 웹 페이지를 지칭하나, 콘텐츠와 메타 데이터로 구성되는 일반 뉴스, 블로그 등의 문서 등도 포함되며, 여기서 콘텐츠는 텍스트, 음성, 동영상 등을 포함할 수 있으며, 메타 데이터는 문서 언 어, 문서 제목, 문서 크기, 문서 식별자(예; URL 정보 등), 문서 포맷, 주제 범주, 기타 다양한 속성 등을 포함할 수 있다. 예컨대, 본 발명에서 문서는 온라인(인터넷) 상에서 정보를 표현(포함)하는 어떠한 포맷의 데이터를 의미하는 것으로 해석하는 것이 바람직하다.
그리고, 본 발명에서 질의(Query)란 사용자가 입력한 정보 검색 키워드를 의미하며, 적합 문서(Relevant Document)란 정보 검색 결과로부터 사용자들이 적합하다고 여겨 선택한 문서[예컨대 사용자 관심사 변화에 대해 적합도 높은 문서]를 의미한다.
또한, 본 발명에서 질의 로그란 웹 정보 검색 서비스에서의 웹 질의 로그뿐만 아니라 특정 도메인의 사용자 질의 로그 등과 같이 특정 검색 서비스 분야에 한정되지는 않음을 미리 밝혀둔다.
질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 시스템
도 1에 도시된 바와 같이, 본 발명에 따른 정보 검색 시스템은 주제 범주 분류기(11), 적합도 판단 문서 컬렉션 DB[일명 테스트 컬렉션 DB](12), 주제 범주 변화 지도 DB[Topic Category Transition Map DB](13), 주제 범주별 가상 문서 집합 DB[Pseudo Document DB](14) 등을 포함한다.
또한, 본 발명에 따른 정보 검색 시스템은 통상적인 정보 검색 서비스 구현에 요구되는 검색 인터페이스(16), 서비스 서버(17), 검색 엔진(18) 등을 더 포함한다. 예컨대, 온라인 검색 브라우저를 통해 사용자로부터 질의[정보 검색 키워드]를 입력받기 위한 검색 인터페이스와, 사용자 질의에 대응해 검색 엔진에서 수행한 검색 결과를 적절한 문서(콘텐츠 포함)로서 랭킹하여 온라인 검색 브라우저를 통해 사용자에게 제공하기 위한 서비스 서버 등이 정보 검색 시스템에 구비된다.
본 발명에 따른 정보 검색 시스템의 구성요소에 대해 개략적으로 살펴보면, 상기 주제 범주 분류기(11)는 사용자들이 정보 검색 키워드로서 입력한 질의[이하 '사용자 질의'라 함]에 대한 질의 주제 범주(QC; Query Category)를 분류한다. 또한 주제 범주 분류기(11)는 정보 검색 결과로부터 사용자들이 적합하다고 여겨 선택한 문서에 대한 문서 주제 범주(DC; Document Category)를 분류한다.
상기 적합도 판단 문서 컬렉션 DB(12)에는 사용자 질의에 적합한 문서[사용자 관심사 변화에 대해 적합도 높은 문서, 즉 적합 문서]를 판단하기 위한 질의/문서 텍스트 정보가 저장되어 있다. 덧붙여, 적합도 판단 문서 컬렉션 DB(12)는 검색 엔진 평가를 위한 테스트 컬렉션 DB라고도 불리우며, 통상적으로 테스트 컬렉션은 일련의 질의 모음과, 뉴스 문서의 모음, 그리고 질의와 관련된/관련되지 않은 문서간의 매핑 정보 등으로 이루어진다.
상기 주제 범주 변화 지도 DB(13)에는 본 질의/문서 주제 범주 변화 분석 기법에 의해 도출된 사용자 질의와 적합 문서간 주제 범주 변화 분석 결과로서의 주제 범주 변화 지도가 저장된다.
상기 주제 범주별 가상 문서 집합 DB(14)에는 사용자로부터 입력받은 질의를 주제 범주 변화 분석 결과를 이용해 확장하는데 사용할[질의 확장을 위한] 주제 범주별 가상 문서 집합이 저장되어 있다.
질의/문서 주제 범주 변화 분석 기법
본 발명에서는 사용자 질의와 적합 문서 각각에 미리 정의된 주제 범주들 중에서 어느 하나의 주제 범주 또는 그 이상의[다수의] 주제 범주를 추출해 분류(부여)하고서, 이 사용자 질의에 관한 질의 주제 범주에 대해 관련도 점수를 결정하고, 이 적합 문서에 관한 문서 주제 범주에 대해 관련도 점수를 결정하고, 질의 주제 범주와 문서 주제 범주간 가중치를 토대로 그 주제 범주간의 변화를 분석한다.
덧붙여, 이러한 질의 주제 범주와 문서 주제 범주간 변화 분석 과정은, 질의 주제 범주 분류 및 문서 주제 범주 분류가 이루어진 후에 주제 범주 분류기(11)에 의해 수행되는 것이 바람직하다. 한편, 질의 주제 범주 분류 과정 및 문서 주제 범주 분류 과정에 대해서는 도 2를 참조해 하기에서 상세히 후술하기로 한다.
즉, 주제 범주 분류기(11)에서는 사용자로부터 입력받은 질의로 적합도 판단 문서 컬렉션 DB(12) 상의 질의/문서 텍스트 정보를 조회해, 해당되는 질의 주제 범주를 추출해 사용자 질의에 관한 질의 주제 범주를 분류(부여)한다.
또한, 주제 범주 분류기(11)에서는 정보 검색 결과로부터 사용자들이 적합하다고 여겨 선택한 문서로 적합도 판단 문서 컬렉션 DB(12) 상의 질의/문서 텍스트 정보를 조회해, 해당되는 문서 주제 범주를 추출해 적합 문서에 관한 문서 주제 범주를 분류(부여)한다.
그런후, 주제 범주 분류기(11)에서는 상기 질의 주제 범주에 대한 범주명과 관련도 점수를 결정하고, 상기 문서 주제 범주에 대한 범주명과 관련도 점수를 결정하고서, 이 관련도 점수를 토대로 질의 주제 범주와 문서 주제 범주간의 가중치를 결정하여 주제 범주 변화 지도[주제 범주 변화 지도 DB(13)]를 생성(획득)한다. 이러한 질의 주제 범주와 문서 주제 범주간 가중치 결정 과정은 다음의 [수학식 1]이 이용된다.
Figure 112009018198268-pat00001
여기서, 'wxy'는 사용자 질의 'qi'가 분류되는 질의 주제 범주 'x'와 적합 문서 'dj'가 분류되는 주제 범주 'y'간의 가중치를 나타낸다. 함수 'S(·)'는 주제 범주 분류기(11)에 의해 제공되는[탑재된] 관련도 점수를 나타낸다.
예컨대, [수학식 1]을 통해 '(질의, 문서)' 쌍의 입력이 증가됨에 따라 특정 질의 주제 범주에서 특정 문서 주제 범주로의 그 주제 범주 변화의 강도가 가중치 'wxy'의 증가로 나타나게 된다.
위와 같이 질의 주제 범주와 문서 주제 범주간 가중치는 정보 검색 로그[사용자로부터 입력받은 질의에 관한 로그, 정보 검색 결과로부터 사용자가 선택한 적합 문서에 관한 로그] 및 적합도 판단 문서 컬렉션 DB(12)의 데이터[질의/문서 텍스트 정보]를 기반으로 도출된다.
특히, 본 발명에서는 상기 도출한 질의 주제 범주와 문서 주제 범주간 가중치를, 하기의 [수학식 2] 및 [수학식 3]을 이용해 특정 질의 주제 범주에서 특정 문서 주제 범주로의 변화 확률값 또는 특정 질의에서 특정 문서 주제 범주로의 변화 확률값으로 변환한다.
예컨대, 본 발명에서는 기 구축된 주제 범주 변화 지도 DB(13)에 특정 질의가 존재하는 경우와 특정 질의가 존재하지 않는 경우를 고려해, 모든 경우에 있어 질의 주제 범주와 문서 주제 범주간의 변화가 분석될 수 있도록 하기 위함이다.
도 3은 특정 질의 주제 범주[qcj]에서 특정 문서 주제 범주[dck]로의 변화 확률값 계산을 통해 도출한 주제 범주 변화 지도를 보여주고 있다. 덧붙여, 도 3을 참조해 특정 질의 주제 범주에서 특정 문서 주제 범주로의 변화 확률값을 이용한 예시를 설명하나, 특정 질의에서 특정 문서 주제 범주로의 변화 확률값을 이용한 경우도 본 발명에 속함을 당업자 수준에서 이해할 수 있을 것이다.
본 발명에서 질의 주제 범주[qcj]에서 문서 주제 범주[dck]로의 변화 확률값은 하기의 [수학식 2]와 같이, 현재 질의 주제 범주에서 특정 문서 주제 범주로의 변화 가중치를 현재 질의 주제 범주에서 파생되는 모든 변화 가중치의 합으로 나눈 값으로 계산한다.
Figure 112009018198268-pat00002
여기서, 질의 주제 범주[qcj]로부터 문서 주제 범주[dck]로의 변화 강도를 나타내는 가중치[Ajk]는, 주제 범주화 학습 과정에서 질의 주제 범주[qcj]와 문서 주제 범주[dck] 각각에 속하는 질의와 문서 간에 나타나는 가중치[wjk](질의 주제 범주와 문서 주제 범주간 가중치)를 모두 합한 값이다.
한편, 특정 질의[q]에서 특정 문서 주제 범주[dck]로의 변화 확률값은 하기의 [수학식 3]과 같이, 상기 [수학식 2]에서 질의[q]가 분류될 수 있는 'n'개의 질의 주제 범주[qcj] 각각이 특정 문서 주제 범주[dck]로 변화될 확률값을 모두 더하여 계산한다.
Figure 112009018198268-pat00003
도 4는 질의 주제 범주[qcj]에서 문서 주제 범주[dck]로의 변화 확률값 계산을 통해 도출한 주제 범주 변화 지도를 기반으로 한 사용자 질의와 적합 문서간 주제 범주 변화 분석 결과를 보여주고 있다.
예컨대, 본 발명에서는 적합도 판단 문서 컬렉션 DB(12)의 예시로서 'TREC4 ad hoc search 테스트 컬렉션'을 활용하였으며, 도 4에는 이 TREC4 ad hoc search 테스트 컬렉션을 활용한 주제 범주 변화 지도의 대표적인 예시가 도시되어 있다.
덧붙여, TREC4 ad hoc search 테스트 컬렉션은 미국 NIST(National Institute of Standards and Technology)에서 제작한 검색 엔진 평가를 위한 테스트 컬렉션이며, 일련의 질의 모음과, 뉴스 문서의 모음, 그리고 질의와 관련된/관련되지 않은 문서간의 매핑 정보 등으로 이루어진다. 본 발명에서 사용한 데이터는 'TREC4 데이터', 예컨대 49개의 의문문 형태의 질의(평균 7.5 단어)와, 'Tipster disk 2~3'으로 통칭되는 1988년도부터 1992년도까지의 'AP news', 'Wall Street Journal' 등의 뉴스 문서이며, 총 뉴스 문서의 수는 567,529개이며, 각 질의는 평균적으로 133개의 관련 뉴스 문서를 가진다.
도 4에 도시된 바와 같이, 3가지 질의 주제['Topic 204', 'Topic 207', 'Topic 250'] 중에서 그 질의 주제 범주(QC)가 전환될 확률이 높은 상위 3개의 문서 주제 범주(DC)가 존재하는 경우는 'Topic 204'의 경우 밖에 없다. 즉, 'Topic 204'의 경우에 3개의 문서 주제 범주는 사용자 질의에 관한 주제와 관련성이 있다고 판단되는 타당한 주제 범주들이다. 이와 같은 'Topic 204'의 3개의 문서 주제 범주들이 적합 문서로서의 그 주제 범주들인 것이다.
한편, 'Topic 207'의 경우에는 질의 주제 범주가 잘못 할당되었고, 두번째의 문서 주제 범주 또한 잘못 할당되었다.
한편, 'Topic 250'의 경우에는 질의 주제 범주가 다소 잘못 할당되었지만, 그 문서 주제 범주들은 타당하게 할당된 것으로 판단된다.
예컨대, 앞서 설명한 바와 같이 본 발명에서는 하나의 질의 주제 범주에서 문서의 특정 주제 범주로의 전환 횟수가 적은 경우에는 이를 잡음으로 처리하고, 그 전환 횟수가 많은 경우에 주목함으로써, 특정 주제에 대한 일반 대중 또는 특정 그룹의 주된 경향을 반영하여 정보 검색 서비스를 제공할 수 있도록 하는 것이다.
한편, 본 발명에서는 도 4를 통해 확인할 수 있듯이 사용자 질의와 적합 문서 각각의 그 주제 범주가 다 계층적으로 분류되어 있으며, 이러한 주제 범주 분류 결과를 토대로 사용자 질의와 적합 문서간 주제 범주 변화 분석 결과가 도출된다.
상기와 같이 주제 범주 분류기(11)에 의해 수행된 사용자 질의와 적합 문서간 주제 범주 변화 분석 결과를 토대로 '(사용자 질의, 적합 문서)' 쌍에 대해 각 주제 범주별로 해당 문서들을 가상 문서로서 생성하여 주제 범주별 가상 문서 집합 DB(14)에 저장한다.
즉, 주제 범주별 가상 문서 집합을 구성하는데 있어 각 주제 범주별로 수집된 문서들 중에서 대표 키워드들을 랭킹하는 방식, 예를 들어 'DF-ICF' 방식["Advertising Keyword Suggestion based on Concept Hierarchy, Yifan Chen et al, Inf. Conf. of Web Search and Data Mining, 2008"]을 이용하며, 이러한 대표 키워드들이 정보 검색 수행에 있어 사용자로부터 입력받은 질의를 확장하는데 사용된다[주; 질의 확장은 도 5를 참조하여 후술하기로 함].
다음으로, 앞서 언급한 질의 주제 범주 분류 과정 및 문서 주제 범주 분류 과정에 대해 도 2를 참조해 설명하기로 한다.
주제 범주 분류 기법
도 1을 참조해 설명한 바와 같이 본 발명에 따른 질의/문서 주제 범주 변화 분석 시스템은 주제 범주 분류기(11), 적합도 판단 문서 컬렉션 DB[일명 테스트 컬렉션 DB](12), 주제 범주 변화 지도 DB(13), 주제 범주별 가상 문서 집합 DB(14)를 포함하며, 하기에서는 주제 범주 분류기(11)를 중심으로 질의 주제 범주 분류 과정 및 문서 주제 범주 분류 과정에 대해서 설명하기로 한다.
도 2에 도시된 바와 같이, 상기 주제 범주 분류기(11)는 택소노미 DB(21), 주제 범주별 센트로이드 생성기(22) 및 주제 범주별 유사도 계산기(23)를 포함한 다.
상기 택소노미 DB(21)는 그 정보 검색 서비스 분야, 예컨대 본 발명이 적용될 정보 검색 서비스 분야에 적합한 질의 주제 범주들과 문서 주제 범주들, 각 질의 주제 범주를 표현하는 특정 정보들, 각 문서 주제 범주를 표현하는 특정 정보들을 포함하는 특정 택소노미가 될 수 있다.
본 발명에서는 사용자의 일반적인 관심사를 모두 포함하기 위해 택소노미 DB(21)의 예시로서 일반 대중에 의해 방대하게 구축된 웹 사이트 택소노미인 ODP[일명 DMOZ(Directory Mozilla)]를 사용하였다.
즉, 본 발명에서는 ODP와 같은 외부 택소노미를 활용하여 주제 범주 분류기로 사용자 질의와 적합 문서의 주제 범주 분류를 상세하게(fine-grained) 수행하고, 이와 같은 상세한 주제 범주 분류를 토대로 질의 주제 범주와 문서 주제 범주간의 변화를 주제 범주 변화 지도로 구성하는 것이다. 특히, 본 발명에서는 하기에서 도 4를 참조해 후술하겠지만 주제 범주 분류기(11)에서는 사용자 질의와 적합 문서 각각에 대해 다 계층적인 주제 범주를 분류한다.
위와 같은 사용자 질의와 적합 문서간 주제 범주 변화 분석 과정에 대해 본 발명의 이해를 도모하고자 이를 정리하면 다음과 같다.
본 발명에서는 ODP와 같은 외부 택소노미를 활용하여 사용자 질의와 적합 문서 각각에 대해 그 상세한(fine-grained) 주제 범주 분류를 수행한다.
그런후, 상세한 주제 범주 분류를 토대로 질의 주제 범주와 문서 주제 범주간의 주제 범주 변화에 관한 변화 확률값을 계산하여 사용자 질의와 적합 문서간 주제 범주 변화 분석 결과로서 주제 범주 변화 지도를 생성한다.
그런후, 사용자 질의와 적합 문서간 주제 범주 변화 분석 결과를 토대로 '(사용자 질의, 적합 문서)' 쌍에 대해 각 주제 범주별로 해당 문서들을 모아서 가상 문서(pseudo document)를 생성하고서, 이 가상 문서로부터 대표 키워드들을 추출해 주제 범주별 가상 문서 집합 DB(14)에 저장한다.
상기 주제 범주별 센트로이드 생성기(22)는 택소노미 DB(21)에 저장되어 있는 각 주제 범주[질의 주제 범주 및 문서 주제 범주]별로 각 주제 범주들을 표현하는 특정 정보들을 이용하여 하기의 [수학식 4]와 같이 센트로이드 벡터(centroid vector)를 생성한다. 예시적으로, 본 발명에서는 각 주제 범주들을 표현하는 특정 정보로서 ODP의 각 주제 범주에 속하는 스니펫(snippet) 웹 사이트 주소, 제목 및 설명을 사용하였다.
Figure 112009018198268-pat00004
여기서, 'cj'는 주제 범주를, 's'는 스니펫 웹문서를,
Figure 112009018198268-pat00005
는 주제 범주에 대한 센트로이드 벡터를 나타낸다. 예컨대, [수학식 4]와 같이 본 발명에서는 주제 범주[cj]에 속한 스니펫 웹문서[s]들을 종합적으로 이용하여 그 스니펫 웹문서들에 속한 단어들로 센트로이드 벡터를 생성한다.
상기 주제 범주별 유사도 계산기(23)는 주제 범주별 센트로이드 생성기(22)에서 생성한 센트로이드 벡터를 기준으로 하여, 주제 범주 분류기에 입력되는 질의에 대해 그 질의 주제 범주별로 코사인 유사도를 계산하고, 주제 범주 분류기에 입력되는 문서에 대해 그 문서 주제 범주별로 코사인 유사도를 계산한다.
상기와 같이 입력 질의에 대해 계산한 질의 주제 범주별 코사인 유사도 및 입력 문서에 대해 계산한 문서 주제 범주별 코사인 유사도를 토대로, 주제 범주 분류기(11)에서는 입력 질의에 대한 질의 주제 범주를 분류하고, 입력 문서에 대한 문서 주제 범주를 분류한다.
다음으로, 도 5를 참조하여 본 발명에서 제시하는 질의 확장 기반 정보 검색 방법에 대해 설명하기로 한다. 도 5를 참조해 후술할 질의 확장 기반 정보 검색 과정은 그 수행 주체가 정보 검색 시스템, 바람직하게는 검색 엔진(18)인 것으로 예를 들어 설명하기로 한다. 여기서, 검색 엔진이라 함은 특정한 프로세스, 장치로 구현된 모듈을 의미하는 것이 아니라 정보 검색 수행 주체를 의미하는 것으로 이해하는 것이 바람직하다.
질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 기법
온라인 검색 브라우저[검색 인터페이스(16)]를 통해 사용자로부터 질의[정보 검색 키워드]가 검색 엔진(18)에 입력되면(51), 상기 검색 엔진(18)에 의해 주제 범주 분류기(11)는 적합도 판단 문서 컬렉션 DB(12)를 조회하여 사용자 질의에 대한 질의 주제 범주를 분류한다(52).
그런후, 상기 검색 엔진(18)에 의해 주제 범주 분류기(11)는 주제 범주 변화 지도 DB(13)를 조회하여 상기 분류한 질의 주제 범주에 대해 예상되는 문서 주제 범주[즉 사용자들이 적합하다고 여겨 선택한 문서인 적합 문서 주제 범주]를 할당한다(53). 여기서, 주제 범주 변화 지도 DB(13)에는 위에서 설명했던 바와 같이 사용자 질의와 적합 문서간 주제 범주 변화 분석 결과가 주제 범주 변화 지도 상에 포함되어 있다.
그런후, 상기 검색 엔진(18)에 의해 주제 범주 분류기(11)는 주제 범주별 가상 문서 집합 DB(14)를 조회하여, 상기 할당한 질의 주제 범주와 문서 주제 범주에 대해 각 주제 범주별로 수집된 문서들 중에서 대표적인 키워드들을 랭킹한다[예; DF-ICF 방식을 사용하여 재정렬후 획득한 키워드들 랭킹](54). 예컨대, 본 발명에서는 적합 문서들이 할당받게 되는 주제 범주에 해당하는 문서들로부터 키워드들을 추출하여 'DF*ICF 가중치'를 기반으로 대표 키워드 리스트를 랭킹하여 구성한다. 또한 본 발명에서 상기 할당한 질의 주제 범주에 대해 가장 적합도 높은 문서 주제 범주뿐만 아니라, 두 번째 적합도 높은 문서 주제 범주, 세 번째 적합도 높은 문서 주제 범주 등도 함께 포함시켜 그 랭킹 순서에 따른 대표 키워드 리스트를 구성한다.
그런후, 상기 검색 엔진(18)에 의해 주제 범주 분류기(11), 바람직하게는 검색 엔진(18)측에 구비된 질의 확장기[도면에 도시하지 않음]는 상기 랭킹한 대표적인 키워드들을 이용해 최초 입력받은 사용자 질의[즉 '51' 과정에서 사용자로부터 입력받은 질의]를 확장한다(55). 이와 같이 확장된 질의는 최초 사용자 질의와 랭킹한 대표적인 키워드들이 합성되어 구성되며, 이러한 질의 확장 과정은 단순 병합 또는 합성 가중치를 고려한 합성 방식(예; Rocchio query expansion method) 등을 통해 수행될 수 있다. 특히, 본 발명에서는 질의 확장 과정에서 [수학식 2]를 이용해 계산한 질의 주제 범주[qcj]에서 문서 주제 범주[dck]로의 변화 확률값이 질의 확장을 위한 가중치를 설정할 때 유용하게 사용될 수 있다.
그런후, 상기 검색 엔진(18)은 확장된 질의를 질의 확장기를 통해 획득해 이 확장된 질의로 온라인(인터넷) 상의 해당되는 모든 문서들을 검색한다(56).
그런후, 상기 검색 엔진(18)은 상기 검색 결과로 획득한 문서들을 대표적인 키워드들 랭킹 순서 등에 따라 서비스 서버(17)를 통해 온라인 검색 브라우저측의 사용자에게 제공한다(57). 예컨대, 검색 엔진(18)은 대표적인 키워드들 랭킹 순서에 따라 순위화된 리스트 형태[문서를 가리키는 링크들의 집합]로서 사용자 질의에 부합한 정보 검색 결과에 해당되는 문서들을 서비스 서버(17)를 통해 웹 페이지 등을 통해 사용자에게 제공하는 것이다.
마지막으로, 본 발명에서 제시한 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 기법[이하, '본 알고리즘'이라 함]에 대한 성능 평가 결과를 도 6 내지 도 8을 참조하여 설명하기로 한다.
도 6 내지 도 8은 본 발명에서 제시한 검색 알고리즘 성능 평가를 보여주기 위한 일실시예 설명도이다. 도 6에는 'Precision@n'에 관한 성능 평가 결과가, 도 7에는 'Interpolated precision-recall'에 관한 성능 평가 결과가, 도 8에는 'Overall Performance Comparisons'에 관한 성능 평가 결과가 각각 도시되어 있다.
본 발명에서는 기존 정보 검색 알고리즘 대비 본 알고리즘간의 성능을 비교하는 실험에 있어 'TREC4 ad hoc search 테스트 컬렉션'을 사용하였다.
실험에 사용된 적합성 피드백 방식들로는, 1) 기본 질의를 사용하는 방식[baseline], 2) 명시적 적합성 피드백 방식[ERF; Explicit Relevance Feedback], 3) 유사 적합성 피드백 방식[PRF; Pseudo Relevance Feedback], 4) 주제 범주 적합성 피드백 방식[TRF; Topic Relevance Feedback], 5) 주제 범주 변화 적합성 피드백 방식[TTRF; Topic Transition Relevance Feedback]을 사용하였다. 이 중에서 '5) 주제 범주 변화 적합성 피드백 방식[TTRF]'이 본 발명에서 제시한 알고리즘이며, 나머지는 관련 분야에서 널리 알려진 알고리즘들이다.
실험에서는, 각각의 알고리즘에 대해 주어진 질의에 대해 관련된 문서를 얼마나 많이, 우선적으로 검색하는지에 대하여, 적합성 피드백에 사용되는 문서의 수[1~5 docs], 질의 확장에 사용되는 키워드의 수[0~500]와 문서 주제 범주의 수[1~5 DC]를 변화시키면서, 그 중에서 가장 성능이 높은 경우를 각 알고리즘의 대표 성능으로서 비교하였다.
각 알고리즘 성능 평가 결과는 다음과 같다.
도 6에 도시된 'Precision@n'은 질의에 적합한 문서가 얼마나 우선적으로 검색되었는지를 평가하는 척도이고, 도 7에 도시된 'Interpolated precision-recall'은 질의에 적합한 문서가 얼마나 우선적으로, 많이 검색되었는지를 평가하는 척도이다.
도 6 및 도 7에 도시된 바와 같이, 본 발명에서 제시한 알고리즘[TTRF]이 가 장 성능이 우수한 것을 확인할 수 있다. 특히, 하나의 문서 주제 범주[1 DC]만을 고려했을 때보다 여러 개(본 실험의 경우에는 4개)의 문서 주제 범주를 고려했을 때[4 DC] 본 발명에서 제시한 알고리즘[TTRF]이 최고의 성능을 나타내었다.
또한, 본 발명에서 제시한 알고리즘[TTRF]의 성능 향상 비율은 도 8을 통해 확인할 수 있다.
도 8에 도시된 도표에서 기준점은 명시적 적합성 피드백 방식[ERF]으로, 대조군 중 가장 좋은 성능을 보인 알고리즘이다. 본 발명에서 제시한 알고리즘[TTRF]은 'MAP(Mean Average Precision)', 'P@5(Precision@5)', 'P@10(Precision@10)' 각 부문에서 각각 28%, 48%, 43%의 성능 향상을 보였다.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
도 1은 본 발명에 따른 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 시스템에 대한 일실시예 구성도.
도 2는 도 1의 주제 범주 분류기에 대한 일실시예 구성도.
도 3은 도 1의 주제 범주 변화 지도를 설명하기 위한 예시도.
도 4는 본 발명에 따른 사용자 질의와 적합 문서간 주제 범주 변화 분석 결과를 보여주기 위한 일실시예 설명도.
도 5는 본 발명에 따른 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 방법에 대한 일실시예 흐름도.
도 6 내지 도 8은 본 발명에서 제시한 검색 알고리즘 성능 평가를 보여주기 위한 일실시예 설명도.
* 도면의 주요 부분에 대한 부호 설명
11 : 주제 범주 분류기
12 : 적합도 판단 문서 컬렉션 DB
13 : 주제 범주 변화 지도 DB
14 : 주제 범주별 가상 문서 집합 DB
16 : 검색 인터페이스
17 : 서비스 서버
18 : 검색 엔진
21 : 택소노미 DB
22 : 주제 범주별 센트로이드 생성기
23 : 주제 범주별 유사도 계산기

Claims (22)

  1. 질의 주제 범주와 문서 주제 범주간의 변화를 분석하는 방법에 있어서,
    사용자로부터 입력받은 질의에 대해 질의/문서 텍스트 정보를 토대로 해당되는 질의 주제 범주를 분류하고, 상기 입력받은 질의에 의한 정보 검색 결과로부터 상기 사용자가 선택한 문서에 대해 질의/문서 텍스트 정보를 토대로 해당되는 문서 주제 범주를 분류하는 단계;
    분류한 상기 질의 주제 범주와 상기 문서 주제 범주간의 주제 범주 변화에 관한 가중치를 도출하는 단계; 및
    도출한 상기 주제 범주 변화에 관한 가중치를 토대로 사용자 질의와 적합 문서간 주제 범주 변화 분석 결과로서 주제 범주 변화 지도를 생성하는 단계
    를 포함하는 질의/문서 주제 범주 변화 분석 방법.
  2. 제 1 항에 있어서,
    생성한 상기 주제 범주 변화 지도를 토대로 사용자 질의/적합 문서에 대해 각 주제 범주별로 해당 문서들을 가상 문서로서 생성하는 단계; 및
    생성한 상기 가상 문서로부터 적어도 하나의 대표 키워드를 추출해 저장하는 단계
    를 더 포함하는 질의/문서 주제 범주 변화 분석 방법.
  3. 제 2 항에 있어서,
    상기 질의 주제 범주를 분류하는 과정 및 상기 문서 주제 범주를 분류하는 과정은,
    적어도 하나의 외부 택소노미를 이용해 질의/문서 텍스트 정보를 획득하여, 계층적인 질의 주제 범주 분류를 수행하고, 계층적인 문서 주제 범주 분류를 수행하는 것을 특징으로 하는 질의/문서 주제 범주 변화 분석 방법.
  4. 제 3 항에 있어서,
    상기 외부 택소노미는,
    ODP[일명 DMOZ]를 포함하는 것을 특징으로 하는 질의/문서 주제 범주 변화 분석 방법.
  5. 제 3 항에 있어서,
    상기 질의 주제 범주를 분류하는 과정 및 상기 문서 주제 범주를 분류하는 과정은,
    상기 외부 택소노미에 저장되어 있는 각 주제 범주[질의 주제 범주 및 문서 주제 범주]별로 각 주제 범주들을 표현하는 특정 정보들을 이용하여 센트로이드 벡터를 생성하는 과정;
    생성한 상기 센트로이드 벡터를 기준으로 하여, 상기 입력받은 질의에 대해 해당 질의 주제 범주별로 유사도를 계산하고, 상기 문서에 대해 해당 문서 주제 범주별로 유사도를 계산하는 과정; 및
    계산한 상기 질의 주제 범주별 유사도 및 계산한 상기 문서 주제 범주별 유사도를 토대로, 상기 입력받은 질의에 대해 질의 주제 범주를 분류하고, 상기 문서에 대해 문서 주제 범주를 분류하는 과정
    을 포함하는 질의/문서 주제 범주 변화 분석 방법.
  6. 제 5 항에 있어서,
    상기 센트로이드 벡터를 생성하는 과정은,
    각 주제 범주에 속한 스니펫 웹문서들을 이용하여 해당 스니펫 웹문서들에 속한 단어들로 센트로이드 벡터를 생성하는 것을 특징으로 하는 질의/문서 주제 범주 변화 분석 방법.
  7. 제 2 항에 있어서,
    상기 주제 범주 변화에 관한 가중치를 도출하는 단계는,
    분류한 상기 질의 주제 범주에 대한 범주명과 관련도 점수를 결정하고, 분류한 사익 문서 주제 범주에 대한 범주명과 관련도 점수를 결정하고서, 결정한 상기 관련도 점수를 토대로 질의 주제 범주와 문서 주제 범주간의 가중치를 도출하는 것을 특징으로 하는 질의/문서 주제 범주 변화 분석 방법.
  8. 제 2 항에 있어서,
    상기 주제 범주 변화 지도를 생성하는 단계는,
    도출한 상기 주제 범주 변화에 관한 가중치를, 특정 질의 주제 범주에서 특정 문서 주제 범주로의 변화 확률값 또는 특정 질의에서 특정 문서 주제 범주로의 변화 확률값으로 변환하는 과정; 및
    변환한 상기 특정 질의 주제 범주에서 특정 문서 주제 범주로의 변화 확률 또는 상기 특정 질의에서 특정 문서 주제 범주로의 변화 확률값을 토대로 사용자 질의와 적합 문서간 주제 범주 변화 분석 결과로서 주제 범주 변화 지도를 생성하는 과정
    을 포함하는 질의/문서 주제 범주 변화 분석 방법.
  9. 제 8 항에 있어서,
    상기 특정 질의 주제 범주에서 특정 문서 주제 범주로의 변화 확률값은,
    현재 질의 주제 범주에서 특정 문서 주제 범주로의 변화 가중치를 현재 질의 주제 범주에서 파생되는 모든 변화 가중치의 합으로 나눈 값으로 계산되는 것을 특징으로 하는 질의/문서 주제 범주 변화 분석 방법.
  10. 제 8 항에 있어서,
    상기 특정 질의에서 특정 문서 주제 범주로의 변화 확률값은,
    질의가 분류될 수 있는 소정 개수의 질의 주제 범주 각각이 특정 문서 주제 범주로 변화될 확률값을 모두 더하여 계산되는 것을 특징으로 하는 질의/문서 주제 범주 변화 분석 방법.
  11. 제 2 항에 있어서,
    상기 가상 문서로부터 대표 키워드를 추출하는 과정은,
    상기 각 주제 범주별로 수집된 문서들 중에서 대표적인 키워드들을 랭킹하는 방식을 이용하는 것을 특징으로 하는 질의/문서 주제 범주 변화 분석 방법.
  12. 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 방법에 있어서,
    사용자 질의와 적합 문서간 주제 범주 변화 분석 결과로서의 주제 범주 변화 지도와, 사용자 질의/적합 문서에 대해 각 주제 범주별로 해당 문서들이 가상 문서로서 생성되어 있되,
    사용자로부터 질의를 입력받으면 상기 입력 질의에 대해 질의/문서 텍스트 정보를 토대로 해당되는 질의 주제 범주를 분류하는 단계;
    상기 주제 범주 변화 지도를 토대로 상기 분류한 질의 주제 범주에 대한 적합 문서 주제 범주를 할당하는 단계;
    상기 가상 문서를 토대로, 할당한 상기 질의 주제 범주와 상기 적합 문서 주제 범주에 대해 대표적인 키워드들을 랭킹하는 단계;
    랭킹한 상기 대표적인 키워드들을 이용해 상기 입력 질의를 확장하는 단계; 및
    확장한 상기 입력 질의로 해당되는 문서들을 검색하는 단계
    를 포함하는 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 방법.
  13. 제 12 항에 있어서,
    상기 검색한 문서들을 상기 대표적인 키워드들 랭킹 순서에 따라 사용자에게 제공하는 단계
    를 더 포함하는 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 방법.
  14. 제 12 항에 있어서,
    상기 대표적인 키워드들을 랭킹하는 단계는,
    상기 할당한 질의 주제 범주에 대해 적합도가 있는 적어도 하나의 문서 주제 범주를 포함시켜 랭킹 순서에 따른 대표 키워드 리스트를 생성하는 것을 특징으로 하는 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 방법.
  15. 제 12 항에 있어서,
    상기 입력 질의를 확장하는 단계는,
    상기 입력 질의와 상기 랭킹한 대표적인 키워드들을 단순 병합 또는 합성 가중치를 토대로 합성하는 것을 특징으로 하는 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 방법.
  16. 제 1 항 내지 제 15 항 중 어느 한 항의 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  17. 질의 주제 범주와 문서 주제 범주간의 변화를 분석하는 시스템에 있어서,
    질의/문서 텍스트 정보가 저장되어 있는 적합도 판단 문서 컬렉션 DB;
    상기 질의/문서 텍스트 정보를 토대로 사용자 질의에 대해 질의 주제 범주를 분류하고, 상기 질의/문서 텍스트 정보를 토대로 상기 사용자 질의에 의한 정보 검색 결과로부터 선택된 문서에 대해 문서 주제 범주를 분류하기 위한 주제 범주 분류기; 및
    상기 주제 범주 분류기에서 분류한 질의 주제 범주 및 문서 주제 범주간의 주제 범주 변화에 관한 가중치를 토대로 생성되는 사용자 질의와 적합 문서간 주제 범주 변화 지도가 저장되는 주제 범주 변화 지도 DB
    를 포함하는 질의/문서 주제 범주 변화 분석 시스템.
  18. 제 17 항에 있어서,
    상기 주제 범주 변화 지도 DB의 주제 범주 변화 지도를 토대로 사용자 질의/적합 문서에 대해 각 주제 범주별로 해당 문서들이 생성되어 가상 문서로서 저장되고, 상기 가상 문서로부터 추출된 적어도 하나의 대표 키워드가 저장되는 주제 범주별 가상 문서 집합 DB
    를 더 포함하는 질의/문서 주제 범주 변화 분석 시스템.
  19. 제 17 항 또는 제 18 항에 있어서,
    상기 주제 범주 분류기는,
    적어도 하나의 외부 택소노미를 포함하는 택소노미 DB;
    상기 외부 택소노미에 저장되어 있는 각 주제 범주[질의 주제 범주 및 문서 주제 범주]별로 각 주제 범주들을 표현하는 특정 정보들을 이용하여 센트로이드 벡터를 생성하는 주제 범주별 센트로이드 생성기; 및
    상기 주제 범주별 센트로이드 생성기에서 생성한 센트로이드 벡터를 기준으로 하여, 입력 질의에 대해 해당 질의 주제 범주별로 유사도를 계산하고, 상기 문서에 대해 해당 문서 주제 범주별로 유사도를 계산하는 주제 범주별 유사도 계산기
    를 포함하는 질의/문서 주제 범주 변화 분석 시스템.
  20. 제 17 항 또는 제 18 항에 있어서,
    상기 질의/문서 텍스트 정보는,
    일련의 질의 모음과, 뉴스 문서의 모음, 질의와 관련된/관련되지 않은 문서간의 매핑 정보를 포함하는 것을 특징으로 하는 질의/문서 주제 범주 변화 분석 시스템.
  21. 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 시스템에 있어서,
    사용자 질의와 적합 문서간 주제 범주 변화 분석 결과로서의 주제 범주 변화 지도와, 사용자 질의/적합 문서에 대해 각 주제 범주별로 해당 문서들이 가상 문서로서 생성되어 질의/문서 주제 범주 변화 분석 시스템에 저장되어 있되,
    사용자 질의에 대해 질의 주제 범주를 분류하고, 상기 주제 범주 변화 지도를 토대로 상기 분류한 질의 주제 범주에 대한 적합 문서 주제 범주를 할당하고, 상기 가상 문서를 토대로, 할당한 상기 질의 주제 범주와 상기 적합 문서 주제 범주에 대해 대표적인 키워드들을 랭킹하고, 랭킹한 상기 대표적인 키워드들을 이용해 상기 사용자 질의를 확장하기 위한 질의 확장기; 및
    상기 질의 확장기에서 확장한 사용자 질의로 해당되는 문서들을 검색하기 위한 검색 엔진
    을 포함하는 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 시스템.
  22. 제 21 항에 있어서,
    상기 검색 엔진은,
    상기 검색한 문서들을 상기 대표적인 키워드들 랭킹 순서에 따라 사용자에게 제공하는 것을 특징으로 하는 질의/문서 주제 범주 변화 분석을 이용한 질의 확장 기반 정보 검색 시스템.
KR1020090025759A 2009-03-26 2009-03-26 질의/문서 주제 범주 변화 분석 시스템 및 그 방법과 이를 이용한 질의 확장 기반 정보 검색 시스템 및 그 방법 KR101078864B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090025759A KR101078864B1 (ko) 2009-03-26 2009-03-26 질의/문서 주제 범주 변화 분석 시스템 및 그 방법과 이를 이용한 질의 확장 기반 정보 검색 시스템 및 그 방법
US12/706,826 US8452798B2 (en) 2009-03-26 2010-02-17 Query and document topic category transition analysis system and method and query expansion-based information retrieval system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090025759A KR101078864B1 (ko) 2009-03-26 2009-03-26 질의/문서 주제 범주 변화 분석 시스템 및 그 방법과 이를 이용한 질의 확장 기반 정보 검색 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20100107610A KR20100107610A (ko) 2010-10-06
KR101078864B1 true KR101078864B1 (ko) 2011-11-02

Family

ID=43129283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090025759A KR101078864B1 (ko) 2009-03-26 2009-03-26 질의/문서 주제 범주 변화 분석 시스템 및 그 방법과 이를 이용한 질의 확장 기반 정보 검색 시스템 및 그 방법

Country Status (2)

Country Link
US (1) US8452798B2 (ko)
KR (1) KR101078864B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190043961A (ko) 2017-10-19 2019-04-29 주식회사 인텔리콘 연구소 연관 용어의 시각화와 사용자 상호작용을 통한 전자정보 검색 시스템 및 방법과 이를 저장한 기록매체

Families Citing this family (236)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
JP5761033B2 (ja) * 2010-02-12 2015-08-12 日本電気株式会社 文書分析装置、文書分析方法、およびプログラム
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8392432B2 (en) * 2010-04-12 2013-03-05 Microsoft Corporation Make and model classifier
KR101116434B1 (ko) * 2010-04-14 2012-03-07 엔에이치엔(주) 이미지를 이용한 쿼리 제공 방법 및 시스템
CN102236663B (zh) 2010-04-30 2014-04-09 阿里巴巴集团控股有限公司 一种基于垂直搜索的查询方法、系统和装置
US10515147B2 (en) * 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10068022B2 (en) * 2011-06-03 2018-09-04 Google Llc Identifying topical entities
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US9043350B2 (en) * 2011-09-22 2015-05-26 Microsoft Technology Licensing, Llc Providing topic based search guidance
US8862605B2 (en) * 2011-11-18 2014-10-14 International Business Machines Corporation Systems, methods and computer program products for discovering a text query from example documents
US20130138643A1 (en) * 2011-11-25 2013-05-30 Krishnan Ramanathan Method for automatically extending seed sets
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US8719025B2 (en) * 2012-05-14 2014-05-06 International Business Machines Corporation Contextual voice query dilation to improve spoken web searching
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US8805848B2 (en) * 2012-05-24 2014-08-12 International Business Machines Corporation Systems, methods and computer program products for fast and scalable proximal search for search queries
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US10120911B2 (en) 2012-08-02 2018-11-06 Rule 14 Real-time and adaptive data mining
US10114899B2 (en) 2012-08-02 2018-10-30 Rule 14 Real-time and adaptive data mining
US10108680B2 (en) 2012-08-02 2018-10-23 Rule 14 Real-time and adaptive data mining
US10108725B2 (en) 2012-08-02 2018-10-23 Rule 14 Real-time and adaptive data mining
US10108724B2 (en) 2012-08-02 2018-10-23 Rule 14 Real-time and adaptive data mining
US9229977B2 (en) * 2012-08-02 2016-01-05 Rule 14 Real-time and adaptive data mining
US10114872B2 (en) 2012-08-02 2018-10-30 Rule 14 Real-time and adaptive data mining
US10198516B2 (en) 2012-08-02 2019-02-05 Rule 14 Real-time and adaptive data mining
US10108679B2 (en) 2012-08-02 2018-10-23 Rule 14 Real-time and adaptive data mining
US10108723B2 (en) 2012-08-02 2018-10-23 Rule 14 Real-time and adaptive data mining
US10108678B2 (en) 2012-08-02 2018-10-23 Rule 14 Real-time and adaptive data mining
US11048712B2 (en) * 2012-08-02 2021-06-29 Rule 14 Real-time and adaptive data mining
US10108713B2 (en) 2012-08-02 2018-10-23 Rule 14 Real-time and adaptive data mining
US10114871B2 (en) 2012-08-02 2018-10-30 Rule 14 Real-time and adaptive data mining
US10102257B2 (en) 2012-08-02 2018-10-16 Rule 14 Real-time and adaptive data mining
US10114870B2 (en) 2012-08-02 2018-10-30 Rule 14 Real-time and adaptive data mining
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9582572B2 (en) 2012-12-19 2017-02-28 Intel Corporation Personalized search library based on continual concept correlation
EP2954514B1 (en) 2013-02-07 2021-03-31 Apple Inc. Voice trigger for a digital assistant
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9336269B1 (en) 2013-03-14 2016-05-10 Google Inc. Determining question and answer alternatives
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
CN103164537B (zh) * 2013-04-09 2016-01-13 浙江鸿程计算机系统有限公司 一种面向用户信息需求的搜索引擎日志数据挖掘的方法
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
DE112014002747T5 (de) 2013-06-09 2016-03-03 Apple Inc. Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9646062B2 (en) * 2013-06-10 2017-05-09 Microsoft Technology Licensing, Llc News results through query expansion
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
AU2014306221B2 (en) 2013-08-06 2017-04-06 Apple Inc. Auto-activating smart responses based on activities from remote devices
CN103455564B (zh) * 2013-08-15 2018-11-13 复旦大学 一种根据维基百科中话题信息使查询词项多样化的方法
CN104516903A (zh) * 2013-09-29 2015-04-15 北大方正集团有限公司 关键词扩展方法及系统、及分类语料标注方法及系统
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9965521B1 (en) * 2014-02-05 2018-05-08 Google Llc Determining a transition probability from one or more past activity indications to one or more subsequent activity indications
US9582543B2 (en) 2014-04-24 2017-02-28 International Business Machines Corporation Temporal proximity query expansion
US9881010B1 (en) * 2014-05-12 2018-01-30 Google Inc. Suggestions based on document topics
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
AU2015266863B2 (en) 2014-05-30 2018-03-15 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10601749B1 (en) 2014-07-11 2020-03-24 Twitter, Inc. Trends in a messaging platform
US10592539B1 (en) 2014-07-11 2020-03-17 Twitter, Inc. Trends in a messaging platform
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
WO2016036345A1 (en) * 2014-09-02 2016-03-10 Hewlett-Packard Development Company, L. P. External resource identification
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9606986B2 (en) 2014-09-29 2017-03-28 Apple Inc. Integrated word N-gram and class M-gram language models
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US9424321B1 (en) * 2015-04-27 2016-08-23 Altep, Inc. Conceptual document analysis and characterization
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
CN105094315B (zh) * 2015-06-25 2018-03-06 百度在线网络技术（北京）有限公司 基于人工智能的人机智能聊天的方法和装置
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
EP3281122A4 (en) * 2015-07-24 2018-04-25 Samsung Electronics Co., Ltd. Method for automatically generating dynamic index for content displayed on electronic device
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
CN107193832A (zh) * 2016-03-15 2017-09-22 北京京东尚科信息技术有限公司 相似度挖掘方法及装置
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
US10318562B2 (en) * 2016-07-27 2019-06-11 Google Llc Triggering application information
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US20180137178A1 (en) * 2016-11-11 2018-05-17 International Business Machines Corporation Accessing data and performing a data processing command on the data with a single user input
US11250074B2 (en) * 2016-11-30 2022-02-15 Microsoft Technology Licensing, Llc Auto-generation of key-value clusters to classify implicit app queries and increase coverage for existing classified queries
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
CN107180111B (zh) * 2017-06-13 2019-10-25 深圳市宇数科技有限公司 一种信息推荐方法、电子设备、存储介质及系统
CN107506434A (zh) * 2017-08-23 2017-12-22 北京百度网讯科技有限公司 基于人工智能分类语音输入文本的方法和装置
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
CN110516033A (zh) * 2018-05-04 2019-11-29 北京京东尚科信息技术有限公司 一种计算用户偏好的方法和装置
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11526567B2 (en) * 2018-10-17 2022-12-13 International Business Machines Corporation Contextualizing searches in a collaborative session
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN109829104B (zh) * 2019-01-14 2022-12-16 华中师范大学 基于语义相似度的伪相关反馈模型信息检索方法及系统
US11226972B2 (en) 2019-02-19 2022-01-18 International Business Machines Corporation Ranking collections of document passages associated with an entity name by relevance to a query
US11132358B2 (en) * 2019-02-19 2021-09-28 International Business Machines Corporation Candidate name generation
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
KR102304050B1 (ko) * 2019-09-23 2021-09-24 네이버 주식회사 Q＆a 서비스 제공 방법 및 이를 이용하는 웹 서버
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11947604B2 (en) * 2020-03-17 2024-04-02 International Business Machines Corporation Ranking of messages in dialogs using fixed point operations
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11880660B2 (en) * 2021-02-22 2024-01-23 Microsoft Technology Licensing, Llc Interpreting text classifier results with affiliation and exemplification

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267095A (ja) * 2004-03-17 2005-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報表示方法及び装置及び情報表示プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6182066B1 (en) * 1997-11-26 2001-01-30 International Business Machines Corp. Category processing of query topics and electronic document content topics
US6701305B1 (en) * 1999-06-09 2004-03-02 The Boeing Company Methods, apparatus and computer program products for information retrieval and document classification utilizing a multidimensional subspace
US7814085B1 (en) * 2004-02-26 2010-10-12 Google Inc. System and method for determining a composite score for categorized search results
US20070005646A1 (en) * 2005-06-30 2007-01-04 Microsoft Corporation Analysis of topic dynamics of web search
KR101178068B1 (ko) 2005-07-14 2012-08-30 주식회사 케이티 텍스트의 카테고리 분류 장치 및 그 방법
KR100802511B1 (ko) 2005-10-11 2008-02-13 주식회사 코리아 와이즈넛 토픽 기반의 검색 서비스 제공 시스템 및 그 방법
US7769751B1 (en) * 2006-01-17 2010-08-03 Google Inc. Method and apparatus for classifying documents based on user inputs
US8019754B2 (en) * 2006-04-03 2011-09-13 Needlebot Incorporated Method of searching text to find relevant content
KR20090000010A (ko) 2006-12-14 2009-01-07 엔에이치엔(주) 키워드의 카테고리를 분류하는 방법 및 상기 방법을수행하는 시스템
KR100923505B1 (ko) 2007-04-30 2009-11-02 주식회사 이스트엠엔에스 사용자 관심도를 반영한 정보검색 랭킹 시스템 및 그 방법
KR100899930B1 (ko) 2007-07-24 2009-05-28 엔에이치엔(주) 연관 데이터 클래스 생성 방법 및 시스템
KR100892263B1 (ko) 2007-08-01 2009-04-09 주식회사 다음커뮤니케이션 카테고리별 키워드 추천 시스템 및 방법
US8862608B2 (en) * 2007-11-13 2014-10-14 Wal-Mart Stores, Inc. Information retrieval using category as a consideration
US8886636B2 (en) * 2008-12-23 2014-11-11 Yahoo! Inc. Context transfer in search advertising

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267095A (ja) * 2004-03-17 2005-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報表示方法及び装置及び情報表示プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190043961A (ko) 2017-10-19 2019-04-29 주식회사 인텔리콘 연구소 연관 용어의 시각화와 사용자 상호작용을 통한 전자정보 검색 시스템 및 방법과 이를 저장한 기록매체

Also Published As

Publication number Publication date
KR20100107610A (ko) 2010-10-06
US8452798B2 (en) 2013-05-28
US20110047161A1 (en) 2011-02-24

Similar Documents

Publication Publication Date Title
KR101078864B1 (ko) 질의/문서 주제 범주 변화 분석 시스템 및 그 방법과 이를 이용한 질의 확장 기반 정보 검색 시스템 및 그 방법
JP5391633B2 (ja) オントロジー空間を規定するタームの推奨
US8108405B2 (en) Refining a search space in response to user input
Arguello et al. Sources of evidence for vertical selection
KR101118454B1 (ko) 문서 데이터베이스에서 문서들의 도메인 식별방법
RU2382400C2 (ru) Построение и применение веб-каталогов для фокусированного поиска
US8135739B2 (en) Online relevance engine
US8543380B2 (en) Determining a document specificity
Serdyukov et al. Modeling documents as mixtures of persons for expert finding
US20090292685A1 (en) Video search re-ranking via multi-graph propagation
JP5391632B2 (ja) ワードと文書の深さの決定
KR100954842B1 (ko) 카테고리 태그 정보를 이용한 웹 페이지 분류 방법, 그 시스템 및 이를 기록한 기록매체
JP4569380B2 (ja) ベクトル生成方法及び装置及びカテゴリ分類方法及び装置及びプログラム及びプログラムを格納したコンピュータ読み取り可能な記録媒体
KR101011726B1 (ko) 스니펫 제공 장치 및 방법
JP4324650B2 (ja) 情報資源検索装置、情報資源検索方法及び情報資源検索プログラム
JP3921837B2 (ja) 情報判別支援装置、情報判別支援プログラムを記録した記録媒体及び情報判別支援方法
JP4879775B2 (ja) 辞書作成方法
KR20110023304A (ko) 개념 네트워크 기반 사용자 프로파일 구성 방법 및 시스템과 이를 이용한 개인화 질의 확장 시스템
JP2000331020A (ja) 情報参照方法，情報参照装置および情報参照プログラムを格納した記憶媒体
JP4759600B2 (ja) 文章検索装置、文章検索方法、文章検索プログラムおよびその記録媒体
JP4009937B2 (ja) 文書検索装置、文書検索プログラム及び文書検索プログラムを記録した媒体
JP4073734B2 (ja) 入力単語候補を推薦する情報検索システム
KR101110026B1 (ko) 지역 정보 검색 장치 및 방법
JP4134975B2 (ja) 話題文書提示方法及び装置及びプログラム
Ali et al. Dataset creation framework for personalized type-based facet ranking tasks evaluation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140930

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181002

Year of fee payment: 8