KR20190038243A - 맥락을 이용하여 문서를 검색하는 시스템 및 방법 - Google Patents

맥락을 이용하여 문서를 검색하는 시스템 및 방법 Download PDF

Info

Publication number
KR20190038243A
KR20190038243A KR1020180013104A KR20180013104A KR20190038243A KR 20190038243 A KR20190038243 A KR 20190038243A KR 1020180013104 A KR1020180013104 A KR 1020180013104A KR 20180013104 A KR20180013104 A KR 20180013104A KR 20190038243 A KR20190038243 A KR 20190038243A
Authority
KR
South Korea
Prior art keywords
similarity
query
context
documents
vector
Prior art date
Application number
KR1020180013104A
Other languages
English (en)
Other versions
KR102055899B1 (ko
Inventor
맹성현
김경민
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20190038243A publication Critical patent/KR20190038243A/ko
Application granted granted Critical
Publication of KR102055899B1 publication Critical patent/KR102055899B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

맥락을 이용하여 질의와 관련된 문서를 검색하는 검색 시스템으로서, 입력된 질의(query)의 맥락 정보에 대한 제1 임베딩 벡터 및 문서들 각각의맥락 정보에 대한 제2 임베딩 벡터들을 생성하고, 상기 제1 임베딩 벡터와 상기 제2 임베딩 벡터들을 각각 비교하여 상기 질의와 상기 문서들 사이에 맥락 정보의 유사도를 각각 결정하는 맥락 유사도 결정부, 그리고 상기 유사도를 기초로 상기 문서들을 정렬한 검색 결과를 생성하는 검색 결과 표시부를 포함한다.

Description

맥락을 이용하여 문서를 검색하는 시스템 및 방법{SYSTEM AND METHOD FOR RETRIEVING DOCUMENTS USING CONTEXT}
본 발명은 맥락을 이용하여 문서를 검색하는 기술에 관한 것이다.
검색 시스템에서 사용자가 입력한 질의(query)와 관련된 문서 또는 응답을 출력하는데 있어, 입력된 질의에서 드러나거나 암시되어 있는 맥락을 파악하는 것이 중요하다.
그러나, 기존의 검색 시스템은 시간이나 장소와 같은 제한적인 종류의 맥락 정보만을 활용하였다. 따라서, 확장성이 부족하고 다양한 종류의 맥락 정보를 동시에 활용할 수 없는 문제가 있었다.
본 발명이 해결하고자 하는 과제는 다양한 종류의 맥락 정보를 동시에 표현할 수 있는 맥락 임베딩 벡터를 활용하여, 질의의 맥락과 유사한 맥락을 가진 문서를 검색하는 시스템 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 맥락을 이용하여 질의와 관련된 문서를 검색하는 검색 시스템은 입력된 질의(query)의 맥락 정보에 대한 제1 임베딩 벡터 및 문서들 각각의맥락 정보에 대한 제2 임베딩 벡터들을 생성하고, 상기 제1 임베딩 벡터와 상기 제2 임베딩 벡터들을 각각 비교하여 상기 질의와 상기 문서들 사이에 맥락 정보의 유사도를 각각 결정하는 맥락 유사도 결정부, 그리고 상기 유사도를 기초로 상기 문서들을 정렬한 검색 결과를 생성하는 검색 결과 표시부를 포함한다.
상기 맥락 유사도 결정부는 텍스트 분석 알고리즘을 이용하여 상기 질의 및 상기 문서들 각각으로부터 맥락 정보를 추출한다.
상기 맥락 유사도 결정부는 상기 질의로부터 추출한 맥락 정보에 대해 벡터화 알고리즘을 이용하여 상기 제1 임베딩 벡터를 생성하고, 상기 문서들 각각으로부터 추출한 맥락 정보에 대해 벡터화 알고리즘을 이용하여 상기 제2 임베딩 벡터들을 생성한다.
상기 맥락 유사도 결정부는 벡터 유사도 판단 알고리즘을 이용하여 상기 제1 임베딩 벡터와 상기 제2 임베딩 벡터들 사이의 벡터 유사도를 각각 결정하고, 상기 벡터 유사도를 통해 상기 질의와 상기 문서들 사이에 맥락 정보의 유사도를 각각 결정한다.
본 발명의 일 실시예에 따른 맥락을 이용하여 질의와 관련된 문서를 검색하는 검색 시스템은 상기 질의와 특정값 이상의 관련도를 갖는 상기 문서들을 검색하는 초기 검색부를 더 포함하고, 상기 검색 결과 생성부는상기 관련도 및 상기 유사도를 기초로 상기 문서들을 정렬한 검색 결과를 생성한다.
본 발명의 일 실시예에 따른 검색 시스템이 질의와 문서 사이의 맥락 정보를 비교하는 방법은 입력된 질의(query) 및 문서에서 맥락 정보를 각각 추출하는 단계, 상기 질의에서 추출한 맥락 정보에 대해 벡터화 알고리즘을 이용하여 제1 임베딩 벡터를 생성하고, 상기 문서에서 추출한 맥락 정보에 대해 벡터화 알고리즘을 이용하여 제2 임베딩 벡터를 생성하는 단계, 그리고 상기 제1 임베딩 벡터와 상기 제2 임베딩 벡터를 비교하여 상기 질의와 상기 문서 사이에 맥락 정보의 유사도를 결정하는 단계를 포함한다.
상기 맥락 정보를 각각 추출하는 단계는 텍스트 분석 알고리즘을 이용하여 상기 질의 및 상기 문서들 각각으로부터 맥락 정보를 추출한다.
상기 질의와 상기 문서 사이에 맥락 정보의 유사도를 결정하는 단계는 벡터 유사도 판단 알고리즘을 이용하여 상기 제1 임베딩 벡터와 상기 제2 임베딩 벡터 사이의 벡터 유사도를 결정하고, 상기 벡터 유사도를 상기 질의와 상기 문서 사이에 맥락 정보의 유사도로 결정한다.
상기 맥락 정보는 장소, 시간 또는 토픽 중 적어도 하나에 대한 정보이다.
본 발명에 따르면, 입력된 질의에 대한 다양한 종류의 맥락 정보를 동시에 고려하는바, 기존의 검색 방법보다 사용자의 검색 의도를 반영하여 문서 또는 응답을 검색할 수 있다.
도 1은 한 실시예에 따른 질의와 관련된 문서를 검색하는 검색 시스템의 구조도이다.
도 2는 추출한 맥락 정보를 벡터화하여 임베딩 벡터를 생성하는 예시적인 방법을 나타내는 도면이다.
도 3은 한 실시예에 따른 검색 시스템이 질의와 문서 사이의 맥락 정보를 비교하는 방법을 설명하는 도면이다.
도 4는 두 벡터 사이의 유사도를 계산하는 방법을 설명하는 도면이다.
도 5는 한 실시예에 따른 검색 시스템이 질의와 관련된 문서를 검색하는 방법을 설명하는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서, "맥락 정보"는 질의(query) 또는 문서에 대한 장소, 시간 또는 토픽 중 적어도 하나에 대한 정보를 포함하는 단어를 지칭한다. 예를 들면, 질의 "who is governor of ohio 2011?"에서, "맥락 정보"는 장소에 대한 정보를 나타내는 단어 "ohio"와 시간에 대한 정보를 나타내는 단어 "2011"일 수 있고, 나아가 질문의 토픽에 대한 정보를 나타내는 단어 "역사"일 수 있다.
또한, 본 명세서에서, "임베딩 벡터"는 맥락 정보에 대한 함축적인 의미를 나타내는 고정 길이의 k차원의 벡터를 지칭하며, "맥락 임베딩 벡터" 또는 "맥락 공간"으로 표현될 수 있다.
이하, 도면을 참조로 하여 본 발명의 실시예에 따른 맥락 임베딩 벡터를 활용하여 문서를 검색하는 시스템 및 방법에 대해 설명한다.
도 1은 한 실시예에 따른 질의와 관련된 문서를 검색하는 검색 시스템의 구조도이고, 도 2는 추출한 맥락 정보를 벡터화하여 임베딩 벡터를 생성하는 예시적인 방법을 나타내는 도면이다.
도 1을 참고하면, 검색 시스템(100)은 초기 검색부(110), 맥락 유사도 결정부(120) 및 검색 결과 표시부(130)를 포함한다.
초기 검색부(110)는 입력된 질의(query)와 특정값 이상의 관련도를 갖는 하나 이상의 문서들을 검색한다.
구체적으로, 초기 검색부(110)는 문서 데이터베이스(200)와 연동하여, 문서 데이터베이스(200)에 입력받은 질의를 전송하고, 문서 데이터베이스(200)로부터 질의와 특정값 이상의 관련도를 갖는 하나 이상의 문서들에 대한 정보를 수신한다.
예를 들면, 초기 검색부(110)는 루씬(Lucene), 너치(Nutch) 또는 BM25 등과 같은 문서 검색 엔진을 사용하여 문서 데이터베이스(200)로부터 질의와 특정값 이상의 관련도를 갖는 문서들 또는 이들로 연결되는 링크를 수신할 수 있다.
이 경우, 초기 검색부(110)는 문서들에 대한 정보와 함께, 문서들 각각에 대응하는 관련도를 스코어 형태로서 수신할 수 있다.
관련도는 질의에 포함된 단어를 문서들이 포함하는지 여부, 질의에 포함된 단어가 문서들에 출현하는 빈도여부에 따라 결정될 수 있다. 즉, 질의에 포함된 단어들을 많이 포함하는 문서일수록 해당 문서는 높은 관련도 점수를 가질 수 있다.
맥락 유사도 결정부(120)는 텍스트 분석 알고리즘을 이용하여 입력받은 질의 및 검색된 문서들 각각의 하나 이상의 맥락 정보를 추출한다.
예를 들면, 맥락 유사도 결정부(120)는 GeoNames와 같은 지명 사전 데이터베이스(미도시)와 연동하여 개체명 인식 알고리즘(Named-Entity Recognition, NER)을 이용해 장소에 대한 정보를 추출할 수 있다. 또한, 맥락 유사도 결정부(120)는 규칙 기반 방법으로 질의 및 문서들 각각에 포함된 시간에 대한 정보를 추출할 수 있으며, 기계학습 기반 토픽 분류기를 이용하여 토픽에 대한 정보를 추출할 수도 있다. 특정 문장에서 단어를 추출하는 방법은 이미 공지된 기술이므로 본 명세서에서는 자세한 설명을 생략한다.
이 경우, 맥락 유사도 결정부(120)가 추출하는 맥락 정보의 종류는 질의의 카테고리에 따라 결정될 수 있다.
예를 들면, 맥락 유사도 결정부(120)는 기본적으로 질의 및 문서에서 장소, 시간 또는 토픽 중 적어도 하나에 대한 정보를 포함하는 단어를 추출할 수 있으나, 만일 질의의 카테고리가 "법률"인 경우 "장소", "시간", "토픽" 외에도 "소송 주체", "소송 대리인" 등을 추가로 추출할 수 있다. 또한, 질의의 카테고리가 "의학"인 경우, "질병 이름", "증상", "질병 원인" 등을 추가로 추출할 수 있다.
질의의 카테고리를 결정하기 위해, 맥락 유사도 결정부(120)는 질의에 포함된 단어를 추출하여 단어들이 출현하는 빈도수를 결정하고, 특정값 이상의 빈도수를 가지는 단어를 이용하여 질의의 카테고리를 결정할 수 있다. 예를 들면, 맥락 유사도 결정부(120)는 질의에서 단어 "소송"이 출현하는 빈도수가 특정값 이상인 경우, 해당 질의의 카테고리를 "법률"로 결정할 수 있다.
또한, 맥락 유사도 결정부(120)는 카테고리 별로 추출하는 맥락 정보의 종류를 설정하고, 결정된 카테고리에 대응하는 맥락 정보의 종류를 결정하여 결정된 맥락 정보의 종류를 질의 및 문서로부터 추출할 수 있다.
맥락 유사도 결정부(120)는 질의의 맥락 정보에 대한 임베딩 벡터 및 문서들 각각의 맥락 정보에 대한 임베딩 벡터들을 생성한다.
예를 들면, 도 2를 참고하면, 맥락 유사도 결정부(120)는 질의 "What team does Cristiano Ronaldo play for 2011?"에서 시간에 대한 맥락 정보로서 "2011"을, 토픽에 대한 맥락 정보로서 "Soccer"를 추출할 수 있으며, 추출한 단어에 대해 벡터화 알고리즘을 이용하여 임베딩 벡터를 생성할 수 있다.
일 실시예에서, 맥락 유사도 결정부(120)는 추출한 맥락 정보의 유형별로 각각 임베딩 벡터를 생성하고, 생성한 임베딩 벡터들을 연결하여 전체 임베딩 벡터를 생성할 수 있다.
예를 들면, 도 2에 도시된 바와 같이, 맥락 유사도 결정부(120)는 장소 정보에 대해 4차원의 벡터를 생성하고, 시간 정보에 대해 3차원의 벡터를 생성하고, 토픽 정보에 대해 4차원의 벡터를 생성한 후, 이들을 결합한 11차원의 벡터를 질의의 맥락 정보 임베딩 벡터로서 생성할 수 있다.
다른 실시예에서, 맥락 유사도 결정부(120)는 모든 유형의 맥락 정보를 하나로 통합한 임베딩 벡터를 생성할 수 있다.
예를 들면, 맥락 유사도 결정부(120)는 시간에 대한 맥락 정보 "2011" 및 토픽에 대한 맥락 정보 "Soccer"가 함께 추출된 경우 도 2에 도시된 6차원의 임베딩 벡터로서 통합 임베딩 벡터를 생성할 수 있다. 이를 위해, 맥락 유사도 결정부(120)는 각 경우에 해당하는 통합 임베딩 벡터에 대한 정보를 기 저장하고 있을 수 있다.
맥락 유사도 결정부(120)는 질의와 동일한 방법으로 문서들 각각에 대한 맥락 정보 임베딩 벡터를 생성할 수 있다.
맥락 유사도 결정부(120)는 Word2Vector 또는 Glove 기반의 벡터화 알고리즘을 이용하여 추출한 맥락 정보를 벡터화하여 임베딩 벡터를 생성할 수 있다.
또한, 맥락 유사도 결정부(120)는 질의의 맥락 정보와 문서들 사이에 맥락 정보의 유사도를 각각 결정한다.
구체적으로, 맥락 유사도 결정부(120)는 벡터 유사도 판단 알고리즘을 이용하여 벡터 간 유사도를 1:1로 결정한다. 예를 들면, 맥락 유사도 결정부(120)는 코사인 유사도(cosine similarity) 알고리즘을 이용하여 질의의 맥락 임베딩 벡터와 문서들 각각의 맥락 임베딩 벡터 사이의 벡터 유사도를 결정할 수 있다.
이후, 맥락 유사도 결정부(120)는 결정한 벡터 유사도를 통해 질의와 문서들 사이에 맥락 정보의 유사도를 각각 결정한다. 구체적으로, 맥락 유사도 결정부(120)는 질의의 맥락 임베딩 벡터와 특정 문서의 맥락 임베딩 벡터 사이의 벡터 유사도를 질의와 특정 문서의 맥락 정보의 유사도로 결정한다.
검색 결과 표시부(130)는 특정 기준에 따라 문서들을 정렬한 검색 결과를 생성한다.
일 실시예에서, 검색 결과 표시부(130)는 결정한 유사도를 기초로 문서들을 정렬한 검색 결과를 생성할 수 있다.
예를 들면, 검색 결과 표시부(130)는 유사도가 높은 순서대로 문서들을 정렬하고, 정렬된 문서들에 대한 정보를 포함하는 검색 결과를 생성할 수 있다. 이 경우, 검색 결과 표시부(130)는 관련도를 고려하지 않고, 문서들 또한 질의와 특정값 이상의 관련도를 가질 필요도 없다.
다른 실시예에서, 검색 결과 표시부(130)는 초기 검색부(110)에 의해 수신한 문서들 각각에 대한 관련도 및 유사도를 기초로 문서들을 정렬한 검색 결과를 생성할 수도 있다.
구체적으로, 검색 결과 표시부(130)는 유사도가 미리 설정된 값 이상인 문서들에 대해 관련도 및 유사도에 가중치를 달리하여 검색 점수를 계산하고, 검색 점수가 높은 순서대로 문서들을 정렬한 검색 결과를 생성할 수 있다.
예를 들면, 검색 결과 표시부(130)는 유사도가 "10"인 문서들에 대해 해당 문서들의 관련도에 가중치 0.4를 곱하고, 해당 문서들의 유사도에 가중치 0.6을 곱한 값을 더하여 검색 점수를 계산하며, 계산된 검색 점수가 높은 순서대로 문서들을 정렬하여 검색 결과를 생성할 수 있다.
검색 결과 표시부(130)는 생성된 검색 결과를 사용자에게 표시한다. 이 경우, 검색 결과 표시부(130)는 검색 결과와, 문서들 각각에 대해 결정된 관련도, 유사도 또는 계산된 검색 점수를 함께 표시할 수도 있다.
문서 데이터베이스(200)는 초기 검색부(110)와 연동되며, 초기 검색부(110)로부터 수신한 질의를 포함하는 적어도 하나 이상의 문서들을 저장 및 관리하는 서버를 지칭한다.
또한, 문서 데이터베이스(200)는 초기 검색부(110)로부터 수신한 질의를 포함하는 횟수 또는 기타 다른 방법에 따라 질의와의 관련도를 계산할 수 있으며, 초기 검색부(110)의 요청에 따라 특정값 이상의 관련도를 갖는 하나 이상의 문서들 또는 이들에 대한 링크를 초기 검색부(110)로 전송할 수 있다.
도 3은 한 실시예에 따른 검색 시스템이 질의와 문서 사이의 맥락 정보를 비교하는 방법을 설명하는 도면이고, 도 4는 두 벡터 사이의 유사도를 계산하는 방법을 설명하는 도면이다.
도 3을 참고하면, 검색 시스템(100)은 입력된 질의 및 문서에서 맥락 정보를 각각 추출한다(S100).
구체적으로, 검색 시스템(100)은 텍스트 분석 알고리즘을 이용하여 입력받은 질의 및 검색된 문서들 각각의 하나 이상의 맥락 정보를 추출한다.
예를 들면, 맥락 유사도 결정부(120)는 GeoNames와 같은 지명 사전 데이터베이스(미도시)와 연동하여 개체명 인식 알고리즘(Named-Entity Recognition, NER)을 이용해 장소에 대한 정보를 추출할 수 있다. 또한, 맥락 유사도 결정부(120)는 규칙 기반 방법으로 질의 및 문서 각각에 포함된 시간에 대한 정보를 추출할 수 있으며, 기계학습 기반 토픽 분류기를 이용하여 토픽에 대한 정보를 추출할 수도 있다.
또한, 검색 시스템(100)이 추출하는 맥락 정보의 종류는 질의 및 문서들의 카테고리에 따라 결정될 수 있다.
검색 시스템(100)은 질의에서 추출한 맥락 정보에 대한 임베딩 벡터 및 문서에서 추출한 맥락 정보에 대한 임베딩 벡터를 각각 생성한다(S110).
구체적으로, 검색 시스템(100)은 추출된 하나 이상의 맥락 정보가 가지는 의미를 다차원 공간에서 벡터화 하기 위해, 추출한 맥락 정보에 대해 벡터화 알고리즘을 이용하여 임베딩 벡터를 생성한다. 예를 들면, 검색 시스템(100)은 Word2Vector 또는 Glove 기반의 벡터화 알고리즘을 이용하여 질의 및 문서에서 추출한 맥락 정보를 벡터화하여 임베딩 벡터를 생성할 수 있다.
이렇게 생성된 임베딩 벡터들은 질의 및 문서의 맥락 정보를 반영한다.
검색 시스템(100)은 질의의 맥락 임베딩 벡터와 문서의 맥락 임베딩 벡터 사이의 유사도를 결정한다(S120). 예를 들면, 도 4를 참고하면, 검색 시스템(100)은 질의에 대한 임베딩 벡터와 문서에 대한 임베딩 벡터 사이의 수학적 유사도를 벡터 유사도 판단 알고리즘을 이용하여 계산할 수 있고, 계산된 수학적 유사도를 두 벡터 사이의 벡터 유사도로 결정할 수 있다.
검색 시스템(100)은 임베딩 벡터 사이의 유사도를 통해 질의와 문서 사이의 맥락 정보 유사도로 결정한다(S130).
구체적으로, 검색 시스템(100)은 단계 S120에서 결정한 두 벡터 사이의 벡터 유사도를 질의와 문서 사이에 맥락 정보의 유사도로 결정한다.
도 5는 한 실시예에 따른 검색 시스템이 질의와 관련된 문서를 검색하는 방법을 설명하는 도면이다.
도 5를 참고하면, 검색 시스템(100)은 사용자로부터 입력받은 질의와 특정값 이상의 관련도를 갖는 문서들을 검색한다(S200).
구체적으로, 검색 시스템(100)은 연동된 문서 데이터베이스(200)에 입력받은 질의를 전송하고, 문서 데이터베이스(200)로부터 질의와 특정값 이상의 관련도를 갖는 하나 이상의 문서들에 대한 정보를 수신한다. 이 경우, 검색 시스템(100)은 문서들과 함께, 문서들 각각에 대응하는 관련도를 함께 수신한다.
예를 들면, 검색 시스템(100)은 루씬(Lucene), 너치(Nutch) 또는 BM25 등과 같은 문서 검색 엔진을 사용할 수 있으며, 이 경우 질의와 연관된 하나 이상의 문서들로 연결되는 링크 및 문서들 각각에 대응하는 관련도를 스코어 형태로서 수신할 수 있다.
검색 시스템(100)은 검색한 문서들을 특정 순서에 따라 정렬한 초기 검색 결과를 생성한다(S210).
예를 들면, 검색 시스템(100)은 관련도가 높은 순서대로 문서들을 정렬한 검색 결과를 생성하고, 이를 초기 검색 결과로서 결정할 수 있다.
검색 시스템(100)은 질의와 문서들 간에 맥락 정보의 유사도를 각각 결정한다(S220). 검색 시스템(100)이 맥락 정보의 유사도를 결정하는 방법은 도 3 및 도 4에서 설명한 방법과 동일하므로, 도 5에서는 그 설명을 생략한다.
검색 시스템(100)은 초기 검색 결과에서 문서들이 정렬된 순서를 변경한다(S230).
일 실시예에서, 검색 시스템(100)은 결정한 유사도를 기초로 문서들을 정렬한 검색 결과를 생성할 수 있다.
예를 들면, 검색 시스템(100)은 유사도가 높은 순서대로 문서들을 정렬하고, 정렬된 문서들에 대한 정보를 포함하는 검색 결과를 생성할 수 있다. 이 경우, 검색 시스템(100)은 관련도를 고려하지 않고, 문서들 또한 질의와 특정값 이상의 관련도를 가질 필요도 없다.
다른 실시예에서, 검색 시스템(100)은 문서들 각각에 대한 관련도 및 유사도를 기초로 문서들을 정렬한 검색 결과를 생성할 수도 있다.
구체적으로, 검색 시스템(100)은 유사도가 미리 설정된 값 이상인 문서들에 대해 관련도 및 유사도에 가중치를 달리하여 검색 점수를 계산하고, 검색 점수가 높은 순서대로 문서들을 정렬한 검색 결과를 생성할 수 있다.
검색 시스템(100)은 문서들이 재정렬된 검색 결과를 최종 검색 결과로서 생성한다(S240).
검색 시스템(100)은 최종 검색 결과를 사용자에게 표시한다(S250). 이 경우, 검색 시스템(100)은 각각의 문서들에 대해 결정된 관련도, 유사도 또는 계산된 검색 점수를 함께 표시할 수도 있다.
본 발명에 따르면, 입력된 질의에 대한 다양한 종류의 맥락 정보를 동시에 고려하는바, 기존의 검색 방법보다 사용자의 검색 의도를 반영하여 문서 또는 응답을 검색할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (9)

  1. 맥락을 이용하여 질의와 관련된 문서를 검색하는 검색 시스템으로서,
    입력된 질의(query)의 맥락 정보에 대한 제1 임베딩 벡터 및 문서들 각각의맥락 정보에 대한 제2 임베딩 벡터들을 생성하고, 상기 제1 임베딩 벡터와 상기 제2 임베딩 벡터들을 각각 비교하여 상기 질의와 상기 문서들 사이에 맥락 정보의 유사도를 각각 결정하는 맥락 유사도 결정부, 그리고
    상기 유사도를 기초로 상기 문서들을 정렬한 검색 결과를 생성하는 검색 결과 표시부
    를 포함하는 검색 시스템.
  2. 제1항에서,
    상기 맥락 유사도 결정부는
    텍스트 분석 알고리즘을 이용하여 상기 질의 및 상기 문서들 각각으로부터 맥락 정보를 추출하는 검색 시스템.
  3. 제2항에서,
    상기 맥락 유사도 결정부는
    상기 질의로부터 추출한 맥락 정보에 대해 벡터화 알고리즘을 이용하여 상기 제1 임베딩 벡터를 생성하고, 상기 문서들 각각으로부터 추출한 맥락 정보에 대해 벡터화 알고리즘을 이용하여 상기 제2 임베딩 벡터들을 생성하는 검색 시스템.
  4. 제1항에서,
    상기 맥락 유사도 결정부는
    벡터 유사도 판단 알고리즘을 이용하여 상기 제1 임베딩 벡터와 상기 제2 임베딩 벡터들 사이의 벡터 유사도를 각각 결정하고, 상기 벡터 유사도를 통해 상기 질의와 상기 문서들 사이에 맥락 정보의 유사도를 각각 결정하는 검색 시스템.
  5. 제1항에서,
    상기 질의와 특정값 이상의 관련도를 갖는 상기 문서들을 검색하는 초기 검색부
    를 더 포함하고,
    상기 검색 결과 생성부는
    상기 관련도 및 상기 유사도를 기초로 상기 문서들을 정렬한 검색 결과를 생성하는 검색 시스템.
  6. 검색 시스템이 질의와 문서 사이의 맥락 정보를 비교하는 방법으로서,
    입력된 질의(query) 및 문서에서 맥락 정보를 각각 추출하는 단계,
    상기 질의에서 추출한 맥락 정보에 대해 벡터화 알고리즘을 이용하여 제1 임베딩 벡터를 생성하고, 상기 문서에서 추출한 맥락 정보에 대해 벡터화 알고리즘을 이용하여 제2 임베딩 벡터를 생성하는 단계, 그리고
    상기 제1 임베딩 벡터와 상기 제2 임베딩 벡터를 비교하여 상기 질의와 상기 문서 사이에 맥락 정보의 유사도를 결정하는 단계
    를 포함하는 맥락 정보 비교 방법.
  7. 제6항에서,
    상기 맥락 정보를 각각 추출하는 단계는
    텍스트 분석 알고리즘을 이용하여 상기 질의 및 상기 문서로부터 맥락 정보를 각각 추출하는 맥락 정보 비교 방법.
  8. 제6항에서,
    상기 질의와 상기 문서 사이에 맥락 정보의 유사도를 결정하는 단계는
    벡터 유사도 판단 알고리즘을 이용하여 상기 제1 임베딩 벡터와 상기 제2 임베딩 벡터 사이의 벡터 유사도를 결정하고, 상기 벡터 유사도를 상기 질의와 상기 문서 사이에 맥락 정보의 유사도로 결정하는 맥락 정보 비교 방법.
  9. 제6항에서,
    상기 맥락 정보는
    장소, 시간 또는 토픽 중 적어도 하나에 대한 정보인 맥락 정보 비교 방법.
KR1020180013104A 2017-09-28 2018-02-01 맥락을 이용하여 문서를 검색하는 시스템 및 방법 KR102055899B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170126363 2017-09-28
KR1020170126363 2017-09-28

Publications (2)

Publication Number Publication Date
KR20190038243A true KR20190038243A (ko) 2019-04-08
KR102055899B1 KR102055899B1 (ko) 2019-12-16

Family

ID=66164863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180013104A KR102055899B1 (ko) 2017-09-28 2018-02-01 맥락을 이용하여 문서를 검색하는 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102055899B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218659A1 (ko) * 2019-04-26 2020-10-29 (주)아크릴 인공신경망을 활용한 보험상품 판매 질의응답 자동화 장치
KR20200138914A (ko) * 2019-06-03 2020-12-11 주식회사 한글과컴퓨터 사용자의 위치 정보에 의해 자동 지정된 타겟 언어를 기반으로 번역 문장 추천 기능을 제공하는 전자 단말 장치 및 그 동작 방법
KR20200142677A (ko) * 2019-06-13 2020-12-23 주식회사 엔씨소프트 제스쳐 추천 방법 및 이를 수행하기 위한 장치
KR20210050155A (ko) * 2019-10-28 2021-05-07 씨제이올리브네트웍스 주식회사 인공 지능을 활용한 서류 전형 시스템
WO2021107231A1 (ko) * 2019-11-28 2021-06-03 한국과학기술원 계층적 단어 정보를 이용한 문장 인코딩 방법 및 장치
KR102265946B1 (ko) * 2020-11-23 2021-06-17 주식회사 엠로 기계 학습 기반 유사 아이템에 관한 정보를 제공하는 방법 및 장치
KR20210085728A (ko) * 2019-12-31 2021-07-08 (주)위드캣 대화식 질의 시스템에서 교육 컨텐츠에 관한 학습자 질의에 응답하기 위한 질의 응답 방법 및 질의 응답 시스템
KR20210108024A (ko) * 2020-02-25 2021-09-02 경희대학교 산학협력단 문맥적 관련성을 고려한 의료 문서 검색 방법 및 장치
KR102311644B1 (ko) * 2021-01-29 2021-10-12 한국과학기술정보연구원 데이터분석장치 및 그 동작 방법
KR20220072662A (ko) * 2020-11-25 2022-06-02 조현철 쿼리와 의료 컨텐츠의 연관성 평가 방법
KR102458457B1 (ko) * 2021-12-21 2022-10-26 주식회사 티맥스에이아이 문서 데이터 검색 기법
KR20220154862A (ko) * 2021-05-14 2022-11-22 울산과학기술원 국가간 무역 유사도 그래프를 이용한 항만 물동량 예측 시스템 및 그 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210089340A (ko) 2020-01-08 2021-07-16 삼성에스디에스 주식회사 문서 내 텍스트를 분류하는 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177057B2 (en) 2010-06-08 2015-11-03 Microsoft Technology Licensing, Llc Re-ranking search results based on lexical and ontological concepts
US10467268B2 (en) * 2015-06-02 2019-11-05 International Business Machines Corporation Utilizing word embeddings for term matching in question answering systems
KR101713831B1 (ko) 2016-07-26 2017-03-09 한국과학기술정보연구원 문서추천장치 및 방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218659A1 (ko) * 2019-04-26 2020-10-29 (주)아크릴 인공신경망을 활용한 보험상품 판매 질의응답 자동화 장치
KR20200138914A (ko) * 2019-06-03 2020-12-11 주식회사 한글과컴퓨터 사용자의 위치 정보에 의해 자동 지정된 타겟 언어를 기반으로 번역 문장 추천 기능을 제공하는 전자 단말 장치 및 그 동작 방법
KR20200142677A (ko) * 2019-06-13 2020-12-23 주식회사 엔씨소프트 제스쳐 추천 방법 및 이를 수행하기 위한 장치
KR20210050155A (ko) * 2019-10-28 2021-05-07 씨제이올리브네트웍스 주식회사 인공 지능을 활용한 서류 전형 시스템
WO2021107231A1 (ko) * 2019-11-28 2021-06-03 한국과학기술원 계층적 단어 정보를 이용한 문장 인코딩 방법 및 장치
KR20210066505A (ko) * 2019-11-28 2021-06-07 한국과학기술원 계층적 단어 정보를 이용한 문장 인코딩 방법 및 장치
KR20210085728A (ko) * 2019-12-31 2021-07-08 (주)위드캣 대화식 질의 시스템에서 교육 컨텐츠에 관한 학습자 질의에 응답하기 위한 질의 응답 방법 및 질의 응답 시스템
KR20210108024A (ko) * 2020-02-25 2021-09-02 경희대학교 산학협력단 문맥적 관련성을 고려한 의료 문서 검색 방법 및 장치
KR102265946B1 (ko) * 2020-11-23 2021-06-17 주식회사 엠로 기계 학습 기반 유사 아이템에 관한 정보를 제공하는 방법 및 장치
KR20220072662A (ko) * 2020-11-25 2022-06-02 조현철 쿼리와 의료 컨텐츠의 연관성 평가 방법
WO2022112990A1 (ko) * 2020-11-25 2022-06-02 조현철 쿼리와 의료 컨텐츠의 연관성 평가 방법
KR102311644B1 (ko) * 2021-01-29 2021-10-12 한국과학기술정보연구원 데이터분석장치 및 그 동작 방법
KR20220154862A (ko) * 2021-05-14 2022-11-22 울산과학기술원 국가간 무역 유사도 그래프를 이용한 항만 물동량 예측 시스템 및 그 방법
KR102458457B1 (ko) * 2021-12-21 2022-10-26 주식회사 티맥스에이아이 문서 데이터 검색 기법

Also Published As

Publication number Publication date
KR102055899B1 (ko) 2019-12-16

Similar Documents

Publication Publication Date Title
KR102055899B1 (ko) 맥락을 이용하여 문서를 검색하는 시스템 및 방법
CN106844658B (zh) 一种中文文本知识图谱自动构建方法及系统
CN105824959B (zh) 舆情监控方法及系统
US5991755A (en) Document retrieval system for retrieving a necessary document
US8046363B2 (en) System and method for clustering documents
CN101055585B (zh) 文档聚类系统和方法
CN101454750B (zh) 命名实体的消歧
CN111708873A (zh) 智能问答方法、装置、计算机设备和存储介质
CN111159363A (zh) 一种基于知识库的问题答案确定方法及装置
CN112667794A (zh) 一种基于孪生网络bert模型的智能问答匹配方法及系统
US20110295857A1 (en) System and method for aligning and indexing multilingual documents
CN106708929B (zh) 视频节目的搜索方法和装置
CN111400493A (zh) 基于槽位相似度的文本匹配方法、装置、设备及存储介质
KR102059743B1 (ko) 딥러닝 기반의 지식 구조 생성 방법을 활용한 의료 문헌 구절 검색 방법 및 시스템
JP3584848B2 (ja) 文書処理装置、項目検索装置及び項目検索方法
CN110866102A (zh) 检索处理方法
CN106570196B (zh) 视频节目的搜索方法和装置
CN111339778B (zh) 文本处理方法、装置、存储介质和处理器
JP6446987B2 (ja) 映像選択装置、映像選択方法、映像選択プログラム、特徴量生成装置、特徴量生成方法及び特徴量生成プログラム
Jamil et al. A subject identification method based on term frequency technique
CN114328820A (zh) 信息搜索方法以及相关设备
KR20220041337A (ko) 유사어로 검색어 갱신 및 핵심 문서를 추출하기 위한 그래프 생성 시스템 및 이를 이용한 그래프 생성 방법
Bouarara et al. BHA2: bio-inspired algorithm and automatic summarisation for detecting different types of plagiarism
Jabri et al. A graph-based approach for text query expansion using pseudo relevance feedback and association rules mining
Shen et al. A hybrid model combining formulae with keywords for mathematical information retrieval

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant