KR20200033009A - 자동 답변 제공 방법 - Google Patents

자동 답변 제공 방법 Download PDF

Info

Publication number
KR20200033009A
KR20200033009A KR1020180112373A KR20180112373A KR20200033009A KR 20200033009 A KR20200033009 A KR 20200033009A KR 1020180112373 A KR1020180112373 A KR 1020180112373A KR 20180112373 A KR20180112373 A KR 20180112373A KR 20200033009 A KR20200033009 A KR 20200033009A
Authority
KR
South Korea
Prior art keywords
phrases
question
answer
automatic answer
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180112373A
Other languages
English (en)
Other versions
KR102137809B1 (ko
Inventor
김도연
강춘식
어성은
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Priority to KR1020180112373A priority Critical patent/KR102137809B1/ko
Publication of KR20200033009A publication Critical patent/KR20200033009A/ko
Application granted granted Critical
Publication of KR102137809B1 publication Critical patent/KR102137809B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3335—Syntactic pre-processing, e.g. stopword elimination, stemming
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/40—Business processes related to social networking or social networking services
    • G06Q50/30—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

다양한 실시예들에 따라서 자동 답변 제공 방법이 제공된다. 자동 답변 제공 방법은 사용자 단말로부터 질문을 수신하는 단계, 복수의 질의응답(Question Answering) 문서들이 저장되는 저장소에서 상기 질문과 의미론적으로 유사도가 높은 복수의 유사 질문들을 추출하고, 상기 유사 질문들의 답변들을 후보 답변들로서 추출하는 단계, 상기 후보 답변들로부터 복수의 문구들을 획득하는 단계, 상기 복수의 문구들 간의 유사도를 기초로 상기 복수의 문구들 각각의 중요도를 결정하는 단계, 상기 복수의 문구들 각각의 중요도를 기초로 상기 복수의 문구들로부터 복수의 핵심 문구들을 추출하는 단계, 및 상기 복수의 핵심 문구들로 구성되는 자동 답변을 생성하여 상기 사용자 단말에 제공하는 단계를 포함한다.

Description

자동 답변 제공 방법{Method of providing automatic answer}
본 개시는 사용자의 질문에 대해 자동으로 답변을 제공하는 방법 및 컴퓨터 프로그램에 관한 것이다.
커뮤니티 기반 질의응답(community-based Question Answering) 시스템은 온라인 커뮤니티를 통해 사용자들이 질문을 남기고 답변을 작성할 수 있도록 만들어진 시스템이다. 사용자가 새로운 질문을 입력하면, 시스템에 저장된 질의응답들에서 신규 질문과 가장 유사한 질문을 검색하고, 그 질문의 답변을 신규 질문의 답변으로 자동적으로 제공할 수 있다. 그러나, 질의응답들에서 신규 질문과 가장 유사한 질문을 정확히 찾지 못할 경우, 사용자의 질문과 동떨어진 답변을 제공할 수 있다. 이를 보완하기 위하여, 신규 질문과 유사한 복수의 질문들을 검색하고, 검색된 복수의 질문들의 답변들을 제공할 수 있다. 이 경우, 사용자는 시스템이 제공하는 복수의 답변들을 모두 확인해야 하는 불편함이 있다.
본 개시의 다양한 실시예들이 해결하고자 하는 과제는 사용자의 질문에 대한 답변을 자동적으로 제공하는 방법 및 컴퓨터 프로그램을 제공하는 것이다.
상술한 기술적 과제들을 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면에 따른 자동 답변 제공 방법은 사용자 단말로부터 질문을 수신하는 단계, 복수의 질의응답(Question Answering) 문서들이 저장되는 저장소에서 상기 질문과 의미론적으로 유사도가 높은 복수의 유사 질문들을 추출하고, 상기 유사 질문들의 답변들을 후보 답변들로서 추출하는 단계, 상기 후보 답변들로부터 복수의 문구들을 획득하는 단계, 상기 복수의 문구들 간의 유사도를 기초로 상기 복수의 문구들 각각의 중요도를 결정하는 단계, 상기 복수의 문구들 각각의 중요도를 기초로 상기 복수의 문구들로부터 복수의 핵심 문구들을 추출하는 단계, 및 상기 복수의 핵심 문구들로 구성되는 자동 답변을 생성하여 상기 사용자 단말에 제공하는 단계를 포함한다.
본 개시의 제2 측면에 따른 자동 답변 제공 방법은 질문과 상기 질문에 대한 복수의 답변을 포함하는 질의응답 문서가 저장되는 저장소에서 상기 질문을 추출하는 단계, 상기 복수의 답변들로부터 복수의 문구들을 획득하는 단계, 상기 복수의 문구들 간의 유사도를 기초로 상기 복수의 문구들 각각의 중요도를 결정하는 단계, 상기 복수의 문구들 각각의 중요도를 기초로 상기 복수의 문구들로부터 복수의 핵심 문구들을 추출하는 단계, 및 상기 복수의 핵심 문구들로 구성되는 자동 답변을 생성하여 상기 질의응답 문서에 추가하는 단계를 포함한다.
본 개시의 제3 측면에 따르면, 컴퓨터를 이용하여 자동 답변 제공 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램이 제공된다.
본 개시의 다양한 실시예들에 따르면, 사용자는 새로운 질문의 답변을 본 개시의 시스템으로부터 자동적으로 받을 수 있기 때문에 다른 사용자가 해당 질문에 답변을 할 때까지 기다리지 않고서도 정확한 답변을 제공받을 수 있다. 또한, 사용자의 새로운 질문의 답변을 자동으로 제공함으로써 질문의 답변 비율을 비약적으로 높일 수 있다. 본 개시의 시스템은 자동 답변의 출처를 제공함으로써 새로운 질문을 한 사용자가 자동 답변을 더욱 신뢰할 수 있다. 뿐만 아니라, 자동 답변을 구성하는 핵심 문구들을 작성한 기존의 답변자들에게도 보상이 주어짐으로써, 본 개시의 시스템은 더욱 활발하게 사용될 수 있다.
도 1은 일 실시예에 따른 자동 답변 제공 시스템을 개략적으로 도시한다.
도 2는 일 실시예에 따른 자동 답변 제공 장치의 구성을 개략적으로 도시한다.
도 3은 일 실시예에 따라서 자동 답변을 제공하는 방법을 설명하기 위한 순서도이다.
도 4는 일 실시예에 따라서 신규 질문과 유사도가 높은 유사 질문을 추출하는 방법을 설명하기 위한 순서도이다.
도 5는 일 실시예에 따라서 후보 답변들로부터 복수의 문구들을 획득하는 방법을 설명하기 위한 순서도이다.
도 6은 일 실시예에 따라서 복수의 문구들 각각의 중요도를 결정하는 방법을 설명하기 위한 순서도이다.
도 7은 다른 실시예에 따라서 핵심 문구들을 추출하는 방법을 설명하기 위한 순서도이다.
도 8은 다른 실시예에 따라서 자동 답변을 사용자 단말에 제공하는 방법을 설명하기 위한 순서도이다.
도 9는 다른 실시예에 따라서 자동 답변에 채택된 핵심 문구의 작성자에게 보상하는 방법을 설명하기 위한 순서도이다.
도 10은 다른 실시예에 따라서 자동 답변을 제공하는 방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 다양한 실시예들을 상세히 설명한다. 그러나 본 개시의 기술적 사상은 다양한 형태로 변형되어 구현될 수 있으므로 본 명세서에서 설명하는 실시예들로 제한되지 않는다. 본 개시의 다양한 실시예들을 설명함에 있어서 관련된 공지 기술을 구체적으로 설명하는 것이 본 개시의 기술적 사상의 요지를 흐릴 수 있다고 판단되는 경우 그 공지 기술에 대한 구체적인 설명을 생략한다. 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
명세서 전체에서, 어떤 요소가 다른 요소와 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 요소를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 어떤 요소가 다른 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 요소 외에 또 다른 요소를 배제하는 것이 아니라, 또 다른 요소를 더 포함할 수 있는 것을 의미한다.
일부 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 설명될 수 있다. 이러한 기능 블록들의 일부 또는 전부는 특정 기능을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 본 개시의 기능 블록들은 다양한 프로그래밍 언어 또는 스크립트 언어(scripting language)로 구현될 수 있다. 본 개시의 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 본 개시의 기능 블록이 수행하는 기능은 복수의 기능 블록에 의해 수행되거나, 본 개시에서 복수의 기능 블록이 수행하는 기능들은 하나의 기능 블록에 의해 수행될 수도 있다.
도면에 도시된 요소들 간의 연결 선 또는 연결 부재들은 기능적 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가되는 다양한 기능적 연결, 물리적 연결, 또는 회로적 연결에 의해 요소들 간의 연결이 구현될 수 있다.
도 1은 일 실시예에 따른 자동 답변 제공 시스템을 개략적으로 도시한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 자동 답변 제공 시스템은 웹 서비스 서버로 기능하는 서버(100), 사용자 단말(200), 및 이들을 연결하는 통신망(300)을 포함한다.
일 실시예에 따른 자동 답변 제공 시스템의 서버(100)는 사용자 단말(200)로부터 질문을 수신하고, 수신된 질문과 유사한 질문들과 이들의 답변을 기초로 추출되는 핵심 문구들로 이루어진 자동 답변을 생성하여 사용자 단말(200)에 제공할 수 있다. 다른 실시예에 따른 자동 답변 제공 시스템의 서버(100)는 저장소에 저장된 질문과 이의 복수의 답변들을 기초로 추출되는 핵심 문구들로 이루어진 자동 답변을 질문의 답변으로 추가할 수 있다.
본 명세서에서 질문은 사용자 단말(200)의 사용자가 특정 정보를 얻기 위하여 커뮤니티 기반 질의응답 시스템에 등록한 것으로서, 통신망(300)을 통해 커뮤니티 기반 질의응답 시스템에 접속할 수 있는 다른 사용자들이나 전문가들의 답변을 구하기 위한 것일 수 있다. 질문은 통신망(300)을 통해 전자적으로 송수신 될 수 있는 정보로 문자, 부호, 음성, 음향, 이미지 및 영상 중 적어도 하나를 포함할 수 있다. 예를 들면, 질문은 사용자가 답변을 구하고자 하는 사항을 문자 및 이미지로 표현한 것일 수 있다.
커뮤니티 기반 질의응답 시스템은 예컨대 네이버(주)의 지식iN 서비스 등을 제공할 수 있다. 일 실시예에 따른 자동 답변 제공 시스템은 커뮤니티 기반 질의응답 시스템과 통신 가능하게 연결되어, 사용자 단말(200)을 통해 등록되는 질문에 대하여 다른 사용자 대신에 자동 답변을 제공할 수 있다. 다른 실시예에 따르면, 자동 답변 제공 시스템은 커뮤니티 기반 질의응답 시스템의 일부를 구성할 수 있다.
자동 답변 제공 시스템은 질의응답(Question Answering) 문서들이 저장되는 저장소를 포함하거나, 이러한 저장소에 통신 가능하게 연결되어 질의응답 문서들을 수신할 수 있다. 저장소에 저장되는 질의응답 문서들은 질의응답 시스템에 축적된 정보들로서 다양한 질문들과 이들 각각의 답변들을 포함한다. 질의응답 문서는 하나의 질문과 적어도 하나의 답변을 포함할 수 있다.
본 명세서에서 유사 질문은 저장소에 저장된 질의응답 문서들로부터 추출된 것으로서, 사용자 단말(200)로부터 수신된 질문과 유사한 질문을 의미한다. 후보 답변은 저장소에 저장된 질의응답 문서들에 포함되는 정보로서, 유사 질문에 대해 사용자 또는 전문가가 제공한 답변을 의미한다. 본 명세서에서 자동 답변은 사용자 단말(200)로부터 수신된 질문에 대해 일 실시예에 따른 자동 답변 제공 시스템이 제공하는 답변을 의미한다.
본 명세서에서 문구는 후보 답변에 포함되는 내용으로서, 후보 답변을 구성하는 하나의 문장 또는 하나의 구절을 의미한다. 문구는 하나의 문장일 수도 있고, 하나의 문장을 구성하는 복수의 구절들 중 어느 하나일 수도 있고, 심지어 복수의 문장일 수도 있다. 문구는 질문에 대하여 유의미한 정보를 제공하는 단위일 수 있다. 본 명세서에서 핵심 문구는 자동 답변을 구성하는 문구를 의미한다. 자동 답변은 미리 설정된 개수의 핵심 문구들로 구성될 수 있다.
사용자 단말(200)은 사용자의 질문을 서버(100)에 송신하고 서버(100)로부터 자동 답변을 수신할 수 있는 다양한 장치를 의미한다. 사용자 단말(200)은 퍼스널 컴퓨터(201)일 수도 있고, 휴대용 단말(202)일 수도 있다. 도 1에서는 휴대용 단말(202)이 스마트 폰으로 도시되었지만, 본 발명의 사상은 이에 제한되지 않는다. 사용자 단말(200)은 노트북이나 스마트패드, 스마트 TV 등과 같이 통신망(300)에 접속하여 정보를 송수신할 수 있는 다양한 종류의 컴퓨팅 장치일 수 있다.
사용자 단말(200)은 사용자가 질문을 입력할 수 있는 입력 장치, 서버(100)로부터 수신한 자동 답변을 표시 또는 출력할 수 있는 출력 장치, 및 통신망(300)에 접속할 있는 통신 장치를 포함할 수 있다. 입력 장치는 예컨대 키보드, 마우스, 트랙볼, 마이크, 카메라, 버튼, 터치패널 등을 포함할 수 있으며, 출력 장치는 자동 답변을 시각적으로 표시할 수 있는 디스플레이, 자동 답변을 음성으로 출력할 수 있는 스피커 등을 포함할 수 있다. 입력 장치와 출력 장치는 사용자 단말(200)의 형태 및 질문의 형태에 따라 다양하게 구성될 수 있다.
통신망(300)은 서버(100) 및 사용자 단말(200)을 연결하는 역할을 수행한다. 예를 들어, 통신망(300)은 사용자 단말(200)이 서버(100)에 접속한 후 패킷 데이터를 송수신할 수 있도록 접속 경로를 제공할 수 있다. 통신망(300)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명은 이에 한정되지 않는다. 통신망(300)은 질문에 대한 답변을 제공하는 사용자 단말이나, 질의응답 문서들이 저장되는 저장소가 접속될 수도 있다.
서버(100)는 사용자 단말(200)로부터 수신된 질문에 대응되는 자동 답변을 생성하여 사용자 단말(200)에 제공할 수 있다. 서버(100)는 저장소에 저장된 질의응답 문서에서 질문을 추출하고 질문에 대응되는 자동 답변을 생성하여 질의응답 문서에 추가할 수도 있다. 서버(100)는 일 실시예에 따른 자동 답변 제공 장치를 포함할 수 있다. 이 경우, 서버(100)는 자동 답변 제공 장치로 지칭될 수 있다.
도 2는 일 실시예에 따른 자동 답변 제공 장치의 구성을 개략적으로 도시한다.
도 2를 참조하면, 본 실시예에 따른 자동 답변 제공 장치(100)는 제어부(110), 통신부(120), 및 메모리(130)를 포함한다. 도 2에 도시되지는 않았지만, 자동 답변 제공 장치(100)는 입출력부 및 프로그램 저장부 등을 더 포함할 수 있다.
제어부(110)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 본 명세서에서, 프로세서는 예컨대 프로그램에 포함된 코드나 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치는 예컨대 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 포함할 수 있다.
제어부(110)는 통신부(120) 및 메모리(130)의 기능을 제어할 수 있다. 제어부(110)는 일 실시예에 따른 자동 답변 제공 방법을 수행할 수 있다
통신부(120)는 자동 답변 제공 장치(100)가 통신망(300)을 통해서 사용자 단말(200)과 제어 신호 또는 데이터 신호를 송수신하기 위한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. 자동 답변 제공 장치(100)는 통신부(120)를 통해 사용자 단말(200)로부터 질문을 수신하고, 사용자 단말(200)로 자동 답변을 송신할 수 있다.
메모리(130)는 자동 답변 제공 장치(100)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리는 자기 저장 매체(Magnetic Storage Media) 또는 플래시 저장 매체(Flash Storage Media)를 포함할 수 있다. 메모리(130)는 제어부(110)가 일 실시예에 따른 자동 답변 제공 동작을 수행하기 위한 코드 또는 명령어들을 저장할 수 있다. 메모리(130)는 커뮤니티 기반 질의응답 시스템에 축적된 질의응답 문서들을 저장하는 저장소로 기능할 수 있다. 이와 같은 저장소로 기능하는 메모리(130)는 자동 답변 제공 장치(100) 내에 장착될 수도 있지만, 통신망(300)을 통해 통신 가능하게 자동 답변 제공 장치(100)와 연결될 수도 있다.
아래에서는 도 3 및 도 4를 참조로 제어부(110)의 자동 답변 제공 동작을 설명한다.
도 3은 일 실시예에 따라서 자동 답변을 제공하는 방법을 설명하기 위한 순서도이다.
도 3에 개시되는 자동 답변 제공 방법은 도 2의 자동 답변 제공 장치(100) 또는 이의 제어부(110)에 의해 수행될 수 있다.
도 3을 참조하면, 자동 답변 제공 장치(100)는 사용자 단말(200)로부터 질문을 수신할 수 있다(S11). 사용자 단말(200)의 사용자는 특정 정보를 얻기 위해 커뮤니티 기반 질의응답 시스템에 질문을 등록할 수 있다.
일 예에 따르면, 자동 답변 제공 장치(100)는 커뮤니티 기반 질의응답 시스템 내에 일부 구성으로서, 사용자 단말(200)로부터 질문을 직접 수신할 수 있다. 다른 예에 따르면, 자동 답변 제공 장치(100)는 통신망을 통해 커뮤니티 기반 질의응답 시스템에 접속하여, 사용자가 등록한 질문을 수신할 수도 있다. 이 경우, 자동 답변 제공 장치(100)는 질의응답 시스템을 통해 사용자 단말(200)로부터의 질문을 수신할 수 있다. 용이한 이해를 위하여, 사용자 단말(200)로부터 수신되는 질문은 신규 질문이라고 명명한다.
자동 답변 제공 장치(100)는 신규 질문과 의미론적으로 유사도가 높은 유사 질문들을 추출할 수 있다(S12). 또한, 자동 답변 제공 장치(100)는 유사 질문들의 답변들을 후보 답변들로서 추출할 수 있다(S12).
자동 답변 제공 장치(100)는 커뮤니티 기반 질의응답 시스템의 저장소에는 축적된 복수의 질의응답 문서들이 저장될 수 있다. 질의응답 문서들은 질문과 그 질문에 대한 적어도 하나의 답변들을 포함할 수 있다. 질의응답 문서들은 질문의 제목과 질문의 내용을 포함할 수 있다.
질의응답 문서에 포함되는 질문들은 다양한 종류일 수 있다. 자동 답변 제공 장치(100)가 신규 질문과 유사도가 높은 유사 질문을 추출하기에 용이하도록, 저장소에 저장된 질의응답 문서들을 종류 또는 카테고리 별로 미리 분류될 수도 있다.
자동 답변 제공 장치(100)는 복수의 질의응답 문서들이 저장되는 저장소(예컨대, 메모리(130))에서 신규 질문과 의미론적으로 유사도가 높은 유사 질문들을 추출할 수 있다.
도 4는 일 실시예에 따라서 신규 질문과 유사도가 높은 유사 질문을 추출하는 방법을 설명하기 위한 순서도이다.
도 4를 참조하면, 자동 답변 제공 장치(100)는 예컨대 단어 임베딩(word embedding)(예컨대, 세미-트레이닝 단어 임베딩)과 컨벌루션 신경망을 이용하여 신규 질문을 의미적 벡터 공간으로 사상하여 제1 의미 벡터를 추출할 수 있다(S121). 자동 답변 제공 장치(100)는 질의응답 문서들의 각 질문들(예컨대, 질문 제목 및/또는 질문 내용)을 의미적 벡터 공간으로 사상하여 제2 의미 벡터들을 추출할 수 있다(S122). 자동 답변 제공 장치(100)는 질문 제목을 의미적 벡터 공간으로 사상할 수도 있고, 질문 내용을 의미적 벡터 공간으로 사상할 수도 있고, 질문 내용을 요약한 요약문을 의미적 벡터 공간을 사상하여 제2 의미 벡터를 추출할 수 있다.
일 예에 따르면, 자동 답변 제공 장치(100)는 세미-트레이닝 단어 임베딩과 컨벌루션 신경망을 이용한 의미 매칭 모델을 이용하여 신규 질문과 질의응답 문서들의 각 질문들의 의미 벡터를 추출할 수 있다.
단어 임베딩을 이용하기 위하여 별도의 코퍼스가 구축될 수 있으며, 예컨대 Glove 방법을 이용하여 300 차원의 단어 임베딩 벡터가 학습될 수 있다. 이렇게 학습된 동일한 단어 임베딩 벡터 2개가 의미 매칭 모델의 입력으로 사용될 수 있다. 사전-트레이닝된 단어 임베딩 2개 중에서 하나는 고정하고 다른 하나는 미세-조정(fine-turning)할 수 있다. 단어 임베딩된 값을 컨벌루션 연산을 이용하여 특징 지도(feature map)을 추출하고, 이를 맥스-오버-타임 풀링(max-over-time pooling)을 이용하여 가장 높은 특징 값들을 추출할 수 있다. 마지막으로 완전-연결된 층(fully-connected layer)을 통해 의미 벡터가 추출될 수 있다.
질의응답 문서들의 각 질문들(예컨대, 질문 제목 및/또는 질문 내용)에 대응하는 제2 의미 벡터들이 미리 추출되어, 저장소에 저장될 수도 있다.
자동 답변 제공 장치(100)는 제1 의미 벡터와 제2 의미 벡터들 사이의 거리를 기초로 유사도를 결정할 수 있다(S123). 제1 의미 벡터와 제2 의미 벡터의 거리가 가까울수록 유사도가 높다고 결정될 수 있다.
자동 답변 제공 장치(100)는 유사도를 기초로 미리 설정된 개수의 유사 질문들을 추출할 수 있다(S124). 예컨대, 자동 답변 제공 장치(100)는 유사도가 높은 순서대로 미리 설정된 개수의 유사 질문들을 추출할 수 있다. 다른 예에 따르면, 자동 답변 제공 장치(100)는 미리 설정된 값보다 큰 유사도를 갖는 유사 질문들을 추출할 수 있다.
다른 실시예에 따르면, 자동 답변 제공 장치(100)는 신규 질문과 의미론적으로 유사도가 높은 유사 질문들을 추출함에 있어서, TF-IDF, BM25, 벡터 공간 모델 등의 방법을 사용할 수도 있다. 또한, 자동 답변 제공 장치(100)는 질문들 간의 번역 확률로 유사도를 계산하는 번역 기반 모델, 질문들 간의 토픽 정보를 사용하는 토픽 모델을 사용할 수도 있다.
일 예에 따르면, 자동 답변 제공 장치(100)는 지식(knowledge) 기반으로 워드넷(wordnet) 사전과 TF-TDF를 활용한 벡터 공간 모델을 이용하여 질문 간의 유사도를 계산할 수 있다. 다른 예에 따르면, 단어와 단어 단위의 번역 모델을 이용하거나 구문과 구문 단위의 번역 모델을 이용하여 질문 간의 유사도가 계산될 수 있다. 또 다른 예에 따르면, 단어 단위의 매칭에 토픽 모델을 추가하여 질문 검색을 수행하는 방식으로 유사 질문들이 추출될 수도 있다. 또 다른 예에 따르면, 토칙과 질문에서의 핵심 부분을 추출한 뒤 이를 언어 모델과 조합함으로써 유사 질문들이 추출될 수도 있다.
또한, 딥러닝을 이용하여 단어의 워드 임베딩 벡터와 카테고리 정보를 이용하여 유사도를 계산하는 방법이 사용될 수 있다. 다른 예에 따르면, 컨볼루션 신경망과 단어 백(bag-of-words)의 조합으로 유사 질문들이 추출될 수 있다. 컨볼루션 신경망을 이용하여 질문의 특징(feature)들을 추출하고, 이들을 결합한 후 추가적인 MLP(multi layer perceptron)을 통하여 유사도가 계산될 수 있다.
또 다른 예에 따르면, 키워드 일치 방식으로 유사 질문들이 추출될 수도 있다. 이때, 키워드가 완전히 일치하지 않을 수도 있다. 단어 사전을 이용하여 유사 키워드를 매칭하는 방식으로 유사 질문들이 추출될 수도 있다.
다른 실시예에 따르면, 자동 답변 제공 장치(100)는 2단계에 걸쳐 신규 질문과 의미론적으로 유사도가 높은 유사 질문들을 추출할 수 있다. 제1 단계에서 자동 답변 제공 장치(100)는 패턴과 머신러닝을 결합한 하이브리드 분석 모델을 통해 신규 질문과 의미론적으로 유사한 변형 질문들을 생성할 수 있다. 변형 질문들을 이용하여 의미적으로 유사한 문서들을 추출할 수 있다. 예를 들면, 신규 질문의 제1 의미 벡터와 저장소에 저장된 문서들의 제목 또는 내용의 제2 의미 벡터가 벡터 공간 상에서 가까운 곳에 위치하는 경우, 의미적 연결고리를 부여할 수 있으며, 유사 문서로 추출할 수 있다.
제2 단계에서 자동 답변 제공 장치(100)는 질문 자체에 대한 벡터 표현을 추출함으로써 각 질문 간의 벡터 거리 계산만으로 최종 유사도를 결정하고, 유사도 순으로 정렬함으로써 유사 질문들을 추출할 수 있다. 제2 단계에서 자동 답변 제공 장치(100)는 신규 질문의 제1 의미 벡터를 추출하고, 제1 단계에서 추출된 유사 문서의 질문에 대해 제2 의미 벡터를 추출하고, 제1 의미 벡터와 제2 의미 벡터의 거리를 기초로 신규 질문과 유사 문서의 질문 간의 유사도를 결정할 수 있다. 자동 답변 제공 장치(100)는 유사 문서들을 유사도 순서로 정렬시킨 후, 미리 설정된 개수의 유사 문서의 질문들을 유사 질문으로 추출할 수 있다.
자동 답변 제공 장치(100)가 전술한 방법들 중 적어도 하나를 이용하여 신규 질문과 의미론적으로 유사도가 높은 유사 질문들을 저장소에 저장된 질의응답 문서들로부터 추출할 수 있다. 유사 질문들은 유사도의 순서에 따라 미리 설정된 개수만큼 추출될 수 있다. 이때 미리 설정된 개수는 예컨대, 5개일 수 있다. 이보다 적거나 많은 개수일 수도 있다. 또한, 미리 설정된 값보다 큰 유사도를 갖는 유사 질문들 중에서 미리 설정된 개수만큼 추출될 수도 있다.
일 예에 따라서, 유사 질문들은 예컨대 3개이며, 제1 유사 질문, 제2 유사 질문, 제3 유사 질문을 포함하는 것으로 가정한다. 예를 들면, 신규 질문이 "미세먼지 대처법"인 경우, 제1 유사 질문은 "미세먼지 대처 방법!!"이라는 질문이고, 제2 유사 질문은 "황사, 미세먼지 대처법"이라는 질문이고, 제3 유사 질문은 "황사가 심할 때 어떻게 하면 좋나요?"라는 질문일 수 있다.
자동 답변 제공 장치(100)는 저장소에 저장된 질의응답 문서들로부터 유사 질문들의 답변들을 후보 답변들로서 추출할 수 있다. 질의응답 문서들은 질문과 그 질문에 대해 사용자 또는 전문가가 대답해 놓은 적어도 하나의 답변을 포함한다. 즉, 질의응답 문서들은 유사 질문들과 유사 질문들 각각에 대한 기존의 답변들을 포함한다. 유사 질문들의 답변은 후보 답변이라고 지칭한다. 위의 예에서, 제1 유사 질문의 답변은 제1 후보 답변으로 지칭하고, 제2 유사 질문의 답변은 제2 후보 답변으로 지칭하고, 제3 유사 질문의 답변은 제3 후보 답변으로 지칭할 수 있다.
질의응답 문서는 유사 질문에 대한 답변이 복수 개일 수 있다. 이 경우, 자동 답변 제공 장치(100)는 유사 질문의 모든 답변들을 후보 답변으로서 추출할 수도 있고, 유사 질문의 복수의 답변들 중에서 유사 질문의 질문자가 채택한 답변만을 후보 답변으로서 추출할 수도 있다. 다른 예에 따르면, 유사 질문의 복수의 답변들 중에서 유사 질문의 질문자가 보상(예컨대, 내공)을 지급한 적어도 하나의 답변만이 후보 답변으로서 추출될 수도 있다.
또 다른 예에 따르면, 유사 질문의 복수의 답변들 중에서 미리 설정된 기준을 만족하는 적어도 하나의 답변이 후보 답변으로 추출될 수 있다. 미리 설정된 기준은 답변자의 등급 또는 답변자의 채택 답변수를 기초로 설정될 수 있다.
위의 예에서, 제3 유사 질문에 대하여 2개의 답변이 후보 답변으로 추출되는 것으로 가정한다. 이때, 제3 후보 답변과 제4 후보 답변은 제3 유사 질문의 답변인 것으로 가정한다.
다시 도 3을 참조하면, 자동 답변 제공 장치(100)는 후보 답변들로부터 복수의 문구들을 획득할 수 있다(S13). 후보 답변들 각각은 복수의 문장들을 포함할 수 있다. 후보 답변에 포함되는 문장들에는 유사 질문과 관련된 정보가 포함될 뿐만 아니라, 인사말이나 답변자에 대한 소개를 포함할 수 있다. 단계(S13)에서 획득되는 문구는 하나의 문장에 대응될 수 있다. 그러나, 이로 한정되지 않으며, 문구는 하나의 문장의 일부에 대응되거나, 복수의 문장에 대응될 수도 있다.
도 5는 일 실시예에 따라서 후보 답변들로부터 복수의 문구들을 획득하는 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 자동 답변 제공 장치(100)는 후보 답변들을 정제할 수 있다(S131). 후보 답변들 각각을 구성하는 불필요한 단어가 제거될 수 있다. 예컨대, "안녕하세요"와 같은 인사말, "추천을 부탁드립니다"와 같은 요청, 또는 "내과 전문의 XXX입니다"와 같은 자기 소개말은 신규 질문에 대한 정보가 아니므로 제거될 수 있다. 자동 답변 제공 장치(100)가 크롤링을 통해 질의문답 문서들을 수집하는 경우, 텍스트와 관련 없는 url과 같은 소스 코드를 포함할 수 있다. 자동 답변 제공 장치(100)는 질문과 관련되는 정보를 포함하는 텍스트를 제외한 나머지 부분, 예컨대, 소스 코드 부분을 제거할 수 있다.
자동 답변 제공 장치(100)는 정제된 후보 답변들을 형태소 분석하고 품사 태깅할 수 있다(S132). 형태소란 의미를 가지는 언어단위 중에서 가장 작은 언어 단위이다. 형태소 분석이란 형태소를 비롯하여, 어근, 접두사/접미사, 품사 등의 다양한 언어적 속성의 구조를 파악하는 것이다. 또한, 품사 태깅은 형태소의 뜻과 문맥을 고려하여 형태소에 품사를 마크업하는 것을 의미한다.
자동 답변 제공 장치(100)는 후보 답변들을 형태소 분석함으로써, 후보 답변들 각각을 복수의 문구들로 분리할 수 있다(S133). 위의 예에서, 제1 후보 답변에서 제1 내지 제10 문구들이 획득되고, 제2 후보 답변에서 제11 내지 제20 문구들이 획득되고, 제3 후보 답변에서 제21 내지 제30 문구들이 획득되고, 제4 후보 답변에서 제31 내지 제40 문구들이 획득된다고 가정한다.
다시 도 3을 참조하면, 자동 답변 제공 장치(100)는 단계(S13)에서 획득된 복수의 문구들 간의 유사도를 기초로 복수의 문구들 각각의 중요도를 결정할 수 있다(S14). 자동 답변 제공 장치(100)는 위의 예에서 제1 내지 제40 문구들 각각의 중요도를 결정할 수 있다.
도 6은 일 실시예에 따라서 복수의 문구들 각각의 중요도를 결정하는 방법을 설명하기 위한 순서도이다.
도 6을 참조하면, 자동 답변 제공 장치(100)는 복수의 문구들에 대응하는 복수의 노드들을 포함하는 그래프를 생성할 수 있다(S141). 위의 예에서 자동 답변 제공 장치(100)는 제1 내지 제40 문구들에 각각 대응하는 제1 내지 제40 노드들을 포함하는 그래프를 생성할 수 있다.
자동 답변 제공 장치(100)는 복수의 문구들 간의 유사도를 기초로 복수의 노드들을 링크로 연결할 수 있다(S142). 자동 답변 제공 장치(100)는 복수의 문구들 간에 크로스로 유사도를 결정할 수 있다. 즉, 위의 예에서 자동 답변 제공 장치(100)는 제1 문구에 대하여 제2 내지 제40 문구들 각각과의 유사도를 결정하고, 제2 문구에 대하여 제3 내지 제40 문구들 각각과의 유사도를 결정하고, 제3 문구에 대하여 제4 내지 제40 문구들 각각과의 유사도를 결정할 수 있다. 이러한 방식으로 자동 답변 제공 장치(100)는 문구들 전체에서 2개의 문구를 선택하는 모든 조합에 대하여 유사도를 결정할 수 있다.
자동 답변 제공 장치(100)는 전술한 유사도 산출 방법을 이용하여 선택되는 2개의 문구 간의 유사도를 결정할 수 있다. 예를 들면, 자동 답변 제공 장치(100)는 선택되는 2개의 문구들 각각의 의미 벡터를 구하고, 의미적 벡터 공간 상에서 각각의 의미 벡터 간의 거리를 구한 후, 산출된 의미 벡터 간 거리를 기초로 유사도를 결정할 수 있다. 이때, 자동 답변 제공 장치(100)는 세미-트레이닝 단어 임베딩과 컨벌루션 신경망을 이용하여, 2개의 문구들 각각을 의미적 벡터 공간으로 사상할 수 있다. 자동 답변 제공 장치(100)는 의미 매칭 모델을 이용할 수 있다.
다른 예에 따르면, 자동 답변 제공 장치(100)는 선택되는 2개의 문구들 간의 유사도를 산출함에 있어서, TF-IDF, BM25, 벡터 공간 모델 등의 방법을 사용할 수도 있다. 또한, 자동 답변 제공 장치(100)는 2개의 문구들 간의 번역 확률로 유사도를 계산하는 번역 기반 모델, 2개의 문구들 간의 토픽 정보를 사용하는 토픽 모델을 사용할 수도 있다.
일 실시예에 따르면, 자동 답변 제공 장치(100)는 선택되는 2개의 문구들의 유사도가 미리 설정된 임계치 이상인 경우 선택되는 2개의 문구에 대응하는 2개의 노드들 사이를 링크로 연결할 수 있다. 임계치는 신규 질문, 문구들의 총 개수, 문구들의 평균 길이 등에 따라 달라질 수도 있다. 임계치는 예컨대 70%로 설정될 수 있다. 이 과정을 전체 문구들의 조합에 대해 수행함으로써, 복수의 문구들에서 서로 유사도가 높은 문구들 간에 링크가 연결될 수 있다. 이러한 링크는 에지(edge)로 지칭될 수도 있다. 이러한 과정을 통해, 노드들 및 일부의 노드들 사이의 적어도 하나의 링크를 포함하는 그래프가 생성될 수 있다.
자동 답변 제공 장치(100)는 노드들과 링크들을 포함하는 그래프를 기초로 노드들 각각의 점수를 계산할 수 있다(S143). 노드들과 링크들을 포함하는 그래프에 대하여, 예컨대 페이지 랭크(PageRank) 또는 텍스트 랭크(TextRank)와 같은 알고리즘을 이용하여 각 노드들의 점수를 산출할 수 있다. 각 노드들의 점수의 총 합은 1로 정규화될 수 있다. 자동 답변 제공 장치(100)는 노드들 각각의 점수를 기초로 복수의 문구들 각각의 중요도를 결정할 수 있다(S144).
일 예에 따르면, 노드들은 링크로 연결된 노드들에게 자신의 점수를 나누어 주는 과정을 재귀적으로 반복함으로써, 각 노드들의 점수는 수렴하게 된다. 이와 같이 수렴되는 각 노드들의 점수는 대응하는 문구의 중요도를 결정하는 기초로 사용될 수 있다. 예컨대, 노드의 점수가 높은 순서대로 문구의 중요도가 높다고 결정할 수 있다. 각 노드들의 점수는 대응하는 문구의 중요도에 대응할 수 있다.
다른 실시예에 따르면, 그래프에서 노드들을 연결하는 링크들은 가중치를 가질 수 있다. 일 예에 따르면, 링크의 가중치는 링크를 통해 연결되는 두 노드에 대응하는 두 문구의 유사도를 기초로 결정될 수 있다. 유사도가 높을수록 가중치가 높게 결정될 수 있다.
다른 예에 따르면, 링크의 가중치는 링크를 통해 연결되는 두 노드에 대응하는 두 문구가 공통적으로 포함하는 키워드(예컨대, 단어)의 개수나 중요도를 기초로 결정될 수 있다. 예컨대, 두 문구가 공통적으로 포함하는 키워드의 개수가 많은 경우, 두 문구에 대응하는 두 노드를 연결하는 링크의 가중치는 높게 결정될 수 있다.
다른 예로서, 두 문구가 공통적으로 포함하는 키워드(예컨대, 단어)가 중요 키워드인 경우, 두 문구에 대응하는 두 노드를 연결하는 링크의 가중치는 높게 결정될 수 있다. 신규 질문에 포함된 단어들은 중요 키워드로 결정될 수 있다. 다른 예에 따르면, 예컨대, 텍스트 랭크와 같은 알고리즘을 이용하여 후보 답변들 전체에서 중요 키워드가 추출될 수도 있다.
또 다른 예로서, 가장 유사도가 높은 노드에 연결되는 링크들에 대해서는 가중치를 높게 부여할 수도 있다.
링크들이 가중치를 갖는 경우, 예컨대, 노드들은 링크로 연결된 노드들에게 링크의 가중치에 따라 자신의 점수를 나누어 주는 과정이 재귀적으로 반복될 수 있다. 예컨대, 노드는 가중치가 높은 링크로 연결된 노드에게 가중치가 낮은 링크로 연결된 노드보다 많은 점수를 나누어 줄 수 있다. 이와 같이 점수를 나누는 과정이 재귀적으로 반복됨에 따라, 각 노드들의 점수가 수렴하게 되고, 수렴된 각 노드들의 점수를 기초로 각 문구의 중요도가 결정될 수 있다.
위의 예에서, 제21 문구, 제2 문구, 제13 문구 및 제36 문구에 각각 대응하는 노드들의 점수가 순서대로 높을 경우, 제21 문구, 제2 문구, 제13 문구 및 제36 문구의 순서로 중요도가 높다고 결정할 수 있다.
다시 도 3을 참조하면, 자동 답변 제공 장치(100)는 단계(S14)에서 결정된 복수의 문구들 각각의 중요도를 기초로 복수의 문구들로부터 복수의 핵심 문구들을 추출할 수 있다(S15). 일 예에 따르면, 자동 답변 제공 장치(100)는 복수의 문구들 중에서 중요도가 높은 순서로 기 설정된 개수의 핵심 문구를 추출할 수 있다. 핵심 문구의 기 설정된 개수는 예컨대 3개일 수 있다. 그러나 이보다 적거나 많은 개수일 수도 있다. 기 설정된 개수가 3개인 경우, 위의 예에서 제21 문구, 제2 문구, 제13 문구가 핵심 문구로 추출될 수 있다.
도 7은 다른 실시예에 따라서 핵심 문구들을 추출하는 방법을 설명하기 위한 순서도이다.
도 7을 참조하면, 단계(S15)에서 추출된 핵심 문구들 간에 유사도가 계산될 수 있다(S151). 단계(S15)에서 추출된 핵심 문구들은 서로 다른 후보 답변들로부터 추출된 것일 수 있다. 따라서, 단계(S15)에서 추출된 핵심 문구들 중 어느 것들은 매우 유사한 내용을 포함할 수 있으며, 이 경우, 유사도를 기초로 문구의 중요도가 결정되므로, 매우 유사한 내용을 포함하는 문구들이 모두 핵심 문구로 추출될 수 있다.
단계(S15)에서 추출된 핵심 문구들 간에 유사도가 미리 설정된 기준치 이상인 경우, 미리 설정된 기준치 이상의 유사도를 갖는 2개의 핵심 문구들 중 하나를 핵심 문구에서 제거할 수 있다(S152). 이를 통해, 동일한 내용의 문구들이 핵심 문구로 중복하여 추출되는 것이 방지될 수 있다.
다시 도 3을 참조하면, 자동 답변 제공 장치(100)는 단계(S15)에서 추출된 핵심 문구들로 구성되는 자동 답변을 생성할 수 있다(S16). 자동 답변은 단계(S15)에서 추출된 핵심 문구들로 구성될 수 있다. 일 예에 따르면, 자동 답변에서 핵심 문구들은 각자의 중요도 순서대로 배치될 수 있다.
다른 예에 따르면, 자동 답변 제공 장치(100)는 자연어 생성부를 더 포함할 수 있다. 자동 답변 제공 장치(100)는 자연어 생성부를 이용하여 핵심 문구들을 동일한 문체로 변경하고, 동일한 문체로 변경된 핵심 문구들을 이용하여 자동 답변을 생성할 수 있다. 전술한 바와 같이, 핵심 문구들은 서로 다른 후보 답변들로부터 유래된 문구들일 수 있으므로, 서로 다른 문체를 가질 수 있다. 예를 들면, 어느 한 핵심 문구는 존대말로 기재되고, 다른 핵심 문구는 반말로 기재될 수도 있다. 이렇게 다른 문체로 작성된 핵심 문구들이 하나의 자동 답변을 구성할 경우, 자동 답변을 읽는 사람은 불편함을 느낄 수 있다. 본 예에 따라서, 자연어 생성부를 이용하여 핵심 문구들의 문체를 통일시킬 수 있다.
또한, 핵심 문구는 하나의 문장 중 일부일 수 있으므로, 하나의 완성된 문장을 구성하지 못할 수 있다. 자연어 생성부는 핵심 문구를 하나의 완성된 문장으로 변형시킬 수 있다. 자동 답변 제공 장치(100)는 동일한 문체를 갖고 완성된 문장으로 변형된 핵심 문구들로 구성되는 자동 답변을 생성할 수 있다.
자동 답변 제공 장치(100)는 생성된 자동 답변을 신규 질문을 등록한 사용자의 사용자 단말(200)에게 제공할 수 있다(S17). 자동 답변은 텍스트 형태로 통신망(300)을 통해 사용자 단말(200)에 전송될 수 있다. 자동 답변은 오디오 형태로 사용자 단말(200)에 전송될 수도 있다. 다른 예에 따르면, 자동 답변 제공 장치(1000는 자동 답변을 신규 질문과 관련지어 질의응답 시스템에 등록할 수 있다. 사용자 단말(200)의 사용자는 질의응답 시스템에 접속하여 자동 답변을 수신할 수 있다.
다른 실시예에 따르면, 자동 답변을 수신한 사용자 단말(200)은 자동 답변을 표시 장치 상에 표시할 수 있다. 사용자 단말(200)은 자동 답변이 표시된 영역 상의 사용자 입력을 수신할 수 있다. 사용자 입력은 자동 답변이 표시된 영역에 대한 터치 입력이거나 마우스 포인터를 자동 답변이 표시된 영역 상에 위치시키는 것일 수 있다. 사용자 단말(200)은 터치 입력 또는 마우스 포인터의 위치에 대응하는 핵심 문구를 결정할 수 있다. 사용자 단말(200)은 결정된 핵심 문구의 출처가 되는 후보 답변에 대응하는 유사 질문을 표시 영역 상에 표시할 수 있다.
도 8은 다른 실시예에 따라서 자동 답변을 사용자 단말에 제공하는 방법을 설명하기 위한 순서도이다.
도 8을 참조하면, 자동 답변 제공 장치(100)는 자동 답변에 포함되는 핵심 문구들의 출처가 되는 후보 답변들에 대응하는 유사 질문들을 사용자 단말에 추가로 제공할 수 있다(S171). 일 예에 따르면, 사용자 단말(200)은 사용자 입력에 대응하는 핵심 문구에 관한 정보를 자동 답변 제공 장치(100)로 송신하고, 자동 답변 제공 장치(100)로부터 핵심 문구의 출처가 되는 후보 답변에 관한 정보를 수신할 수 있다. 후보 답변에 관한 정보는 후보 답변의 질문을 포함할 수 있다.
다른 예에 따르면, 자동 답변 제공 장치(100)는 자동 답변과 함께 자동 답변을 구성하는 핵심 문구들에 관한 정보를 사용자 단말(200)로 전송할 수 있다. 핵심 문구들에 관한 정보는 각 핵심 문구의 출처가 되는 후보 답변 및 이의 질문을 포함할 수 있다.
사용자 단말(200)은 자동 답변을 표시 장치에 표시하면서, 자동 답변의 핵심 문구에 주석 표시를 추가하고, 자동 답변 아래에 핵심 문구의 출처에 관한 정보를 추가로 표시할 수 있다. 출처에 관한 정보는 url 정보일 수도 있고, 핵심 문구의 출처가 되는 후보 답변의 질문 제목에 관한 정보일 수도 있다.
도 9는 다른 실시예에 따라서 자동 답변에 채택된 핵심 문구의 작성자에게 보상하는 방법을 설명하기 위한 순서도이다.
도 9을 참조하면, 자동 답변 제공장치(100)는 핵심 문구의 출처가 되는 후보 답변의 작성자에게 보상을 지급할 수 있다(S18).
일 예에 따르면, 자동 답변 제공 장치(100)는 자동 답변을 사용자 단말(200)에 제공한 후에, 사용자 단말(200)로부터 자동 답변에 대한 피드백을 수신할 수 있다. 사용자 단말(200)의 사용자는 자동 답변을 수신한 후 자동 답변을 평가할 수 있으며, 자동 답변을 채택할 지의 여부를 결정할 수 있다. 사용자가 자동 답변을 채택하는 경우, 자동 답변을 구성하는 핵심 문구들의 작성자에게 보상이 지급될 수 있다.
다른 예에 따르면, 자동 답변 제공 장치(100)는 자동 답변을 구성하는 핵심 문구 각각의 출처가 되는 후보 답변을 작성하는 작성자들에게 핵심 문구의 개수에 따라 결정되는 보상을 지급할 수 있다. 예를 들면, 제1 작성자가 작성한 후보 답변에서 2개의 핵심 문구가 추출되어, 신규 질문의 자동 답변으로 2개의 핵심 문구가 채택된 경우, 자동 답변 제공 장치(100)는 제1 작성자에게 채택된 핵심 문구의 개수인 2개에 대응하는 보상을 지급할 수 있다. 제2 작성자가 작성한 후보 답변에서 1개의 핵심 문구가 추출되어 자동 답변에 포함되는 경우, 자동 답변 제공 장치(100)는 제2 작성자에게 1개의 핵심 문구에 대응하는 보상을 지급할 수 있다. 제1 작성자에게 지급된 보상은 제2 작성자에게 지급된 보상의 2배일 수 있다. 보상은 금전일 수도 있고, 자동 답변 제공 장치(100)에서 통용되는 포인트이거나, 작성자의 전문성 등을 나타내는 수치일 수도 있다.
도 10은 다른 실시예에 따라서 자동 답변을 제공하는 방법을 설명하기 위한 순서도이다.
도 10에 개시되는 자동 답변 제공 방법은 도 2의 자동 답변 제공 장치(100) 또는 이의 제어부(110)에 의해 수행될 수 있다.
도 10을 참조하면, 자동 답변 제공 장치(100)는 저장소에서 질문을 추출할 수 있다(S21). 저장소는 자동 답변 제공 장치(100)의 메모리(130)이거나, 자동 답변 제공 장치(100)가 접속할 수 있는 네트워크 저장 장치일 수 있다. 저장소에는 질의응답 시스템에 축적된 질의응답 문서들이 저장될 수 있다. 질의응답 문서들 각각은 질문과 질문에 대한 적어도 하나의 답변을 포함할 수 있다. 질문에 대하여 여러 명의 답변자들이 답변을 등록함으로써, 질문에 대한 답변은 복수 개일 수 있다. 단계(S21)에서 추출된 질문은 대상 질문이라고 지칭한다. 또한, 대상 질문의 답변은 복수 개인 것으로 가정하며, 대상 답변이라고 지칭한다.
자동 답변 제공 장치(100)는 대상 답변들로부터 복수의 문구들을 획득할 수 있다(S22). 대상 답변들 각각은 복수의 문장들을 포함할 수 있다. 대상 답변에 포함되는 문장들에는 대상 질문과 관련된 정보뿐만 아니라, 인사말이나 답변자에 대한 소개와 같이 대상 질문과 관련 없는 정보를 포함할 수 있다. 단계(S22)에서 획득되는 문구는 하나의 문장에 대응될 수 있다. 그러나, 이로 한정되지 않으며, 문구는 하나의 문장의 일부에 대응되거나, 복수의 문장에 대응될 수도 있다.
자동 답변 제공 장치(100)는 대상 답변들 각각에 포함되는 불필요한 단어를 제거함으로써 대상 답변들을 정제할 수 있다. 예를 들면, 자동 답변 제공 장치(100)는 인사말, 추천이나 채택 요청, 또는 자기 소개와 같이 대상 질문과 직접적인 관련이 없는 단어나 문장들을 제거할 수 있다. 자동 답변 제공 장치(100)가 크롤링을 통해 질의문답 문서들을 수집하는 경우, 대상 질문과 관련없는 소스 코드가 대상 답변에 포함될 수 있으며, 이 경우 자동 답변 제공 장치는 대상 질문과 관련 없는 소스 코드를 제거할 수 있다.
자동 답변 제공 장치(100)는 대상 답변들을 정제한 후에, 형태소 분석하고 품사 태깅하여, 대상 답변들로부터 복수의 문구들을 분리할 수 있다. 자동 답변 제공 장치(100)는 정제된 대상 답변들에 대하여 형태소 분석을 함으로써, 대상 답변을 구성하는 형태소를 비롯하여, 어근, 접두사/접미사, 품사 등의 다양한 언어적 속성의 구조를 파악할 수 있다. 자동 답변 제공 장치(100)는 형태소 분석된 대상 답변들에 대하여 품사 태깅을 수행할 수 있으며, 이를 통해 형태소의 뜻과 문맥을 고려하여 형태소에 품사를 마크업할 수 있다. 이러한 과정을 통해 자동 답변 제공 장치(100)는 대상 답변들 각각을 복수의 문구들로 분리할 수 있다.
자동 답변 제공 장치(100)는 단계(S22)에서 획득된 복수의 문구들 간의 유사도를 기초로 복수의 문구들 각각의 중요도를 결정할 수 있다(S23).
일 실시예에 따르면, 자동 답변 제공 장치(100)는 복수의 문구들에 대응하는 복수의 노드들을 포함하는 그래프를 생성할 수 있다. 또한, 자동 답변 제공 장치(100)는 복수의 문구들 간의 유사도를 기초로 복수의 노드들을 링크로 연결할 수 있다. 예를 들면, 자동 답변 제공 장치(100)는 복수의 문구들 간에 크로스로 유사도를 결정할 수 있다. 자동 답변 제공 장치(100)는 문구들 전체에서 선택되는 모든 조합의 2개의 문구에 대하여 유사도를 결정할 수 있다.
자동 답변 제공 장치(100)는 앞에서 설명한 유사도 산출 방법을 이용하여 모든 조합의 2개의 문구 간의 유사도를 산출할 수 있다. 예를 들면, 자동 답변 제공 장치(100)는 2개의 문구들 각각의 의미 벡터를 구하고, 의미적 벡터 공간 상에서 각각의 의미 벡터 간의 거리를 구하고, 의미 벡터 간 거리를 기초로 유사도를 산출할 수 있다. 자동 답변 제공 장치(100)는 세미-트레이닝 단어 임베딩과 컨벌루션 신경망을 포함하는 의미 매칭 모델을 이용하여, 2개의 문구들 각각을 의미적 벡터 공간으로 사상할 수 있다.
다른 예에 따르면, 자동 답변 제공 장치(100)는 2개의 문구들 간의 유사도를 산출함에 있어서, TF-IDF, BM25, 벡터 공간 모델 등의 방법을 사용할 수도 있고, 2개의 문구들 간의 번역 확률로 유사도를 계산하는 번역 기반 모델, 또는 2개의 문구들 간의 토픽 정보를 사용하는 토픽 모델을 사용할 수도 있다.
일 실시예에 따르면, 자동 답변 제공 장치(100)는 2개의 문구들 간의 유사도가 미리 설정된 임계치 이상인 경우, 2개의 문구에 대응하는 2개의 노드들 사이를 링크로 연결할 수 있다. 이러한 과정을 전체 조합에 대하여 수행함으로써, 복수의 문구들 중에서 서로 유사도가 높은 문구들에 대응하는 노드들 간에 링크가 연결되며, 노드들 및 일부의 노드들 사이의 적어도 하나의 링크를 포함하는 그래프가 생성될 수 있다.
자동 답변 제공 장치(100)는 노드들과 링크들을 포함하는 그래프를 기초로 노드들 각각의 점수를 계산하고, 노드들 각각의 점수를 기초로 복수의 문구들 각각의 중요도를 결정할 수 있다. 노드들과 링크들로 구성되는 그래프에 대하여, 예컨대 페이지 랭크(PageRank) 또는 텍스트 랭크(TextRank)와 같은 알고리즘을 이용하여 각 노드들의 점수를 산출할 수 있다. 산출된 노드들 각각의 점수는 복수의 문구들 각각의 중요도를 결정하는 기초로 사용될 수 있다.
일 예에 따르면, 노드들은 링크로 연결된 노드들에게 자신의 점수를 나누어 주는 과정을 재귀적으로 반복함으로써 각 노드들의 점수가 산출될 수 있다.
다른 실시예에 따르면, 그래프에서 노드들을 연결하는 링크들은 가중치를 가질 수 있다. 링크들이 가중치를 갖는 경우, 예컨대, 노드들은 링크로 연결된 노드들에게 링크의 가중치에 따라 자신의 점수를 나누어 주는 과정이 재귀적으로 반복됨으로써, 각 노드의 점수가 산출될 수 있다.
일 예에 따르면, 링크의 가중치는 링크를 통해 연결되는 두 노드에 대응하는 두 문구의 유사도를 기초로 결정될 수 있다. 다른 예에 따르면, 링크의 가중치는 링크를 통해 연결되는 두 노드에 대응하는 두 문구가 공통적으로 포함하는 키워드(예컨대, 단어)의 개수나 중요도를 기초로 결정될 수 있다. 두 문구가 공통적으로 포함하는 키워드(예컨대, 단어)가 중요 키워드인 경우, 두 문구에 대응하는 두 노드를 연결하는 링크의 가중치는 높게 결정될 수 있다. 또 다른 예로서, 가장 유사도가 높은 노드에 연결되는 링크들에 대해서는 가중치를 높게 부여할 수도 있다.
자동 답변 제공 장치(100)는 단계(S23)에서 결정된 복수의 문구들 각각의 중요도를 기초로 복수의 문구들로부터 복수의 핵심 문구들을 추출할 수 있다(S24). 자동 답변 제공 장치(100)는 복수의 문구들 중에서 중요도가 높은 순서로 기 설정된 개수의 핵심 문구를 추출할 수 있다.
일 실시예에 따르면, 단계(S24)에서 추출된 핵심 문구들 간에 유사도가 계산될 수 있다. 추출된 핵심 문구들 중 어떤 것들은 매우 중요하여, 모든 답변들에 포함될 수 있다. 유사도를 기초로 문구의 중요도가 결정되므로, 비슷한 내용을 포함하는 복수의 문구들이 모두 핵심 문구로 추출될 수 있다. 단계(S24)에서 추출된 핵심 문구들 간에 유사도가 미리 설정된 기준치 이상인 경우, 미리 설정된 기준치 이상의 유사도를 갖는 핵심 문구들 중 일부를 핵심 문구에서 제거할 수 있다. 이를 통해, 동일한 내용의 문구들이 핵심 문구로 중복하여 추출되는 것이 방지될 수 있다.
자동 답변 제공 장치(100)는 단계(S24)에서 추출된 핵심 문구들로 구성되는 자동 답변을 생성할 수 있다(S25). 단계(S24)에서 추출된 핵심 문구들은 자동 답변을 구성할 수 있으며, 각자의 중요도 순서대로 배치될 수 있다.
일 실시예에 따르면, 자동 답변 제공 장치(100)는 자연어 생성부를 더 포함할 수 있으며, 자연어 생성부를 이용하여 핵심 문구들을 동일한 문체로 변경하고, 동일한 문체로 변경된 핵심 문구들을 이용하여 자동 답변을 생성할 수 있다. 또한, 자동 답변 제공 장치(100)는 하나의 문장 중 일부에 불과한 핵심 문구를 하나의 완성된 문장으로 변형시킬 수도 있다.
자동 답변 제공 장치(100)는 자동 답변을 대상 질문이 추출된 질의응답 문서에 추가할 수 있다(S26). 자동 답변 제공 장치(100)는 생성된 자동 답변을 질의응답 문서의 마지막에 추가하거나, 대상 질문의 바로 다음에 추가할 수도 있다. 따라서, 대상 질문과 유사한 질문을 검색함으로써 질의응답 문서에 접근한 사용자는 대상 답변 전체를 읽어보지 않고 간단히 자동 답변을 검토함으로써 자신이 원하는 정보를 포함한 문서인지의 여부를 빠르게 확인할 수 있다.
이상 설명된 실시예들은 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행할 수 있는 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 일시적으로 저장할 수 있다. 매체는 하나 또는 복수의 하드웨어가 결합된 형태의 저장수단일 수 있으며, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산하여 존재할 수도 있다.
이러한 매체는 예컨대 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함할 수 있다. 또한, 다른 예에 따르면, 매체는 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 저장수단을 포함할 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (13)

  1. 사용자 단말로부터 질문을 수신하는 단계;
    복수의 질의응답(Question Answering) 문서들이 저장되는 저장소에서 상기 질문과 의미론적으로 유사도가 높은 복수의 유사 질문들을 추출하고, 상기 유사 질문들의 답변들을 후보 답변들로서 추출하는 단계;
    상기 후보 답변들로부터 복수의 문구들을 획득하는 단계;
    상기 복수의 문구들 간의 유사도를 기초로 상기 복수의 문구들 각각의 중요도를 결정하는 단계;
    상기 복수의 문구들 각각의 중요도를 기초로 상기 복수의 문구들로부터 복수의 핵심 문구들을 추출하는 단계; 및
    상기 복수의 핵심 문구들로 구성되는 자동 답변을 생성하여 상기 사용자 단말에 제공하는 단계를 포함하는 자동 답변 제공 방법.
  2. 제1 항에 있어서,
    상기 복수의 유사 질문들을 추출하는 단계는,
    상기 질문의 제1 의미 벡터를 추출하는 단계;
    상기 복수의 질의응답 문서들 각각의 질문들 각각의 제2 의미 벡터를 추출하는 단계;
    상기 제1 의미 벡터와 상기 제2 의미 벡터들 사이의 거리를 기초로 상기 유사도를 결정하는 단계; 및
    상기 유사도를 기초로 미리 설정된 개수의 상기 유사 질문들을 추출하는 단계를 포함하는 것을 특징으로 하는 자동 답변 제공 방법.
  3. 제1 항에 있어서,
    상기 복수의 문구들을 획득하는 단계는
    상기 후보 답변들을 정제하는 단계; 및
    상기 정제된 후보 답변들을 형태소 분석하고 품사 태깅하여, 상기 후보 답변들로부터 상기 복수의 문구들을 분리하는 단계를 포함하는 자동 답변 제공 방법.
  4. 제1 항에 있어서,
    상기 복수의 문구들 각각의 중요도를 결정하는 단계는,
    상기 복수의 문구들에 대응하는 복수의 노드들을 포함하는 그래프를 생성하는 단계;
    상기 복수의 문구들 간의 유사도를 기초로 상기 노드들을 링크로 연결하는 단계; 및
    상기 노드들 각각에 연결되는 링크들을 기초로 상기 노드들 각각의 점수를 계산하고, 상기 노드들 각각의 점수를 기초로 상기 복수의 문구들 각각의 중요도를 결정하는 단계를 포함하는 것을 특징으로 하는 자동 답변 제공 방법.
  5. 제4 항에 있어서,
    상기 링크들 각각은
    상기 노드들을 링크로 연결하는 단계는 상기 복수의 문구들 중에서 미리 설정된 임계치 이상인 유사도를 갖는 2개의 문구들에 대응하는 2개의 노드들 사이에 링크를 연결하는 단계를 포함하는 자동 답변 제공 방법.
  6. 제4 항에 있어서,
    상기 링크들 각각은 상기 각각의 링크에 의해 연결되는 2개 노드들에 대응하는 2개의 문구 간의 유사도에 따라 결정되는 가중치를 갖는 것을 특징으로 하는 자동 답변 제공 방법.
  7. 제4 항에 있어서,
    상기 링크들 각각은 상기 각각의 링크에 의해 연결되는 2개 노드들이 공통적으로 포함하는 키워드의 개수, 및 중요도 중 적어도 하나에 따라 결정되는 가중치를 갖는 것을 특징으로 하는 자동 답변 제공 방법.
  8. 제1 항에 있어서,
    상기 복수의 문구들 각각의 중요도를 기초로 상기 복수의 문구들로부터 복수의 핵심 문구들을 추출하는 단계는,
    상기 복수의 문구들 중에서 상기 중요도가 높은 순서로 기 설정된 개수의 핵심 문구를 추출하는 단계를 포함하는 자동 답변 제공 방법.
  9. 제1 항에 있어서,
    상기 복수의 핵심 문구들 간의 유사도를 기초로 미리 설정된 기준치 이상의 유사도를 갖는 한 쌍의 핵심 문구들 중 하나를 상기 복수의 핵심 문구들에서 제거하는 단계를 더 포함하는 자동 답변 제공 방법.
  10. 제1 항에 있어서,
    상기 자동 답변을 상기 사용자 단말에 제공하는 단계는,
    상기 사용자 단말로부터의 입력에 응답하여, 상기 핵심 문구들의 출처가 되는 후보 답변들에 대응하는 유사 질문들을 상기 사용자 단말에 제공하는 단계를 포함하는 것을 특징으로 하는 자동 답변 제공 방법.
  11. 제1 항에 있어서,
    상기 후보 답변들 중에서 상기 핵심 문구들의 출처가 되는 후보 답변의 작성자에게 보상을 지급하는 단계를 더 포함하는 자동 답변 제공 방법.
  12. 질문과 상기 질문에 대한 복수의 답변을 포함하는 질의응답 문서가 저장되는 저장소에서 상기 질문을 추출하는 단계;
    상기 복수의 답변들로부터 복수의 문구들을 획득하는 단계;
    상기 복수의 문구들 간의 유사도를 기초로 상기 복수의 문구들 각각의 중요도를 결정하는 단계;
    상기 복수의 문구들 각각의 중요도를 기초로 상기 복수의 문구들로부터 복수의 핵심 문구들을 추출하는 단계; 및
    상기 복수의 핵심 문구들로 구성되는 자동 답변을 생성하여 상기 질의응답 문서에 추가하는 단계를 포함하는 자동 답변 제공 방법.
  13. 컴퓨터를 이용하여 제1 항 내지 제12 항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
KR1020180112373A 2018-09-19 2018-09-19 자동 답변 제공 방법 Active KR102137809B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180112373A KR102137809B1 (ko) 2018-09-19 2018-09-19 자동 답변 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180112373A KR102137809B1 (ko) 2018-09-19 2018-09-19 자동 답변 제공 방법

Publications (2)

Publication Number Publication Date
KR20200033009A true KR20200033009A (ko) 2020-03-27
KR102137809B1 KR102137809B1 (ko) 2020-07-24

Family

ID=69959198

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180112373A Active KR102137809B1 (ko) 2018-09-19 2018-09-19 자동 답변 제공 방법

Country Status (1)

Country Link
KR (1) KR102137809B1 (ko)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111782789A (zh) * 2020-07-03 2020-10-16 江苏瀚涛软件科技有限公司 智能问答方法与系统
CN112784600A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 信息排序方法、装置、电子设备和存储介质
CN113239169A (zh) * 2021-06-01 2021-08-10 平安科技（深圳）有限公司 基于人工智能的回答生成方法、装置、设备及存储介质
WO2021237082A1 (en) * 2020-05-22 2021-11-25 Searchable AI Corp Neural network-based semantic information retrieval
CN113722459A (zh) * 2021-08-31 2021-11-30 平安国际智慧城市科技股份有限公司 基于自然语言处理模型的问答搜索方法及相关装置
CN114090749A (zh) * 2021-11-08 2022-02-25 杭州网易智企科技有限公司 一种问答对构建方法、装置、电子设备以及存储介质
KR20220037064A (ko) * 2020-09-17 2022-03-24 주식회사 포티투마루 페러프레이저 모델을 이용한 질의 응답 검색 방법 및 검색 장치
KR20220037065A (ko) * 2020-09-17 2022-03-24 주식회사 포티투마루 질의 응답을 위한 페러프레이저 모델 생성 방법, 장치, 및 시스템
KR20220062991A (ko) * 2020-11-09 2022-05-17 (주)미소정보기술 의도추론 순서 조정이 가능한 텍스트 데이터 분석 방법 및 장치
WO2022114325A1 (ko) * 2020-11-30 2022-06-02 한국과학기술원 자연어 대화에서 질문의 유사성을 분석하기 위한 질의 자질 추출 장치 및 방법
KR20220085258A (ko) * 2020-12-15 2022-06-22 주식회사 포티투마루 질의에 대한 문서 검색 방법 및 장치
WO2022169172A1 (ko) * 2021-02-02 2022-08-11 삼성전자 주식회사 사용자의 질의를 처리하는 디바이스 및 그 동작 방법
CN115017287A (zh) * 2022-06-15 2022-09-06 茅台学院 一种基于语义空间映射的零样本图片问答方法
CN115391486A (zh) * 2022-08-24 2022-11-25 中国银行股份有限公司 坐席平台补偿式问答方法和系统、电子设备、存储介质
WO2023113404A1 (ko) * 2021-12-13 2023-06-22 삼성전자 주식회사 사용자 데이터를 이용한 음성 인식 서비스를 제공하는 전자 장치 및 이의 동작 방법
KR102746693B1 (ko) * 2024-02-20 2024-12-26 주식회사 더메타링크 타로상담사 양성 및 교육을 위한 온라인 강의 제공 방법, 장치 및 플랫폼
US12277390B2 (en) 2021-02-02 2025-04-15 Samsung Electronics Co., Ltd. Electronic device for processing user's inquiry, and operation method of the electronic device
KR102817336B1 (ko) * 2024-05-13 2025-06-10 포스트에이아이 주식회사 발화정보를 기반으로 하는 설문응답 가상아바타 운영시스템
US12400082B2 (en) 2021-12-13 2025-08-26 Samsung Electronics Co., Ltd. Electronic device for providing voice recognition service using user data and operating method thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160026892A (ko) * 2013-06-27 2016-03-09 코쿠리츠켄큐카이하츠호진 죠호츠신켄큐키코 논팩토이드형 질의 응답 시스템 및 방법
KR20170037593A (ko) * 2017-03-23 2017-04-04 주식회사 플런티코리아 답변 추천 장치 및 방법
KR101811565B1 (ko) * 2017-11-10 2017-12-26 (주)플랜아이 자연어 질의에 대한 전문가 답변을 제공하는 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160026892A (ko) * 2013-06-27 2016-03-09 코쿠리츠켄큐카이하츠호진 죠호츠신켄큐키코 논팩토이드형 질의 응답 시스템 및 방법
KR20170037593A (ko) * 2017-03-23 2017-04-04 주식회사 플런티코리아 답변 추천 장치 및 방법
KR101811565B1 (ko) * 2017-11-10 2017-12-26 (주)플랜아이 자연어 질의에 대한 전문가 답변을 제공하는 시스템

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021237082A1 (en) * 2020-05-22 2021-11-25 Searchable AI Corp Neural network-based semantic information retrieval
CN111782789A (zh) * 2020-07-03 2020-10-16 江苏瀚涛软件科技有限公司 智能问答方法与系统
KR20220037065A (ko) * 2020-09-17 2022-03-24 주식회사 포티투마루 질의 응답을 위한 페러프레이저 모델 생성 방법, 장치, 및 시스템
KR20220145318A (ko) * 2020-09-17 2022-10-28 주식회사 포티투마루 페러프레이저 모델을 이용한 질의 응답 검색 방법 및 검색 장치
KR20220037064A (ko) * 2020-09-17 2022-03-24 주식회사 포티투마루 페러프레이저 모델을 이용한 질의 응답 검색 방법 및 검색 장치
KR20220062991A (ko) * 2020-11-09 2022-05-17 (주)미소정보기술 의도추론 순서 조정이 가능한 텍스트 데이터 분석 방법 및 장치
WO2022114325A1 (ko) * 2020-11-30 2022-06-02 한국과학기술원 자연어 대화에서 질문의 유사성을 분석하기 위한 질의 자질 추출 장치 및 방법
US11573958B2 (en) 2020-12-15 2023-02-07 42 Maru Inc. In-document search method and device for query
KR20220085258A (ko) * 2020-12-15 2022-06-22 주식회사 포티투마루 질의에 대한 문서 검색 방법 및 장치
CN112784600A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 信息排序方法、装置、电子设备和存储介质
CN112784600B (zh) * 2021-01-29 2024-01-16 北京百度网讯科技有限公司 信息排序方法、装置、电子设备和存储介质
US12277390B2 (en) 2021-02-02 2025-04-15 Samsung Electronics Co., Ltd. Electronic device for processing user's inquiry, and operation method of the electronic device
WO2022169172A1 (ko) * 2021-02-02 2022-08-11 삼성전자 주식회사 사용자의 질의를 처리하는 디바이스 및 그 동작 방법
CN113239169B (zh) * 2021-06-01 2023-12-05 平安科技（深圳）有限公司 基于人工智能的回答生成方法、装置、设备及存储介质
CN113239169A (zh) * 2021-06-01 2021-08-10 平安科技（深圳）有限公司 基于人工智能的回答生成方法、装置、设备及存储介质
CN113722459A (zh) * 2021-08-31 2021-11-30 平安国际智慧城市科技股份有限公司 基于自然语言处理模型的问答搜索方法及相关装置
CN114090749A (zh) * 2021-11-08 2022-02-25 杭州网易智企科技有限公司 一种问答对构建方法、装置、电子设备以及存储介质
WO2023113404A1 (ko) * 2021-12-13 2023-06-22 삼성전자 주식회사 사용자 데이터를 이용한 음성 인식 서비스를 제공하는 전자 장치 및 이의 동작 방법
US12400082B2 (en) 2021-12-13 2025-08-26 Samsung Electronics Co., Ltd. Electronic device for providing voice recognition service using user data and operating method thereof
CN115017287A (zh) * 2022-06-15 2022-09-06 茅台学院 一种基于语义空间映射的零样本图片问答方法
CN115391486A (zh) * 2022-08-24 2022-11-25 中国银行股份有限公司 坐席平台补偿式问答方法和系统、电子设备、存储介质
KR102746693B1 (ko) * 2024-02-20 2024-12-26 주식회사 더메타링크 타로상담사 양성 및 교육을 위한 온라인 강의 제공 방법, 장치 및 플랫폼
KR102817336B1 (ko) * 2024-05-13 2025-06-10 포스트에이아이 주식회사 발화정보를 기반으로 하는 설문응답 가상아바타 운영시스템

Also Published As

Publication number Publication date
KR102137809B1 (ko) 2020-07-24

Similar Documents

Publication Publication Date Title
KR102137809B1 (ko) 자동 답변 제공 방법
US11966703B2 (en) Generating replacement sentences for a particular sentiment
Hossain et al. “President vows to cut< taxes> hair”: Dataset and analysis of creative text editing for humorous headlines
Arora et al. Character level embedding with deep convolutional neural network for text normalization of unstructured data for Twitter sentiment analysis
Bajaj et al. MS MARCO: A human generated machine reading comprehension dataset
Hao et al. BertNet: Harvesting knowledge graphs with arbitrary relations from pretrained language models
US12001465B2 (en) Response selecting apparatus, response selecting method, and response selecting program
US10095692B2 (en) Template bootstrapping for domain-adaptable natural language generation
US20250094816A1 (en) Llm fine-tuning for text generation
CN106462607B (zh) 自动化阅读理解
US20170185581A1 (en) Systems and methods for suggesting emoji
AU2020381439B2 (en) Enhanced intent matching using keyword-based word mover’s distance
CN106663125A (zh) 提问句生成装置以及计算机程序
Serigos Using distributional semantics in loanword research: A concept-based approach to quantifying semantic specificity of Anglicisms in Spanish
Alhawarat et al. Effect of stemming on text similarity for Arabic language at sentence level
US11880664B2 (en) Identifying and transforming text difficult to understand by user
CN116701605A (zh) 问答机器人的回复优化方法及装置、电子设备、存储介质
Wilkens et al. Size does not matter. Frequency does. A study of features for measuring lexical complexity
Bernhard Adding dialectal lexicalisations to linked open data resources: The example of Alsatian
Song et al. A new context-aware method based on hybrid ranking for community-oriented lexical simplification
Zhu et al. Detecting authorship between generative AI models and humans: a Burrows’s Delta approach
JP2021022292A (ja) 情報処理装置、プログラム及び情報処理方法
CN116955559A (zh) 问答匹配方法、装置、电子设备及存储介质
Cai et al. Question recommendation in medical community-based question answering
Song et al. A hybrid model for community-oriented lexical simplification

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

X091 Application refused [patent]
AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000