KR102324196B1 - 지식 베이스 보강을 위한 시스템 및 방법 - Google Patents

지식 베이스 보강을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102324196B1
KR102324196B1 KR1020190114967A KR20190114967A KR102324196B1 KR 102324196 B1 KR102324196 B1 KR 102324196B1 KR 1020190114967 A KR1020190114967 A KR 1020190114967A KR 20190114967 A KR20190114967 A KR 20190114967A KR 102324196 B1 KR102324196 B1 KR 102324196B1
Authority
KR
South Korea
Prior art keywords
predicate
vector
knowledge base
entity
context
Prior art date
Application number
KR1020190114967A
Other languages
English (en)
Other versions
KR20210033345A (ko
Inventor
장희원
이경일
Original Assignee
주식회사 솔트룩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 솔트룩스 filed Critical 주식회사 솔트룩스
Priority to KR1020190114967A priority Critical patent/KR102324196B1/ko
Priority to PCT/KR2019/013640 priority patent/WO2021054512A1/ko
Publication of KR20210033345A publication Critical patent/KR20210033345A/ko
Application granted granted Critical
Publication of KR102324196B1 publication Critical patent/KR102324196B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

지식 베이스의 지식 데이터를 보강하기 위한 시스템은, 본 발명의 예시적 실시예에 따라, 입력 데이터로부터 술어(predicate)를 추출하는 술어 추출부, 입력 데이터로부터 엔티티를 추출하는 엔티티 추출부, 입력 데이터로부터 술어를 포함하는 엔티티의 컨텍스트를 추출하는 컨텍스트 추출부, 학습된 인공 신경망에 기초하여, 술어, 엔티티 및 컨텍스트로부터 술어 점수 벡터를 획득하는 술어 평가부, 및 술어 점수 벡터에 기초하여 지식 베이스의 갱신 여부를 판정하고, 판정 결과에 따라 술어에 기초하여 지식 베이스를 갱신하는 지식 베이스 갱신부를 포함할 수 있다.

Description

지식 베이스 보강을 위한 시스템 및 방법{SYSTEM AND METHOD FOR CONSOLIDATING KNOWLEDGE BASE}
본 발명의 기술적 사상은 지식 베이스에 관한 것으로서, 자세하게는 지식 베이스 보강을 위한 시스템 및 방법에 관한 것이다.
본 발명은 미래창조과학부 SW컴퓨팅원천기술개발사업(SW)의 일환으로 (주)솔트룩스가 주관하고 연구하여 수행된 연구로부터 도출된 것이다. [연구기간: 2019.01.01~2019.12.31, 연구관리 전문기관: 정보통신기술진흥센터, 연구과제명: WiseKB: 빅데이터 이해 기반 자가학습형 지식베이스 및 추론 기술 개발, 과제 고유번호: 2013-0-00109]
지식 데이터를 저장하고 저장된 지식 데이터를 제공하는 지식 베이스(knowledge base)가 구축될 수 있다. 예를 들면, 지식 베이스는 구조화된 지식 데이터를 포함할 수 있고, 지식 데이터는 다양한 방식으로 생성될 수 있다. 방대한 양의 지식에 기인하여, 지식 베이스 구축을 위하여 사람에 의한 큐레이션 작업은 한계가 있을 수 있다. 예를 들면, 지식 베이스에서 엔티티들 사이 관계를 나타내는 술어(predicate)는 엔티티와 비교할 때 상대적으로 적은 수를 가질 수 있으나, 동일한 술어, 즉 동일한 의미를 나타내는 다수의 표현들 또는 신규 술어를 큐레이션 작업을 통해서 검증하고 추가하는 것은 현실적으로 용이하지 아니할 수 있다.
본 발명의 기술적 사상은, 지식 베이스에 포함된 술어들을 보강하기 위한 지식 보강 시스템 및 방법을 제공한다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 기술적 사상에 따라, 지식 베이스의 지식 데이터를 보강하기 위한 시스템은, 입력 데이터로부터 술어(predicate)를 추출하는 술어 추출부, 입력 데이터로부터 엔티티를 추출하는 엔티티 추출부, 입력 데이터로부터 술어를 포함하는 엔티티의 컨텍스트를 추출하는 컨텍스트 추출부, 학습된 인공 신경망에 기초하여, 술어, 엔티티 및 컨텍스트로부터 술어 점수 벡터를 획득하는 술어 평가부, 및 술어 점수 벡터에 기초하여 지식 베이스의 갱신 여부를 판정하고, 판정 결과에 따라 술어에 기초하여 지식 베이스를 갱신하는 지식 베이스 갱신부를 포함할 수 있다.
본 발명의 예시적 실시예에 따라, 술어 평가부는, 입력 데이터로부터 추출된 복수의 엔티티들 및 복수의 엔티티들에 각각 대응하고 술어를 포함하는 복수의 컨텍스트들로부터 술어 점수 벡터를 획득할 수 있다.
본 발명의 예시적 실시예에 따라, 술어 평가부는, 워드 벡터 모델을 참조하여 술어, 엔티티 및 컨텍스트에 대응하는 벡터들을 획득하고, 획득된 벡터들을 인공 신경망에 제공할 수 있다.
본 발명의 예시적 실시예에 따라, 술어 평가부는, 학습된 제1 인공 신경망에 기초하여, 엔티티 및 컨텍스트로부터 시맨틱(semantic) 벡터를 획득할 수 있고, 학습된 제2 인공 신경망에 기초하여, 시맨틱 벡터 및 술어로부터 술어 점수 벡터를 획득할 수 있다.
본 발명의 예시적 실시예에 따라, 술어 점수 벡터는, 술어와 지식 베이스에 포함된 정규 술어들 사이 매칭 정도를 나타내는 제1 벡터, 및 술어의 신규 생성 가능성을 나타내는 제2 벡터를 포함할 수 있다.
본 발명의 예시적 실시예에 따라, 지식 베이스 갱신부는, 술어 점수 벡터에 포함된 값들 중 최대값이 미리 정의된 기준치 이상이고 제1 벡터에 포함된 경우, 최대값에 대응하는 정규 술어의 표현형에 술어를 추가할 수 있다.
본 발명의 예시적 실시예에 따라, 지식 베이스 갱신부는, 술어 점수 벡터에 포함된 값들 중 최대값이 미리 정의된 기준치 이상이고 제2 벡터에 포함된 경우, 술어를 신규 정규 술어로서 지식 베이스에 추가할 수 있다.
본 발명의 예시적 실시예에 따라, 지식 베이스 갱신부는, 술어 점수 벡터에 포함된 값들 중 최대값이 미리 정의된 기준치 미만인 경우, 술어에 기초한 지식 베이스의 갱신을 종료할 수 있다.
본 발명의 기술적 사상의 일측면에 따라, 지식 베이스의 지식 데이터를 보강하기 위한 방법은, 입력 데이터로부터, 술어, 엔티티 및 술어를 포함하는 엔티티의 컨텍스트를 추출하는 단계, 학습된 인공 신경망에 기초하여, 술어, 엔티티 및 컨텍스트로부터 술어 점수 벡터를 획득하는 단계, 술어 점수 벡터에 기초하여, 지식 베이스의 갱신 여부를 판정하는 단계, 및 판정 결과에 따라, 술어에 기초하여 지식 베이스를 갱신하는 단계를 포함할 수 있고, 술어 점수 벡터는, 술어와 지식 베이스에 포함된 정규 술어들 사이 매칭 정도를 나타내는 제1 벡터, 및 술어의 신규 생성 가능성을 나타내는 제2 벡터를 포함할 수 있다.
본 발명의 예시적 실시예에 따라, 술어 점수 벡터를 획득하는 단계는, 학습된 제1 인공 신경망에 기초하여, 엔티티 및 컨텍스트로부터 시맨틱(semantic) 벡터를 획득하는 단계, 및 학습된 제2 인공 신경망에 기초하여, 시맨틱 벡터 및 술어로부터 술어 점수 벡터를 획득하는 단계를 포함할 수 있다.
본 발명의 기술적 사상에 따른 시스템 및 방법에 의하면, 기계 학습을 이용하여 동일한 술어에 대응하는 표현들이 용이하게 검증되고 지식 베이스에 추가될 수 있다.
또한, 본 발명의 기술적 사상에 따른 시스템 및 방법에 의하면, 기계 학습을 이용하여 신규 술어가 용이하게 검증되고 지식 베이스에 추가될 수 있다.
또한, 본 발명의 기술적 사상에 따른 시스템 및 방법에 의하면, 술어의 표현들 및 신규 술어가 높은 신뢰도로 추가됨으로써 지식 베이스가 유효하게 보강될 수 있고, 지식 베이스의 신뢰도 및 활용도가 현저하게 상승할 수 있다.
본 발명의 예시적 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 아니하며, 언급되지 아니한 다른 효과들은 이하의 기재로부터 본 발명의 예시적 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 발명의 예시적 실시예들을 실시함에 따른 의도하지 아니한 효과들 역시 본 발명의 예시적 실시예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.
도 1은 본 발명의 예시적 실시예에 따른 시스템 및 그 입출력 관계를 나타내는 블록도이다.
도 2a, 도 2b 및 도 2c는 본 발명의 예시적 실시예들에 따라 술어가 지식 베이스에 추가되는 예시들을 나타낸다.
도 3은 본 발명의 예시적 실시예에 따른 술어 평가부를 나타내는 블록도이다.
도 4는 본 발명의 예시적 실시예에 따른 벡터 생성부를 나타내는 블록도이다.
도 5는 본 발명의 예시적 실시예에 따라 술어 평가부의 동작의 예시를 나타내는 도면이다.
도 6는 본 발명의 예시적 실시예에 따라 지식 베이스 보강을 위한 방법을 나타내는 순서도이다.
도 7은 본 발명의 예시적 실시예에 따라 지식 베이스 보강을 위한 방법을 나타내는 순서도이다.
도 8은 본 발명의 예시적 실시예에 따른 지식 베이스 보강을 위한 방법을 나타내는 순서도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다. 본 발명의 실시 예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나 축소하여 도시한 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수개의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 아니하는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하 도면 및 설명에서, 하나의 블록으로 표시 또는 설명되는 구성요소는 하드웨어 블록 또는 소프트웨어 블록일 수 있다. 예를 들면, 구성요소들 각각은 서로 신호를 주고 받는 독립적인 하드웨어 블록일 수도 있고, 또는 하나의 프로세서에서 실행되는 소프트웨어 블록일 수도 있다. 또한, 본 명세서에서 "시스템" 또는 "데이터베이스"는 적어도 하나의 프로세서 및 프로세서에 의해서 액세스되는 메모리를 포함하는 컴퓨팅 시스템을 지칭할 수 있다.
도 1은 본 발명의 예시적 실시예에 따른 시스템 및 그 입출력 관계를 나타내는 블록도이다. 도 1에 도시된 바와 같이, 지식 베이스 보강 시스템(100)은 입력 데이터(200)를 수신할 수 있고, 지식 베이스(300)와 통신가능하게 연결될 수 있다. 일부 실시예들에서, 지식 베이스 보강 시스템(100)은 지식 베이스(300)와 네트워크를 통해서 상호 통신할 수도 있고, 일대일 통신을 위한 전용 채널을 통해서 상호 통신할 수도 있다. 일부 실시예들에서, 지식 베이스 보강 시스템(100)은 지식 베이스(300)를 포함할 수도 있다.
입력 데이터(200)는 다양한 정보를 포함하는 데이터를 지칭할 수 있다. 일부 실시예들에서, 지식 베이스 보강 시스템(100)은 인터넷을 통해서 입력 데이터(200)를 수집할 수 있다. 예를 들면, 입력 데이터(200)는 위키백과(wikipedia.org)에서 제공하는 정보 문서일 수도 있고, 언론사 홈페이지에서 제공하는 기사일 수도 있으며, 소셜 네트워크 서비스(social networking service; SNS)에서 작성된 문서들일 수도 있다. 또한, 일부 실시예들에서, 지식 베이스 보강 시스템(100)은 로컬 네트워크를 통해서 입력 데이터(200)를 수신할 수도 있고, 저장 매체에 액세스함으로써 저장 매체에 저장된 입력 데이터(200)를 수신할 수도 있다. 입력 데이터(200)는 텍스트를 포함할 수 있고, 지식 베이스 보강 시스템(100)은 입력 데이터(200)의 텍스트에 포함된 술어(predicate)를 지식 베이스(300)에 추가할지 여부를 판단할 수 있다.
지식 베이스(300)는 온톨로지에 기초하여 구조화된 지식(또는 지식 데이터)을 포함할 수 있다. 온톨로지(ontology)는 실존하거나 사람이 인식 가능한 것들을 컴퓨터에서 다룰 수 있는 형태로 표현한 것으로서, 온톨로지 구성요소들은, 예컨대 엔티티(entity; E)(또는 인스턴스(instance)), 클래스(class; C), 속성(property; P), 값(value; V)을 포함할 수 있다. 추가적으로, 온톨로지 구성요소들은, 관계(relation), 함수 텀(function term), 제한(restriction), 규칙(rule), 사건(event) 등을 더 포함할 수 있다. 관계는, 비제한적인 예시로서 엔티티-엔티티 관계, 엔티티-클래스 관계, 엔티티-속성 관계, 엔티티-값(숫자, 텍스트 등) 관계 등을 나타낼 수 있다. 관계는 지식 베이스(300)의 외부(예컨대, 현실 세계)에서, 술어로 표현될 수 있다. 예를 들면, "결승전에서 수원과 대구가 맞붙는다"에서 "맞붙는다"는 엔티티들 "수원" 및 "대구" 사이 관계를 나타내는 술어일 수 있다.
지식 베이스(300)는 온톨로지에 기반하여 방대한 지식 데이터를 저장할 수 있고, 예컨대 지식 베이스(300)는 RDF(Resource Description Framework)를 사용하여 표현된 지식 데이터를 포함할 수 있다. 일 실시예들에서, 지식 데이터 단위로서 트리플(triple)이 사용될 수 있고, 지식 베이스(300)는 쿼리, 예컨대 SPARQL(SPARQL Protocol and RDF Query Language) 쿼리에 응답하여 트리플을 반환할 수 있다. 트리플은 "주어-술어-목적어"로 구성될 수 있고, 엔티티는 트리플의 주어뿐만 아니라 목적어도 될 수 있고, 일부 실시예들에서 술어도 될 수 있다. 이에 따라, 지식 베이스(300)에 저장된 지식 데이터는 지식 그래프로서 지칭될 수도 있다. 엔티티 및 술어는 고유한 식별자, 예컨대 통합 자원 식별자(Uniform Resource Identifier; URI)를 각각 가질 수 있고, 통합 자원 식별자에 의해서 액세스될 수 있다.
엔티티 및 술어(또는 관계)는, 예컨대 도 2a, 도 2b 및 도 2c를 참조하여 후술되는 바와 같이, 다양한 표현(또는 표현형)들을 가질 수 있고, 동일한 엔티티 또는 동일한 술어에 대응하는 표현들은 지식 베이스(300)의 유용성을 높이는데 중대할 수 있다. 예를 들면, 지식 베이스(300)가 질의 응답 시스템에 사용되는 경우, 사용자의 질의는 그 형식 및 표현이 방대할 수 있고, 그러한 방대한 표현을 인식하고 응답을 제공하기 위하여 지식 베이스(300)는 동일한 대상, 즉 엔티티 또는 술어에 대응하는 다수의 표현들을 포함할 수 있다. 지식 베이스(300)는 이러한 표현들을 술어(또는 관계), 예컨대 "label"로서 엔티티 또는 술어와 연결시킬 수 있다. 예를 들면, 지식 베이스(300)는, 도 2b를 참조하여 후술되는 바와 같이, 술어 "eat"와 관련하여 "eat-label-먹다", "eat-label-섭취하다"과 같은 트리플들을 포함할 수 있다.
도면들을 참조하여 후술되는 바와 같이, 지식 베이스 보강 시스템(100)은 입력 데이터(200)에 기초하여 자동으로 술어를 검증하고 지식 베이스(300)에 추가함으로써 지식 베이스(300)를 보강할 수 있고, 이에 따라 지식 베이스(300)의 유용성이 현저하게 향상될 수 있다. 지식 베이스 보강 시스템(100)은, 도 1에 도시된 바와 같이, 전처리부(110), 술어 평가부(120) 및 지식 베이스 갱신부(130)를 포함할 수 있다.
전처리부(110)는 입력 데이터(200)로부터 엔티티(ENT), 술어(PRE) 및 컨텍스트(CTX)를 추출할 수 있다. 예를 들면, 도 1에 도시된 바와 같이, 엔티티 추출부(112)는 입력 데이터(200)로부터 엔티티(ENT)를 추출할 수 있고, 술어 추출부(114)는 입력 데이터(200)로부터 술어(PRE)를 추출할 수 있으며, 컨텍스트 추출부(116)는 입력 데이터(200)로부터 컨텍스트(CTX)를 추출할 수 있다. 일부 실시예들에서, 엔티티(ENT), 술어(PRE) 및 컨텍스트(CTX)가 개별적으로 추출되는 도 1에 도시된 바와 상이하게, 입력 데이터(200)를 공통적으로 처리하는 과정에서 엔티티(ENT), 술어(PRE) 및 컨텍스트(CTX)가 추출될 수도 있다. 컨텍스트(CTX)는 입력 데이터(200)에서 엔티티(ENT) 및 술어(PRE)를 포함하는 단위로서, 미리 정의된 윈도우 크기에 따라 길이가 결정될 수 있다. 예를 들면, 전술된 예시 "결승전에서 수원과 대구가 맞붙는다"에서 엔티티(ENT)로서 "수원", "대구"가 추출될 수 있고, 술어(PRE)로서 "맞붙는다"가 추출될 수 있으며, 컨텍스트(CTX)로서 "결승전/에서/수원/대구/맞붙는다"가 추출될 수 있다.
엔티티(ENT), 술어(PRE) 및 컨텍스트(CTX)는 입력 데이터(200)로부터 임의의 방식으로 추출될 수 있다. 예를 들면, 전처리부(110)는 형태소 분석 및 구문 분석을 포함하는 자연어 처리에 기초하여 입력 데이터(200)에 포함된 텍스트를 처리할 수 있다. 일부 실시예들에서, 전처리부(110)는 의존성 파싱(dependency parsing) 및/또는 SRL(Semantic Role Labeling)에 기초하여 입력 데이터(200)의 텍스트에 포함된 문장 분석을 통해서 트리플이 추출될 수 있다. 예를 들면, 본원과 동일한 출원인에 의해서 출원되고 본 명세서에 전체로서 참조되어 포함되는, 한국특허출원 제10-2018-0150093호에서 설명된 "자연어 이해부"와 같이, 전처리부(110)는 형태소 분석부, 구문 분석부, 개체명 분석부, 필터링 분석부, 의도 분석부, 도메인 분석부) 및 시맨틱 롤 라벨링(Semantic Role Labeling; SRL)부 중 적어도 하나를 포함할 수 있다. 추출된 트리플로부터 엔티티(ENT) 및 술어(PRE)가 추출될 수 있고, 엔티티(ENT) 및 술어(PRE)를 포함하는 컨텍스트(CTX)가 입력 데이터(200)로부터 추출될 수 있다. 일부 실시예들에서, 도 1에서 점선 화살표로 표시된 바와 같이, 입력 데이터(200)로부터 트리플을 추출하는 동작은 지식 베이스(300)를 참조하여 수행될 수 있다. 일부 실시예들에서, 도 4를 참조하여 후술되는 바와 같이, 추출된 엔티티(ENT)는 지식 베이스(300)에 포함된 엔티티와 일치하지 아니할 수도 있다.
술어(PRE)는 문장 내에 주어진 단어들 사이 의존관계, 즉 단어들의 역할들에 기초하여 입력 데이터(200)로부터 추출되었으므로, 술어(PRE) 및 지식 베이스(300)에 포함된 술어들(본 명세서에서 정규 술어들로서 지칭될 수 있다) 사이 관계는 불명인 상태일 수 있다. 예를 들면, 술어(PRE)는 지식 베이스(300)에 포함된 정규 술어의 표현형들 중 하나일 수도 있고, 지식 베이스(300)에 포함된 정규 술어의 신규 표현형일 수도 있으며, 지식 베이스(300)에 신규 정규 술어로서 추가가 필요한 술어에 대응할 수도 있다. 또한, 술어(PRE)는 입력 데이터(200) 및/또는 전처리부(110)의 오류에 기인하여 지식 베이스(300)에 추가가 불필요한 술어에 대응할 수도 있다.
술어 평가부(120)는 전처리부(110)로부터 술어(PRE)뿐만 아니라, 술어(PRE)와 관계된 엔티티(ENT) 및 컨텍스트(CTX)를 수신할 수 있고, 인공 신경망(Artificial Neural Network; ANN)을 사용하여 술어(PRE)를 평가할 수 있다. 인공 신경망은 뉴런(neuron)(또는 뉴런 모델)들이 상호 연결된 집합들을 구현하는 구조를 지칭할 수 있다. 인공 뉴런은 입력 데이터에 대한 단순 연산들을 수행함으로써 출력을 생성할 수 있고, 출력은 다른 인공 뉴런에 입력으로서 전달될 수 있다. 술어 평가부(120)는 기계 학습(machine learning)에 기초하여 술어(PRE)를 평가할 수 있고, 인공 신경망(ANN)의 명칭에 제한되지 아니한다. 예를 들면, 인공 신경망(ANN)은 딥 러닝(deep learning) 네트워크로서 지칭될 수도 있고, 심층 신경망(Deep Neural Network; DNN), 합성곱 신경망(Convolution Neural Network; CNN), 순환 신경망(Recurrent Neural Network; RNN), 제한 볼츠만 머신(Restricted Boltzmann Machine; RBM), 심층 신뢰 신경망(Deep Belief Network; DBN), 심층 Q-네트워크(Deep Q-Network)를 포함할 수도 있다. 도 1에 도시된 바와 같이, 술어 평가부(120)는 술어(PRE)를 평가함으로써 술어 점수 벡터(SCR)를 생성할 수 있고, 술어 점수 벡터(SCR)는 술어(PRE) 및 지식 베이스(300)에 포함된 정규 술어들과의 관계를 나타낼 수 있다. 술어 평가부(120)의 예시는 도 3 및 도 5를 참조하여 후술될 것이다.
지식 베이스 갱신부(130)는 술어 평가부(120)로부터 술어 점수 벡터(SCR)를 수신할 수 있고, 술어 점수 벡터(SCR)에 기초하여 술어(PRE)에 기초한 지식 베이스(300)의 갱신을 수행할 수 있다. 예를 들면, 지식 베이스 갱신부(130)는 술어 점수 벡터(SCR)에 기초하여 지식 베이스(300)의 갱신 여부 및 갱신 방식을 판정할 수 있고, 판정된 갱신 방식에 따라 술어(PRE)를 지식 베이스(300)에 추가할 수 있다. 지식 베이스 갱신부(130)의 동작의 예시는 도 8을 참조하여 후술될 것이다.
도 2a, 도 2b 및 도 2c는 본 발명의 예시적 실시예들에 따라 술어가 지식 베이스에 추가되는 예시들을 나타낸다. 구체적으로, 도 2a 및 도 2b는 정규 술어의 일 표현형으로서 술어가 추가되는 예시를 나타내고, 도 2c는 신규 정규 술어로서 술어가 추가되는 예시를 나타낸다. 이하에서, 도 2a, 도 2b 및 도 2c에 대한 설명 중 상호 중복되는 내용은 생략될 것이며, 도 2a, 도 2b 및 도 2c는 도 1을 참조하여 설명될 것이다.
도 2a를 참조하면, 지식 베이스(300)는 정규 술어로서 "accept"를 포함할 수 있다. 도 1을 참조하여 전술된 바와 같이, 정규 술어는 복수의 표현형들을 가질 수 있고, 예컨대 도 2a에 도시된 바와 같이, 정규 술어 "accept"는 표현형들 "인정하다", "받아들이다" 등을 가질 수 있다. 지식 베이스(300)에서 정규 술어 "accept"는 표현형들 "인정하다", "받아들이다" 등과 "label" 술어로서 트리플들을 각각 형성할 수 있다. 전처리부(110)는 술어(PRE)로서 "수락하다"를 입력 데이터(200)로부터 추출할 수 있고, 술어 평가부(120)는 "수락하다"가 기존의 정규 술어들 중 "accept"에 가장 부합하는 것을 나타내는 술어 점수 벡터(SCR)를 지식 베이스 갱신부(130)에 제공할 수 있다. 이에 따라, 지식 베이스 갱신부(130)는 엔티티 "accept"의 URI를 지식 베이스(300)로부터 획득할 수 있고, 획득된 URI 및 "수락하다"를 술어 "label"로 연결함으로써 신규 트리플을 생성하여 지식 베이스(300)에 추가할 수 있다.
도 2b를 참조하면, 지식 베이스(300)는 정규 술어로서 "lift" 및 "eat"를 포함할 수 있다. 전처리부(110)가 술어(PRE)로서 "들다"를 입력 데이터(200)로부터 추출하는 경우, 비록 정규 술어 "lift"의 표현형으로서 "들다"가 이미 존재하지만, 술어 평가부(120)는 술어 "들다"가 엔티티(ENT) 및 컨텍스트(CTX)에 기초하여 음식 등을 먹는다는 의미의 "들다"로서 정규 술어 "eat"에 가장 부합하는 것을 나타내는 술어 점수 벡터(SCR)를 지식 베이스 갱신부(130)에 제공할 수 있다. 이에 따라, 지식 베이스 갱신부(130)는 엔티티 "eat"의 URI를 지식 베이스(300)로부터 획득할 수 있고, 획득된 URI 및 "들다"를 술어 "label"로 연결함으로써 신규 트리플을 생성하여 지식 베이스(300)에 추가할 수 있다.
도 2c를 참조하면, 전처리부(110)는 "팔로잉하다" 또는 "팔로우하다"를 입력 데이터(200)로부터 추출할 수 있다. "팔로우(follow)"는 소셜 네트워크 서비스 등에서 사용되는 용어로서 다른 사용자와 관계를 맺는 의미로 사용될 수 있고, 지식 베이스(300)는 이에 대응하는 정규 술어를 포함하지 아니한 상태일 수 있다. 술어 평가부(120)는 엔티티(ENT) 및 컨텍스트(CTX)에 기초하여 술어(PRE) "팔로잉하다" 또는 "팔로우하다"가 현재 지식 베이스(300)에 포함된 정규 술어들 중 어느 것과도 부합하지 아니함을 나타내는 술어 점수 벡터(SCR)를 지식 베이스 갱신부(130)에 제공할 수 있다. 이에 따라, 지식 베이스 갱신부(130)는 신규 정규 술어로서 "follow1"의 신규 URI를 생성하거나, 지식 베이스(300)에 신규 URI의 생성을 요청할 수 있고, 신규 URI 및 "팔로잉하다" 및 "팔로우하다"를 술어 "label"로 각각 연결함으로써 신규 트리플들을 생성하여 지식 베이스(300)에 추가할 수 있다. 일부 실시예들에서, 지식 베이스 갱신부(130)는 지식 베이스(300)에 포함된 정규 술어들 중 어느 것과도 부합하지 아니함을 나타내는 술어 점수 벡터(SCR)가 술어 평가부(120)로부터 제공되는 경우, 관리자의 큐레이션을 위하여 술어(PRE), 엔티티(ENT) 및 컨텍스트(CTX) 등을 포함하는 정보를 외부로 제공하거나 별도로 기록할 수도 있다.
도 3은 본 발명의 예시적 실시예에 따른 술어 평가부(120)를 나타내는 블록도이다. 도 1을 참조하여 전술된 바와 같이, 술어 평가부(120)는 전처리부(110)로부터 엔티티(ENT), 술어(PRE) 및 컨텍스트(CTX)를 수신할 수 있고, 술어 점수 벡터(SCR)를 출력할 수 있다. 도 3에 도시된 바와 같이, 술어 평가부(120)는 벡터 생성부(121) 및 인공 신경망(ANN)을 포함할 수 있다. 이하에서, 도 3은 도 1을 참조하여 설명될 것이다.
벡터 생성부(121)는 워드 벡터 모델(400)을 참조하여 엔티티(ENT), 술어(PRE) 및 컨텍스트(CTX)에 각각 대응하는 벡터들을 생성할 수 있다. 워드 벡터 모델(400)은, 의미를 가지는 워드(또는 토큰, 단어 등)가 하나의 좌표, 즉 워드 벡터로 표현되는 다차원 공간, 또는 워드 벡터들을 포함하고 워드 벡터들을 갱신하는 시스템을 지칭할 수 있다. 일부 실시예들에서, 워드 벡터 모델(400)은 인공 신경망을 포함할 수 있고, 기계 학습에 의해서 학습될 수도 있다. 의미상 유사한 워드들은 다차원 공간에서 인접하게 배치될 수 있고, 이에 따라 의미상 유사한 워드들에 대응하는 워드 벡터들은 유사한 값들을 가질 수 있다. 일부 실시예들에서, 워드 벡터 모델(400)은 지식 베이스 보강 시스템(100)에 포함될 수도 있고, 술어 평가부(120)는 지식 베이스 보강 시스템(100)의 외부에 있는 워드 벡터 모델(400)에 액세스할 수도 있다. 벡터 생성부(121)의 예시는 도 4를 참조하여 후술될 것이다.
인공 신경망(ANN)이 술어 점수 벡터(SCR)를 적절하게 출력하기 위하여, 인공 신경망(ANN)은 각각 의미를 가지는 엔티티(ENT), 술어(PRE) 및 컨텍스트(CTX)에 대응하는 벡터들을 수신할 수 있다. 예를 들면, 도 3에 도시된 바와 같이, 벡터 생성부(121)는 워드 벡터 모델(400)을 참조하여 엔티티(ENT), 술어(PRE) 및 컨텍스트(CTX)에 각각 대응하는 엔티티 벡터(ENT'), 술어 벡터(PRE') 및 컨텍스트 벡터(CTX')를 출력할 수 있다. 인공 신경망(ANN)은 엔티티 벡터(ENT'), 술어 벡터(PRE') 및 컨텍스트 벡터(CTX')의 샘플들에 기초하여 학습된 상태일 수 있다. 일부 실시예들에서, 인공 신경망(ANN)은 강화 학습에 기초하여 훈련될 수 있다. 도 1을 참조하여 전술된 바와 같이, 인공 신경망(ANN)이 출력하는 술어 점수 벡터(SCR)는 술어(PRE)가 정규 술어들에 매칭하는 경우 어느 정규 술어에 매칭하는지를 나타낼 수 있고, 술어(PRE)가 신규 정규 술어에 대응함을 나타낼 수도 있으며, 신규 정규 술어를 포함하는 어떠한 정규 술어들에도 매칭되지 아니함을 나타낼 수도 있다.
도 4는 본 발명의 예시적 실시예에 따라 벡터 생성부(40)를 나타내는 블록도이다. 도 3을 참조하여 전술된 바와 같이, 벡터 생성부(40)는 엔티티(ENT), 컨텍스트(CTX) 및 술어(PRE)로부터 엔티티 벡터(ENT'), 컨텍스트 벡터(CTX') 및 술어 벡터(PRE')를 생성할 수 있다. 도 4에 도시된 바와 같이, 벡터 생성부(40)는 엔티티 벡터 생성부(41), 컨텍스트 벡터 생성부(42) 및 술어 벡터 생성부(43)를 포함할 수 있고, 이하에서 도 4는 도 3을 참조하여 설명될 것이다.
일부 실시예들에서, 도 3의 워드 벡터 모델(400)은 제1 워드 벡터 모델(410) 및 제2 워드 벡터 모델(420)을 포함할 수 있고, 벡터 생성부(40)는 제1 워드 벡터 모델(410) 및 제2 워드 벡터 모델(420)을 참조할 수 있다. 제1 워드 벡터 모델(410)은 입력 데이터(200)의 텍스트에 포함된 워드에 대응하는 워드 벡터를 제공할 수 있다. 이에 따라, 컨텍스트 벡터 생성부(42) 및 술어 벡터 생성부(43)는 제1 워드 벡터 모델(410)을 참조하여 컨텍스트(CTX) 및 술어(PRE)로부터 컨텍스트 벡터(CTX') 및 술어 벡터(PRE')를 각각 생성할 수 있다. 일부 실시예들에서, 제1 워드 벡터 모델(410)은 표현형을 위한 워드 벡터 모델로서 지칭될 수 있다.
제2 워드 벡터 모델(420)은 지식 베이스(300)에 포함된 엔티티를 나타내는 엔티티 벡터를 제공할 수 있다. 예를 들면, 전술된 예시 "결승전에서 수원과 대구가 맞붙는다"에서, "수원", "대구"는 해당 도시를 의미하기 보다, 도시를 연고로 하는 스포츠 팀들을 의미할 수 있다. 전처리부(110)가 추출한 엔티티들을 지식 베이스(300)에 포함된 엔티티들 중 하나의 엔티티에 대응되도록, 엔티티 벡터 생성부(41)는 제2 워드 벡터 모델(420)을 참조하여 엔티티 벡터(ENT')를 생성할 수 있다. 예를 들면, 엔티티 벡터 생성부(41)는 제1 워드 벡터 모델(410)을 참조하여 엔티티(ENT)에 대응하는 워드 벡터를 획득할 수 있고, 제2 워드 벡터 모델(420)을 참조하여 획득된 워드 벡터 및 컨텍스트 벡터(CTX')로부터 엔티티 벡터(ENT')를 생성할 수 있다. 이에 따라, 엔티티 벡터 생성부(41)는 전술된 예시의 엔티티 "수원", "대구"로부터, "결승전/에서"를 포함하는 컨텍스트(CTX)로부터 생성된 컨텍스트 벡터(CTX')에 기인하여 지식 베이스(300)에 포함된 엔티티들 중 도시를 의미하는 엔티티들이 아니라 스포츠 팀을 나타내는 엔티티들에 대응하는 엔티티 벡터(ENT')를 생성할 수 있다. 일부 실시예들에서, 인공 신경망(ANN)을 학습하는 동안 엔티티 벡터(ENT')는 큐레이션에 의해서 사용자에 의해 직접 제공될 수도 있다. 일부 실시예들에서, 제2 워드 벡터 모델(420)은 엔티티 링킹(linking) 모델로서 지칭될 수 있다.
도 5는 본 발명의 예시적 실시예에 따라 술어 평가부(120)의 동작의 예시를 나타내는 도면이다. 도 3을 참조하여 전술된 바와 같이, 술어 평가부(120)는 엔티티(ENT), 술어(PRE) 및 컨텍스트(CTX)에 각각 대응하는 엔티티 벡터(ENT'), 술어 벡터(PRE') 및 컨텍스트 벡터(CTX')를 수신할 수 있고, 술어 점수 벡터(SCR)를 출력할 수 있다. 이하에서, 도 5는 도 3을 참조하여 설명될 것이다.
일부 실시예들에서, 술어 평가부(120)는 엔티티(ENT) 및 이를 포함하는 컨텍스트(CTX)로 각각 구성된 복수의 벡터 쌍들을 수신할 수 있고, 벡터 생성부(121)는 워드 벡터 모델(400)을 참조하여 복수의 벡터 쌍들과 각각 대응하는 벡터들을 생성할 수 있다. 예를 들면, 도 5에 도시된 바와 같이, 벡터 생성부(121)는 제1 컨텍스트 벡터(CTX1') 및 제1 엔티티 벡터(ENT1')로 구성된 제1 벡터 쌍(PAIR1) 및 제2 컨텍스트 벡터(CTX2') 및 제2 엔티티 벡터(ENT2')로 구성된 제2 벡터 쌍(PAIR2)을 생성할 수 있다. 제1 컨텍스트 벡터(CTX1') 및 제2 컨텍스트 벡터(CTX2')는 술어 벡터(PRE') 또는 술어 벡터(PRE')와 유사한 표현에 대응하는 벡터를 공통적으로 포함할 수 있다.
일부 실시예들에서, 술어 평가부(120)는 제1 인공 신경망(ANN1) 및 제2 인공 신경망(ANN2)을 포함할 수 있다. 도 5에 도시된 바와 같이, 제1 술어 평가부(ANN1)는 제1 벡터 쌍(PAIR1) 및 제2 벡터 쌍(PAIR2)을 수신할 수 있고, 그로부터 시맨틱 벡터(SEM')를 생성할 수 있다. 시맨틱 벡터(SEM')는 컨텍스트들(CTX1, CTX2)에서 엔티티들(ENT1, ENT2) 및 술어(PRE)가 사용되는 의미를 나타낼 수 있고, 2이상의 벡터 쌍들에 기인하여 술어(PRE)와 관련된 2이상의 사용 태양들을 포함하는 의미를 가질 수 있다. 도 5에 도시된 바와 같이, 제2 인공 신경망(ANN2)은 시맨틱 벡터(SEM') 및 술어 벡터(PRE')를 수신할 수 있고, 술어 점수 벡터(SCR)를 출력할 수 있다. 일부 실시예들에서, 도 5에 도시된 바와 상이하게, 하나의 인공 신경망(예컨대, 도 3의 ANN)에 제1 벡터 쌍(PAIR1), 제2 벡터 쌍(PAIR2) 및 술어 벡터(PRE')가 제공될 수도 있다. 일부 실시예들에서, 제1 인공 신경망(ANN1)은 훈련 단계에서 술어 점수 벡터(SCR)로부터 발생된 오차들이 제2 인공 신경망(ANN2)을 통과하여 제1 인공 신경망(ANN1)에 도달함으로써 훈련될 수 있다.
술어 점수 벡터(SCR)는 지식 베이스(300)에 포함된 정규 술어들과의 매칭 정도를 나타내는 제1 벡터(V1) 및 신규 정규 술어에 대응하는 제2 벡터(V2)를 포함할 수 있다. 예를 들면, 도 5에 도시된 바와 같이, 지식 베이스(300)가 n개의 정규 술어들을 포함하는 경우(n은 1보다 큰 정수), 제1 벡터(V1)는 n개의 정규 술어들에 각각 대응하는 n개의 원소들(RP1, RP2, RP3,..., RPn)을 포함할 수 있고, 제2 벡터(V2)는 하나의 원소(Rn+1)를 포함할 수 있다. 술어 점수 벡터(SCR)의 값에 따라 지식 베이스(300)를 갱신하는 동작의 예시가 도 8을 참조하여 후술될 것이다.
도 6은 본 발명의 예시적 실시예에 따라 지식 베이스 보강을 위한 방법을 나타내는 순서도이다. 도 6에 도시된 바와 같이, 지식 베이스 보강을 위한 방법은 복수의 단계들(S20, S40, S60, S80)을 포함할 수 있다. 일부 실시예들에서, 도 6의 방법은 도 1의 지식 베이스 보강 시스템(100)에 의해서 수행될 수 있고, 이하에서 도 6은 도 1을 참조하여 설명될 것이다.
단계 S20에서, 술어(PRE), 엔티티(ENT) 및 컨텍스트(CTX)를 추출하는 동작이 수행될 수 있다. 예를 들면, 전처리부(110)는 입력 데이터(200)에 포함된 텍스트를 자연어 처리할 수 있고, 예컨대 지식 베이스(300)를 참조하여 술어(PRE), 엔티티(ENT) 및 컨텍스트(CTX)를 추출할 수 있다.
단계 S40에서, 술어 점수 벡터(SCR)를 획득하는 동작이 수행될 수 있다. 예를 들면, 술어 평가부(120)는 학습된 인공 신경망(ANN)을 사용하여, 단계 S20에서 추출된 술어(PRE), 엔티티(ENT) 및 컨텍스트(CTX)로부터 술어 점수 벡터(SCR)를 획득할 수 있다. 단계 S40의 예시는 도 7을 참조하여 후술될 것이다.
단계 S60에서, 지식 베이스(300)의 갱신 여부를 판정하는 동작이 수행될 수 있다. 예를 들면, 지식 베이스 갱신부(130)는 술어 점수 벡터(SCR)에 포함된 값들에 기초하여 술어(PRE)를 지식 베이스(300)에 반영할지 여부를 판정할 수 있다. 일부 실시예들에서, 지식 베이스 갱신부(130)는 술어 점수 벡터(SCR)에 포함된 값들 중 최대값에 기초하여 술어(PRE)를 지식 베이스(300)에 반영할지 여부를 판정할 수 있다. 단계 S60의 예시는 도 8을 참조하여 설명될 것이다. 도 6에 도시된 바와 같이, 지식 베이스(300)의 갱신이 판정된 경우 단계 S80이 후속할 수 있는 한편, 그렇지 아니한 경우 도 6의 방법은 종료할 수 있다.
단계 S80에서, 술어(PRE)를 지식 베이스(300)에 추가하는 동작이 수행될 수 있다. 예를 들면, 지식 베이스 갱신부(130)는 도 2a 및 도 2b를 참조하여 전술된 바와 같이, 지식 베이스(300)에 포함된 정규 술어의 표현형으로서 술어(PRE)를 추가할 수도 있고, 도 2c를 참조하여 전술된 바와 같이, 지식 베이스(300)에 포함된 정규 술어들과 상이한 신규 정규 술어를 생성하고 신규 정규 술어의 표현형으로서 술어(PRE)를 추가할 수도 있다. 단계 S80의 예시는 도 8을 참조하여 후술될 것이다.
도 7은 본 발명의 예시적 실시예에 따라 지식 베이스 보강을 위한 방법을 나타내는 순서도이다. 구체적으로, 도 7의 순서도는 도 6의 단계 S40의 예시를 나타낸다. 도 6를 참조하여 전술된 바와 같이, 도 7의 단계 S40'에서 술어 점수 벡터(SCR)를 획득하는 동작이 수행될 수 있다. 도 7에 도시된 바와 같이, 단계 S40'은 단계 S42 및 단계 S44를 포함할 수 있다. 일부 실시예들에서, 단계 S40'은 술어 평가부(120)에 의해서 수행될 수 있고, 이하에서 도 7은 도 3 및 도 5를 참조하여 설명될 것이다.
단계 S42에서, 엔티티(ENT) 및 컨텍스트(CTX)로부터 시맨틱 벡터(SEM')를 획득하는 동작이 수행될 수 있다. 예를 들면, 벡터 생성부(121)는 엔티티(ENT) 및 컨텍스트(CTX)로부터 엔티티 벡터(ENT') 및 컨텍스트 벡터(CTX')를 생성할 수 있다. 엔티티 벡터(ENT') 및 컨텍스트 벡터(CTX')는 제1 인공 신경망(ANN1)에 제공될 수 있고, 제1 인공 신경망(ANN1)은 시맨틱 벡터(SEM')를 출력할 수 있다. 또한, 도 5를 참조하여 전술된 바와 같이, 벡터 생성부(121)는 복수의 엔티티들 및 복수의 컨텍스트들을 수신할 수 있고, 복수의 벡터 쌍들을 생성할 수도 있다. 복수의 벡터 쌍들을 제1 인공 신경망(ANN1)에 제공될 수 있고, 제1 인공 신경망(ANN1)은 시맨틱 벡터(SEM')를 출력할 수 있다.
단계 S44에서, 시맨틱 벡터(SEM') 및 술어(PRE)로부터 술어 점수 벡터(SCR)를 획득하는 동작이 수행될 수 있다. 예를 들면, 벡터 생성부(121)는 술어(PRE)로부터 술어 벡터(PRE')를 생성할 수 있다. 제2 인공 신경망(ANN2)은 시맨틱 벡터(SEM') 및 술어 벡터(PRE')를 수신할 수 있고, 술어 점수 벡터(SCR)를 출력할 수 있다.
도 8은 본 발명의 예시적 실시예에 따른 지식 베이스 보강을 위한 방법을 나타내는 순서도이다. 구체적으로, 도 8의 순서도는 도 6의 단계 S60 및 단계 S80의 예시들을 나타낸다. 도 6를 참조하여 전술된 바와 같이, 도 8의 단계 S60'에서 지식 베이스(300)의 갱신 여부가 판정될 수 있고, 단계 S80'에서 술어(PRE)를 지식 베이스(300)에 추가하는 동작이 수행될 수 있다. 도 8에 도시된 바와 같이, 단계 S60'은 단계 S62 및 단계 S64를 포함할 수 있고, 단계 S80'은 단계 S82, 단계 S84 및 단계 S86을 포함할 수 있다. 일부 실시예들에서, 도 8의 방법은 도 1의 지식 베이스 갱신부(130)에 의해서 수행될 수 있고, 이하에서 도 8은 도 1 및 도 5를 참조하여 설명될 것이다.
단계 S62에서, 술어 점수 벡터(SCR)에 포함된 원소들 중 최대값을 검출하는 동작이 수행될 수 있다. 예를 들면, 도 5를 참조하여 전술된 바와 같이, 술어 점수 벡터(SCR)는 n+1개의 원소들(RP1,..., RPn+1)을 포함할 수 있고, 지식 베이스 갱신부(130)는 n+1개의 원소들(RP1,..., RPn+1) 중 최대값 RPk를 검출할 수 있다(1≤k≤n+1). 일부 실시예들에서, 지식 베이스 갱신부(130)는 가장 큰 값(제1 최대값으로 지칭될 수 있다)뿐만 아니라 두 번째로 큰 값(제2 최대값으로 지칭될 수 있다)을 더 검출할 수도 있다.
단계 S64에서, 술어 점수 벡터(SCR)의 원소들 중 최대값을 미리 정의된 기준과 비교하는 동작이 수행될 수 있다. 예를 들면, 도 8에 도시된 바와 같이, 지식 베이스 갱신부(130)는 단계 S62에서 검출된 최대값 RPk를 문턱값(THR)과 비교할 수 있다. 도 8에 도시된 바와 같이, 최대값 RPk가 문턱값(THR) 이상인 경우, 즉 술어(PRE)가 특정 정규 술어 또는 신규 정규 술어와의 매칭 정도가 높은 경우, 단계 S80'의 단계 S82가 후속할 수 있다. 다른 한편으로, 최대값 RPk가 문턱값(THR) 미만인 경우, 즉 술어(PRE)가 지식 베이스(300)에 포함된 n개의 정규 술어들 중 어느 것과도 현저하게 매칭되지 아니하고 신규 정규 술어와도 현저하게 매칭되지 아니하는 경우, 단계 S80'이 수행되지 아니할 수 있다. 일부 실시예들에서, 도 8에 도시된 바와 상이하게, 지식 베이스 갱신부(130)는 단계 S62에서 검출된 제1 최대값 및 제2 최대값의 차이를 미리 정의된 기준과 비교하는 동작이 수행될 수 있다. 이에 따라, 제1 최대값 및 제2 최대값이 미리 정의된 기준을 초과하는 경우 단계 S80'이 후속하여 수행될 수 있는 한편, 그렇지 아니한 경우 단계 S80'이 수행되지 아니할 수 있다.
단계 S82에서, 검출된 최대값이 술어 점수 벡터(SCR)의 제1 벡터(V1)에 속하는지 여부를 판정하는 동작이 수행될 수 있다. 예를 들면, 지식 베이스 갱신부(130)는 최대값 RPk에 대응하는 인덱스 k가 1이상 n이하인지 여부를 체크할 수 있다. 도 8에 도시된 바와 같이, 최대값 RPk가 제1 벡터(V1)에 속하는 경우, 즉 술어(PRE)가 지식 베이스(300)의 정규 술어들 중 하나(즉, RPk에 대응하는 정규 술어)에 대응하는 경우, 단계 S84가 후속하여 수행될 수 있다. 다른 한편으로, 최대값 RPk가 제1 벡터(V1)에 속하지 아니하는 경우(또는 최대값 RPk가 제2 벡터(V2)에 속하는 경우), 즉 술어(PRE)가 신규 정규 술어에 대응하는 경우, 단계 S86에 후속하여 수행될 수 있다.
단계 S84에서, 술어(PRE)를 제k 정규 술어의 표현형에 추가하는 동작이 수행될 수 있다. 예를 들면, 지식 베이스 갱신부(130)는 n개의 정규 술어들 중 최대값 RPk에 대응하는 제k 정규 술어의 표현형에 술어(PRE)를 추가할 수 있다. 이에 따라, 술어 "label"로 연결된 제k 정규 술어 및 술어(PRE)를 포함하는 트리플이 지식 베이스(300)에 추가될 수 있다.
다른 한편으로, 단계 S86에서, 술어(PRE)를 제n+1 정규 술어로 추가하는 동작이 수행될 수 있다. 예를 들면, 지식 베이스 갱신부(130)는 신규 정규 술어로서 기존 n개의 정규 술어들과 상이한 제n+1 정규 술어로서 술어(PRE)를 추가할 수 있다. 이에 따라, 제n+1 정규 술어에 대응하는 엔티티의 URI가 생성될 수 있고, 술어 "label"로 연결된 해당 엔티티 및 술어(PRE)를 포함하는 트리플이 지식 베이스(300)에 추가될 수 있다.
일부 실시예들에서, 지식 베이스 갱신부(130)는, 도 8에 도시된 바와 상이하게, 복수의 문턱값들을 사용하여 지식 베이스(300)의 갱신 여부 및 갱신 방식을 판정할 수도 있다. 예를 들면, 지식 베이스 갱신부(130)는 기존 정규 술어들 중 하나의 표현형으로 추가할지 여부를 판정할 때 사용하는 문턱값, 즉 제1 벡터(V1)에 포함된 원소들이 비교되는 문턱값 및 신규 정규 술어로서 추가할지 여부를 판정할 때 사용하는 문턱값, 즉 제2 벡터(V2)에 포함된 원소가 비교되는 문턱값을 상이하게 설정할 수 있다. 또한, 일부 실시예들에서, 지식 베이스 갱신부(130)는 술어 점수 벡터(SCR)의 원소들의 최대값뿐만 아니라 통계적 특성, 예컨대 평균, 분산 등을 산출할 수 있고, 산출된 값들을 적어도 하나의 문턱값과 비교하여 갱신 여부 및 갱신 방식을 판정할 수도 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들이 설명되었으나, 이는 단지 본 발명의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 정규 술어들을 포함하는 지식 베이스의 지식 데이터를 보강하기 위한 시스템으로서,
    입력 데이터로부터 술어(predicate)를 추출하도록 구성된 술어 추출부;
    상기 입력 데이터로부터 엔티티를 추출하도록 구성된 엔티티 추출부;
    상기 입력 데이터로부터 상기 술어를 포함하는 상기 엔티티의 컨텍스트를 추출하도록 구성된 컨텍스트 추출부;
    학습된 인공 신경망에 기초하여, 상기 술어, 상기 엔티티 및 상기 컨텍스트로부터 술어 점수 벡터를 획득하도록 구성된 술어 평가부; 및
    상기 술어 점수 벡터에 기초하여, 정규 술어의 표현형에 상기 술어의 추가, 신규 정규 술어로서 상기 술어를 상기 지식 베이스에 추가 및 상기 술어에 기초한 상기 지식 베이스의 갱신 종료 중 하나를 판정하고, 판정 결과에 따라 상기 술어에 기초하여 상기 지식 베이스를 갱신하도록 구성된 지식 베이스 갱신부를 포함하는 시스템.
  2. 청구항 1에 있어서,
    상기 술어 평가부는, 상기 입력 데이터로부터 추출된 복수의 엔티티들 및 상기 복수의 엔티티들에 각각 대응하고 상기 술어를 포함하는 복수의 컨텍스트들로부터 상기 술어 점수 벡터를 획득하도록 구성된 것을 특징으로 하는 시스템.
  3. 청구항 1에 있어서,
    상기 술어 평가부는, 워드 벡터 모델을 참조하여 상기 술어, 상기 엔티티 및 상기 컨텍스트에 대응하는 벡터들을 획득하고, 획득된 벡터들을 상기 인공 신경망에 제공하도록 구성된 것을 특징으로 하는 시스템.
  4. 청구항 1에 있어서,
    상기 술어 평가부는,
    엔티티 벡터 및 컨텍스트 벡터의 샘플들에 기초하여 학습된 제1 인공 신경망으로부터, 상기 엔티티 및 상기 컨텍스트에 대응하는 시맨틱(semantic) 벡터를 획득하고,
    술어 벡터 및 시맨틱 벡터의 샘플들에 기초하여 학습된 제2 인공 신경망으로부터, 상기 시맨틱 벡터 및 상기 술어에 대응하는 상기 술어 점수 벡터를 획득하도록 구성된 것을 특징으로 하는 시스템.
  5. 청구항 1에 있어서,
    상기 술어 점수 벡터는,
    상기 술어와 상기 정규 술어들 사이 매칭 정도를 나타내는 제1 벡터; 및
    상기 술어의 신규 생성 가능성을 나타내는 제2 벡터를 포함하는 것을 특징으로 하는 시스템.
  6. 청구항 5에 있어서,
    상기 지식 베이스 갱신부는, 상기 술어 점수 벡터에 포함된 값들 중 최대값이 미리 정의된 기준치 이상이고 상기 제1 벡터에 포함된 경우, 상기 최대값에 대응하는 정규 술어의 표현형에 상기 술어를 추가하도록 구성된 것을 특징으로 하는 시스템.
  7. 청구항 5에 있어서,
    상기 지식 베이스 갱신부는, 상기 술어 점수 벡터에 포함된 값들 중 최대값이 미리 정의된 기준치 이상이고 상기 제2 벡터에 포함된 경우, 상기 술어를 신규 정규 술어로서 상기 지식 베이스에 추가하도록 구성된 것을 특징으로 하는 시스템.
  8. 청구항 5에 있어서,
    상기 지식 베이스 갱신부는, 상기 술어 점수 벡터에 포함된 값들 중 최대값이 미리 정의된 기준치 미만인 경우, 상기 술어에 기초한 지식 베이스의 갱신을 종료하는 것을 특징으로 하는 시스템.
  9. 정규 술어들을 포함하는 지식 베이스의 지식 데이터를 보강하기 위한 방법으로서,
    입력 데이터로부터, 술어, 엔티티 및 상기 술어를 포함하는 상기 엔티티의 컨텍스트를 추출하는 단계;
    학습된 인공 신경망에 기초하여, 상기 술어, 상기 엔티티 및 상기 컨텍스트로부터 술어 점수 벡터를 획득하는 단계;
    상기 술어 점수 벡터에 기초하여, 정규 술어의 표현형에 상기 술어의 추가, 신규 정규 술어로서 상기 술어를 상기 지식 베이스에 추가 및 상기 술어에 기초한 상기 지식 베이스의 갱신 종료 중 하나를 판정하는 단계; 및
    판정 결과에 따라, 상기 술어에 기초하여 상기 지식 베이스를 갱신하는 단계를 포함하고,
    상기 술어 점수 벡터는,
    상기 술어와 상기 지식 베이스에 포함된 정규 술어들 사이 매칭 정도를 나타내는 제1 벡터; 및
    상기 술어의 신규 생성 가능성을 나타내는 제2 벡터를 포함하는 것을 특징으로 하는 방법.
  10. 청구항 9에 있어서,
    상기 술어 점수 벡터를 획득하는 단계는,
    엔티티 벡터 및 컨텍스트 벡터의 샘플들에 기초하여 학습된 제1 인공 신경망으로부터, 상기 엔티티 및 상기 컨텍스트에 대응하는 시맨틱(semantic) 벡터를 획득하는 단계; 및
    술어 벡터 및 시맨틱 벡터의 샘플들에 기초하여 학습된 제2 인공 신경망으로부터, 상기 시맨틱 벡터 및 상기 술어에 대응하는 상기 술어 점수 벡터를 획득하는 단계를 포함하는 것을 특징으로 하는 방법.
KR1020190114967A 2019-09-18 2019-09-18 지식 베이스 보강을 위한 시스템 및 방법 KR102324196B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190114967A KR102324196B1 (ko) 2019-09-18 2019-09-18 지식 베이스 보강을 위한 시스템 및 방법
PCT/KR2019/013640 WO2021054512A1 (ko) 2019-09-18 2019-10-17 지식 베이스 보강을 위한 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190114967A KR102324196B1 (ko) 2019-09-18 2019-09-18 지식 베이스 보강을 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210033345A KR20210033345A (ko) 2021-03-26
KR102324196B1 true KR102324196B1 (ko) 2021-11-11

Family

ID=74883198

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190114967A KR102324196B1 (ko) 2019-09-18 2019-09-18 지식 베이스 보강을 위한 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102324196B1 (ko)
WO (1) WO2021054512A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128689A (zh) * 2021-04-27 2021-07-16 中国电力科学研究院有限公司 一种调控知识图谱的实体关系路径推理方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6766316B2 (en) * 2001-01-18 2004-07-20 Science Applications International Corporation Method and system of ranking and clustering for document indexing and retrieval
KR100963623B1 (ko) * 2008-04-23 2010-06-15 재단법인서울대학교산학협력재단 시맨틱 웹 자원의 랭킹처리방법
US9569724B2 (en) * 2010-09-24 2017-02-14 International Business Machines Corporation Using ontological information in open domain type coercion
KR101662433B1 (ko) * 2015-03-09 2016-10-05 포항공과대학교 산학협력단 개방형 정보 추출을 이용한 지식베이스 확장 방법 및 장치
KR101768852B1 (ko) * 2016-01-26 2017-08-17 경북대학교 산학협력단 트리플 데이터의 생성 방법 및 시스템

Also Published As

Publication number Publication date
WO2021054512A1 (ko) 2021-03-25
KR20210033345A (ko) 2021-03-26

Similar Documents

Publication Publication Date Title
US11250033B2 (en) Methods, systems, and computer program product for implementing real-time classification and recommendations
US10705796B1 (en) Methods, systems, and computer program product for implementing real-time or near real-time classification of digital data
White et al. Toward deep learning software repositories
Chang et al. Structured learning with constrained conditional models
Fu et al. WASTK: A weighted abstract syntax tree kernel method for source code plagiarism detection
US10467122B1 (en) Methods, systems, and computer program product for capturing and classification of real-time data and performing post-classification tasks
US10545999B2 (en) Building features and indexing for knowledge-based matching
Heule et al. Software model synthesis using satisfiability solvers
Wang et al. A unified approach to matching semantic data on the Web
KR102292040B1 (ko) 기계 독해 기반 지식 추출을 위한 시스템 및 방법
US20220245353A1 (en) System and method for entity labeling in a natural language understanding (nlu) framework
Anam et al. Adapting a knowledge-based schema matching system for ontology mapping
US20220245361A1 (en) System and method for managing and optimizing lookup source templates in a natural language understanding (nlu) framework
Pan et al. Entity enabled relation linking
US20240184829A1 (en) Methods and systems for controlled modeling and optimization of a natural language database interface
KR102324196B1 (ko) 지식 베이스 보강을 위한 시스템 및 방법
CN116974554A (zh) 代码数据处理方法、装置、计算机设备和存储介质
CN107463845B (zh) 一种sql注入攻击的检测方法、系统和计算机处理设备
US20220229986A1 (en) System and method for compiling and using taxonomy lookup sources in a natural language understanding (nlu) framework
Wang et al. Know What I don't Know: Handling Ambiguous and Unanswerable Questions for Text-to-SQL
US20220245352A1 (en) Ensemble scoring system for a natural language understanding (nlu) framework
Meng [Retracted] An Intelligent Code Search Approach Using Hybrid Encoders
KR102130779B1 (ko) 기계 독해를 위한 문서를 제공하는 시스템 및 이를 포함하는 질의 응답 시스템
Yang Variable weight semantic graph‐based ontology mapping method
Du et al. A new matchmaking approach based on abductive conjunctive query answering

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right