KR102514434B1 - 지식 표현 학습 방법, 장치, 전자 기기, 저장 매체 및 프로그램 - Google Patents

지식 표현 학습 방법, 장치, 전자 기기, 저장 매체 및 프로그램 Download PDF

Info

Publication number
KR102514434B1
KR102514434B1 KR1020210032500A KR20210032500A KR102514434B1 KR 102514434 B1 KR102514434 B1 KR 102514434B1 KR 1020210032500 A KR1020210032500 A KR 1020210032500A KR 20210032500 A KR20210032500 A KR 20210032500A KR 102514434 B1 KR102514434 B1 KR 102514434B1
Authority
KR
South Korea
Prior art keywords
text
knowledge
sequenced
character
ranked
Prior art date
Application number
KR1020210032500A
Other languages
English (en)
Other versions
KR20210035785A (ko
Inventor
차오 팡
슈오후안 왕
위 선
후아 우
하이펭 왕
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210035785A publication Critical patent/KR20210035785A/ko
Application granted granted Critical
Publication of KR102514434B1 publication Critical patent/KR102514434B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/137—Hierarchical processing, e.g. outlines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 출원의 실시예는 지식 표현 학습 방법, 장치, 전자 기기, 저장 매체 및 프로그램을 개시하는바, 자연어 처리, 심층학습, 지식그래프 기술분야에 관한 것이다. 당해 방법의 일 구체적인 실시방식은, 지식베이스로부터 지식그래프 서브그래프를 샘플링하는 단계; 지식그래프 서브그래프를 서열화하여 서열화 텍스트를 얻는 단계; 및 사전훈련된 언어 모델을 사용하여 지식그래프 서브그래프에서의 순서에 따라 서열화 텍스트를 판독하여 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻는 단계를 포함한다. 당해 실시 방식에서의 지식 표현 학습은 지식베이스에서의 엔티티와 관계 표현 학습에 대한 것으로, 저차원 공간에서, 엔티티와 관계의 시맨틱 연관을 효율적으로 계산하고, 데이터 희소 문제를 효과적으로 해결하고, 지식을 취득하며 융합하고 추론하는 성능이 현저히 향상하도록 할 수 있다. 사전훈련된 언어 모델의 막강한 지식 취득 능력과 컨텍스트 분석 능력을 이용하여 사전훈련된 언어 모델에 학습된 지식 표현이 지식베이스에서의 복잡한 관계를 더 잘 표시할 수 있도록 한다.

Description

지식 표현 학습 방법, 장치, 전자 기기, 저장 매체 및 프로그램{METHOD AND APPARATUS FOR LEARNING KNOWLEDGE REPRESENTATION, DEVICE, STORAGE MEDIUM AND PROGRAM}
본 출원의 실시예는 컴퓨터 기술분야에 관한 것으로, 구체적으로 자연어 처리, 심층학습, 지식그래프 기술분야에 관한 것이고, 특히, 지식 표현 학습 방법, 장치, 전자 기기, 저장 매체 및 프로그램에 관한 것이다.
지식베이스는 상관 데이터를 순서 있게 저장하는 데이터베이스를 가리킬 수 있다. 통상적으로, 지식베이스는 네트워크 형식으로 표시될 수 있고, 노드는 엔티티를 대표하고, 간선은 엔티티 간의 관계를 대표한다. 네트워크 형식으로 표시하면, 통상적으로는, 지식베이스에 대해 계산하고 저장하고 이용하고자, 전문적인 지식그래프를 디자인하는 것이 필요하다. 지식그래프를 디자인하는 것은 시간과 정력이 소모되는 단점이 있을 뿐만아니라 데이터 희소 문제에 따른 고충을 받기도 한다. 따라서, 심층학습을 대표로 하는 표현 학습 기술이 광범위하게 주목받고 있다. 표현 학습은 연구 대상의 시맨틱 정보를 밀집한 저차원 실수값 벡터로 레이블링하기 위한 것이다.
현재, 단어 벡터 공간에 존재하는 평행이동 불변의 현상으로부터 힌트를 받아 제기된 TransE 모델은, 지식베이스에서의 관계를 엔티티 간의 일종의 평행이동 벡터로 간주한다. 각 트리플(h, r, t)에 대하여, TransE 모델은 관계r의 벡터lr를, 헤드 엔티티 벡터lh와 테일 엔티티 벡터lt 간의 평행이동으로 한다. TransE 모델은 lh+lr
Figure 112021029280233-pat00001
lt을 통해 관계와 엔티티의 효과적인 표현을 얻는다.
본 출원의 실시예는 지식 표현 학습 방법, 장치, 전자 기기, 저장 매체 및 프로그램을 제공한다.
첫 번째 측면으로, 본 출원의 실시예는 지식 표현 학습 방법을 제공하는바, 지식베이스로부터 지식그래프 서브그래프를 샘플링하는 단계; 지식그래프 서브그래프를 서열화하여 서열화 텍스트를 얻는 단계; 및 사전훈련된 언어 모델을 사용하여 지식그래프 서브그래프에서의 순서에 따라 서열화 텍스트를 판독하여 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻는 단계를 포함한다.
두 번째 측면으로, 본 출원의 실시예는 지식 표현 학습 장치를 제공하는바, 지식베이스로부터 지식그래프 서브그래프를 샘플링하도록 구성되는 샘플링 모듈; 지식그래프 서브그래프를 서열화하여 서열화 텍스트를 얻도록 구성되는 서열화 모듈; 및 사전훈련된 언어 모델을 사용하여 지식그래프 서브그래프에서의 순서에 따라 서열화 텍스트를 판독하여 서열화 텍스트 중의 각 글자의 지식 표현을 학습하도록 구성되는 학습 모듈을 포함한다.
세 번째 측면으로, 본 출원의 실시예는 전자 기기를 제공하는바, 적어도 하나의 프로세서; 및 적어도 하나의 프로세서에 통신적으로 연결되는 메모리를 포함하고, 메모리에는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있고, 명령은 적어도 하나의 프로세서에 의해 실행됨으로써 적어도 하나의 프로세서가 첫 번째 측면에서의 어느 한 구현방식에 따른 방법을 수행 가능하도록 한다.
네 번째 측면으로, 본 출원의 실시예는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체를 제공하는바, 컴퓨터 명령은 컴퓨터가 첫 번째 측면에서의 어느 한 구현방식에 따른 방법을 수행하도록 한다.
다섯 번째 측면으로, 본 출원의 실시예는 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램이 제공되는바, 상술한 프로그램이 프로세서에 의해 실행되는 경우, 첫 번째 측면에서의 어느 한 구현방식에 따른 방법이 수행된다.
본 출원의 실시예에 의해 제공되는 지식 표현 학습 방법, 장치, 전자 기기, 저장 매체 및 프로그램은, 우선, 지식베이스로부터 지식그래프 서브그래프를 샘플링하고; 다음, 지식그래프 서브그래프를 서열화하여 서열화 텍스트를 얻고; 마지막으로, 사전훈련된 언어 모델을 사용하여 지식그래프 서브그래프에서의 순서에 따라 서열화 텍스트를 판독하여 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻는다. 지식 표현 학습은 지식베이스에서의 엔티티와 관계 표현 학습에 대한 것으로, 저차원 공간에서, 엔티티와 관계의 시맨틱 연관을 효율적으로 계산하고, 데이터 희소 문제를 효과적으로 해결하고, 지식을 취득하며 융합하고 추론하는 성능이 현저히 향상하도록 할 수 있다. 그리고, 사전훈련된 언어 모델의 막강한 지식 취득 능력과 컨텍스트 분석 능력을 이용하여 사전훈련된 언어 모델에 학습된 지식 표현이 지식베이스에서의 복잡한 관계를 더 잘 표시할 수 있도록 한다.
본 부분에서 서술하는 내용은 본 개시의 실시예의 핵심적인 또는 중요한 특징을 표기하고자 하는 것이 아니고 본 개시의 범위를 한정하기 위한 것도 아님을 이해하여야 한다. 본 개시의 다른 특징은 하기의 발명의 상세한 내용에 의해 이해하기 수월해질 것이다.
하기 첨부 도면을 참조한 비한정적 실시예에 대한 상세한 서술을 읽어보면, 본 출원의 다른 특징, 목적 및 이점은 더 뚜렷해질 것이다. 첨부 도면은 본 방안을 더 잘 이해하기 위한 것으로, 본 출원을 한정하지 않는다.
도 1은 본 출원이 응용될 수 있는 예시적인 시스템 아키텍처이다.
도 2는 본 출원에 따른 지식 표현 학습 방법의 일 실시예의 흐름도이다.
도 3은 본 출원에 따른 지식 표현 학습 방법의 다른 실시예의 흐름도이다.
도 4는 지식그래프 서브그래프의 일 개략도이다.
도 5는 마스크 행렬의 일 개략도이다.
도 6은 본 출원에 따른 지식 표현 학습 장치의 일 실시예의 구조 개략도이다.
도 7은 본 출원의 실시예의 지식 표현 학습 방법을 구현하는 전자 기기의 블록도이다.
아래 첨부 도면을 결부하여 본 출원의 시범적 실시예를 설명하고자 하는데, 여기서는 이해를 돕고자 본 출원의 실시예의 다양한 세부사항을 포함하나 이를 단지 시범적인 것으로 간주하여야 한다. 따라서, 당업자라면, 여기서 서술한 실시예는 본 출원의 범위 및 사상에 위배되지 않으면서 다양한 변경 및 수정이 가능하다는 것을 인지하여야 한다. 마찬가지로, 명확함과 간결함을 위해, 아래 서술에서는 공지된 기능 및 구조에 대한 서술을 생략하기로 한다.
부연하면, 상충되지 않은 한, 본 출원의 실시예 및 실시예의 특징은 상호 조합될 수 있다. 아래 첨부도면을 참조하면서 실시예를 결부하여 본 출원을 상세히 설명하고자 한다.
도 1은 본 출원의 지식 표현 학습 방법 또는 지식 표현 학습 장치의 실시예가 응용될 수 있는 예시적인 시스템 아키텍처(100)를 도시한다.
도 1에 도시한 바와 같이, 시스템 아키텍처(100)는 데이터베이스(101), 네트워크(102) 및 서버(103)를 포함할 수 있다. 네트워크(102)는 데이터베이스(101)와 서버(103) 사이에서 통신 링크를 제공하는 매체로서 사용된다. 네트워크(102)는 다양한 연결 유형을 포함할 수 있는바, 예를 들면 유선, 무선 통신 링크 또는 광섬유 케이블 등일 수 있다.
데이터베이스(101)는 지식베이스를 저장한다.
서버(103)는 다양한 서비스를 제공한다. 예를 들면, 서버(103)는 데이터베이스(101)에 의해 취득된 지식베이스 등의 데이터에 대해 분석 등의 처리를 수행하여 처리 결과(예를 들면 지식 표현)를 생성할 수 있다.
부연하면, 서버(103)는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 서버(103)가 하드웨어인 경우에는 복수의 서버로 구성되는 분산 서버 클러스터로 구현될 수도 있고 단일 서버로 구현될 수도 있다. 서버(103)가 소프트웨어인 경우에는 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들면 분산 서비스를 제공하는)로 구현될 수도 있고 단일 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 여기서는 구체적으로 한정하지 않는다.
부연하면, 본 출원의 실시예에 의해 제공되는 지식 표현 학습 방법은 일반적으로 서버(103)에 의해 수행되고, 상응하게, 지식 표현 학습 장치는 일반적으로 서버(103)에 설치된다.
도 1에서의 데이터베이스, 네트워크 및 서버의 수량은 단지 예시적인 것임을 이해하여야 한다. 구현의 필요에 따라, 임의 수량의 데이터베이스, 네트워크 및 서버를 가질 수 있다. 서버(103)에 지식베이스가 저장되어 있는 경우, 시스템 아키텍처(100)는 데이터베이스(101)와 네트워크(102)를 설치하지 않을 수 있다.
계속하여 도 2를 참조하면, 이는 본 출원에 따른 지식 표현 학습 방법의 일 실시예의 흐름(200)을 도시한다. 당해 지식 표현 학습 방법은 하기 단계를 포함한다.
단계(201)에서, 지식베이스로부터 지식그래프 서브그래프를 샘플링한다.
본 실시예에서, 지식 표현 학습 방법의 수행 주체(예를 들면 도 1에 도시한 서버(103))는 지식베이스로부터 대량의 지식그래프 서브그래프를 샘플링할 수 있다.
여기서, 지식베이스는 상관 데이터를 순서 있게 저장하는 데이터베이스를 가리킬 수 있다. 통상적으로, 지식베이스는 네트워크 형식으로 나타낼 수 있고, 노드는 엔티티를 대표하고, 간선은 엔티티 간의 관계를 대표한다. 대규모 지식베이스는 지식그래프로 칭할 수도 있는바, 그 기본 구성으로는 트리플이고, 주체와 객체, 2개의 엔티티, 및 2개의 엔티티 간의 관계를 포함한다.
통상적으로, 상술한 수행 주체는 일정한 샘플링 전략에 따라 지식베이스로부터 지식그래프 서브그래프를 샘플링할 수 있다. 구체적으로, 상술한 수행 주체는 지식베이스로부터 서로 간에 관계가 있는 일부 노드를 샘플링할 수 있는데, 이러한 노드가 대표하는 엔티티와 이들의 서로 간의 관계는 지식그래프 서브그래프를 구성할 수 있다.
단계(202)에서, 지식그래프 서브그래프를 서열화하여 서열화 텍스트를 얻는다.
본 실시예에서, 상술한 수행 주체는 지식그래프 서브그래프를 서열화하여 서열화 텍스트를 얻을 수 있다. 여기서, 서열화 텍스트는 지식그래프 서브그래프에서의 엔티티와 관계를 일정한 순서에 따라 전략적으로 조합하여 구성할 수 있다.
단계(203)에서, 사전훈련된 언어 모델을 사용하여 지식그래프 서브그래프에서의 순서에 따라 서열화 텍스트를 판독하여 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻는다.
본 실시예에서, 상술한 수행 주체는 사전훈련된 언어 모델을 사용하여 지식그래프 서브그래프에서의 순서에 따라 서열화 텍스트를 판독하여 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻을 수 있다.
여기서, 사전훈련된 언어 모델의 훈련 과정은 사전훈련(Pre-training) 단계와 미세조정(Fine-tuning) 단계를 포함할 수 있다. 여기서, 사전훈련 단계에서는, 대량의 비지도 코퍼스를 사용하여 사전훈련된 언어 모델의 훈련을 수행한다. 미세조정 단계에서는, 소량의 레이블링된 코퍼스를 사용하여 미세조정함으로써 구체적인 NLP(Natural Language Processing, 자연어 처리) 태스크를 완성한다. 여기서, 서열화 텍스트를 이용하여 사전훈련된 언어 모델을 훈련하는 것은 사전훈련 단계에 속한다.
NLP분야에서, 사전훈련된 언어 모델은 여러 NLP 태스크에서 모두 극히 우수한 효과를 나타낸다. 이 외에도, 사전훈련된 언어 모델은 독해 태스크, 정보 인출 태스크 등의 현실 세계에 관한 서술 및 지식 추론을 필요로 하는 많은 태스크에서도 매우 양호한바, 이는, 사전훈련 모델이 보다 양호한 지식 취득 능력을 가지며 지식 표현을 더 잘 학습할 수 있다는 것을 말해준다. 대안으로, 사전훈련된 언어 모델은 트랜스포머에 기반하는 양방향 인코더(Bidirectional Encoder Representation from Transformers, BERT)일 수 있다. BERT는 심층 양방향 표현 사전훈련 모델로서, 텍스트의 시맨틱 정보를 더욱 심층적이게 추출할 수 있다.
사전훈련된 언어 모델은 지식그래프 서브그래프에서의 순서에 따라 서열화 텍스트를 판독하여 서열화 텍스트 중의 각 글자의 컨텍스트 관계를 결정할 수 있는바, 학습된 각 글자의 지식 표현에 모두 그 컨텍스트 정보가 결합되도록 할 수 있고, 지식베이스에서의 복잡한 관계를 더 잘 표현할 수 있다. 사전훈련된 언어 모델이 지식그래프 서브그래프에서의 순서에 따라 서열화 텍스트를 판독할 수 있도록 하기 위해, 상술한 수행 주체는 서열화 텍스트 및 지식그래프 서브그래프에 기반하여 서열화 텍스트에 대응되는 마스크(MASK) 행렬을 생성할 수 있다. 여기서, 서열화 텍스트에 대응되는 마스크 행렬은 서열화 텍스트 중의 각 글자(Token)가 당해 서열화 텍스트로부터 글자를 취득할 수 있는 상황을 표현할 수 있다. 이 외에도, 지식그래프 서브그래프에 포함되는 구조 정보를 나아가 표현하기 위해, 상술한 수행 주체는 또한 서열화 텍스트 및 지식그래프 서브그래프에 기반하여 서열화 텍스트에 대응되는 계층적 코드를 생성할 수 있다. 여기서, 서열화 텍스트에 대응되는 계층적 코드는 서열화 텍스트 중의 각 글자의, 지식그래프 서브그래프에서의 계층적 순서를 표현할 수 있다. 사전훈련된 언어 모델이 서열화 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 서열화 텍스트를 판독하는 경우, 지식그래프 서브그래프에서의 순서에 따라 서열화 텍스트를 판독하는 것을 구현할 수 있는바, 이로써 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻을 수 있다.
본 출원의 실시예에 의해 제공되는 지식 표현 학습 방법은, 우선, 지식베이스로부터 지식그래프 서브그래프를 샘플링하고; 다음, 지식그래프 서브그래프를 서열화하여 서열화 텍스트를 얻고; 마지막으로, 사전훈련된 언어 모델을 사용하여 지식그래프 서브그래프에서의 순서에 따라 서열화 텍스트를 판독하여 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻는다. 지식 표현 학습은 지식베이스에서의 엔티티와 관계 표현 학습에 대한 것으로, 저차원 공간에서, 엔티티와 관계의 시맨틱 연관을 효율적으로 계산하고, 데이터 희소 문제를 효과적으로 해결하고, 지식을 취득하며 융합하고 추론하는 성능이 현저히 향상하도록 할 수 있다. 그리고, 사전훈련된 언어 모델의 막강한 지식 취득 능력과 컨텍스트 분석 능력을 이용하여 사전훈련된 언어 모델에 학습된 지식 표현이 지식베이스에서의 복잡한 관계를 더 잘 표시할 수 있도록 한다.
나아가 도 3을 참조하면, 이는 본 출원에 따른 지식 표현 학습 방법의 다른 실시예의 흐름(300)을 도시한다. 당해 지식 표현 학습 방법은 하기 단계를 포함한다.
단계(301)에서, 사전설정된 샘플링 비율에 따라 지식베이스로부터 노드를 샘플링한다.
본 실시예에서, 지식 표현 학습 방법의 수행 주체(예를 들면 도 1에 도시한 서버(103))는 사전설정된 샘플링 비율에 따라 지식베이스로부터 노드를 샘플링할 수 있다. 여기서, 샘플링 방식은 무작위 샘플링을 포함할 수 있으나 이에 한정되지 않는다. 샘플링 비율은 수요에 따라 사전설정될 수 있는바, 예를 들면 0.2이다.
단계(302)에서, 노드를 기점으로 하고, 사전설정된 샘플링 확률에 따라 자식 노드를 선택하여 사전설정된 샘플링 깊이에 달할 때까지 연속적으로 보행하여 지식그래프 서브그래프를 얻는다.
본 실시예에서, 샘플링된 각 노드에 대해, 상술한 수행 주체는 당해 노드를 기점으로 하고, 사전설정된 샘플링 확률에 따라 당해 노드한테 자식 노드를 선택해주고 사전설정된 샘플링 깊이에 달할 때까지 연속 보행할 수 있는바, 당해 노드에 대응되는 지식그래프 서브그래프를 얻을 수 있다. 여기서, 보행 방식은 무작위 보행을 포함할 수 있으나 이에 한정되지 않는다. 샘플링 확률과 샘플링 깊이는 수요에 따라 사전설정될 수 있는바, 샘플링 확률은 예를 들면 0.5일 수 있고 샘플링 깊이는 예를 들면 3일 수 있다.
부연하면, 하나의 노드가 샘플링되면, 대응되게, 하나의 지식그래프 서브그래프를 얻을 수 있고, 충분히 많은 노드가 샘플링되면, 충분히 많은 지식그래프 서브그래프를 얻을 수 있다.
단계(303)에서, 지식그래프 서브그래프에 대해 넓이 순회(breadth traversal)를 수행하여 서열화 텍스트를 얻는다.
본 실시예에서, 상술한 수행 주체는 지식그래프 서브그래프에 대해 넓이 순회를 수행하여 서열화 텍스트를 얻을 수 있다.
단계(304)에서, 서열화 텍스트 중의 하나의 글자가 이러한 하나의 글자에 대응되는 엔티티와 관계, 및 이러한 하나의 글자에 대응되는 엔티티의 부모 노드와 자식 노드만을 취득하도록 함으로써 서열화 텍스트에 대응되는 마스크 행렬을 구축한다.
본 실시예에서, 상술한 수행 주체는 서열화 텍스트 및 지식그래프 서브그래프에 기반하여 서열화 텍스트에 대응되는 마스크 행렬을 생성할 수 있다. 구체적으로, 상술한 수행 주체는 서열화 텍스트 중의 각 글자가 당해 글자에 대응되는 엔티티와 관계, 및 당해 글자에 대응되는 엔티티의 부모 노드와 자식 노드만을 취득하도록 함으로써 서열화 텍스트에 대응되는 마스크 행렬을 구축할 수 있다. 다시 말해, 서열화 텍스트는 복수의 글자를 포함하는데, 서열화 텍스트 중의 어느 한 글자를 예로 들면, 하나의 글자는 이러한 하나의 글자 자체에 대응되는 엔티티와 관계, 및 이러한 하나의 글자 자체에 대응되는 엔티티의 부모 노드와 자식 노드만을 취득한다.
여기서, 서열화 텍스트에 대응되는 마스크 행렬은 서열화 텍스트 중의 각 글자가 당해 서열화 텍스트로부터 글자를 취득할 수 있는 상황을 특성화할 수 있다. 마스크 행렬은 대칭 행렬로, 그 행/열 수는 서열화 텍스트 중의 글자 수와 동일하다. 마스크 행렬의 행/열은 이에 대응되는 서열화 텍스트 중의 글자에 일대일로 대응된다. 마스크 행렬에서의 각 행에 대하여, 값이 1인 요소에 대응되는 글자는 당해 행에 대응되는 글자에 의해 취득될 수 있고, 값이 0인 요소에 대응되는 글자는 당해 행에 대응되는 글자에 의해 취득될 수 없다.
통상적으로, 서열화 텍스트 중의 각 글자는 당해 글자에 대응되는 엔티티와 관계를 취득할 수 있다. 이 외에도, 지식그래프 서브그래프에서의 노드 간의 연결 정보를 표현하기 위해, 서열화 텍스트 중의 각 글자는 또한, 당해 글자에 대응되는 엔티티의 부모 노드와 자식 노드를 취득할 수 있다. 각 글자에 대응되는 행에서, 당해 글자에 대응되는 엔티티와 관계, 및 당해 글자에 대응되는 엔티티의 부모 노드와 자식 노드에 대응되는 요소 값은 모두 1이고, 나머지 요소 값은 모두 0임을 보아낼 수 있다.
단계(305)에서, 서열화 텍스트 중의 각 글자에 대응되는 엔티티와 관계의, 지식그래프 서브그래프에서의 계층에 기반하여 서열화 텍스트에 대응되는 계층적 코드를 생성한다.
본 실시예에서, 상술한 수행 주체는 서열화 텍스트 및 지식그래프 서브그래프에 기반하여 서열화 텍스트에 대응되는 계층적 코드를 생성할 수 있다. 구체적으로, 상술한 수행 주체는 서열화 텍스트 중의 각 글자에 대응되는 엔티티와 관계의, 지식그래프 서브그래프에서의 계층에 기반하여 서열화 텍스트에 대응되는 계층적 코드를 생성할 수 있다.
여기서, 서열화 텍스트에 대응되는 계층적 코드는 서열화 텍스트 중의 각 글자의, 지식그래프 서브그래프에서의 계층적 순서에 따라 대응되는 숫자 코드를 순차로 부여할 수 있다. 여기서, 루트 노드(root node)에 대응되는 글자의 계층적 코드는 모두 1이고, 루트 노드의 자식 노드에 대응되는 글자, 및 루트 노드와 자식 노드 간의 관계에 대응되는 글자의 계층적 코드는 모두 2이며, 이에 따라 추론한다. 관계 및 이에 대응되는 테일 노드는 대응되는 계층적 코드가 같다는 것을 이해하여야 한다.
단계(306)에서, 비구조적 텍스트를 취득한다.
본 실시예에서, 상술한 수행 주체는 비구조적 텍스트를 취득할 수 있다. 여기서, 비구조적 텍스트 중의 글자 간에는 연관이 존재하지 않는다.
단계(307)에서, 비구조적 텍스트에 대응되는 마스크 행렬 및 계층적 코드를 생성한다.
본 실시예에서, 상술한 수행 주체는 비구조적 텍스트에 대응되는 마스크 행렬 및 계층적 코드를 생성할 수 있다.
여기서, 비구조적 텍스트에 대응되는 마스크 행렬은 원시 사전훈련 모델과 같은바, 올 1(all-one) 행렬이고, 그 행/열 수는 비구조적 텍스트 중의 글자 수와 동일하고. 마스크 행렬의 행/열은 이에 대응되는 비구조적 텍스트 중의 글자와 일대일로 대응된다. 마스크 행렬에서의 각 행에 대해, 값이 1인 요소에 대응되는 글자는 당해 행에 대응되는 글자에 의해 취득될 수 있고, 값이 0인 요소에 대응되는 글자는 당해 행에 대응되는 글자에 의해 취득될 수 없다. 비구조적 텍스트에 대응되는 마스크 행렬은 올 1 행렬이므로, 따라서 비구조적 텍스트 중의 각 글자는 모두 비구조적 텍스트 중의 모든 글자를 취득할 수 있다.
여기서, 비구조적 텍스트에 대응되는 계층적 코드는 비구조적 텍스트 중의 각 글자의 계층적 순서에 따라 대응되는 숫자 코드를 순차로 부여할 수 있다. 비구조적 텍스트는 단일 계층이므로, 대응되는 계층적 코드는 올 제로(all-zero) 코드이다.
단계(308)에서, 서열화 텍스트 및 비구조적 텍스트를 사전훈련된 언어 모델에 번갈아 입력하고, 사전훈련된 언어 모델을 사용하여 서열화 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 서열화 텍스트를 판독하여 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻고, 사전훈련된 언어 모델을 사용하여 비구조적 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 비구조적 텍스트를 판독하여 비구조적 텍스트 중의 각 글자의 지식 표현을 학습하여 얻는다.
본 실시예에서, 상술한 수행 주체는 서열화 텍스트 및 비구조적 텍스트를 사전훈련된 언어 모델에 번갈아 입력하여, 대응되는 지식 표현을 각각 학습할 수 있다.
서열화 텍스트를 입력할 시, 사전훈련된 언어 모델은 서열화 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 서열화 텍스트를 판독하여 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻을 수 있다. 여기서, 마스크 행렬 및 계층적 코드는 사전훈련된 언어 모델을 제어하여 지식그래프 서브그래프에서의 계층 구조를 나타낼 수 있다. 통상적으로, 서열화 텍스트에 대응되는 마스크 행렬에 따라 서열화 텍스트를 판독하는 경우, 지식그래프 서브그래프에서의 순서에 따라 서열화 텍스트를 판독하는 것을 구현할 수 있다. 이 외에도, 서열화 텍스트를 판독할 시, 서열화 텍스트에 대응되는 계층적 코드를 결합하면, 지식그래프 서브그래프에 포함되는 구조 정보를 더 취득할 수 있다.
마찬가지로, 비구조적 텍스트를 입력할 시, 사전훈련된 언어 모델은 비구조적 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 비구조적 텍스트를 판독하여 비구조적 텍스트 중의 각 글자의 지식 표현을 학습하여 얻을 수 있다.
도 3로부터 알 수 있는바, 도 2에 대응되는 실시예에 비하면, 본 실시예에서의 지식 표현 학습 방법의 흐름(300)은 지식 표현 학습 단계를 강조한다. 이에 따라, 본 실시예에서 서술하는 방안에서, 서열화 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 서열화 텍스트를 판독하는 것은, 지식그래프 서브그래프에서의 순서에 따라 서열화 텍스트를 판독하는 것을 구현할 뿐만아니라, 지식그래프 서브그래프에 포함되는 구조 정보를 취득할 수 있다. 이 외에도, 사전훈련 시, 서열화 텍스트와 비구조적 텍스트를 번갈아 입력함으로써 사전훈련된 언어 모델이 지식그래프의 서열화 텍스트와 비구조적 텍스트를 동시에 이용 가능하도록 하는데, 지식그래프 정보를 이용하는 동시에, 방대한 양의 비구조적 텍스트로부터 많은 부가적인 지식을 보충하는바, 지식그래프와 비구조적 텍스트 중의 정보를 충분히 이용하게 된다.
이해의 편의를 위해, 아래, 본 출원의 실시예의 지식 표현 학습 방법을 구현할 수 있는 응용 시나리오를 제공한다. 도 4에 도시한 바와 같이, 이는 지식그래프 서브그래프의 일 개략도를 도시한다. 구체적으로, 우선, 지식베이스로부터 엔티티 "유덕화"를 대표하는 노드를 샘플링하고; 이후, 엔티티 "유덕화"를 대표하는 노드한테 엔티티 "주여청"을 대표하는 노드 및 엔티티 "장학우"를 대표하는 노드를 선택해주고; 다음, 계속 보행하여 엔티티 "주여청"을 대표하는 노드한테 엔티티 "중국"을 대표하는 노드를 선택해주고, 엔티티 "장학우"를 대표하는 노드한테 엔티티 "텐진"을 대표하는 노드 및 엔티티 "문별(吻別)"을 대표하는 노드를 선택해주고, 엔티티 "문별(吻別)"을 대표하는 노드한테 계속하여 엔티티 "은문기"를 대표하는 노드를 선택해주고; 마지막으로, 이러한 엔티티 및 엔티티 간의 관계에 기반하면, 지식그래프 서브그래프를 생성할 수 있다. 도 4에서의 지식그래프 서브그래프에 대해 넓이 순회를 수행하여 서열화 텍스트 "유덕화아내주여청절친장학우국적중국본적텐진대표작품문별(吻別)편곡은문기"를 얻는다. 직접 서열화한 텍스트는 전반적으로 시맨틱적으로 매끄럽지 않으므로, 따라서 도 4에서의 지식그래프 서브그래프에서의 순서에 따라 판독함으로써 이를 시맨틱적으로 매끄럽도록 해야 한다. 도 5에 도시한 바와 같이, 이는 마스크 행렬의 일 개략도를 도시한다. 구체적으로, 서열화 텍스트 중의 각 글자는 당해 글자에 대응되는 엔티티와 관계, 및 당해 글자에 대응되는 엔티티의 부모 노드와 자식 노드를 취득할 수 있다. 각 글자에 대응되는 행에서, 당해 글자에 대응되는 엔티티와 관계에 대응되는 요소값, 및 당해 글자에 대응되는 엔티티의 부모 노드와 자식 노드에 대응되는 요소값은 모두 1이고 나머지 요소값은 모두 0임을 보아낼 수 있다. 구분의 편의를 위해, 각 글자에 대응되는 행에서, 당해 글자에 대응되는 엔티티와 관계에 대응되는 요소는 짙은 회색으로 나타내고, 당해 글자에 대응되는 엔티티의 부모 노드와 자식 노드에 대응되는 요소는 옅은 회색으로 나타내고, 나머지 요소는 흰색으로 나타낸다. 예를 들면, 서열화 텍스트 중의 글자 "주"에 대응되는 행에서, 글자 "주"에 대응되는 엔티티 "주여청"과 관계 "아내"에 대응되는 요소는 짙은 회색으로 표시되고, 글자 "주"에 대응되는 엔티티 "주여청"의 부모 노드가 대표하는 엔티티 "유덕화", 자식 노드가 대표하는 엔티티 "중국" 및 관계 "국적"에 대응되는 요소는 옅은 회색으로 나타내고, 나머지 요소는 흰색으로 나타낸다. 이 외에도, 도 4에서의 지식그래프 서브그래프에 포함되는 구조 정보를 표현하기 위해, 서열화 텍스트에 하나의 계층적 코드를 추가해준다. 구체적으로, 서열화 텍스트 중의 각 글자의, 지식그래프 서브그래프에서의 계층적 순서에 따라 대응되는 숫자 코드를 순차로 부여한다. 예를 들면, 관계 "아내"의 2개의 글자와 엔티티 "주여청"의 3개의 글자의 계층적 코드는 모두 2이다. 이때, 서열화 텍스트를 입력하는 경우, 사전훈련된 언어 모델은 마스크 행렬 및 계층적 코드에 의해 고 서열화 텍스트를 판독하여, 예를 들면 "유덕화 아내 주여청", "유덕화 절친 장학우" 등의, 헤드/테일 노드의 엔티티 및 관계 대응 텍스트로 구성되는 일련의 구절을 취득할 수 있는바, 즉, 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻을 수 있다.
나아가 도 6을 참조하면, 상술한 각 도면에 도시한 방법에 대한 구현으로, 본 출원은 지식 표현 학습 장치의 일 실시예를 제공하는바, 당해 장치 실시예는 도 2에 도시한 방법 실시예에 대응되고, 당해 장치는 구체적으로 다양한 전자 기기에 응용될 수 있다.
도 6에 도시한 바와 같이, 본 실시예의 지식 표현 학습 장치(600)는 샘플링 모듈(601), 서열화 모듈(602) 및 학습 모듈(603)을 포함할 수 있다. 여기서, 샘플링 모듈(601)은, 지식베이스로부터 지식그래프 서브그래프를 샘플링하도록 구성되고; 서열화 모듈(602)은, 지식그래프 서브그래프를 서열화하여 서열화 텍스트를 얻도록 구성되고; 학습 모듈(603)은, 사전훈련된 언어 모델을 사용하여 지식그래프 서브그래프에서의 순서에 따라 서열화 텍스트를 판독하여 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻도록 구성된다.
본 실시예에서, 지식 표현 학습 장치(600)에서 샘플링 모듈(601), 서열화 모듈(602) 및 학습 모듈(603)의 구체적인 처리 및 이에 따른 기술 효과는 각각 도 2에 대응되는 실시예에서의 단계201 내지 203의 관련 설명을 참조할 수 있는바, 이에 대한 상세한 설명은 생략하기로 한다.
본 실시예의 일부 대안적인 구현방식에서, 샘플링 모듈(601)은 나아가, 사전설정된 샘플링 비율에 따라 지식베이스로부터 노드를 샘플링하고; 노드를 기점으로 하고, 사전설정된 샘플링 확률에 따라 자식 노드를 선택하여 사전설정된 샘플링 깊이에 달할 때까지 연속적으로 보행하여 지식그래프 서브그래프를 얻도록 구성된다.
본 실시예의 일부 대안적인 구현방식에서, 서열화 모듈(602)은 나아가, 지식그래프 서브그래프에 대해 넓이 순회를 수행하여 서열화 텍스트를 얻도록 구성된다.
본 실시예의 일부 대안적인 구현방식에서, 학습 모듈(603)은, 서열화 텍스트 및 지식그래프 서브그래프에 기반하여 서열화 텍스트에 대응되는 마스크 행렬 및 계층적 코드를 생성하도록 구성되는 생성 서브모듈(미도시); 및 서열화 텍스트를 사전훈련된 언어 모델에 입력하고 사전훈련된 언어 모델을 사용하여 서열화 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 서열화 텍스트를 판독하여 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻도록 구성되는 학습 서브모듈(미도시)을 포함한다.
본 실시예의 일부 대안적인 구현방식에서, 생성 서브모듈은 나아가, 서열화 텍스트 중의 하나의 글자가 이러한 하나의 글자에 대응되는 엔티티와 관계, 및 이러한 하나의 글자에 대응되는 엔티티의 부모 노드와 자식 노드만을 취득하도록 함으로써 서열화 텍스트에 대응되는 마스크 행렬을 구축하고; 서열화 텍스트 중의 각 글자에 대응되는 엔티티와 관계의, 지식그래프 서브그래프에서의 계층에 기반하여 서열화 텍스트에 대응되는 계층적 코드를 생성하도록 구성된다.
본 실시예의 일부 대안적인 구현방식에서, 학습 서브모듈은 나아가, 비구조적 텍스트를 취득하고; 비구조적 텍스트에 대응되는 마스크 행렬 및 계층적 코드를 생성하고, 여기서, 비구조적 텍스트에 대응되는 마스크 행렬은 올 1 행렬이고 비구조적 텍스트에 대응되는 계층적 코드는 올 제로 코드이고; 서열화 텍스트 및 비구조적 텍스트를 사전훈련된 언어 모델에 번갈아 입력하고, 사전훈련된 언어 모델을 사용하여 서열화 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 서열화 텍스트를 판독하여 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻고, 사전훈련된 언어 모델을 사용하여 비구조적 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 비구조적 텍스트를 판독하여 비구조적 텍스트 중의 각 글자의 지식 표현을 학습하여 얻도록 구성된다.
본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독가능 저장 매체를 더 제공한다.
도 7에 도시한 바는, 본 출원에 따른 실시예의 지식 표현 학습 방법의 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크벤치, 개인용 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터 및 다른 적합한 컴퓨터와 같은 다양한 형식의 디지털 컴퓨터를 가리키고자 하는 것이다. 전자 기기는 또한, 개인용 디지털 보조기, 셀룰러 폰, 스마트폰, 웨어러블 기기 및 다른 이와 유사한 컴퓨팅 기기와 같은 다양한 형식의 이동 장치를 가리킬 수 있다. 본 명세서에서 제시하는 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시일 뿐, 본 명세서에서 서술한 및/또는 청구하는 본 출원의 구현을 한정하고자 하는 것이 아니다.
도 7에 도시한 바와 같이, 당해 전자 기기는 하나 또는 복수의 프로세서(701), 메모리(702)를 포함하고, 각 부품을 연결하는 인터페이스는 고속 인터페이스와 저속 인터페이스를 포함한다. 각 부품은 서로 다른 버스를 이용하여 서로 연결되고 공통 메인보드에 장착되거나 또는 필요에 따라 다른 방식으로 장착될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령을 처리할 수 있는바, 메모리에 저장되어 외부 입력/출력 장치(인터페이스에 커플링된 표시 기기와 같은)에 GUI의 그래픽 정보를 표시하기 위한 명령이 포함된다. 다른 실시 방식에서, 필요하다면 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있고, 각 기기는(예를 들어 서버 어레이, 한 그룹의 블레이드 서버 또는 멀티프로세서 시스템으로서) 일부 필요한 조작을 제공할 수 있다. 도 7은 프로세서(701)를 예시한다.
메모리(702)가 바로 본 출원에 의해 제공되는 비일시적 컴퓨터 판독가능 저장 매체이다. 상기 메모리에는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있는바, 상기 적어도 하나의 프로세서에 의해 본 출원에 의해 제공되는 지식 표현 학습 방법이 수행되도록 한다. 본 출원의 비일시적 컴퓨터 판독가능 저장 매체는 컴퓨터 명령을 저장하고, 당해 컴퓨터 명령은 컴퓨터에 의해 본 출원에 의해 제공되는 지식 표현 학습 방법이 수행되도록 한다.
메모리(702)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 본 출원의 실시예의 지식 표현 학습 방법에 대응되는 프로그램 명령/모듈(예를 들면, 첨부 도면6에 도시한 샘플링 모듈(601), 서열화 모듈(602) 및 학습 모듈(603))과 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행가능 프로그램 및 모듈을 저장할 수 있다. 프로세서(701)는 메모리(702)에 저장되는 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 서버의 다양한 기능 응용 및 데이터 처리를 실행하는바, 즉 상술한 방법 실시예에서의 지식 표현 학습 방법을 구현한다.
메모리(702)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있는바, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 있어서 필요한 응용 프로그램을 저장할 수 있고, 데이터 저장 영역은 지식 표현 학습 방법의 전자 기기의 사용에 따라 생성되는 데이터 등을 저장할 수 있다. 이 외에도, 메모리(702)는 고속 랜덤 액세스 메모리를 포함할 수도 있고, 비일시적 메모리, 예를 들어 적어도 하나의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스 또는 다른 비일시적 고체 상태 저장 디바이스를 더 포함할 수도 있다. 일부 실시에서, 메모리(702)는 대안적으로 프로세서(701) 대비 원격 설치되는 메모리를 포함하는바, 이러한 원격 메모리는 네트워크를 통해 지식 표현 학습 방법의 전자 기기에 연결된다. 상술한 네트워크의 실제 예는 인터넷, 기업 내부 네트워크, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하나 이에 한정되지 않는다.
지식 표현 학습 방법의 전자 기기는 입력 장치(703)와 출력 장치(704)를 더 포함할 수 있다. 프로세서(701), 메모리(702), 입력 장치(703)와 출력 장치(704)는 버스 또는 다른 방식으로 연결될 수 있고, 도 7은 버스에 의한 연결을 예시한다.
입력 장치(703)는 입력되는 숫자 또는 문자(character) 정보를 수신하고, 지식 표현 학습 방법의 전자 기기의 사용자 설정 및 기능 제어에 관련되는 키 신호 입력을 발생시킬 수 있는바, 예를 들면 터치 스크린, 숫자 키패드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등의 입력 장치가 있다. 출력 장치(704)는 표시 기기, 보조 조명장치(예를 들어 LED) 및 촉각 피드백 장치(예를 들어 진동 모터) 등을 포함할 수 있다. 당해 표시 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시 방식에서 표시 기기는 터치 스크린일 수 있다.
여기서 서술하는 시스템과 기술의 다양한 실시 방식은 디지털 전자회로 시스템, 집적회로 시스템, 주문형ASIC(주문형 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시 방식은 하나 또는 복수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램가능 프로세서를 포함하는 프로그램가능 시스템에서 실행되거나 및/또는 해석될 수 있고, 당해 프로그램가능 프로세서는 전용의 또는 범용의 프로그램가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터와 명령을 수신하고 데이터와 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치로 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램가능 프로세서의 기계 명령을 포함하며, 고급 절차 프로그래밍 언어 및/또는 객체지향 프로그래밍 언어, 및/또는 어셈블리어/기계어를 이용하여 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용한 바와 같이, 용어 '기계 판독가능 매체'와 '컴퓨터 판독가능 매체'는 기계 명령 및/또는 데이터를 프로그램가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들면 자기 디스크, 광 디스크, 메모리, 프로그램가능 논리 장치(PLD))를 가리키는바, 이는 기계 판독가능 신호로서의 기계 명령을 수신하는 기계 판독가능 매체를 포함한다. 용어 '기계 판독가능 신호'는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위해, 여기서 서술하는 시스템과 기술을 컴퓨터에서 실시할 수 있는바, 당해 컴퓨터는 사용자한테 정보를 표시하기 위한 표시 장치(예를 들면 음극선관(CRT) 또는 액정 디스플레이(LCD) 모니터) 및 키보드와 포인팅 장치(예를 들면 마우스 또는 트랙볼)를 구비하고, 사용자는 당해 키보드와 당해 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 다른 종류의 장치 또한 사용자와의 인터랙션을 제공하는 데 사용될 수 있는바, 예를 들면 사용자한테 제공되는 피드백은 임의 형식의 감각 피드백(예를 들어 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 임의 형식(소리 입력, 음성 입력 또는 촉각 입력을 포함함)으로 사용자로부터의 입력이 수신될 수 있다.
여기서 서술하는 시스템과 기술을 백스테이지 부품을 포함하는 컴퓨팅 시스템(예를 들면 데이터 서버로서), 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들면 애플리케이션 서버), 프론트엔드 부품을 포함하는 컴퓨팅 시스템(예를 들면 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터가 있고, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 네트워크 브라우저를 통해 여기서 서술하는 시스템 및 기술의 실시 방식과 인터랙션할 수 있음), 또는 이러한 백그라운드 부품, 미들웨어 부품 또는 프런트 엔드 부품의 임의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 임의 형식 또는 매체의 디지털 데이터 통신(예를 들면 통신 네트워크)으로 시스템의 부품을 서로 연결시킬 수 있다. 통신 네트워크의 예시는 근거리 통신망(LAN), 광대역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있고, 통상적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램에 의해 클라이언트와 서버의 관계가 발생한다.
본 출원의 기술에 따르면, 방안은, 우선, 지식베이스로부터 지식그래프 서브그래프를 샘플링하고; 다음, 지식그래프 서브그래프를 서열화하여 서열화 텍스트를 얻고; 마지막으로, 사전훈련된 언어 모델을 사용하여 지식그래프 서브그래프에서의 순서에 따라 서열화 텍스트를 판독하여 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻는다. 지식 표현 학습은 지식베이스에서의 엔티티와 관계 표현 학습에 대한 것으로, 저차원 공간에서, 엔티티와 관계의 시맨틱 연관을 효율적으로 계산하고, 데이터 희소 문제를 효과적으로 해결하고, 지식을 취득하며 융합하고 추론하는 성능이 현저히 향상하도록 할 수 있다. 그리고, 사전훈련된 언어 모델의 막강한 지식 취득 능력과 컨텍스트 분석 능력을 이용하여 사전훈련된 언어 모델에 학습된 지식 표현이 지식베이스에서의 복잡한 관계를 더 잘 표시할 수 있도록 한다.
위에서 제시한 다양한 형식의 흐름을 적용하여 단계를 재정렬, 증가 또는 삭제할 수 있음을 이해하여야 한다. 예를 들면, 본 출원에 기재된 각 단계는 병렬로 수행될 수도 있고, 순차로 수행될 수도 있고, 서로 다른 순서로 실행될 수도 있는바, 본 출원에서 개시하는 기술 방안에 대한 기대 결과를 구현할 수 있기만 하면 되는 것으로, 본 명세서는 이에 대해 한정하지 않는다.
상술한 구체적인 실시 방식은 본 출원의 보호 범위를 한정하지 않는다. 당업자라면, 설계 요구 및 다른 요소에 따라 다양한 수정, 조합, 서브 조합 및 치환이 가능하다는 것을 알아야 할 것이다. 본 출원의 사상과 원칙 내에서 행하는 임의의 수정, 등가적 치환 및 개량 등은 모두 본 출원의 보호 범위에 포함되어야 한다.

Claims (15)

  1. 전자 기기에 의해 수행되는 지식 표현 학습 방법으로서,
    지식베이스로부터 지식그래프 서브그래프를 샘플링하는 단계;
    상기 지식그래프 서브그래프를 이용하여 서열화 텍스트를 얻는 단계 - 상기 서열화 텍스트는 상기 지식그래프 서브그래프에서의 엔티티와 관계를 기설정된 순서에 따라 조합하여 구성됨 - ; 및
    사전훈련된 언어 모델을 사용하여 상기 지식그래프 서브그래프에서의 순서에 따라 상기 서열화 텍스트를 판독하여 상기 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻는 단계를 포함하고,
    상술한 사전훈련된 언어 모델을 사용하여 상기 지식그래프 서브그래프에서의 순서에 따라 상기 서열화 텍스트를 판독하여 상기 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻는 단계는,
    상기 서열화 텍스트 및 상기 지식그래프 서브그래프에 기반하여 상기 서열화 텍스트에 대응되는 마스크 행렬 및 계층적 코드를 생성하는 단계; 및
    상기 서열화 텍스트를 상기 사전훈련된 언어 모델에 입력하고 상기 사전훈련된 언어 모델을 사용하여 상기 서열화 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 상기 서열화 텍스트를 판독하여 상기 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻는 단계를 포함하고,
    상술한 상기 서열화 텍스트를 상기 사전훈련된 언어 모델에 입력하고 상기 사전훈련된 언어 모델을 사용하여 상기 서열화 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 상기 서열화 텍스트를 판독하여 상기 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻는 단계는,
    비구조적 텍스트를 취득하는 단계;
    상기 비구조적 텍스트에 대응되는 마스크 행렬 및 계층적 코드를 생성하는 단계 - 상기 비구조적 텍스트에 대응되는 마스크 행렬은 올 1 행렬이고 상기 비구조적 텍스트에 대응되는 계층적 코드는 올 제로 코드이고, 상기 올 1 행렬은 행렬의 값이 모두 1인 행렬이고, 상기 올 제로 코드는 값이 모두 0인 코드임 - ; 및
    상기 서열화 텍스트 및 상기 비구조적 텍스트를 상기 사전훈련된 언어 모델에 번갈아 입력하고, 상기 사전훈련된 언어 모델을 사용하여 상기 서열화 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 상기 서열화 텍스트를 판독하여 상기 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻고, 상기 사전훈련된 언어 모델을 사용하여 상기 비구조적 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 상기 비구조적 텍스트를 판독하여 상기 비구조적 텍스트 중의 각 글자의 지식 표현을 학습하여 얻는 단계를 포함하는, 지식 표현 학습 방법.
  2. 제1항에 있어서,
    상술한 지식베이스로부터 지식그래프 서브그래프를 샘플링하는 단계는,
    사전설정된 샘플링 비율에 따라 상기 지식베이스로부터 노드를 샘플링하는 단계; 및
    상기 노드를 기점으로 하고, 사전설정된 샘플링 확률에 따라 자식 노드를 선택하여 사전설정된 샘플링 깊이에 달할 때까지 연속적으로 보행하여 상기 지식그래프 서브그래프를 얻는 단계를 포함하는, 지식 표현 학습 방법.
  3. 제1항에 있어서,
    상술한 상기 지식그래프 서브그래프를 이용하여 서열화 텍스트를 얻는 단계는,
    상기 지식그래프 서브그래프에 대해 넓이 순회를 수행하여 상기 서열화 텍스트를 얻는 단계를 포함하는, 지식 표현 학습 방법.
  4. 제1항에 있어서,
    상술한 상기 서열화 텍스트 및 상기 지식그래프 서브그래프에 기반하여 상기 서열화 텍스트에 대응되는 마스크 행렬 및 계층적 코드를 생성하는 단계는,
    상기 서열화 텍스트 중의 하나의 글자가 상기 하나의 글자에 대응되는 엔티티와 관계, 및 상기 하나의 글자에 대응되는 엔티티의 부모 노드와 자식 노드만을 취득하도록 함으로써 상기 서열화 텍스트에 대응되는 마스크 행렬을 구축하는 단계; 및
    상기 서열화 텍스트 중의 각 글자에 대응되는 엔티티와 관계의, 상기 지식그래프 서브그래프에서의 계층에 기반하여 상기 서열화 텍스트에 대응되는 계층적 코드를 생성하는 단계를 포함하는, 지식 표현 학습 방법.
  5. 지식 표현 학습 장치로서,
    지식베이스로부터 지식그래프 서브그래프를 샘플링하도록 구성되는 샘플링 모듈;
    상기 지식그래프 서브그래프를 이용하여 서열화 텍스트를 얻도록 구성되는 서열화 모듈 - 상기 서열화 텍스트는 상기 지식그래프 서브그래프에서의 엔티티와 관계를 기설정된 순서에 따라 조합하여 구성됨 -; 및
    사전훈련된 언어 모델을 사용하여 상기 지식그래프 서브그래프에서의 순서에 따라 상기 서열화 텍스트를 판독하여 상기 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻도록 구성되는 학습 모듈을 포함하고,
    상기 학습 모듈은
    상기 서열화 텍스트 및 상기 지식그래프 서브그래프에 기반하여 상기 서열화 텍스트에 대응되는 마스크 행렬 및 계층적 코드를 생성하도록 구성되는 생성 서브모듈; 및
    상기 서열화 텍스트를 상기 사전훈련된 언어 모델에 입력하고 상기 사전훈련된 언어 모델을 사용하여 상기 서열화 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 상기 서열화 텍스트를 판독하여 상기 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻도록 구성되는 학습 서브모듈을 포함하고,
    상기 학습 서브모듈은,
    비구조적 텍스트를 취득하고;
    상기 비구조적 텍스트에 대응되는 마스크 행렬 및 계층적 코드를 생성하고 - 상기 비구조적 텍스트에 대응되는 마스크 행렬은 올 1 행렬이고 상기 비구조적 텍스트에 대응되는 계층적 코드는 올 제로 코드이고, 상기 올 1 행렬은 행렬의 값이 모두 1인 행렬이고, 상기 올 제로 코드는 값이 모두 0인 코드임 - ;
    상기 서열화 텍스트 및 상기 비구조적 텍스트를 상기 사전훈련된 언어 모델에 번갈아 입력하고, 상기 사전훈련된 언어 모델을 사용하여 상기 서열화 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 상기 서열화 텍스트를 판독하여 상기 서열화 텍스트 중의 각 글자의 지식 표현을 학습하여 얻고, 상기 사전훈련된 언어 모델을 사용하여 상기 비구조적 텍스트에 대응되는 마스크 행렬 및 계층적 코드에 따라 상기 비구조적 텍스트를 판독하여 상기 비구조적 텍스트 중의 각 글자의 지식 표현을 학습하여 얻도록 구성되는, 지식 표현 학습 장치.
  6. 제5항에 있어서,
    상기 샘플링 모듈은 나아가,
    사전설정된 샘플링 비율에 따라 상기 지식베이스로부터 노드를 샘플링하고;
    상기 노드를 기점으로 하고, 사전설정된 샘플링 확률에 따라 자식 노드를 선택하여 사전설정된 샘플링 깊이에 달할 때까지 연속적으로 보행하여 상기 지식그래프 서브그래프를 얻도록 구성되는, 지식 표현 학습 장치.
  7. 제5항에 있어서,
    상기 서열화 모듈은 나아가,
    상기 지식그래프 서브그래프에 대해 넓이 순회를 수행하여 상기 서열화 텍스트를 얻도록 구성되는, 지식 표현 학습 장치.
  8. 제5항에 있어서,
    상기 생성 서브모듈은 나아가,
    상기 서열화 텍스트 중의 하나의 글자가 상기 하나의 글자에 대응되는 엔티티와 관계, 및 상기 하나의 글자에 대응되는 엔티티의 부모 노드와 자식 노드만을 취득하도록 함으로써 상기 서열화 텍스트에 대응되는 마스크 행렬을 구축하고;
    상기 서열화 텍스트 중의 각 글자에 대응되는 엔티티와 관계의, 상기 지식그래프 서브그래프에서의 계층에 기반하여 상기 서열화 텍스트에 대응되는 계층적 코드를 생성하도록 구성되는, 지식 표현 학습 장치.
  9. 전자 기기로서,
    하나 또는 복수의 프로세서; 및
    하나 또는 복수의 프로그램이 저장되어 있는 저장 장치를 포함하고,
    상기 하나 또는 복수의 프로그램이 상기 하나 또는 복수의 프로세서에 의해 실행되는 경우, 상기 하나 또는 복수의 프로세서에 의해 제1항 내지 제4항 중 어느 한 항의 방법이 구현되도록 하는, 전자 기기.
  10. 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 저장 매체에 있어서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행되는 경우, 제1항 내지 제4항 중 어느 한 항의 방법이 구현되는, 컴퓨터 판독가능 저장 매체.
  11. 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서,
    상기 프로그램이 프로세서에 의해 실행되는 경우, 제1항 내지 제4항 중 어느 한 항의 방법이 구현되는, 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020210032500A 2020-06-12 2021-03-12 지식 표현 학습 방법, 장치, 전자 기기, 저장 매체 및 프로그램 KR102514434B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010532558.XA CN111475658B (zh) 2020-06-12 2020-06-12 知识表示学习方法、装置、设备以及存储介质
CN202010532558.X 2020-06-12

Publications (2)

Publication Number Publication Date
KR20210035785A KR20210035785A (ko) 2021-04-01
KR102514434B1 true KR102514434B1 (ko) 2023-03-24

Family

ID=71764201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210032500A KR102514434B1 (ko) 2020-06-12 2021-03-12 지식 표현 학습 방법, 장치, 전자 기기, 저장 매체 및 프로그램

Country Status (5)

Country Link
US (1) US11687718B2 (ko)
EP (1) EP3968241A1 (ko)
JP (1) JP7220190B2 (ko)
KR (1) KR102514434B1 (ko)
CN (1) CN111475658B (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2611716B (en) * 2020-06-25 2024-07-17 Pryon Incorporated Document processing and response generation system
CN111930518B (zh) * 2020-09-22 2021-01-22 北京东方通科技股份有限公司 面向知识图谱表示学习的分布式框架构建方法
CN112466292B (zh) 2020-10-27 2023-08-04 北京百度网讯科技有限公司 语言模型的训练方法、装置和电子设备
CN112464643B (zh) * 2020-11-26 2022-11-15 广州视源电子科技股份有限公司 一种机器阅读理解方法、装置、设备及存储介质
CN112528037B (zh) * 2020-12-04 2024-04-09 北京百度网讯科技有限公司 基于知识图谱的边关系预测方法、装置、设备及存储介质
CN113673244B (zh) * 2021-01-04 2024-05-10 腾讯科技（深圳）有限公司 医疗文本处理方法、装置、计算机设备和存储介质
CN113139037B (zh) * 2021-03-18 2023-04-14 北京三快在线科技有限公司 文本处理方法、装置、设备以及存储介质
CN113377907B (zh) * 2021-06-08 2023-06-09 四川大学 基于记忆掩码自注意力网络的端到端任务型对话系统
CN113641830B (zh) * 2021-07-19 2024-03-29 北京百度网讯科技有限公司 模型预训练方法、装置、电子设备和存储介质
CN113590782B (zh) * 2021-07-28 2024-02-09 北京百度网讯科技有限公司 推理模型的训练方法、推理方法及装置
KR102655154B1 (ko) * 2021-09-30 2024-04-05 주식회사 와이즈넛 인공신경망 모델을 이용한 컨셉넷 자동 확장 방법
CN113591442B (zh) * 2021-10-08 2022-02-18 北京明略软件系统有限公司 文本生成方法、装置、电子装置及可读存储介质
CN114328956B (zh) * 2021-12-23 2023-02-28 北京百度网讯科技有限公司 文本信息的确定方法、装置、电子设备及存储介质
WO2023152914A1 (ja) * 2022-02-10 2023-08-17 日本電信電話株式会社 埋め込み装置、埋め込み方法、および、埋め込みプログラム
CN114860952A (zh) * 2022-04-29 2022-08-05 华侨大学 一种基于数据统计和知识指导的图拓扑学习方法及系统
CN115587175B (zh) * 2022-12-08 2023-03-14 阿里巴巴达摩院(杭州)科技有限公司 人机对话及预训练语言模型训练方法、系统及电子设备
CN116842109A (zh) * 2023-06-27 2023-10-03 北京大学 信息检索知识图谱嵌入方法、装置和计算机设备
CN117033667B (zh) * 2023-10-07 2024-01-09 之江实验室 一种知识图谱构建方法、装置、存储介质及电子设备
CN117235285B (zh) * 2023-11-09 2024-02-02 支付宝(杭州)信息技术有限公司 融合知识图谱数据的方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016029561A (ja) 2014-07-17 2016-03-03 パナソニックＩｐマネジメント株式会社 エージェント、プログラム
JP6635307B2 (ja) 2016-10-20 2020-01-22 日本電信電話株式会社 要約生成装置、テキスト変換装置、方法、及びプログラム
WO2018081089A1 (en) 2016-10-26 2018-05-03 Deepmind Technologies Limited Processing text sequences using neural networks
KR101914853B1 (ko) 2017-02-08 2018-11-02 경북대학교 산학협력단 논리적 속성이 반영된 지식 그래프 임베딩 방법 및 시스템, 이를 수행하기 위한 기록매체
CN109033135A (zh) * 2018-06-06 2018-12-18 北京大学 一种面向软件项目知识图谱的自然语言查询方法及系统
CN209033135U (zh) 2018-09-07 2019-06-28 泉州宝善药业有限公司 一种泌尿外科躺熏式新型治疗装置
CN109918506B (zh) * 2019-03-07 2022-12-16 安徽省泰岳祥升软件有限公司 一种文本分类方法及装置
CN110059320B (zh) * 2019-04-23 2021-03-16 腾讯科技（深圳）有限公司 实体关系抽取方法、装置、计算机设备和存储介质
CN110263324B (zh) * 2019-05-16 2021-02-12 华为技术有限公司 文本处理方法、模型训练方法和装置
CN110196894B (zh) * 2019-05-30 2021-06-08 北京百度网讯科技有限公司 语言模型的训练方法和预测方法
CN111461203A (zh) * 2020-03-30 2020-07-28 北京百度网讯科技有限公司 跨模态处理方法、装置、电子设备和计算机存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Leskovec, Jure, and Christos Faloutsos. Sampling from large graphs. Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining. 2006.*
Liu, Weijie, et al. K-bert: Enabling language representation with knowledge graph. Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 34. No. 03. 2020.4.*
Zhang, Jiawei, et al. Graph-bert: Only attention is needed for learning graph representations. arXiv preprint arXiv:2001.05140. 2020.1.*

Also Published As

Publication number Publication date
JP7220190B2 (ja) 2023-02-09
CN111475658A (zh) 2020-07-31
US11687718B2 (en) 2023-06-27
US20210390257A1 (en) 2021-12-16
KR20210035785A (ko) 2021-04-01
CN111475658B (zh) 2020-12-25
JP2021197132A (ja) 2021-12-27
EP3968241A1 (en) 2022-03-16

Similar Documents

Publication Publication Date Title
KR102514434B1 (ko) 지식 표현 학습 방법, 장치, 전자 기기, 저장 매체 및 프로그램
KR102448129B1 (ko) 엔티티 연결 방법, 장치, 기기 및 저장 매체
JP7250052B2 (ja) 自然言語及び知識グラフに基づく表現学習方法及び装置
JP7122365B2 (ja) テキスト認識処理方法、装置、電子機器及び記憶媒体
US20210397947A1 (en) Method and apparatus for generating model for representing heterogeneous graph node
JP7262571B2 (ja) 知識グラフのベクトル表現生成方法、装置及び電子機器
US20210319335A1 (en) Question analysis method, device, knowledge base question answering system and electronic equipment
KR102524766B1 (ko) 자연어 및 지식 그래프 기반 표현 학습 방법 및 장치
US11573992B2 (en) Method, electronic device, and storage medium for generating relationship of events
KR20210124938A (ko) 이벤트 추출 방법, 장치, 전자 기기 및 저장 매체
JP2021120863A (ja) 情報を生成するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
KR102521765B1 (ko) 인과 관계의 판별 방법, 장치, 전자 기기 및 저장 매체
KR20210056961A (ko) 의미 처리 방법, 장치, 전자 기기 및 매체
CN111666751B (zh) 训练文本扩充方法、装置、设备以及存储介质
CN111241838B (zh) 文本实体的语义关系处理方法、装置及设备
KR102487260B1 (ko) 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
CN113723278B (zh) 表格信息提取模型的训练方法及装置
JP2021111334A (ja) 検索データに基づくヒューマンコンピュータ対話型インタラクションの方法、装置及び電子機器
JP2021197156A (ja) 事前トレーニングのセマンティックモデルに基づくモデル改良方法及び装置
JP2022028897A (ja) 文章翻訳方法、装置、電子機器及び記憶媒体
JP7262519B2 (ja) 質問の答えの決定方法、装置、機器及び記憶媒体
JP7146986B2 (ja) 情報抽出方法、情報抽出装置及び電子機器
CN111475614B (zh) 知识推理对话方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant