KR102524766B1 - 자연어 및 지식 그래프 기반 표현 학습 방법 및 장치 - Google Patents

자연어 및 지식 그래프 기반 표현 학습 방법 및 장치 Download PDF

Info

Publication number
KR102524766B1
KR102524766B1 KR1020207036186A KR20207036186A KR102524766B1 KR 102524766 B1 KR102524766 B1 KR 102524766B1 KR 1020207036186 A KR1020207036186 A KR 1020207036186A KR 20207036186 A KR20207036186 A KR 20207036186A KR 102524766 B1 KR102524766 B1 KR 102524766B1
Authority
KR
South Korea
Prior art keywords
knowledge graph
learning
entity
layer
natural language
Prior art date
Application number
KR1020207036186A
Other languages
English (en)
Other versions
KR20210038430A (ko
Inventor
하이펑 왕
원빈 쟝
야줸 뤼
야?k 뤼
용 주
화 우
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201911297702.XA external-priority patent/CN110727806B/zh
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20210038430A publication Critical patent/KR20210038430A/ko
Application granted granted Critical
Publication of KR102524766B1 publication Critical patent/KR102524766B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Machine Translation (AREA)

Abstract

본 출원은 자연어 및 지식 그래프 기반 텍스트 처리 방법 및 장치를 제공하며, 인공지능 기술의 딥 분야에 관한 것이다. 구체적 해결수단에 따르면, 전자기기가 연합 학습 모델을 사용하여 획득한 의미 표현은, 해당 연합 학습 모델이 지식 그래프 표현 학습과 자연어 표현 학습을 결합하여 획득한 것이다. 지식 그래프 표현 학습과 자연어 표현 학습을 결합하므로, 지식 그래프 표현 학습 또는 자연어 표현 학습만 이용하여 예측 대상의 의미 표현을 학습하는 것에 비해, 연합 학습 모델이 고려하는 요소가 더 많고 더 전면적이므로, 의미 표현의 정확성을 향상시킬 수 있으며, 나아가 텍스트 처리의 정확성을 향상시킨다.

Description

자연어 및 지식 그래프 기반 표현 학습 방법 및 장치
본 출원의 실시예는 인공지능(Artificial Intelligence, AI) 기술분야에 관한 것으로, 특히는 자연어 및 지식 그래프 기반 표현 학습 방법 및 장치에 관한 것이다.
본 출원은 2019년 12월 17일 중국 전리국에 출원한 출원번호 201911297702X, 출원의 명칭 “자연어 및 지식 그래프 기반 텍스트 처리 방법 및 장치”인 중국 특허 출원의 우선권을 주장하며, 그 전부 내용은 인용을 통해 본 출원에 결합된다.
현재, 대량의 데이터로부터 유용한 정보를 획득하기 위하여, 지식 그래프(knowledge graph, KG)가 제안되었다. 동시에, 자연어는 사람들이 교류 및 사고하는 툴 및 캐리어로서, 자연어의 문자 부호와 단어의 표현은, 딥러닝 기반 언어 처리류 인공지능 임무의 기본 처리 대상이다.
일반적인 경우, 지식 그래프와 자연어는 두 개별 분야로서, 해당 두 분야는 모두 개별적으로 표현 학습 기술 체제로 발전되어 왔다. 여기서, 지식 그래프 표현 학습은 통상적으로 벡터 공간 연산 형태로, 지식 그래프에 포함되는 포인트(Point)와 에지(Edge) 사이의 동시 발생 법칙에 대해 모델링함으로써, 지식 그래프 의미 표현을 학습한다. 자연어 표현 학습은 통상적으로 서열 생성 형태로, 단어나 문구 사이의 동시 발생 법칙에 대해 모델링함으로써, 자연어 의미 표현을 학습한다.
하지만, 상술한 표현 학습 방법을 기반으로 학습된 의미 표현은 정확성이 낮으므로, 상술한 의미 표현이 텍스트 처리에 사용될 때, 텍스트 처리 정확성의 저하를 초래한다.
본 출원의 실시예는, 지식 그래프의 표현 학습과 자연 의미의 표현 학습을 결합시켜, 품질이 더 우수한 의미 표현을 학습해냄으로써, 텍스트 처리 정확성을 향상시키는 목적을 달성하는, 자연어 및 지식 그래프 기반 표현 학습 방법 및 장치를 제공한다.
제1 측면에 따르면, 본 출원의 실시예에서 제공하는 자연어 및 지식 그래프 기반 텍스트 처리 방법은, 사용자가 입력한 텍스트 처리 요청을 수신하되, 상기 텍스트 처리 요청은 텍스트 중 예측 대상의 의미 표현을 기초로 상기 텍스트를 처리할 것을 요청하기 위한 것인 단계; 상기 예측 대상을 미리 트레이닝된 연합 학습 모델에 입력하여, 상기 예측 대상의 의미 표현을 획득하되, 상기 연합 학습 모델은 지식 그래프 표현 학습과 자연어 표현 학습을 위한 것이고, 상기 의미 표현은 상기 연합 학습 모델이 상기 지식 그래프 표현 학습 및 상기 자연어 표현 학습을 결합하여 획득한 것인 단계; 상기 의미 표현을 기초로 상기 텍스트를 처리하는 단계;를 포함한다.
일 가능한 설계에 있어서, 상기 사용자가 입력한 텍스트 처리 요청을 수신하는 단계 이전에, 트레이닝 샘플에 대해 트레이닝을 수행하여 상기 연합 학습 모델을 획득하는 단계를 더 포함하되, 상기 연합 학습 모델은 자연어 학습층, 연합 학습 관련층과 지식 그래프 학습층을 포함하고, 상기 연합 학습 관련층은 상기 지식 그래프 학습층과 상기 자연어 학습층을 관련시키기 위한 것이다.
일 가능한 설계에 있어서, 상기 트레이닝 샘플에 대해 트레이닝을 수행하여 상기 연합 학습 모델을 획득하는 단계는, 상기 자연어 학습층에서 상기 트레이닝 샘플 중 목표 트레이닝 샘플의 이웃 샘플을 결정하는 단계; 상기 연합 학습 관련층에서 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플이 상기 지식 그래프 학습층 중 각 엔티티에 대한 가중치를 결정하는 단계; 상기 각 엔티티의 가중치를 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정하는 단계; 상기 지식 그래프 의미 표현과 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플의 트레이닝 결과를 결정하는 단계;를 포함한다.
일 가능한 설계에 있어서, 상기 연합 학습 관련층에서 상기 목표 트레이닝 샘플이 상기 지식 그래프 학습층 중 각 엔티티에 대한 가중치를 결정하는 단계는, 상기 지식 그래프 학습층 중 각각의 엔티티에 대하여, 상기 연합 학습 관련층에서 상기 목표 트레이닝 샘플이 상기 엔티티에 대한 M개의 가중치를 결정하고, 상기 M≥1이며 정수인 단계를 포함한다.
일 가능한 설계에 있어서, 상기 각 엔티티의 가중치를 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정하는 단계는, 상기 지식 그래프 학습층 중 각각의 엔티티에 대하여, 상기 엔티티에 대응되는 가중치를 기초로 상기 엔티티의 지식 그래프 의미 표현에 대해 처리하여, 복수의 처리된 지식 그래프 의미 표현을 획득하는 단계; 상기 복수의 처리된 지식 그래프 의미 표현을 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정하는 단계;를 포함한다.
일 가능한 설계에 있어서, 상기 지식 그래프 의미 표현과 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플의 트레이닝 결과를 결정하는 단계 이후에, 상기 트레이닝 결과를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 최적화하는 단계를 더 포함한다.
일 가능한 설계에 있어서, 상기 트레이닝 결과를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 최적화하는 단계는, 상기 트레이닝 결과의 정확 여부를 판단하는 단계; 상기 트레이닝 결과가 정확하면, 여기신호를 생성하고, 상기 여기신호를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 증강시키는 단계; 상기 트레이닝 결과가 정확하지 않으면, 징벌신호를 생성하고, 상기 징벌신호를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 조정하는 단계;를 포함한다.
제2 측면에 따르면, 본 출원의 실시예에서 제공하는 자연어 및 지식 그래프 기반 텍스트 처리 장치는, 사용자가 입력한 텍스트 처리 요청을 수신하되, 상기 텍스트 처리 요청은 텍스트 중 예측 대상의 의미 표현을 기초로 상기 텍스트를 처리할 것을 요청하기 위한 것인 수신모듈; 상기 예측 대상을 미리 트레이닝된 연합 학습 모델에 입력하여, 상기 예측 대상의 의미 표현을 획득하되, 상기 연합 학습 모델은 지식 그래프 표현 학습과 자연어 표현 학습을 위한 것이고, 상기 의미 표현은 상기 연합 학습 모델이 상기 지식 그래프 표현 학습과 상기 자연어 표현 학습을 결합하여 획득한 것인 획득모듈; 상기 의미 표현을 기초로 상기 텍스트를 처리하는 처리모듈;을 포함한다.
일 가능한 설계에 있어서, 상술한 장치는 상기 수신모듈이 사용자가 입력한 텍스트 처리 요청을 수신하기 전에, 트레이닝 샘플에 대해 트레이닝을 수행하여 상기 연합 학습 모델을 획득하는 트레이닝 모듈을 더 포함하고, 상기 연합 학습 모델은 자연어 학습층, 연합 학습 관련층 및 지식 그래프 학습층을 포함하고, 상기 연합 학습 관련층은 상기 지식 그래프 학습층과 상기 자연어 학습층을 관련시키기 위한 것이다.
일 가능한 설계에 있어서, 상기 트레이닝 모듈은 상기 자연어 학습층에서 상기 트레이닝 샘플 중 목표 트레이닝 샘플의 이웃 샘플을 결정하고, 상기 연합 학습 관련층에서 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플이 상기 지식 그래프 학습층 중 각 엔티티에 대한 가중치를 결정하고, 상기 각 엔티티의 가중치를 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정하고, 상기 지식 그래프 의미 표현과 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플의 트레이닝 결과를 결정하기 위한 것이다.
일 가능한 설계에 있어서, 상기 트레이닝 모듈은, 상기 연합 학습 관련층에서 상기 목표 트레이닝 샘플이 상기 지식 그래프 학습층 중 각 엔티티에 대한 가중치를 결정할 때, 상기 지식 그래프 학습층 중 각각의 엔티티에 대하여, 상기 연합 학습 관련층에서 상기 목표 트레이닝 샘플이 상기 엔티티에 대한 M개의 가중치를 결정하고, 상기 M≥1이며 정수이다.
일 가능한 설계에 있어서, 상기 트레이닝 모듈은, 상기 각 엔티티의 가중치를 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정할 때, 상기 지식 그래프 학습층 중 각각의 엔티티에 대하여, 상기 엔티티에 대응되는 가중치를 기초로 상기 엔티티의 지식 그래프 의미 표현에 대해 처리하여, 복수의 처리된 지식 그래프 의미 표현을 획득하고, 상기 복수의 처리된 지식 그래프 의미 표현을 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정한다.
일 가능한 설계에 있어서, 상기 트레이닝 모듈은, 상기 지식 그래프 의미 표현과 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플의 트레이닝 결과를 결정한 후에, 또한 상기 트레이닝 결과를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 최적화한다.
일 가능한 설계에 있어서, 상기 트레이닝 모듈은 구체적으로 상기 트레이닝 결과의 정확 여부를 판단하고; 상기 트레이닝 결과가 정확하면, 여기신호를 생성하고, 상기 여기신호를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 증강시키고; 상기 트레이닝 결과가 정확하지 않으면, 징벌신호를 생성하고, 상기 징벌신호를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 조정한다.
제3 측면에 따르면, 본 출원의 실시예에서 제공하는 전자기기는, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하되, 상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1 측면 내지 제1 측면 중 어느 하나에 따른 방법을 수행할 수 있도록 한다.
제4 측면에 따르면, 본 출원의 실시예에서 제공하는 명령을 포함하는 컴퓨터 프로그램 제품은, 전자기기 상에서 실행될 때, 전자기기가 상술한 제1 측면 또는 제1 측면의 다양한 가능한 실시형태에 따른 방법을 수행하도록 한다.
제5 측면에 따르면, 본 출원의 실시예의 실시예는 저장매체를 제공한다. 상기 저장매체는, 전자기기 상에서 실행될 때, 전자기기가 상술한 제1 측면 또는 제1 측면의 다양한 가능한 실시형태에 따른 방법을 수행하도록 하는 명령을 저장한다.
삭제
상술한 출원 중 하나의 실시예는 아래와 같은 이점 또는 유리한 효과를 구비한다. 즉, 전자기기는 사용자로부터 입력되는 텍스트 처리 요청을 수신한 후, 텍스트 중 예측 대상을 미리 트레이닝된 연합 학습 모델로 입력하여 예측 대상의 의미 표현을 학습해내고, 해당 의미 표현은 연합 학습 모델이 지식 그래프 표현 학습 및 자연어 표현 학습을 결합하여 획득한 것이며, 나아가, 전자기기는 의미 표현을 기초로 텍스트를 처리한다. 해당 과정에서, 전자기기가 연합 학습 모델을 사용하여 획득한 의미 표현은 해당 연합 학습 모델이 지식 그래프 표현 학습 및 자연어 표현 학습을 결합하여 획득된 것으로서, 지식 그래프 표현 학습과 자연어 표현 학습을 결합하므로, 지식 그래프 표현 학습 또는 자연어 표현 학습만 이용하여 예측 대상의 의미 표현을 학습하는 것에 비해, 연합 학습 모델은 고려하는 요소가 더 많고 더 전면적이므로, 의미 표현의 정확성을 향상시킬 수 있고, 나아가 텍스트 처리 정확성을 향상시킨다.
상술한 선택적 방식에 따른 기타 효과는 아래의 기재에서 구체적인 실시예를 결합하여 설명한다.
첨부된 도면은 본 해결수단에 대한 더 충분한 이해를 돕기 위한 것으로서, 본 출원에 대해 한정하지 않는다. 여기서,
도 1은 본 출원의 실시예에 따른 자연어 및 지식 그래프 기반 텍스트 처리 방법의 흐름도이다.
도 2는 본 출원의 실시예에 따른 자연어 및 지식 그래프 기반 텍스트 처리 방법에 적용되는 연합 학습 모델의 구성을 나타내는 도면이다.
도 3은 본 출원의 실시예에 따른 자연어 및 지식 그래프 기반 텍스트 처리 장치의 구성을 나타내는 도면이다.
도 4는 본 출원의 실시예에 따른 다른 일 자연어 및 지식 그래프 기반 텍스트 처리 장치의 구성을 나타내는 도면이다.
도 5는 본 출원의 실시예의 자연어 및 지식 그래프 기반 텍스트 처리 방법을 구현하는 전자기기의 블록도이다.
아래에서는 첨부 도면을 결합하여 본 출원의 예시적 실시예에 대해 설명한다. 여기서 본 출원의 실시예의 다양한 세부내역을 포함하여 쉽게 이해할 수 있도록 한다. 이들은 단지 예시적인 것으로 간주하여야 한다. 따라서, 당업자는, 여기에 기재된 실시예에 대해 다양한 변형 및 수정을 가할 수 있으며, 본 출원의 범위와 정신을 벗어나지 않는것으로 간주하여야 한다. 마찬가지로, 명확성과 간결성을 위하여, 아래의 기재에서 공지 기능과 구조에 대한 설명을 생략한다.
일반적으로, 지식 그래프와 자연어는 두 개별 분야로서, 해당 두 분야는 모두 개별적으로 표현 학습 기술 체제로 발전되어 왔다. 각 분야의 표현 학습 기술은 각각 서로 다른 모델링 방법과 최적화 목표를 따르며, 교차 융합이 존재히지 않는다. 지식 그래프 표현 학습은 통상적으로 벡터 공간 연산 형태로, 포인트와 에지 사이의 동시 발생 법칙에 대해 모델링하고, 자연어 표현 학습은 통상적으로 서열 생성 형태로, 단어나 문구 사이의 동시 발생 법칙에 대해 모델링한다.
비록 현재 자연어 분야에서 명명 엔티티 정보를 통해 언어 표현 학습을 개선하는 방법이 제안되었지만, 해당 방법은 자연어 표현 학습에 지식의 초보적 버전을 도입한 것으로 간주된다. 하지만, 해당 방법은 다층 셀프 주의 신경망을 학습 모델로서 사용하고, 클로즈, 이웃 문구 쌍 판단 등의 단어, 문구 동시 발생류 임무를 학습 목표로 사용한다. 이의 지식을 도입하는 구체적 방식은, 명명 엔티티 사전을 기초로 자연어 문구 중 대응되는 단어 서열을 묶음 처리하고, 통일된 처리 대상으로서 언어 표현 학습 과정에 참여한다. 묶음 처리한다 함은, 하나의 단어가 명명 엔티티 사전에서 대응되는 엔티티가 존재하면, 해당 단어를 하나의 전체로서 분리시키지 않는 것을 가리킨다. 예를 들어, 해당 단어에 괄호를 추가하여, 해당 단어는 하나의 엔티티로서, 더 이상 분할할 수 없음을 나타낸다. 이렇게, 명명 엔티티 사전 지식을 통해 자연어 표현 학습을 개선하는 효과를 달성한다. 여기서, 명명 엔티티 사전에 복수의 엔티티가 기록되어 있고, 엔티티 리스트로 간주할 수 있으며, 이는 지식 그래프를 통해 획득된 것일 수 있고, 엔티티를 수집하여 획득된 것일 수도 있다.
상술한 명명 엔티티 사전 지식을 통해 자연어 표현 학습을 개선하는 것은, 아주 초보적인 외부 지식을 이용하는 방식이다. 하지만, 해당 방법은 외부 지식을 통해 자연어 표현 학습을 보조할 수 있고, 반대로 자연어를 통해 외부 지식 그래프 표현 학습을 보조할 수는 없다.
자연어 표현 학습 각도에서, 상술한 명명 엔티티 사전 지식을 통해 자연어 표현 학습을 개선하는 방법도 두가지 단점이 존재한다. 단점 1로서, 지식 사용 범위 측면에서, 단순히 명명 엔티티 사전을 통해 하나의 단어 또는 하나의 글자와 대응되는 엔티티의 존재 여부를 판단한다. 구체적으로, 지식 그래프는 대량의 포인트를 포함할 뿐만 아니라, 에지 및 포인트와 에지로 구성된 토폴로지를 더 포함한다. 하지만, 상술한 방법은 하나의 단어 또는 글자가 엔티티인지 여부인 이 하나의 정보만 사용한다. 단점 2로서, 지식 사용 방식 측면에서, 상술한 방법은 자연어 표현 학습을 기본 프레임으로 하며, 이 기초 상에서 명명 엔티티 사전에서 제공하는 엔티티 리스트를 기초로 하나의 단어 또는 글자가 엔티티인지 여부를 판단한다. 해당 방식의 정보 흐름은 단일 방향으로서, 외부 지식 즉 명명 엔티티 사전으로부터 자연어까지 흐르고, 자연어와 외부 지식 사이의 양방향 대응 규칙을 효과적으로 이용할 수 없다.
이를 감안하여, 본 출원의 실시예는, 지식 그래프의 표현 학습과 자연 의미의 표현 학습을 결합시켜, 품질이 더 우수한 의미 표현을 학습하는 자연어 및 지식 그래프 기반 텍스트 처리 방법 및 장치를 제공한다.
이하, 본 출원의 실시예와 관련된 명사에 대해 해석 설명한다.
우선, 지식 그래프.
본 출원의 실시예에서, 지식 그래프는 포인트와 에지가 이미지의 형태로 구성되며, 지식의 구조화 표현 형태이다. 지식 그래프의 포인트가 나타내는 정보는 엔티티, 개념, 흥미 및 이벤트 등이 각각 개념 그래프, 흥미 그래프 및 이벤트 그래프 등에 대응되는 구체적인 지식 그래프 유형을 포함하지만 이에 한정되지 않는다. 대응되게, 에지가 나타낼 수 있는 정보는 속성, 종속, 시간 순서 및 인과 등을 포함하지만 이에 한정되지 않는다. 지식 그래프의 포인트와 에지의 의미 표현은, 지식 베이스 보완, 지식 베이스 문답, 지능 추천, 이벤트 분석, 언어 이해, 기계 번역 등의 인공 지능 임무에 사용될 수 있다.
다음으로, 자연어 학습.
본 출원의 실시예에서, 자연어는 문자 부호나 단어가 서열 방식으로 구성되며, 사람들이 교류 및 사고하기 위한 툴 및 캐리어로서, 텍스트 처리를 통해, 열독 이해, 지능 문답, 기계 번역 및 자동 창작 등과 같은 지능 임무의 인식에 사용될 수 있다.
본 출원의 실시예에서, 전자기기는 지식 그래프의 표현 학습과 자연어의 표현 학습 과정을 연합 모델링하고, 모델링 과정에서 지식 그래프를 구성하는 엔티티와 자연어를 구성하는 단어의 관련 관계를 도입하여, 연합 학습 모델을 획득하고, 해당 연합 학습 모델을 기반으로 더 우수한 지식 그래프 의미 표현과 자연어 의미 표현을 학습해낸다. 여기서, 전자기기는 예를 들어 서버 또는 단말기 등일 수 있다.
도 1은 본 출원의 실시예에 따른 자연어 및 지식 그래프 기반 텍스트 처리 방법의 흐름도이다. 본 실시예는 전자기기의 각도로부터 설명한다. 본 실시예는 아래의 단계를 포함한다.
사용자가 입력한 텍스트 처리 요청을 수신하되, 상기 텍스트 처리 요청은 텍스트 중 예측 대상의 의미 표현을 기초로 상기 텍스트를 처리할 것을 요청하기 위한 것이다(단계 101).
예시적으로, 전자기기 상에 연합 학습 모델이 미리 로딩되고, 텍스트 처리가 필요할 때, 사용자는 클릭 조작, 터치 조작 또는 음성 입력 등의 방식을 통해 전자기기로 처리 요청을 입력하고, 전자기기는 해당 텍스트 처리 요청을 수신 및 인식한다.
예를 들어, 관련 학습 모델이 지능 임무의 인식을 보조하기 위해 사용될 때, 전자기기는 텍스트 처리 요청을 수신한 후, 처리 대상 텍스트에 대해 존 워드(zoned word) 등의 처리를 수행하여, 텍스트를 개별 단어 또는 글자로 분할하고, 해당 개별 단어 또는 글자는 바로 예측 대상이다.
또 예를 들어, 관련 학습 모델이 지식 그래프 임무의 보조에 사용될 때, 전자기기는 텍스트 처리 요청을 수신한 후, 처리 대상 텍스트에 포함된 엔티티를 인식하고, 이러한 엔티티는 바로 예측 대상이다.
상기 예측 대상을 미리 트레이닝된 연합 학습 모델에 입력하여, 상기 예측 대상의 의미 표현을 획득하고, 상기 연합 학습 모델은 지식 그래프 표현 학습과 자연어 표현 학습을 위한 것이고, 상기 의미 표현은 상기 연합 학습 모델이 상기 지식 그래프 표현 학습과 상기 자연어 표현 학습을 결합하여 획득한 것이다(단계 102).
예시적으로, 각각의 예측 대상에 대하여, 전자기기는 해당 예측 대상을 연합 학습 모델에 입력하여, 해당 예측 대상의 의미 표현을 획득한다. 예를 들어, 예측 대상이 단어 또는 글자일 때, 관련 학습 모델은 자연어 의미 표현을 출력하게 된다. 또 예를 들어, 예측 대상이 엔티티일 때, 관련 학습 모델은 지식 그래프 의미 표현을 출력하게 된다.
본 실시예에서, 관련 학습 모델로부터 출력되는 의미 표현은, 지식 그래프 의미 표현 또는 자연어 의미 표현을 물론하고, 모두 연합 학습 모델이 사전에 지식 그래프 표현 학습과 자연어 표현 학습을 결합하여 획득한 것이다. 다시 말하면, 전자기기는 연합 학습 모델을 트레이닝할 때, 하나의 단어 또는 글자인 트레이닝 샘플에 대하여, 트레이닝 과정에서 해당 트레이닝 샘플의 이웃 트레이닝 샘플을 고려할 뿐만 아니라, 해당 트레이닝 샘플의 지식 그래프 정보도 고려한다. 또한, 해당 트레이닝 샘플의 트레이닝 결과는 지식 그래프 중 각 엔티티의 지식 그래프 의미 표현의 조정에도 사용되어, 지식 그래프 중 각각의 엔티티의 의미 표현이 지식 그래프 중 기타 엔티티 외에, 자연어 처리 중 트레이닝 샘플의 트레이닝 결과도 고려되도록 한다.
상기 의미 표현을 기초로 상기 텍스트를 처리한다(단계 103).
예시적으로, 전자기기는 처리 대상 텍스트 중 각각의 예측 대상의 의미 표현을 획득한 후, 이러한 의미 표현을 기초로 텍스트를 처리한다. 예를 들어, 관련 학습 모델이 지능 임무의 인식을 보조하기 위해 사용될 때, 전자기기는 의미 표현을 기초로 열독 이해, 지능 문답, 기계 번역 또는 자동 창작 등을 수행한다. 또 예를 들어, 관련 학습 모델이 지식 그래프 임무의 보조에 사용될 때, 전자기기는 의미 표현을 기초로 지식 베이스 보완, 지식 베이스 추리, 지식 베이스 문답 등을 수행한다.
본 출원의 실시예에 따른 자연어 및 지식 그래프 기반 텍스트 처리 방법은, 전자기기가 사용자로부터 입력되는 텍스트 처리 요청을 수신한 후, 텍스트 중 예측 대상을 미리 트레이닝된 연합 학습 모델로 입력하여 예측 대상의 의미 표현을 학습해내고, 해당 의미 표현은 연합 학습 모델이 지식 그래프 표현 학습과 자연어 표현 학습을 결합하여 획득한 것이다. 나아가, 전자기기는 의미 표현을 기초로 텍스트를 처리한다. 해당 과정에서, 전자기기가 연합 학습 모델을 사용하여 획득한 의미 표현은, 해당 연합 학습 모델이 지식 그래프 표현 학습과 자연어 표현 학습을 결합하여 획득한 것으로서, 지식 그래프 표현 학습과 자연어 표현 학습을 결합하므로, 지식 그래프 표현 학습 또는 자연어 표현 학습만 이용하여 예측 대상의 의미 표현을 학습하는 것에 비해, 연합 학습 모델이 고려하는 요소가 더 많고 더 전면적이므로, 의미 표현의 정확성을 향상시킬 수 있으며, 나아가 텍스트 처리의 정확성을 향상시킨다.
상술한 실시예에서, 전자기기는 사용자가 입력한 텍스트 처리 요청을 수신하기 전에, 트레이닝 샘플에 대해 트레이닝을 더 수행하여 상술한 연합 학습 모델을 획득하되, 상술한 연합 학습 모델에 포함되는 3개의 핵심 모듈은 자연어 학습층, 연합 학습 관련층과 지식 그래프 학습층으로서, 상기 연합 학습 관련층은 상기 지식 그래프 학습층과 상기 자연어 학습층을 관련시키기 위한 것이다. 예시적으로, 도 2를 참조할 수 있으며, 도 2는 본 출원의 실시예에 따른 자연어 및 지식 그래프 기반 텍스트 처리 방법에 적용되는 연합 학습 모델의 구성을 나타내는 도면이다.
도 2를 참조하면, 연합 학습 모델은 자연어 학습층, 연합 학습 관련층 및 지식 그래프 학습층을 포함하고, 이들은 각각 대응되는 서브 신경망 모델에 대응되고, 지식 그래프 학습층 및 자연어 학습층은 연합 학습 관련층의 협력을 받으며, 협력 매커니즘은 다양한 서로 다른 신경망 매커니즘을 사용할 수 있다. 한편, 연합 학습 모델은 지식 그래프 표현 학습과 자연어 표현 학습을 구동하기 위한 기타 임무의 학습모듈을 더 포함한다.
도 2를 참조하면, 실선 박스로 표시되는 자연어 학습층은, 다양한 주류 신경망 언어 모델, 예컨대 순환 신경망(Recurrent Neural Network, RNN) 모델, 롱-쇼트 기억망(Long Short-Term Memor, LSTM) 모델, 변환기(transformer) 모델, 변환기로부터 제공되는 양방향 인버터 특징(Bidirectional Encoder Representations from Transformers, BERT) 및 지식이 증강된 의미 표현 모델(Enhanced Representation through kNowledge IntEgration, ERNIE) 등을 사용할 수 있다. 자연어 학습층의 본질은 문구와 단어 사이에서 정보 전달을 수행하고, 단어 사이의 관련 관계에 대해 모델링하여, 단어 표현을 학습하는 효과를 달성하는 것이다.
도 2를 참조하면, 점선 박스로 표시되는 지식 그래프 학습층은, 그래프 신경망을 사용하여 더 효과적으로 지식 그래프의 토폴로지를 반영할 수 있다. 한편, 지식 그래프 학습층은 그 어떤 모델도 사용하지 않고, 단지 지식 그래프를 포인트와 에지로 구성된 일 리스트로 간주할 수도 있다.
도 2를 참조하면, 쇄선으로 표시되는 연합 학습 관련층은, 하나 또는 다양한 판독 기입 매커니즘으로 구성되고, 연합 학습 관련층의 작용은 단어와 지식 사이를 관련시켜, 자연어 문구와 지식 그래프 지식 베이스 사이의 정보 전달을 구현하는 것이다. 연합 학습 관련층의 판독 기입 매커니즘의 입력은 통상적으로 자연어 학습층 중 단어 또는 글자, 및 지식 그래프 학습층 중 지식 그래프이고, 여기서, 단어 또는 글자는 목표 트레이닝 샘플의 이웃 샘플로서, 예를 들어, 트레이닝 샘플은 도면에 도시된 단어1(word 1, w1)~wn과 같이 n개의 단어 또는 글자를 포함한다. 목표 트레이닝 샘플이 w3이라고 가정하면, w3의 이웃 샘플, 예컨대 w1, w2, w4, w5 등, 및 지식 그래프가 입력되고, 연합 학습 관련층은 입력을 기초로 목표 트레이닝 샘플의 지식 그래프 의미 표현을 획득하여 출력한다. 나아가, 자연어 학습층은 목표 트레이닝 샘플의 지식 그래프 의미 표현 및 이웃 트레이닝 샘플을 기초로, 목표 트레이닝 샘플의 트레이닝 결과를 획득한다.
본 실시예에서, 트레이닝하여 지식 그래프 표현 학습과 자연어 표현 학습의 연합 학습 모델을 획득하는 목적을 달성한다.
상술한 실시예에서, 전자기기는 트레이닝 샘플에 대해 트레이닝을 수행하여 연합 학습 모델을 획득할 때, 지식 그래프 학습층을 통해 자연어 학습층을 개선할 수 있고, 나아가, 자연어 학습층을 이용하여 지식 그래프 학습층을 개선할 수 있다. 이하, 해당 두 측면에 대해 각각 상세하게 설명한다.
우선, 지식 그래프 학습층을 통해 자연어 학습층을 개선한다.
일 가능한 설계에 있어서, 전자기기는 트레이닝 샘플에 대해 트레이닝을 수행하여 상기 연합 학습 모델을 획득할 때, 상기 자연어 학습층에서 상기 트레이닝 샘플 중 목표 트레이닝 샘플의 이웃 샘플을 결정하고, 상기 연합 학습 관련층에서 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플이 상기 지식 그래프 학습층 중 각 엔티티에 대한 가중치를 결정하고, 상기 각 엔티티의 가중치를 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정하고, 상기 지식 그래프 의미 표현과 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플의 트레이닝 결과를 결정한다.
예시적으로, 도 2를 참조하면, 트레이닝 샘플이 w1~wn을 포함하고, w3이 목표 트레이닝 샘플인 경우를 예로 들면, 기존의 트레이닝 과정에서, w3이 목표 트레이닝 샘플일 때, 디폴트적으로 w3 이외의 기타 트레이닝 샘플을 트레이닝한 트레이닝 결과는 이미 알려진 것으로 간주한다. 이러한 이미 알려진 트레이닝 결과를 이용하여 w3의 트레이닝 결과를 예측하여야 한다. 예측 과정에서, 전자기기는 주로 w3의 이웃 샘플, 예컨대 w1, w2, w4, w5 등의 트레이닝 결과를 이용한다. 본 출원의 실시예에서, w3이 목표 트레이닝 샘플일 때, 디플트적으로 w3 이외의 기타 트레이닝 샘플을 트레이닝한 트레이닝 결과는 이미 알려진 것으로 간주한다. 전자기기는 w3의 트레이닝 결과를 예측할 때, w3의 이웃 샘플 w1, w2, w4, w5 등의 트레이닝 결과를 이용하는 것 외에, w3의 지식 그래프 언어 표현을 더 고려하여야 한다.
본 출원의 실시예에서, w3의 지식 그래프 언어 표현은 w3의 이웃 샘플 등을 기초로 획득할 수 있다. 예를 들어, 전자기기는 w3의 이웃 샘플 w1, w2, w4, w5 등을 정합하여 정합 정보를 획득하고, 해당 정합 정보를 연합 학습 관련층으로 입력하고, 연합 학습 관련층에서 해당 정합 정보가 지식 그래프 학습층 중 각각의 엔티티(entity, e), 예컨대 ei, ej, ek 및 el에 대한 가중치를 결정하고, 해당 5개의 가중치와 각 엔티티의 지식 그래프 의미 표현을 기초로, 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정한다. 또 예를 들어, w3의 각각의 이웃 샘플에 대하여, 전자기기는 연합 학습 관련층에서 해당 이웃 샘플이 지식 그래프 학습층 중 각각의 엔티티(entity, e), 예컨대 ei, ej, ek 및 el에 대한 가중치를 각각 결정하여, 20개의 가중치를 획득하고, 해당 20개의 가중치와 각 엔티티의 지식 그래프 의미 표현을 기초로, 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정한다.
본 실시예에서, 지식 그래프를 통해 자연어 표현 학습을 개선하고, 자연어 표현 학습 측면에서, 해당 방법의 지식 사용 범위가 더 넓고, 지식 사용 방식이 더 효과적이며, 표현 학습 연합 모델링을 통해, 해당 방법은 포인트, 에지 및 포인트와 에지로 구성된 토폴로지의 지식을 통합적으로 이용하여, 자연어의 표현 학습 효과를 개선시킬 수 있다.
상술한 실시예에서, 전자기기는 연합 학습 관련층에서 M개의 서로 다른 각도로부터 목표 트레이닝 대상을 위해 지식 그래프 의미 표현을 결정할 수 있다. 이때, 전자기기는 상기 연합 학습 관련층에서 상기 목표 트레이닝 샘플이 상기 지식 그래프 학습층 중 각 엔티티에 대한 가중치를 결정할 때, 상기 지식 그래프 학습층 중 각각의 엔티티에 대하여, 상기 연합 학습 관련층에서 상기 목표 트레이닝 샘플이 상기 엔티티에 대한 M개의 가중치를 결정하고, 상기 M≥1이며 정수이다.
예시적으로, 목표 트레이닝 샘플의 이웃 샘플을 하나의 정합 정보로 정합하는 것을 예로 들면, 해당 정합 정보가 연합 학습 관련층에 도달한 후, 상기 전자기기는 상기 연합 학습 관련층에서 M개의 각도로부터 해당 정합 정보가 지식 그래프 학습층 중 각각의 엔티티(entity, e), 예컨대 ei, ej, ek 및 el에 대한 가중치를 결정하여, 5M개의 가중치를 획득하고, 해당 5M개의 가중치와 각 엔티티의 지식 그래프 의미 표현을 기초로, 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정한다.
M개의 서로 다른 각도로부터 목표 트레이닝 대상을 위해 지식 그래프 의미 표현을 결정하기 위하여, 연합 학습 관련층의 판독 기입 매커니즘을 통해 구현할 수 있다. 예시적으로, 연합 학습 관련층은 하나 또는 다양한 판독 기입 매커니즘으로 구성되고, 판독 기입 매커니즘으로서 가장 흔히 사용되는 것은 주의력 매커니즘이며, 연합 학습 관련층은 하나의 주의력 모듈을 사용할 수 있고, 복수의 주의력 모듈을 사용할 수도 있다. 도 2는 M개의 주의력 모듈을 사용하는 것을 나타내고 있다. 여기서, 주의력 모듈은 판독 기입(read write) 모듈이라고 불리울 수도 있다. 복수의 주의력 모듈을 사용할 때, 지식 그래프를 이용하여 학습해낸 데이터 부수, 예를 들어 각각의 엔티티에 대한 가중치의 수량은 주의력 모듈의 수량과 동일하다. 예를 들어, 지식 그래프 학습층이 그래프 신경망을 사용할 경우, 그래프 신경망은 M 번 실행되어, M 개 버전의 지식 그래프 데이터를 획득하여 주의력 매커니즘이 액세스하도록 하여야 한다. 또 예를 들어, 지식 그래프 학습층이 그 어떤 신경망 모듈도 사용하지 않는 경우에, M부의 동일한 데이터 구조 즉 포인트와 에지의 리스트만 유지하면 된다. 이렇게, M 개 버전의 주의력 매커니즘을 통해, 이러한 M부의 동일한 데이터 구조가 서로 다른 각도의 지식 그래프 의미 표현을 학습해내게 된다.
본 실시예에서, 복수의 주의력 매커니즘을 통해 지식 그래프에 대해 서로 다른 학습을 수행하여, 목표 트레이닝 샘플의 복수의 각도의 지식 그래프 의미 표현을 획득하고, 복수의 각도의 지식 그래프 의미 표현과 복수의 이웃 샘플을 이용하여 목표 트레이닝 샘플을 예측할 수 있으며, 예측 정확성을 향상시킨다.
특별히 설명하면, 본 출원의 실시예에서 트레이닝 샘플의 수량은 막대하며, 하나의 목표 트레이닝 샘플의 이웃 트레이닝 샘플은 4 개 심지어 더 많을 수도 있다. 마찬가지로, 지식 그래프 학습층 중 엔티티의 수량도 아주 많으며, 상술한 ei, ej, ek 및 el은 단지 예시일 뿐, 실제 구현 시, 엔티티의 수량은 수만 또는 그보다 더 많을 수도 있다.
전자기기는 목표 트레이닝 샘플의 지식 그래프 의미 표현을 획득한 후, 해당 지식 그래프 의미 표현과 목표 트레이닝 샘플의 이웃 샘플을 기초로, 목표 트레이닝 샘플의 트레이닝 결과를 결정하며, 즉, 목표 트레이닝 샘플에 대해 예측한다. 예를 들어, 도 2에서, w1, w2, w4, w5 및 w3의 지식 그래프 의미 표현은 이미 알려져 있고, w3이 어느 단어 또는 어느 글자인지 예측한다.
특별히 설명하면, 상술한 설명은 w1, w2, w4, w5는 이미 알려져 있고, w3은 알려져 있지 않는 예를 들어 본 출원의 실시예에 대해 상세하게 설명하였지만, 본 출원의 실시예는 이에 한정되지 않는다. 기타 실시형태에서, a) 앞에 복수의 단어가 알려져 있고, 현재의 단어를 예측하는 것, 예를 들어, w1 및 w2는 알려져 있고, w3을 예측하는 것; b) 앞 및 뒤의 복수의 단어는 알려져 있고, 현재 단어를 예측하는 것, 예를 들어, w1, w2, w4, w5는 알려져 있고, w3을 예측하는 것; c) 2개의 문구 즉 2개의 단어 서열이 이웃 문구인지 예부를 예측하는 것; d) 앞에 복수의 단어는 알려져 있고, 현재 복수의 단어, 즉 문구를 예측하는 것, 예를 들어, w1, w2, w3은 알려져 있고, w4 및 w5를 예측하는 것을 포함하지만 이에 한정되지 않는다.
상술한 실시예에서, 전자기기는 목표 트레이닝 대상이 지식 그래프 학습층 중 각 엔티티에 대한 가중치를 획득한 후, 각 엔티티의 가중치를 기초로, 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정할 때, 상기 지식 그래프 학습층 중 각각의 엔티티에 대하여, 상기 엔티티에 대응되는 가중치를 기초로 상기 엔티티의 지식 그래프 의미 표현에 대해 처리하여, 복수의 처리된 지식 그래프 의미 표현을 획득하고, 상기 복수의 처리된 지식 그래프 의미 표현을 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정한다.
예시적으로, 연합 학습 관련층이 하나의 주의력 모듈을 사용하는 것을 예로 들면, 전자기기는 w3의 이웃 샘플 w1, w2, w4, w5 등을 정합하여 정합 정보를 획득하고, 해당 정합 정보를 연합 학습 관련층에 입력하여, 연합 학습 관련층에서 해당 정합 정보가 지식 그래프 학습층 중 각각의 엔티티(entity, e), 예컨대 ei, ej, ek 및 el에 대한 가중치를 결정하고, 각각의 엔티티의 지식 그래프 의미 표현과 대응되는 가중치를 곱하여, 5개의 처리된 지식 그래프 의미 표현을 획득한 후, 해당 5개의 처리된 지식 그래프 의미 표현을 합산 연산하여, 목표 트레이닝 샘플의 지식 그래프 의미 표현을 획득한다. 한편, 곱셈과 합산 연산 외에, 또한 기타 연산 방식을 사용할 수도 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다.
본 실시예에서, 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정해내는 목적을 달성한다.
다음, 자연어 학습층을 통해 지식 그래프 학습층을 개선한다.
일 가능한 설계에 있어서, 전자기기는 상기 지식 그래프 의미 표현과 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플의 트레이닝 결과를 결정한 후에, 또한 상기 트레이닝 결과를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 최적화한다.
예시적으로, 본 출원의 실시예에서, 지식 그래프 학습층을 통해 자연어 학습층을 개선한 후, 또한 추가적으로 목표 트레이닝 샘플의 트레이닝 결과를 기초로, 지식 그래프 학습층 중 각 엔티티의 의미 표현을 최적화할 수 있다.
본 실시예에서, 자연어 학습층을 통해 지식 그래프 학습층을 개선하는 목적을 달성한다. 지식 그래프 표현 학습의 각도에서, 해당 방법은 자연어 표현 학습의 트레이닝 과정을 통해, 지식 그래프 표현 학습 과정에 대해 조화 및 최적화하고, 지식 그래프 표현 학습 자체의 학습 과정에 대해 보조 및 보충할 수 있으며, 이에 따라 더 우수한 지식 그래프 표현을 학습해내는 것에 기여할 수 있다.
자연어 학습층을 통해 지식 그래프 학습층을 개선할 때, 전자기기는 목표 트레이닝 대상의 트레이닝 결과의 정확 여부를 판단한다. 트레이닝 결과가 정확하면, 여기신호를 생성하고, 상기 여기신호를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 증강시킨다. 상기 트레이닝 결과가 정확하지 않으면, 징벌신호를 생성하고, 상기 징벌신호를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 약화시킨다.
예시적으로, 다시 도 2를 참조하면, 이웃 샘플 w1, w2, w4, w5 및 w3의 지식 그래프 언어 표현을 통해 w3를 예측한 후, 전자기기는 w3의 트레이닝 결과의 정확 여부, 즉, w3이 어느 단어 또는 어느 글자인지 정확하게 예측하였는지 판단한다. 트레이닝 결과가 정확하면, 여기신호를 생성하고 지식 그래프 학습층으로 피드백하여, 전자기기가 지식 그래프 학습층에서 엔티티 ei, ej, ek 및 el의 지식 그래프 의미 표현을 증강시키도록 한다. 트레이닝 결과가 정확하지 않으면, 지식 그래프 학습층의 엔티티 ei, ej, ek 및 el의 지식 그래프 의미 표현이 정확하지 않을 수 있으므로, 이때, 전자기기는 징벌신호를 생성하고 지식 그래프 학습층으로 피드백하여, 전자기기가 지식 그래프 학습층에서 지식 그래프 학습 모델에 포함된 복수의 엔티티 중 각각의 엔티티의 의미 표현을 조정하도록 한다.
본 실시예에서, 자연어 학습층을 통해 지식 그래프 학습층을 개선하는 목적을 달성한다.
이하, 연합 학습 모델의 트레이닝을 어떻게 구동하는지에 대해 상세하게 설명한다.
일 실시형태에서, 자연어 학습층의 구동 하에 전체 연합 학습 모델의 학습을 수행할 수 있다.
예시적으로, 자연어 학습층은 흔히 사용하는 언어 모델 학습 전략을 사용하며, a) 앞에 복수의 단어는 이미 알려져 있고, 현재의 단어를 예측하는 것, 예를 들어, w1와 w2는 알려져 있고, w3을 예측하는 것; b) 앞 및 뒤의 복수의 단어는 알려져 있고, 현재 단어를 예측하는 것, 예를 들어, w1, w2, w4, w5는 알려져 있고, w3을 예측하는 것; c) 2개의 문구 즉 2개의 단어 서열이 이웃 문구인지 여부를 예측하는 것; d) 앞에 복수의 단어는 알려져 있고, 현재 복수의 단어, 문구를 예측하는 것, 예를 들어, w1, w2, w3은 알려져 있고, w4와 w5를 예측하는 것을 포함하지만 이에 한정되지 않는다. 자연어 학습층은 상술한 언어 모델 학습 전략으로 구동하여, 연합 학습 관련층의 브리지 작용을 통해, 추가적으로 지식 그래프 학습층의 학습을 구동함으로써, 자연어의 단어의 자연적 의미 표현, 및 지식 그래프의 포인트와 에지의 지식 그래프 의미 표현을 동기적으로 학습해낼 수 있다. 한편, 사용자가 연합 학습 모델만 언어 모델로서 사용할 때, 지식 그래프 학습층은 자연어 학습층의 플러그 인 지식 베이스로 간주될 수 있으며, 전체 연합 학습 모델은 하나의 지식이 증강된 언어 모델로 간주될 수 있다.
다른 일 실시형태에서, 상위층 임무 구동 연합 학습 모델의 트레이닝을 사용할 수도 있다. 여기서, 상위층 임무는 자연어 학습층의 인식 지능 임무, 예컨대 열독 이해, 문제 시스템, 기계 번역 등을 의미한다. 구체적으로 구현할 때, 자연어 학습층의 단어의 표현을 최상위층 구동 임무의 입력으로 하여 구현할 수 있다. 이에 따라, 최상위층 인식 임무의 구동 하에, 상위층 임무 자체의 파라미터, 자연어 학습층의 파라미터, 연합 학습 관련층의 파라미터 및 지식 그래프 학습층의 파라미터는 모두 동기적으로 학습될 수 있다. 이 기초 상에서, 지식 그래프 타입의 임무를 추가적으로 도입하여 전체 연합 학습 모델의 학습, 예컨대 지식 베이스 보완, 지식 베이스 문답 및 기타 지식 추리 임무를 협조 구동하여, 지식 그래프 표현 부분의 최적화 학습을 수행할 수 있다. 이러한 경우, 멀티 임무 학습 또는 멀티 목표 학습 전략을 사용하여, 지식 그래프를 최적화하는 최적화 목표와 지능 임무를 인식하는 최적화 목표를 협동할 수 있다.
상술한 실시예에서, 지식 그래프 표현 학습과 자연어 표현 학습 과정을 연합 모델링하여, 지식 그래프가 구성된 요소와 자연어가 구성된 요소 사이의 관련관계를 이용하여, 더 우수한 지식 그래프 의미 표현과 자연어 의미 표현을 학습해낼 수 있다.
특별히 설명하면, 상술한 실시예에서, 지식 그래프는 일반 의미의 사실 지식 그래프를 포함할 뿐만 아니라, 개념 그래프, 흥미 포인트 그래프, 이벤트 그래프 등의 특종 지식 그래프 유형을 더 포함한다. 대응되게, 지식 그래프 중 포인트는 엔티티, 개념, 흥미 및 이벤트 등 유형의 정보를 포함하지만 이에 한정되지 않고, 에지는 속성, 종속, 시간 순서 및 인과 등의 유형의 관련을 포함하지만 이에 한정되지 않는다.
위에서는 본 출원의 실시예에 따른 자연어 및 지식 그래프 기반 텍스트 처리의 구체적인 구현에 대해 설명하였다. 후술하는 내용은, 본 출원의 장치 실시예에 관한 것으로서, 본 출원의 방법 실시예를 수행할 수 있다. 본 출원의 장치 실시예에서 개시되지 않은 상세한 내용은, 본 출원의 방법 실시예를 참조할 수 있다.
도 3은 본 출원의 실시예에 따른 자연어 및 지식 그래프 기반 텍스트 처리 장치의 구성을 나타내는 도면이다. 해당 장치는 전자기기에 집적되거나 전자기기를 통해 구현될 수 있으며, 전자기기는 단말기이거나 서버 등일 수 있다. 도 3에 도시된 바와 같이, 본 실시예에서, 해당 자연어 및 지식 그래프 기반 텍스트 처리 장치(100)는,
사용자가 입력한 텍스트 처리 요청을 수신하되, 상기 텍스트 처리 요청은 텍스트 중 예측 대상의 의미 표현을 기초로 상기 텍스트를 처리할 것을 요청하기 위한 것인 수신모듈(11);
상기 예측 대상을 미리 트레이닝된 연합 학습 모델에 입력하여, 상기 예측 대상의 의미 표현을 획득하되, 상기 연합 학습 모델은 지식 그래프 표현 학습과 자연어 표현 학습을 위한 것이고, 상기 의미 표현은 상기 연합 학습 모델이 상기 지식 그래프 표현 학습과 상기 자연어 표현 학습을 결합하여 획득한 것인 획득모듈(12);
상기 의미 표현을 기초로 상기 텍스트를 처리하는 처리모듈(13);을 포함할 수 있다.
도 4는 본 출원의 실시예에 따른 다른 일 자연어 및 지식 그래프 기반 텍스트 처리 장치의 구성을 나타내는 도면이다. 도 4를 참조하면, 상술한 자연어 및 지식 그래프 기반 텍스트 처리 장치(100)는,
상기 수신모듈(11)이 사용자가 입력한 텍스트 처리 요청을 수신하기 전에, 트레이닝 샘플에 대해 트레이닝을 수행하여 상기 연합 학습 모델을 획득하되, 상기 연합 학습 모델은 자연어 학습층, 연합 학습 관련층 및 지식 그래프 학습층을 포함하고, 상기 연합 학습 관련층은 상기 지식 그래프 학습층과 상기 자연어 학습층을 관련시키기 위한 것인 트레이닝 모듈(14)을 더 포함한다.
일 가능한 설계에 있어서, 상기 트레이닝 모듈(14)은, 상기 자연어 학습층에서 상기 트레이닝 샘플 중 목표 트레이닝 샘플의 이웃 샘플을 결정하고, 상기 연합 학습 관련층에서 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플이 상기 지식 그래프 학습층 중 각 엔티티에 대한 가중치를 결정하고, 상기 각 엔티티의 가중치를 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정하고, 상기 지식 그래프 의미 표현과 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플의 트레이닝 결과를 결정하기 위한 것이다.
일 가능한 설계에 있어서, 상기 트레이닝 모듈(14)은, 상기 연합 학습 관련층에서 상기 목표 트레이닝 샘플이 상기 지식 그래프 학습층 중 각 엔티티에 대한 가중치를 결정할 때, 상기 지식 그래프 학습층 중 각각의 엔티티에 대하여, 상기 연합 학습 관련층에서 상기 목표 트레이닝 샘플이 상기 엔티티에 대한 M개의 가중치를 결정하고, 상기 M≥1이며 정수이다.
일 가능한 설계에 있어서, 상기 트레이닝 모듈(14)은, 상기 각 엔티티의 가중치를 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정할 때, 상기 지식 그래프 학습층 중 각각의 엔티티에 대하여, 상기 엔티티에 대응되는 가중치를 기초로 상기 엔티티의 지식 그래프 의미 표현에 대해 처리하여, 복수의 처리된 지식 그래프 의미 표현을 획득하고, 상기 복수의 처리된 지식 그래프 의미 표현을 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정한다.
일 가능한 설계에 있어서, 상기 트레이닝 모듈(14)은, 상기 지식 그래프 의미 표현과 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플의 트레이닝 결과를 결정한 후에, 또한 상기 트레이닝 결과를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 최적화한다.
일 가능한 설계에 있어서, 상기 트레이닝 모듈(14)은, 구체적으로 상기 트레이닝 결과의 정확 여부를 판단하고; 상기 트레이닝 결과가 정확하면, 여기신호를 생성하고, 상기 여기신호를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 증강시키고; 상기 트레이닝 결과가 정확하지 않으면, 징벌신호를 생성하고, 상기 징벌신호를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 조정한다.
본 출원의 실시예에 따른 장치는, 상술한 실시예 중 전자기기가 수행하는 방법에 사용될 수 있으며, 그 구현 원리와 기술효과는 유사하므로, 여기서는 중복되는 설명을 생략한다.
본 출원의 실시예에 따르면, 본 출원은 전자기기와 판독 가능 저장 매체를 더 제공한다.
도 5는 본 출원의 실시예의 자연어 및 지식 그래프 기반 텍스트 처리 방법을 구현하기 위한 전자기기의 블록도이다. 전자기기는 다양한 형태의 디지털 컴퓨터, 예컨대, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크스테이션, 개인 휴대 단말, 서버, 블레이드 서버, 대형 컴퓨터, 및 기타 적합한 컴퓨터를 나타내기 위한 것이다. 전자기기는 다양한 형태의 이동장치, 예컨대, 개인 디지털 처리, 셀폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치를 더 나타낼 수 있다. 본문에 개시된 부재, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것이며, 본문에 개시된 것 및/또는 요구하는 본 출원의 구현을 한정하려는 의도가 아니다.
도 5에 도시된 바와 같이, 해당 전자기기는 하나 또는 복수의 프로세서(501), 메모리(502), 및 각 부재를 연결시키기 위한 고속 인터페이스와 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각각의 부재는 서로 다른 버스를 통해 서로 연결되며, 공통 메인보드에 장착되거나 수요에 따라 기타 방식으로 장착될 수 있다. 프로세서는 전자기기 내에서 실행되는 명령을 처리할 수 있으며, 메모리 내 또는 메모리 상에 저장되어 외부 입력/출력 장치(예컨대, 인터페이스에 커플린된 디스플레이 기기) 상에 GUI의 그래픽 정보를 표시하는 명령을 포함할 수 있다. 기타 실시형태에서, 수요에 따라, 복수의 프로세서 및/또는 복수의 버스와 복수의 메모리를 함께 사용할 수 있다. 마찬가지로, 복수의 전자기기를 연결할 수 있으며, 각각의 기기는 부분 필요한 조작을 제공한다(예를 들어, 서버 어레이, 한 세트의 블레이드 서버, 또는 멀티 프로세서 시스템으로서). 도 5는 하나의 프로세서(501)를 예로 든다.
메모리(502)는 바로 본 출원에 따른 비일시적 컴퓨터 판독 가능 저장매체이다. 여기서, 상기 메모리는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 출원에 따른 자연어 및 지식 그래프 기반 텍스트 처리 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장매체는 컴퓨터 명령을 저장하고, 해당 컴퓨터 명령은 컴퓨터가 본 출원에 따른 자연어 및 지식 그래프 기반 텍스트 처리 방법을 수행하도록 한다.
메모리(502)는 비일시적 컴퓨터 판독 가능 저장매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예컨대 본 출원의 실시예에 따른 자연어 및 지식 그래프 기반 텍스트 처리 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 3 및 도 5에 도시된 수신모듈(11), 획득모듈(12), 처리모듈(13) 및 트레이닝 모듈(14))을 저장할 수 있다. 프로세서(501)는 메모리(502)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여, 서버의 다양한 기능 응용 및 데이터 처리를 수행한다. 즉, 상술한 방법 실시예 중 자연어 및 지식 그래프 기반 텍스트 처리 방법을 구현한다.
메모리(502)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있다. 여기서, 프로그램 저장 영역은 운영체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있다. 데이터 저장 영역은 전자기기의 사용에 따라 구축되는 데이터 등을 저장할 수 있다. 한편, 메모리(502)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 예를 들어 적어도 하나의 자기 저장장치, 플래시 메모리, 또는 기타 비일시적 솔리드 스테이트 저장장치와 같은 비일시적 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(502)는 선택적으로 프로세서(501)에 대해 원격으로 설치된 메모리를 포함할 수 있다. 이러한 원격 메모리는 네트워크를 통해 전자기기에 연결될 수 있다. 상술한 네트워크의 실예로서 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 그 조합을 포함하지만 이에 한정되지 않는다.
자연어 및 지식 그래프 기반 텍스트 처리 방법의 전자기기는 입력장치(503)와 출력장치(504)를 더 포함할 수 있다. 프로세서(501), 메모리(502), 입력장치(503) 및 출력장치(504)는 버스 또는 기타 방식으로 연결될 수 있으며, 도 5에서는 버스를 통해 연결되는 것을 예시하고 있다.
입력장치(503)는 입력되는 숫자 또는 문자 부호 정보를 수신할 수 있고, 전자기기의 사용자 설정 및 기능 제어에 대한 키 신호 입력을 생성할 수 있다. 예를 들어 터치 스크린, 키패드, 마우스, 트랙패드, 터치패널, 지시레버, 하나 또는 복수의 마우스 버튼, 트랙볼, 조종레버 등 입력장치를 포함할 수 있다. 출력장치(504)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동모터) 등을 포함할 수 있다. 해당 디스플레이 기기는, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이와 플라즈마 디스플레이 등을 포함할 수 있지만 이에 한정되지 않는다. 일부 실시형태에서, 디스플레이 기기는 터치 스크린일 수 있다.
여기에 기재되는 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 구현되는 것을 포함할 수 있고, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행 및/또는 해석될 수 있으며, 해당 프로그래머블 프로세서는 전용 또는 범용 프로그래머블 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로부터 데이터와 명령을 수신할 수 있으며, 데이터와 명령을 해당 저장 시스템, 해당 적어도 하나의 입력장치, 및 해당 적어도 하나의 출력장치로 전송한다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 응용, 또는 코드라고도 불리운다)은 프로그래머블 프로세서의 기계적 명령을 포함하고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계적 언어를 이용하여 이러한 컴퓨터 프로그램을 실행할 수 있다. 예컨대 본문에서 사용되는 용어 "기계 판독 가능 매체"와 “컴퓨터 판독 가능 매체”는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그래머블 논리 디바이스(PLD))를 가리키고, 기계 판독 가능 신호인 기계적 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 “기계 판독 가능 신호”는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위하여, 컴퓨터 상에서 여기에 기재되는 시스템 및 기술을 실시할 수 있으며, 해당 컴퓨터는 사용자에게 정보를 표시하기 위한 표시장치(예를 들어, CRT(캐소드레이 튜브) 또는 LCD(액정 디스플레이) 모니터); 및 키보드 지향 장치(예를 들어, 마우스 또는 트랙볼)를 구비하고, 사용자는 해당 키보드와 해당 지향장치를 통해 입력을 컴퓨터로 제공할 수 있다. 기타 종류의 장치는 또한 사용자와의 인터랙션을 제공할 수도 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백)일 수 있고; 임의의 형태(사운드 입력, 음성 입력 또는 촉각 입력)을 통해 사용자로부터의 입력을 수신할 수 있다.
여기에 기재되는 시스템과 기술은 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로서), 또는 중간부재를 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 유저 인터페이스 또는 인터넷 브라우저를 구비하는 사용자 컴퓨터, 사용자는 해당 그래픽 유저 인터페이스 또는 해당 인터넷 브라우저를 통해 여기에 기재되는 시스템 및 기술의 실시방식과 인터랙션할 수 있다), 또는 이러한 배그라운드 부재, 중간 부재, 또는 프론트 엔드 부재를 포함하는 임의의 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매채의 디지털 데이터 통신(예를 들어, 통신망)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신망의 예시로서, 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 통상적으로 통신망을 통해 인터랙션한다. 상응한 컴퓨터 상에서 실행되며 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 생성한다.
본 출원의 실시예는 연합 학습 모델 트레이닝 방법을 더 제공한다. 상기 연합 학습 모델은 지식 그래프 학습층과 자연어 학습층을 포함한다. 상기 방법은, 상기 지식 그래프 학습층을 통해 상기 자연어 학습층을 트레이닝하고, 트레이닝된 자연어 학습층을 이용하여 상기 지식 그래프 학습층을 개선하는 단계를 포함한다.
본 출원의 실시예의 기술적 해결수단에 따르면, 전자기기는 사용자로부터 입력되는 텍스트 처리 요청을 수신한 후, 텍스트 중 예측 대상을 미리 트레이닝된 연합 학습 모델로 입력하여 예측 대상의 의미 표현을 학습해내고, 해당 의미 표현은 연합 학습 모델이 지식 그래프 표현 학습과 자연어 표현 학습을 결합하여 획득한 것이다. 나아가, 전자기기는 의미 표현을 기초로 텍스트를 처리한다. 해당 과정에서, 전자기기가 연합 학습 모델을 사용하여 획득한 의미 표현은 해당 연합 학습 모델이 지식 그래프 표현 학습 및 자연어 표현 학습을 결합하여 획득한 것으로서, 지식 그래프 표현 학습과 자연어 표현 학습을 결합하므로, 지식 그래프 표현 학습 또는 자연어 표현 학습만 이용하여 예측 대상의 의미 표현을 학습하는 것에 비해, 연합 학습 모델이 고려하는 요소가 더 많고 더 전면적이다. 따라서 의미 표현의 정확성을 향상시킬 수 있고, 나아가 텍스트 처리 정확성을 향상시킨다. 한편, 연합 학습 모델 트레이닝 과정에서, 지식 그래프 표현 학습과 자연어 표현 학습 과정을 연합 모델링함으써, 지식 그래프가 구성된 요소와 자연어가 구성된 요소 사이의 관련 관계를 이용하여, 더 우수한 지식 그래프 의미 표현과 자연어 의미 표현을 학습해낼 수 있다.
상술한 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있다. 예를 들어, 본 출원에 기재된 각 단계는 병열로 수행될 수 있고 순차적으로 수행될 수도 있고 서로 다른 순서로 수행될 수도 있으며, 본 출원에 개시된 기술적 해결수단이 원하는 결과를 얻을 수만 있다면, 본문에서는 여기서 한정하지 않는다.
상술한 구체적인 실시형태는, 본 출원의 보호범위에 대한 한정이 아니다. 본 분야의 통상의 지식을 가진 자라면, 설계 수요와 기타 요소를 기초로, 다양한 수정, 조합, 서브 조합 및 대체를 가할 수 있음을 이해할 수 있을 것이다. 본 출원의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 치환 등은 모두 본 출원의 보호 범위 내에 속한다.

Claims (18)

  1. 전자기기가 사용자가 입력한 텍스트 처리 요청을 수신하되, 상기 텍스트 처리 요청은 텍스트 중 예측 대상의 의미 표현을 기초로 상기 텍스트를 처리할 것을 요청하기 위한 것인 단계;
    상기 전자기기가 상기 예측 대상을 미리 트레이닝된 연합 학습 모델에 입력하여, 상기 예측 대상의 의미 표현을 획득하되, 상기 연합 학습 모델은 상기 예측 대상에 대해 지식 그래프 표현 학습과 자연어 표현 학습을 수행하는 모델인 단계;
    상기 전자기기가 상기 의미 표현을 기초로 상기 텍스트를 처리하는 단계;를 포함하되,
    상기 전자기기가 상기 의미 표현을 기초로 상기 텍스트를 처리하는 단계는,
    상기 연합 학습 모델이 지능 임무의 인식을 보조하기 위해 사용될 때, 상기 전자기기가 상기 의미 표현을 기초로 상기 텍스트에 대해 열독 이해, 지능 문답, 기계 번역 또는 자동 창작을 수행하는 단계; 및
    상기 연합 학습 모델이 지식 그래프 임무의 보조에 사용될 때, 상기 전자기기가 상기 의미 표현을 기초로 상기 텍스트에 대해 지식 베이스 보완, 지식 베이스 추리 또는 지식 베이스 문답을 수행하는 단계;를 포함하고,
    상기 예측 대상은 상기 텍스트에 대해 처리하여 획득한 단어 또는 글자이거나, 또는 상기 텍스트로부터 인식하여 획득한 상기 텍스트에 포함된 엔티티이고,
    상기 전자기기가 사용자가 입력한 텍스트 처리 요청을 수신하는 단계 이전에,
    상기 전자기기가 트레이닝 샘플에 대해 트레이닝을 수행하여 상기 연합 학습 모델을 획득하는 단계를 더 포함하되, 상기 연합 학습 모델은 자연어 학습층, 연합 학습 관련층과 지식 그래프 학습층을 포함하고, 상기 연합 학습 관련층은 상기 지식 그래프 학습층과 상기 자연어 학습층을 관련시키기 위한 것이고;
    상기 전자기기가 트레이닝 샘플에 대해 트레이닝을 수행하여 상기 연합 학습 모델을 획득하는 단계는,
    상기 전자기기가 상기 자연어 학습층에서 상기 트레이닝 샘플 중 목표 트레이닝 샘플의 이웃 샘플을 결정하는 단계;
    상기 전자기기가 상기 연합 학습 관련층에서 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플의 상기 지식 그래프 학습층 중 각 엔티티에 대한 가중치를 결정하는 단계;
    상기 전자기기가 상기 각 엔티티의 가중치를 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정하는 단계;
    상기 전자기기가 상기 지식 그래프 의미 표현과 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플의 트레이닝 결과를 결정하는 단계;를 포함하는 것을 특징으로 하는 자연어 및 지식 그래프 기반 텍스트 처리 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 전자기기가 상기 연합 학습 관련층에서 상기 목표 트레이닝 샘플의 상기 지식 그래프 학습층 중 각 엔티티에 대한 가중치를 결정하는 단계는,
    상기 전자기기가 상기 지식 그래프 학습층 중 각각의 엔티티에 대하여, 상기 연합 학습 관련층에서 상기 목표 트레이닝 샘플의 상기 엔티티에 대한 M개의 가중치를 결정하고, 상기 M은 M≥1이며 정수인 단계를 포함하는 것을 특징으로 하는 자연어 및 지식 그래프 기반 텍스트 처리 방법.
  5. 제1항 또는 제4항에 있어서,
    상기 전자기기가 상기 각 엔티티의 가중치를 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정하는 단계는,
    상기 전자기기가 상기 지식 그래프 학습층 중 각각의 엔티티에 대하여, 상기 엔티티에 대응되는 가중치를 기초로 상기 엔티티의 지식 그래프 의미 표현에 대해 처리하여, 복수의 처리된 지식 그래프 의미 표현을 획득하는 단계;
    상기 전자기기가 상기 복수의 처리된 지식 그래프 의미 표현을 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정하는 단계;를 포함하는 것을 특징으로 하는 자연어 및 지식 그래프 기반 텍스트 처리 방법..
  6. 제1항 또는 제4항에 있어서,
    상기 전자기기가 상기 지식 그래프 의미 표현과 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플의 트레이닝 결과를 결정하는 단계 이후에,
    상기 전자기기가 상기 트레이닝 결과를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 최적화하는 단계를 더 포함하는 것을 특징으로 하는 자연어 및 지식 그래프 기반 텍스트 처리 방법.
  7. 제6항에 있어서,
    상기 전자기기가 상기 트레이닝 결과를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 최적화하는 단계는,
    상기 전자기기가 상기 트레이닝 결과의 정확 여부를 판단하는 단계;
    상기 전자기기가 상기 트레이닝 결과가 정확하면, 여기신호를 생성하고, 상기 여기신호를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 증강시키는 단계;
    상기 전자기기가 상기 트레이닝 결과가 정확하지 않으면, 징벌신호를 생성하고, 상기 징벌신호를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 조정하는 단계;를 포함하는 것을 특징으로 하는 자연어 및 지식 그래프 기반 텍스트 처리 방법.
  8. 사용자가 입력한 텍스트 처리 요청을 수신하되, 상기 텍스트 처리 요청은 텍스트 중 예측 대상의 의미 표현을 기초로 상기 텍스트를 처리할 것을 요청하기 위한 것인 수신모듈;
    상기 예측 대상을 미리 트레이닝된 연합 학습 모델에 입력하여, 상기 예측 대상의 의미 표현을 획득하되, 상기 연합 학습 모델은 상기 예측 대상에 대해 지식 그래프 표현 학습과 자연어 표현 학습을 수행하는 모델인 획득모듈;
    상기 의미 표현을 기초로 상기 텍스트를 처리하는 처리모듈;을 포함하고,
    상기 처리 모듈은,
    상기 연합 학습 모델이 지능 임무의 인식을 보조하기 위해 사용될 때, 상기 의미 표현을 기초로 상기 텍스트에 대해 열독 이해, 지능 문답, 기계 번역 또는 자동 창작을 수행하고;
    상기 연합 학습 모델이 지식 그래프 임무의 보조에 사용될 때, 상기 의미 표현을 기초로 상기 텍스트에 대해 지식 베이스 보완, 지식 베이스 추리 또는 지식 베이스 문답을 수행하며;
    상기 예측 대상은 상기 텍스트에 대해 처리하여 획득한 단어 또는 글자이거나, 또는 상기 텍스트로부터 인식하여 획득한 상기 텍스트에 포함된 엔티티이고;
    상기 수신모듈이 사용자가 입력한 텍스트 처리 요청을 수신하기 전에, 트레이닝 샘플에 대해 트레이닝을 수행하여 상기 연합 학습 모델을 획득하는 트레이닝 모듈을 더 포함하고,
    상기 연합 학습 모델은 자연어 학습층, 연합 학습 관련층 및 지식 그래프 학습층을 포함하고, 상기 연합 학습 관련층은 상기 지식 그래프 학습층과 상기 자연어 학습층을 관련시키기 위한 것이고;
    상기 트레이닝 모듈은 상기 자연어 학습층에서 상기 트레이닝 샘플 중 목표 트레이닝 샘플의 이웃 샘플을 결정하고, 상기 연합 학습 관련층에서 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플의 상기 지식 그래프 학습층 중 각 엔티티에 대한 가중치를 결정하고, 상기 각 엔티티의 가중치를 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정하고, 상기 지식 그래프 의미 표현과 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플의 트레이닝 결과를 결정하기 위한 것인 것을 특징으로 하는 자연어 및 지식 그래프 기반 텍스트 처리 장치.
  9. 삭제
  10. 삭제
  11. 제8항에 있어서,
    상기 트레이닝 모듈은, 상기 연합 학습 관련층에서 상기 목표 트레이닝 샘플의 상기 지식 그래프 학습층 중 각 엔티티에 대한 가중치를 결정할 때, 상기 지식 그래프 학습층 중 각각의 엔티티에 대하여, 상기 연합 학습 관련층에서 상기 목표 트레이닝 샘플의 상기 엔티티에 대한 M개의 가중치를 결정하고, 상기 M은 M≥1이며 정수인 것을 특징으로 하는 자연어 및 지식 그래프 기반 텍스트 처리 장치.

  12. 제8항 또는 제11항에 있어서,
    상기 트레이닝 모듈은, 상기 각 엔티티의 가중치를 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정할 때, 상기 지식 그래프 학습층 중 각각의 엔티티에 대하여, 상기 엔티티에 대응되는 가중치를 기초로 상기 엔티티의 지식 그래프 의미 표현에 대해 처리하여, 복수의 처리된 지식 그래프 의미 표현을 획득하고, 상기 복수의 처리된 지식 그래프 의미 표현을 기초로, 상기 목표 트레이닝 샘플의 지식 그래프 의미 표현을 결정하는 것을 특징으로 하는 자연어 및 지식 그래프 기반 텍스트 처리 장치.
  13. 제8항 또는 제11항에 있어서,
    상기 트레이닝 모듈은, 상기 지식 그래프 의미 표현과 상기 이웃 샘플을 기초로, 상기 목표 트레이닝 샘플의 트레이닝 결과를 결정한 후에, 또한 상기 트레이닝 결과를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 최적화하는 것을 특징으로 하는 자연어 및 지식 그래프 기반 텍스트 처리 장치.
  14. 제13항에 있어서,
    상기 트레이닝 모듈은 구체적으로 상기 트레이닝 결과의 정확 여부를 판단하고;
    상기 트레이닝 결과가 정확하면, 여기신호를 생성하고, 상기 여기신호를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 증강시키고;
    상기 트레이닝 결과가 정확하지 않으면, 징벌신호를 생성하고, 상기 징벌신호를 기초로 상기 지식 그래프 학습층에 포함된 복수의 엔티티 중 각각의 엔티티의 지식 그래프 의미 표현을 조정하는 것을 특징으로 하는 자연어 및 지식 그래프 기반 텍스트 처리 장치.
  15. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하되,
    상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 또는 제4항에 따른 방법을 수행할 수 있도록 하는 것을 특징으로 하는 전자기기.
  16. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체에 있어서,
    상기 컴퓨터 명령은 컴퓨터가 제1항 또는 제4항에 따른 방법을 수행하도록 하는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장매체.
  17. 삭제
  18. 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램에 있어서,
    컴퓨터가 제1항 또는 제4항에 따른 방법을 수행하도록 하는 것을 특징으로 하는 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
KR1020207036186A 2019-12-17 2020-06-09 자연어 및 지식 그래프 기반 표현 학습 방법 및 장치 KR102524766B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911297702.XA CN110727806B (zh) 2019-12-17 2019-12-17 基于自然语言和知识图谱的文本处理方法及装置
CN201911297702.X 2019-12-17
PCT/CN2020/095108 WO2021120543A1 (zh) 2019-12-17 2020-06-09 基于自然语言和知识图谱的表示学习方法及装置

Publications (2)

Publication Number Publication Date
KR20210038430A KR20210038430A (ko) 2021-04-07
KR102524766B1 true KR102524766B1 (ko) 2023-04-24

Family

ID=75469981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207036186A KR102524766B1 (ko) 2019-12-17 2020-06-09 자연어 및 지식 그래프 기반 표현 학습 방법 및 장치

Country Status (2)

Country Link
US (1) US12019990B2 (ko)
KR (1) KR102524766B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11574015B2 (en) * 2020-01-06 2023-02-07 International Business Machines Corporation Natural language interaction based data analytics
US20210271965A1 (en) * 2020-02-28 2021-09-02 Intuit Inc. Method and system for optimizing results of a function in a knowledge graph using neural networks
US11829726B2 (en) * 2021-01-25 2023-11-28 International Business Machines Corporation Dual learning bridge between text and knowledge graph
CN113435211B (zh) * 2021-07-19 2022-07-19 北京理工大学 一种结合外部知识的文本隐式情感分析方法
CN113888430B (zh) * 2021-09-30 2023-03-24 北京达佳互联信息技术有限公司 图像处理方法和装置以及模型训练方法和装置
CN114021584B (zh) * 2021-10-25 2024-05-10 大连理工大学 基于图卷积网络和翻译模型的知识表示学习方法
CN114417845B (zh) * 2022-03-30 2022-07-12 支付宝(杭州)信息技术有限公司 一种基于知识图谱的相同实体识别方法和系统
CN117556381B (zh) * 2024-01-04 2024-04-02 华中师范大学 一种面向跨学科主观试题的知识水平深度挖掘方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100250598A1 (en) 2009-03-30 2010-09-30 Falk Brauer Graph based re-composition of document fragments for name entity recognition under exploitation of enterprise databases
US20170228435A1 (en) 2016-02-05 2017-08-10 Quid, Inc. Measuring accuracy of semantic graphs with exogenous datasets
KR101896973B1 (ko) 2018-01-26 2018-09-10 가천대학교 산학협력단 기계학습 모델을 이용한 자연어 생성 시스템, 방법, 및 컴퓨터 판독가능매체
US20190213260A1 (en) * 2018-01-10 2019-07-11 International Business Machines Corporation Machine Learning Modification and Natural Language Processing

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101306667B1 (ko) * 2009-12-09 2013-09-10 한국전자통신연구원 지식 그래프 정제 장치 및 방법
US20140236570A1 (en) * 2013-02-18 2014-08-21 Microsoft Corporation Exploiting the semantic web for unsupervised spoken language understanding
US9536522B1 (en) * 2013-12-30 2017-01-03 Google Inc. Training a natural language processing model with information retrieval model annotations
CN105528349B (zh) * 2014-09-29 2019-02-01 华为技术有限公司 知识库中问句解析的方法及设备
US20160098645A1 (en) * 2014-10-02 2016-04-07 Microsoft Corporation High-precision limited supervision relationship extractor
WO2017149559A1 (en) 2016-02-29 2017-09-08 Nec Corporation An information processing system, an information processing method and a computer readable storage medium
US11093818B2 (en) * 2016-04-11 2021-08-17 International Business Machines Corporation Customer profile learning based on semi-supervised recurrent neural network using partially labeled sequence data
US10360507B2 (en) * 2016-09-22 2019-07-23 nference, inc. Systems, methods, and computer readable media for visualization of semantic information and inference of temporal signals indicating salient associations between life science entities
CN106649878A (zh) 2017-01-07 2017-05-10 陈翔宇 基于人工智能的物联网实体搜索方法及系统
CN108073673B (zh) 2017-05-15 2019-02-26 北京华宇元典信息服务有限公司 一种基于机器学习的法律知识图谱构建方法、装置、系统和介质
WO2019027992A1 (en) * 2017-08-03 2019-02-07 Telepathy Labs, Inc. PROACTIVE, INTELLIGENT AND OMNICANAL VIRTUAL AGENT
US11256866B2 (en) * 2017-10-25 2022-02-22 Google Llc Natural language processing with an N-gram machine
CN108256065B (zh) 2018-01-16 2021-11-09 智言科技（深圳）有限公司 基于关系检测和强化学习的知识图谱推理方法
US10762113B2 (en) * 2018-01-31 2020-09-01 Cisco Technology, Inc. Conversational knowledge graph powered virtual assistant for application performance management
CN108681544A (zh) 2018-03-07 2018-10-19 中山大学 一种基于图谱拓扑结构和实体文本描述的深度学习方法
US11474836B2 (en) * 2018-03-13 2022-10-18 Microsoft Technology Licensing, Llc Natural language to API conversion
CN108829858B (zh) 2018-06-22 2021-09-17 京东数字科技控股有限公司 数据查询方法、装置及计算机可读存储介质
US11693848B2 (en) * 2018-08-07 2023-07-04 Accenture Global Solutions Limited Approaches for knowledge graph pruning based on sampling and information gain theory
US10339420B1 (en) * 2018-08-30 2019-07-02 Accenture Global Solutions Limited Entity recognition using multiple data streams to supplement missing information associated with an entity
US11687795B2 (en) * 2019-02-19 2023-06-27 International Business Machines Corporation Machine learning engineering through hybrid knowledge representation
CN109978060B (zh) 2019-03-28 2021-10-22 科大讯飞华南人工智能研究院（广州）有限公司 一种自然语言要素抽取模型的训练方法及装置
CN110083690B (zh) 2019-04-10 2022-05-03 华侨大学 一种基于智能问答的对外汉语口语训练方法及系统
CN110222162A (zh) 2019-05-10 2019-09-10 天津中科智能识别产业技术研究院有限公司 一种基于自然语言处理和知识图谱的智能问答方法
WO2020263228A1 (en) * 2019-06-25 2020-12-30 Google Llc Developing event-specific provisional knowledge graphs
US11765056B2 (en) * 2019-07-24 2023-09-19 Microsoft Technology Licensing, Llc Techniques for updating knowledge graphs for correlating service events in computer network diagnostics
US11188580B2 (en) * 2019-09-30 2021-11-30 Intuit, Inc. Mapping natural language utterances to nodes in a knowledge graph
US11080491B2 (en) * 2019-10-14 2021-08-03 International Business Machines Corporation Filtering spurious knowledge graph relationships between labeled entities
WO2021108679A1 (en) * 2019-11-27 2021-06-03 ConverSight.ai, Inc. Contextual and intent based natural language processing system and method
CN110727806B (zh) 2019-12-17 2020-08-11 北京百度网讯科技有限公司 基于自然语言和知识图谱的文本处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100250598A1 (en) 2009-03-30 2010-09-30 Falk Brauer Graph based re-composition of document fragments for name entity recognition under exploitation of enterprise databases
US20170228435A1 (en) 2016-02-05 2017-08-10 Quid, Inc. Measuring accuracy of semantic graphs with exogenous datasets
US20190213260A1 (en) * 2018-01-10 2019-07-11 International Business Machines Corporation Machine Learning Modification and Natural Language Processing
KR101896973B1 (ko) 2018-01-26 2018-09-10 가천대학교 산학협력단 기계학습 모델을 이용한 자연어 생성 시스템, 방법, 및 컴퓨터 판독가능매체

Also Published As

Publication number Publication date
US20210192364A1 (en) 2021-06-24
KR20210038430A (ko) 2021-04-07
US12019990B2 (en) 2024-06-25

Similar Documents

Publication Publication Date Title
KR102524766B1 (ko) 자연어 및 지식 그래프 기반 표현 학습 방법 및 장치
JP7250052B2 (ja) 自然言語及び知識グラフに基づく表現学習方法及び装置
KR102532152B1 (ko) 멀티 모달 콘텐츠 처리 방법, 장치, 기기 및 저장 매체
KR102514434B1 (ko) 지식 표현 학습 방법, 장치, 전자 기기, 저장 매체 및 프로그램
KR102504699B1 (ko) 엔티티 링킹 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램
CN111897941B (zh) 对话生成方法、网络训练方法、装置、存储介质及设备
KR102484617B1 (ko) 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램
JP7293543B2 (ja) 自然言語処理モデルの訓練方法、装置、電子デバイス、コンピュータ可読記憶媒体及びプログラム
US20220028376A1 (en) Method for semantic recognition, electronic device, and storage medium
KR102565673B1 (ko) 시멘틱 표현 모델의 생성 방법, 장치, 전자 기기 및 저장 매체
EP3913521A1 (en) Method and apparatus for creating dialogue, electronic device and storage medium
CN111241838B (zh) 文本实体的语义关系处理方法、装置及设备
CN113821616B (zh) 领域自适应的槽位填充方法、装置、设备及存储介质
CN114757210A (zh) 翻译模型的训练方法、语句翻译方法、装置、设备、程序
EP3855341A1 (en) Language generation method and apparatus, electronic device and storage medium
CN117291185A (zh) 任务处理方法、实体识别方法及任务处理的数据处理方法
CN112084784A (zh) 预测语义角色标注的功能性标记
US20230317058A1 (en) Spoken language processing method and apparatus, and storage medium
CN109002498B (zh) 人机对话方法、装置、设备及存储介质
CN116030235A (zh) 目标检测模型训练方法、目标检测方法、装置和电子设备
CN111651988B (zh) 用于训练模型的方法、装置、设备以及存储介质
CN114020908A (zh) 文本分类方法及装置、计算机可读存储介质及电子设备
KR20230065017A (ko) 인공지능 분석 기반 프로그램 소스코드의 요약문 생성 장치 및 방법
CN113901841A (zh) 翻译方法、装置以及存储介质
KR102677454B1 (ko) 이벤트 아규먼트 추출 방법, 장치, 및 전자 기기

Legal Events

Date Code Title Description
G15R Request for early publication
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant