KR102203065B1 - 트리플 검증 장치 및 방법 - Google Patents

트리플 검증 장치 및 방법 Download PDF

Info

Publication number
KR102203065B1
KR102203065B1 KR1020190108915A KR20190108915A KR102203065B1 KR 102203065 B1 KR102203065 B1 KR 102203065B1 KR 1020190108915 A KR1020190108915 A KR 1020190108915A KR 20190108915 A KR20190108915 A KR 20190108915A KR 102203065 B1 KR102203065 B1 KR 102203065B1
Authority
KR
South Korea
Prior art keywords
triple
entity
generating
processing unit
matrix
Prior art date
Application number
KR1020190108915A
Other languages
English (en)
Inventor
박영택
바트셀렘
이완곤
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020190108915A priority Critical patent/KR102203065B1/ko
Priority to US16/697,238 priority patent/US11562177B2/en
Application granted granted Critical
Publication of KR102203065B1 publication Critical patent/KR102203065B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Abstract

본 발명의 일 실시예에 따르면, 소스 개체, 타겟 개체 및 상기 소스 개체와 상기 타겟 개체와의 관계값을 가지는 트리플을 설정하는 단계; 상기 소스 개체 및 상기 타겟 개체에 연관된 복수개의 중간 개체를 추출하는 단계; 상기 소스 개체 및 상기 타겟 개체 사이에서 상기 복수개의 중간 개체를 연결하는 복수개의 연결 경로를 생성하는 단계; 상기 복수개의 연결 경로를 벡터값으로 임베딩하여 매트릭스를 생성하는 단계; 상기 매트릭스에 컨볼루션 연산을 수행하여 특징맵을 산출하는 단계; 상기 특징맵에 BiLSTM기법을 적용하여 인코딩하여 각 연결 경로별 인코딩 벡터를 생성하는 단계; 및 어텐션 메커니즘을 적용하여 상기 연결 경로별 인코딩 벡터를 합산하여 스테이트 벡터를 생성하고, 상기 트리플의 관계값 및 상기 스테이트 벡터와의 유사도 값에 따라 상기 트리플을 검증하는 단계를 포함하는 트리플 검증 방법을 제공한다.

Description

트리플 검증 장치 및 방법{Triple verification device and method}
본 발명의 일실시예는 트리플 검증 장치 및 방법에 관한 것이다.
지식 그래프는 질문 응답 또는 추천 시스템과 같은 지능형 시스템을 구축하는데 유용한 리소스이다. 그러나 대부분의 지식 그래프는 개체간의 누락된 관계로 인하여 정확한 정보를 제공하지 못하는 경우가 있다. 개체와 관계를 저 차원 공간으로 변환하는 임베딩 방식은 유용한 결과를 제공하지만 개체간의 직접적인 관계에만 초점을 맞추고 있으며, 그래프상에서 경로 관계가 반영되지 않는다는 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는 지식 그래프에서 누락된 경로를 추론 할 수 있으며, 지식 그래프 기반 서비스의 품질과 성능을 향상시킬 수 있는 트리플 검증 장치 및 방법을 제공하는데 있다.
본 발명의 일 실시예에 따르면, 소스 개체, 타겟 개체 및 상기 소스 개체와 상기 타겟 개체와의 관계값을 가지는 트리플을 설정하는 단계; 상기 소스 개체 및 상기 타겟 개체에 연관된 복수개의 중간 개체를 추출하는 단계; 상기 소스 개체 및 상기 타겟 개체 사이에서 상기 복수개의 중간 개체를 연결하는 복수개의 연결 경로를 생성하는 단계; 상기 복수개의 연결 경로를 벡터값으로 임베딩하여 매트릭스를 생성하는 단계; 상기 매트릭스에 컨볼루션 연산을 수행하여 특징맵을 산출하는 단계; 상기 특징맵에 BiLSTM기법을 적용하여 인코딩하여 각 연결 경로별 인코딩 벡터를 생성하는 단계; 및 어텐션 메커니즘을 적용하여 상기 연결 경로별 인코딩 벡터를 합산하여 스테이트 벡터를 생성하고, 상기 트리플의 관계값 및 상기 스테이트 벡터와의 유사도 값에 따라 상기 트리플을 검증하는 단계를 포함하는 트리플 검증방법을 제공한다.
상기 복수개의 중간 개체를 추출하는 단계 또는 상기 복수개의 연결 경로를 생성하는 단계 이후에, 상기 소스 개체, 상기 타겟 개체 및 상기 중간 개체를 고유 특성으로 대표화하는 단계를 더 포함할 수 있다.
상기 매트릭스를 생성하는 단계는, Word2vec방식을 적용하여 상기 연결경로에 포함된 개체 및 연결관계를 각각벡터화하여 상기 매트릭스를 생성하는 단계를 포함할 수 있다.
상기 특징맵을 산출하는 단계는, 상기 매트릭스에 합성곱 신경망(CNN)기법을 적용하여 상기 특징맵을 추출하는 단계를 포함할 수 있다.
상기 연결 경로별 인코딩 벡터는 상기 특징맵에 대한 정방향 LSTM 출력 및 역방향 LSTM출력의 결합으로 이루어질 수 있다.
본 발명의 실시예에 따르면, 소스 개체, 타겟 개체 및 상기 소스 개체와 상기 타겟 개체의 관계값을 가지는 트리플을 설정하고, 상기 소스 개체 및 상기 타겟 개체에 연관된 복수개의 중간 개체를 추출하는 설정부; 상기 중간 개체간의 연결 관계를 정의하고 상기 소스 개체 및 상기 타겟 개체 사이에서 상기 복수개의 중간 개체를 연결하는 복수개의 연결 경로를 생성하는 경로 생성부; 상기 복수개의 연결 경로를 벡터값으로 임베딩하여 매트릭스를 생성하는 제1처리부; 상기 매트릭스에 컨볼루션 연산을 수행하여 특징맵을 산출하는 제2처리부; 상기 특징맵에 BiLSTM기법을 적용하여 인코딩하여 각 연결 경로별 인코딩 벡터를 생성하는 제3처리부; 및 어텐션 메커니즘을 적용하여 상기 연결 경로별 인코딩 벡터를 합산하여 스테이트 벡터를 생성하고, 상기 트리플의 관계값 및 상기 스테이트 벡터와의 유사도 값에 따라 상기 트리플을 검증하는 판단부를 포함하는 트리플 검증 장치를 제공한다.
상기 제1처리부는 상기 소스 개체, 상기 타겟 개체 및 상기 중간 개체를 고유 특성으로 대표화할 수 있다.
상기 제1처리부는 Word2vec방식을 적용하여 상기 연결경로에 포함된 개체 및 연결관계를 각각 벡터화하여 상기 매트릭스를 생성할 수 있다.
상기 제2처리부는 상기 매트릭스에 합성곱 신경망(CNN)기법을 적용하여 상기 특징맵을 추출할 수 있다.
상기 연결 경로별 인코딩 벡터는 상기 특징맵에 대한 정방향 LSTM 출력 및 역방향 LSTM출력의 결합으로 이루어질 수 있다.
본 발명인 트리플 검증 장치 및 방법은 지식 그래프에서 누락된 경로를 추론 할 수 있으며, 지식 그래프 기반 서비스의 품질과 성능을 향상시킬 수 있다.
또한, 지식 기반의 기존 경로를 사용하여 새로운 경로를 예측할 수 있다.
또한, 질의 응답이나 지식 그래프 기반의 추천 시스템과 같은 지능형 시스템 구축에 사용될 수 있다.
도1은 본 발명의 실시예에 따른 트리플 검증 장치의 구성 블록도이다.
도2는 본 발명의 실시예에 따른 장치의 개념도이다.
도3 내지 도9는 본 발명의 실시예에 따른 트리플 검증 장치의 동작을 설명하기 위한 도면이다.
도10은 본 발명의 실시예예 따른 트리플 검증 방법의 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도1은 본 발명의 실시예에 따른 트리플 검증 장치의 구성 블록도이고, 도2는 본 발명의 실시예에 따른 트리플 검증 장치의 개념도이다. 도1및 도2를 참조하면, 본 발명의 실시예에 따른 트리플 검증 장치(10)는 설정부(11), 경로 생성부(12), 제1처리부(13), 제2처리부(14), 제3처리부(15), 판단부(16) 및 최적화부(17)를 포함할 수 있다.
설정부(11)는 소스 개체, 타겟 개체 및 소스 개체와 타겟 개체와의 관계값을 가지는 트리플을 설정하고, 소스 개체 및 타겟 개체에 연관된 복수개의 중간 개체를 추출할 수 있다.
예를 들면, 설정부(11)는 지식 베이스 내에서 트리플을 설정할 수 있다. 지식 베이스(Knowledge Base)에는 대용량의 데이터가 트리플 형태로 저장되어 있다. 지식 베이스는 데이터의 비정형적 관계를 표현할 수 있는 효과적인 수단이며, 다양한 인공지능 기술에 접목되고 있다.
대표적인 지식 베이스로 YAGO와 Freebase, DBpedia가 존재하며, 온톨로지의 형태로 사용된다. 온톨로지는 RDF, RDF-S, OWL의 수준으로 표현된다. RDF는 <Subject, Property, Object>로 구성되어 있는 그래프 모델을 사용하고 있고, Subject와 Object는 인스턴스로 URI로 표현된 리소스를 사용하며, Property는 Subject와 Object의 관계를 나타내는데 사용한다. RDFS와 OWL은 RDF의 표현력을 확장한 것으로 스키마가 존재하게 되고, 온톨로지 설계 시 자원을 표현하는 데에 있어서 다양한 방법이 존재한다. 이와 같이 온톨로지를 통한 데이터 표현 방식은 컴퓨터로 하여금 트리플로 표현된 개념을 이해하고 지식처리를 가능하게 한다. 지식 베이스는 위키피디아와 같은 웹 상의 지식 정보를 트리플로 변환하여 수집한다.
실시예에서 트리플은 (소스 개체, 관계값, 타겟 개체)로 구성될 수 있다.
선정된 트리플에서, 소스 개채 및 타겟 개체를 연결하는 다양한 중간 개체가 존재할 수 있다. 설정부(11)는 지식 베이스 내에서 소스 개체 및 타겟 개체와 관련된 다양한 중간 개체를 추출할 수 있다.
이 때, 설정부(11)는 랜덤 워크(random walk)방식에 따라 개체를 추출할 수 있다.
경로 생성부(12)는 중간 개체간의 연결 관계를 정의하고 소스 개체 및 타겟 개체 사이에서 복수개의 중간 개체를 연결하는 복수개의 연결 경로를 생성할 수 있다. 경로 생성부(12)는 소스 개체 - 적어도 하나의 중간 개체 - 타겟 개체로 이어지는 연결 경로를 생성할 수 있다. 이 때, 경로 생성부(12)는 각 개체를 연결하는 연결 관계를 정의할 수 있다.
도 3을 참조하면, 설정부(11)는 지식 베이스 내에서, 소스 개체 'obama', 타겟 개체 'USA', 관계값 'nationality'를 가지는 트리플 (Obama, nationality, USA)를 설정할 수 있다. 또한, 설정부(11)는 소스 개체인 'obama'와 타겟 개체인 'USA'를 연결하는 중간 개체 'hawail', 'Michele', 'Whitehouse', 'Washington'을 지식베이스 내에서 추출할 수 있다.
경로 생성부(12)는 중간 개체 'hawail', 'Michele', 'Whitehouse', 'Washington'를 거쳐 소스 개체인 'obama'와 타겟 개체인 'USA'를 연결하는 3개의 연결 경로를 생성하였다. 경로 생성부(12)는 각 개체간의 연결 관계인 'bornIn', 'lacatedIn', 'marriedTo', 'nationality', 'worekedIn', 'lacatedIn', 'cityOf'를 정의할 수 있다. 각 개체와 연결 관계는 토큰화되어 이후 임베딩 과정에 사용될 수 있다.
제1처리부(13)는 복수개의 연결 경로를 벡터값으로 임베딩하여 매트릭스를 생성할 수 있다.
제1처리부(13)는 Word2vec방식을 적용하여 연결경로에 포함된 개체 및 연결관계를 각각 벡터화하여 매트릭스를 생성할 수 있다.
또한, 제1처리부(13)는 소스 개체, 타겟 개체 및 중간 개체를 고유 특성으로 대표화할 수 있다. 대표화는 각 개체를 대표할 수 있는 고유 특성으로 변환하는 작업이다. 이를 통하여, 각 개체를 고유 특성으로 대표화함으로써, 모델 매개 변수를 줄이고 계산 병목 현상을 방지할 수 있다.
도 4를 참조하면, 먼저, 제1처리부(13)는 각 개체와 연결 관계를 대표화화한다. 예를 들어, "Obama workedIn WhiteHouse locatedIn Washington cityOf USA"이라는 하나의 연결 경로에서, 제1처리부(13)는 각 개체와 연결 관계를 대표화하여 "Padding", "Person", "workedIn", "Organ", "locatedIn", "City", "cityOf", "Country", "Padding"로 대표화하고, 이를 토큰화할 수 있다. 토큰화 된 7개의 개체와 연결 관계는 제로패딩(zero-padding) 방법을 사용하여 CNN 입력 길이를 맞추게 된다. 이를 통하여 2개의 패딩을 포함하는 9개의 토큰으로 나누어지고, 각각의 토큰은 word2vec라이브러리를 이용하여 벡터로 표현될 수 있다. 이 때, 매트릭스의 행(row)은 각 토큰의 단어 벡터 표현이다.
도 4는 각 토큰을 6차원의 벡터로 변환한 것이다. 만일, 단어 벡터의 차원을 d라고 하고, 주어진 문장의 길이(문장의 토큰 개수)를 s라고 하면, 문장 매트릭스의 차원은 s × d 가 되고, 도 4에서는 9 ×6의 형태(shape)를 가지는 매트릭스가 된다. 도4에서는 설명의 편의를 위하여 단순한 차원의 벡터 메트릭스를 예로 들어 설명하였지만, 실제 구현시에는 이보다 복잡한 차원의 매트릭스가 적용될 수 있다.
제2처리부(14)는 매트릭스에 컨볼루션 연산을 수행하여 특징맵을 산출할 수 있다.
제2처리부(14)는 매트릭스에 합성곱 신경망(CNN)기법을 적용하여 특징맵을 추출할 수 있다.
도5 및 도6을 참조하면, 제2처리부(14)는 필터(filter)를 통해서 컨볼루션 (convolution)을 수행할 수 있다. 매트릭스의 행은 하나의 토큰, 즉 단어를 표현하기 때문에, 필터의 너비(width)는 단어 벡터의 차원과 동일한 너비 6을 사용하게 된다. 따라서 필터의 너비는 고정되고, 필터의 높이(height)는 다르게 설정할 수 있다. 필터의 높이는 함께 고려될 수 있는 인접한 단어의 수로써 컨텍스트 윈도우의 크기를 의미한다. 이 때, 필터의 높이 h를 필터의 영역 사이즈(region size)라고 표현할 수 있다. 동일한 영역으로부터 상호 보완적인(complementary) 자질을 학습하기 위해 동일한 영역 사이즈(region size)에 대해 여러 개의 필터들을 적용할 수 있다. 도 5및 도6에서 제2처리부(14)는, 단일 영역 사이즈를 가지며 2의 높이를 가지는 필터, 즉 2 × 6의 필터 4개를 통해 컨볼루션을 수행하여 나온 출력 값에 편차(bias)를 더하고, 활성화 함수를 적용하여 7 × 4의 특징맵을 산출하였다. 주어진 문장에 대하여 위에서 아래로만 윈도우 슬라이딩(sliding)을 수행하기 때문에, 각 필터에 의해서 생성된 특징맵은 s - h + 1 차원의 크기를 가지는 벡터가 되고, 필터 영역 사이즈 h와 문장의 길이 s에 따라서 다양해질 수 있다.
예를 들면, 제2처리부(14)는 매트릭스에서 특징맵을을 검출하도록 학습될 수 있다. 제2처리부(14)는 컴퓨터로 읽을 수 있는 프로그램을 포함할 수 있다. 해당 프로그램은 컴퓨터에 의하여 실행될 수 있는 기록매체 또는 저장 장치에 저장될 수 있다. 컴퓨터 내의 프로세서는 기록매체 또는 저장 장치에 저장된 프로그램을 읽어 들이며, 프로그램, 즉 학습된 모델을 실행하여 입력 정보를 연산하고, 연산 결과를 출력할 수 있다.
제2처리부(14)의 입력은 복수개의 연결 경로를 벡터값으로 임베딩 한 매트릭스 일 수 있으며, 제2처리부(14)의 출력은 합성곱 신경망 기법에 따라 따라 산출된 특징맵일 수 있다.
제2처리부(14)는 word2vec방식으로 임베딩 된 매트릭스를 입력층으로 하여, 합성곱 신경망 기법을 적용하여 컨볼루션을 수행하고, 특징맵이 출력층이 되도록 학습된 제1뉴럴 네트워크를 포함할 수 있다.
제3처리부(15)는 특징맵에 BiLSTM기법을 적용하여 인코딩하여 각 연결 경로별 인코딩 벡터를 생성할 수 있다.
연결 경로별 인코딩 벡터는 특징맵에 대한 정방향 LSTM 출력 및 역방향 LSTM출력의 결합으로 이루어질 수 있다.
컨볼루션 계층의 출력에서 각 요소는 BiLSTM 모듈의 시간 단계를 나타낼 수있다. 제3처리부(15)는 각 단계에서 LSTM 셀에 q차원의 벡터를 공급할 수 있다. LSTM은 기본적으로 이전 계산의 결과를 기억하고 현재 계산에서 이 정보를 사용할 수 있다. 제3처리부(15)는 LSTM 셀의 숨겨진 상태의 수를 d/2로 자동 설정하여 임베딩 된 연결 경로와 연결 관계를 순차적으로 매칭시킬 수 있다. 제3처리부(15)는 특징맵 벡터 C = {c1, c2, ···, cl}이 입력되면, BiLSTM에 의하여 새로운 벡터 H = {h1, h2, ···,hl}를 생성할 수 있다. 순방향 및 역방향 LSTM의 출력을 각각
Figure 112019090720068-pat00001
및
Figure 112019090720068-pat00002
로 나타내면, 제3처리부(15)는 하기 수학식 1에 따라 순방향 및 역방향 LSTM을 연산할 수 있다.
Figure 112019090720068-pat00003
BiLSTM 계층의 출력은 각 입력 벡터인 특징맵에 대한 히든 스테이트의 시퀀스를 의미할 수 있다. 경로의 임베딩은 BiLSTM을 사용하여 경로 시퀀스의 모든 항을 처리 한 후에 얻어진다. BiLSTM에서 순방향 LSTM의 마지막 히든 스테이트와 역방향 LSTM의 첫 번째 히든 스테이트로 나타낼 수 있다. 따라서 각 연결 경로별 인코딩 벡터 m은 하기 수학식 2에 따라 순방향 LSTM의 출력과 역방향 LSTM의 출력을 연결하여 형성될 수 있다.
Figure 112019090720068-pat00004
각 연결 경로는 각 경로 시퀀스에서 동일한 LSTM이 작동하는 BiLSTM을 사용하여 인코딩 벡터로 변환될 수 있다.
도7을 참조하면, 제3처리부(15)는 7 X 4차원을 가지는 특징맵을 입력으로 하여, 상기 수학식 1에 따라 순방향 LSTM과 역방향 LSTM을 각각 적용할 수 있다. 제3처리부(15)는 각 LSTM의 출력을 수학식 2에 따라 결합하여 1 X 6차원을 가지는 인코딩 벡터를 생성할 수 있다. 인코딩 벡터는 연결 경로별로 각각 생성될 수 있다.
예를 들면, 제3처리부(14)는 특징맵에서서 인코딩 벡터를 검출하도록 학습될 수 있다. 제3처리부(15)는 컴퓨터로 읽을 수 있는 프로그램을 포함할 수 있다. 해당 프로그램은 컴퓨터에 의하여 실행될 수 있는 기록매체 또는 저장 장치에 저장될 수 있다. 컴퓨터 내의 프로세서는 기록매체 또는 저장 장치에 저장된 프로그램을 읽어 들이며, 프로그램, 즉 학습된 모델을 실행하여 입력 정보를 연산하고, 연산 결과를 출력할 수 있다.
제3처리부(14)의 특정 차원의 특징맵일 수 있으며, 제3처리부(14)의 출력은 BiLSTM 기법에 따라 따라 산출된 인코딩 벡터일 수 있다.
제3처리부(15)는 합성곱 신경망 방식으로 산출된 특징맵을 입력층으로 하여, BiLSTM기법을 적용하여 정방향 LSTM 및 역방향 LSTM을 수행하고, 정방향 LSTM 출력 및 역방향 LSTM출력을 결합한 인코딩 벡터가 출력층이 되도록 학습된 제2뉴럴 네트워크를 포함할 수 있다.
판단부(16)는 어텐션 메커니즘을 적용하여 연결 경로별 인코딩 벡터를 합산하여 스테이트 벡터를 생성하고, 트리플의 관계값 및 스테이트 벡터와의 유사도 값에 따라 트리플을 검증할 수 있다.
판단부(16)는 트리플에 포함된 관계값을 u= A(r)= r과 같은 벡터 표현으로 변환할 수 있다. 다음으로, 판단부(16)는 각 연결 경로별 인코딩 벡터에 어텐션 메커니즘에 따른 가중치를 부여할 수 있다. 판단부(16)는 트리플에 포함된 관계값과 관련이 있는 연결 경로의 경우 관련성이 높을수록 해당 연결 경로의 인코딩 벡터에 높은 가중치를 부여할 수 있다. 반대로 판단부(16)는 트리플의 관계값과 관련이 없는 경로의 인코딩 벡터에는 낮은 가중치를 부여할 수 있다.
아래 표1은 가중치를 부여하는 예시를 나타낸다. 표1에서 Relation은 트리플의 관계값이고, Reasoning paths는 연결 경로를 의미한다. 판단부(16)는 트리플의 관계값과 연결 경로간의 관련성이 높을 수록 가중치 α를 높게 부여할 수 있다.
Figure 112019090720068-pat00005
판단부(16)는 가중치가 부여된 모든 인코딩 벡터를 합산하여 스테이트 벡터를 생성할 수 있다.
예를 들면, 판단부(16)는 하기 수학식 3에 따라 스테이트 벡터를 생성할 수 있다.
Figure 112019090720068-pat00006
수학식 3에서, Va, Wa는 가중치 매개 변수이고 mi는 i 번째 연결 경로의 인코딩 벡터이고, u는 트리플에 포함되는 관계값의 임베딩 벡터이고, αi는 관계값과 연결 경로와의 관련성에 따라 부여되는 가중치이고, o는 스테이트 벡터이다.
다음으로, 판단부(16)는 트리플의 관계값 및 스테이트 벡터와의 유사도 값에 따라 트리플을 검증할 수 있다. 판단부(16)는 하기 수학식 4에 따라 트리플의 관계값 및 스테이트 벡터와의 유사도 값에 따라 트리플을 검증할 수 있다.
Figure 112019090720068-pat00007
수학식 4에서, es는 소스 개체이고, et는 타겟 개체이고, Wp는 선형 매핑 가중치이고, u는 트리플에 포함되는 관계값의 임베딩 벡터이고, o는 스테이트 벡터이고, sigmoid는 시그모이드 함수이다. P(r|es, et)는 검증값을 의미하여, 판단부(16)는 검증값에 따라 트리플이 유효한 트리플인지 여부를 결정할 수 있다.
최적화부(17)는 이진 교차 엔트로피 손실을 최소화함으로써 검증값을 최적화할 수 있다. 최적화부(17)는 적응 모멘트 추정(Adam)을 적용하여 최적화를 수행할 수 있다. 목적 함수(L(Θ))는 아래 수학식 5와 같이 정의될 수 있다.
Figure 112019090720068-pat00008
수학식 5에서, N는 트레이닝 세트에서 트리플의 수이고, T +와 T-는 각각 옳은 트리플과 오류 트리플을 각각 의미할 수 있다.
Θ는 모델에서 학습 가능한 모든 매개 변수를 나타낸다. 최적화부(17)는 수학식 5에 따른 목적 함수를 이용하여 모델을 훈련시키고, 옳은 트리플에 대한 더 높은 값을 제공하고 손상된 오류 트리플에 대한 값을 낮추는 한편 전반적인 오류를 최소화할 수 있다. 링크 예측의 경우 모델 매개 변수를 조정하여 개발 세트를 사용하여 모든 후보로부터 상위 k 개의 예측을 검색할 수 있다. 최적화부(17)는 또한 가중치의 표준 L2 표준을 제약 함수로 사용할 수 있다. 모델 매개 변수는 무작위로 초기화되고 학습 트리플의 일괄 처리에서 일정한 학습 속도로 기울기 단계를 고려하여 업데이트될 수 있다. 최적화부(17)는 목적 함수가 최적의 지점으로 수렴되면 학습을 중단할 수 있다.
도9 는 본 발명의 실시예에 따른 트리플 검증 장치의 동작 결과를 설명하기 위한 도면이다.
도9를 참조하면, 소스 개체, 관계값, 타겟 개체로 이루어진 쿼리 #1, 쿼리 #2, 쿼리 #3가 제시되어 있다.
검증값은 시그모이드 함수에 따라 -1에서 1사이의 값을 가지게 된다. 판단부(16)는 검증값이 +0.6이상일 경우 해당 트리플을 참 트리플로 판단하고, +0.6미만일 경우에는 오류 트리플로 판단할 수 있다. 참 트리플과 오류 트리플을 판단하기 위한 검증값의 기준값은 설정에 의하여 변경될 수 있다.
쿼리 #1에서 소스 개체인 abdul_jabbar와 관계값 athletePlaySport, 타겟 개체 basketball의 검증값은 +0.89로 산출되었다. 판단부(16)는 쿼리 (abdul_jabbar, athletePlaySport, basketball)로 구성된 트리플을 참으로 판단할 수 있다.
쿼리 #2에서는 소스 개체와 관계값이 고정된 상태에서 타겟 개체를 변경하여 가면서 검증값을 산출하였다.
쿼리 #2에서 소스 개체가 adam_bostik이고, 관계값이 athletePlaySport이고, 타겟 개체가 baseball일 때 가장 높은 검증값이 산출되었다. 그 다음으로는 타겟 개체가 basketball일 때 +0.6이상의 검증값이 산출되었다. 판단부(16)는 (adam_bostik, thletePlaySport, baseball)로 이루어진 트리플과 (adam_bostik, thletePlaySport, basketball)로 이루어진 트리플을 참으로 판단할 수 있다. 판단부(16)는 해당 트리플을 제외한 나머지 트리플들은 오류 트리플로 판단할 수 있다.
쿼리 #3에서 소스 개체가 clyde_drexler이고, 관계값이 athletePlaySport이고, 타겟 개체가 basketball일 때 가장 높은 검증값이 산출되었다. 판단부(16)는 (clyde_drexler, athletePlaySport, basketball) 로 이루어진 트리플을 참으로 판단할 수 있다. 판단부(16)는 해당 트리플을 제외한 나머지 트리플들은 오류 트리플로 판단할 수 있다.
도10은 본 발명의 실시예에 따른 트리플 검증 방법의 순서도이다.
먼저, 설정부는 소스 개체, 타겟 개체 및 소스 개체와 타겟 개체의 관계값을 가지는 트리플을 설정한다(S1001).
다음으로, 설정부는 소스 개체 및 타겟 개체에 연관된 복수개의 중간 개체를 추출한다(S1002).
다음으로, 경로 생성부는 중간 개체간의 연결 관계를 정의하고 소스 개체 및 타겟 개체 사이에서 복수개의 중간 개체를 연결하는 복수개의 연결 경로를 생성한다(S1003).
다음으로, 제1처리부는 복수개의 연결 경로를 벡터값으로 임베딩하여 매트릭스를 생성한다(S1004).
다음으로, 제2처리부는 매트릭스에 컨볼루션 연산을 수행하여 특징맵을 산출한다(S1005).
다음으로, 제3처리부는 특징맵에 BiLSTM기법을 적용하여 인코딩하여 각 연결 경로별 인코딩 벡터를 생성한다(S1006).
다음으로, 판단부는 어텐션 메커니즘을 적용하여 상기 연결 경로별 인코딩 벡터를 합산하여 스테이트 벡터를 생성한다(S1007).
다음으로, 판단부는 트리플의 관계값 및 스테이트 벡터와의 유사도 값에 따라 트리플을 검증한다(S1008).
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 트리플 검증 장치
11: 설정부
12: 경로 생성부
13: 제1처리부
14: 제2처리부
15: 제3처리부
16: 판단부
17: 최적화부

Claims (10)

  1. 설정부가 소스 개체, 타겟 개체 및 상기 소스 개체와 상기 타겟 개체와의 관계값을 가지는 트리플을 설정하는 단계;
    상기 설정부가 상기 소스 개체 및 상기 타겟 개체에 연관된 복수개의 중간 개체를 추출하는 단계;
    경로 생성부가 상기 소스 개체 및 상기 타겟 개체 사이에서 상기 복수개의 중간 개체를 연결하는 복수개의 연결 경로를 생성하는 단계;
    제1처리부가 상기 복수개의 연결 경로를 벡터값으로 임베딩하여 매트릭스를 생성하는 단계;
    제2처리부가 상기 매트릭스에 컨볼루션 연산을 수행하여 특징맵을 산출하는 단계;
    제3처리부가 상기 특징맵에 BiLSTM기법을 적용하여 인코딩하여 각 연결 경로별 인코딩 벡터를 생성하는 단계; 및
    판단부가 어텐션 메커니즘을 적용하여 상기 연결 경로별 인코딩 벡터를 합산하여 스테이트 벡터를 생성하고, 상기 트리플의 관계값 및 상기 스테이트 벡터와의 유사도 값에 따라 상기 트리플을 검증하는 단계를 포함하는 트리플 검증 방법.
  2. 제1항에 있어서,
    상기 복수개의 중간 개체를 추출하는 단계 또는 상기 복수개의 연결 경로를 생성하는 단계 이후에,
    상기 제1처리부가 상기 소스 개체, 상기 타겟 개체 및 상기 중간 개체를 고유 특성으로 대표화하는 단계를 더 포함하는 트리플 검증 방법.
  3. 제1항에 있어서,
    상기 매트릭스를 생성하는 단계는,
    상기 제1처리부가 Word2vec방식을 적용하여 상기 연결경로에 포함된 개체 및 연결관계를 각각벡터화하여 상기 매트릭스를 생성하는 단계를 포함하는 트리플 검증 방법.
  4. 제1항에 있어서,
    상기 특징맵을 산출하는 단계는,
    상기 제2처리부가 상기 매트릭스에 합성곱 신경망(CNN)기법을 적용하여 상기 특징맵을 추출하는 단계를 포함하는 트리플 검증 방법.
  5. 제1항에 있어서,
    상기 연결 경로별 인코딩 벡터는 상기 특징맵에 대한 정방향 LSTM 출력 및 역방향 LSTM출력의 결합으로 이루어지는 트리플 검증 방법.
  6. 소스 개체, 타겟 개체 및 상기 소스 개체와 상기 타겟 개체의 관계값을 가지는 트리플을 설정하고, 상기 소스 개체 및 상기 타겟 개체에 연관된 복수개의 중간 개체를 추출하는 설정부;
    상기 중간 개체간의 연결 관계를 정의하고 상기 소스 개체 및 상기 타겟 개체 사이에서 상기 복수개의 중간 개체를 연결하는 복수개의 연결 경로를 생성하는 경로 생성부;
    상기 복수개의 연결 경로를 벡터값으로 임베딩하여 매트릭스를 생성하는 제1처리부;
    상기 매트릭스에 컨볼루션 연산을 수행하여 특징맵을 산출하는 제2처리부;
    상기 특징맵에 BiLSTM기법을 적용하여 인코딩하여 각 연결 경로별 인코딩 벡터를 생성하는 제3처리부; 및
    어텐션 메커니즘을 적용하여 상기 연결 경로별 인코딩 벡터를 합산하여 스테이트 벡터를 생성하고, 상기 트리플의 관계값 및 상기 스테이트 벡터와의 유사도 값에 따라 상기 트리플을 검증하는 판단부를 포함하는 트리플 검증 장치.
  7. 제6항에 있어서,
    상기 제1처리부는 상기 소스 개체, 상기 타겟 개체 및 상기 중간 개체를 고유 특성으로 대표화하는 트리플 검증 장치.
  8. 제6항에 있어서,
    상기 제1처리부는 Word2vec방식을 적용하여 상기 연결경로에 포함된 개체 및 연결관계를 각각 벡터화하여 상기 매트릭스를 생성하는 트리플 검증 장치.
  9. 제6항에 있어서,
    상기 제2처리부는 상기 매트릭스에 합성곱 신경망(CNN)기법을 적용하여 상기 특징맵을 추출하는 트리플 검증 장치.
  10. 제6항에 있어서,
    상기 연결 경로별 인코딩 벡터는 상기 특징맵에 대한 정방향 LSTM 출력 및 역방향 LSTM출력의 결합으로 이루어지는 트리플 검증 장치.
KR1020190108915A 2019-09-03 2019-09-03 트리플 검증 장치 및 방법 KR102203065B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190108915A KR102203065B1 (ko) 2019-09-03 2019-09-03 트리플 검증 장치 및 방법
US16/697,238 US11562177B2 (en) 2019-09-03 2019-11-27 Triple verification device and triple verification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190108915A KR102203065B1 (ko) 2019-09-03 2019-09-03 트리플 검증 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102203065B1 true KR102203065B1 (ko) 2021-01-14

Family

ID=74141187

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190108915A KR102203065B1 (ko) 2019-09-03 2019-09-03 트리플 검증 장치 및 방법

Country Status (2)

Country Link
US (1) US11562177B2 (ko)
KR (1) KR102203065B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407678A (zh) * 2021-06-30 2021-09-17 竹间智能科技（上海）有限公司 知识图谱构建方法、装置和设备
CN113486668A (zh) * 2021-08-25 2021-10-08 广东电网有限责任公司 一种电力知识实体识别方法、装置、设备和介质
CN114048727A (zh) * 2021-11-22 2022-02-15 北京富通东方科技有限公司 一种面向医学领域的关系抽取方法
WO2022108206A1 (ko) * 2020-11-19 2022-05-27 숭실대학교산학협력단 설명 가능한 지식그래프 완성 방법 및 장치
KR102452433B1 (ko) * 2022-03-07 2022-10-11 주식회사 스탠다임 시계열적 정보를 인코딩하는 모델을 사용하여 질의되는 개체-쌍 사이의 연관성 관련 정보를 예측하는 방법 및 이를 이용하여 구축되는 예측 시스템
CN115883439A (zh) * 2022-11-25 2023-03-31 中国联合网络通信集团有限公司 网络传输路径的处理方法、设备及存储介质
WO2023120986A1 (ko) * 2021-12-22 2023-06-29 경북대학교 산학협력단 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210279606A1 (en) * 2020-03-09 2021-09-09 Samsung Electronics Co., Ltd. Automatic detection and association of new attributes with entities in knowledge bases

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170096282A (ko) * 2016-02-15 2017-08-24 한국과학기술원 단어 자질 가중치를 적용한 딥 러닝 기반 개체 유형 분류 방법
KR20190033269A (ko) * 2017-09-21 2019-03-29 숭실대학교산학협력단 지식베이스 구축 방법 및 그 서버
KR20190075067A (ko) * 2016-09-22 2019-06-28 엔퍼런스, 인크. 의미 정보의 시각화 및 생명 과학 엔티티들 사이의 현저한 연관을 나타내는 임시 신호의 추론을 위한 시스템, 방법 및 컴퓨터 판독 가능 매체

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160371588A1 (en) * 2014-12-05 2016-12-22 Simularity, Inc. Event predictive archetypes
US10521410B2 (en) * 2015-11-20 2019-12-31 International Business Machines Corporation Semantic graph augmentation for domain adaptation
US10755177B1 (en) * 2015-12-31 2020-08-25 Amazon Technologies, Inc. Voice user interface knowledge acquisition system
US10929392B1 (en) * 2018-11-16 2021-02-23 Amazon Technologies, Inc. Artificial intelligence system for automated generation of realistic question and answer pairs
US10482384B1 (en) * 2018-11-16 2019-11-19 Babylon Partners Limited System for extracting semantic triples for building a knowledge base
US11663497B2 (en) * 2019-04-19 2023-05-30 Adobe Inc. Facilitating changes to online computing environment by assessing impacts of actions using a knowledge base representation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170096282A (ko) * 2016-02-15 2017-08-24 한국과학기술원 단어 자질 가중치를 적용한 딥 러닝 기반 개체 유형 분류 방법
KR20190075067A (ko) * 2016-09-22 2019-06-28 엔퍼런스, 인크. 의미 정보의 시각화 및 생명 과학 엔티티들 사이의 현저한 연관을 나타내는 임시 신호의 추론을 위한 시스템, 방법 및 컴퓨터 판독 가능 매체
KR20190033269A (ko) * 2017-09-21 2019-03-29 숭실대학교산학협력단 지식베이스 구축 방법 및 그 서버

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dettmers, Tim, et al. Convolutional 2d knowledge graph embeddings. arXiv preprint arXiv:1707.01476. 2017. *
Wang, Quan, et al. Knowledge graph embedding: A survey of approaches and applications. IEEE Transactions on Knowledge and Data Engineering 29.12. 2017. *
Zhu, Qile, et al. GRAM-CNN: a deep learning approach with local context for named entity recognition in biomedical text. Bioinformatics 34.9. 2018. *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108206A1 (ko) * 2020-11-19 2022-05-27 숭실대학교산학협력단 설명 가능한 지식그래프 완성 방법 및 장치
CN113407678A (zh) * 2021-06-30 2021-09-17 竹间智能科技（上海）有限公司 知识图谱构建方法、装置和设备
CN113486668A (zh) * 2021-08-25 2021-10-08 广东电网有限责任公司 一种电力知识实体识别方法、装置、设备和介质
CN114048727A (zh) * 2021-11-22 2022-02-15 北京富通东方科技有限公司 一种面向医学领域的关系抽取方法
WO2023120986A1 (ko) * 2021-12-22 2023-06-29 경북대학교 산학협력단 딥러닝을 이용한 카메라 센서 고장 예측 장치 및 그 방법
KR102452433B1 (ko) * 2022-03-07 2022-10-11 주식회사 스탠다임 시계열적 정보를 인코딩하는 모델을 사용하여 질의되는 개체-쌍 사이의 연관성 관련 정보를 예측하는 방법 및 이를 이용하여 구축되는 예측 시스템
WO2023172025A1 (ko) * 2022-03-07 2023-09-14 주식회사 스탠다임 시계열적 정보를 인코딩하는 모델을 사용하여 개체-쌍 사이의 연관성 관련 정보를 예측하는 방법 및 이를 이용하여 생성되는 예측 시스템
CN115883439A (zh) * 2022-11-25 2023-03-31 中国联合网络通信集团有限公司 网络传输路径的处理方法、设备及存储介质

Also Published As

Publication number Publication date
US11562177B2 (en) 2023-01-24
US20210064935A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
KR102203065B1 (ko) 트리플 검증 장치 및 방법
CN110209817B (zh) 文本处理模型的训练方法、装置和文本处理方法
Weston et al. Memory networks
WO2020174826A1 (ja) 回答生成装置、回答学習装置、回答生成方法、及び回答生成プログラム
JP7360497B2 (ja) クロスモーダルな特徴の抽出方法、抽出装置、ならびに、プログラム
US20170200077A1 (en) End-to-end memory networks
CN114565104A (zh) 语言模型的预训练方法、结果推荐方法及相关装置
KR20170045135A (ko) 휴먼 인스파이어드된 간단한 질문 응답(hisqa)을 위한 시스템 및 방법
CN110929515A (zh) 基于协同注意力和自适应调整的阅读理解方法及系统
KR102223382B1 (ko) 다중타입 엔티티에 기반한 지식 보완 방법 및 장치
CN113190688B (zh) 基于逻辑推理和图卷积的复杂网络链接预测方法及系统
KR101939209B1 (ko) 신경망 기반의 텍스트의 카테고리를 분류하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN112015868A (zh) 基于知识图谱补全的问答方法
Shi et al. Artificial bee colony Based Bayesian Regularization Artificial Neural Network approach to model transient flammable cloud dispersion in congested area
CN111723914A (zh) 一种基于卷积核预测的神经网络架构搜索方法
CN113569001A (zh) 文本处理方法、装置、计算机设备及计算机可读存储介质
JP7070653B2 (ja) 学習装置、音声認識順位推定装置、それらの方法、およびプログラム
CN112861936A (zh) 一种基于图神经网络知识蒸馏的图节点分类方法及装置
US20180039239A1 (en) Systems and methods for learning and predicting time-series data using deep multiplicative networks
Pardos et al. dAFM: Fusing psychometric and connectionist modeling for Q-matrix refinement
Sharath et al. Question answering over knowledge base using language model embeddings
CN114077659A (zh) 一种基于邻居交互网络的知识图谱问答方法及系统
KR102405578B1 (ko) 지식 그래프를 이용한 상황 인지형 다중 문장 관계 추출 방법 및 장치
CN116663523A (zh) 多角度增强网络的语义文本相似度计算方法
KR102497362B1 (ko) 다계층 지식베이스 시스템 및 그의 처리 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant