WO2022114368A1

WO2022114368A1 - 뉴로 심볼릭 기반 릴레이션 임베딩을 통한 지식완성 방법 및 장치

Info

Publication number: WO2022114368A1
Application number: PCT/KR2020/018970
Authority: WO
Inventors: 박영택; 노재승; 박현규; 신원철
Original assignee: 숭실대학교산학협력단
Priority date: 2020-11-27
Filing date: 2020-12-23
Publication date: 2022-06-02
Also published as: KR102582779B1; KR20220074430A

Abstract

본 발명은 뉴로 심볼릭을 이용한 지식완성 방법 및 장치를 개시한다. 본 발명에 따르면, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 불완전 지식 그래프에 포함된 트리플 데이터의 릴레이션 및 엔티티와, 파라미터화된 규칙에 포함되는 릴레이션을 다차원 공간에 임베딩하고, 링크 연결을 위한 목표 트리플이 입력되는 경우, Backward Chaining 기반의 뉴로 심볼릭 통합(unification) 과정을 통해 상기 파라미터화된 규칙에 포함된 릴레이션의 임베딩 값을 업데이트하고, 상기 업데이트를 통해 상기 목표 트리플을 만족하는 릴레이션의 조합을 포함하는 하나 이상의 경로를 생성하고, 상기 하나 이상의 경로를 이용하여 상기 목표 트리플에 가장 의미론적으로 부합하는 추론 규칙을 생성하고, 상기 생성된 추론 규칙을 통해 누락된 링크를 연결하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 지식완성 장치가 제공된다.

Description

뉴로 심볼릭 기반 릴레이션 임베딩을 통한 지식완성 방법 및 장치

본 발명은 뉴로 심볼릭 기반 릴레이션 임베딩을 통한 지식완성 방법 및 장치에 관한 것이다.

지식 그래프는 데이터들 간의 관계를 표현한 네트워크로 인공지능 기술에 접목되어 다양하게 활용되고 있지만, 엔티티 또는 엔티티 사이의 링크가 누락되어 지식의 불완전성에 대한 문제가 존재한다.

상기한 문제점을 해결하기 위해 자동 지식완성 기법 연구가 중요하게 요구되며, 임베딩 기법을 사용하거나 딥러닝을 활용한 연구와 온톨로지를 이용한 심볼릭 규칙 추론을 통한 지식완성 수행과 같은 다양한 연구들이 진행되었다.

이러한 방식을 통해 효율적으로 자동 지식완성을 수행하지만 딥러닝 방식은 데이터 기반의 처리 방식으로 인해 대량의 학습 데이터가 요구되며, 결과에 대한 설명이 불가능하다는 문제점이 있다.

그리고 심볼릭 추론 방식을 이용하는 대다수의 연구들은 온톨로지를 통해 지식의 관계에 대하여 정의하고, 이를 규칙 기반 시맨틱 추론으로 지식완성을 수행한다.

전문가에 의해 정의된 규칙을 활용하기 때문에 잘 반영된 지식 그래프를 통해 누락된 지식을 완성할 수 있지만 대용량의 지식 그래프에 대한 관계 표현 및 규칙을 제공하기 위해서는 전문가의 많은 시간과 비용이 발생하는 문제점이 존재하며, 새로운 지식이나 기존 지식에 대한 변경이 발생할 때마다 관계 표현 및 규칙을 변경된 지식에 맞게 수정해야하는 문제점이 존재한다.

상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 효율적이며 정확한 지식완성을 수행할 수 있는 뉴로 심볼릭 기반 릴레이션 임베딩을 통한 지식완성 방법 및 장치를 제안하고자 한다.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 뉴로 심볼릭을 이용한 지식완성 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 불완전 지식 그래프에 포함된 트리플 데이터의 릴레이션 및 엔티티와, 파라미터화된 규칙에 포함되는 릴레이션을 다차원 공간에 임베딩하고, 링크 연결을 위한 목표 트리플이 입력되는 경우, Backward Chaining 기반의 뉴로 심볼릭 통합(unification) 과정을 통해 상기 파라미터화된 규칙에 포함된 릴레이션의 임베딩 값을 업데이트하고, 상기 업데이트를 통해 상기 목표 트리플을 만족하는 릴레이션의 조합을 포함하는 하나 이상의 경로를 생성하고, 상기 하나 이상의 경로를 이용하여 상기 목표 트리플에 가장 의미론적으로 부합하는 추론 규칙을 생성하고, 상기 생성된 추론 규칙을 통해 누락된 링크를 연결하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 지식완성 장치가 제공된다.

상기 파라미터화된 규칙은 제1 릴레이션 및 복수의 변수를 포함하는 결론 항과, 제2 릴레이션 및 복수의 변수를 포함하는 전제 항으로 구성되고, 상기 프로그램 명령어들은, 상기 목표 트리플의 릴레이션과 상기 제1 릴레이션의 유사도를 비교하여 상기 제1 릴레이션의 임베딩 값을 업데이트하고, 상기 목표 트리플의 복수의 엔티티들을 상기 복수의 변수에 각각 바인딩하여 치환 집합을 획득할 수 있다.

상기 프로그램 명령어들은, 상기 획득된 치환 집합을 이용하여 상기 제2 릴레이션과 유사도 비교 대상이 되는 상기 불완전 지식 그래프에 포함된 트리플 데이터의 릴레이션을 결정할 수 있다.

상기 전제 항은 제1 및 제2 전제 항을 포함하고, 상기 결론 항은 제1 릴레이션, 제1 변수 및 제2 변수를 포함하고, 상기 제1 전제 항은 제2-1 릴레이션 및 제1 변수 및 제3 변수를 포함하고, 상기 제2 전제 항은 제2-2 릴레이션 및 제3 변수 및 제2 변수를 포함할 수 있다.

상기 치환 집합은 상기 제1 변수를 상기 목표 트리플의 주어 엔티티와 바인딩하고, 상기 제2 변수를 상기 목표 트리플의 목적어 엔티티와 바인딩하여 획득되며, 상기 프로그램 명령어들은, 상기 제1 변수와 동일한 주어 엔티티를 갖는 트리플 데이터를 상기 불완전 지식 그래프에서 탐색하고, 상기 탐색된 트리플 데이터의 릴레이션과 상기 제2-1 릴레이션의 유사도를 비교하고, 상기 제3 변수를 상기 탐색된 트리플 데이터의 목적어 엔티티와 바인딩하여 상기 치환 집합을 업데이트할 수 있다.

상기 프로그램 명령어들은, 상기 하나 이상의 경로 각각에 포함된 릴레이션 조합의 임베딩 값의 평균값을 계산하고, 상기 평균값을 비용 함수에 적용하여 상기 추론 규칙 생성을 위한 하나의 경로를 결정할 수 있다.

본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 뉴로 심볼릭을 이용한 지식완성 방법으로서, 불완전 지식 그래프에 포함된 트리플 데이터의 릴레이션 및 엔티티와 파라미터화된 규칙에 포함되는 릴레이션을 다차원 공간에 임베딩하는 단계; 링크 연결을 위한 목표 트리플이 입력되는 경우, Backward Chaining 기반의 뉴로 심볼릭 통합(unification) 과정을 통해 상기 파라미터화된 규칙에 포함된 릴레이션의 임베딩 값을 업데이트하는 단계; 상기 업데이트를 통해 상기 목표 트리플을 만족하는 릴레이션의 조합을 포함하는 하나 이상의 경로를 생성하는 단계; 상기 하나 이상의 경로를 이용하여 상기 목표 트리플에 가장 의미론적으로 부합하는 추론 규칙을 생성하는 단계; 및 상기 생성된 추론 규칙을 통해 누락된 링크를 연결하는 단계를 포함하는 지식완성 방법이 제공된다.

본 발명의 또 다른 측면에 따르면, 상기 방법을 수행하는 컴퓨터 판독 가능한 프로그램이 제공된다.

본 발명의 또 다른 측면에 따르면, 뉴로 심볼릭을 이용한 지식완성 시스템으로서, 불완전 지식 그래프; 상기 불완전 지식 그래프 포함된 트리플 데이터의 릴레이션 및 엔티티와 파라미터화된 규칙에 포함되는 릴레이션을 다차원 공간에 임베딩하고, 링크 연결을 위한 목표 트리플이 입력되는 경우, Backward Chaining 기반의 뉴로 심볼릭 통합(unification) 과정을 통해 상기 파라미터화된 규칙에 포함된 릴레이션의 임베딩 값을 업데이트하고, 상기 업데이트를 통해 상기 목표 트리플을 만족하는 릴레이션의 조합을 포함하는 하나 이상의 경로를 생성하는 뉴로 심볼릭 통합 모듈; 및 상기 하나 이상의 경로를 이용하여 생성되며, 상기 목표 트리플에 가장 의미론적으로 부합하는 추론 규칙을 이용하여 누락된 링크를 연결하는 지식완성 모듈을 포함하는 지식완성 시스템이 제공된다.

본 발명에 따르면, 선택적으로 릴레이션을 임베딩하고, 파라미터 패싱을 통해 효율적이며 정확하게 지식완성을 수행할 수 있는 장점이 있다.

도 1은 본 발명의 바람직한 일 실시에에 따른 지식완성 장치의 시스템의 구성을 도시한 도면이다.

도 2는 본 실시예에 따른 통합(unification) 과정에 대한 간단한 예를 도시한 도면이다.

도 3은 본 실시예에 따른 파라미터화된 규칙을 이용한 뉴로 심볼릭 통합 과정을 도시한 도면이다.

도 4 내지 도 5는 본 실시예에 따른 positive 데이터와 negative 데이터를 도시한 도면이다.

도 6은 본 실시예에 따른 지식완성 과정을 설명하기 위한 도면이다.

도 7은 본 실시예에 따른 지식완성 장치의 구성을 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명은 뉴로 심볼릭 방식을 이용하여 지식 그래프의 데이터로부터 implicit한 규칙을 explicit하게 추출하여 자동으로 지식완성을 수행한다.

도 1에 도시된 바와 같이, 본 실시예에 따른 지식완성 장치는 뉴로 심볼릭 통합 모듈(Neuro-Symbolic Unification Module, 100) 및 지식완성 모듈(Knowledge Completion Module, 110)을 포함할 수 있다.

뉴로 심볼릭 통합 모듈(100)은 불완전 지식 그래프(Incomplete KG, 102)의 트리플 데이터와 파라미터화된 규칙(Parameterized Rule,

)을 입력 받고, 트리플 데이터의 릴레이션 및 엔티티와, 파라미터화된 규칙에 포함되는 릴레이션을 다차원 공간에 임베딩한다.

또한, 링크 연결을 위한 목표 트리플이 입력되는 경우, Backward Chaining 기반의 뉴로 심볼릭 통합(unification) 과정을 통해 파라미터화된 규칙의 릴레이션(

)과 파라미터화된 규칙에 포함된 릴레이션의 임베딩 값을 업데이트하고, 업데이트를 통해 목표 트리플을 만족하는 릴레이션의 조합을 포함하는 하나 이상의 경로를 생성하며, 하나 이상의 경로를 이용하여 상기 목표 트리플에 가장 의미론적으로 부합하는 추론 규칙을 생성한다.

여기서, 트리플 데이터는 subject(주어), object(목적어)와 같은 엔티티와 predicate에 해당하는 릴레이션을 포함하며, 본 실시예에 따른 뉴로 심볼릭 통합 모듈(100)은 목표 트리플의 릴레이션과 파라미터화된 규칙의 릴레이션과 유사도를 비교한다.

본 실시예에 따른 뉴로 심볼릭 통합 모듈(100)은 파라미터화된 규칙에 대해 임의의 트리플을 목표 트리플로 설정하고, 설정된 목표 트리플로부터 뉴로 심볼릭 통합 과정을 수행한다.

최종 출력은 목표 트리플을 도출할 수 있는 규칙에 대한 릴레이션 정보이다.

수집된 릴레이션 정보는 릴레이션에 대한 임베딩 과정을 거친 후, “릴레이션-릴레이션”에 대한 유사도 계산을 통해 파라미터화된 규칙의 릴레이션을 학습하여, 목표 트리플을 만족하는 규칙을 유도한다.

이후, 지식완성 모듈(110)은 유도된 규칙을 이용한 추론 엔진을 통해 지식의 자동 완성을 수행한다.

본 실시예에 따르면, 주어진 목표 트리플(질의)에 대하여 목표 트리플이 참이 되도록 증명하기 위해 Prolog의 Backward chaining 알고리즘을 사용한다.

Backward chaining 알고리즘 과정은 크게 2가지 과정으로 진행되며, 이 과정에서는 앞서 설명한 뉴로 심볼릭 통합 과정을 함께 수행하게 된다.

뉴로 심볼릭 통합 모듈(100)은 지식 그래프의 모든 규칙과 데이터(facts)를 활용하여 규칙의 결론에 해당하는 목표 트리플에 포함된 엔티티를 포함하는 치환(substitution) 집합을 얻는 OR 과정을 수행한다.

여기서, nationality(X,Y) :- placeOfBirth(X,Y)의 규칙은 결론 항인 nationality(X,Y)와 전제 항인 BornIn(X,Y)로 이루어질 수 있다.

OR 과정에서 통합이 성공적으로 수행되면, 뉴로 심볼릭 통합 모듈(100)은 규칙의 전제 항을 만족하는 치환 집합을 업데이트하기 위한 AND 과정을 수행한다.

규칙의 전제 항이 여러 개가 존재할 경우, 첫 번째 전제 항에 대하여 AND 과정을 수행하고 다시 OR 과정을 호출하는 재귀적 호출이 수행된다.

예를 들어 목표 트리플이 nationality(kim, korea)이고, 주어진 규칙이 nationality(X,Y) :- BornIn(X,Y)와 같을 때, 규칙의 결론 항인 nationality(X,Y)에서 변수 X는 kim, 변수 Y는 korea의 값으로 바인딩되어 치환 집합 {X/kim, Y/korea}을 얻을 수 있다.

규칙의 결론 항의 변수에 대해 상기와 같은 바인딩을 통해 구해진 치환 집합에서 규칙의 전제 항에서도 동일한 변수가 사용되면, 미리 구해진 치환 집합을 그대로 적용하여 엔티티와 변수를 바인딩하는 파라미터 패싱(Parameter passing)을 통해 전제 항의 변수를 상수(바인딩된 엔티티의 임베딩 값)로 변환할 수 있다.

이를 통해 규칙의 전제 항인 BornIn(X,Y)을 BornIn(kim, korea)와 같은 트리플 데이터로 변환하여 지식 그래프에서 해당 트리플을 검색하여 목표 트리플에 대한 규칙을 추론할 수 있다.

뉴로 심볼릭 통합 과정을 통해 목표 트리플을 만족하는 파라미터화된 규칙을 구성하는 릴레이션의 조합을 포함하는 경로를 도출할 수 있다. 하지만 뉴로 심볼릭 통합 과정은 규칙 템플릿의 릴레이션이 실제 지식 그래프에 존재하는 릴레이션과 일치하는 경우에만 가능하기 때문에 추론 규칙 생성을 위한 학습에는 부적합하다.

따라서 임의의 릴레이션 p, q, r를 #1, #2, #3와 같이 파라미터화하여 규칙 템플릿을 재구성한다.

도 3을 참조하면, 최종적으로 도출되는 규칙 grandFatherOf(X,Y) :- fatherOf(X,Z), parentOf(Z,Y). 의 릴레이션을 임의의 릴레이션 정보와 학습하기 위해 규칙 템플릿을 #1(X,Y) :- #2(X,Z), #3(Z,Y)와 같이 파라미터화된 규칙 형태로 변경한다.

파라미터화된 규칙는 #1과 같이, 결론 항의 제1 릴레이션, #2, #3와 같이 전제 항의 릴레이션을 포함할 수 있고, 복수의 변수 X, Y, Z를 포함할 수 있다.

파라미터화된 규칙의 제1 내지 제3 릴레이션은 목표 트리플이 입력되는 경우, Backward Chaining 기반의 뉴로 심볼릭 통합 과정을 통해 임베딩 값이 업데이트된다.

여기서, 임베딩 값의 업데이트는, 목표 트리플의 릴레이션과, 파라미터화된 규칙의제1 릴레이션의 유사도 비교 및 파라미터화된 규칙에 포함된 변수와 불완전 지식 그래프의 트리플 데이터의 엔티티와의 비교를 통한 파라미터 패싱, 상기한 파라미터 패싱에 따라 결정된 지식 그래프의 트리플 데이터의 릴레이션과 제2 및 제3 릴레이션의 유사도 비교 과정을 통해 수행될 수 있다.

보다 상세하게, 임베딩 값 업데이트에서, 목표 트리플의 릴레이션과 상기 제1 릴레이션의 유사도를 비교하여 상기 제1 릴레이션의 임베딩 값을 업데이트하고, 상기 목표 트리플의 복수의 엔티티들을 상기 복수의 변수에 각각 바인딩하여 치환 집합을 획득한다.

다음으로, 획득된 치환 집합을 이용하여 상기 제2 릴레이션과 유사도 비교 대상이 되는 상기 불완전 지식 그래프에 포함된 트리플 데이터의 릴레이션을 결정한다.

도 3과 같이, 결론 항이 제1 릴레이션(#1), 제1 변수(X) 및 제2 변수(Y)를 포함하고, 제1 전제 항이 제2-1 릴레이션(#2) 및 제1 변수(X) 및 제3 변수(Z)를 포함하고, 제2 전제 항이 제2-2 릴레이션(#3) 및 제3 변수(Z) 및 제2 변수(Y)를 포함하는 경우, 치환 집합은 상기 제1 변수를 상기 목표 트리플의 주어 엔티티와 바인딩하고, 상기 제2 변수를 상기 목표 트리플의 목적어 엔티티와 바인딩하여 획득되며, 제1 변수와 동일한 주어 엔티티를 갖는 트리플 데이터를 상기 불완전 지식 그래프에서 탐색하고, 상기 탐색된 트리플 데이터의 릴레이션과 상기 제2-1 릴레이션의 유사도를 비교하고, 상기 제3 변수를 상기 탐색된 트리플 데이터의 목적어 엔티티와 바인딩하여 상기 치환 집합을 업데이트한다.

임베딩 값의 업데이트를 통해 제1 내지 제3 릴레이션에 대한 순서를 포함하는 경로 정보가 도출될 수 있고, 도출된 릴레이션 경로 정보를 이용하여 목표 트리플이 참인 경우, 제1 내지 제3 릴레이션과 참인 릴레이션의 유사도는 1에 가깝게, 거짓인 릴레이션의 유사도는 0으로 수렴하도록 학습된다.

본 발명과 기존의 통합 과정의 차이점은 파라미터화된 규칙의 릴레이션이 임의의 릴레이션을 가질 수 있도록 변경되었기 때문에 목표 트리플의 grandFatherOf와 첫 번째 규칙 항의 릴레이션 파라미터 #1에 대하여 임베딩하여 유사도를 계산하는 것이 가능하다.

파라미터화된 규칙의 변수는 목표 트리플의 주어 또는 목적어 엔티티로 바인딩된다.

따라서 규칙의 결론 항과 목표 트리플에 대한 릴레이션은 #1과 grandFatherOf에 대한 유사도 계산을 수행하고 엔티티에 대해서 X는 ABE, Y는 BART로 바인딩된다.

다음으로 전제 항에 대해서는 앞서 구한 치환 집합({X/ABE, Y/BART})을 이용하며, 동일한 변수인 X에 대해 파라미터 패싱을 적용한다. 규칙의 결론 항에서 X의 값이 ABE로 바인딩되었기 때문에 #2(ABE, Z)에 대하여 통합 과정을 수행한다.

지식 그래프로부터 subject 엔티티가 ABE인 트리플 데이터에 대해 통합 과정을 수행하면 지식 그래프의 1번 트리플인 fatherOf(ABE, HOMER)가 도출된다. 이렇게 구해진 트리플 데이터를 통해 릴레이션에 대한 유사도 계산을 수행할 수 있다.

다음으로 #2와 fatherOf 릴레이션 간의 유사도를 계산하고, 치환 집합에 변수 Z에 대한 값으로 HOMER가 저장된다. 이와 같은 과정으로 규칙이 끝날 때까지 재귀적으로 수행하게 되며 최종적으로 규칙의 결론 항 및 전제 항에 대한 릴레이션에 대한 정보를 도출하게 된다.

뉴로 심볼릭 통합의 결과인 릴레이션에 대한 정보는 규칙을 구성하는 각 항이 되기 때문에 규칙의 첫 항부터 마지막 항에 대한 정보까지 바뀌지 않아야 한다. 또한 각 항마다 릴레이션에 대한 유사도 계산은 지식 그래프의 크기가 커질수록 계산량이 증가하게 된다.

이를 방지하기 위해 뉴로 심볼릭 통합 과정에서 도출된 릴레이션의 조합을 규칙 항의 순서를 고려한 그룹으로 설정한다.

따라서 {(#1, grandfahterOf), (#2, fatherOf), (#3, parentOf)}가 하나의 경로로 설정되어 규칙으로 추론 가능하며, #1은 grandfahterOf, #2은 fatherOf, 그리고 #3은 parentOf와 유사도가 1에 가깝게 학습된다.

지식완성을 위한 규칙 추론 학습을 하기 위해 오차(loss)를 최소화하는 비용 함수(cost function)와 기존의 방식과 다르게 뉴로 심볼릭 통합 과정을 수행하기 때문에 학습 데이터에 대한 정의가 필요하다.

학습 데이터는 릴레이션의 경로에 대한 임베딩 학습을 수행해야 하기 때문에 지식 그래프에서 임의의 하나의 트리플을 목표 트리플로 선택하여 뉴로 심볼릭 통합 과정을 수행한다.

수행된 결과의 릴레이션은 positive 데이터로 사용되며, 순서를 반영한 릴레이션 조합을 포함하는 경로를 고려하여 그룹 단위로 사용된다.

임의의 릴레이션 p, q, r에 대한 파라미터화된 규칙의 릴레이션 #1, #2, #3와 목표 트리플에 대하여 도출되는 규칙의 경우의 수가 k개라 가정할 때, i번째 경로의 릴레이션은 목표 트리플을 만족하는 하나의 규칙에 대한 릴레이션 정보가 되며, 이를 표현하면

과 같이 표현할 수 있다.

도 4를 참조하면, 목표 트리플로부터 도출되는 i번째 경로는 {(#1, grandfahterOf), (#2, fatherOf), (#3, parentOf)}와 같으며, 뉴로 심볼릭 통합 과정을 통한 모든 과정의 결과는 참이기 때문에 positive 데이터로 생성한다.

반대로 도 5에 도시된 바와 같이, negative 데이터는 뉴로 심볼릭 통합 과정을 통해 도출된 각 경로 그룹에 존재하지 않는 릴레이션 조합을 추가하여 생성한다.

예를 들어, negative 데이터는 {(#1, grandfahterOf), (#2, grandfahterOf), (#3, childOf)}와 같이 통합 과정에서 도출될 수 없는 릴레이션 조합이다.

본 실시예에 따르면, 지식완성을 위한 규칙 추론 학습을 하기 위해 오차를 최소화하는 비용 함수를 정의한다. 학습 데이터는 뉴로 심볼릭 통합을 통해 도출되는 릴레이션의 집합은

이고 지식 그래프 K에 대하여 positive 데이터는 모든 L의 릴레이션

에 대해서

형태가 되며, 각 항에 대한 릴레이션 유사도의 값이 1이 되며, negative 데이터는 모든 L의 릴레이션

에 대해서

형태가 되며, 각항에 대한 릴레이션의 유사도의 값이 0이 되도록 하기 위해 negative log-likelihood를 사용한다.

뉴로 심볼릭 통합 과정의 결과는 여러 개의 릴레이션으로 구성된 다수의 경로 집합을 도출하기 때문에 0 또는 1의 유사도 값을 위해 몇 가지의 과정이 필요하며, 학습 데이터에 따라 아래와 같은 계산을 추가적으로 수행한다.

먼저 뉴로 심볼릭 통합 과정을 수행한 후, 도출되는 각 경로에 대한 릴레이션의 평균값을 계산한다. 하나의 경로는 규칙에 사용되는 다수의 릴레이션을 포함하기 때문에 이들의 평균값은 규칙에 대한 특징을 의미한다.

뉴로 심볼릭 통합 과정을 통해 구해진 다수의 경로는 모두 참이며, 주어진 규칙 템플릿을 통해 모두 만족시키기 위해 파라미터화된 규칙의 릴레이션을 증강(augment)하여 수행하여 처리한다. 하나의 규칙의 경로에서 가장 높은 값을 취하여 다수의 경로에서 최소값을 선택하여 학습하는 방법을 사용한다.

뉴로 심볼릭 통합 과정을 통해 도출된 경로를 학습 데이터로 사용하고 앞서 지정한 비용 함수를 뉴로 심볼릭 통합 과정 모듈(100)의 함수로 사용함으로써 릴레이션 임베딩 벡터에 대한 학습을 수행할 수 있다.

도 6을 참조하면, 다음과 같은 불완전한 지식 그래프가 있을 때, 뉴로 심볼릭 통합 모듈(100)을 통해 임베딩 벡터를 학습하고 주어진 규칙 템플릿에 알맞은 임베딩 벡터를 추출함으로써 #1(X,Y) :- #2(X,Z), #3(Z,Y) 형태인 규칙 템플릿에 대하여 grandFatherOf(X,Y) :- fatherOf(X,Z), parentOf(Z,Y) 와 같은 규칙 추출이 가능하다.

추출된 규칙을 통해 불완전한 지식 그래프에 대하여 규칙 추론을 수행하게 되면 grandFatherOf(jim, edward) :- fatherOf(jim, roth), parentOf(roth, edward) 와 같은 추론이 가능하게 되며, 이를 통해 불완전 지식 그래프에서 누락되었던 grandFatherOf(jim, edward) 에 대한 링크 연결이 가능하게 된다.

뉴로 심볼릭 통합 모듈(100)을 통해 다양한 형태의 규칙 템플릿을 학습하고 이에 대한 규칙 추출을 통해 추출된 규칙을 사용한 추론을 사용하게 되면 불완전한 지식 그래프에 대하여 좋은 성능의 지식완성을 수행할 수 있게 된다.

도 7에 도시된 바와 같이, 본 실시예에 따른 지식완성 장치는 프로세서(700) 및 메모리(702)를 포함할 수 있다.

프로세서(700)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.

메모리(702)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(702)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.

이와 같은 메모리(702)에는 상기한 뉴로 심볼릭 통합 모듈(100) 및 지식완성 모듈(102)이 수행하는 과정을 위해, 프로세서(700)에 의해 실행 가능한 프로그램 명령어들이 저장된다.

본 실시예에 따른 프로그램 명령어들은, 불완전 지식 그래프에 포함된 트리플 데이터의 릴레이션 및 엔티티와, 파라미터화된 규칙에 포함되는 릴레이션을 다차원 공간에 임베딩하고, 링크 연결을 위한 목표 트리플이 입력되는 경우, Backward Chaining 기반의 뉴로 심볼릭 통합(unification) 과정을 통해 상기 파라미터화된 규칙에 포함된 릴레이션의 임베딩 값을 업데이트하고, 상기 업데이트를 통해 상기 목표 트리플을 만족하는 릴레이션의 조합을 포함하는 하나 이상의 경로를 생성하고, 상기 하나 이상의 경로를 이용하여 상기 목표 트리플에 가장 의미론적으로 부합하는 추론 규칙을 생성하고,상기 생성된 추론 규칙을 통해 누락된 링크를 연결한다.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims

뉴로 심볼릭을 이용한 지식완성 장치로서,

프로세서; 및

상기 프로세서에 연결되는 메모리를 포함하되,

불완전 지식 그래프에 포함된 트리플 데이터의 릴레이션 및 엔티티와, 파라미터화된 규칙에 포함되는 릴레이션을 다차원 공간에 임베딩하고,

링크 연결을 위한 목표 트리플이 입력되는 경우, Backward Chaining 기반의 뉴로 심볼릭 통합(unification) 과정을 통해 상기 파라미터화된 규칙에 포함된 릴레이션의 임베딩 값을 업데이트하고,

상기 업데이트를 통해 상기 목표 트리플을 만족하는 릴레이션의 조합을 포함하는 하나 이상의 경로를 생성하고,

상기 하나 이상의 경로를 이용하여 상기 목표 트리플에 가장 의미론적으로 부합하는 추론 규칙을 생성하고,

상기 생성된 추론 규칙을 통해 누락된 링크를 연결하도록,

상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 지식완성 장치.
제1항에 있어서,

상기 파라미터화된 규칙은 제1 릴레이션 및 복수의 변수를 포함하는 결론 항과, 제2 릴레이션 및 복수의 변수를 포함하는 전제 항으로 구성되고,

상기 프로그램 명령어들은,

상기 목표 트리플의 릴레이션과 상기 제1 릴레이션의 유사도를 비교하여 상기 제1 릴레이션의 임베딩 값을 업데이트하고,

상기 목표 트리플의 복수의 엔티티들을 상기 복수의 변수에 각각 바인딩하여 치환 집합을 획득하는 지식완성 장치.
제2항에 있어서,

상기 프로그램 명령어들은,

상기 획득된 치환 집합을 이용하여 상기 제2 릴레이션과 유사도 비교 대상이 되는 상기 불완전 지식 그래프에 포함된 트리플 데이터의 릴레이션을 결정하는 지식완성 장치.
제3항에 있어서,

상기 전제 항은 제1 및 제2 전제 항을 포함하고,

상기 결론 항은 제1 릴레이션, 제1 변수 및 제2 변수를 포함하고,

상기 제1 전제 항은 제2-1 릴레이션 및 제1 변수 및 제3 변수를 포함하고,

상기 제2 전제 항은 제2-2 릴레이션 및 제3 변수 및 제2 변수를 포함하는 지식완성 장치.
제4항에 있어서,

상기 치환 집합은 상기 제1 변수를 상기 목표 트리플의 주어 엔티티와 바인딩하고, 상기 제2 변수를 상기 목표 트리플의 목적어 엔티티와 바인딩하여 획득되며,

상기 프로그램 명령어들은,

상기 제1 변수와 동일한 주어 엔티티를 갖는 트리플 데이터를 상기 불완전 지식 그래프에서 탐색하고, 상기 탐색된 트리플 데이터의 릴레이션과 상기 제2-1 릴레이션의 유사도를 비교하고,

상기 제3 변수를 상기 탐색된 트리플 데이터의 목적어 엔티티와 바인딩하여 상기 치환 집합을 업데이트하는 지식완성 장치.
제1항에 있어서,

상기 프로그램 명령어들은,

상기 하나 이상의 경로 각각에 포함된 릴레이션 조합의 임베딩 값의 평균값을 계산하고,

상기 평균값을 비용 함수에 적용하여 상기 추론 규칙 생성을 위한 하나의 경로를 결정하는 지식완성 장치.
프로세서 및 메모리를 포함하는 뉴로 심볼릭을 이용한 지식완성 방법으로서,

불완전 지식 그래프에 포함된 트리플 데이터의 릴레이션 및 엔티티와 파라미터화된 규칙에 포함되는 릴레이션을 다차원 공간에 임베딩하는 단계;

링크 연결을 위한 목표 트리플이 입력되는 경우, Backward Chaining 기반의 뉴로 심볼릭 통합(unification) 과정을 통해 상기 파라미터화된 규칙에 포함된 릴레이션의 임베딩 값을 업데이트하는 단계;

상기 업데이트를 통해 상기 목표 트리플을 만족하는 릴레이션의 조합을 포함하는 하나 이상의 경로를 생성하는 단계;

상기 하나 이상의 경로를 이용하여 상기 목표 트리플에 가장 의미론적으로 부합하는 추론 규칙을 생성하는 단계; 및

상기 생성된 추론 규칙을 통해 누락된 링크를 연결하는 단계를 포함하는 지식완성 방법.
제7항에 있어서,

상기 파라미터화된 규칙은 제1 릴레이션 및 복수의 변수를 포함하는 결론 항 및 제2 릴레이션 및복수의 변수를 포함하는 전제 항으로 구성되고,

상기 업데이트 하는 단계는, 상기 목표 트리플의 릴레이션과 상기 제1 릴레이션의 유사도를 비교하여 상기 제1 릴레이션의 임베딩 값을 업데이트하고, 상기 목표 트리플의 복수의 엔티티들을 상기 복수의 변수에 각각 바인딩하여 치환 집합을 획득하는 지식완성 방법.
제7항에 따른 방법을 수행하는 컴퓨터 판독 가능한 프로그램.
뉴로 심볼릭을 이용한 지식완성 시스템으로서,

불완전 지식 그래프;

상기 불완전 지식 그래프 포함된 트리플 데이터의 릴레이션 및 엔티티와 파라미터화된 규칙에 포함되는 릴레이션을 다차원 공간에 임베딩하고, 링크 연결을 위한 목표 트리플이 입력되는 경우, Backward Chaining 기반의 뉴로 심볼릭 통합(unification) 과정을 통해 상기 파라미터화된 규칙에 포함된 릴레이션의 임베딩 값을 업데이트하고, 상기 업데이트를 통해 상기 목표 트리플을 만족하는 릴레이션의 조합을 포함하는 하나 이상의 경로를 생성하는 뉴로 심볼릭 통합 모듈; 및

상기 하나 이상의 경로를 이용하여 생성되며, 상기 목표 트리플에 가장 의미론적으로 부합하는 추론 규칙을 이용하여 누락된 링크를 연결하는 지식완성 모듈을 포함하는 지식완성 시스템.