KR102365838B1 - 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 방법 및 장치 - Google Patents

사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 방법 및 장치 Download PDF

Info

Publication number
KR102365838B1
KR102365838B1 KR1020200150927A KR20200150927A KR102365838B1 KR 102365838 B1 KR102365838 B1 KR 102365838B1 KR 1020200150927 A KR1020200150927 A KR 1020200150927A KR 20200150927 A KR20200150927 A KR 20200150927A KR 102365838 B1 KR102365838 B1 KR 102365838B1
Authority
KR
South Korea
Prior art keywords
rule
user
intention
triple
neural
Prior art date
Application number
KR1020200150927A
Other languages
English (en)
Inventor
박영택
박현규
신원철
노재승
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020200150927A priority Critical patent/KR102365838B1/ko
Priority to PCT/KR2021/015998 priority patent/WO2022103081A1/ko
Application granted granted Critical
Publication of KR102365838B1 publication Critical patent/KR102365838B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 방법 및 장치를 개시한다. 본 발명에 따르면, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 사용자의 생활 환경으로부터 행동 및 자세를 포함하는 지각 정보를 수집하고, 상기 수집된 지각 정보를 사용자의 의도 및 지각 정보의 관계에 대하여 정의된 온톨로지를 이용하여 트리플 데이터로 변환하고, 상기 변환된 트리플 데이터의 엔티티와 릴레이션에 관한 벡터를 다차원 공간에 임베딩하고, 사용자의 의도를 표현하는 목표 트리플이 입력되는 경우, Neural Theorem Prover (NTP)의 AND, OR, Unify 및 Aggregation 모듈을 통해 미리 설정된 규칙 템플릿의 파라미터를 업데이트하고, 상기 파라미터의 업데이트를 통해 상기 목표 트리플의 특징을 나타내는 하나 이상의 지각 정보를 조건으로 갖는 규칙을 생성하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 포함하는 뉴럴 심볼릭 기반 규칙 생성 장치가 제공된다.

Description

사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 방법 및 장치{Method and apparatus for generating neural symbolic-based rule for user intention inference}
본 발명은 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 방법 및 장치에 관한 것이다.
사용자, 특히 고령자의 의도를 파악하여 상황에 따른 서비스는 고령자의 능력 보완 등 삶의 질 개선에 기여할 것으로 예상 되어 많은 기업과 대학에서 연구되고 있다.
그 중에서 고령자의 행동 및 자세에 대하여 발생한 시간과 종료한 시간에 따라 변하는 행동과 자세 정보를 Event Calculus 기반 추론 엔진을 사용하여 고령자의 의도를 추론하고 이를 통해 생활패턴 분석을 수행한 연구가 대표적이다.
해당 기술은 관측된 고령자의 행동 및 자세 정보의 관계를 분석하여 Event Calculus 기반 규칙을 정의하여 고령자의 의도를 추론한다. 이때 발생한 지각 정보에 따른 의도를 추론하기 위해서는 지각 정보를 잘 반영한 올바른 규칙이 필수적이며, 이는 전문가에 의해 작성된다.
이를 통해 지각 정보를 분석한 규칙을 사용하여 의도 추론에 있어 좋은 성능을 보였으나 고령자의 생활 데이터가 축척될수록 이를 반영하기 위한 규칙을 정의하기 위해 많은 비용이 소모되는 문제점이 존재한다.
오랜 기간 동안 관측된 고령자의 지각 정보를 전문가가 분석하여 규칙을 생성하기 위해서는 많은 시간 및 비용이 소요되기 때문이다.
대한민국공개특허 10-2020-0063313
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 사용자의 의도 추론을 규칙을 적은 시간 및 비용으로 생성할 수 있는 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 방법 및 장치를 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 사용자의 생활 환경으로부터 행동 및 자세를 포함하는 지각 정보를 수집하고, 상기 수집된 지각 정보를 사용자의 의도 및 지각 정보의 관계에 대하여 정의된 온톨로지를 이용하여 트리플 데이터로 변환하고, 상기 변환된 트리플 데이터의 엔티티와 릴레이션에 관한 벡터를 다차원 공간에 임베딩하고, 사용자의 의도를 표현하는 목표 트리플이 입력되는 경우, Neural Theorem Prover (NTP)의 AND, OR, Unify 및 Aggregation 모듈을 통해 미리 설정된 규칙 템플릿의 파라미터를 업데이트하고, 상기 파라미터의 업데이트를 통해 상기 목표 트리플의 특징을 나타내는 하나 이상의 지각 정보를 조건으로 갖는 규칙을 생성하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 포함하는 뉴럴 심볼릭 기반 규칙 생성 장치가 제공된다.
상기 규칙 템플릿은, 결론에 해당하는 규칙 헤드 및 조건에 해당하는 규칙 바디를 포함하고, 상기 규칙 헤드 및 규칙 바디는 릴레이션에 상응하는 predicate, 엔티티에 상응하는 subject 및 object의 트리플 데이터로 구성되며, 상기 규칙 바디에 상기 지각 정보에 대한 트리플이 배치될 수 있다.
상기 규칙 헤드는 사용자의 의도에 상응하는 object에 대한 제1 파라미터를 포함하고, 상기 규칙 바디는 사용자의 행동 및 자세 각각에 상응하는 object에 대한 제2 및 제3 파라미터를 포함할 수 있다.
상기 프로그램 명령어들은, 상기 규칙 템플릿의 object에 해당하는 파라미터의 임베딩 벡터값을 업데이트할 수 있다.
상기 프로그램 명령어들은, 상기 목표 트리플의 object와 상기 제1 파라미터의 유사도를 계산하고, 상기 수집된 지각 정보와 상기 제2 및 제3 파라미터의 유사도를 계산하고, 상기 목표 트리플에서 행동 및 자세 트리플로 연결되는 트리의 경로를 생성할 수 있다.
상기 규칙 템플릿의 subject는 특정 사용자로 바인딩될 수 잇다.
상기 프로그램 명령어들은, 상기 파라미터를 업데이트하기 위해, 사용자의 의도와 관련된 지각 정보의 빈도 기반의 가중치 매트릭스를 이용할 수 있다.
본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 장치에서 사용자 의도 추론을 위한 뉴럴 심볼릭 기반으로 규칙을 생성하는 방법으로서, 사용자의 생활 환경으로부터 행동 및 자세를 포함하는 지각 정보를 수집하는 단계; 상기 수집된 지각 정보를 사용자의 의도 및 지각 정보의 관계에 대하여 정의된 온톨로지를 이용하여 트리플 데이터로 변환하는 단계; 상기 변환된 트리플 데이터의 엔티티와 릴레이션에 관한 벡터를 다차원 공간에 임베딩하는 단계; 사용자의 의도를 표현하는 목표 트리플이 입력되는 경우, Neural Theorem Prover (NTP)의 AND, OR, Unify 및 Aggregation 모듈을 통해 미리 설정된 규칙 템플릿의 파라미터를 업데이트하는 단계; 및 상기 파라미터의 업데이트를 통해 상기 목표 트리플의 특징을 나타내는 하나 이상의 지각 정보를 조건으로 갖는 규칙을 생성하는 단계를 포함하는 뉴럴 심볼릭 기반 규칙 생성 방법이 제공된다.
본 발명의 다른 측면에 따르면, 상기한 방법을 수행하는 컴퓨터 판독 가능한 프로그램이 제공된다.
본 발명의 또 다른 측면에 따르면, 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 시스템으로서, 사용자의 생활 환경으로부터 행동 및 자세를 포함하는 지각 정보 수집부; 사용자의 의도 및 지각 정보의 관계를 정의하는 온톨로지를 저장하는 온톨로지 저장부; 상기 온톨로지를 이용하여 상기 수집된 지각 정보를 트리플 데이터로 변환하는 전처리기; 상기 변환된 트리플 데이터의 엔티티와 릴레이션에 관한 벡터를 다차원 공간에 임베딩하는 임베딩부; 사용자의 의도를 표현하는 목표 트리플이 입력되는 경우, AND, OR 및 Unify 모듈을 통해 미리 설정된 규칙 템플릿의 파라미터를 업데이트 Neural Theorem Prover (NTP); 및 상기 파라미터의 업데이트를 통해 상기 목표 트리플의 특징을 나타내는 하나 이상의 지각 정보를 조건으로 갖는 규칙을 생성하는 규칙 생성부를 포함하는 뉴럴 심볼릭 기반 규칙 생성 시스템이 제공된다.
본 발명에 따르면, 고령자 의도를 이해하고 상황 변화에 따른 서비스는 고령자를 모시고 사는 가정이나 가족과 떨어져 사는 독거노인 가정에서 고령자에 대한 걱정을 줄여 가정 내 고령자 사고 감소 및 위급 상황에 대한 신속한 대처가 가능한 장점이 있다.
도 1은 트리플 데이터에 대한 유사도 계산에 대한 예를 나타낸 도면이다.
도 2는 NTP 방식을 통한 목표 트리플을 만족하는 규칙을 구하는 과정을 보여 주는 예이다.
도 3은 지각 정보와 고령자 의도와의 관계를 표현한 온톨로지의 예를 도시한 도면이다.
도 4는 고령자의 의도를 추론하기 위한 뉴럴 심볼릭(Neural Symbolic) 기반 규칙 생성 시스템을 도시한 도면이다.
도 5는 한 고령자의 식사하기(MEAL) 의도에 대한 규칙 생성 과정의 예를 도시한 도면이다.
도 6은 각 의도마다 많은 빈도로 등장하는 행동을 정리한 표이다.
도 7은 의도에 따라 지각 정보 의도 매트릭스를 나타낸 것이다.
도 8은 본 발명의 일 실시예에 따른 뉴럴 심볼릭 기반 규칙 생성 장치의 구성을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명은 사용자의 생활 환경에서 획득할 수 있는 행동 및 자세를 포함하는 지각 정보를 바탕으로 사용자의 의도를 추론하기 위한 규칙을 임베딩 방식을 이용하여 생성하는 기법에 대한 것이다.
특히, 본 발명은 고령자의 의도를 추론하는데 적합한 것으로 이하에서는 고령자 의도 추론을 위한 규칙 생성 방법에 대해 상세하게 설명한다.
설명에 앞서, 이하에서는 지식베이스에서 규칙을 추출하는 방법 중 하나인 NTP(Neural Theorem Prover) 방식을 우선 설명한다.
NTP 방식은 지식베이스로부터 엔티티(Entity) 간 및 릴레이션(Relation) 간의 유사도를 통해 지식을 완성하고, 주어진 규칙 템플릿(Rule Template)을 통해 규칙을 학습하는 방법이다.
NTP 방식은 지식베이스의 엔티티에 대한 유사도를 구하기 위해 Backward chaining 방식을 이용하여 주어진 트리플에 대하여 규칙 템플릿을 만족하는 트리플을 Unification 과정을 통해 학습한다. 해당 방식은 규칙을 만족하는 트리플 뿐만 아니라 유사한 의미를 지니는 트리플을 구할 수 있다.
도 1은 트리플 데이터에 대한 유사도 계산에 대한 예를 나타낸 도면이다.
두 개의 트리플 데이터에서 각 트리플에서 주어(subject), 목적어(object), 술어(predicate)에 대한 유사도를 각각 구한다.
트리플 데이터의 유사도 학습을 이용하여 NTP 방식은 Backword Chaining 방식의 AND, OR, Unify 3가지의 방식을 모듈화하여 주어진 목표 트리플을 도출하도록 규칙을 완성한다.
도 2는 NTP 방식을 통한 목표 트리플을 만족하는 규칙을 구하는 과정을 보여 주는 예이다.
도 2에서 목표 트리플이 grandFatherOf(ABE, BART)이고, 규칙 템플릿이 #1(X, Y) :- #2(X, Z), #3(Z, Y).과 같을 때, 해당 목표 트리플을 만족할 수 있는 규칙 템플릿을 지식베이스에 존재하는 트리플을 통해 찾게 된다.
보다 상세하게, grandFatherOf(ABE, BART) 트리플과 #1(X, Y)간의 유사도를 구하며, #1(X, Y)에서 X와 Y는 변수(Variable)이기 때문에 목표 트리플의 ABE와 BART가 각각 X=ABE, Y=BART로 바인딩되며, #1과 grandFatherOf 간의 유사도를 구하게 된다.
다음은 규칙 템플릿의 #2(X, Z)에 대하여 바인딩된 변수값에 따라 #2(ABE, Z)에 대하여 지식베이스에 존재하는 트리플과 비교한다.
따라서 #2(X, Z)와 지식베이스의 첫 번째 트리플인 fatherOf(ABE, HOMER)간의 유사도를 계산한다.
#2와 fatherOf와의 유사도를 구하고 X에 바인딩된 ABE와 첫 번째 트리플의 ABE와의 유사도를 구한다.
마지막으로 Z는 변수이기 때문에 첫 번째 트리플의 HOMER의 값이 Z=HOMER로 바인딩된다. 이러한 방식으로 지식베이스의 모든 트리플과의 비교를 통해 주어진 목표 트리플과 유사도가 높게 나오도록 학습하는 방식이다.
기존 NTP 방식은 지식베이스가 커짐에 따라 많은 시간이 소요되는 단점이 존재한다.
또한 고령자로부터 수집된 행동 및 자세를 포함하는 지각 정보로부터 고령자의 의도를 예측하기 위해 이벤트 연산(Event Calculus) 방식을 이용한 연구가 좋은 성능을 보였지만 장기간 수집한 데이터를 활용하기 위해서는 많은 비용이 소요되는 문제점이 있다.
여기서, 고령자의 의도는 식사하기(Meal), 청소하기(Cleaning), 읽기(Reading), 커뮤니케이션 및 TV 보기(Watching TV) 등을 포함할 수 있다.
본 발명에서는 인지된 지각 정보로부터 고령자 의도를 추론하기 위해 지각 정보와의 관계를 학습하여 규칙을 생성하고, 생성된 규칙을 통해 고령자 의도를 추론한다.
도 3은 지각 정보와 고령자 의도와의 관계를 표현한 온톨로지의 예를 도시한 도면이다.
도 3은 고령자의 지각 정보는 55종의 행동 및 10종의 자세로 5가지 의도(식사, 독서, 청소, 의사소통, 여가 생활)와의 관계에 관한 온톨로지를 예로 들어 도시한 것이다.
정의된 온톨로지는 지각 정보인 행동 및 자세의 관계를 트리플 형태로 표현한다.
이처럼 도 3은 행동 및 자세 기반과 5종의 의도와의 관계에 대한 온톨로지 스키마 및 인스턴스의 예를 보여준다.
고령자의 생활 환경으로부터 수집되는 지각 정보는 정의된 온톨로지를 통해 트리플 형태의 데이터로 변환되며, 변환된 트리플 데이터가 고령자 의도를 잘 나타내는 규칙 생성을 위한 NTP 기반 규칙 생성 모델의 입력값이 된다.
도 4는 고령자의 의도를 추론하기 위한 뉴럴 심볼릭(Neural Symbolic) 기반 규칙 생성 시스템을 도시한 도면이다.
도 4에 도시된 바와 같이, 본 실시예에 따른 시스템은 지각 정보 수집부(400), 온톨로지 저장부(402), 전처리기(404), 임베딩부(406), Neural Theorem Prover(NTP, 408) 및 규칙 생성부(410)를 포함할 수 있다.
지각 정보 수집부(400)는 고령자의 생활 환경에서 행동 및 자세를 포함하는 지각 정보를 수집한다.
온톨로지 저장부(402)는 고령자의 의도 및 지각 정보의 관계를 정의한 온톨로지를 저장한다.
전처리기(404)는 온톨로지를 이용하여 상기와 같이 수집된 지각 정보를 트리플 데이터로 변환한다.
지각 정보가 변환된 트리플 데이터는 지식베이스(KB)에 저장된다.
임베딩부(406)는 변환된 트리플 데이터를 뉴럴 심볼릭 기반의 규칙 학습을 위해 다차원 공간에 임베딩한다.
임베딩 과정을 거쳐 트리플 데이터의 엔티티(entity)와 릴레이션(relation)이 벡터로 표현된다.
NTP(408)는 뉴럴 심볼릭 기반으로 규칙을 생성하기 위해 학습 과정을 수행하며, Backword Chaining 방식을 활용하여 AND, OR, Unify 및 Aggregation 모듈을 통해 임베딩된 지각 정보로부터 의도가 도출되는 규칙을 학습한다.
NTP(408)는 고령자 의도를 표현하는 목표 트리플이 입력되었을 때, 해당 목표 트리플에 대한 특징을 잘 나타내는 지각 정보를 표현하는 트리플이 학습되도록 파라미터를 업데이트한다.
규칙 생성부(410)는 상기한 파라미터 업데이트를 통해 목표 트리플의 특징을 나타내는 하나 이상의 지각 정보를 조건으로 갖는 규칙을 생성한다.
여기서, 규칙 템플릿은, 결론에 해당하는 규칙 헤드 및 조건에 해당하는 규칙 바디를 포함하고, 상기 규칙 헤드 및 규칙 바디는 릴레이션에 상응하는 predicate, 엔티티에 상응하는 subject 및 object의 트리플 데이터로 구성되며, 상기 규칙 바디에 상기 지각 정보에 대한 트리플이 배치될 수 있다.
또한 규칙 템플릿의 object에 해당하는 파라미터의 임베딩 벡터값을 업데이트하는 과정으로 정의된다.
상기한 바와 같이, 본 실시예에서는 미리 정의된 규칙 템플릿에서, 해당 규칙의 조건(규칙 바디)에 지각 정보인 행동 및 자세에 대한 트리플이 올 수 있도록 구성한다.
즉, 기존의 NTP 방식의 단점이었던 다량의 데이터에 대한 처리 문제를 해결하면서 고령자 의도를 추론하기 위한 방안으로 규칙의 조건에 지각 정보의 각각의 요소가 오도록 구성하는 것이다.
또한 고령자 의도와 관련된 지각 정보를 도출하기 위해 행동 및 자세에 대한 엔티티 간의 유사도 학습을 통해 각 고령자의 지각 정보에 따른 의도가 학습되도록 한다.
본 발명에서는 기존의 방식과 다르게 목표 트리플의 릴레이션(predicate)은 의도를 표현하는 것이며, 나머지 규칙 조건들의 릴레이션은 행동 및 자세로 구성하며 subject는 사용자(고령자)에 대한 엔티티, object는 특정 행동 및 자세를 포함하는 지각 정보 엔티티로 구성한다.
subject에 올 수 있는 고령자에 대한 엔티티에 따라 object를 구성하는 지각 정보 엔티티를 목표 트리플에 맞게 unify 과정을 통해 검색하여 유사도 비교를 위한 엔티티 후보군을 수집한다.
수집된 엔티티 후보군은 고령자 생활 환경에서 수집된 지각 정보 엔티티로 구성된다.
또한, 본 실시예에 따르면, 각 의도에 따른 지각 정보의 유사도가 높게 학습되도록 고령자에 따른 각 의도에서 높은 빈도로 발생하는 지각 정보에 대한 가중치 매트릭스을 이용한다.
도 5는 한 고령자의 식사하기(MEAL) 의도에 대한 규칙 생성 과정의 예를 도시한 도면이다.
본 실시예에 따른 NTP 기반 규칙 생성 모델은 고령자 KIM의 식사하기(MEAL) 의도를 도출하기 위해 관련된 지각 정보를 학습하기 위한 과정으로 hasIntention(KIM,MEAL)인 목표 트리플을 입력받는다.
NTP 기반 규칙 생성 모델은 목표 트리플과 규칙 템플릿인 hasIntention(X, #1_0_0) :- hasAction(X, #2_0_0), hasPose(X, #3_0_0).과 Unify 과정을 수행하여 변수인 X를 만족하는 엔티티를 검색하여 #1, #2, #3과 유사한 의도 및 지각 정보 엔티티를 수집한다.
여기서, #1, #2, #3은 각각 사용자의 의도에 상응하는 object에 대한 제1 파라미터, 사용자의 행동 및 자세 각각에 상응하는 object에 대한 제2 및 제3 파라미터이다.
사용자의 행동에 상응하는 object는 행동 지각 정보로 자세에 상응하는 object는 자세 지각 정보로 정의된다.
따라서 목표 트리플인 hasIntention(KIM,MEAL)과 hasIntention(X, #1_0_0)을 비교하여 변수 X에는 KIM이 바인딩되며, #1_0_0과 의도 엔티티(MEAL 엔티티)간의 유사도를 구하게 된다.
다음으로 규칙 템플릿의 조건인 hasAction(X, #2_0_0)과 고령자로부터 수집한 모든 행동 지각 정보를 비교한다.
도 5에서는 2가지 행동 지각 정보가 있다고 가정하였기 때문에 hasAction(X, #2_0_0)과 hasAction(KIM, Eating Food), hasAction(KIM, Using a gas stove)를 비교하며, 엔티티(변수)인 X의 값이 KIM으로 바인딩되었기 때문에 subject의 엔티티가 KIM인 행동 지각 정보를 비교한다.
따라서 #2_0_0과 행동 지각 정보 중 하나인 Eating Food와의 유사도를 구하고, #2_0_0과 행동 지각 정보 중 하나인 Using a gas stove와의 유사도를 구하게 된다.
각 행동에 대해서 동시에 다수의 행동을 취할 수 없기 때문에 도 5에서와 같이 트리의 경로(path)가 각각 생성된다. 마지막으로 규칙 템플릿의 hasPose(X, #3_0_0)와 고령자로부터 수집된 자세 지각 정보에 대하여 비교된다.
이때 고령자 행동 지각 정보와 마찬가지로 변수 X에 바인딩된 엔티티를 통해 일치하는 자세 지각 정보를 검색한다.
도 5에서는 hasPose(X, #3_0_0)과 hasPose(KIM, Sitting on the floor), hasPose(KIM, Sitting on a chair), hasPose(KIM, Standing)을 비교하여 #3_0_0과 수집된 자세 지각 정보간의 유사도를 구하게 된다.
구해진 유사도 정보는 목표 트리플인 의도와 관련된 지각 정보에 대해서 높게 학습을 수행해야 하기 때문에 도 5에서와 같이 각 지각 정보에 대한 경로가 유지된 상태로 유사도가 구해져야 한다.
또한 해당 의도와 관련된 지각 정보 학습을 위해 각 고령자에 따른 의도와 관련된 지각 정보의 빈도 기반 가중치 매트릭스을 적용하여 학습을 한다.
도 6은 각 의도마다 많은 빈도로 등장하는 행동을 정리한 표이다.
도 6을 참조하면, 많은 빈도로 등장하는 행동은 각 의도에서 특징이 될 수 있는 행동으로 의도와의 유사도 계산 시 그 값이 높게 나올 수 있도록 학습이 되어야 한다.
의도와 관련된 지각 정보를 유사하게 학습하기 위해 각각의 의도를 행(column)으로 구성하고, 각 의도와 관련된 행동 및 자세 정보를 열(row)로 구성된 매트릭스을 구성하였다.
도 7은 의도에 따라 지각 정보 의도 매트릭스를 나타낸 것이다.
도 7에 도시된 바와 같이, 의도 매트릭스의 첫 행은 식사하기(MEAL)를 의미하며 첫 행의 각 열은 식사하기 의도와 관련된 행동, 자세에 대한 지각 정보 부분에 높은 가중치 값이 적용된다.
도 8은 본 발명의 일 실시예에 따른 뉴럴 심볼릭 기반 규칙 생성 장치의 구성을 도시한 도면이다.
도 8에 도시된 바와 같이, 본 실시예에 따른 규칙 생성 장치는 도 4 내지 도 5의 과정을 수행하는 장치로서, 프로세서(800) 및 메모리(802)를 포함할 수 있다.
프로세서(800)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리(802)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(802)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
이와 같은 메모리(802)에는 프로세서(800)에 의해 실행 가능한 프로그램 명령어들이 저장된다.
본 실시예에 따른 프로그램 명령어들은 사용자의 생활 환경으로부터 행동 및 자세를 포함하는 지각 정보를 수집하고, 상기 수집된 지각 정보를 사용자의 의도 및 지각 정보의 관계에 대하여 정의된 온톨로지를 이용하여 트리플 데이터로 변환하고, 상기 변환된 트리플 데이터의 엔티티와 릴레이션에 관한 벡터를 다차원 공간에 임베딩하고, 사용자의 의도를 표현하는 목표 트리플이 입력되는 경우, Neural Theorem Prover (NTP)의 AND, OR 및 Unify 모듈을 통해 미리 설정된 규칙 템플릿의 파라미터를 업데이트하고, 상기 파라미터의 업데이트를 통해 상기 목표 트리플의 특징을 나타내는 하나 이상의 지각 정보를 조건으로 갖는 규칙을 생성한다.
전술한 바와 같이, 규칙 템플릿은, 결론에 해당하는 규칙 헤드 및 조건에 해당하는 규칙 바디를 포함하고, 상기 규칙 헤드 및 규칙 바디는 릴레이션에 상응하는 predicate, 엔티티에 상응하는 subject 및 object의 트리플 데이터로 구성되며, 상기 규칙 바디에 상기 지각 정보에 대한 트리플이 배치될 수 있다.
또한, 상기 규칙 헤드는 사용자의 의도에 상응하는 object에 대한 제1 파라미터를 포함하고, 상기 규칙 바디는 사용자의 행동 및 자세 각각에 상응하는 object에 대한 제2 및 제3 파라미터를 포함할 수 있고, 학습 과정을 통해 상기한 제1 내지 제3 파라미터의 임베딩 벡터값을 업데이트한다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (10)

  1. 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 장치로서,
    프로세서; 및
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    사용자의 생활 환경으로부터 행동 및 자세를 포함하는 지각 정보를 수집하고,
    상기 수집된 지각 정보를 사용자의 의도 및 지각 정보의 관계에 대하여 정의된 온톨로지를 이용하여 트리플 데이터로 변환하고,
    상기 변환된 트리플 데이터의 엔티티와 릴레이션에 관한 벡터를 다차원 공간에 임베딩하고,
    사용자의 의도를 표현하는 목표 트리플이 입력되는 경우, Neural Theorem Prover (NTP)의 AND, OR, Unify 및 Aggregation 모듈을 통해 미리 설정된 규칙 템플릿의 파라미터를 업데이트하고,
    상기 파라미터의 업데이트를 통해 상기 목표 트리플의 특징을 나타내는 하나 이상의 지각 정보를 조건으로 갖는 규칙을 생성하도록 동작하는,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 포함하는 뉴럴 심볼릭 기반 규칙 생성 장치.
  2. 제1항에 있어서,
    상기 규칙 템플릿은, 결론에 해당하는 규칙 헤드 및 조건에 해당하는 규칙 바디를 포함하고, 상기 규칙 헤드 및 규칙 바디는 릴레이션에 상응하는 술어(predicate), 엔티티에 상응하는 주어(subject) 및 목적어(object)의 트리플 데이터로 구성되며, 상기 규칙 바디에 상기 지각 정보에 대한 트리플이 배치되는 뉴럴 심볼릭 기반 규칙 생성 장치.
  3. 제2항에 있어서,
    상기 규칙 헤드는 사용자의 의도에 상응하는 목적어에 대한 제1 파라미터를 포함하고,
    상기 규칙 바디는 사용자의 행동 및 자세 각각에 상응하는 목적어에 대한 제2 및 제3 파라미터를 포함하는 뉴럴 심볼릭 기반 규칙 생성 장치.
  4. 제2항에 있어서,
    상기 프로그램 명령어들은, 상기 규칙 템플릿의 목적어에 해당하는 파라미터의 임베딩 벡터값을 업데이트하는 뉴럴 심볼릭 기반 규칙 생성 장치.
  5. 제3항에 있어서,
    상기 프로그램 명령어들은,
    상기 목표 트리플의 목적어와 상기 제1 파라미터의 유사도를 계산하고,
    상기 수집된 지각 정보와 상기 제2 및 제3 파라미터의 유사도를 계산하고,
    상기 목표 트리플에서 행동 및 자세 트리플로 연결되는 트리의 경로를 생성하는 뉴럴 심볼릭 기반 규칙 생성 장치.
  6. 제2항에 있어서,
    상기 규칙 템플릿의 주어는 특정 사용자로 바인딩되는 뉴럴 심볼릭 기반 규칙 생성 장치.
  7. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 파라미터를 업데이트하기 위해, 사용자의 의도와 관련된 지각 정보의 빈도 기반의 가중치 매트릭스를 이용하는 뉴럴 심볼릭 기반 규칙 생성 장치.
  8. 프로세서 및 메모리를 포함하는 장치에서 사용자 의도 추론을 위한 뉴럴 심볼릭 기반으로 규칙을 생성하는 방법으로서,
    사용자의 생활 환경으로부터 행동 및 자세를 포함하는 지각 정보를 수집하는 단계;
    상기 수집된 지각 정보를 사용자의 의도 및 지각 정보의 관계에 대하여 정의된 온톨로지를 이용하여 트리플 데이터로 변환하는 단계;
    상기 변환된 트리플 데이터의 엔티티와 릴레이션에 관한 벡터를 다차원 공간에 임베딩하는 단계;
    사용자의 의도를 표현하는 목표 트리플이 입력되는 경우, Neural Theorem Prover (NTP)의 AND, OR, Unify 및 Aggregation 모듈을 통해 미리 설정된 규칙 템플릿의 파라미터를 업데이트하는 단계; 및
    상기 파라미터의 업데이트를 통해 상기 목표 트리플의 특징을 나타내는 하나 이상의 지각 정보를 조건으로 갖는 규칙을 생성하는 단계를 포함하는 뉴럴 심볼릭 기반 규칙 생성 방법.
  9. 제8항에 따른 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
  10. 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 시스템으로서,
    사용자의 생활 환경으로부터 행동 및 자세를 포함하는 지각 정보를 수집하는 지각 정보 수집부;
    사용자의 의도 및 지각 정보의 관계를 정의하는 온톨로지를 저장하는 온톨로지 저장부;
    상기 온톨로지를 이용하여 상기 수집된 지각 정보를 트리플 데이터로 변환하는 전처리기;
    상기 변환된 트리플 데이터의 엔티티와 릴레이션에 관한 벡터를 다차원 공간에 임베딩하는 임베딩부;
    사용자의 의도를 표현하는 목표 트리플이 입력되는 경우, AND, OR 및 Unify 모듈을 통해 미리 설정된 규칙 템플릿의 파라미터를 업데이트 하는 Neural Theorem Prover (NTP); 및
    상기 파라미터의 업데이트를 통해 상기 목표 트리플의 특징을 나타내는 하나 이상의 지각 정보를 조건으로 갖는 규칙을 생성하는 규칙 생성부를 포함하는 뉴럴 심볼릭 기반 규칙 생성 시스템.




KR1020200150927A 2020-11-12 2020-11-12 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 방법 및 장치 KR102365838B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200150927A KR102365838B1 (ko) 2020-11-12 2020-11-12 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 방법 및 장치
PCT/KR2021/015998 WO2022103081A1 (ko) 2020-11-12 2021-11-05 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200150927A KR102365838B1 (ko) 2020-11-12 2020-11-12 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102365838B1 true KR102365838B1 (ko) 2022-02-21

Family

ID=80475004

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200150927A KR102365838B1 (ko) 2020-11-12 2020-11-12 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102365838B1 (ko)
WO (1) WO2022103081A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130027081A (ko) * 2010-03-19 2013-03-14 디지맥 코포레이션 직관적 컴퓨팅 방법들 및 시스템들
JP2014222510A (ja) * 2010-01-18 2014-11-27 アップル インコーポレイテッド インテリジェント自動アシスタント
KR20200044185A (ko) * 2018-10-08 2020-04-29 한국전자통신연구원 로봇 서비스 블럭 선택 장치 및 방법
KR20200063313A (ko) 2018-11-20 2020-06-05 숭실대학교산학협력단 순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100905523B1 (ko) * 2006-12-04 2009-07-01 한국전자통신연구원 인간의 욕구에 기반한 사용자 의도 모델링 방법 및 그시스템
KR20110104165A (ko) * 2010-03-16 2011-09-22 삼성전자주식회사 점증적 인지 및 추론 장치 및 방법
KR101807513B1 (ko) * 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
KR102134323B1 (ko) * 2018-02-27 2020-07-15 숭실대학교산학협력단 이벤트 연산 기반의 다중행동의도 추론 장치 및 그 방법
KR102140585B1 (ko) * 2018-11-29 2020-08-03 숭실대학교산학협력단 사람의 행위 의도 인지를 위한 온톨로지 기반 사건 연산 규칙 생성 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014222510A (ja) * 2010-01-18 2014-11-27 アップル インコーポレイテッド インテリジェント自動アシスタント
KR20130027081A (ko) * 2010-03-19 2013-03-14 디지맥 코포레이션 직관적 컴퓨팅 방법들 및 시스템들
KR20200044185A (ko) * 2018-10-08 2020-04-29 한국전자통신연구원 로봇 서비스 블럭 선택 장치 및 방법
KR20200063313A (ko) 2018-11-20 2020-06-05 숭실대학교산학협력단 순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Oltramari, Alessandro, et al. Neuro-symbolic Architectures for Context Understanding. arXiv preprint arXiv:2003.04707. 2020.3. *
Yang, Bishan, et al. Embedding entities and relations for learning and inference in knowledge bases. arXiv preprint arXiv:1412.6575. 2014. *
이영훈 외. 지식베이스상 뉴로 심볼릭 관계 모델을 이용한 오픈 도메일 질의응답. 한국정보과학회 언어공학연구회 학술대회논문집(한글 및 한국어 정보처리). 한국정보과학회. 2020.10. *

Also Published As

Publication number Publication date
WO2022103081A1 (ko) 2022-05-19

Similar Documents

Publication Publication Date Title
Sun et al. Representative task self-selection for flexible clustered lifelong learning
Djurisic et al. Extremely simple activation shaping for out-of-distribution detection
Mac Parthaláin et al. Unsupervised fuzzy-rough set-based dimensionality reduction
Pratama et al. Parsimonious random vector functional link network for data streams
Shen et al. Feature Selection Ensemble.
Radchenko et al. Improved variable selection with forward-lasso adaptive shrinkage
Wiwatcharakoses et al. SOINN+, a self-organizing incremental neural network for unsupervised learning from noisy data streams
Liu et al. Nesting one-against-one algorithm based on SVMs for pattern classification
US20180039890A1 (en) Adaptive knowledge base construction method and system
CN113673244B (zh) 医疗文本处理方法、装置、计算机设备和存储介质
Yuan et al. Craft: Customizing llms by creating and retrieving from specialized toolsets
Al-Shamri et al. Fuzzy-weighted similarity measures for memory-based collaborative recommender systems
Zhu A hybrid approach for efficient ensembles
Grobelny et al. Modeling human thinking about similarities by neuromatrices in the perspective of fuzzy logic
Schulz et al. A tutorial on Gaussian process regression with a focus on exploration-exploitation scenarios
Eastwood et al. Evaluation of hyperbox neural network learning for classification
Al Machot et al. Improving subject-independent human emotion recognition using electrodermal activity sensors for active and assisted living
Rachmawan et al. Optimization of missing value imputation using reinforcement programming
KR102365838B1 (ko) 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 방법 및 장치
JP5029090B2 (ja) 能力推定システムおよび方法ならびにプログラムおよび記録媒体
Sharma et al. Multi-agents based data mining for intelligent decision support systems
Jia et al. Latent task adaptation with large-scale hierarchies
KR20210147771A (ko) 신경망의 불확실성에 기반한 지식 증강 방법 및 장치
Ribeiro et al. Short-term load forecasting using wavenet ensemble approaches
Bădulescu Data mining classification experiments with decision trees over the forest covertype database

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant