KR102165160B1 - 순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법 - Google Patents

순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR102165160B1
KR102165160B1 KR1020180143567A KR20180143567A KR102165160B1 KR 102165160 B1 KR102165160 B1 KR 102165160B1 KR 1020180143567 A KR1020180143567 A KR 1020180143567A KR 20180143567 A KR20180143567 A KR 20180143567A KR 102165160 B1 KR102165160 B1 KR 102165160B1
Authority
KR
South Korea
Prior art keywords
sequence
intention
user
learning
data
Prior art date
Application number
KR1020180143567A
Other languages
English (en)
Other versions
KR20200063313A (ko
Inventor
박영택
박현규
전명중
방성혁
배석현
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020180143567A priority Critical patent/KR102165160B1/ko
Publication of KR20200063313A publication Critical patent/KR20200063313A/ko
Application granted granted Critical
Publication of KR102165160B1 publication Critical patent/KR102165160B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

실시예에 의한 순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법이 개시된다. 상기 사용자 의도 시퀀스를 예측하기 위한 장치는 사용자의 생활 패턴에 대한 기준이 되는 학습용 퍼셉트 시퀀스 데이터를 저장하는 학습용 DB; 상기 저장된 학습용 퍼셉트 시퀀스 데이터를 기초로 시퀀스 예측 모델을 학습시키는 학습부; 사용자의 생활 패턴에 대한 정보를 수집하여 수집된 정보를 기초로 사용자의 행위, 자세, 주변 객체에 대한 정보가 시계열적으로 정의된 퍼셉트 시퀀스 데이터를 생성하는 시퀀스 생성부; 및 상기 학습시킨 시퀀스 예측 모델을 기초로 상기 생성된 시퀀스 데이터로부터 사용자의 의도 시퀀스를 예측하는 의도 예측부를 포함한다.

Description

순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법{APPARATUS FOR PREDICTING SEQUENCE OF INTENTION USING RECURRENT NEURAL NETWORK MODEL BASED ON SEQUENTIAL INFORMATION AND METHOD THEREOF}
실시예는 의도 예측 기법에 관한 것으로, 보다 상세하게는 순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법에 관한 것이다.
사람의 의도 인지에 관한 연구는 일상에서 포착된 행동과 주변 환경의 객체 등에 관한 하위 수준의 데이터 패턴 분석을 통해 수행되거나 논리적인 규칙 기반을 활용하여 예측되고 있다. 일상 행동과 주변 객체는 의도를 파악하는데 중요한 근거가 되며, 추론된 의도는 인간의 이상 징후를 파악하거나 앞으로의 행동을 예측할 수 있는 중요한 정보가 될 수 있다.
기존의 기계 학습 기반 의도 예측에 관한 연구는 Hidden-Markov 모델을 통해 특정 의도에서 발생하는 행위와 객체의 포착 선후 관계를 조건부 확률로 처리하는 방법으로 수행되었다. 그러나 Hidden-Markov 모델 기반의 의도 예측은 특정 시점으로부터 먼 과거의 정보를 반영하는 것에 비교적 취약한 구조적 단점을 가졌다. 이에 따라 분류해야할 데이터의 시퀀스가 긴 경우, 먼 과거의 정보를 반영하지 못할 가능성이 존재했다. 이러한 문제를 방지하기 위해 본 발명에서는 장기 의존성 문제 해결에서 높은 성능을 보여준 LSTM (Long-Short Term Memory) 기반의 순환 신경망 모델을 학습시켜 의도 추론에 사용한다. 기존의 Hidden-Markov 모델 기반 의도 예측이 가졌던 문제점은 t 시점의 상태 추론에 t-1 시점에만 의존하여 우도(likelihood) 최적화 이룬다는 점이다. 인간의 의도는 t 시점에서 발생했을 때 해당 발생 시점까지의 순차적 정보들이 모두 의미를 갖는다. 예를 들어 식사 의도의 경우 음식을 준비하는 과정으로부터 실제로 식사가 이루어지는 과거의 순차적 정보를 반영하여 추론하는 것이 보다 설득력이 높은 추론이기 때문이다.
이벤트 연산 기반의 사용자 의도 추론은 규칙 기반 언어를 사용하므로 모델을 생성하는 작업에 다수의 데이터가 필요하지 않으며, 하이퍼 파라미터 역시 존재하지 않기 때문에 구축 작업에 소요되는 시간이 짧다. 또한, 추론 과정에서 생긴 문제점에 대하여 개발자가 오류에 대한 분석하기에 용이한 장점도 있다. 그러나 의도 추론에 대한 규칙들이 복잡해지고, 규칙 간의 의존성을 고려해야하는 상황에서 발생하는 복잡도는 보다 고도화된 의도 추론에서 어려움을 가질 수 있다. 예를 들어 Event Calculus에서 하나의 의도를 위한 추론 규칙이 추가 되려면 해당 의도를 발생시키는 모든 행위 및 자세, 포착 객체에 대한 규정이 필요하며, 의도를 종료시키는 조건 또한 정의가 되어야 한다. 기존의 연구에서는 선행 의도를 종료시키는 Event Calculus Axiom 정의를 통해 행위에 의해 Initiate된 의도가 Terminate 된다.
공개특허공보 제10-2018-0084576호 공개특허공보 제10-2010-0137963호
실시예는, 순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법을 제공할 수 있다.
본 발명의 실시예에 따른 사용자 의도 시퀀스를 예측하기 위한 장치는 사용자의 생활 패턴에 대한 기준이 되는 학습용 퍼셉트 시퀀스 데이터를 저장하는 학습용 DB; 상기 저장된 학습용 퍼셉트 시퀀스 데이터를 기초로 시퀀스 예측 모델을 학습시키는 학습부; 사용자의 생활 패턴에 대한 정보를 수집하여 수집된 정보를 기초로 사용자의 행위, 자세, 주변 객체에 대한 정보가 시계열적으로 정의된 퍼셉트 시퀀스 데이터를 생성하는 시퀀스 생성부; 및 상기 학습시킨 시퀀스 예측 모델을 기초로 상기 생성된 시퀀스 데이터로부터 사용자의 의도 시퀀스를 예측하는 의도 예측부를 포함할 수 있다.
상기 사용자 의도 시퀀스를 예측하기 위한 장치는 상기 저장된 학습용 퍼셉트 시퀀스 데이터를 미리 정해진 포맷으로 전처리하여 학습 데이터를 생성하는 전처리부를 더 포함하고, 상기 학습부는 상기 전처리부에 의해 생성된 상기 학습 데이터를 기초로 상기 시퀀스 예측 모델을 학습시킬 수 있다.
상기 전처리부는 상기 저장된 학습용 퍼셉트 시퀀스 데이터의 행위, 자세, 주변 객체의 정보를 각각 정수 타입의 고유값으로 인코딩하고, 상기 인코딩된 고유값을 One-Hot Vector의 형태로 변환하여 각 속성들을 연결하는 과정을 통해 상기 학습 데이터를 생성할 수 있다.
상기 시퀀스 예측 모델은, 시퀀스투시퀀스(seq2seq) 구조의 LSTM(Long-short Term Memory) 기반 순환 신경망 모델이 적용될 수 있다.
상기 시퀀스 생성부는 하나의 시간 축에 대해 적어도 하나의 확률 분포 그래프로부터 각 시점별 확률 비교에 따라 하나의 의도가 발생하는 의도 시퀀스를 생성하고, 사용자 정의 규칙과 동선에 대한 가중치 그래프에 따라 의도 발생 장소에 대한 장소 시퀀스를 생성하고, 상기 의도와 장소 내에서 발생한 행위에 대한 행위 시퀀스를 생성하고, 상기 행위가 가능한 자세에 대한 정보를 미리 정해진 사용자 정의 규칙을 통해 정의하고, 생성된 상기 행위와 상기 자세, 상기 장소 기반의 주변 객체에 대한 정보가 정의된 상기 퍼셉트 시퀀스 데이터를 생성할 수 있다.
본 발명의 실시예에 따른 사용자 의도 시퀀스를 예측하기 위한 방법은 사용자의 생활 패턴에 대한 기준이 되는 학습용 퍼셉트 시퀀스 데이터를 저장하는 단계; 상기 저장된 학습용 퍼셉트 시퀀스 데이터를 기초로 시퀀스 예측 모델을 학습시키는 단계; 사용자의 생활 패턴에 대한 정보를 수집하여 수집된 정보를 기초로 사용자의 행위, 자세, 주변 객체에 대한 정보가 시계열적으로 정의된 퍼셉트 시퀀스 데이터를 생성하는 단계; 및 상기 학습시킨 시퀀스 예측 모델을 기초로 상기 생성된 시퀀스 데이터로부터 사용자의 의도 시퀀스를 예측하는 단계를 포함할 수 있다.
상기 학습시키는 단계에서는 상기 저장된 학습용 퍼셉트 시퀀스 데이터를 미리 정해진 포맷으로 전처리하여 학습 데이터를 생성하고, 상기 생성된 상기 학습 데이터를 기초로 상기 시퀀스 예측 모델을 학습시킬 수 있다.
상기 학습시키는 단계에서는 상기 저장된 학습용 퍼셉트 시퀀스 데이터의 행위, 자세, 주변 객체의 정보를 각각 정수 타입의 고유값으로 인코딩하고, 상기 인코딩된 고유값을 One-Hot Vector의 형태로 변환하여 각 속성들을 연결하는 과정을 통해 상기 학습 데이터를 생성할 수 있다.
상기 시퀀스 예측 모델은 시퀀스투시퀀스(seq2seq) 구조의 LSTM(Long-short Term Memory) 기반 순환 신경망 모델이 적용될 수 있다.
상기 생성하는 단게에서는 하나의 시간 축에 대해 적어도 하나의 확률 분포 그래프로부터 각 시점별 확률 비교에 따라 하나의 의도가 발생하는 의도 시퀀스를 생성하고, 사용자 정의 규칙과 동선에 대한 가중치 그래프에 따라 의도 발생 장소에 대한 장소 시퀀스를 생성하고, 상기 의도와 장소 내에서 발생한 행위에 대한 행위 시퀀스를 생성하고, 상기 행위가 가능한 자세에 대한 정보를 미리 정해진 사용자 정의 규칙을 통해 정의하고, 생성된 상기 행위와 상기 자세, 상기 장소 기반의 주변 객체에 대한 정보가 정의된 상기 퍼셉트 시퀀스 데이터를 생성할 수 있다.
실시예에 따르면, 의도 및 행위, 자세의 발생을 초단위의 시계열로 생성한 학습용 퍼셉트 시퀀스 데이터를 기초로 의도 예측 모델을 학습시키고, 사용자의 생활 패턴에 관련된 정보로부터 생성된 퍼셉트 시퀀스 데이터를 기초로 학습시킨 의도 예측 모델을 통해 사용자의 의도 시퀀스를 예측하도록 함으로써, 사용자의 의도 시퀀스 예측에 대한 정확도를 향상시킬 수 있다.
실시예에 따르면, 사용자의 의도 시퀀스를 예측하는 것이 가능하기 때문에 고령자만을 대상으로 하는 것이 아니라 일반인을 대상으로 하여 개인화된 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 의도 시퀀스를 예측하기 위한 장치를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 퍼셉트 시퀀스 데이터 생성 과정을 추상화한 도면이다.
도 3은 모델 학습에 사용된 학습용 퍼셉트 시퀀스 데이터의 형태를 나타내는 도면이다.
도 4는 전처리 과정을 통해 생성된 학습 데이터의 형태를 추상화한 도면이다.
도 5는 사용자의 의도 시퀀스 추론에 사용된 모델의 구조를 나타내는 도면이다.
도 6은 도 5의 attention layer의 디코더 입력 데이터 생성 원리를 설명하기 위한 도면이다.
도 7은 의도 시퀀스를 추론하는 모델에 의한 추론 결과를 보여주는 도면이다.
도 8은 모델의 각 계층별 데이터 변환과 학습 파라미터 수를 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 따른 사용자 의도 시퀀스를 예측하기 위한 방법을 나타내는 도면이다.
도 10은 모델에 따른 의도 시퀀스 추론에 대한 성능 평가 시스템을 나타내는 도면이다.
도 11은 모델에 따라 수행된 의도 시퀀스 추론에 대한 성능을 보여주는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, “A 및(와) B, C 중 적어도 하나(또는 한 개 이상)”로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 ‘연결’, ‘결합’ 또는 ‘접속’된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 ‘연결’, ‘결합’ 또는 ‘접속’ 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 “상(위) 또는 하(아래)”에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, “상(위) 또는 하(아래)”으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
실시예에서는, 의도 및 행위, 자세의 발생을 초단위의 시계열로 생성한 학습용 퍼셉트 시퀀스 데이터를 기초로 의도 예측 모델을 학습시키고, 사용자의 생활 패턴에 관련된 정보로부터 생성된 퍼셉트 시퀀스 데이터를 기초로 학습시킨 의도 예측 모델을 통해 사용자의 의도 시퀀스를 예측하도록 한 새로운 방안을 제안한다.
도 1은 본 발명의 일 실시예에 따른 사용자 의도 시퀀스를 예측하기 위한 장치를 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 사용자 의도 시퀀스를 예측하기 위한 장치는 학습용 DB(100), 전처리부(200), 학습부(300), 시퀀스 생성부(400), 의도 예측부(500)를 포함할 수 있다.
학습용 DB(100)는 사용자의 생활 패턴에 대한 기준이 되는 학습용 퍼셉트 시퀀스 데이터를 저장할 수 있다. 이때, 퍼셉트 시퀀스 데이터는 사용자의 일과 시간 내에서의 생활 패턴을 가우시안 혼합 모델을 통해 확률 모델로 생성한 후, 해당 모델을 기반으로 생성한 의도 및 행위, 자세의 발생을 초단위의 시계열로 생성한 데이터이다.
도 2는 본 발명의 일 실시예에 따른 퍼셉트 시퀀스 데이터 생성 과정을 추상화한 도면이다.
도 2를 참조하면, 먼저 의도의 발생에 대한 확률 모델을 통해 시간의 흐름에 따른 의도 시퀀스(intension sequence)를 생성할 수 있다. 각 의도들은 하루 일과인 오전 7시에서 오후 7시 30분까지 45000초의 시간 범위 내에서 발생하는 혼합 가우시안 확률 분포를 가진다. 5개의 의도(Watching TV, Meal, Communication, Reading, Cleaning)를 가정할 때, 하나의 시간 축에 대해 5개의 확률 분포 그래프로부터 각 시점별 확률 비교에 따라 하나의 의도가 발생하는 형태로 시퀀스를 생성하게 된다.
다음으로 확률 분포에 의해 의도의 발생 순서가 결정되면, 사용자 정의 규칙과 동선에 대한 가중치 그래프에 따라 의도 발생 장소의 순서가 결정될 수 있다.
다음으로, 결정된 의도와 장소 내에서 발생한 행위에 대한 순서가 결정된다. 이 과정에서 비현실적인 행위 순서가 발생할 수 있기 때문에 사용자 정의 규칙이 사용된다.
다음으로, 행위가 결정이 되면 해당 행위가 가능한 자세에 대한 정보 역시 사용자 정의 규칙을 통해 정의되며, 이를 통해 행위와 자세, 장소 기반의 주변 포착 객체에 대한 정보가 정의된 퍼셉트 시퀀스 데이터를 생성할 수 있다.
도 3은 모델 학습에 사용된 학습용 퍼셉트 시퀀스 데이터의 형태를 나타내는 도면이다.
도 3을 참조하면, 사용자의 일과 시간은 오전 7시부터 12시간 30분으로 고정하여 총 45000초로 정의하였다. 퍼셉트 시퀀스 데이터는 위의 시간 동안 발생한 행위 및 자세, 주변 객체에 관한 정보로 구성되어 있다. 모델의 학습에 사용된 학습용 퍼셉트 시퀀스 데이터의 형태는 시간, 행위, 자세, 주변 객체의 정보로 구성된다.
행위와 자세, 포착 객체의 종류는 각각 55종의 행위, 10종의 자세, 9종의 포착 객체로 이루진다. 포착 객체는 다중으로 포착된 객체 중 하나를 선택하여 생성한다. 사용자의 의도가 발생하고 변화하는 단위를 10분으로 정의하고 상기 데이터를 압축하여 하루를 구성하는 인스턴스에 포함된 45000초를 10분 단위로 사용하면 75개의 지각 정보 즉, 퍼셉트 시퀀스로 재구성된다. 위의 과정을 거쳐 생성된 데이터는 각 인스턴스가 75-step의 행위, 자세, 주변 객체 순의 형태로 구성된다.
전처리부(200)는 학습용 퍼셉트 시퀀스 데이터를 미리 정해진 포맷으로 전처리하여 학습 데이터를 생성할 수 있다. 즉, 전처리부(200)는 학습용 퍼셉트 시퀀스 데이터의 각 속성 값들을 속성별로 One-Hot Encoding하여 사용자 의도 시퀀스 추론 모델의 입력 데이터로 사용한다.
도 4는 전처리 과정을 통해 생성된 학습 데이터의 형태를 추상화한 도면이다.
도 4를 참조하면, 학습용 퍼셉트 시퀀스 데이터의 행위, 자세, 주변 객체의 정보를 각각 정수 타입의 고유값으로 인코딩할 수 있다. 예컨대, [use_fork, sit, table, fork, chair, none]는 [use_fork(7), sit(2), table(10), fork(4), chair(8), None(0)]로 인코딩될 수 있다.
이렇게 인코딩된 값을 One-Hot Vector의 형태로 변환한 후 각 속성들을 연결함으로써, 사용자 의도 시퀀스 예측 모델을 위한 학습 데이터를 생성할 수 있다.
학습부(300)는 이렇게 생성된 학습 데이터를 기초로 시퀀스 예측 모델 예컨대, LSTM(Long-short Term Memory) 기반의 순환 신경망 모델을 학습시킬 수 있다.
이때, 순환 신경망 모델은 75-step의 퍼셉트 시퀀스 데이터로부터 이에 상응하는 5종의 의도 발생의 시퀀스를 추론하도록 학습된다. 의도는 5종으로 식사, TV시청, 청소, 독서, 의사소통으로 구성하고, 모델을 통해 상기 의도 레이블의 시퀀스를 추론한다.
시퀀스 생성부(400)는 실제 사용자의 일상 생활에서 영상 및 센서 기반으로 획득된 사용자의 생활 패턴과 관련된 정보를 기초로 퍼셉트 시퀀스 데이터를 생성할 수 있다.
의도 예측부(500)는 생성된 퍼셉트 시퀀스 데이터를 기초로 미리 학습된 LSTM 기반의 순환 신경망 모델을 통해 사용자의 의도 시퀀스 데이터를 추론할 수 있다.
도 5는 사용자의 의도 시퀀스 추론에 사용된 모델의 구조를 나타내는 도면이고, 도 6은 도 5의 attention layer의 디코더 입력 데이터 생성 원리를 설명하기 위한 도면이고, 도 7은 의도 시퀀스를 추론하는 모델에 의한 추론 결과를 보여주는 도면이고, 도 8은 모델의 각 계층별 데이터 변환과 학습 파라미터 수를 보여주는 도면이다.
도 5를 참조하면, 75-step의 행위 및 자세, 포착 객체 정보로부터 인코더 LSTM 네트워크는 동일한 길이의 결과 시퀀스를 반환한다. 해당 결과를 Attention 계층의 입력으로 사용하여 디코더 LSTM의 입력으로 사용한다.
입력 데이터에 대한 시퀀스 추론 학습을 진행하는 두 LSTM 계층 사이에 주요 정보에 대한 가중치 부여 학습을 위한 Attention 계층이 포함되어 있는 형태로 구성되어 있다.
의도 시퀀스 추론에 사용된 모델은 입력의 시퀀스 길이와 결과 추론의 시퀀스 길이가 동일하여 Many-to-Many 구조의 LSTM 기반 신경망으로 학습이 가능하지만 길이가 다른 시퀀스의 추론이 가능하도록 시퀀스투시퀀스(seq2seq) 구조의 LSTM 기반 신경망을 설계한다. seq2seq 구조는 입력에 관한 인코더와 출력에 관한 인코더가 분리되어 서로 다른 길이의 시퀀스 추론이 가능하다는 점에서 기존의 Many-to-Many 구조의 RNN 과 차이점이 있다. seq2seq 구조의 인코더 부분에서는 입력에 대한 벡터 값과 디코더의 시작점 태그(tag)를 전달해주며, 디코더에서는 해당 태그로부터 출력 시퀀스의 정답을 추론하여 시퀀스 레이블과 비교하는 형태로 구성된다. Attention 메커니즘은 seq2seq 모델을 변형하여 설계한 구조로, 디코더인 'Post-Attention LSTM'이 하나의 hidden state에 기초하여 추론하는 것이 아니라 전역 정보를 포착하여 추론할 수 있도록 한다.
첫 번째 계층의 LSTM을 통과한 시퀀스를 a로 칭하며, 해당 출력 시퀀스는 attention layer의 입력이 된다. Attention layer에서는 ‘Post-Attention LSTM' 이 예측해야하는 결과와 가장 유사한 context에 대한 요소 값을 가지며, 이에 따라 시점별 의도 예측에 가장 기여도가 높은 요소에 높은 가중치를 부여할 수 있게 된다.
도 6을 참조하면, ‘s’는 이전 단계 decoder의 hidden state 전달 값을 의미하고 ‘a’ 는 인풋 데이터에 대한 LSTM 의 아웃풋 시퀀스를 의미한다. 이전 단계의 decoder hidden state 값과 LSTM 아웃풋 시퀀스를 연결하여 가중치 벡터 길이만큼의 dense layer로 전달한 후, softmax를 통해 normalize한 값을 'Context'로 정의하였고 이 정보를 통해 디코더에서 의도 시퀀스 추론을 수행한다.
학습된 디코더의 결과는 수집된 데이터의 정답 의도의 시퀀스 길이(Ty)만큼의 One-hot Encoding된 [Ty, label] 형태의 행렬이다. 해당 행렬은 Inverted Index 딕셔너리를 통해 디코딩하여 최종적으로 도 7과 같이 의도로 맵핑된다.
도 8을 참조하면, 모델은 200일의 테스트 퍼셉트 시퀀스를 입력으로 사용하여 5종의 의도가 One-hot Encoding 된 형태로 하루 일과에 해당하는 75-step의 의도 시퀀스를 추론한다. 이후 추론 결과를 데이터 전처리 단계에서 정의한 inverted index 딕셔너리를 사용하여 자연어로 표현된 의도 시퀀스로 후처리 작업이 수행된다.
도 9는 본 발명의 일 실시예에 따른 사용자 의도 시퀀스를 예측하기 위한 방법을 나타내는 도면이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 사용자 의도 시퀀스를 예측하기 위한 시스템(이하, 예측 시스템이라고 한다)는 미리 저장된 사용자의 생활 패턴에 대한 기준이 되는 학습용 퍼셉트 시퀀스 데이터를 미리 정해진 포맷으로 전처리하여 사용자 의도 시퀀스 예측 모델을 위한 학습 데이터를 생성할 수 있다(S910).
이때, 예측 시스템은 학습용 퍼셉트 시퀀스 데이터의 행위, 자세, 주변 객체의 정보를 각각 정수 타입의 고유값으로 인코딩하고, 인코딩된 값을 One-Hot Vector의 형태로 변환하여 각 속성들을 연결하는 과정을 통해 학습 데이터를 생성할 수 있다.
다음으로, 예측 시스템은 학습 데이터를 기초로 LSTM 기반의 순환 신경망 모델을 학습시킬 수 있다(S920).
다음으로, 예측 시스템은 실제 사용자의 일상 생활에서 영상 및 센서 기반으로 획득된 사용자의 생활 패턴과 관련된 정보를 수집하고(S930), 수집된 사용자의 생활 패턴과 관련된 정보를 기초로 퍼셉트 시퀀스 데이터를 생성할 수 있다(S940).
다음으로, 예측 시스템은 생성된 퍼셉트 시퀀스 데이터를 기초로 미리 학습된 LSTM 기반의 순환 신경망 모델을 통해 사용자의 의도 시퀀스를 예측할 수 있다(S950).
도 10은 모델에 따른 의도 시퀀스 추론에 대한 성능 평가 시스템을 나타내는 도면이고, 도 11은 모델에 따라 수행된 의도 시퀀스 추론에 대한 성능을 보여주는 도면이다.
도 10을 참조하면, Meal, Watching TV, Cleaning, Reading, Communication으로 구성된 5종의 의도가 레이블링 되어있는 학습 데이터로부터 각각 LSTM, GRU, SimpleRNN 기반의 시퀀스 예측 모델을 학습하고, 테스트 데이터에 대한 비교 성능 평가를 수행하였다.
도 11을 참조하면, 본 발명에 의해 생성된 학습 데이터를 기초로 LSTM, GRU, SimpleRNN 기반의 시퀀스 예측 모델을 이용하여 의도 시퀀스를 추론한 결과를 보여주고 있다. LSTM, 기반의 시퀀스 예측 모델의 추론 정확도가 가능 높음을 알 수 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 학습용 DB
200: 전처리부
300: 학습부
400: 시퀀스 생성부
500: 의도 예측부

Claims (10)

  1. 사용자의 생활 패턴에 대한 기준이 되는 학습용 퍼셉트 시퀀스 데이터를 저장하는 학습용 DB;
    상기 저장된 학습용 퍼셉트 시퀀스 데이터를 기초로 시퀀스 예측 모델을 학습시키는 학습부;
    사용자의 생활 패턴에 대한 정보를 수집하여 수집된 정보를 기초로 사용자의 행위, 자세, 주변 객체에 대한 정보가 시계열적으로 정의된 퍼셉트 시퀀스 데이터를 생성하는 시퀀스 생성부; 및
    상기 학습시킨 시퀀스 예측 모델을 기초로 상기 생성된 시퀀스 데이터로부터 사용자의 의도 시퀀스를 예측하는 의도 예측부를 포함하고,
    상기 시퀀스 생성부는,
    하나의 시간 축에 대해 적어도 하나의 확률 분포 그래프로부터 각 시점별 확률 비교에 따라 하나의 의도가 발생하는 의도 시퀀스를 생성하고,
    사용자 정의 규칙과 동선에 대한 가중치 그래프에 따라 의도 발생 장소에 대한 장소 시퀀스를 생성하고,
    상기 의도와 장소 내에서 발생한 행위에 대한 행위 시퀀스를 생성하고, 상기 행위가 가능한 자세에 대한 정보를 미리 정해진 사용자 정의 규칙을 통해 정의하고,
    생성된 상기 행위와 상기 자세, 상기 장소 기반의 주변 객체에 대한 정보가 정의된 상기 퍼셉트 시퀀스 데이터를 생성하는, 사용자 의도 시퀀스를 예측하기 위한 장치.
  2. 제1항에 있어서,
    상기 저장된 학습용 퍼셉트 시퀀스 데이터를 미리 정해진 포맷으로 전처리하여 학습 데이터를 생성하는 전처리부를 더 포함하고,
    상기 학습부는 상기 전처리부에 의해 생성된 상기 학습 데이터를 기초로 상기 시퀀스 예측 모델을 학습시키는, 사용자 의도 시퀀스를 예측하기 위한 장치.
  3. 제2항에 있어서,
    상기 전처리부는,
    상기 저장된 학습용 퍼셉트 시퀀스 데이터의 행위, 자세, 주변 객체의 정보를 각각 정수 타입의 고유값으로 인코딩하고,
    상기 인코딩된 고유값을 One-Hot Vector의 형태로 변환하여 각 속성들을 연결하는 과정을 통해 상기 학습 데이터를 생성하는, 사용자 의도 시퀀스를 예측하기 위한 장치.
  4. 제1항에 있어서,
    상기 시퀀스 예측 모델은, 시퀀스투시퀀스(seq2seq) 구조의 LSTM(Long-short Term Memory) 기반 순환 신경망 모델이 적용된, 사용자 의도 시퀀스를 예측하기 위한 장치.
  5. 삭제
  6. 학습용 DB가 사용자의 생활 패턴에 대한 기준이 되는 학습용 퍼셉트 시퀀스 데이터를 저장하는 단계;
    학습부가 상기 저장된 학습용 퍼셉트 시퀀스 데이터를 기초로 시퀀스 예측 모델을 학습시키는 단계;
    시퀀스 생성부가 사용자의 생활 패턴에 대한 정보를 수집하여 수집된 정보를 기초로 사용자의 행위, 자세, 주변 객체에 대한 정보가 시계열적으로 정의된 퍼셉트 시퀀스 데이터를 생성하는 단계; 및
    의도 예측부가 상기 학습시킨 시퀀스 예측 모델을 기초로 상기 생성된 시퀀스 데이터로부터 사용자의 의도 시퀀스를 예측하는 단계를 포함하고,
    상기 생성하는 단계에서는,
    상기 시퀀스 생성부가 하나의 시간 축에 대해 적어도 하나의 확률 분포 그래프로부터 각 시점별 확률 비교에 따라 하나의 의도가 발생하는 의도 시퀀스를 생성하고,
    사용자 정의 규칙과 동선에 대한 가중치 그래프에 따라 의도 발생 장소에 대한 장소 시퀀스를 생성하고,
    상기 의도와 장소 내에서 발생한 행위에 대한 행위 시퀀스를 생성하고, 상기 행위가 가능한 자세에 대한 정보를 미리 정해진 사용자 정의 규칙을 통해 정의하고,
    생성된 상기 행위와 상기 자세, 상기 장소 기반의 주변 객체에 대한 정보가 정의된 상기 퍼셉트 시퀀스 데이터를 생성하는, 사용자 의도 시퀀스를 예측하기 위한 방법.
  7. 제6항에 있어서,
    상기 학습시키는 단계에서는,
    상기 학습부가 상기 저장된 학습용 퍼셉트 시퀀스 데이터를 미리 정해진 포맷으로 전처리하여 학습 데이터를 생성하고,
    상기 생성된 상기 학습 데이터를 기초로 상기 시퀀스 예측 모델을 학습시키는, 사용자 의도 시퀀스를 예측하기 위한 방법.
  8. 제7항에 있어서,
    상기 학습시키는 단계에서는,
    상기 학습부가 상기 저장된 학습용 퍼셉트 시퀀스 데이터의 행위, 자세, 주변 객체의 정보를 각각 정수 타입의 고유값으로 인코딩하고,
    상기 인코딩된 고유값을 One-Hot Vector의 형태로 변환하여 각 속성들을 연결하는 과정을 통해 상기 학습 데이터를 생성하는, 사용자 의도 시퀀스를 예측하기 위한 방법.
  9. 제6항에 있어서,
    상기 시퀀스 예측 모델은, 시퀀스투시퀀스(seq2seq) 구조의 LSTM(Long-short Term Memory) 기반 순환 신경망 모델이 적용된, 사용자 의도 시퀀스를 예측하기 위한 방법.
  10. 삭제
KR1020180143567A 2018-11-20 2018-11-20 순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법 KR102165160B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180143567A KR102165160B1 (ko) 2018-11-20 2018-11-20 순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180143567A KR102165160B1 (ko) 2018-11-20 2018-11-20 순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200063313A KR20200063313A (ko) 2020-06-05
KR102165160B1 true KR102165160B1 (ko) 2020-10-13

Family

ID=71088832

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180143567A KR102165160B1 (ko) 2018-11-20 2018-11-20 순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102165160B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102520128B1 (ko) * 2020-10-26 2023-04-07 광운대학교 산학협력단 세미-스트림 서브시퀀스 매칭을 이용한 온라인 머신러닝 장치 및 방법
KR102365838B1 (ko) 2020-11-12 2022-02-21 숭실대학교산학협력단 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 방법 및 장치
KR20220091161A (ko) * 2020-12-23 2022-06-30 삼성전자주식회사 발생될 다음 이벤트를 예측하는 방법 및 디바이스
KR102544825B1 (ko) * 2021-05-04 2023-06-16 숭실대학교산학협력단 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100137963A (ko) 2009-06-24 2010-12-31 아주대학교산학협력단 점증적 통계기법을 이용한 행동패턴 추출 및 의도추론에 대한 장치 및 방법
KR101986002B1 (ko) 2017-01-17 2019-06-04 경북대학교 산학협력단 행동-인식 연결 학습 기반 의도 이해 장치, 방법 및 그 방법을 수행하기 위한 기록 매체

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Martinez, Julieta, Michael J. Black, and Javier Romero. "On human motion prediction using recurrent neural networks." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. (20*
Wu, Tz-Ying, et al. "Anticipating daily intention using on-wrist motion triggered sensing." Proceedings of the IEEE International Conference on Computer Vision. (2017.10.29. 공개)*

Also Published As

Publication number Publication date
KR20200063313A (ko) 2020-06-05

Similar Documents

Publication Publication Date Title
KR102165160B1 (ko) 순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법
CN109891897B (zh) 用于分析媒体内容的方法
KR101880907B1 (ko) 비정상 세션 감지 방법
Amiri et al. Adventures in data analysis: A systematic review of Deep Learning techniques for pattern recognition in cyber-physical-social systems
CN107516110B (zh) 一种基于集成卷积编码的医疗问答语义聚类方法
Zhou et al. Deep supervised and convolutional generative stochastic network for protein secondary structure prediction
CN110826638B (zh) 基于重复注意力网络的零样本图像分类模型及其方法
JP2024500182A (ja) 説明可能なトランスデューサ・トランスフォーマ
Reynolds et al. A computational model of event segmentation from perceptual prediction
CN116415654A (zh) 一种数据处理方法及相关设备
Rothfuss et al. Deep episodic memory: Encoding, recalling, and predicting episodic experiences for robot action execution
KR102011788B1 (ko) 계층적 시각 특징을 이용한 시각 질의 응답 장치 및 방법
WO2020251681A1 (en) Robustness against manipulations in machine learning
CN111985205A (zh) 一种方面级情感分类模型
CN113449801B (zh) 一种基于多级图像上下文编解码的图像人物行为描述生成方法
CN113673535B (zh) 一种多模态特征融合网络的图像描述生成方法
CN113553850A (zh) 一种基于有序结构编码指针网络解码的实体关系抽取方法
Liu et al. Kernel regularized nonlinear dictionary learning for sparse coding
US20240037335A1 (en) Methods, systems, and media for bi-modal generation of natural languages and neural architectures
Dai et al. Ctrn: Class-temporal relational network for action detection
Shi et al. Object detection based on Swin Deformable Transformer‐BiPAFPN‐YOLOX
CN114328943A (zh) 基于知识图谱的问题回答方法、装置、设备及存储介质
CN117392686A (zh) 一种基于改进的动态图神经网络的不实信息检测方法
JP2022521174A (ja) センサ入力信号からのコグニティブ・クエリへの応答
CN114707633B (zh) 特征提取方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant