KR20180116683A - 다음활동 예측방법 및 장치 - Google Patents

다음활동 예측방법 및 장치 Download PDF

Info

Publication number
KR20180116683A
KR20180116683A KR1020170049313A KR20170049313A KR20180116683A KR 20180116683 A KR20180116683 A KR 20180116683A KR 1020170049313 A KR1020170049313 A KR 1020170049313A KR 20170049313 A KR20170049313 A KR 20170049313A KR 20180116683 A KR20180116683 A KR 20180116683A
Authority
KR
South Korea
Prior art keywords
activity
data
activities
next activity
present
Prior art date
Application number
KR1020170049313A
Other languages
English (en)
Inventor
이영희
김영기
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020170049313A priority Critical patent/KR20180116683A/ko
Publication of KR20180116683A publication Critical patent/KR20180116683A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명의 실시예들은 다중 사용자 스마트 공간에서 특정 의도 하에서 발생하는 활동들을 그룹화하고, 활동 후보를 생성함으로써, 신속하면서도 높은 정확도로 예측할 수 있는 IoT 환경에 실질적으로 적용 가능한 다음활동 예측방법 및 장치를 제공한다.

Description

다음활동 예측방법 및 장치{Method and Apparatus For Next-Activity Prediction}
본 발명의 실시예들은 다음활동 예측방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 발명에 따른 실시예들과 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
사물 인터넷(internet of things, IoT) 기술의 급격한 발전에 힘입어 다양한 IoT 기기들이 등장하였고, 일상적인 공간을 스마트 공간(smart space)으로 변화시키고 있다.
스마트 공간 내에서 IoT 기기를 더욱 사용자 친화적으로 동작시키기 위해서는 활동 인식(activity recognition) 기술과 활동 예측(activity prediction) 기술이 필요하다. 전자는 사람의 거동 및 상황적 조건을 관찰함으로써 사람의 행동과 목적을 인지하도록 하는 기술이며, 후자는 인지된 행동과 목적을 이용하여 추후에 발생할 활동을 예측할 수 있도록 하는 기술이다.
많은 연구자들이 다중 사용자 스마트 공간에서 보다는 단일 사용자 스마트 공간에서의 활동 예측에 대한 연구를 수행하였으며, 이를 위해 마르코프 모델(Markov model), 베이지안 네트워크(Bayesian network), 결정 트리 및 은닉 마르코프 모델(hidden Markov model; HMM)과 같은 기계학습 알고리즘(machine-learning algorithm)을 이용하였다.
다중 사용자 스마트 공간에서의 활동들 예컨대, '발표 수행', '식사', '회의 진행' 등은 특정 의도가 존재하는 상황에서 발생한다. 덧붙여, 단일 사용자 스마트 공간에서의 활동들에 비해, 여러 다양한 활동들이 연속적으로 발생할 수 있다.
다중 사용자 스마트 공간에서의 활동 예측은 단일 사용자 스마트 공간에서의 활동 예측에 비해 훨씬 복잡하여 단일 사용자 스마트 공간에 적용되는 방법과는 다른 유형의 방법이 적용되어야 한다.
다중 사용자 스마트 공간에서의 활동 예측은 컴퓨터를 이용하여 자연어를 처리하도록 하는 기술(natural language processing; NLP)과 유사하다는 제 1 특성과 발생하는 데이터는 연속되는 복잡한 요소들에 의한 복수의 데이터가 연결되어 형성된 연속 데이터의 형태로 발생한다는 제 2 특성을 모두 고려할 수 있어야 한다.
1. 제 1 특성의 해결 방안
자연어 처리는 컴퓨터로 하여금 인간이 사용하는 언어를 이해하고 분석할 수 있게 하는 분야를 총칭한다. 초기의 자연어 처리는 사전에 포함된 모든 단어 각각에 원핫벡터(one-hot vector)를 이용한 표시자(index value)를 할당하였다. 원핫벡터의 길이는 단어의 개수만큼 클 뿐만 아니라, 의미론적으로 연관되어 있는 벡터들이 서로 연관되어 있지는 않다. 이러한 문제점을 해결하기 위해 word2vec 모델이 제안되었다.
word2vec 모델은 '단어 임베딩(word embedding)'을 생성하기 위해 사용되는 모델로서 종래의 방법들에 비해 몇 배 이상 빠른 학습을 가능케 한다. word2vec 모델은 입력 계층(input layer), 프로젝션 계층(projection layer) 및 출력 계층(output layer)을 포함한다.
도 1a 및 도 1b는 각각 CBOW(continuous bag-of-words) 모델 및 스킵그램(skip-gram) 모델을 설명하기 위한 개념도이다.
CBOW 모델의 입력 계층은 문맥 단어(context word) 그룹에 대한 원핫벡터들을 입력받으며, CBOW 모델의 출력 계층은 그에 대응되는 타겟 단어(target word)의 원핫벡터를 생성하도록 설정된다. 스킵그램 모델의 경우, 타겟 단어가 입력 계층으로 입력되며, 출력 계층은 문맥 단어들을 생성하도록 설정된다. 적절한 훈련을 거친 후, CBOW 모델 및 스킵그램 모델은 프로젝션 계층으로부터의 가중치(weight)를 읽어들임으로써 모든 단어들을 n차원 벡터 공간(n-dimensional vector space)에 존재하는 벡터들로 변환시킬 수 있다.
타겟 단어를 예측하는 문맥 단어에 크게 의존하고, 시간적으로 유사성이 있는 활동들 사이의 관계가 자연어 처리와 유사하기 때문에, word2vec을 활용한 단어 임베딩 기술이 다중 사용자 스마트 공간에서 다중 사용자의 활동들을 예측하는 데에 적용될 수 있다.
2. 제 2 특성의 해결방안
연속되는 복잡한 요소들에 의한 복수의 데이터가 연결되어 형성된 연속 데이터를 처리하기 위해, 순환 신경망(recurrent neural network; RNN)을 이용할 수 있다. 그러나, 단순 순환 신경망은 오래된 데이터를 결과에 적절히 반영하지 못하는 단점을 지닌다. 이러한 문제를 해결하기 위해 고안된 순환 신경망 중 하나가 LSTM 망(long short-term memory network)이다.
도 2a 및 도 2b는 다대다 LSTM 망(many-to-many LSTM network)과 다대일 LSTM 망(many-to-one LSTM network) 각각을 도시한다.
도 2a 및 도 2b에 도시한 바와 같이, LSTM 망은 출력이 둘 이상인 다대다 구성 및 오직 하나의 출력을 갖는 다대일 구성 모두를 구현할 수 있는 장점을 지닌다.
따라서, IoT 기기들의 원활한 동작을 위해, 다중 사용자 스마트 공간에서 여러 기기들에 의해 발생되는 복잡하고 연속되는 데이터를 신속하게 분석하여 높은 정확도로 예측할 수 있도록 하는 방안이 필요하다.
본 발명의 실시예들은 다중 사용자 스마트 공간에서 특정 의도하에서 발생하는 활동들을 신속하면서도 높은 정확도로 예측할 수 있도록 하는 단어 임베딩에 기초한 다음활동 예측방법 및 장치를 제공하는 데에 주된 목적이 있다.
본 발명의 일 실시예는 복수의 활동 데이터를 n차원의 벡터 공간으로 변환하여 n차원 벡터들을 생성하는 벡터화 과정; 및 상기 n차원 벡터들에 기초하여 상기 활동 데이터에 인접한 활동들을 추출하며, 가장 유용한 숫자의 다음활동 후보(next-activity candidate)를 선택하여 다음에 발생할 활동을 예측하는 다음활동 후보 선택 과정을 포함하는 것을 특징으로 하는 다음활동 예측방법을 제공한다.
본 발명의 일 실시예에 따르면, 다중 사용자 스마트 공간에서의 다양하고 복잡한 사건들을 신속하면서도 높은 정확도로 예측할 수 있도록 하는 다음활동 예측방법 및 장치를 제공할 수 있는 효과가 있다.
본 발명의 일 실시예의 다른 측면에 따르면, IoT 환경에 실제로 적용될 수 있는 다음활동 예측방법 및 장치를 제공할 수 있는 효과가 있다.
도 1a 및 도 1b는 각각 CBOW(continuous bag-of-words) 모델 및 스킵그램(skip-gram) 모델을 설명하기 위한 개념도이다.
도 2a 및 도 2b는 다대다 LSTM 네트워크(many-to-many LSTM network)와 다대일 LSTM 네트워크(many-to-one LSTM network) 각각을 도시한다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 활동 임베딩을 설명하기 위한 도면과 다음활동 예측장치의 개념도 각각을 도시한다.
도 4는 본 발명의 일 실시예에 따른 다음활동 예측방법의 다음활동 후보 선택을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 다음활동 예측방법을 실험하기 위한 실험환경을 도시한다.
도 6은 본 발명의 일 실시예에 따른 다음활동 예측방법에 의한 활동 임베딩 결과를 도시한다.
도 7은 본 발명의 일 실시예에 따른 다음활동 예측방법에 적용된 엘보우 방법의 결과를 도시한다.
도 8은 본 발명의 일 실시예에 따른 다음활동 예측방법의 정확도를 도시한다.
도 9는 본 발명의 일 실시예에 따른 다음활동 예측방법을 설명하기 위한 흐름도이다.
이하, 본 발명의 일 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 본 발명의 일 실시예를 설명함에 있어서 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 일 실시예의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
본 발명에 따른 실시예의 구성요소를 설명하는 데 있어서 제 1, 제 2, ⅰ), ⅱ), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 부호에 의해 해당 구성요소의 본질 또는 차례 또는 순서 등이 한정되지 않는다. 또한 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부도면을 참조하여 본 발명의 일 실시예에 따른 다음활동 예측방법 및 장치를 설명하면 다음과 같다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 활동 임베딩을 설명하기 위한 도면과 다음활동 예측장치의 개념도 각각을 도시한다.
다중 사용자 스마트 공간에서의 모든 활동은 특정 의도하에 수행된다고 가정하자. 특히, 여러 사용자가 모여서 여러 활동을 하는 경우, 개별 활동들은 여러 특정 의도에 의해 수행될 것이다. 예를 들어, '문 열기', '프로젝터 켜기' 및 '착석'과 같은 활동들은 '발표'를 위해 수행될 수 있는 활동들이다. 따라서, 동일한 장소에서 동일한 사용자에 의해 발생하는 활동들은 같은 의도하에 수행되는 활동들로 그룹화될 수 있다.
본 발명의 일 실시예에 따른 다음활동 예측장치는 데이터 수집부(310), 벡터화부(320), LSTM 훈련부(330) 및 다음활동 후보 선택부(340)를 포함한다.
데이터 수집부(310)는 다중 사용자 스마트 공간에서의 모든 활동들을 수집하여 그룹화한다. 여기서, 모든 활동들은 '문 열기(open a door)', '문 닫기(close a door)', '입실(entrance)', '퇴실(exit)', '프로젝터 켜기(turn on a projector)', '프로젝터 끄기(turn off a projector)', '점등(turn on a light)', '소등(turn off a light)', '기립(stand up)', '착석(sit down)', '화이트보드 판서(write on a whiteboard)', '화이트보드 지우기(erase a whiteboard)', '에어컨 켜기(turn on an air conditioner)', '에어컨 끄기(turn off an air conditioner)', '랩탑 연결하기(connect a laptaop)', '랩탑 연결끊기(disconnect a laptaop)', '책상 치우기(clean a desk)', '커튼 걷기(raise a curtain)', '커튼 치기(lower a curtain)', '스크린 내리기(lower a screen)', '창문 열기(open a window)' 및 '창문 닫기(close a window)' 등을 포함할 수 있다.
벡터화부(320)는 데이터 수집부(310)가 수집한 자료들을 수신하여, 벡터화한다. 벡터화부(320)는 각 개별 활동을 하나의 원핫벡터(one-hot vector)로 나타낸다. 원핫벡터는 우연성에 기초하여 생성되기 때문에, 이렇게 생성된 원핫벡터들 사이에는 아무런 관계가 없다. 밀접하게 관련이 있는 활동들로부터 생성된 원핫벡터들 사이에도 아무런 관련이 없을 수 있다. 따라서 이러한 문제점을 해결하기 위해, 벡터화부(320)는 원핫벡터들을 n차원 벡터들로 변환한다. 즉, 관련이 있는 활동들을 연관된 벡터들로 변환하는 것이다. 시점 tc에 발생한 활동의 변환은 시점 tc -n 및 시점 tc +n 사이의 시구간에서 발생한 다른 활동들에 의존할 것이다. 시점 tc에 발생한 활동은 임베딩을 계산하기 위한 신경망 모델에서 입력 벡터들로 사용된다. 이러한 과정을 통해, 벡터화부(320)는 모든 활동들을 n차원 벡터 공간으로 변환할 수 있다.
LSTM 훈련부(330)는 입력 벡터들에 기초하여, 인접한 활동들을 추출하고 이들을 출력 벡터로 훈련한다. 그 후, LSTM 훈련부(330)는 신경망의 프로젝션 계층의 가중치를 이용하여 시점 tc에 발생한 활동을 구성한다.
다음활동 후보 선택부(340)는 다대일 LSTM 망을 구축하여 훈련한다. 다음활동 후보 선택부(340)는 이전에 발생한 활동들에 대한 벡터들을 포함하는 입력값을 이용하여 다대일 LSTM 망을 구축한다. 다음활동 후보 선택부(340)가 다대일 LSTM 망을 훈련하면, 입력 크기는 이전에 발생한 활동들을 포함하는 고정된 윈도우의 크기로 설정된다.
윈도우 크기가 크면, LSTM 망이 더욱 많은 데이터를 참조할 수 있기 때문에, 다음활동 후보 선택부(340)가 예측한 다음활동의 정확도가 높을 수 있다. 그러나 이 경우, 이전 활동들의 숫자가 적으면 다음활동을 예측하지 못할 수 있으며, 더욱 긴 훈련 시간을 필요로 할 수 있다. LSTM 망의 입력 계층은 선택된 윈도우 크기와 동일한 크기를 가지며, 입력 계층의 크기는 활동들을 표현하는 n차원 벡터들의 사이즈인 n과 같다.
LSTM 망을 훈련하기 위해, 수집된 활동 시퀀스들은 훈련 데이터(training data)와 시험 데이터(testing data)로 구분된다. LSTM 망은 오직 훈련 데이터만을 이용하여 훈련된다. LSTM 망은 각 입력 시퀀스로부터 정확한 다음활동 출력을 학습한다. 그 후, 다음활동 후보 선택부(340)는 오직 시험 데이터만을 이용하여 훈련의 정확도를 평가한다.
다음활동 후보 선택부(340)는 각 입력 시퀀스에 대해 오직 하나의 n차원 벡터를 출력하며, 이 하나의 벡터를 이용하여 여러 다음활동 후보들을 생성한다. 여기서, 다음활동 후보들의 생성은 다음활동 후보 선택부(340)가 LSTM 망의 출력에 가장 가까운 벡터들에 대응되는 일부 활동들을 선택함으로써 수행된다.
다음활동 후보의 개수가 많아지면 많아질수록 다음활동 예측의 정확도는 증가한다. 그러나 후보의 개수가 너무 커지면, 스마트 서비스로서의 유용성이 사라지게 되는 단점이 있다. 예를 들어, 한 스마트 공간에서 존재하는 활동의 종류가 10이며, 다음활동 후보의 개수가 5이면, 이 예측은 의미가 없어지게 된다.
다음활동 후보 선택부(340)는 k-평균 클러스터링 알고리즘(k-means clustering algorithm)에 기초하여 가장 유용한 다음활동 후보의 개수를 결정한다. 다음활동 후보 선택부(340)는 k-평균 클러스터링 알고리즘을 이용하여, 모든 활동들에 대한 n차원 벡터들을 k개의 서로 다른 클러스터로 분할한다. 여기서, 다음활동 후보 선택부(340)는 엘보우 기법(elbow method)를 이용하여 클러스터의 개수를 결정한다. 엘보우 기법은 클러스터의 개수를 증가시키면서 분산의 백분율을 참조하여, 이득이 떨어지기 시작하는 지점을 선택할 수 있다.
도 4는 본 발명의 일 실시예에 따른 다음활동 예측방법의 다음활동 후보 선택을 설명하기 위한 도면이다.
다음활동 후보 선택부(340)는 다음활동 후보의 개수를 한 클러스터 내에 존재하는 활동들의 최대 개수로 설정한다. 최종적으로, 다음활동 후보 선택부(340)는 LSTM 망에 의해 생성된 특정 출력 벡터에 대해 출력 벡터에 가장 가까운 곳에 존재하는 벡터들을 다음활동 후보들로 선택한다.
도 5는 본 발명의 일 실시예에 따른 다음활동 예측방법을 실험하기 위한 실험환경을 도시한다.
본 발명의 일 실시예에 따른 다음활동 예측방법을 실험하기 위한 테스트베드(testbed)는 4개의 작동기(actuator) 및 8개의 센서를 포함한다. 이러한 IoT 기기들에 의해 사람의 다양한 활동들이 포착되고 웹캠을 이용하여 포착된 활동들을 검증하였다.
표 1은 실험에 사용된 테스트베드의 사양을 나타낸다.
기간 2015년 9월 ∼ 2016년 6월
의도 연구실 세미나, 회의, 토의, 청소, 식사, 전화걸기, 실험, 영화 감상, 공부, 휴식
활동 유형 '문 열기(open a door)', '문 닫기(close a door)', '입실(entrance)', '퇴실(exit)', '프로젝터 켜기(turn on a projector)', '프로젝터 끄기(turn off a projector)', '점등(turn on a light)', '소등(turn off a light)', '기립(stand up)', '착석(sit down)', '화이트보드 판서(write on a whiteboard)', '화이트보드 지우기(erase a whiteboard)', '에어컨 켜기(turn on an air conditioner)', '에어컨 끄기(turn off an air conditioner)', '랩탑 연결하기(connect a laptaop)', '랩탑 연결끊기(disconnect a laptaop)', '책상 치우기(clean a desk)', '커튼 걷기(raise a curtain)', '커튼 치기(lower a curtain)', '스크린 내리기(lower a screen)', '창문 열기(open a window)' 및 '창문 닫기(close a window)'
실험 결과, 포착된 활동들은 23개의 유형으로 나타났으며, 본 발명의 일 실시예에 따른 다음활동 예측장치는 이러한 활동들은 10개의 의도 그룹으로 그룹화하였다. 또한, 본 발명의 일 실시예에 따른 다음활동 예측장치는 총 414개의 활동 시퀀스를 의도별로 그룹화하였으며, 23 유형의 활동들을 벡터 공간으로 매핑하였다.
도 6은 본 발명의 일 실시예에 따른 다음활동 예측방법에 의한 활동 임베딩 결과를 도시한다.
본 발명의 일 실시예에 따른 다음활동 예측장치는 모든 활동들을 원핫벡터로부터 3차원 벡터들로 변환하였다. 그 결과, 이 벡터들을 이용하여 몇 가지 대수 연산이 가능함을 확인하였다.
· '입실' - '퇴실' + '랩탑 연결하기' = '랩탑 연결끊기'
· '입실' - '퇴실' + '착석' = '기립'
· '문 닫기' - '문 열기' + '점등' = '소등'
· '에어컨 켜기' - '에어컨 끄기' + '착석' = '기립'
다음활동 예측장치에 의해 수집된 모든 활동은 3차원 벡터로 표현할 수 있었다. 본 발명의 일 실시예에 따른 다음활동 예측장치는 LSTM 망을 구축하기 위해 TensorFlow를 사용하였다.
도 7은 본 발명의 일 실시예에 따른 다음활동 예측방법에 적용된 엘보우 방법의 결과를 도시한다.
도 3을 참조하여 설명한 바와 같이, 본 발명의 일 실시예에 따른 다음활동 예측장치는 클러스터의 최적 개수를 결정하기 위해 엘보우 방법을 사용할 수 있다. 도 7을 참조하면, 클러스터의 최적 개수는 5개이다. 클러스터의 개수가 5개인 경우, 한 클러스터에 포함되는 활동들의 최대 개수는 7이다.
본 발명의 일 실시예에 따른 다음활동 예측방법의 정확도를 살펴보기 위해, 입력 윈도우 크기를 3에서 10까지 변경시켰다. 또한, 전술한 클러스터링 결과에 기초하여 다음활동 후보의 숫자를 1에서 7까지 변경시켰다. 다음활동 후보 그룹에 실제 관찰된 다음활동이 포함된 경우를 정확한 것으로 간주하였다.
윈도우 크기 및 다음활동 후보의 개수를 획득하기 위해 10-폴드 교차검증(10-fold cross validation) 방법을 이용하였다. 즉, 본 발명의 일 실시예에 따른 다음활동 예측방법을 적용하여 획득한 데이터를 10개의 분할로 나누고, 각 분할을 시험에 이용하면서 나머지 9개의 분할을 학습시켰다. 그 후, 본 발명의 일 실시예에 따른 다음활동 예측장치는 동일한 조건에서 정확도 값을 10회 계산하고, 평균하여 최종 정확도를 산출하였다.
도 8은 본 발명의 일 실시예에 따른 다음활동 예측방법의 정확도를 도시한다.
도 8에 도시한 바와 같이, 하나의 다음활동 후보를 이용한 경우의 다음활동 예측 정확도는 30% 미만의 값으로 매우 낮게 나타났으며, 이는 다중 사용자 환경의 특징을 잘 드러내었다. 다음활동 후보의 개수가 크면 클수록 다음활동 예측의 정확도가 높은 것을 확인할 수 있다. 다음활동 후보와 윈도우 크기를 각각 7과 10으로 설정한 경우, 본 발명의 일 실시예에 따른 다음활동 예측장치는 82.36%의 정확도를 나타내었다.
본 발명의 일 실시예에 따른 다음활동 예측방법을 요약하면 다음과 같다.
도 9는 본 발명의 일 실시예에 따른 다음활동 예측방법을 설명하기 위한 흐름도이다.
데이터 수집부(310)는 다중 사용자 스마트 공간에서의 모든 활동들을 수집하여 그룹화하고, 벡터화부(320)는 데이터 수집부(310)가 수집한 자료들을 수신하여, 벡터화한다(S910). LSTM 훈련부(330)는 입력 벡터들에 기초하여, 인접한 활동들을 추출하고 이들을 출력 벡터로 훈련하며, 다음활동 후보 선택부(340)는 다대일 LSTM 망을 구축하고 훈련한다(S920). 또한, 다음활동 후보 선택부(340)는 LSTM 망으로부터의 출력에 기초하여 다음활동 후보를 선택한다(S930). 본 발명의 일 실시예에 따른 다음활동 예측방법의 구체적인 설명은 도 3을 참조하여 설명하였으므로 생략한다.
한편, 도 9에 도시된 흐름도의 각 단계는 컴퓨터로 읽을 수 있는 기록매체(computer-readable recording medium)에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상의 설명은 본 발명에 따른 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명에 따른 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 따른 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명에 따른 일 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명에 따른 일 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
300: 다음활동 예측장치 310: 데이터 수집부
320: 벡터화부 330: LSTM 훈련부
340: 다음활동 후보 선택부

Claims (3)

  1. 복수의 활동 데이터를 n차원의 벡터 공간으로 변환하여 n차원 벡터들을 생성하는 벡터화 과정; 및
    상기 n차원 벡터들에 기초하여 상기 활동 데이터에 인접한 활동들을 추출하며, 가장 유용한 숫자의 다음활동 후보(next-activity candidate)를 선택하여 다음에 발생할 활동을 예측하는 다음활동 후보 선택 과정
    을 포함하는 것을 특징으로 하는 다음활동 예측방법.
  2. 제 1 항에 있어서,
    상기 벡터화 과정은,
    기 설정된 시구간 내에서 발생한 상기 활동 데이터 각각을 원핫벡터(one-hot vector)로 표현하는 과정을 포함하며,
    상기 다음활동후보 선택 과정은,
    다양한 활동 데이터를 수집하여, 훈련 데이터와 시험 데이터로 구분하여, 상기 훈련 데이터만을 이용하여 LSTM(long short-term memory) 모델을 훈련시키는 다음활동 모델 훈련 과정을 포함하는 것을 특징으로 하는 다음활동 예측방법.
  3. 제 2 항에 있어서,
    상기 다음활동 후보 선택 과정은,
    상기 가장 유용한 숫자의 다음활동 후보를 선택하기 위해 상기 n차원 벡터들을 기 설정된 숫자의 클러스터(cluster)로 분할하는 과정을 거쳐, 오직 하나의 n차원 벡터를 출력하는 것을 특징으로 하는 다음활동 예측방법.
KR1020170049313A 2017-04-17 2017-04-17 다음활동 예측방법 및 장치 KR20180116683A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170049313A KR20180116683A (ko) 2017-04-17 2017-04-17 다음활동 예측방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170049313A KR20180116683A (ko) 2017-04-17 2017-04-17 다음활동 예측방법 및 장치

Publications (1)

Publication Number Publication Date
KR20180116683A true KR20180116683A (ko) 2018-10-25

Family

ID=64131715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170049313A KR20180116683A (ko) 2017-04-17 2017-04-17 다음활동 예측방법 및 장치

Country Status (1)

Country Link
KR (1) KR20180116683A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200063318A (ko) 2018-11-20 2020-06-05 주식회사 엑셈 시간에 기초한 예측 정보를 생성하기 위한 장치 및 방법
CN112434856A (zh) * 2020-11-25 2021-03-02 中冶赛迪电气技术有限公司 一种基于设备组合状态转换的钢厂电力负荷预测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200063318A (ko) 2018-11-20 2020-06-05 주식회사 엑셈 시간에 기초한 예측 정보를 생성하기 위한 장치 및 방법
CN112434856A (zh) * 2020-11-25 2021-03-02 中冶赛迪电气技术有限公司 一种基于设备组合状态转换的钢厂电力负荷预测方法
CN112434856B (zh) * 2020-11-25 2023-12-08 中冶赛迪电气技术有限公司 一种基于设备组合状态转换的钢厂电力负荷预测方法

Similar Documents

Publication Publication Date Title
CN111341341B (zh) 音频分离网络的训练方法、音频分离方法、装置及介质
JP7213358B2 (ja) アイデンティティ検証方法、アイデンティティ検証装置、コンピュータ機器、及びコンピュータプログラム
Ertugrul et al. Movie genre classification from plot summaries using bidirectional LSTM
CN111966883A (zh) 结合自动编码器和生成对抗网络的零样本跨模态检索方法
CN112989212B (zh) 媒体内容推荐方法、装置和设备及计算机存储介质
Papalampidi et al. Movie summarization via sparse graph construction
KR20200119370A (ko) 인공지능 기반의 유사 디자인 검색 장치
Jasani et al. Skeleton based zero shot action recognition in joint pose-language semantic space
JP2024520933A (ja) 反復的な話者埋め込みによるエンドツーエンドの話者ダイアライゼーション
Choudhary et al. Domain aware neural dialog system
Ni et al. Discriminative deep transfer metric learning for cross-scenario person re-identification
KR20180116683A (ko) 다음활동 예측방법 및 장치
CN111626058B (zh) 基于cr2神经网络的图像-文本双编码实现方法及系统
Labbé et al. Is my automatic audio captioning system so bad? spider-max: a metric to consider several caption candidates
WO2020151017A1 (zh) 一种可扩展的领域人机对话系统状态跟踪方法及设备
Abreu et al. A bimodal learning approach to assist multi-sensory effects synchronization
Qi et al. Video captioning via a symmetric bidirectional decoder
Martínez-Guevara et al. Detection of phonetic units of the mexican sign language
Malinin et al. A hierarchical attention based model for off-topic spontaneous spoken response detection
CN112863549A (zh) 一种基于元-多任务学习的语音情感识别方法及装置
Masui et al. Recurrent visual relationship recognition with triplet unit
Nakamura et al. Movie caption generation with vision transformer and transformer-based language model
Debnath et al. A multi-modal lecture video indexing and retrieval framework with multi-scale residual attention network and multi-similarity computation
Trivedi et al. Emotion-based Music Recommendation System using a Novel Neural Network
CN113705216B (zh) 依赖关系的检测方法、装置及设备