KR20160115515A

KR20160115515A - 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템 및 방법

Info

Publication number: KR20160115515A
Application number: KR1020150043377A
Authority: KR
Inventors: 김병만; 방재근
Original assignee: 금오공과대학교 산학협력단
Priority date: 2015-03-27
Filing date: 2015-03-27
Publication date: 2016-10-06
Also published as: KR101702502B1

Abstract

본 발명은 수집된 데이터를 라이프로그(Life log)를 분석하여 구축한 베이지안 네트워크(Bayesian network)에 적용하여 현 행동을 판별한 후 연관분석(association analysis)을 통해 사용자가 미래에 하게 될 행동을 예측하는 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템 및 방법에 관한 것이다. 본 발명은 모바일에 사용되는 스마트폰으로부터 대표적인 모바일기기인 스마트폰을 통해 사용자의 라이프로그를 수집하고 라이프로그를 정제된 라이프로그로 변환하며 스마트폰에 대한 로그데이터에 대하여 일정시간 간격으로 기록하는 라이프로그 수집부, 라이프로그 수집부에 의해 수집되는 라이프로그에 대하여 하루에 한번 스마트폰 사용자의 라이프로그를 생성하는 태깅부, 정제된 라이프로그를 사용자 별로 저장하는 사용자로그 데이터베이스, 사용자로그 데이터베이스에 저장된 정제된 라이프로그를 사용하여 사용자의 행동 카테고리를 베이즈 정리를 이용하여 예측하고 결과값을 얻는 베이지안 네트워크 및 베이지안 네트워크를 통해 얻어진 결과값을 이용하여 사용자가 예측된 행동 카테고리 이후 미래 행동을 연관분석을 이용하여 예측하는 미래예측부를 포함하여 구성되어, 현 상황을 인식하고 이를 기반으로 사용자의 다음 행위를 사용자의 과거이력으로부터 예측할 수 있는 효과가 있다.

Description

모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템 및 방법{A user behavior prediction System and Method for using mobile-based Life log}

본 발명은 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템 및 방법에 관한 것으로서, 보다 상세하게는 수집된 데이터를 라이프로그(Life log)를 분석하여 구축한 베이지안 네트워크(Bayesian network)에 적용하여 현 행동을 판별한 후 연관분석(association analysis)을 통해 사용자가 미래에 하게 될 행동을 예측하는 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템 및 방법에 관한 것이다.

미국 시장조사기관 스트래티지 애널리스틱(Stretegy Analytics)의 보고서에 따르면 지난해 한국의 스마트 폰보급률은 67.6%로 전 세계 국가 중 가장 높은 것으로 나타났다. 이는 세계 평균(14.8%)의 4.6배에 이를 만큼 현재 국내 대다수의 사람들이 스마트폰을 이용하고 있음을 의미한다. 스마트폰을 이용하여 전화통화와 문자메시지 전송, 음악과 동영상 감상, 사진촬영과 같은 일상생활 속에서 필요한 서비스를 제공받고, 다양한 어플리케이션을 이용하고 있다. 그 중에서도 스마트폰 사용자들은 쇼핑몰, 배달 음식점, 위치정보 등 추천에 관련된 어플리케이션을 많이 이용하고 있다.

하지만 이와 같은 추천 어플리케이션들은 사용자의 현재 상황을 고려하지 않아 추천의 질의 떨어지는 문제점이 있다. 상황인식 응용들은 사용자의 의식적인 입력이 없어도 특정한 시간과 장소에서 사용자의 행동을 추정하여 정보를 전달하거나 요청한다. 이 때 사용자의 행동을 예측하기 위해 센서를 사용한다.

라이프로그(Lifelog)라는 용어는 1945년 7월 미국국가과학기술연구소 소장인 바네바 부시(Vannevar Bush)가 아틀란틱 먼슬리(Atlantic Monthly)지에 기고한 "As We May Think"라는 기고문에서 처음 언급 하였다. 바네바 부시는 이마에 부착하는 호두알만한 크기의 카메라와 소형 녹음기를 가지고 개인이 보고 듣고 말하는 것을 영구 기록하여 기억을 확장 하고자 하는 생각을 하였다. 현재는 저장 공간의 가격이 낮아지고 스마트폰(Smart Phone)의 출현으로 자연스럽고 소형화된 고성능 센서가 일반 대중에게 보급 되어 보다 쉽게 라이프로그를 수집할 수 있게 되었다.

라이프로그(Lifelog)에 관련한 연구는 국내외에서 다양하게 진행되고 있으나, 대부분의 연구들이 스마트폰(Smart Phone)과 웨어러블(Wearable) 형태의 장비를 이용하여 라이프로그를 수집 할 수 있는 방법들과 상황에 맞는 적절한 서비스를 제공하는데 초점이 맞추어져 있다.

본 발명의 목적은 사용자에게 상황에 맞게 적절한 내용을 자동으로 추천해 주기 위해서는 먼저 현 상황을 인식하고 이를 기반으로 사용자의 다음 행위를 사용자의 과거 이력으로부터 예측할 수 있도록 한 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템 및 방법을 제공하는 데에 있다.

또한, 본 발명의 다른 목적은 모바일 기기를 이용해 사용자의 현재 상황을 연관분석을 통해 사용자가 미래에 하게 될 행동을 예측할 수 있는 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템 및 방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템은, 모바일에 사용되는 스마트폰으로부터 대표적인 모바일기기인 스마트폰을 통해 사용자의 라이프로그를 수집하고 상기 라이프로그를 정제된 라이프로그로 변환하며 상기 스마트폰에 대한 로그데이터에 대하여 일정시간 간격으로 기록하는 라이프로그 수집부; 상기 라이프로그 수집부에 의해 수집되는 상기 라이프로그에 대하여 하루에 한번 상기 스마트폰 사용자의 라이프로그를 생성하는 태깅부; 상기 정제된 라이프로그를 사용자 별로 저장하는 사용자로그 데이터베이스; 상기 사용자로그 데이터베이스에 저장된 정제된 라이프로그를 사용하여 사용자의 행동 카테고리를 베이즈 정리를 이용하여 예측하고 결과값을 얻는 베이지안 네트워크; 상기 베이지안 네트워크를 통해 얻어진 결과값을 이용하여 사용자가 상기 예측된 행동 카테고리 이후 미래 행동을 연관분석을 이용하여 예측하는 미래예측부를 포함한다.

상기 행동 카테고리는, 이동활동, 청각 활동, 시각 활동, 기록 활동, 말하기 활동으로 구분되며, 상기 스마트폰의 기능 중에서 위치추적은 이동활동에 대응하고, 노래듣기, 동영상보기, 전화송수신은 청각활동에 대응하며, 동영상보기, 사진촬영, 문자메시지 송수신은 시각활동에 대응하고, 문자메시지 송수신, 사진촬영은 기록활동에 대응하며, 전화송수신은 말하기활동에 대응하는 것이다.

상기 베이즈 정리에 의해 구하는 행동 카테고리는, 다음의 수학식에 확률을 구하고 상기 확률이 가장 높은 행동 카테고리를 선택하여 행동을 예측하되,

여기서, E는 어떤 사건이 일어났을 경우를 나타내고,

는 추론 하고 싶은 대상을 의미하며, p는 확률값을 나타내는 것이다.

상기 연관분석은, 행동1(X) 및 행동2(Y)의 지지도(Support), 신뢰도(Confidence) 및 향상도(Lift)에 관한 비율을 구하고 상기 지지도(S), 신뢰도(C) 및 향상도(L)는 각각 다음의 수학식으로 구하며,

여기서, X는 "행동1"이 나오는 라이프로그 수, Y는 "행동2"가 나오는 라이프로그 수이고, P(X)는 행동1의 확률, P(Y)는 행동2의 확률을 나타내는 것이다.

상기 행동 카테고리는, 행동과 위치로 카테고리화하여 구분하며, 상기 행동은 수면, 식사, 군것질, 세정, 발표, 치료, 수업, 일상적인 일, 비일상적인 일, 파트타임, 온라인 강의수강, 강의, 공부, 요리, 설거지, 세탁, 옷정리, 청소, 아이템 정리, 자원봉사, 신문, TV, DVD, 구기게임, 운동, 조깅, 산책, 종교활동, 독서, 웹서핑, 온라인 게임, 영화, 영화관, 스포츠 시청, 쇼핑, 테이트, 정지, 걷기, 뛰기, 차량이동, 버스이동, 기차이동 중 선택된 적어도 어느 하나의 행동과, 상기 장소는 집, 학교, 도서관, 병원, 레스토랑, 미용실, 세탁소, 교회, 서점, 마트, 백화점, 카페, 길, 학교운동장, 도심지, 사무실, 공원 중 선택된 적어도 어느 하나의 장소인 것이다.

제2항에 있어서, 상기 행동 카테고리는,

행동과 위치로 카테고리화하여 구분하며,

상기 라이프로그 생성 시 사용자로부터 상기 행동 및 상기 위치를 입력받도록 하는 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템.

상기 행동 카테고리는, 3개의 노드로 구분하여 분석하며, 상기 3개의 노드는 각각 입력노드, 연관노드, 목표노드이고, 상기 입력노드는 상기 연관노드와 상기 목표노드를 추론하기 위한 사건의 사전확률 값이 들어가는 노드이고, 상기 연관노드는 상기 입력노드와 상기 목표노드의 중간에 위치한 노드로써 상기 목표노드와 연관성이 가장 높은 노드이며, 상기 목표노드는 실체 추론되는 노드이다.

상기 베이즈 정리는, 가중치를 곱하여 계산하며, 상기 가중치는, 다음의 수학식으로 구하되,

여기서, α는 기본가중치를 나타내며, ω는 중치를 나타내고, β는 가중치를 나타내는 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템.

모바일 기반 라이프로그를 이용한 사용자 행동 예측 방법에 있어서, 스마트폰으로부터 사용자의 라이프로그를 수집하는 단계; 상기 라이프로그를 정제된 라이프로그로 변환하는 단계; 상기 스마트폰에 대한 로그데이터에 대하여 일정시간 간격으로 기록하는 단계; 상기 라이프로그 수집부에 의해 수집되는 상기 이프로그에 대하여 하루에 한번 상기 스마트폰 사용자의 라이프로그를 생성하는 단계; 상기 정제된 라이프로그를 사용자 별로 저장하는 단계; 상기 저장된 정제된 라이프로그를 사용하여 사용자의 행동 카테고리를 베이즈 정리를 이용하여 사용자의 행동을 예측한 결과값을 얻는 단계; 상기 결과값을 이용하여 사용자가 상기 예측된 행동 카테고리 이후 미래 행동을 연관분석을 이용하여 예측하는 단계를 포함하는 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 방법.

여기서, E는 어떤 사건이 일어났을 경우를 나타내고,

여기서, X는 "행동1"이 나오는 라이프로그 수, Y는"행동2"가 나오는 라이프로그 수이고, P(X)는 행동1의 확률, P(Y)는 행동2의 확률을 나타내는 것이다.

상기 행동 카테고리는, 행동과 위치로 카테고리화하여 구분하며, 상기 라이프로그 생성 시 사용자로부터 상기 행동 및 상기 위치를 입력받도록 하는 것이다.

상기 행동 카테고리는, 3개의 노드로 구분하여 분석하며, 상기 3개의 노드는 각각 입력노드, 연관노드, 목표노드이고, 상기 입력노드는 상기 연관노드와 상기 목표노드를 추론하기 위한 사건의 사전확률 값이 들어가는 노드이고, 상기 연관노드는 상기 입력노드와 상기 목표노드의 중간에 위치한 노드로써 상기 목표노드와 연관성이 가장 높은 노드이며, 상기 목표노드는 실체 추론되는 노드인 것이다.

여기서, α는 기본가중치를 나타내며, ω는 중치를 나타내고, β는 가중치를 나타내는 것이다.

본 발명에 따른 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템 및 방법은 사용자에게 상황에 맞게 적절한 내용을 자동으로 추천해 주기 위해서는 먼저 현 상황을 인식하고 이를 기반으로 사용자의 다음 행위를 사용자의 과거이력으로부터 예측할 수 있는 효과가 있다.

또한, 본 발명에 따른 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템 및 방법은 모바일 기기를 이용해 사용자의 현재 상황을 인식하고 수집된 라이프로그를 기반으로 베이지안 네트워크를 통하여 현 행위에 대한 카테고리를 판별한 후 연관분석을 통해 사용자가 미래에 하게 될 행동에 대해 예측할 수 있는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 모바일 기반 라이프로그를 이용한 사용자 행동을 예측하기 위한 시스템의 구성을 나타낸 블록 구성도.
도 2는 본 발명의 일 실시예에 따라 라이프로그를 수집하여 이를 표의 형태로 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 도 2의 라이프로그를 보다 효율적으로 사용하기 위하여 정제하여 표의 형태로 나타낸 도면.
도 4는 본 발명의 일실시예에 따라 행동 카테고리와 장소 카테고리로 분류한 분류표를 나타낸 테이블.
도 5는 본 발명의 일 실시예에 따라 행동 카테고리 확률 모델을 입력노드, 연관노드, 목표노드로 구분하여 나타낸 테이블.
도 6은 본 발명의 일실시예에 따른 도 5에 표시된 노드들이 연관된 상태를 보여주는 도면.
도 7은 본 발명의 일실시예에 따른 입력노드에 따른 연관 노드의 연결 상태를 나타낸 테이블.
도 8은 본 발명의 일실시예에 따른 미래 예측의 알고리즘은 나타낸 도면.
도 9는 본 발명의 일실시예에 따른 학생의 주요생활 패턴을 나타낸 테이블.
도 10은 본 발명의 일실시예에 따른 직장인의 주요생활 패턴을 나타낸 테이블.
도 11은 본 발명의 일실시예에 따른 학생 1인의 베이지안 네트워크를 나타낸 도면.
도 12는 본 발명의 일실시예에 따른 직장인 1인의 행동을 추론한 베이지안 네트워크를 나타낸 도면.
도 13은 본 발명의 도 11에 따른 선택된 학생의 미래 예측된 결과를 나타낸 테이블.
도 14는 본 발명의 도 13에 따른 선택된 학생의 관련 분석 결과를 나타낸 테이블.
도 15은 본 발명의 도 11에 따른 선택된 직장인의 미래 예측된 결과를 나타낸 테이블.
도 16는 본 발명의 도 13에 따른 선택된 직장인의 관련 분석 결과를 나타낸 테이블.
도 17은 본 발명의 일 실시예에 따른 실험에의해 미래 예측한 결과의 정확도를 나타낸 테이블.
도 18은 본 발명의 일실시예에 따른 실험에 의해 예측하는 데이터의 증가 추이를 나타낸 그래프.
도 19는 본 발명의 일실시예에 따른 미래 행동을 예측하는 데 소요되는 시간을 나타낸 그래프.
도 20은 본 발명의 일실시예에 따른 사용자의 행동을 예측하는 과정을 나타낸 순서도.

이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다. 도 1은 본 발명의 일실시예에 따른 모바일 기반 라이프로그를 이용한 사용자 행동을 예측하기 위한 시스템의 구성을 나타낸 블록 구성도이며, 도 2는 본 발명의 일 실시예에 따라 라이프로그를 수집하여 이를 표의 형태로 나타낸 도면이고, 도 3은 본 발명의 일 실시예에 따른 도 2의 라이프로그를 보다 효율적으로 사용하기 위하여 정제하여 표의 형태로 나타낸 도면이며, 도 4는 본 발명의 일실시예에 따라 행동 카테고리와 장소 카테고리로 분류한 분류표를 나타낸 테이블이고, 도 5는 본 발명의 일 실시예에 따라 행동 카테고리 확률 모델을 입력노드, 연관노드, 목표노드로 구분하여 나타낸 테이블이며, 도 6은 본 발명의 일실시예에 따른 도 5에 표시된 노드들이 연관된 상태를 보여주는 도면이고, 도 7은 본 발명의 일실시예에 따른 입력노드에 따른 연관 노드의 연결 상태를 나타낸 테이블이며, 도 8은 본 발명의 일실시예에 따른 미래 예측의 알고리즘은 나타낸 도면이고, 도 9는 본 발명의 일실시예에 따른 학생의 주요생활 패턴을 나타낸 테이블이며, 도 10은 본 발명의 일실시예에 따른 직장인의 주요생활 패턴을 나타낸 테이블이고, 도 11은 본 발명의 일실시예에 따른 학생 1인의 베이지안 네트워크를 나타낸 도면이며, 도 12는 본 발명의 일실시예에 따른 직장인 1인의 행동을 추론한 베이지안 네트워크를 나타낸 도면이고, 도 13은 본 발명의 도 11에 따른 선택된 학생의 미래 예측된 결과를 나타낸 테이블이며, 도 14는 본 발명의 도 13에 따른 선택된 학생의 관련 분석 결과를 나타낸 테이블이고, 도 15은 본 발명의 도 11에 따른 선택된 직장인의 미래 예측된 결과를 나타낸 테이블이며, 도 16는 본 발명의 도 13에 따른 선택된 직장인의 관련 분석 결과를 나타낸 테이블이고, 도 17은 본 발명의 일 실시예에 따른 실험에의해 미래 예측한 결과의 정확도를 나타낸 테이블이며, 도 18은 본 발명의 일실시예에 따른 실험에 의해 예측하는 데이터의 증가 추이를 나타낸 그래프이고, 도 19는 본 발명의 일실시예에 따른 미래 행동을 예측하는 데 소요되는 시간을 나타낸 그래프이다.

도 1 내지 도 19를 참조하면, 본 발명은 스마트폰(110), 라이프로그 수집부(120), 태깅부(130), 베이지안 네트워크(140), 라이프로그 데이터베이스(150) 및 미래예측부(160)로 구성된다.

먼저 사용자의 현재 행동을 예측해야 하므로, 라이프로그 수집부(120)는 대표적인 모바일기기인 스마트폰(110)을 통해 사용자의 라이프로그를 수집한다. 본 발명에서는 도 2에서와 같은 라이프로그를 도 3에서와 같은 정제된 라이프로그를 정제하여 사용한다. 라이프로그 수집부(120)는 스마트폰(110)에 대한 로그데이터에 대한 기록을 1분에 한 번씩 남긴다. 태깅부(130)는 라이프로그 수집부(120)에 의해 수집되는 사용자 라이프로그에 대하여 하루에 한번 자동태깅 시스템을 통해 접속된 스마트폰(110) 사용자의 라이프로그를 생성한다. 도 2에서 보면 라이프로그는 이동활동으로 알 수 있는 정보는 현사용자의 움직임이 이동활동, 청각 활동, 시각 활동, 기록 활동, 말하기 활동으로 현재 핸드폰의 사용 중인 기능에 대해 알수 있다. 이 시스템에서 관심을 갖는 핸드폰의 기능은 위치추적, 노래듣기, 동영상보기, 사진촬영, 전화송수신, 문자메시지 송수신 등이다. 이중 위치추적은 이동활동에 해당되고, 노래듣기, 동영상보기, 전화송수신은 청각활동에 해당되며, 동영상보기, 사진촬영, 문자메시지 송수신은 시각활동에, 문자메시지 송수신, 사진촬영은 기록활동에, 전화송수신은 말하기활동에 해당된다. 나머지 지속상황, 감지상황, 선택상황, 태그 정보에 대해서는 본 발명에서는 이용하지 않는다.

도 3을 참조하면, 정제된 라이프로그를 사용한다. 정제된 라이프로그는 도 2의 라이프로그를 이용하여 사용자 별로 사용자로그 데이터베이스(150)에 저장시키며, 저장된 정제된 라이프로그를 사용하여 행동 카테고리를 예측하기 위한 베이지안 네트워크가 구축된다. 베이지안 네트워크(140)는 사용자의 현 행동에 대한 카테고리를 추론한다. 그 후 추론된 행동 카테고리를 이용하여 연관분석을 통해 사용자가 미래에 하게 될 행동을 예측할 수 있다. 예컨대, 스마트폰(110)의 위치를 일정 시간 간격으로 추적하여 사용자의 움직임이 정지, 걷기, 뛰기, 차량이동 중인지 알 수 있고, 해당 스마트폰에 구동되는 어플리케이션을 참조하여 해당 스마트폰(110) 사용자가 노래듣기, 동영상보기, 사진촬영, 전화송수신, 문자메시지 송수신 중 어떤 기능을 이용 중인지 알 수 있다.

사용자의 현재 행동을 추론하기 위해 본 발명에서는 베이지안 네트워크(140)를 구축한다. 베이지안 네트워크(140)는 각각 수치화된 가중치(weight), 상태(state) 간의 천이(transition)확률 등으로 지식을 표현할 수 있고, 상태 분할이 올바르게 이루어졌을 경우, 주어진 데이터에 대한 확률적인 특성을 효과적으로 모델링할 수 있는 장점이 있다. 또한, 불확실한 상황에서 추론을 위한 대표적인 모델로써, 방향성 비순환 그래프 모양을 가진다. 베이지안 네트워크(140)는 베이즈 정리(Bayes' Theorem)를 통해 미리 계산된 사전 확률 값을 바탕으로 최후 사후 확률 값을 추론한다. 베이즈 정리는 다음의 수학식 1과 같다.

수학식 1에서 사건(E)은 어떤 사건이 일어났을 경우를 나타내고, 가설(

)은 추론 하고 싶은 대상을 의미한다. 사건(E)을 이동활동 중 정지활동이라 가정하고 운동(H1), 공부(H2), 수면(H3)이라 가정했을 때, 현재 사용자가 정지 상태일 경우 운동, 공부, 수면을 하게 될 확률 값(p)을 추론할 수 있다. 또한 사건(E)은 1가지 외에도 <Table 2> 에서 정의된 라이프로그들이 모두 사건이 될 수 있다.

행동이나 장소는 너무 다양하여 그대로 사용할 경우 모델을 구축하는데 어려움이 있어 본 발명에서는 행동과 장소를 카테고리화하여 사용하였다. 행동을 통계청의 생활시간조사 행동분류표를 참조하여 도 4에서와 같이 총 42개의 행동카테고리로 분류하였다. 장소는 총 17개의 카테고리로 분류하였다. 장소 카테고리는 행동 카테고리를 기반으로 카테고리화 하였다.

베이지안 네트워크 모델과 연관분석을 위해서는 각 일화에 해당하는 행동과 장소가 필요한데 본 발명에서는 라이프로그 생성 시 사용자로부터 직접 입력받도록 하였다. 이때 입력받는 행동과 장소로 도 4의 카테고리를 이용할 수 있다.

도 5를 참조하면, 행동 카테고리 확률 모델이 가지고 있는 노드는 크게 입력노드, 연관노드, 목표노드로 구성 된다. 입력노드는 연관노드와 목표노드를 추론하기 위한 사건의 사전확률 값이 들어가는 노드를 의미한다. 연관노드는 입력노드와 목표노드의 중간에 위치한 노드로써 목표노드와 연관성이 가장 높은 노드를 의미하며 한 가지 입력노드를 고려하는 것이 아닌 여러 가지의 입력노드를 고려하여 추론 값이 결정되며 결정된 연관노드 추론 값을 바탕으로 다양한 목표노드를 추론 할 수 있다. 연관노드의 값은 도 2에서 추출된 활동필드에 있는 값(이동활동 여부, 청각 활동 여부, 시각 활동 여부, 기록 활동 여부 및 말하기 활동 여부)으로 지정하였다. 목표노드는 실제 추론되는 노드를 의미하며, 연관노드 추론 값을 참조하여 추론된다.

도 6을 참조하면, 하위에 있는 노드들이 상위의 노드를 가리키는 형태로 모델링이 되었다. 위치(Location)를 제외한 연관노드들은 사용자의 특성에 따라 연결되는 목표노드가 달라진다. 도 7을 참조하면 예를 들어 자가학습에 관한 행동을 하고 있다고 가정하면, A사용자는 자가 학습을 할 때 주로 집에서 하고 혼자 노래를 듣고 동영상 강의를 시청 한다고 하면 관련 연관 노드는 청각여부와 시각여부가 연결이 될 것이고, B사용자는 자가학습을 할 때 주로 전화, 문자 송수신이나 사람들과 같이 한다고 하면 청각여부, 시각여부, 말하기여부, 기록여부와 연결 될 것이다. 이처럼 각 사용자의 행동마다 목표노드와 연관노드 연결이 달라 질 수 있다.

입력노드와 연관노드의 연결은 모두 연결이 되지만, 전화 기능(Phone function) 입력노드는 각각의 스마트폰 기능의 정해진 연관노드와 연결된다. 도 6을 참조하면 그와 관련된 자세한 정보를 볼 수 있다. 예를 들어 스마트폰 기능 중 동시에 노래를 들으면서 동영상을 볼 순 없다. 물론 핸드폰 자체는 동영상을 보면서 노래를 들을 수 있도록 여러 프로세스를 실행할 수 있지만, 사용자 입장에선 동영상보기, 노래듣기 중 하나는 집중할 수 없기 때문에, 도 7과 같이 입력 노드는 정해진 연관노드와 연결된다.

입력노드 위치는 사용자의 특성에 무관하게 연관노드 위치에만 연결되고 연관노드 위치도 사용자 특성에 무관하게 전체 목표노드와 연결된다. 주소로부터 장소카테고리를 추출하는 방법은 입력노드 위치에 "경상북도 구미시 대학로 61" 값이 입력이 되었으면, 베이즈 정리를 통해 예측할 수 있다. 예를 들어 "경상북도 구미시 대학로 61" 값에 사용자 라이프로그 데이터베이스를 참조한 결과 "학교"와 "집"에 대해서만 카테고리를 예측 한다고 할 때, 각 장소 카테고리는 학교 59%, 집 41%의 비율을 구할 수 있고, 조건부 확률을 더 추가하여 계산해본 결과 학교→"경상북도 구미시 대학로 61"는 82%, 집→"경상북도 구미시 대학로 61"는 5% 로 계산이 산출될 수 있다. 따라서, 사용자는 학교에 위치하는 것으로 예측할 수 있다.

베이즈 정리를 통해 선택된 사용자의 위치를 예측한 계산과정은 다음과 같다.

※ 학교의 확률 = (0.82 * 0.59) / 모든 확률의 합

※ 집의 확률 = (0.05 * 0.41) / 모든 확률의 합

입력된 주소 값이 참조 데이터베이스에서 찾지 못할 경우, 조건부 확률 값을 구할 수 없다. 그래서 조건부 확률값은 모두 동일한 비율(1/7)을 가지게 되고, 나중에 사용자가 직접 수정함으로써, 조건부 확률 값을 계산할 수 있다.

베이지안 네트워크(140)를 통해 현 행동에 대한 카테고리가 추론이 되면 과거 이력 데이터를 기반으로 다음에 사용자가 취할 행동에 대한 추론이 필요하다. 미래예측부(160)는 베이즈 정리를 통해 얻어진 결과값을 이용하여 사용자가 어떤 행동 시 다음에 하게 될 경향이 강한 행동을 찾아내 그룹화 한 후 그들 사이의 연관관계를 규칙으로 표기하는 기법인 연관분석을 시행한다. 예를 들어, "수면"과 "자가 학습"사이의 연관분석을 한다면, 사용자 라이프로그에서 "수면"→"자가 학습"에 관한 정보를 찾아 지지도(Support)와 신뢰도(Confidence), 향상도(Lift)에 관한 비율을 구할 수 있을 것이다. 미래 예측의 알고리즘은 도 8을 참조하여 설명하기로 한다. 도 8에서 지지도(Support)는 사용자 라이프로그 중 수면 후 자가 학습을 했던 비율이고, 신뢰도(Confidence)는 사용자가 수면을 했었던 라이프로그 중 수면 후에 자가 학습을 한 비율을 의미하고, 향상도(Lift)는 예측에 있어서 무작위 추측에 비해 규칙이 얼마나 우수한 지를 보여주는 비율이고 값이 1보다 크면 예측력이 있다고 평가한다. 따라서 수면과 자가 학습이 서로 독립적이라면 향상도는 1이 되는데 향상이 없다는 의미로 판단 할 수 있다. 각각의 지지도(S), 신뢰도(C) 및 향상도(L)를 구하는 수학식은 각각 수학식 2, 수학식 3 및 수학식 4로 표시될 수 있다.

여기서, X는 "수면"이 나오는 라이프로그 수, Y는"자가 학습"이 나오는 라이프로그 수이고, P(X)는 수면의 확률, P(Y)는 자가학습의 확률을 나타낸다.

본 발명을 구현하기 위한 실험을 위해 SM-N900 스마트폰을 이용하였고, 학생 5명이 실험에 참여하였다. 또한, 본 발명에서는 가상으로 직장인 5명을 생성하였다. 학생들은 약 1달간 실제로 데이터를 수집하였고, 가상의 직장인들은 가상으로 생활패턴을 입력하였다. 학생들에게 수집된 데이터에서 장소와 행동에 대해서는 직접 입력 할 것을 요구하였다.

스마트폰(110) 사용자는 웹을 통해 수집된 데이터의 장소와 행동을 직접 입력 할 수 있고, 현재 스마트폰을 통해 추출된 이동, 시간, 스마트폰기능(Phone function), 위치(location) 정보를 라이프로그 수집부(120) 및 태깅부(130)를 통해 베이지안 네트워크(140) 및 라이프로그 데이터베이스(150)로 전송한다. 미래예측부(160)는 전송된 정보와 사용자 과거 라이프로그를 참조해 베이지안 네트워크(140)를 입력 노드로 사용하여 현재 행동을 판단한 후, 미래 행동을 예측한다.

본 발명에서 특정상황에 대한 예측 과정을 보여주기 위해 1명의 학생과 1명의 가상의 직장인의 예시를 제시하였다. 학생과 가상의 직장인의 주요 생활패턴은 다음 도 9 및 도 10과 같다. 학생과 가상의 직장인이 항상 같은 패턴으로 활동 하는 것이 아니기 때문에 주요 패턴만 나타낸 것이다.

예컨대, 도 9의 학생의 현 상황(정지, 시간 20∼21시, 노래듣기)으로부터 베이지안 네트워크(140)를 통하여 도 13에 추론된 결과를 보면 사용자가 "씻기"행동을 하고 있음을 판단할 수 있다. 또한, 추론된 사용자의 현재 행동으로부터 연관분석을 통해 1시간 후의 행동을 예측해 보면 도 14에 도시된 바와 같이 "DVD 시청"을 할 확률이 높음을 알 수 있다. 도 14의 연관분석 결과는 대표로 2개만 나타냈다.

미래예측부(160)는 도 10의 가상의 직장인의 현 상황(정지, 시간 20∼21시, 노래 듣기)으로부터 베이지안 네트워크(140)를 통하여 추론하며, 도 15에 추론된 결과를 보면 사용자가 "독서"행동을 하고 있음을 판단할 수 있다. 또한, 추론된 사용자의 현재 행동으로부터 연관분석을 통해 1시간 후의 행동을 예측해보면 도 16에 보는바와 같이 똑같이 "독서"를 할 확률이 높음을 알 수 있다. 도 16의 연관분석 결과는 대표로 2개만 나타냈다.

도 11 및 도 12을 참조하면, 입력노드는 연관노드에 연결되고 목표노드는 사용자에 행동에 따라 연결되는 연관노드가 달라진다. 미래예측부(160)는 라이프로그 데이터베이스(150)를 참조하여 도 12의 학생의 위치 연관노드 제외한 노드들의 사전확률을 계산한다. 이를 살펴보면, 이동여부 18%, 청각여부 26%, 시각여부 20%, 기록여부 17%, 말하기여부 19%의 사전확률 값이 계산 되었다. 조건부확률을 계산해 보면, 이동여부의 경우 이동여부→정지 6%, 이동여부→20∼21시 32%, 이동여부→노래듣기 53%이고, 청각여부의 경우 청각여부→정지 61%, 청각여부→20∼21시 49%, 청각 여부→노래듣기 95%이고, 시각여부의 경우 시각여부→정지 54%, 시각여부→20∼21시 66%, 시각여부→노래듣기 0%이고, 기록여부의 경우 기록여부→정지 34%, 기록여부→20∼21시 21%, 기록여부→노래듣기 0%이고, 말하기여부의 경우 말하기여부→정지 29%, 말하기여부→20∼21시 54%, 말하기여부→노래듣기 0%로 계산된다. 여기서, 스마트폰 기능의 노래듣기 기능은 도 10과 같이 연관노드인 이동여부, 청각여부에만 포함 되고, 나머지 연관노드는 참조되지 않는다. 베이즈 정리 특성상 참조되지 않으면 0%가 나올 수 있어, 그것을 방지하기 위해 아래와 수학식 5와 같은 같은 공식을 곱하여 적용한다.

여기서, α는 기본가중치를 나타내며, 본 발명에서는 0.1로 설정된다. ω는 중치를 나타낸다. 중치(ω)가 0으로 설정되어도 가중치(β)는 기본가중치값을 갖게 된다. 즉, 0%의 중치(ω)를 이용하여 가중치를 계산하여도 최소 10%의 기본가중치(α)를 가중치(β)로서 적용해준다는 의미이다.

기본 가중치 공식은 위치를 제외한 연관노드에만 적용 된다. 각각의 조건부확률 값에 기본 가중치 공식을 적용한 후, 베이즈 정리를 통해 선택된 학생의 활동을 예측을 계산한 과정은 다음과 같다.

이동여부의 확률 = (0.26 * 0.154 * 0.388 * 0.577) / 모든 확률의 값

청각여부의 확률 = (0.344 * 0.649 * 0.541 * 0.955) / 모든 확률의 값

시각여부의 확률 = (0.28 * 0.586 * 0.694 * 0.1) /모든 확률의 값

기록여부의 확률 = (0.253 * 0.406 * 0.289 * 0.1) /모든 확률의 값

말하기여부의 확률 = (0.271 * 0.361 * 0.586 * 0.1) / 모든 확률의 값

계산 결과 이동여부 5%, 청각여부 57%, 시각여부 5%, 기록여부 1%, 말하기여부 32%로 계산되었다. 즉, 선택된 학생의 다음 활동은 청각활동으로 예측된다.

위치 연관 노드의 경우 각 장소 카테고리는 집 42%, 학교 35%, 도로 17%, 나머지 장소 카테고리 합은 6%의 비율을 구할 수 있고, 조건부 확률을 계산해본 결과 집→"Gyeongbuk gumi city Geouidong 137-5"는 93%, 학교→"Gyeongbuk gumi city Geouidong 137-5"는 12%, 도로→"Gyeongbuk gumi city Geouidong 137-5"는 46% 로 계산되었다. 나머지 장소 카테고리들은 조건부 확률 비율이 낮아 따로 계산되는 과정은 보여주지 않고, 나머지 장소 카테고리 계산 결과를 모두 더한 비율로 나타냈다.

베이즈 정리를 통해 선택된 학생이 위치할 장소를 예측하는 계산과정은 다음과 같다.

※ 집의 확률 = (0.59 * 0.93) / 모든 확률의 합

※ 학교의 확률 = (0.35 * 0.22) / 모든 확률의 합

※ 도로의 확률 = (0.45 * 0.46) / 모든 확률의 합

※ 나머지 장소 카테고리의 확률(14) = 남은 14개 장소 카테고리의 합 / 모든 확률의 합계산 결과 대략 집은 62%, 학교 9%, 도로는 23%, 나머지 장소 카테고리의 확률은 모두 합쳐 6%로 계산되었다. 즉, 선택된 학생은 집에 있을 것으로 예측된다.

연관노드의 사전비율은 이동여부 5%, 청각여부 57%, 시각여부 5%, 기록여부 1%, 말하기여부 32%, 장소는 집이 62%, 학교 9%, 도로가 23%, 나머지 장소들은 모두 6%가 계산 되었다.

목표노드의 조건부확률을 추가하여 계산해 본 결과 "씻기"행동의 경우 씻기→청각여부 85%, 씻기→집 100%, "걷기"행동의 경우 걷기→말하기여부 90%, 걷기→청각여부 62%, 걷기→도로 95%, "웹서핑"의 경우 웹서핑→청각여부 51%, 웹서핑→집 95% 로 계산 되었다. 그 이외의의 목표 카테고리는 조건부 확률 비율이 낮아 따로 계산되는 과정은 보여주지 않고, 나머지 행동 계산 결과를 모두 더한 비율로 나타냈다.

전술한 베이즈 정리를 통해 선택된 학생의 행동을 예측하는 계산과정은 다음과 같다.

씻기의 확률 = (0.85 * 0.56 * 0.67 * 1) / 모든 확률의 합

걷기의 확률 = (0.9 * 0.32 * 0.62 * 0.56 * 0.95 * 0.25) / 모든 확률의합

웹서핑의 확률 = (0.51 * 0.56 * 0.95 * 1) / 모든 확률의 합

다른 목표 카테고리(Other goal category)(39) = 남은 39개 행동 확률의 합 / 모든 확률의 합

베이즈 정리를 이용한 계산 결과, 씻기 60%, 식사 4%, 웹서핑 34%, 나머지 상황 2%로, 조건부 확률을 추가하여 계산한 결과 앞으로 선택된 학생이 할 행동은 "씻기"로 예측 되었다. 이를 모두 종합하면 선택된 학생은 집에서 듣기활동을 하며 씻는 것으로 예측된다.

미래예측부(160)가 라이프로그 데이터베이스(150)를 참조하여 도 12의 위치 연관노드 제외한 노드들을 참조하여 직장인의 사전확률을 계산해 보면, 이동여부 10%, 청각여부 27%, 시각여부 21%, 기록여부 11%, 말하기여부 31%의 사전확률 값이 계산 되었다. 조건부확률을 추가하여 다시 계산하면 이동여부의 경우 이동여부→정지 4%, 이동여부→20∼21시 19%, 이동여부→노래듣기 61%이고, 청각여부의 경우 청각여부→정지 61%, 청각여부→20∼21시 22%, 청각여부→노래듣기 97%이고, 시각여부의 경우 시각여부→정지 65%, 시각여부→20∼21시 37%, 시각여부→노래듣기 0%이고, 기록여부의 경우 기록여부→정지 29%, 기록여부→20∼21시 18%, 기록여부→노래듣기 0%이고, 말하기여부의 경우 말하기여부→정지 36%, 말하기여부→20∼21시 41%, 말하기여부→노래듣기 0%였다.

베이즈 정리를 통해 선택된 직장인의 활동을 예측하는 계산과정은 다음과 같다.

이동여부의 확률 = (0.19 * 0.136 * 0.271 * 0.649) / 모든 확률의 값

청각여부의 확률 = (0.343 * 0.649 * 0.298 * 0.973) / 모든 확률의 값

시각여부의 확률 = (0.289 * 0.685 * 0.433 * 0.1) / 모든 확률의 값

기록여부의 확률 = (0.199 * 0.361 * 0.262 * 0.1) / 모든 확률의 값

말하기여부의 확률 = (0.379 * 0.424 * 0.469 * 0.1) / 모든 확률의 값

계산 결과 이동여부 5%, 청각여부 74%, 시각여부 10%, 기록여부 2%, 말하기여부 9%로 계산되었다. 즉 선택된 직장인의 다음 활동을 청각활동으로 예측된다.

위치 연관노드의 경우 각 장소 카테고리는 집 39%, 직장 41%, 시내 17%, 나머지 장소 카테고리 합은 3%의 비율을 구할 수 있고, 조건부 확률을 계산해본 결과 집→"Gyeongbuk gumi city Geouidong 137-5"는 89%, 직장→"Gyeongbuk gumi city Geouidong 137-5" 29%, 시내→"Gyeongbuk gumi city Geouidong 137-5"는 14% 로 계산되었다. 나머지 장소 카테고리들은 많고 비율도 낮아 따로 계산되는 결과는 보여주지 않았다.

전술한 베이즈 정리를 통해 선택된 직장인의 위치를 예측하는 계산과정은 다음과 같다.

집의 확률 = (0.39 * 0.89) / 모든 확률의 합

직장의 확률 = (0.41 * 0.29) / 모든 확률의 합

시내의 확률 = (0.17 * 0.14) / 모든 확률의 합

나머지 장소 카테고리의 확률(14) = 남은 14개 장소 카테고리의 합 / 모든 확률의 합계 결과 대략 집은 69%, 직장은 23%, 시내는 5%, 나머지 장소 카테고리의 확률은 모두 합쳐 3%로 계산되었다. 즉, 선택된 직장인은 집에 있을 것으로 예측된다.

연관노드의 사전비율은 이동여부 5%, 청각여부 74%, 시각여부 10%, 기록여부 2%, 말하기여부 9%, 장소는 집이 69%, 직장 23%, 시내가 5%, 나머지 장소들은 모두 3%이 계산 되었다. 목표노드의 조건부확률을 계산해 본 결과 "독서"행동의 경우 독서→청각여부 82%, 독서→집 91%, "헬스"행동의 경우 헬스→청각여부 95%, 헬스→시내 55%, "웹서핑"의 경우 웹서핑→청각여부 71%, 웹서핑→집 92% 로 계산 되었다.

다른 목표 카테고리는 조건부 확률 비율이 낮아 따로 계산되는 과정은 보여주지 않고, 나머지 행동 계산 결과를 모두 더한 비율로 나타냈다.

전술한 베이즈 정리를 통해 선택된 직장인의 행동을 예측하는 계산과정은 다음과 같다.

독서의 확률 = (0.74 * 0.82 * 0.69 * 0.91) / 모든 확률의 합

헬스의 확률 = (0.74 * 0.95 * 0.23 * 0.55) / 모든 확률의 합

웹서핑의 확률 = (0.74 * 0.92 * 0.69 * 0.71) / 모든 확률의 합

다른 목표 카테고리(39) = 남은 39개 행동 확률의 합 / 모든 확률의 합

계산 결과, 독서 45%, 헬스 10%, 웹서핑 39%, 나머지 상황 6%로, 앞으로 가상으로 선택된 직장인이 할 행동은 "독서"로 예측 되었다. 이를 종합하면, 선택된 직장인이 할 행동은 집에서 듣기활동을 하며 독서를 할 것으로 예측된다.

도 17을 참조하면, 실험에 참여한 학생 5명에게 예측된 결과가 얼마나 정확한지 스마트폰을 통해 피드백을 받았다. 피드백은 1달간 진행되었고, 하루에 자는 시간을 제외한 약 10번 의 피드백을 받도록 하였다. 1인당 약 300개의 피드백을 받을 수 있었고, 5명의 행동 예측의 실패 원인을 분석해본 결과 데이터 수집 과정에서 학생들의 주중과 주말의 행동이 많이 다르다는 것을 알 수 있었다. 분석 결과에 따라 정확성을 높이기 위해 입력 노드의 시간 값을 요일, 월, 년으로 세분화하고 다양한 환경의 데이터를 입력노드로 사용한다.

평가는 한 사람의 사용자 패턴을 저장 하는데 얼마나 필요한지, 그리고 현재 행동과 미래 행동을 예측 하는데 얼마나 소요되는지 평가하였다.

도 18을 참조하면 현재 1명의 사용자를 대상으로 과거 라이프로그를 50일 동안 20,365개를 수집했고, 10일 기준으로 얼마나 용량이 증가하는지 메가바이트(Mb)단위로 보여준다. 하루에 약 407개의 라이프로그를 저장 할 수 있었고, 그 수치는 다음 도 18과 같다. 실험 결과 10일 기준으로 3.38Mb의 공간을 차지했고, 50일 기준으로 14.47Mb의 공간을 차지했다. 이를 1년(365일) 기준으로 봤을 때, 대략 105.63Mb의 공간을 차지 할 것으로 보인다. 이와 같은 자료는 스마트폰(110)에 저장한다. 따라서, 본 발명에서 스마트폰(110)이 저장하는 사용자 패턴은 하루로 설정한다. 그러나, 도 18에 보여지는 바와 같이 1년의 사용자 패턴도 스마트폰이 저장할 수 있다.

도 19를 참조하면, 현재 행동과 미래 행동을 추론하는데 걸리는 시간을 10일 기준으로 측정해 보았다. 10일 기준으로 현재행동 2초, 미래행동 0.5초의 시간이 소요되었고, 50일 기준으로 현재 행동 8.4초, 미래 행동 14.25초의 시간을 소요했다. 이를 1년(365일) 기준으로 봤을 때, 대략 현재 행동은 61.32초, 미래 행동은 167.5초의 시간이 소요 될 것으로 보인다. 미래 행동은 데이터가 많아질수록 시간의 폭이 현재 행동보다 커짐을 알 수 있었지만, 본 발명에서 미래 행동은 현재 행동의 한시간 후를 의미 즉, 한 시간의 여유가 있어서 미래 행동을 예측 하는데 충분한 시간이라는 결론을 낼 수 있다.

본 발명에서는 행동 카테고리 베이지안 네트워크를 이용해 현재 상황을 인지 후 연관분석을 통해 사용자가 미래에 하게 될 행동에 대해 예측하는 방법을 제안하였다. 최근 많이 개발되는 웨어러블(Wearable)기기와 연동하여 더욱 다양한 분석이 가능 하다. 아파치 하둡(Apache Hadoop) 시스템에 이러한 추천기법을 접목시켜 방대한 빅 데이터를 처리, 정제, 분석함으로써 빠르고 정확하게 사용자에게 추천할 수 있다.

도 20은 본 발명의 일실시예에 따른 사용자의 행동을 예측하는 과정을 나타낸 순서도이다. 도 20을 참조하면, 라이프로그 수집부(120)는 S202단계에서 스마트폰(110)을 통해 사용자의 라이프로그를 수집한다.

S204단계에서 수집된 라이프로그를 도 3에서와 같은 정제된 라이프로그로 정제한다. S206단계에서 라이프로그 수집부(120)는 스마트폰(110)에 로그데이터에 대하여 일정시간 간격으로 기록한다. S208단계에서 태깅부(130)는 라이프로그 수집부(120)에 의해 수집되는 사용자 라이프로그에 대하여 하루에 한번 자동태깅 시스템을 통해 접속된 스마트폰(110) 사용자의 라이프로그를 생성한다. 도 2에서 보면 라이프로그는 이동활동으로 알 수 있는 정보는 현사용자의 움직임이 이동활동, 청각 활동, 시각 활동, 기록 활동, 말하기 활동으로 현재 핸드폰의 사용 중인 기능에 대해 알수 있다. 이 시스템에서 관심을 갖는 핸드폰의 기능은 노래듣기, 동영상보기, 사진촬영, 전화송수신, 문자메시지 송수신이며, 이중 노래듣기, 동영상보기, 전화송수신은 청각활동에 해당되며, 동영상보기, 사진촬영, 문자메시지 송수신은 시각활동에, 문자메시지 송수신, 사진촬영은 기록활동에, 전화송수신은 말하기활동에 해당된다. 나머지 지속상황, 감지상황, 선택상황, 태그 정보에 대해서는 본 발명에서는 이용하지 않는다.

S210단계에서 베이지안 네트워크(140)는 정제된 라이프로그를 사용자 별로 사용자로그 데이터베이스(150)에 저장시킨다. S212단계에서 베이지안 네트워크(140)는 사용자의 현 행동에 대한 카테고리를 추론한다. S214단계에서 미래예측부(160)는 추론된 행동 카테고리를 이용하여 연관분석을 통해 사용자가 미래에 하게 될 행동을 예측한다. 예컨대, 스마트폰(110)의 위치를 일정 시간 간격으로 추적하여 사용자의 움직임이 정지, 걷기, 뛰기, 차량이동 중인지 알 수 있고, 해당 스마트폰에 구동되는 어플리케이션을 참조하여 해당 스마트폰(110) 사용자가 노래듣기, 동영상보기, 사진촬영, 전화송수신, 문자메시지 송수신 중 어떤 기능을 이용 중인지 알 수 있다. 또한, 추론하는 과정은 전술한 도면을 참조한 설명에 의해 진행될 수 있다.

본 발명의 개념에 따른 실시 예는 다양한 변형을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하였다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 할 것이다.

110 : 스마트폰 120 : 라이프로그 수집부
130 : 태깅부 140 : 베이지안 네트워크
150 : 라이프로그 데이터베이스 160 : 미래예측부

Claims

모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템에 있어서,
모바일에 사용되는 스마트폰으로부터 대표적인 모바일기기인 스마트폰을 통해 사용자의 라이프로그를 수집하고 상기 라이프로그를 정제된 라이프로그로 변환하며 상기 스마트폰에 대한 로그데이터에 대하여 일정시간 간격으로 기록하는 라이프로그 수집부;
상기 라이프로그 수집부에 의해 수집되는 상기 라이프로그에 대하여 하루에 한번 상기 스마트폰 사용자의 라이프로그를 생성하는 태깅부;
상기 정제된 라이프로그를 사용자 별로 저장하는 사용자로그 데이터베이스;
상기 사용자로그 데이터베이스에 저장된 정제된 라이프로그를 사용하여 사용자의 행동 카테고리를 베이즈 정리를 이용하여 예측하고 결과값을 얻는 베이지안 네트워크; 및
상기 베이지안 네트워크를 통해 얻어진 결과값을 이용하여 사용자가 상기 예측된 행동 카테고리 이후 미래 행동을 연관분석을 이용하여 예측하는 미래예측부를 포함하는 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템.
제1항에 있어서, 상기 행동 카테고리는,
이동활동, 청각 활동, 시각 활동, 기록 활동, 말하기 활동으로 구분되며, 상기 스마트폰의 기능 중에서 위치추적은 이동활동에 대응하고, 노래듣기, 동영상보기, 전화송수신은 청각활동에 대응하며, 동영상보기, 사진촬영, 문자메시지 송수신은 시각활동에 대응하고, 문자메시지 송수신, 사진촬영은 기록활동에 대응하며, 전화송수신은 말하기활동에 대응하는 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템.
제1항에 있어서, 상기 베이즈 정리에 의해 구하는 행동 카테고리는,
다음의 수학식에 확률을 구하고 상기 확률이 가장 높은 행동 카테고리를 선택하여 행동을 예측하되,

여기서, E는 어떤 사건이 일어났을 경우를 나타내고,
는 추론 하고 싶은 대상을 의미하며, p는 확률값을 나타내는 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템.
제1항에 있어서, 상기 연관분석은,
행동1(X) 및 행동2(Y)의 지지도(Support), 신뢰도(Confidence) 및 향상도(Lift)에 관한 비율을 구하고 상기 지지도(S), 신뢰도(C) 및 향상도(L)는 각각 다음의 수학식으로 구하며,

여기서, X는 "행동1"이 나오는 라이프로그 수, Y는"행동2"가 나오는 라이프로그 수이고, P(X)는 행동1의 확률, P(Y)는 행동2의 확률을 나타내는 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템.
제2항에 있어서, 상기 행동 카테고리는,
행동과 위치로 카테고리화하여 구분하며,
상기 행동은 수면, 식사, 군것질, 세정, 발표, 치료, 수업, 일상적인 일, 비일상적인 일, 파트타임, 온라인 강의수강, 강의, 공부, 요리, 설거지, 세탁, 옷정리, 청소, 아이템 정리, 자원봉사, 신문, TV, DVD, 구기게임, 운동, 조깅, 산책, 종교활동, 독서, 웹서핑, 온라인 게임, 영화, 영화관, 스포츠 시청, 쇼핑, 테이트, 정지, 걷기, 뛰기, 차량이동, 버스이동, 기차이동 중 선택된 적어도 어느 하나의 행동과,
상기 장소는 집, 학교, 도서관, 병원, 레스토랑, 미용실, 세탁소, 교회, 서점, 마트, 백화점, 카페, 길, 학교운동장, 도심지, 사무실, 공원 중 선택된 적어도 어느 하나의 장소인 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템.
제2항에 있어서, 상기 행동 카테고리는,
행동과 위치로 카테고리화하여 구분하며,
상기 라이프로그 생성 시 사용자로부터 직접 행동 및 위치를 직접 입력받도록 하는 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템.
제2항에 있어서, 상기 행동 카테고리는,
3개의 노드로 구분하여 분석하며, 상기 3개의 노드는 각각 입력노드, 연관노드, 목표노드이고, 상기 입력노드는 상기 연관노드와 상기 목표노드를 추론하기 위한 사건의 사전확률 값이 들어가는 노드이고, 상기 연관노드는 상기 입력노드와 상기 목표노드의 중간에 위치한 노드로써 상기 목표노드와 연관성이 가장 높은 노드를 의미하며, 상기 목표노드는 실체 추론되는 노드를 의미하는 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템.
제3항에 있어서, 상기 베이즈 정리는,
가중치를 곱하여 계산하며, 상기 가중치는, 다음의 수학식으로 구하되,

여기서, α는 기본가중치를 나타내며, ω는 중치를 나타내고, β는 가중치를 나타내는 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 시스템.
모바일 기반 라이프로그를 이용한 사용자 행동 예측 방법에 있어서,
스마트폰으로부터 사용자의 라이프로그를 수집하는 단계;
상기 라이프로그를 정제된 라이프로그로 변환하는 단계;
상기 스마트폰에 대한 로그데이터에 대하여 일정시간 간격으로 기록하는 단계;
상기 라이프로그 수집부에 의해 수집되는 상기 라이프로그에 대하여 하루에 한번 상기 스마트폰 사용자의 라이프로그를 생성하는 단계;
상기 정제된 라이프로그를 사용자 별로 저장하는 단계;
상기 저장된 정제된 라이프로그를 사용하여 사용자의 행동 카테고리를 베이즈 정리를 이용하여 사용자의 행동을 예측한 결과값을 얻는 단계; 및
상기 결과값을 이용하여 사용자가 상기 예측된 행동 카테고리 이후 미래 행동을 연관분석을 이용하여 예측하는 단계를 포함하는 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 방법.
제9항에 있어서, 상기 행동 카테고리는,
이동활동, 청각 활동, 시각 활동, 기록 활동, 말하기 활동으로 구분되며, 상기 스마트폰의 기능 중에서 위치추적은 이동활동에 대응하고, 노래듣기, 동영상보기, 전화송수신은 청각활동에 대응하며, 동영상보기, 사진촬영, 문자메시지 송수신은 시각활동에 대응하고, 문자메시지 송수신, 사진촬영은 기록활동에 대응하며, 전화송수신은 말하기활동에 대응하는 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 방법.
제9항에 있어서, 상기 베이즈 정리에 의해 구하는 행동 카테고리는,
다음의 수학식에 확률을 구하고 상기 확률이 가장 높은 행동 카테고리를 선택하여 행동을 예측하되,

여기서, E는 어떤 사건이 일어났을 경우를 나타내고,
는 추론 하고 싶은 대상을 의미하며, p는 확률값을 나타내는 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 방법.
제9항에 있어서, 상기 연관분석은,
행동1(X) 및 행동2(Y)의 지지도(Support), 신뢰도(Confidence) 및 향상도(Lift)에 관한 비율을 구하고 상기 지지도(S), 신뢰도(C) 및 향상도(L)는 각각 다음의 수학식으로 구하며,

여기서, X는 "행동1"이 나오는 라이프로그 수, Y는"행동2"가 나오는 라이프로그 수이고, P(X)는 행동1의 확률, P(Y)는 행동2의 확률을 나타내는 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 방법.
제10항에 있어서, 상기 행동 카테고리는,
행동과 위치로 카테고리화하여 구분하며,
상기 행동은 수면, 식사, 군것질, 세정, 발표, 치료, 수업, 일상적인 일, 비일상적인 일, 파트타임, 온라인 강의수강, 강의, 공부, 요리, 설거지, 세탁, 옷정리, 청소, 아이템 정리, 자원봉사, 신문, TV, DVD, 구기게임, 운동, 조깅, 산책, 종교활동, 독서, 웹서핑, 온라인 게임, 영화, 영화관, 스포츠 시청, 쇼핑, 테이트, 정지, 걷기, 뛰기, 차량이동, 버스이동, 기차이동 중 선택된 적어도 어느 하나의 행동과,
상기 장소는 집, 학교, 도서관, 병원, 레스토랑, 미용실, 세탁소, 교회, 서점, 마트, 백화점, 카페, 길, 학교운동장, 도심지, 사무실, 공원 중 선택된 적어도 어느 하나의 장소인 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 방법.
제10항에 있어서, 상기 행동 카테고리는,
행동과 위치로 카테고리화하여 구분하며,
상기 라이프로그 생성 시 사용자로부터 직접 행동 및 위치를 직접 입력받도록 하는 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 방법.
제10항에 있어서, 상기 행동 카테고리는,
3개의 노드로 구분하여 분석하며, 상기 3개의 노드는 각각 입력노드, 연관노드, 목표노드이고, 상기 입력노드는 상기 연관노드와 상기 목표노드를 추론하기 위한 사건의 사전확률 값이 들어가는 노드이고, 상기 연관노드는 상기 입력노드와 상기 목표노드의 중간에 위치한 노드로써 상기 목표노드와 연관성이 가장 높은 노드를 의미하며, 상기 목표노드는 실체 추론되는 노드를 의미하는 것인 모바일 기반 라이프로그를 이용한 사용자 행동 예측 방법.
제11항에 있어서, 상기 베이즈 정리는,
가중치를 곱하여 계산하며, 상기 가중치는, 다음의 수학식으로 구하되,

여기서, α는 기본가중치를 나타내며, ω는 중치를 나타내고, β는 가중치를 나타내는 것을 특징으로 하는 모바일 기반 라이프로그를 이용한 사용자 행동 예측 방법.