KR20150069331A - 사용자 라이프 로그 생성 방법 및 시스템 - Google Patents

사용자 라이프 로그 생성 방법 및 시스템 Download PDF

Info

Publication number
KR20150069331A
KR20150069331A KR1020130155618A KR20130155618A KR20150069331A KR 20150069331 A KR20150069331 A KR 20150069331A KR 1020130155618 A KR1020130155618 A KR 1020130155618A KR 20130155618 A KR20130155618 A KR 20130155618A KR 20150069331 A KR20150069331 A KR 20150069331A
Authority
KR
South Korea
Prior art keywords
behavior
log
user
data
life log
Prior art date
Application number
KR1020130155618A
Other languages
English (en)
Inventor
이호동
노요한
유상현
이지현
홍석진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130155618A priority Critical patent/KR20150069331A/ko
Priority to US14/534,832 priority patent/US20150169659A1/en
Publication of KR20150069331A publication Critical patent/KR20150069331A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

사용자 라이프 로그 생성 기술이 개시된다. 일례에 따르면, 다양한 센서에 의해 또는 시스템 동작 이벤트에 의해 생성되는 감지데이터를 단위데이터들로 분리하는 단계, 단위데이터들의 조합으로부터 사용자 행동을 인식하는 단계, 인식된 복수의 사용자 행동을 시계열적으로 연결함으로써 사용자 행동로그를 생성하는 단계, 복수의 사용자 행동로그를 사용자 행동로그들 사이의 연관 관계에 기초하여 계층적으로 구조화함으로써 사용자 라이프 로그를 생성하는 단계를 포함한다.

Description

사용자 라이프 로그 생성 방법 및 시스템{METHOD FOR PROVIDING USER LIFE LOG AND SYSTEM THEREOF}
센서에 의해 획득된 데이터로부터 사용자 행동을 인식하고, 인식된 행동들을 분석하여 행동 패턴을 생성하는 기술과 관련된다.
근래 휴대용 컴퓨팅 장치 및 센서 기술의 발전에 따라, 사용자가 소지하거나 착용하고 있는 장치 내의 센서에 의해 검출된 다양한 감지데이터로부터 사용자의 상황이나 행동을 추론하고 이렇게 추론된 사용자 행동에 기초하여 사용자 맞춤 정보나 서비스를 제공하는 기술이 제안되고 있다. 휴대용 컴퓨팅 장치의 감지데이터를 이용한 사용자 행동 패턴 추론 방식은 기술적으로 다양한 문제들을 포함한다.
사용자가 휴대용 컴퓨팅 장치의 음악 플레이 기능과 같은 특정 기능을 사용할 때마다 감지데이터를 생성할 수 있지만, 사용자에 의해서만 감지데이터가 생성되도록 하면 생성되는 데이터의 양이 너무 적을 수 있다. 그러므로, 휴대용 컴퓨팅 장치가 언제 감지데이터를 생성할 것인가 하는 문제가 있을 수 있다. 일 예로, 만약 하루 24시간 내내 10초마다 주기적으로 센서들이 감지데이터를 생성한다면, 생성되는 감지데이터의 양이 지나치게 많아질 수 있다. 뿐만 아니라, 생성된 감지데이터는 실제로 사용자 행동을 추론할 때 이용될 수 없는 무가치하고 무의미한 "노이즈" 데이터를 포함할 수 있다. 그러므로 원료인 감지데이터로부터 유의미한 감지데이터만을 추출하기 위하여, 감지데이터를 소정 기준에 따라 평균화하거나 군집화하는 전처리 과정이 필요할 수 있다.
그 다음에, 이렇게 전처리된 감지데이터로부터 무엇이 의미있는 사용자 행동인가 하는 문제가 더 존재한다. 예컨대, 감지데이터로부터 앉기, 걷기, 뛰기, 또는 정지 등과 같은 비교적 단순한 사용자 모션을 추론하는 것을, 감지데이터 내의 위치 데이터의 높이, 및 속도를 검토함으로써 이루어질 수 있는 비교적 단순한 분석 과정만이 필요할 수 있다. 그러나, 예컨대 조깅, 등산, 또는 낚시 등과 같이 실제로 사용자에게 의미 있는 행동을 추론하는 것은, 단순히 감지데이터 내의 위치데이터나 속도데이터 만을 이용하여서는 성취되기 어려울 수 있다. 더욱이, 사용자는 음악감상을 하면서 걷다가 휴식하거나 할 수 있지만, 이러한 사용자의 행동은 등산을 하는 도중에 이루어지는 것일 수 있다.
이와 같이, 특정 시점에 감지되는 하나의 또는 한 그룹의 감지데이터가 복수의 행동을 추론하기 위하여 이용될 수 있을 뿐만 아니라, 복수의 행동들은 또한 사용자에 있어 의미 있는 연관 관계를 가질 수 있다.
감지데이터로부터 사용자 행동을 추출하고, 사용자 행동들을 시계열적으로 연결함으로써 사용자 행동로그를 생성하며, 사용자 행동로그들 사이의 연관 관계에 기초하여 계층적으로 구조화한 사용자 라이프 로그를 생성하는 사용자 라이프 로그 생성 방법 및 시스템을 제안한다.
일 양상에 따라 제공되는 사용자 라이프 로그 생성 방법은, 감지데이터를 미리 정의된 조건에 따라 단위데이터들로 분리하는 단계와, 상기 단위데이터들의 배열들로부터 복수의 사용자 행동을 인식하는 단계와, 상기 복수의 사용자 행동을 시계열적으로 연결하여 사용자 행동로그를 생성하는 단계와, 상기 생성된 사용자 행동로그를 사용자 행동로그들 사이의 연관 관계에 기초하여 계층적으로 구조화하여 사용자 라이프 로그를 생성하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 감지데이터는, 소정 시간간격마다 주기적으로 또는 미리 정의된 이벤트가 발생할 때마다 감지되어 수집될 수 있다.
다른 실시예에 있어서, 상기 행동을 인식하는 단계는, 상기 단위데이터들을 디스크립션 로직(description logic)을 이용하여 각 단위데이터의 의미적 관계에 따라 하나 이상의 단위데이터 배열로 조합하는 단계와, 미리 정의된 행동 조건과 상기 단위데이터 배열을 비교하여 부합하는 경우, 부합하는 상기 단위데이터 배열을 상기 미리 정의된 행동 조건에 대응하는 행동으로서 인식하는 단계를 포함할 수 있다.
또 다른 실시예에 있어서, 상기 행동로그를 생성하는 단계는, 상기 행동들을 디스크립션 로직을 이용하여 각 행동의 의미적 관계에 따라 하나 이상의 행동 배열로 조합하는 단계와, 미리 정의된 행동로그 조건과 상기 행동 배열을 비교하여 부합하는 경우, 부합하는 상기 행동 배열을 상기 미리 정의된 행동로그 조건에 대응하는 행동로그로서 인식하는 단계를 포함할 수 있다.
또 다른 실시예에 있어서, 상기 라이프 로그를 생성하는 단계는, 상기 행동로그들을 디스크립션 로직을 이용하여 각 행동로그의 의미적 관계에 따라 하나 이상의 행동로그 배열로 조합하는 단계와, 미리 정의된 라이프 로그 조건과 상기 행동로그 배열을 비교하여 부합하는 경우, 부합하는 상기 행동로그 배열을 상기 미리 정의된 라이프 로그 조건에 대응하는 라이프 로그로서 인식하는 단계를 포함할 수 있다.
또 다른 실시예에 있어서, 상기 라이프 로그에 포함된 데이터를 미리 정의된 일과 요약 템플릿을 이용하여 추가 가공하는 단계를 더 포함할 수 있다.
또 다른 실시예에 있어서, 템플릿 기반의 자연언어 생성 기술을 이용하여 상기 라이프 로그에 대한 자연 언어 요약을 생성하는 단계를 더 포함할 수 있다.
그리고, 또 다른 실시예에 있어서, 상기 라이프 로그에 날씨 정보, 통화 기록 및 소셜 네트워크 서비스(SNS) 활동 정보 중 적어도 하나의 데이터를 추가하여 일기 데이터를 생성하는 단계; 및 상기 생성된 일기 데이터로부터 자연언어로 기술된 일기를 생성하는 단계를 더 포함할 수 있다.
다른 양상에 따라 제공되는 사용자 라이프 로그 생성 시스템은, 감지데이터를 생성하는 감지부; 상기 감지데이터를 미리 정의된 조건에 따라 단위데이터들로 분리하는 전처리부; 상기 단위데이터들의 배열들로부터 사용자 행동을 인식하는 행동 인식부; 상기 행동 인식부에 의해 인식된 복수의 사용자 행동을 시계열적으로 연결함으로써 사용자 행동로그를 생성하는 행동로그 생성부; 및 상기 행동로그 생성부에 의해 생성된 복수의 사용자 행동로그를 사용자 행동로그들 사이의 연관 관계에 기초하여 계층적으로 구조화함으로써 사용자 라이프 로그를 생성하는 라이프 로그 생성부를 포함할 수 있다.
일 실시예에 있어서, 상기 감지부는, 소정 시간간격마다 주기적으로 감지데이터를 생성하거나, 또는 미리 정의된 이벤트가 발생할 때마다 감지데이터를 생성할 수 있다.
다른 실시예에 있어서, 상기 행동 인식부는, 상기 단위데이터들을 디스크립션 로직을 이용하여 각 단위데이터의 의미적 관계에 따라 하나 이상의 단위데이터 배열로 조합하며, 미리 정의된 행동 조건과 상기 단위데이터 배열을 비교하여 부합하는 경우, 부합하는 상기 단위데이터 배열을 상기 미리 정의된 행동 조건에 대응하는 행동으로서 인식하는 추론엔진을 포함할 수 있다.
또 다른 실시예에 있어서, 상기 행동로그 생성부는, 상기 행동들을 디스크립션 로직을 이용하여 각 행동의 의미적 관계에 따라 하나 이상의 행동 배열로 조합하고, 미리 정의된 행동로그 조건과 상기 행동 배열을 비교하여 부합하는 경우, 부합하는 상기 행동 배열을 상기 미리 정의된 행동로그 조건에 대응하는 행동로그로서 인식하는 추론엔진을 포함할 수 있다.
또 다른 실시예에 있어서, 상기 라이프 로그 생성부는, 상기 행동로그들을 디스크립션 로직을 이용하여 각 행동로그의 의미적 관계에 따라 하나 이상의 행동로그 배열로 조합하고, 미리 정의된 라이프 로그 조건과 상기 행동로그 배열을 비교하여 부합하는 경우, 부합하는 상기 행동로그 배열을 상기 미리 정의된 라이프 로그 조건에 대응하는 라이프 로그로서 인식하는 추론엔진을 포함할 수 있다.
또 다른 실시예에 있어서, 상기 라이프 로그 생성부에서 생성된 라이프 로그를 이용하여 추가로 가공하여 사용자의 휴대용 컴퓨팅 장치에서 출력되도록 제공하는 라이프 로그 서비스부를 더 포함할 수 있다.
또 다른 실시예에 있어서, 상기 라이프 로그 서비스부는, 상기 라이프 로그에 포함된 데이터를 미리 정의된 일과 요약 템플릿을 이용하여 추가 가공하는 서비스; 템플릿 기반의 자연언어 생성 기술을 이용하여 상기 라이프 로그에 대한 자연 언어 요약을 생성하는 서비스; 상기 라이프 로그에 날씨 정보, 통화 기록, SNS 활동 정보 중 적어도 하나의 데이터를 추가하여 일기 데이터를 생성하고, 상기 일기 데이터로부터 템플릿 기반의 자연언어 생성 기술을 이용하여 자연언어로 기술된 일기를 생성하는 서비스 중 적어도 하나의 서비스를 제공할 수 있다.
감지데이터로부터 사용자 행동을 추출하고, 사용자 행동들을 시계열적으로 연결함으로써 사용자 행동로그를 생성하며, 사용자 행동로그들 사이의 연관 관계에 기초하여 계층적으로 구조화한 사용자 라이프 로그를 생성함으로써, 사용자의 일상에서 의미 있는 정보를 사용자에게 제공하고 관련 서비스에 이용할 수 있도록 하는, 사용자 라이프 로그 생성 방법 및 시스템을 구현할 수 있는 효과가 있다.
도 1은 사용자 라이프 로그 생성 방법의 일례를 나타낸 흐름도,
도 2는 사용자 라이프 로그 생성 시스템의 일례를 나타낸 블록도,
도 3은 일 실시예에 따른 사용자 라이프 로그 생성 시스템에서, 사용자의 행동을 인식하기 위한 행동 조건을 예시한 도면,
도 4는 사용자 라이프 로그 생성 시스템에서, 복수의 행동을 시계열적으로 연결한 행동로그 및 복수의 행동로그들을 계층적으로 구조화한 라이프 로그를 예시한 도면,
도 5는 도 4의 라이프 로그를 스프레드시트 형식으로 예시한 도면,
도 6은 도 4의 라이프 로그를 지도에 표시한 형식으로 예시한 도면,
도 7은 도 5의 라이프 로그 테이블 내의 데이터를 사용자에게 제공하기 위한 일과요약 템플릿을 예시한 도면.
도 8a는 도 7의 일과 요약 템플릿을 이용하여 각각의 행동에 대한 요약 정보를 표시한 사용자 장치의 디스플레이를 예시한 도면,
도 8b는 도 8a의 디스플레이로부터 더 상세하게 각각의 행동에 대한 요약 정보를 표시한 사용자 장치의 디스플레이를 예시한 도면이다.
이하에서는 첨부한 도면을 참조하여 실시예를 상세히 설명한다. 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 명세서에서 설명하는 기술에서 각각의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 실질적으로 그 정의는 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
아래에서 실시예에 따른 사용자 라이프 로그 생성 방법 및 시스템이 도면들을 참조하여 구체적인 예시로서 기술된다.
실시예에 따른 사용자 라이프 로그 생성 시스템 및 방법은 휴대용 컴퓨팅 장치에 의해 구현될 수 있다. 여기서, 휴대용 컴퓨팅 장치에는 사용자가 소지하거나 착용할 수 있는 장치로서, 예컨대, 셀룰러폰, 스마트폰, 스마트패드, 스마트워치, 스마트글래스, 타블렛, 넷북, 노트북 등과 같은 다양한 장치가 포함될 수 있다. 이들 휴대용 컴퓨팅 장치는, 카메라, 타이머, 가속도 센서, 관성 센서, 고도계, GPS와 같은 위치추적장치 등의 다양한 센서들을 구비할 수 있다. 이들 센서들은 휴대용 컴퓨팅 장치의 위치, 속도 등의 다양한 감지데이터를 획득할 수 있는데, 이들 감지데이터는 결과적으로 휴대용 컴퓨팅 장치를 소지하고 있는 사용자의 상태를 추론할 수 있게 하는 원료 데이터로서 활용될 수 있다.
또한 휴대용 컴퓨팅 장치는 메모리 및 프로세서를 포함할 수 있다. 메모리는 내장된 센서들로부터의 다양한 감지데이터를 분석, 결합, 구조화, 및/또는 사용자 행동 등을 추론할 수 있는 프로세스들을 구현한 소프트웨어 프로그램, 루틴, 모듈, 및/또는 인스트럭션(instructions)을 저장할 수 있다. 프로세서는 이들 소프트웨어 프로그램, 루틴, 모듈, 및/또는 인스트럭션을 메모리로부터 판독하고 실행시킴으로써 데이터 분석, 결합, 구조화, 및/또는 추론 등의 프로세스를 구현할 수 있다.
실시예에 대한 설명 중에 다양한 기능들을 수행하는 컴포넌트, 서브 컴포넌트, 부분 등이 등장한다. 이들 컴포넌트, 서브 컴포넌트, 부분 각각은 휴대용 컴퓨팅 장치의 프로세서, 센서, 애플리케이션 형태로 설치된 소프트웨어 프로그램, 메모리 내에 저장되어 있는 데이터베이스 또는 데이터 중 어느 하나에 의해 수행할 수 있거나 또는 둘 이상이 함께 협력하여 수행할 수 있는 기능을 나타내는 것일 수 있다. 이들 컴포넌트, 서브 컴포넌트, 부분, 유닛 각각은 특정 기능을 수행하도록 제조된 회로를 포함하는 하드웨어로서 구성될 수도 있고, 컴퓨터 프로세서에 의해 수행됨으로써 소정의 기능을 수행하도록 하는 소프트웨어로서 구현될 수 있으며, 또는 하드웨어와 소프트웨어의 조합으로 이루어질 수도 있다.
도 1을 참조하여 실시예에 따른 사용자 라이프 로그 생성 방법을 설명한다.
도 1은 일 실시예에 따른 사용자 라이프 로그 생성 방법(100)의 일예를 나타낸 흐름도이다.
실시예에 따른 사용자 라이프 로그 생성 방법(100)은, 스마트폰과 같이 사용자가 소지하고 있는 휴대용 컴퓨팅 장치 내에 포함된 각종 센서들, 메모리, 및 프로세서가 협력하여 수행할 수 있는 소프트웨어 프로그램 또는 컴퓨터 수행가능 인스트럭션으로서 구현될 수 있다.
먼저, 예컨대 스마트폰에 내장된 센서들에 의해 감지데이터가 생성될 수 있다(110).
이후 감지데이터는 특정 시간과 위치에서 일정하게 동일 유사한 성질을 가지는 단위데이터들로 분류 및/또는 분리될 수 있다(130). 각각의 단위데이터는 특정 시간과 위치에서의 사용자의 속도, 고도 등의 데이터를 포함할 수 있다.
단위데이터들은, 추론엔진에 의해 디스크립션 로직을 이용하여 각 데이터들의 의미적 연관 관계에 따라, 하나 이상의 단위데이터 배열로 조합될 수 있다. 이러한 단위데이터들의 배열들은, 미리 정의된 행동 조건 DB에 저장되어 있는 행동 조건과 비교됨으로써, 개별 행동이 인식될 수 있다(150). 행동 조건은, 추론엔진에 의해, 디스크립션 로직을 이용하여 각 데이터들의 의미적 연관 관계에 따라 미리 한정되어 저장된다.
인식된 행동들은, 추론엔진에 의해, 디스크립션 로직을 이용하여 각 데이터들의 의미적 연관 관계에 따라, 하나 이상의 행동 배열로 조합될 수 있다. 이러한 행동들의 배열들은, 미리 정의된 행동로그 조건 DB에 저장되어 있는 행동로그 조건과 비교됨으로써, 개별 행동로그가 인식될 수 있다(170). 행동로그 조건은, 추론엔진에 의해, 디스크립션 로직을 이용하여 각 데이터들의 의미적 연관 관계에 따라 미리 한정되어 저장된다.
인식된 행동로그들은, 추론엔진에 의해, 디스크립션 로직을 이용하여 각 데이터들의 의미적 연관 관계에 따라, 계층적으로 구조화된 하나 이상의 행동로그 배열로 조합될 수 있다. 이러한 행동로그들의 배열들은, 미리 정의된 라이프 로그 조건 DB에 저장되어 있는 라이프 로그 조건과 비교됨으로써, 개별 라이프 로그가 인식될 수 있다(190). 라이프 로그 조건은, 추론엔진에 의해, 디스크립션 로직을 이용하여 각 데이터들의 의미적 연관 관계에 따라 미리 한정되어 저장된다.
생성된 라이프 로그는, 후속적으로, 추가 가공되거나 다른 유용한 정보를 생성하기 위한 기초 자료로서 이용될 수 있다.
실시예에 따라, 라이프 로그에 포함된 데이터를 미리 정의된 일과 요약 템플릿을 이용하여 추가 가공할 수 있다. 또한 템플릿 기반의 자연언어 생성 기술을 이용하여 상기 라이프 로그에 대한 자연 언어 요약을 생성할 수 있다. 더 나아가 라이프 로그에 날씨 정보, 통화 기록, 소셜 네트워크 서비스(SNS) 활동 정보 중 적어도 하나의 데이터를 추가하여 일기 데이터를 생성하고, 일기 데이터로부터 템플릿 기반의 자연언어 생성 기술을 이용하여 자연언어로 기술된 일기를 생성할 수 있다.
그 외에도, 라이프 로그에 기반하여 다양한 서비스가 가능하다. 예를 들어, 라이프 로그에 기초하여 자동으로 소정 시간기간 동안의 행동 계획표를 작성할 수 있다. 라이프 로그에 포함된 행동의 운동량을 계산하고 계산된 운동량에 기초하여 자동으로 소정 시간기간 동안의 운동 계획표를 작성할 수 있다. 라이프 로그에 포함된 행동의 빈도를 검출하고 자주 수행하는 행동에 기초하여 자동으로 소정 시간기간 동안의 추천 행동을 작성할 수 있다. 그리고, 라이프 로그에 포함된 행동을 연관된 시간, 위치와 함께 저장하고, 특정 위치와 연관된 과거의 행동들의 기록을 작성할 수 있다.
상술한 실시예에 따르면, 스마트폰, 스마트패드, 스마트워치 등의 스마트기기에 이미 장착되어 있는 각종 센서, 사용자 입력장치, 통신 기능을 통해 획득할 수 있는 다양한 사용자 일상 관련 데이터를 이용하여, 사용자의 일상 행동을 감지하고 인식하며 구조화된 의미있는 정보의 로그를 생성할 수 있다. 더 나아가, 이러한 로그를 이용하여 다른 유용한 정보를 생성할 수 있고, 사용자를 위한 일상 행동의 계획을 짤 수 있으며, 사용자에게 유용한 행동을 추천할 수도 있다.
도 2는 사용자 라이프 로그 생성 시스템의 일례를 나타낸 블록도이다.
도 2를 참조하면, 사용자 라이프 로그 생성 시스템(200)은 감지부(210), 전처리부(220), 행동 인식부(230), 행동 조건DB(데이터베이스)(240), 행동로그 생성부(250), 행동로그 조건DB(260), 라이프 로그 생성부(270), 라이프 로그 조건DB(280), 라이프 로그 서비스부(290), 및 템플릿 DB(295) 등의 컴포넌트들을 포함할 수 있다.
감지부(210)는 감지데이터를 생성하는 컴포넌트이다. 감지부(210)에는 다양한 하드웨어 센서들이 포함될 수 있다. 감지부(210)의 센서들은 센서들이 설치되어 있는 장치의 내부 및/또는 외부로부터 시간, 거리, 속도, 위치, 냄새, 온도, 습도, 소리, 이미지, 동영상, 텍스트, 이벤트 정보 등의 다양한 형태의 데이터를 획득할 수 있다.
도시된 예에서, 감지부(210)는 센서(GPS), 카메라, 마이크로폰, 타이머, 냄새와 연관된 화학물질을 감지하는 냄새 감지부, 이벤트 감지부 등의 서브 컴포넌트를 포함할 수 있다. 이들 서브 컴포넌트들은 하나 이상의 센서 부분과 이들 센서로부터의 데이터를 분석하여 소정의 감지데이터를 생성할 수 있는 프로세싱 부분을 포함할 수 있다.
예컨대, 위치변화 감지부는 센서의 높이를 감지할 수 있는 고도계, 경도 및 위도의 형태로 위치를 감지할 수 있는 위치추적장치(GPS), 추적된 위치가 어떤 장소에 있는지를 알 수 있는 맵(지도) 데이터, 시간에 따른 위치변화 즉 속도를 계산하기 위한 타이머 및 프로세싱 알고리즘 등의 부분들을 포함하여 구성될 수 있다. 위치변화 감지부에서는 이러한 센서들에 의해 획득된 감지데이터를 프로세싱하여, 그 결과 감지된 위치변화를 나타내는 감지데이터를 생성할 수 있다.
GPS는 위치를 감지하는 서브 컴포넌트이다. 일반적으로 GPS(global positioning system) 수신기는 위치를 위도와 경도로서 표시한 위치정보를 GPS 위성으로 수신하여 감지하지만, 도시된 예에서 GPS는 맵 정보를 참조하여 감지된 위치가 어떤 장소인지를 감지할 수 있는 기능이 부가될 수 있다. 예컨대, GPS는 감지된 위치가 산, 바다, 강, 도로, 저수지 등과 같이 특정 장소라는 것을 알 수 있도록 맵 정보와 연관될 수 있다.
카메라는 전방의 물체나 환경에 대한 이미지 데이터 또는 동영상 데이터를 생성할 수 있는 서브 컴포넌트이다. 여기서, 카메라는 촬영을 위한 하드웨어 카메라뿐만 아니라 카메라를 구동하는 애플리케이션을 포함할 수 있고, 더 나아가 카메라에 의해 촬영된 이미지나 동영상을 분석하여 오브젝트를 식별하는 영상 분석 프로그램과 연동하는 예도 가능하다.
마이크로폰은 사용자의 음성 또는 주위 환경의 음향에 관련된 데이터를 획득할 수 있다. 여기서, 마이크로폰은 사운드를 입력하는 하드웨어 마이크로폰뿐만 아니라, 입력된 사운드가 미리 지정된 정보를 가진 사운드인지 여부를 식별할 수 있는 기능과 연동될 수 있다.
타이머는 통상적으로 프로세서 내부에 내장되어 있는 클록 발생 장치일 수 있으며, 시계 기능을 수행하는 애플리케이션일 수도 있고, 이 밖에 시간을 카운트할 수 있는 장치라면 제한없이 적용할 수 있다.
냄새 감지부는 음식과 관련한 특이한 냄새를 감지하기 위한 부분일 수 있다. 예컨대, 특정 음식과 관련하여 미리 한정되어 있는 특정 화학물질이 어느 정도의 농도로 공기 중에 존재하는지를 감지함으로써 냄새를 감지할 수 있다.
이벤트 감지부는 예컨대 휴대용 컴퓨팅 장치의 터치스크린 또는 기타 다른 입력 버튼을 통하여 사용자가 예컨대 음악 플레이 기능과 같은 특정 기능을 시작하거나 종료하는 것과 같은 이벤트를 자동으로 감지할 수 있다. 이벤트 감지부는, 휴대용 컴퓨팅 장치가 전화 기능을 가지고 있을 때, 사용자가 전화 기능을 이용하는 것 즉 통화 시작 또는 종료 이벤트를 포함할 수 있다. 또한 이벤트 감지부는 사용자가 휴대용 컴퓨팅 장치의 무선 인터넷 연결 기능과 같은 통신기능을 통해 트위터와 같은 SNS에 접속하여 메시지를 남겼을 때, 그러한 SNS 활동 이벤트 및 그 활동과 연관된 정보를 자동으로 검출할 수 있다.
또한 이벤트 감지부는 사용자에 의해 이벤트가 감지되도록 할 수도 있다. 예컨대 휴대용 컴퓨팅 장치의 터치스크린이나 마이크로폰을 통하여 사용자가 특정 이벤트를 입력하거나 특정 이벤트를 감지하도록 하는 명령을 입력함으로써, 이벤트 감지부로 하여금 사용자가 지정한 특정한 이벤트를 감지하도록 할 수 있다.
상술한 감지부(110)의 서브 컴포넌트들은 오로지 예시 목적으로 제안된 것이며, 실시예가 도시된 구성으로만 제한된다는 의미로 해석될 필요가 없다는 점은 자명하다. 예컨대 감지부(110)는 한편으로 온도, 습도 등과 같은 기타 다른 데이터를 검출하는 센서들을 더 구비할 수 있으며, 다른 한편으로 상술한 예에 있는 것보다 더 적은 수의 서브 컴포넌트들만을 구비할 수도 있다.
감지부(210)는 소정 시간간격마다 주기적으로 감지데이터를 생성할 수 있다. 이 경우, 감지부(210)는 사용자의 의도와는 상관없이 예컨대 하루 24시간 동안 매 1분마다 또는 매 10초마다 위치, 속도, 고도, 온도, 습도, 냄새, 이미지 등의 감지데이터를 모두 또는 일부만을 검출할 수 있다. 감지부(210)는 감지데이터의 생성 시작 및 생성 종료를 사용자가 제어할 수 있도록 하는 것도 가능하고, 미리 정의된 이벤트가 발생할 때마다 감지데이터를 생성할 수 있다. 예컨대, 사용자가 지정한 영역 내로 진입하는 이벤트가 발생하면, 감지데이터가 생성되고, 그 영역에서 벗어나면 감지데이터의 생성이 중단될 수 있다.
전처리부(220)는 감지부(210)에서 생성된 감지데이터로부터 노이즈를 제거하는 전처리를 수행할 수 있다. 또한 전처리부(220)는 감지부(210)에서 생성한 감지데이터를 분석하고 가공하여 행동 인식부(230)와 같은 후속 컴포넌트에서 이용할 수 있는 유용한 형태의 단위데이터로 분리 또는 분류할 수 있다. 각각의 단위데이터는 특정 시간과 위치에서의 사용자의 속도, 고도 등의 데이터를 포함할 수 있다.
행동 인식부(230)는 감지부(210)와 전처리부(220)에 의해 제공되는 감지데이터의 단위데이터들을 조합하여 사용자 행동을 인식하는 추론엔진을 포함하는 컴포넌트이다. 행동 인식부(230)에서 인식하는 "행동"은, 단위데이터들의 어떤 조합이, 행동 조건 DB(240)에 미리 한정되어 저장되어 있는 조건으로서 규정되어 있는 조합과 비교됨으로써 결정될 수 있다. 다시 말해서, 행동 인식부(230)는 단위데이터들을, 그 데이터들의 의미적 연관 관계에 따라, 하나 이상의 단위데이터 배열로 조합한다. 이러한 단위데이터들의 배열들은, 미리 정의된 행동 조건 DB(240)에 저장되어 있는 행동 조건과 비교됨으로써, 개별 행동이 인식된다.
이 경우, 행동 조건DB(240)에 규정되어 있는 "조건"은, 하나 이상의 단위데이터가 디스크립션 로직(description logic, DL)을 이용하여 각 단위데이터의 의미적 관계에 따라 조합되어 미리 정의된 것이다.
일반적으로 디스크립션 로직은, 온톨로지(Ontology), 시멘틱 웹(Semantic Web), 인공지능(artificial intelligence), 지식 공학(knowledge engineering) 분야에서 발전하고 있는 툴이다. 디스크립션 로직은 Tbox(terminological box), Abox(assertional box)라고 알려져 있는 규칙을 사용하여 객체들의 수평적 관계 및 계층적 상하위 관계를 의미론적으로 파악하고 분석할 수 있게 한다.
실시예에 따라, 감지데이터는 속도, 고도, 위치 등과 같은 의미를 가질 수 있다. 이들 감지데이터의 조합으로 사용자의 행동을 나타낼 수 있으며, 사용자의 행동은 예컨대 걷기, 조깅, 등산 등과 같은 의미를 나타낼 수 있다.
이와 같이, 행동 조건 DB(240)는, 속도, 고도, 위치, 모션 등과 같은 의미를 가지는 감지데이터를 조합하여 걷기, 조깅, 등산, 쇼핑, 운전, 지하철을 이용한 이동, 낚시, 식사, 넘어짐, 교통사고 등과 같은 의미를 가지는 행동을 규정하는 조건들을 포함할 수 있다.
도 3은 일 실시예에 따른 사용자 라이프 로그 생성 시스템에서, 사용자의 행동을 인식하기 위한 행동 조건을 예시한 도면이다.
도 3을 참조하면, 행동 조건 DB(240)는 행동 필드(311) 및 조건 필드(312)를 가지는 레코드(310)의 형태로 도시된 테이블로서 예시되어 있다.
행동 필드(311)는 사용자의 행동을 규정하며, 도시된 예에서 걷기, 조깅, 등산, 쇼핑, 운전, 지하철을 이용한 이동, 낚시, 식사, 넘어짐, 교통사고가 표시되어 있다. 이러한 행동은 특정 센서 또는 센서들 집합에 의해 직접적으로 검출될 수 없다. 그러므로 센서에 의해 검출된 데이터로부터 추론되어야 한다.
조건 필드(312)는 행동 필드(311)의 행동을 추론하기 위한 단위데이터의 조합이 규정될 수 있다. 도시된 예에서, 걷기 행동에 대응하여 속도(3, 6)이라는 감지데이터의 단위데이터가 표시되어 있다. 이것은 최소값 3에서부터 최대값 6까지의 속도 범위 내에서 속도가 변동되는 경우 사용자가 걷고 있다고 판단할 수 있다고 해석될 수 있다. 그 아래에 조깅 행동에 대응하여 속도(6, 10)이라는 감지데이터의 단위데이터가 조건으로서 표시되어 있다. 등산이라는 행동에는 조건으로서 속도(1, 10)과 위치(산)이 기호 ^로 결합되어 있는데, 이 기호 ^ 는 교집합을 의미한다.
실시예에 따라, 각각의 조건에 규정된 하나의 이상의 단위데이터의 조합을 그대로 비교함으로써 행동이 추론될 수 있다. 대안적으로, 단위데이터의 조합으로부터 추론엔진(inference engine)에 의해 행동이 인식될 수 있다.
추론엔진은 원료인 단위데이터 조합에 정확히 대응하는 행동이 존재하지 않는 경우라도 일정한 범위에서 유추함으로써 해답 즉 특정 행동을 결정할 수 있게 하는 툴이다. 추론엔진은 통상적으로 소프트웨어 프로그램으로서 구현될 수 있다.
다시 도 2로 돌아오면, 행동 인식부(230)에 의해 인식된 사용자 행동들은 행동로그 생성부(250)에 의해 행동로그로서 생성될 수 있다. 행동로그는 복수의 행동들이 선형적으로 즉 시계열적으로 연결된 것을 의미한다.
인식된 행동들은, 행동로그 생성부(250)의 추론엔진에 의해, 디스크립션 로직을 이용하여 각 데이터들의 의미적 연관 관계에 따라, 하나 이상의 행동 배열로 조합될 수 있다. 이러한 행동들의 배열들은, 미리 정의된 행동로그 조건 DB(260)에 저장되어 있는 행동로그 조건과 비교됨으로써, 개별 행동로그가 인식될 수 있다.
다시 말해서, 행동로그 생성부(250)는 행동로그 조건 DB(260)에 미리 규정되어 저장되어 있는 조건에 따라, 복수의 행동들을 시계열적으로 연결시킬 수 있다. 이때, 행동로그 조건 DB(260)에 규정되어 있는 조건은 디스크립션 로직을 이용하여 각 행동들의 의미적 관계에 따라 한정될 수 있다. 그리고 복수의 행동들을 시계열적으로 연결시키는 동작은 추론엔진에 의해 이루어질 수 있다.
행동로그 조건 DB(260)에 포함되는 행동로그 조건은, 행동 인식부(230)에서 인식된 행동들 중에서, 시계열적으로 순차적으로 연결될 수 있으면서 서로 의미적으로 연관되어 있는 행동들을 하나의 로그 내에 포함시키도록 규정될 수 있다. 예를 들어, '등산'이라는 행동은 그 시간적인 전후에 집에서 산 입구까지의 이동과 관련된 행동(예컨대, 버스이동 또는 지하철이동)이 연결될 수 있다. 다른 예를 들어, '걷기' 행동, '휴식' 행동, '뛰기 행동' 등은, 사용자가 어떤 목적지를 향해 이동하고 있다는 등의, 시계열적으로 연결된 의미를 가질 수 있다. 또 다른 예를 들어, '간식'행동, '식사' 행동, '음악감상' 행동 등은 그 외 다른 행동들과 동시에 이루어질 수 있는 별도의 의미를 가질 수 있다.
라이프 로그 생성부(270)는, 행동로그 생성부(250)에 의해 생성된 복수의 사용자 행동로그를 사용자 행동로그들 사이의 연관 관계에 기초하여 계층적으로 구조화하는 컴포넌트이다. 라이프 로그 생성부(270)에 의해 사용자의 라이프 로그가 생성될 수 있다.
즉 행동로그들은, 라이프 로그 생성부(270)의 추론엔진에 의해, 디스크립션 로직을 이용하여 각 데이터들의 의미적 연관 관계에 따라, 계층적으로 구조화된 하나 이상의 행동로그 배열로 조합될 수 있다. 이러한 행동로그들의 배열들은, 미리 정의된 라이프 로그 조건 DB(280)에 저장되어 있는 라이프 로그 조건과 비교됨으로써, 개별 라이프 로그가 인식될 수 있다).
라이프 로그는 행동로그들을 계층적으로 구조화한 것이다. 예를 들어, 사용자가 등산이라는 행동을 한다고 가정하자. 사용자는 등산 중에 걷거나 뛰거나 휴식할 수 있으며, 식사를 할 수도 있고, 음악감상을 할 수도 있다. 이와 같이 사용자는 동시에 다양한 행동을 할 수 있다. 이러한 다양한 행동들은 의미적으로 계층적인 상하위적 관계를 가질 수 있다. 그러므로, 사용자의 행동들은 행동들 사이의 수평적 의미 관계에 따라 시계열적으로 연결시킬 수 있을 뿐만 아니라, 행동들 사이의 계층적 의미 관계에 따라 계층적으로 구조화할 수 있다.
실시예에 따른 라이프 로그는 행동로그들을 라이프 로그 조건DB(280)에 미리 한정되어 저장되어 있는 라이프 로그 조건에 따라 생성될 수 있다. 라이프 로그 조건은 디스크립션 로직을 이용하여 각 행동로그들의 계층적 의미 관계에 따라 행동로그들을 구조화하는 규칙을 한정할 수 있다.
라이프 로그 생성부(270)는 행동로그 생성부(250)에 의해 생성된 행동로그들을 라이프 로그 조건DB(280)에 저장되어 있는 한 라이프 로그 조건과 비교하여 구조화된 라이프 로그를 생성하는 추론엔진을 포함할 수 있다.
도 4 내지 도 6은 라이프 로그 생성부(270)에 의해 생성된 라이프 로그의 구체적인 예를 도시한다. 이 구체적인 예에서, 라이프 로그는 3개의 행동로그를 포함하지만, 실시예가 이러한 3개의 행동로그만을 포함하는 것으로 제한되는 것이 아니다. 예컨대 라이프 로그는 더 적은 수의 행동로그를 포함할 수 있고, 더 많은 수의 행동로그를 포함할 수도 있다.
도 4는 사용자 라이프 로그 생성 시스템에서, 복수의 행동을 시계열적으로 연결한 행동로그 및 복수의 행동로그들을 계층적으로 구조화한 라이프 로그를 예시한 도면이다.
도 4를 참조하면, 도시된 라이프 로그(400)는 시간축(410)과 위치축(430) 사이에 3개의 행동로그, 즉 행동로그1(450), 행동로그2(470), 행동로그3(490)을 포함한다. 시간축(410)은 시간을 표시하며 위치축(430)은 시간에 따라 사용자의 행동이 발생한 장소(위치)를 표시한다.
행동로그1(450)은 등산 행동 및 이에 연계된 버스이동 행동을 포함하는 행동로그이다. 이 행동로그1(450)에 따르면, 07시에서 08시 사이에는 버스 정류장일 수 있는 포인트0(P0)에서부터 등산이 시작되는 지점인 포인트1(P1)까지 버스로 이동한다. 이후, 08시에서 15시까지, 포인트1(P1)에서 포인트8(P8)까지 걷거나 휴식하는 행동을 포함하는 등산을 하였음을 알 수 있다. 즉, 포인트1(P1)에서부터 등산이 시작된다. 사용자는 포인트1(P1)에서 시작하여 산사일 수 있는 포인트2(P2)에 도착한다. 사용자는 포인트2(P2)에서 잠시 휴식 후, 포인트3(P3)를 경유하여, 등산로 중 최고 높은 지점일 수 있는 포인트4(P4)까지 걸어간다. 포인트4(P4)에서 잠시 휴식 후, 사용자는 경치가 좋은 지점일 수 있는 포인트5(P5) 및 포인트6(P6)을 경유하여 유명한 사찰일 수 있는 포인트7(P7)까지 걸어간다. 포인트7(P7)에서 점심식사를 하고, 마지막으로 종료 지점인 포인트8(P8)에 도착한다..
한편, 행동로그2(470)는 걷기 행동 및 휴식 행동이 시계열적으로 반복되어 있는 행동로그이다. 행동로그2(470)는 사용자가 등산 중에 언제 어디에서 걸었고 언제 어디에서 휴식하였는지를 나타낼 수 있다. 또한 행동로그3(490)은 사용자가 등산 중 간식을 먹거나 식사한 시간 및 위치와 등산 중 음악감상을 하였던 시간 및 위치를 보여준다.
도 5는 도 4의 라이프 로그를 스프레드시트 형식으로 예시한 도면이다. 도 4가 직관적으로 쉽게 이해할 수 있는 도표 형식이었다면, 도 5의 스프레드시트 형식은 구체적인 데이터 내용을 정리한 테이블 형식이라고 할 수 있다. 도 5의 라이프 로그 형태는 사용자를 위한 데이터 형식이라기 보다는 다른 용도를 위한 라이프 로그의 데이터를 이용하기 위한 데이터 형식이라고 할 수 있다.
도 5를 참조하면, 라이프 로그(500)는 각각의 레코드(510)가 행동로그 필드(520) 및 각 행동의 시작점 필드(530)와 종료점 필드(540)를 포함할 수 있다.
행동로그 필드(520)는 3개의 하위 행동로그 필드(521, 522, 523)을 포함한다. 행동로그1(521)은 도 4의 행동로그1(450)에, 행동로그2(522)는 도 4의 행동로그1(470)에, 행동로그3(523)은 도 4의 행동로그3(490)에 각각 대응된다. 시작점 필드(530)는 시작점의 시각을 나타내는 시간필드(531) 및 시작점의 위치를 나타내는 위치필드(532)를 포함할 수 있다. 마찬가지로, 종료점 필드(540)도 종료점의 시각을 나타내는 시간필드(541) 및 종료점의 위치를 나타내는 위치필드(542)를 포함할 수 있다.
도 6은 도 4의 라이프 로그를 지도에 표시한 형식으로 예시한 도면이다.
도 6을 참조하면, 라이프 로그(600)는, 예컨대 스마트폰의 디스플레이 상에 표시되는 맵일 수 있는 지도 영역(610) 상에 표시되어 있는 다수의 구별되는 원들(611, 612, 613)을 포함할 수 있다. 이러한 라이프 로그(600)는 구체적인 시간이나 행동을 설명하는 문자나 숫자로 이루어진 텍스트를 직접적으로 보여줄 수 없지만, 사용자가 등산을 어떤 경로로 하였는지를 직관적으로 쉽게 알 수 있게 한다.
상술한 바와 같이, 동일한 행동로그를 포함하는 라이프 로그라 하더라도 도 4 내지 도 6에 예시된 바와 같이 다양한 방식으로 구조화되어 생성될 수 있다.
다시 도 2로 돌아가면, 사용자 라이프 로그 생성 시스템(200)은 최종적으로 생성된 라이프 로그를 다른 유용한 정보로 변환한 후 제공하는 라이프 로그 서비스부(290)를 더 포함할 수 있다.
라이프 로그 서비스부(290)는 라이프 로그 생성부(270)에서 생성된 라이프 로그를 다양한 방식으로 추가로 가공하여 새로운 서비스 정보를 생성할 수 있다. 생성된 서비스 정보는 예컨대 스마트폰과 같은 사용자의 휴대용 컴퓨팅 장치의 디스플레이 또는 스피커를 통해 출력되도록 제공될 수 있다.
추가 가공의 예를 들면, 라이프 로그 서비스부(290)는 템플릿 DB(295)에 저장되어 있는 미리 정의된 템플릿을 이용할 수 있다. 템플릿은 예컨대 하루 일과를 요약한 데이터를 사용자의 스마트폰 디스플레이 화면에 일정한 방식으로 표시하는 양식일 수 있다.
도 7은 도 5의 라이프 로그 테이블 내의 데이터를 사용자에게 제공하기 위한 일과요약 템플릿을 예시하는 도면이다.
도 7을 참조하면, 일과 요약 템플릿(700)은 라이프 로그(500)에 포함되어 있는 각각의 행동의 시작시각, 종료시각, 행동명, 출발위치, 도착위치, 또는 위치를 일정한 형식으로 지정한다. 예컨대, 도시된 바와 같이, 왼쪽 항목으로 시간에 따른 행동들의 명칭을 나열하고, 오른편에는 해당 행동들 각각의 출발과 도착 시각 및 위치가 표시된다. 도 7에 도시된 일과 요약 템플릿(700)은 단지 하나의 예시에 불과하며, 다양한 형식의 일과 요약 템플릿이 가능하다는 것이 해당 분야의 통상의 지식을 가진 자라면 쉽게 이해할 것이다.
도 8a는 도 7의 일과 요약 템플릿(700)을 이용하여 각각의 행동에 대한 요약 정보를 표시한 사용자 장치의 디스플레이를 예시한 도면이다.
도 8b는 도 8a의 디스플레이로부터 더 상세하게 각각의 행동에 대한 요약 정보를 표시한 사용자 장치의 디스플레이를 예시한 도면이다.
도 8a 및 도 8b를 참조하면, 스마트폰(10)의 디스플레이 화면에 각각의 행동에 대한 요약 정보가 일정한 형식으로 표시되어 있다. 도 8a는 라이프 로그에 포함된 행동들이 수행된 날짜(810)와, 이 날의 행동들 중 도 5의 행동로그1(521)에 포함되는 행동들, 즉 버스이동 필드(820) 및 등산 필드(830) 만이 표시될 수 있음을 도시된다. 이 중 등산 필드(830)에는 기호(예: "+")등을 통해 같이 추가 정보가 더 포함되어 있음을 사용자에게 제공할 수 있다. 만약 사용자로부터 등산 필드(830)를 선택받게 되는 경우(예컨대 더블 터치), 등산 필드(830)에 대해 계층적으로 하위 관계인 다른 행동로그들이 더 표시될 수 있다.
도 8b에는 사용자가 등산 필드(830)를 선택하였을 때 도 5의 행동로그1(521)과 계층적인 의미 관계에 따라 연관되어 있던 행동로그2(522) 및 행동로그3(523)에 포함되는 행동들이 표시되는 것을 보여준다. 등산 필드(830')는 축약되어 표시되며, 그 아래에 소속되는 필드들로서 걷기 필드(831), 휴식 필드(832), 걷기 필드(833), 음악감상 필드(834)가 표시되어 있다. 음악감상 필드(834)에도 역시 추가 정보가 존재한다는 기호"+"가 포함되어 있음을 볼 수 있다.
다시 도 2로 돌아가면, 라이프 로그 서비스부(290)는, 도 7 및 도 8을 참조하여 기술한 일과 요약 서비스를 제공할 수 있다. 일과 정보는 라이프 로그 서비스부(290)에 의해 생성될 수 있다. 라이프 로그 서비스부(290)는 라이프 로그를 일과 요약 템플릿(700)에 적용시킴으로써 일과 요약 정보를 생성할 수 있다. 그런 다음, 사용자의 스마트폰에 제공할 수 있다.
이 외에도, 라이프 로그에 포함된 데이터를 다양한 방식으로 추가 가공하면 사용자에게 의미있는 다양하게 유용한 정보를 생성할 수 있다.
일 예를 들면, 라이프 로그 서비스부(290)는, 템플릿 기반의 자연언어 생성 기술을 이용하여 라이프 로그에 대한 자연 언어 요약을 생성하는 서비스를 제공할 수 있다. 이렇게 자연 언어에 의해 작성된 요약은 위의 일과 요약 제공 서비스와 함께 사용자의 일상 행동을 자동으로 기록하고 관리하는 편리를 제공할 수 있다. 이러한 서비스는 예를 들어, 장애인이나 노인 등과 같은 사회적 약자에 대한 의료 행위나 생활 보조에 도움을 될 수 있다.
또한, 라이프 로그 서비스부(290)는 라이프 로그에 날씨 정보, 통화 기록, SNS 활동 정보 중 적어도 하나의 데이터를 추가하여 일기 데이터를 생성하고, 일기 데이터로부터 템플릿 기반의 자연언어 생성 기술을 이용하여 자연언어로 기술된 일기를 생성하는 서비스를 제공할 수 있다. 이 경우, 라이프 로그에 추가되는 날씨 정보, 통화 기록, SNS 활동 정보 등은 예컨대 스마트폰과 같이 사용자 휴대용 장치가 무선 인터넷 접속 기능을 가지는 경우에 쉽게 구현가능하다.
더 나아가, 라이프 로그 서비스부(290)는 라이프 로그에 기초하여 자동으로 소정 시간기간 동안의 행동 계획표를 작성하는 서비스를 제공할 수 있다. 예컨대, 하루 일과 계획표를 작성하는 서비스, 한 주 일과 계획표를 작성하는 서비스, 더 나아가 월 단위 또는 연 단위의 계획표를 작성하는 서비스가 가능하다. 이러한 계획표 작성 서비스는, 특정 사용자에 대해 생성되어 있는 라이프 로그 데이터가 많이 축적되어 있을수록 용이하게 이루어질 수 있을 것이다. 대안적으로, 특정 사용자에 대한 라이프 로그가 없다고 하더라도, 예컨대 평균적인 또는 특수한 유형의 사람에 대해 평균적으로 또는 특수하게 예측되는 라이프 로그를 이용하여 제3자에 의해 작성된 라이프 로그 데이터베이스를 이용하여 계획표가 작성될 수도 있다.
그 외에도, 라이프 로그 서비스부(290)는 라이프 로그에 포함된 행동의 운동량을 계산하고 계산된 운동량에 기초하여 자동으로 소정 시간기간 동안의 운동 계획표를 작성하는 서비스를 제공할 수 있다. 이것은 라이프 로그 내에 걷기, 뛰기, 계단 오르내리기, 자전거 타기, 버스 이동 등과 같이 일상 활동에서 사용자가 몸을 움직이는 행동들이 포함되어 있기 때문에 쉽게 구현될 수 있다.
그리고, 라이프 로그 서비스부(290)는 라이프 로그에 포함된 행동의 빈도를 검출하고 자주 수행하는 행동에 기초하여 자동으로 소정 시간기간 동안의 추천 행동을 작성하는 서비스를 제공할 수 있다. 이 외에도, 라이프 로그 서비스부(290)는 라이프 로그에 포함된 행동을 연관된 시간, 위치와 함께 저장하고, 특정 위치와 연관된 과거의 행동들의 기록을 작성하는 서비스를 제공할 수 있다.
상술한 실시예에 따른, 사용자 라이프 로그 생성 시스템(200)의 컴포넌트들은 모두 예컨대 스마트폰과 같은 사용자가 소지하고 있는 휴대용 컴퓨팅 장치 내에 구비될 수 있다. 대안적으로 사용자 라이프 로그 생성 시스템(200)의 감지부(210)만이 사용자 휴대용 컴퓨팅 장치 내에 구비되고, 전처리부(220), 행동 인식부(230), 행동 조건 DB(240), 행동로그 생성부(250), 행동로그 조건 DB(260), 라이프 로그 생성부(270), 라이프 로그 조건 DB(280), 라이프 로그 서비스부(290), 및 템플릿 DB(295)는 모두 원격의 서버 시스템 내에 구비될 수 있다.
또 다른 대안으로서, 라이프 로그 생성 시스템(200) 중 라이프 로그 서비스부(290) 및 템플릿 DB(295) 만이 원격의 서버 시스템에 구비되고 나머지 컴포넌트들은 사용자의 휴대용 컴퓨팅 장치 내에 구비될 수도 있다.
200 : 라이프 로그 생성 시스템
210 : 감지부
220 : 전처리부
230 : 행동 인식부
240 : 행동 조건 데이터베이스(DB)
250 : 행동로그 생성부
260 : 행동로그 조건DB
270 : 라이프 로그 생성부
280 : 라이프 로그 조건DB
290 : 라이프 로그 서비스부
295 : 템플릿 DB
700 : 일과 요약 템플릿

Claims (15)

  1. 감지데이터를 미리 정의된 조건에 따라 단위데이터들로 분리하는 단계와,
    상기 단위데이터들의 배열들로부터 복수의 사용자 행동을 인식하는 단계와,
    상기 복수의 사용자 행동을 시계열적으로 연결하여 사용자 행동로그를 생성하는 단계와,
    상기 생성된 사용자 행동로그를 사용자 행동로그들 사이의 연관 관계에 기초하여 계층적으로 구조화하여 사용자 라이프 로그를 생성하는 단계
    를 포함하는, 사용자 라이프 로그 생성 방법.
  2. 제 1 항에 있어서,
    상기 감지데이터는,
    소정 시간간격마다 주기적으로 또는 미리 정의된 이벤트가 발생할 때마다 감지되어 수집되는 사용자 라이프 로그 생성 방법.
  3. 제 1 항에 있어서,
    상기 행동을 인식하는 단계는,
    상기 단위데이터들을 디스크립션 로직(description logic)을 이용하여 각 단위데이터의 의미적 관계에 따라 하나 이상의 단위데이터 배열로 조합하는 단계와,
    미리 정의된 행동 조건과 상기 단위데이터 배열을 비교하여 부합하는 경우, 부합하는 상기 단위데이터 배열을 상기 미리 정의된 행동 조건에 대응하는 행동으로서 인식하는 단계
    를 포함하는, 사용자 라이프 로그 생성 방법.
  4. 제 1 항에 있어서,
    상기 행동로그를 생성하는 단계는,
    상기 행동들을 디스크립션 로직을 이용하여 각 행동의 의미적 관계에 따라 하나 이상의 행동 배열로 조합하는 단계와,
    미리 정의된 행동로그 조건과 상기 행동 배열을 비교하여 부합하는 경우, 부합하는 상기 행동 배열을 상기 미리 정의된 행동로그 조건에 대응하는 행동로그로서 인식하는 단계
    를 포함하는, 사용자 라이프 로그 생성 방법.
  5. 제 1 항에 있어서,
    상기 라이프 로그를 생성하는 단계는,
    상기 행동로그들을 디스크립션 로직을 이용하여 각 행동로그의 의미적 관계에 따라 하나 이상의 행동로그 배열로 조합하는 단계와,
    미리 정의된 라이프 로그 조건과 상기 행동로그 배열을 비교하여 부합하는 경우, 부합하는 상기 행동로그 배열을 상기 미리 정의된 라이프 로그 조건에 대응하는 라이프 로그로서 인식하는 단계
    를 포함하는, 사용자 라이프 로그 생성 방법.
  6. 제 1 항에 있어서,
    상기 라이프 로그에 포함된 데이터를 미리 정의된 일과 요약 템플릿을 이용하여 추가 가공하는 단계를 더 포함하는, 사용자 라이프 로그 생성 방법.
  7. 제 1 항에 있어서,
    템플릿 기반의 자연언어 생성 기술을 이용하여 상기 라이프 로그에 대한 자연 언어 요약을 생성하는 단계를 더 포함하는, 사용자 라이프 로그 생성 방법.
  8. 제 1 항에 있어서,
    상기 라이프 로그에 날씨 정보, 통화 기록 및 소셜 네트워크 서비스(SNS) 활동 정보 중 적어도 하나의 데이터를 추가하여 일기 데이터를 생성하는 단계; 및
    상기 생성된 일기 데이터로부터 자연언어로 기술된 일기를 생성하는 단계를 더 포함하는, 사용자 라이프 로그 생성 방법.
  9. 감지데이터를 생성하는 감지부;
    상기 감지데이터를 미리 정의된 조건에 따라 단위데이터들로 분리하는 전처리부;
    상기 단위데이터들의 배열들로부터 사용자 행동을 인식하는 행동 인식부;
    상기 행동 인식부에 의해 인식된 복수의 사용자 행동을 시계열적으로 연결함으로써 사용자 행동로그를 생성하는 행동로그 생성부; 및
    상기 행동로그 생성부에 의해 생성된 복수의 사용자 행동로그를 사용자 행동로그들 사이의 연관 관계에 기초하여 계층적으로 구조화함으로써 사용자 라이프 로그를 생성하는 라이프 로그 생성부를
    포함하는, 사용자 라이프 로그 생성 시스템.
  10. 제 9 항에 있어서,
    상기 감지부는,
    소정 시간간격마다 주기적으로 감지데이터를 생성하거나, 또는 미리 정의된 이벤트가 발생할 때마다 감지데이터를 생성하는, 사용자 라이프 로그 생성 시스템.
  11. 제 9 항에 있어서,
    상기 행동 인식부는,
    상기 단위데이터들을 디스크립션 로직을 이용하여 각 단위데이터의 의미적 관계에 따라 하나 이상의 단위데이터 배열로 조합하며, 미리 정의된 행동 조건과 상기 단위데이터 배열을 비교하여 부합하는 경우, 부합하는 상기 단위데이터 배열을 상기 미리 정의된 행동 조건에 대응하는 행동으로서 인식하는 추론엔진을 포함하는, 사용자 라이프 로그 생성 시스템.
  12. 제 9 항에 있어서,
    상기 행동로그 생성부는,
    상기 행동들을 디스크립션 로직을 이용하여 각 행동의 의미적 관계에 따라 하나 이상의 행동 배열로 조합하고, 미리 정의된 행동로그 조건과 상기 행동 배열을 비교하여 부합하는 경우, 부합하는 상기 행동 배열을 상기 미리 정의된 행동로그 조건에 대응하는 행동로그로서 인식하는 추론엔진을 포함하는, 사용자 라이프 로그 생성 시스템.
  13. 제 9 항에 있어서,
    상기 라이프 로그 생성부는,
    상기 행동로그들을 디스크립션 로직을 이용하여 각 행동로그의 의미적 관계에 따라 하나 이상의 행동로그 배열로 조합하고, 미리 정의된 라이프 로그 조건과 상기 행동로그 배열을 비교하여 부합하는 경우, 부합하는 상기 행동로그 배열을 상기 미리 정의된 라이프 로그 조건에 대응하는 라이프 로그로서 인식하는 추론엔진을 포함하는, 사용자 라이프 로그 생성 시스템.
  14. 제 9 항에 있어서,
    상기 라이프 로그 생성부에서 생성된 라이프 로그를 이용하여 추가로 가공하여 사용자의 휴대용 컴퓨팅 장치에서 출력되도록 제공하는 라이프 로그 서비스부를 더 포함하는, 사용자 라이프 로그 생성 시스템.
  15. 제 14 항에 있어서,
    상기 라이프 로그 서비스부는,
    상기 라이프 로그에 포함된 데이터를 미리 정의된 일과 요약 템플릿을 이용하여 추가 가공하는 서비스;
    템플릿 기반의 자연언어 생성 기술을 이용하여 상기 라이프 로그에 대한 자연 언어 요약을 생성하는 서비스;
    상기 라이프 로그에 날씨 정보, 통화 기록, SNS 활동 정보 중 적어도 하나의 데이터를 추가하여 일기 데이터를 생성하고, 상기 일기 데이터로부터 템플릿 기반의 자연언어 생성 기술을 이용하여 자연언어로 기술된 일기를 생성하는 서비스
    중 적어도 하나의 서비스를 제공하는, 사용자 라이프 로그 생성 시스템.
KR1020130155618A 2013-12-13 2013-12-13 사용자 라이프 로그 생성 방법 및 시스템 KR20150069331A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130155618A KR20150069331A (ko) 2013-12-13 2013-12-13 사용자 라이프 로그 생성 방법 및 시스템
US14/534,832 US20150169659A1 (en) 2013-12-13 2014-11-06 Method and system for generating user lifelog

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130155618A KR20150069331A (ko) 2013-12-13 2013-12-13 사용자 라이프 로그 생성 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20150069331A true KR20150069331A (ko) 2015-06-23

Family

ID=53368709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130155618A KR20150069331A (ko) 2013-12-13 2013-12-13 사용자 라이프 로그 생성 방법 및 시스템

Country Status (2)

Country Link
US (1) US20150169659A1 (ko)
KR (1) KR20150069331A (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9251712B2 (en) * 2007-03-18 2016-02-02 Persinvitro Llc Method and apparatus to encourage development of long term recollections of given episodes
US9405448B2 (en) 2012-08-30 2016-08-02 Arria Data2Text Limited Method and apparatus for annotating a graphical output
US8762133B2 (en) 2012-08-30 2014-06-24 Arria Data2Text Limited Method and apparatus for alert validation
US8762134B2 (en) 2012-08-30 2014-06-24 Arria Data2Text Limited Method and apparatus for situational analysis text generation
US9135244B2 (en) 2012-08-30 2015-09-15 Arria Data2Text Limited Method and apparatus for configurable microplanning
US9336193B2 (en) 2012-08-30 2016-05-10 Arria Data2Text Limited Method and apparatus for updating a previously generated text
US9600471B2 (en) 2012-11-02 2017-03-21 Arria Data2Text Limited Method and apparatus for aggregating with information generalization
WO2014076525A1 (en) 2012-11-16 2014-05-22 Data2Text Limited Method and apparatus for expressing time in an output text
WO2014076524A1 (en) 2012-11-16 2014-05-22 Data2Text Limited Method and apparatus for spatial descriptions in an output text
US10115202B2 (en) 2012-12-27 2018-10-30 Arria Data2Text Limited Method and apparatus for motion detection
WO2014102569A1 (en) 2012-12-27 2014-07-03 Arria Data2Text Limited Method and apparatus for motion description
WO2014111753A1 (en) 2013-01-15 2014-07-24 Arria Data2Text Limited Method and apparatus for document planning
US9946711B2 (en) 2013-08-29 2018-04-17 Arria Data2Text Limited Text generation from correlated alerts
US9396181B1 (en) 2013-09-16 2016-07-19 Arria Data2Text Limited Method, apparatus, and computer program product for user-directed reporting
US9244894B1 (en) * 2013-09-16 2016-01-26 Arria Data2Text Limited Method and apparatus for interactive reports
US10424404B2 (en) * 2013-11-13 2019-09-24 Dacadoo Ag Automated health data acquisition, processing and communication system and method
WO2015159133A1 (en) 2014-04-18 2015-10-22 Arria Data2Text Limited Method and apparatus for document planning
US11462327B2 (en) 2014-05-23 2022-10-04 Dacadoo Ag Automated health data acquisition, processing and communication system
KR20170020085A (ko) * 2015-08-13 2017-02-22 삼성전자주식회사 활동 정보 처리 방법 및 이를 지원하는 전자 장치
US10445432B1 (en) 2016-08-31 2019-10-15 Arria Data2Text Limited Method and apparatus for lightweight multilingual natural language realizer
US10467347B1 (en) 2016-10-31 2019-11-05 Arria Data2Text Limited Method and apparatus for natural language document orchestrator
US11169660B2 (en) * 2016-12-14 2021-11-09 Microsoft Technology Licensing, Llc Personalized adaptive task framework for user life events
JP6895276B2 (ja) * 2017-03-03 2021-06-30 株式会社日立製作所 行動認識システムおよび行動認識方法
WO2022064664A1 (ja) * 2020-09-25 2022-03-31 株式会社ライフクエスト 日記生成装置、日記生成システム、日記生成方法、及びプログラム
US11337036B1 (en) 2021-06-01 2022-05-17 Teamgo, Inc. Providing events on a map using an activity ontology for event suggestion

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8630965B2 (en) * 2006-04-06 2014-01-14 Yale University Framework of hierarchical sensory grammars for inferring behaviors using distributed sensors
US8235724B2 (en) * 2006-09-21 2012-08-07 Apple Inc. Dynamically adaptive scheduling system
US20110137836A1 (en) * 2008-09-19 2011-06-09 Hiroyuki Kuriyama Method and system for generating history of behavior
US8738323B2 (en) * 2010-09-30 2014-05-27 Fitbit, Inc. Methods and systems for metrics analysis and interactive rendering, including events having combined activity and location information
US9049259B2 (en) * 2011-05-03 2015-06-02 Onepatont Software Limited System and method for dynamically providing visual action or activity news feed
WO2013170428A1 (en) * 2012-05-14 2013-11-21 Nokia Corporation Method and apparatus for determining context-aware similarity
KR102078570B1 (ko) * 2013-07-16 2020-02-19 삼성전자주식회사 휴대 단말기에서 사용자 행위 정보를 제공하는 장치 및 방법

Also Published As

Publication number Publication date
US20150169659A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
KR20150069331A (ko) 사용자 라이프 로그 생성 방법 및 시스템
CN110476176B (zh) 用户目标辅助技术
US10924564B2 (en) Apparatus and methods for providing recommendations based on environmental data
US10748121B2 (en) Enriching calendar events with additional relevant information
JP5935516B2 (ja) 情報処理装置、情報処理方法、及びプログラム
He et al. A smart device enabled system for autonomous fall detection and alert
Otebolaku et al. User context recognition using smartphone sensors and classification models
CN107004170B (zh) 为惯例外事件定制的服务内容
Berrocal et al. Rich contextual information for monitoring the elderly in an early stage of cognitive impairment
CN107548500A (zh) 基于用户例程模型的事件异常
JP2013250862A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20160051536A (ko) 이미지 기반으로 사용자 정보를 관리하는 디바이스 및 그 방법
Oh et al. From multimedia logs to personal chronicles
Fanca et al. Trauma accident detecting and reporting system
JP6183489B2 (ja) 情報処理システム、情報処理方法、及びプログラム
Jiang et al. Beyond AI-powered context-aware services: the role of human–AI collaboration
Cho et al. Hierarchical modular Bayesian networks for low-power context-aware smartphone
da Penha Natal et al. Efficient out-of-home activity recognition by complementing GPS data with semantic information
KR102252464B1 (ko) 두 가지 이상의 데이터의 조합으로 모바일 단말을 사용하는 사용자의 상태정보를 판단하는 방법 및 그 시스템
Hwang et al. A lifelog browser for visualization and search of mobile everyday-life
Pérez-Vereda et al. Complex event processing for health monitoring
Wilson et al. Domain Adaptation Under Behavioral and Temporal Shifts for Natural Time Series Mobile Activity Recognition
Barrett et al. Mobile sensing: Leveraging machine learning for efficient human behavior modeling
Föhr Context-awareness through Google Awareness API
Khan et al. Personal productivity monitoring through smartphones

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right