KR102506646B1 - 라이프스타일 인식을 위한 서사 생성 장치 및 그 방법 - Google Patents

라이프스타일 인식을 위한 서사 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR102506646B1
KR102506646B1 KR1020200134238A KR20200134238A KR102506646B1 KR 102506646 B1 KR102506646 B1 KR 102506646B1 KR 1020200134238 A KR1020200134238 A KR 1020200134238A KR 20200134238 A KR20200134238 A KR 20200134238A KR 102506646 B1 KR102506646 B1 KR 102506646B1
Authority
KR
South Korea
Prior art keywords
lifestyle
user
narrative
mind
pattern
Prior art date
Application number
KR1020200134238A
Other languages
English (en)
Other versions
KR20220050495A (ko
Inventor
임지연
정현태
김가규
노경주
임정묵
정승은
정치윤
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200134238A priority Critical patent/KR102506646B1/ko
Priority to US17/503,051 priority patent/US20220122727A1/en
Publication of KR20220050495A publication Critical patent/KR20220050495A/ko
Application granted granted Critical
Publication of KR102506646B1 publication Critical patent/KR102506646B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/60—Healthcare; Welfare
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/40—Information sensed or collected by the things relating to personal data, e.g. biometric data, records or preferences

Abstract

본 발명은 라이프스타일 인식을 위한 서사 생성 장치 및 그 방법에 관한 것이다.
본 발명에 따른 라이프스타일 인식을 위한 서사 생성 장치는 라이프스타일 인식을 위한 서사 생성의 기본 자료를 수집하는 입력부와, 기본 자료를 이용하여 사용자의 라이프스타일 서사를 생성하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 라이프스타일 서사를 이용하여 마음 상태의 원인 및 마음 상태의 결과에 대한 인과 관계 분석을 수행한다.

Description

라이프스타일 인식을 위한 서사 생성 장치 및 그 방법{APPARATUS AND METHOD FOR GENERATING NARRATIVE FOR LIFESTYLE RECOGNITION}
본 발명은 라이프스타일 인식을 위한 서사 생성 장치 및 그 방법에 관한 것이다.
종래 기술에 따르면, 라이프스타일과 관련한 데이터 및 정보를 문진, 상담을 통해 획득하는데, 이는 대상의 기억에 의존하는 방식으로 정보 손실이 일어나는 문제점이 있다.
또한, 종래 기술에 따르면, 객관적인 데이터를 활용하여 자동으로 개인의 서사를 인식하는 서비스, 라이프스타일 정보를 이용하는 마음 건강 관련 서비스 등을 제공하고 있지 못한 한계가 있다.
또한, 종래 기술에 따르면 같은 시간에 반복 발생하는 사건 인식에 초점을 맞춰, 사람의 라이프스타일이 가지는 복잡성과 사건 간의 인과관계를 명확히 드러내지 못하는 한계가 있다.
본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 객관적인 데이터를 수집하여 사용자의 맥락을 인식하고, 사용자 개인의 라이프스타일의 서사를 도출하는 것이 가능한 서사 생성 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명에 따른 라이프스타일 인식을 위한 서사 생성 시스템은 멀티모달 센서 데이터와 사용자의 디바이스 사용 로그 데이터를 수신하여 저장하는 서버와, 서버로부터 멀티모달 센서 데이터 및 디바이스 사용 로그 데이터를 호출하여 맥락 정보를 인식하고, 사용자 개인의 서사를 생성하고 라이프스타일 정보를 도출하는 컴퓨팅 디바이스 및 라이프스타일 정보를 이용하여 시각화를 수행하고, 분석 결과 확인에 대한 옵션을 제공하는 디스플레이 디바이스를 포함하는 것을 특징으로 한다.
멀티모달 센서 데이터는 생체 정보, 환경 정보를 포함한다.
컴퓨팅 디바이스는 멀티모달 센서 데이터 및 디바이스 사용 로그 데이터를 시간 기준으로 동기화하고 통합하는 전처리를 수행한다.
컴퓨팅 디바이스는 사용자의 행위, 사회 생활, 시공간 및 마음 상태로 구성되는 시간 별 상기 맥락정보를 인식한다.
컴퓨팅 디바이스는 사전에 정의한 시간대를 기준으로 서사를 구분하고, 습관적 서사 및 비습관적 서사에 대한 패턴을 추출한다.
컴퓨팅 디바이스는 습관적 서사 및 비습관적 서사에 대한 패턴을 이용하여 습관 지수를 도출하고, 습관 지수를 이용하여 마음 상태에 영향을 미치는 라이프스타일 패턴을 도출한다.
디스플레이 디바이스는 조회 기간, 시간 간격, 마음 상태 별 분석 결과 확인, 위치 별 분석 결과 확인 중 적어도 어느 하나의 옵션이 적용된 반응형 사용자 인터페이스를 제공한다.
본 발명에 따른 라이프스타일 인식을 위한 서사 생성 방법은 (a) 사용자의 생체 정보, 활동 정보 및 환경 정보를 수집하여 전처리를 수행하는 단계와, (b) (a) 단계에서 전처리가 수행된 데이터를 이용하여 사용자의 행위, 사회 생활, 시공간 및 마음 상태로 구성되는 맥락정보로 구성된 에피소드를 구성하는 단계와, (c) 에피소드를 그룹화하여 시퀀스 데이터를 생성하고, 사용자의 라이프스타일 서사로 해석하는 단계와, (d) 서사를 이용하여 습관적 패턴 및 비습관적 패턴을 추출하는 단계 및 (e) 사용자의 라이프스타일과 마음 상태에 대한 상관관계를 분석하는 단계를 포함하는 것을 특징으로 한다.
(a) 단계는 멀티모달 센서 데이터 및 디바이스 사용 로그 데이터를 포함하는 정보를 수집하여, 시간 기준으로 동기화하는 전처리를 수행한다.
(b) 단계는 정보 발생 순서 및 지속 시간 정보에 따라 시간대 별로 에피소드를 생성한다.
(c) 단계는 에피소드를 기설정된 시간 단위의 그룹으로 나누어, 시퀀스 데이터를 생성한다.
(d) 단계는 시퀀셜 패턴 마이닝을 적용하여 수집된 기간 동안의 습관적 패턴을 추출하여, 연속된 사건으로 구성된 패턴으로 사용자의 라이프스타일 서사를 생성한다.
(d) 단계는 맥락 정보의 카테고리 별로 습관지수를 추출한다.
본 발명에 따른 라이프스타일 인식을 위한 서사 생성 장치는 라이프스타일 인식을 위한 서사 생성의 기본 자료를 수집하는 입력부와, 기본 자료를 이용하여 사용자의 라이프스타일 서사를 생성하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 라이프스타일 서사를 이용하여 마음 상태의 원인 및 마음 상태의 결과에 대한 인과 관계 분석을 수행한다.
입력부는 생체 정보, 환경 정보, 활동 정보를 포함하는 데이터를 수집한다.
프로세서는 사용자의 행위, 사회 생활, 시공간 및 마음 상태로 구성되는 맥락 정보를 생성하고, 습관적 또는 비습관적 서사에 대한 패턴을 추출한다.
프로세서는 시퀀셜 패턴 마이닝을 적용하여 습관적 패턴을 추출하고, 연속된 사건으로 구성된 패턴을 이용하여 사용자의 라이프스타일 서사를 생성한다.
프로세서는 패턴을 이용하여 습관 지수를 도출하고, 습관 지수를 이용하여 특정 마음 상태에 영향을 미치는 라이프스타일 패턴을 도출한다.
프로세서는 습관 지수를 행동, 사회 관계, 시공간 및 감정에 대해 각각 계산한다.
본 발명에 따르면, 객관적인 데이터를 수집하여 사용자의 맥락을 인식하고, 사용자 개인의 라이프스타일의 서사를 도출하는 것이 가능한 효과가 있다.
사용자 본인이나 보호자에게 왜곡 및 유실의 우려가 적은 정보를 제공함으로써, 사용자의 마음 건강 관리에 활용 가능하며, 전문 상담사 또는 의사에게 객관적인 정보를 제공하여 전문가의 의사 결정을 지원함으로써, 정확한 진단 및 적절한 치료가 가능한 효과가 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 라이프스타일 인식을 위한 서사 생성 시스템을 도시한다.
도 2는 본 발명의 실시예에 따른 분석 모듈을 도시한다.
도 3은 본 발명의 실시예에 따른 인식 모듈의 분석 과정을 도시한다.
도 4는 본 발명의 실시예에 따른 분석 모듈의 라이프스타일 및 인과관계 분석 과정을 도시한다.
도 5는 본 발명의 실시예에 따른 라이프스타일 분석 결과 예시를 도시한다.
도 6은 본 발명의 실시예에 따른 라이프스타일 인식을 위한 서사 생성 장치를 도시한다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다.
사람의 라이프스타일은 단일한 활동이 얼마나 자주 일어나는 지로 정의되기 보다는, 각 활동의 지속시간과 복합적인 활동의 발생 순서가 복합적으로 연결된 서사로 설명될 수 있다.
종래 기술에 따르면, 라이프스타일에 대한 서사를 인식함에 있어서, 기술적으로 접근하기 보다는 주로 사회과학분야 또는 심리학분야에서 개인의 기억력에 의존하는 설문이나 면담과 같은 방법을 수행하였다.
그러나 이러한 방법은 인간의 기억력의 한계에 의해 중요한 정보의 손실이 일어날 가능성이 있다.
사람들은 건강 관리를 위해 생활 습관을 인식하고 개선하기 위한 노력을 한다.
종래 기술에 따르면, 스마트폰앱을 이용해 라이프로그를 기록하여 본인의 상태를 파악하도록 하는 서비스가 제공된다.
또한, 스마트밴드 등 웨어러블 디바이스를 이용하여 데이터를 수집 및 분석하여, 일정 기간 동안의 활동량, 운동 정보, 수면 상태 등을 사용자의 개입 없이 인식하고 시각화하여 제공하는 서비스가 제공된다.
종래 기술에 따르면, 사용자의 라이프스타일을 파악하는 기술이 제안되었는데, 이 방법들은 특정 시간대에 반복하여 나타나는 활동을 습관으로 정의하거나, 고령층과 고위험 질환자 등 특정 대상의 위험 상황과 같은 특정 상황이 아닌 활동을 일상적 라이프 스타일로 정의하며, 웨어러블 센서 데이터를 이용하여 자동으로 사용자의 활동, 수면, 마음 상태 패턴을 추출하는 방법 등이 제안되었다.
그런데, 종래 기술에 따르면 객관적인 데이터를 활용하여 자동으로 개인의 서사를 인식하는 기술에 대해 제안하고 있지 않은 한계가 있고, 심리 상태 또는 스트레스 등 마음 건강과 관련하여 라이프스타일 정보를 이용하는 서비스를 제공하고 있지 않은 한계가 있다.
개인의 서사는 활동의 지속 시간과 복합적인 활동의 발생 순서로 구성되며, 사람의 라이프스타일을 구성하는 중요한 개념이다.
정신의학 및 심리학 분야에서는 라이프스타일과 관련한 데이터 및 정보를 문진, 상담을 통해 획득하여 진단 및 치료에 활용하고 있다.
우울증, 스트레스 및 이에 따른 수면 장애 등에 대한 진료에서 마음 상태와 관련된 행위 습관, 주변 환경 정보 등을 환자에게 질문하는데 이때, 짧게는 1주 길게는 한 달간 일어난 일에 대해서 대상의 기억에 의존하여 정보를 습득하고 있다.
그런데, 헤르만 에빙하우스(Hermann Ebbinghaus)의 망각 곡선(forgetting curve)에 의하면 인간은 학습한 사실에 대해서 하루가 지나면 33%만 기억하며 이틀이 지나면 28%, 한달이 지나면 21%만 기억한다고 하여 지난 일주일 또는 한달 간의 상태에 대한 문진에서는 정보 손실이 일어날 수밖에 없다
또한, 종래 기술에 따르면 인과관계에 근거하여 마음 상태의 원인이 되는 라이프스타일 정보에 대해 서사를 구성하여 자동으로 획득하는 기술을 제안하고 있지 못한 한계가 있다.
본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 객관적인 데이터를 수집하여 사용자 개인 라이프스타일의 서사를 도출하는 서사 생성 장치 및 방법을 제안한다.
본 발명의 실시예에 따르면, 사용자의 행동, 생체신호, 환경에 대한 데이터 수집이 가능한 멀티모달 센서 및 모바일 디바이스에서 획득한 이기종 데이터를 이용하여, 심리 상태, 스트레스 여부 등 정서 건강 상태에 따른 개인의 라이프스타일을 서사형태로 생성한다.
사용자 디바이스는 사용자와 관련한 데이터를 수집하고, 수집된 데이터를 네트워크 서비스를 통해 서버로 전달하여 저장시킨다.
컴퓨팅 디바이스는 서버로부터 사용자의 멀티모달 센서 및 디바이스 데이터를 호출하고, 각각의 정보를 시간 기준으로 동기화 및 통합하여 전처리한다.
컴퓨팅 디바이스는 전처리한 데이터를 분석하여 사용자의 시간 별 맥락정보를 인식한다.
시간 별 맥락정보는 사용자의 행위, 사회생활, 시공간 및 마음 상태 (behavior, social, geospatial and mind-state)로 구성된다.
컴퓨팅 디바이스에서 인식한 맥락정보는 선후관계, 행위가 지속된 시간을 이용하여 사용자 개인의 서사(narrative)를 구성하는 분석에 활용된다.
컴퓨팅 디바이스의 분석 모듈에서는 사전에 정의한 시간대를 기준으로 시퀀스 데이터를 생성하여 개인의 서사를 구분하고, 습관/비습관적 서사를 나타내는 패턴 추출 분석을 수행한다.
컴퓨팅 디바이스는 습관/비습관 패턴을 이용하여 일별로 개인의 라이프스타일에 부합하는 정도를 나타내는 습관 지수(habit index)를 도출한다.
습관적/비습관적 패턴과 습관 지수는 맥락정보, 즉 행위, 사회생활, 시공간 및 마음 상태 별로 도출될 수 있다.
분석 모듈에서는 라이프스타일을 나타내는 행위, 사회생활 시공간에 대한 습관 지수와 마음 상태를 나타내는 마음 습관지수, 스트레스 특징, 수면 상태를 이용하여 인과관계 분석을 수행하고, 분석 수행 결과를 이용하여 특정 마음상태에 결정적 영향을 미치는 라이프스타일 패턴을 도출한다.
본 발명의 실시예에 따른 '서사'의 개념은 습관 또는 라이프스타일이 동일 시간에 반복되는 개념과는 차별화되는 것이다.
디스플레이 디바이스(서비스 장치)는 분석한 정보를 시각화 하여, 사용자의 마음 상태를 관리하는 사용자 본인, 보호자 또는 전문 의료인이 분석 결과를 확인할 수 있도록 한다.
디스플레이 디바이스(서비스 장치)는 사용자가 필요로 하는 정보의 조회를 위해, 조회 기간 및 시각화에서 표현되는 시간 간격, 주중/주말 등과 같은 시간, 마음 상태 별 분석 결과 확인, 사용자의 위치 정보를 이용한 위치 별 분석 결과 확인 등 다양한 옵션을 적용한 반응형 사용자 인터페이스를 제공한다.
본 발명의 실시예에 따르면, 서사로 구성된 객관적인 라이프스타일 정보를 사용자 본인, 보호자 또는 전문 의료인에게 제공하여, 사용자의 마음 건강 관리를 지원한다.
본 발명의 실시예에 따르면, 사용자가 전문가의 도움을 받는 상황에서 문진이나 상담을 하는 경우, 서사로 구성된 객관적인 라이프스타일 정보를 이용하는 것이 가능하며, 전문가는 이를 통해 사용자의 개인적 특성과 데이터 기반의 객관성을 확보한 정보를 토대로 환자의 마음 건강을 개선하는데 실질적으로 도움이 되는 의학적 의사 결정을 내릴 수 있다.
도 1은 본 발명의 실시예에 따른 라이프스타일 인식을 위한 서사 생성 시스템을 도시하고, 도 2는 본 발명의 실시예에 따른 분석 모듈을 도시한다.
본 발명의 실시예에 따른 라이프스타일 인식을 위한 서사 생성 시스템은 멀티모달 센서 데이터와 사용자의 디바이스 사용 로그 데이터를 활용하여 복합적인 활동을 인식하고, 지속시간과 발생 순서를 고려한 시퀀스 패턴을 추출한다.
사용자 디바이스(100)는 모바일 디바이스 모듈(110), 센서 모듈(120), 통신 모듈(130)을 포함한다.
모바일 디바이스 모듈(110)은 스마트폰을 이용한 전화 통화, 소셜 앱 사용 정보와 같은 사회활동 맥락에 대한 정보를 나타내는 사용자의 디바이스 사용 로그를 수집한다.
센서 모듈(120)의 멀티모달 센서는 가속도 센서, 자이로 센서, 지자계센서, 피부전도도센서, 피부온도센서, 심박 센서, 심전도 센서 및 GPS 등으로 구성되어, 신체 움직임 신호, 생체 신호와 같은 사용자에 대한 직접적 신호와 GPS 및 Wifi 등 장소, 조도 및 소리 등 환경 신호를 수집한다.
통신 모듈(130)은 수집된 신호를 네트워크 서비스를 통해 서버(200)로 전송하고, 서버(200)는 수집된 신호를 저장한다.
컴퓨팅 디바이스(300)는 인식 모듈(310) 및 분석 모듈(320)을 포함한다.
인식 모듈(310)은 서버(200)에 저장된 데이터를 호출하여 전처리를 수행하고, 맥락정보로서 행위, 사회생활, 시공간 및 마음 상태 (behavior, social, geospatial and mind-state)를 인식한다.
이 때, 인식 모듈(310)은 스트레스, 감정 상태 및 수면 상태 등을 인식하여, 마음 상태를 인식한다.
분석 모듈(320)은 습관/비습관 정보 추출부(321) 및 라이프스타일 정보 도출부(322)를 포함한다.
습관/비습관 정보 추출부(321)는 인식 모듈(310)로부터 사용자 맥락정보를 수신하여, 사용자 개별 서사를 생성하고, 이를 이용하여 습관/비습관 정보를 추출한다.
라이프스타일 정보 도출부(322)는 습관/비습관 정보로 구성된 사용자의 라이프스타일 및 마음 상태의 인과관계를 분석하여, 특정 마음 상태의 원인이 되는 사용자의 라이프스타일 정보를 도출한다.
본 발명의 실시예에 따르면, 컴퓨팅 디바이스(300)에서 도출된 분석 결과는 디스플레이 디바이스(400)에서 사용자가 쉽게 이해할 수 있도록 시각화되고, 필요한 조건의 상세 정보를 확인할 수 있도록 옵션을 제공하는 반응형 사용자 인터페이스를 포함한다.
즉, 디스플레이 디바이스(400)는 분석 모듈의 결과를 시각화하는 시각화 모듈(410) 및 시간, 장소, 감정 등에 따른 분석 결과의 확인이 가능한 옵션을 제공하고, 반응형 사용자 인터페이스를 제공하는 인터페이스 모듈(420)을 포함한다.
시각화 모듈(410)에 의해, 서사는 시퀀스 패턴 형태, 문장 등 이야기를 표현할 수 있는 방법으로 표현된다.
인터페이스 모듈(420)에서는 사용자가 필요한 정보를 조회하기 위한 조회 기간, 시각화에서 표현되는 시간 간격, 주중/주말 등과 같은 시간, 마음 상태 별 분석 결과 확인, 사용자의 위치 정보를 이용한 위치 별 분석 결과 확인 등으로 옵션이 제공되어, 반응형 사용자 인터페이스를 제공한다.
도 3은 본 발명의 실시예에 따른 인식 모듈(310)의 분석 과정을 도시한다.
인식 모듈(310)은 서버(200)로부터 멀티모달 센서 데이터 및 디바이스 사용 데이터를 호출하여, missing value, logical error 등에 대한 전처리를 수행하고, 이기종 센서 데이터의 시간 동기화를 통해 데이터를 통합한다(S310).
인식 모듈(310)은 딥러닝 등 머신러닝 기법으로 구성된 인식 알고리즘을 적용하여(S320), 사용자의 행위, 사회 생활, 시공간, 수면 상태 및 감정 정보에 대한 특징값을 인식한다(S330).
사용자의 행위는 사용자의 기설정 기간(예: 하루) 동안 일어날 수 있는 기상, 이동, 업무, 식사, 운동 등으로 구성된다.
이 때, 행위의 분류는 각국 통계청에서 나라별 생활 양식과 문화에 따라 정의한 생활시간 조사의 분류 체계를 따를 수 있고, 사용자가 필요한 행위 분류를 정의하여 사용할 수도 있다.
사회 생활 정보는 행위를 타인과 함께 하는 경우 같이 하는 사람의 범주, 같이 하는 사람 수 등으로 구성된 정보이다.
시공간 정보는 센서와 디바이스의 시간값과 GPS 정보를 이용하여 사용자의 행위가 발생한 시간과 장소에 대한 정보이다.
수면 상태 정보는 사용자의 움직임과 생체신호를 이용하여 획득되는 수면 상태에 관한 정보이다.
감정 정보는 센서 데이터를 입력값으로 하여 각성(Arousal)과 긍부정(Valence)의 5점 또는 7점 척도로 인식한다.
인식 모듈(310)은 수면 상태와 감정 정보를 가공하여 기설정 기간 별(예: 일별, daily) 마음 상태에 대한 특징을 생성하며(S340), 이와 같이 마음 상태는 스트레스, 감정 상태 및 수면 상태로 설명된다.
본 발명의 실시예에 따른 분석 모듈(320)은 인식 모듈(310)로부터 도출되는 결과를 이용하여 라이프 스타일을 분석하고, 라이프 스타일 및 마음상태와의 인과관계 분석을 수행한다.
도 4는 본 발명의 실시예에 따른 분석 모듈(320)의 라이프스타일 및 인과관계 분석 과정을 도시한다.
S410 단계에서, 사용자의 행위, 사회생활, 시공간 및 감정 정보를 이용하여, 발생 순서와 유지 시간을 고려하여 에피소드를 구성한다.
구성된 에피소드는 '이동(30분) → 업무(120분) → 학습(30분) ??'과 같은 형태로 표현된다.
S420 단계에서, 생성된 에피소드를 이용하여 시간대 별 시퀀스 데이터를 정의하여 생성한다.
시퀀스 데이터를 구성하기 위해 시간대(time-slot)는 통상적으로 사용되는 아침(9:00~12:00), 점심(12:00~14:00), 오후(14:00~18:00), 저녁(18:00~21:00), 밤(21:00~24:00), 새벽(00:00~06:00), 이른 아침(06:00~09:00) 시간으로 나눌 수 있고, 사용자가 필요에 따라 임의로 정의할 수도 있다.
시간대 안에서 행위를 기준으로 하여 사회생활, 시공간 및 감정 정보를 조합하여, 일어난 순서와 지속 시간 정보에 따른 시퀀스 데이터를 생성하면 시간대 별 에피소드의 구성이 가능하다.
S420 단계에서 시간대 별 에피소드를 하루 단위 그룹으로 나누면, 일별 에피소드 시퀀셜 패턴(episodic sequential pattern)을 나타내기 위한 시퀀스 데이터의 생성이 가능하며, 이와 같은 시퀀스 데이터는 사용자의 라이프스타일 서사로 해석된다.
S430 단계는 라이프스타일 서사를 나타내는 사용자의 시퀀스 데이터를 입력값으로 하여, 시퀀셜 패턴 마이닝을 적용하여 수집된 기간 동안의 습관적 패턴을 추출한다.
본 발명의 실시예에 따른 습관적 패턴 추출은 특정 사건이 특정 시간에 얼마나 반복 발생하는지에 대한 것이 아니라, 연속된 사건으로 구성된 패턴으로 사용자의 라이프스타일의 서사를 나타낸다.
예컨대, A 사용자의 데이터를 예로 들어, '차를 타고 이동 → 직장에서 동료와 업무 → 동료와 학습 → 이동 → 친구와 사회활동 → 친구와 식사'의 패턴과 '가족과 운동 → 가족과 사회활동' 패턴은 A 사용자의 습관적 패턴이고, '혼자서 외부에서 레저 → 친구와 사회활동' 패턴은 드물게 발생하는 패턴이라고 가정하면, A 사용자의 라이프스타일을 서사적으로 구성한 패턴 정보에 따르면 A 사용자가 혼자 레저활동을 하고 친구를 만나는 일은 드문 일이라는 것을 확인할 수 있다.
S440 단계는 S430 단계에서 추출된 습관/비습관 패턴을 이용하여 기설정 기간 별(예: 일별)로 습관 지수를 계산한다.
일별 습관 지수는 데이터가 수집된 기간 동안 사용자가 자주 또는 오랜 시간 동안 지속적으로 반복한 패턴들이 하루동안 얼마나 나타났는지를 표시하는 지수이다.
일별 습관 지수는 행동, 사회관계, 시공간 그리고 감정에 대해서 각각 계산될 수 있다.
S450 단계는 행동 습관지수, 사회관계 습관지수, 시공간 습관지수 및 감정 습관지수를 통해 일별로 얼마나 평소와 비슷한 날을 보냈는지 확인한다.
즉, 행동 습관지수가 높으면 행동을 기준으로 사용자의 라이프스타일로 정의될 수 있는 날을 보냈다고 판단할 수 있다.
전술한 예의 A 사용자의 경우, 아침에 일어나서 아침 준비를 하고, 회사로 이동하여 업무하고, 공부하고, 친구를 만나 식사를 하는 평소 라이프스타일 대로의 하루가 될 수 있다.
반면, 시공간 습관지수가 낮으면 해당 일은 시공간을 기준으로 사용자과 평소와 다른 즉, 라이프스타일에서 벗어난 날을 보냈다고 판단한다.
이에 대하여, 사용자가 오전에는 집과 직장 근처에 있었지만 오후에 평소 잘 가지 않았던 먼 지방으로 이동하여 몇 시간을 머무르다가 또 다른 먼 지방으로 이동을 하는 패턴과 같은 비일상적 패턴으로 구성된 하루를 보낸 날을 예시로 들 수 있다.
일별 습관 지수를 기준으로 습관적인 날과 비습관적 날을 구분할 수 있으며 필요에 따라서는 습관에서 비습관까지의 단계를 더 세분화한 그룹으로 나눌 수 있다.
S450 단계는 이러한 방법을 통해, 각 그룹을 구성하고 있는 시퀀스 데이터의 패턴과 시퀀스 데이터로부터 라이프스타일을 파악할 수 있는 정보를 프로파일링한다.
S460 단계는 라이프스타일 분석 결과를 이용하여, 일별 시퀀스 패턴 및 습관지수로 표현된 라이프스타일과 일별 마음 상태에 대한 상관관계를 분석한다.
이 때, 입력값으로, 일별 시퀀스 패턴에서 도출된 라이프스타일을 나타내는 행위, 사회 관계, 시공간 및 감정에 대한 습관지수와 마음 상태를 나타내는 스트레스, 감정 상태 및 수면 상태에 대한 값이 입력된다.
S460 단계에서, 일별 시퀀스 패턴을 라이프스타일로 인식하기 위해 단기간/장기간 영향에 따른 라이프스타일 별 고유 주기를 고려한다.
예를 들면 짧은 주기는 일별 라이프스타일을 기준으로 하고, 중간 길이의 주기는 주중/주말의 주기를 기준으로 하고, 장기간의 라이프스타일 분석이 필요한 경우에는 분기와 같은 긴 주기를 기준으로 한다.
이러한 고유 주기를 고려하기 위해서 계절 요인을 고려한 인과관계 또는 예측 알고리즘을 적용한다.
이때 적용 가능한 알고리즘의 예로, 짧은 기간의 데이터인 경우에는 이동평균 기반의 예측 분석이 적용할 수 있고, 긴 기간의 데이터의 경우에는 계절성을 고려한 예측(seasonal forecasting) 분석을 적용할 수 있으며, 그 밖에도 Hidden Markov Chain, path analysis 같은 분석 방법을 적용할 수 있다.
S470 단계는 상관관계 분석 결과를 이용하여, 사용자의 특정한 마음 상태에 영향을 미치는 라이프스타일 요인을 도출한다.
예컨대, 평일 습관적인 행위 및 시공간 패턴이 계속되는 경우 스트레스가 많고 부정적인 마음 상태가 지속되는 결과가 나올 수 있다.
또, 주말에 사회 활동과 시공간 패턴이 평소 라이프스타일과 다른 경우 그 다음 주중의 마음 패턴이 긍정적인 상태를 계속 유지하는 결과가 나올 수 있다.
도 5는 본 발명의 실시예에 따른 라이프스타일 분석 결과 예시를 도시한다.
인과관계 분석 결과에 따른 해석은 도 5에 도시한 바와 같이, 행위 또는 맥락 시퀀스 패턴으로 표현되며, 결과로 도출된 사용자 라이프스타일의 서사(lifestyle narrative)는 특정 기분에 유의미한 영향을 끼치는 것을 확인할 수 있다.
도 5를 참조하면, 사용자가 운동을 하고(time-slot5), 식사 후(time-slot6), 친구들과 춤을 추는(time-slot7) 서사는 전체 데이터 수집 기간에서 사회적(30%)으로나 시공간적(10%)으로 자주 일어나는 일이 아니다.
그러나, 이러한 서사는 주로 봄의 주말에 나타나는 계절적, 시간적 의미를 가지며, 마음 상태(mind state)를 긍정적으로 만들어주는 서사임을 확인할 수 있다.
본 발명의 실시예에 따르면, 개인의 라이프스타일 서사, 라이프스타일 서사로부터 도출된 습관지수, 사용자의 마음 상태와 라이프스타일 간의 인과관계 분석 결과는 사용자 및 사용자의 보호자, 의사 등에게 사용자의 마음 건강 관리에 필요한 적절한 조치를 취할 수 있는 방법을 제시함에 있어 근거로 사용될 수 있다.
본 발명의 실시예에 따르면, 객관적인 데이터를 수집하여 사용자의 맥락을 인식하고, 사용자 개인의 라이프스타일의 서사를 도출한다.
이러한 라이프스타일의 서사는 사용자가 관리하고자 하는 특정 마음상태로 가는 행동과 맥락의 경로를 나타내며, 운동량, 휴식시간 관리에 이용되는 정보보다 더욱 구체적이고 많은 정보를 토대로 생성된다.
본 발명에 따른 라이프스타일 인식을 위한 서사 생성 방법은 (a) 사용자의 생체 정보, 활동 정보 및 환경 정보를 수집하여 전처리를 수행하는 단계와, (b) (a) 단계에서 전처리가 수행된 데이터를 이용하여 사용자의 행위, 사회 생활, 시공간 및 마음 상태로 구성되는 맥락정보로 구성된 에피소드를 구성하는 단계와, (c) 에피소드를 그룹화하여 시퀀스 데이터를 생성하고, 사용자의 라이프스타일 서사로 해석하는 단계와, (d) 서사를 이용하여 습관적 패턴 및 비습관적 패턴을 추출하는 단계 및 (e) 사용자의 라이프스타일과 마음 상태에 대한 상관관계를 분석하는 단계를 포함하는 것을 특징으로 한다.
(a) 단계는 멀티모달 센서 데이터 및 디바이스 사용 로그 데이터를 포함하는 정보를 수집하여, 시간 기준으로 동기화하는 전처리를 수행한다.
(b) 단계는 정보 발생 순서 및 지속 시간 정보에 따라 시간대 별로 에피소드를 생성한다.
(c) 단계는 에피소드를 기설정된 시간 단위의 그룹으로 나누어, 시퀀스 데이터를 생성한다.
(d) 단계는 시퀀셜 패턴 마이닝을 적용하여 수집된 기간 동안의 습관적 패턴을 추출하여, 연속된 사건으로 구성된 패턴으로 사용자의 라이프스타일 서사를 생성한다.
(d) 단계는 맥락 정보의 카테고리 별로 습관지수를 추출한다.
도 6은 본 발명의 실시예에 따른 라이프스타일 인식을 위한 서사 생성 장치를 도시한다.
본 발명의 실시예에 따른 라이프스타일 인식을 위한 서사 생성 장치는 라이프스타일 인식을 위한 서사 생성의 기본 자료를 수집하는 입력부(610)와, 기본 자료를 이용하여 사용자의 라이프스타일 서사를 생성하는 프로그램이 저장된 메모리(620) 및 프로그램을 실행시키는 프로세서(630)를 포함하고, 프로세서(630)는 라이프스타일 서사를 이용하여 마음 상태의 원인 및 마음 상태의 결과에 대한 인과 관계 분석을 수행한다.
입력부(610)는 생체 정보, 환경 정보, 활동 정보를 포함하는 데이터를 수집한다.
프로세서(630)는 사용자의 행위, 사회 생활, 시공간 및 마음 상태로 구성되는 맥락 정보를 생성하고, 습관적 또는 비습관적 서사에 대한 패턴을 추출한다.
프로세서(630)는 시퀀셜 패턴 마이닝을 적용하여 습관적 패턴을 추출하고, 연속된 사건으로 구성된 패턴을 이용하여 사용자의 라이프스타일 서사를 생성한다.
프로세서(630)는 패턴을 이용하여 습관 지수를 도출하고, 습관 지수를 이용하여 특정 마음 상태에 영향을 미치는 라이프스타일 패턴을 도출한다.
프로세서(630)는 습관 지수를 행동, 사회 관계, 시공간 및 감정에 대해 각각 계산한다.
본 발명의 다른 실시예에 따르면, 프로세서(630)는 기획득된 데이터를 이용하여 마음 상태에 대한 인과 관계 분석 결과를 제공할 뿐 아니라, 분석 결과를 이용하여 사용자의 행동 패턴을 제안한다.
예컨대, 전술한 예(도 5 참조)에서 사용자가 운동을 하고, 식사 후 친구들과 춤을 추는 서사의 경우, 마음 상태를 긍정적으로 만들어주는 서사임이 분석 결과로 획득된다.
프로세서(630)는 해당 분석 결과를 고려하여, 현재 봄(예: 3월~5월) 계절인 상황에서, 해당 서사에 해당되는 정보가 최근 기간(예: 3개월) 이내에 획득되지 않았고, 사용자의 마음 상태가 지속적으로 우울한 것으로 관찰되는 경우, 해당 서사에 대응되는 행동 패턴을 사용자에게 제시하여 추천하는 것이 가능하다.
예를 들어, 프로세서(630)는 사용자 디바이스로 안내 메시지를 전송하여, "날씨가 좋은 봄 계절입니다. 오랜만에 지인들과 골프 라운딩을 가지시고, 맛있는 식사 후에 클럽에서 함께 즐거운 시간을 보내시는 것은 어떠실까요?"에 대한 안내 메시지를 전송한다.
이를 통해, 기획득된 데이터를 이용하여 분석 결과를 제시함에 그치지 않고, 긍정적인 마음 상태를 이끌어낼 수 있는 행동 패턴을 사용자에게 추천함으로써, 보다 능동적인 서비스 제공이 가능하다.
다만, 이러한 서비스를 제공함에 있어서, 기획득된 정보를 활용하여, "사용자가 해당 행동 패턴을 실현할 수 있는지"에 대한 여부를 확인한다.
예를 들어, 사용자가 교통사고로 인해 현재 장기간 입원 중이라는 데이터가 확보된 상황에서, 전술한 안내 메시지를 전송하는 것은 오히려 사용자에게 역효과를 일으킬 수 있다.
따라서 이러한 경우, 해당 안내 메시지를 제공하지 않고, (사용자의 사전 승인이 이루어진 경우) 기확보된 데이터베이스를 이용하여 타임라인 메시지 제공과 같이, "작년 이맘 때의 즐거운 추억이 담긴 사진입니다. 기분 전환용으로 살펴보시겠습니까?"라는 안내 문구와 함께, 즐거운 추억에 해당되는 서사의 사진, 동영상을 사용자 디바이스로 제공하는 것이 가능하다.
한편, 본 발명의 실시예에 따른 라이프스타일 인식을 위한 서사 생성 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 라이프스타일 인식을 위한 서사 생성 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 라이프스타일 인식을 위한 서사 생성 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 라이프스타일 인식을 위한 서사 생성 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 라이프스타일 인식을 위한 서사 생성 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

Claims (19)

  1. 멀티모달 센서 데이터와 사용자의 디바이스 사용 로그 데이터를 수신하여 저장하는 서버;
    상기 서버로부터 상기 멀티모달 센서 데이터 및 디바이스 사용 로그 데이터를 호출하여 맥락 정보를 인식하되, 사용자의 행위, 사회 생활, 시공간 및 마음 상태로 구성되는 시간 별 상기 맥락정보를 인식하고, 사용자 개인의 서사를 생성하고 라이프스타일 정보를 도출하는 컴퓨팅 디바이스; 및
    상기 라이프스타일 정보를 이용하여 시각화를 수행하고, 분석 결과 확인에 대한 옵션을 제공하는 디스플레이 디바이스를 포함하고,
    상기 컴퓨팅 디바이스는 사전에 정의한 시간대를 기준으로 상기 서사를 구분하고, 습관적 서사 및 비습관적 서사에 대한 패턴을 추출하고, 상기 패턴을 이용하여 상기 사용자의 행위, 사회 생활, 시공간 및 마음 상태 별 습관 지수를 도출하고, 상기 습관 지수를 이용하여 마음 상태에 영향을 미치는 라이프스타일 패턴을 도출하고,
    상기 컴퓨팅 디바이스는 기획득된 데이터를 이용하여 긍정적인 마음 상태를 이끌어낼 수 있는 사용자의 행동 패턴을 제안하되, 사용자가 해당 행동 패턴을 실현할 수 있는지 여부를 확인하여 상기 행동 패턴을 추천하고, 상기 사용자가 해당 행동 패턴을 실현할 수 없는 것으로 확인되는 경우 기확보된 데이터베이스를 이용하여 타임라인 메시지를 제공하는 것
    인 라이프스타일 인식을 위한 서사 생성 시스템.
  2. 제1항에 있어서,
    상기 멀티모달 센서 데이터는 생체 정보, 환경 정보를 포함하는 것
    인 라이프스타일 인식을 위한 서사 생성 시스템.
  3. 제1항에 있어서,
    상기 컴퓨팅 디바이스는 상기 멀티모달 센서 데이터 및 디바이스 사용 로그 데이터를 시간 기준으로 동기화하고 통합하는 전처리를 수행하는 것
    인 라이프스타일 인식을 위한 서사 생성 시스템.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 디스플레이 디바이스는 조회 기간, 시간 간격, 마음 상태 별 분석 결과 확인, 위치 별 분석 결과 확인 중 적어도 어느 하나의 옵션이 적용된 반응형 사용자 인터페이스를 제공하는 것
    인 라이프스타일 인식을 위한 서사 생성 시스템.
  8. (a) 사용자의 생체 정보, 활동 정보 및 환경 정보를 수집하여 전처리를 수행하는 단계;
    (b) 상기 (a) 단계에서 전처리가 수행된 데이터를 이용하여 사용자의 행위, 사회 생활, 시공간 및 마음 상태로 구성되는 맥락정보로 구성된 에피소드를 구성하는 단계;
    (c) 상기 에피소드를 그룹화하여 시퀀스 데이터를 생성하고, 사용자의 라이프스타일 서사로 해석하는 단계;
    (d) 상기 서사를 이용하여 습관적 패턴 및 비습관적 패턴을 추출하는 단계;
    (e) 상기 사용자의 라이프스타일과 마음 상태에 대한 상관관계를 분석하는 단계; 및
    (f) 기획득된 데이터를 이용하여 긍정적인 마음 상태를 이끌어낼 수 있는 사용자의 행동 패턴을 제안하되, 사용자가 해당 행동 패턴을 실현할 수 있는지 여부를 확인하여 상기 행동 패턴을 추천하고, 상기 사용자가 해당 행동 패턴을 실현할 수 없는 것으로 확인되는 경우 기확보된 데이터베이스를 이용하여 타임라인 메시지를 제공하는 단계를 포함하고,
    상기 (d) 단계는 상기 습관적 패턴 및 비습관적 패턴을 이용하여 기설정된 기간 별로 상기 사용자의 행위, 사회 생활, 시공간 및 마음 상태 별 습관 지수를 계산하고, 상기 (e) 단계는 상기 사용자의 마음 상태에 영향을 미치는 라이프스타일 패턴을 도출하는 것
    인 라이프스타일 인식을 위한 서사 생성 방법.
  9. 제8항에 있어서,
    상기 (a) 단계는 멀티모달 센서 데이터 및 디바이스 사용 로그 데이터를 포함하는 정보를 수집하여, 시간 기준으로 동기화하는 전처리를 수행하는 것
    인 라이프스타일 인식을 위한 서사 생성 방법.
  10. 제8항에 있어서,
    상기 (b) 단계는 정보 발생 순서 및 지속 시간 정보에 따라 시간대 별로 상기 에피소드를 생성하는 것
    인 라이프스타일 인식을 위한 서사 생성 방법.
  11. 제8항에 있어서,
    상기 (c) 단계는 상기 에피소드를 기설정된 시간 단위의 그룹으로 나누어, 상기 시퀀스 데이터를 생성하는 것
    인 라이프스타일 인식을 위한 서사 생성 방법.
  12. 제8항에 있어서,
    상기 (d) 단계는 시퀀셜 패턴 마이닝을 적용하여 수집된 기간 동안의 상기 습관적 패턴을 추출하여, 연속된 사건으로 구성된 패턴으로 사용자의 라이프스타일 서사를 생성하는 것
    인 라이프스타일 인식을 위한 서사 생성 방법.
  13. 삭제
  14. 라이프스타일 인식을 위한 서사 생성의 기본 자료를 수집하는 입력부;
    상기 기본 자료를 이용하여 사용자의 라이프스타일 서사를 생성하는 프로그램이 저장된 메모리; 및
    상기 프로그램을 실행시키는 프로세서를 포함하고,
    상기 프로세서는 사용자의 행위, 사회 생활, 시공간 및 마음 상태로 구성되는 맥락 정보를 생성하고, 습관적 또는 비습관적 서사에 대한 패턴을 추출하고, 기설정된 기간 별로 상기 사용자의 행위, 사회 생활, 시공간 및 마음 상태 별 습관 지수를 계산하고, 상기 라이프스타일 서사를 이용하여 마음 상태의 원인 및 상기 마음 상태의 결과에 대한 인과 관계 분석을 수행하고, 상기 습관 지수를 이용하여 특정 마음 상태에 영향을 미치는 라이프스타일 패턴을 도출하고,
    상기 프로세서는 기획득된 데이터를 이용하여 긍정적인 마음 상태를 이끌어낼 수 있는 사용자의 행동 패턴을 제안하되, 사용자가 해당 행동 패턴을 실현할 수 있는지 여부를 확인하여 상기 행동 패턴을 추천하고, 상기 사용자가 해당 행동 패턴을 실현할 수 없는 것으로 확인되는 경우 기확보된 데이터베이스를 이용하여 타임라인 메시지를 제공하는 것
    인 라이프스타일 인식을 위한 서사 생성 장치.
  15. 제14항에 있어서,
    상기 입력부는 생체 정보, 환경 정보, 활동 정보를 포함하는 데이터를 수집하는 것
    인 라이프스타일 인식을 위한 서사 생성 장치.
  16. 삭제
  17. 제14항에 있어서,
    상기 프로세서는 시퀀셜 패턴 마이닝을 적용하여 습관적 패턴을 추출하고, 연속된 사건으로 구성된 패턴을 이용하여 상기 사용자의 라이프스타일 서사를 생성하는 것
    인 라이프스타일 인식을 위한 서사 생성 장치.
  18. 삭제
  19. 삭제
KR1020200134238A 2020-10-16 2020-10-16 라이프스타일 인식을 위한 서사 생성 장치 및 그 방법 KR102506646B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200134238A KR102506646B1 (ko) 2020-10-16 2020-10-16 라이프스타일 인식을 위한 서사 생성 장치 및 그 방법
US17/503,051 US20220122727A1 (en) 2020-10-16 2021-10-15 Apparatus and method for generating narrative for lifestyle recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200134238A KR102506646B1 (ko) 2020-10-16 2020-10-16 라이프스타일 인식을 위한 서사 생성 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220050495A KR20220050495A (ko) 2022-04-25
KR102506646B1 true KR102506646B1 (ko) 2023-03-07

Family

ID=81185617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200134238A KR102506646B1 (ko) 2020-10-16 2020-10-16 라이프스타일 인식을 위한 서사 생성 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20220122727A1 (ko)
KR (1) KR102506646B1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012502343A (ja) * 2008-09-03 2012-01-26 ハイジネックス インコーポレイテッド 衛生習慣を監視するための方法およびシステム
KR101510860B1 (ko) * 2012-11-08 2015-04-10 아주대학교산학협력단 사용자 의도 파악 어플리케이션 서비스 방법 및 서버와 이를 이용한 사용자 의도 파악 어플리케이션 서비스 시스템
KR20140147168A (ko) * 2013-06-18 2014-12-30 아주대학교산학협력단 개인화된 라이프 스타일 모델링 장치 및 방법
US9993197B2 (en) * 2013-06-21 2018-06-12 Fitbit, Inc. Patient monitoring systems and messages that send alerts to patients only when the patient is awake
KR20150000590A (ko) * 2013-06-25 2015-01-05 아주대학교산학협력단 라이프스타일 데이터 관리 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
조위덕 et al. 스마트 웰니스: IOT 빅데이터 센싱에 의한 생활습관 영향 요소분석기술(2017.12.31.) 1부.*

Also Published As

Publication number Publication date
US20220122727A1 (en) 2022-04-21
KR20220050495A (ko) 2022-04-25

Similar Documents

Publication Publication Date Title
US20230221801A1 (en) Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
US11553870B2 (en) Methods for modeling neurological development and diagnosing a neurological impairment of a patient
Ghandeharioun et al. Objective assessment of depressive symptoms with machine learning and wearable sensors data
US10606353B2 (en) Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
US20180096738A1 (en) Method for providing health therapeutic interventions to a user
US20160302711A1 (en) Notifying a user about a cause of emotional imbalance
US20160117937A1 (en) System and method for providing biometric and context based messaging
CN101553855A (zh) 经由可视日志的记忆训练
US20210383926A1 (en) Mental health assessment system and method
US20200285700A1 (en) Technology-Facilitated Support System for Monitoring and Understanding Interpersonal Relationships
US20190008466A1 (en) Life log utilization system, life log utilization method, and recording medium
US20210110924A1 (en) System and method for monitoring system compliance with measures to improve system health
Girardi et al. The way it makes you feel predicting users’ engagement during interviews with biofeedback and supervised learning
KR102506646B1 (ko) 라이프스타일 인식을 위한 서사 생성 장치 및 그 방법
Majumder et al. A smart cyber-human system to support mental well-being through social engagement
US20220206745A1 (en) Relationship analysis utilizing biofeedback information
Theilig et al. Employing environmental data and machine learning to improve mobile health receptivity
Arora et al. Deep‐SQA: A deep learning model using motor activity data for objective sleep quality assessment assisting digital wellness in healthcare 5.0
Tazarv et al. Active reinforcement learning for personalized stress monitoring in everyday settings
Qirtas et al. Personalising Loneliness Detection through Behavioural Grouping of Passive Sensing Data from College Students
Parousidou Personalized Machine Learning Benchmarking for Stress Detection
US20220148708A1 (en) Technology-facilitated support system for monitoring and understanding interpersonal relationships
Limbani et al. WEARS: Wearable Emotion AI with Real-time Sensor data
Muaremi Wearable sensing of mental health and human behavior
CN116052844A (zh) 一种基于数字生物标志物的认知障碍因果推理系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant