KR102470148B1 - 멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 시스템, 컴퓨팅 디바이스 및 방법 - Google Patents
멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 시스템, 컴퓨팅 디바이스 및 방법 Download PDFInfo
- Publication number
- KR102470148B1 KR102470148B1 KR1020180118322A KR20180118322A KR102470148B1 KR 102470148 B1 KR102470148 B1 KR 102470148B1 KR 1020180118322 A KR1020180118322 A KR 1020180118322A KR 20180118322 A KR20180118322 A KR 20180118322A KR 102470148 B1 KR102470148 B1 KR 102470148B1
- Authority
- KR
- South Korea
- Prior art keywords
- behavior
- sleep
- user
- information
- computing device
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0024—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Abstract
본 발명에 따른 멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 시스템은 사용자의 신체에 부착되어 센서모듈을 통해 데이터를 수집하는 사용자 디바이스 및 상기 데이터로부터 사용자의 행동을 인식하고, 상기 인식된 사용자의 행동의 선후 관계에 기초하여 행동 시퀀스 세트를 생성하며, 상기 행동 시퀀스 세트에 기초하여 사용자의 행위를 수면 행위와 비수면 행위로 클러스터링을 수행하고, 상기 클러스터링된 비수면 행위와 상기 수면 행위의 시간 정보를 포함한 시퀀스들 사이의 연관성 분석을 통해 상기 수면 행위와 연관된 비수면 행위의 패턴을 추출하여 상기 사용자 디바이스로 제공하는 컴퓨팅 디바이스를 포함한다.
Description
본 발명은 멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 시스템, 컴퓨팅 디바이스 및 방법에 관한 것이다.
웨어러블 디바이스가 보편화됨에 따라, 사용자의 라이프스타일을 센싱하기 위한 다양한 서비스들이 제공되고 있으며, 사람의 수면 관련 행위를 분석하는 서비스도 제안되고 있다.
즉, 충분한 수면이 사람의 건강뿐 아니라 업무 성과에 영향을 미치는 것으로 드러나, 웨어러블 디바이스를 이용해 수면 상태를 측정하여 사용자가 건강한 생활을 영위할 수 있도록 보조하는 서비스가 제안되고 있다.
그러나 이들 서비스는 수면과 활동량 각각의 모니터링 결과만을 제공하고 있는데 불과하며, 사용자가 실제로 수면의 질을 높이기 위해 수면과 관련된 생활 습관 중 무엇을 개선해야 하는지에 대한 정보는 제공하고 있지 않은 실정이다.
좋은 수면을 위해서는 수면 위생(sleep hygiene)이 중요한 것으로 밝혀졌고, 이를 바탕으로 장애가 있는 사람을 대상으로 인지행동치료(cognitive-behavioral therapy for insomnia, CBT-I), 수면위생교육(Sleep hygiene education, SHE) 및 마음챙김 기반 치료(mindfulness-based therapy)가 일반적으로 시행되고 있다.
국제 진료지침에서는 보통 CBT-I가 제 1 치료법으로 권고되고 있으며, CBT-I는 기본적으로 (1)규칙적인 수면 시간을 강제하는 수면 제한(sleep restriction), (2) 수면을 방해하는 자극 제어(stimulus control), (3) 수면에 대한 걱정이나 관련 행동을 하지 않도록 하는 인지 재구성(cognitive) 세가지로 구성된다. 최근까지도 이에 대한 효과성과 시행 방법에 대한 다양한 임상 연구가 진행되고 있으며 외부 요인의 개입을 최소화하는 방향으로 치료방법을 개선하고 있다.
이와 같은 방식을 수행하는 데는 상담사 등의 개입은 최소화되어 대상자에게 심적 스트레스를 주지 않을 수 있다는 장점이 있기는 하나, 그런 경우 치료 대상자가 수면 일기 작성 등 번거로운 노력을 기울여야 하고 또한 노력 수행 여부를 스스로 확인해야 한다는 단점이 있다.
또한, 종래 기술에 따르면 사용자는 수면 패턴과 일상 활동량에 대한 기록 외에 신체 정보를 직접 입력해야 하는 불편함이 있고, 수면에 영향을 미치는 것으로 알려진 행위들을 직접 입력해야 하기 때문에 정확한 분석 결과를 제공받지 못하는 문제가 있었다.
본 발명의 실시예는 사용자 디바이스를 통해 수집된 온바디 센서 데이터에 기초하여 사용자의 일상생활에서 이루어지는 활동들을 자동으로 인식하고, 이를 수면행위와 비수면행위로 구분 및 상호간의 연관성을 분석하여 사용자가 건강한 수면을 취할 수 있는 생활 습관과 관련된 행동 패턴 정보를 제공하는 멀티모달 센서 데이터를 이용한 수면 관련행위 패턴 분석 시스템, 컴퓨팅 디바이스 및 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 시스템은 사용자의 신체에 부착되어 센서모듈을 통해 데이터를 수집하는 사용자 디바이스 및 상기 데이터로부터 사용자의 행동을 인식하고, 상기 인식된 사용자의 행동의 선후 관계에 기초하여 행동 시퀀스 세트를 생성하며, 상기 행동 시퀀스 세트에 기초하여 사용자의 행위를 수면 행위와 비수면 행위로 클러스터링을 수행하고, 상기 클러스터링된 비수면 행위와 상기 수면 행위의 시간 정보를 포함한 시퀀스들 사이의 연관성 분석을 통해 상기 수면 행위와 연관된 비수면 행위의 패턴을 추출하여 상기 사용자 디바이스로 제공하는 컴퓨팅 디바이스를 포함한다.
상기 사용자 디바이스는 상기 데이터로 사용자 데이터 및 주변환경 데이터를 수집하고, 상기 컴퓨팅 디바이스는 상기 사용자 데이터 및 주변환경 데이터에 기초하여 사용자의 행동을 인식할 수 있다.
상기 컴퓨팅 디바이스는 상기 인식된 사용자의 행동 중, 특정 행동이 종료되기 전 시작한 행동, 특정 행동이 종료됨과 동시에 시작하는 행동, 특정 행동과 같이 시작하였으나 종료 시점이 다른 행동의 경우 동일한 행동 시퀀스 세트로 생성할 수 있다.
상기 컴퓨팅 디바이스는 상기 각 행동 시퀀스 세트의 시간 차이 및 상기 행동 시퀀스 세트 내 포함된 사용자의 행동 개수에 기초하여 상기 행동 시퀀스 세트를 구분할 수 있다.
상기 컴퓨팅 디바이스는 기 설정된 기준에 따른 상관도 이상을 갖는 사용자의 행동들의 시퀀스를 하나의 행동 시퀀스 세트로 생성할 수 있다.
상기 컴퓨팅 디바이스는 상기 사용자의 행동들의 시간 정보, 위치 정보 및 운동량 정보 중 하나 이상에 기초하여 상기 상관도를 분석할 수 있다.
상기 컴퓨팅 디바이스는 생활 분류 체계에 대한 도메인 지식에 기초하여 상기 행동 시퀀스 세트에 대한 레이블 정보를 생성하고, 상기 행동 시퀀스 세트에 포함된 시간 정보에 기초하여, 상기 행동 시퀀스 세트에 대한 시퀀스 패턴 조합을 통해 상기 사용자의 행위로 생성할 수 있다.
상기 컴퓨팅 디바이스는 미리 저장된 생활 분류 체계에 대한 상위 항목에 대한 도메인 지식 또는 통계적 데이터에 기초하여 상기 행동 시퀀스 세트의 시퀀스 패턴의 발생 빈도에 대하여 통계적 분석을 수행하고, 상기 통계적 분석을 수행한 결과에 기초하여 상기 행동 시퀀스 세트를 그룹화하여 상기 사용자의 행위로 생성할 수 있다.
상기 컴퓨팅 디바이스는 수면 전문 도메인 지식에 기초하여 상기 수면 행위의 특징 정보를 추출하고, 상기 센서모듈을 통해 수신한 데이터에 기초하여 상기 비수면 행위의 특징 정보를 추출하며, 상기 추출된 각 특징 정보에 기초하여 상기 클러스터링을 수행할 수 있다.
상기 컴퓨팅 디바이스는 수면에 이르기까지의 소요 시간, 수면 중 깬 시간, 수면 중 깬 횟수, 수면 효율성 정보 중 하나 이상을 상기 수면 행위의 특징 정보로 추출하고, 상기 센서모듈을 통해 수신한 데이터로부터 활동량 정보, 심박수에 기초한 정보, 육체적 운동 정보 및 수면으로부터 일정 시간 이전의 활동 정보를 비수면 행위의 특징 정보로 추출할 수 있다.
상기 컴퓨팅 디바이스는 상기 클러스터링된 수면 행위 클러스터와 기 설정된 연관도 이상을 갖는 상기 비수면 행위 클러스터에 대하여 시퀀스 분석을 수행하여 상기 비수면 행위 클러스터의 시퀀스 패턴을 추출할 수 있다.
상기 컴퓨팅 디바이스는 상기 비수면 행위 클러스터의 시퀀스 패턴 중에서 중복된 시퀀스 패턴에 기초하여 상기 사용자 디바이스로 제공하기 위한 습관 정보를 생성할 수 있다.
상기 컴퓨팅 디바이스는 상기 클러스터링을 수행하여 상기 비수면 행위 클러스터와 상기 수면 행위 클러스터에 대하여 각각 등급 정보를 생성하고, 상기 등급 정보 중 등급이 낮은 제 1 수면 행위 클러스터와 연관된 비수면 행위 클러스터가 인식된 경우, 상기 인식된 비수면 행위 클러스터 이후에 발생되는 상기 제 1 수면 행위 클러스터보다 등급이 높은 제 2 수면 행위 클러스터와 연관된 비수면 행위 클러스터를 상기 사용자 디바이스로 제공하기 위한 습관 정보로 생성할 수 있다.
상기 사용자 디바이스는 상기 컴퓨팅 디바이스에 의해 생성 또는 분석된 정보를 출력하는 디스플레이 모듈을 더 포함할 수 있다.
또한, 본 발명의 제 2 측면에 따른 멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 컴퓨팅 디바이스는 사용자 디바이스와 데이터를 송수신하는 통신모듈, 상기 데이터에 기초하여 사용자의 수면 관련행위 패턴을 분석하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 사용자의 신체에 부착된 사용자 디바이스로부터 센싱된 데이터를 상기 통신모듈을 통해 수신하면, 상기 데이터로부터 사용자의 행동을 인식하고, 상기 인식된 사용자의 행동의 선후 관계에 기초하여 행동 시퀀스 세트를 생성하며, 상기 행동 시퀀스 세트에 기초하여 사용자의 행위를 수면 행위와 비수면 행위로 클러스터링을 수행하고, 상기 클러스터링된 비수면 행위 클러스터와 상기 수면 행위 클러스터 간의 시간 정보를 포함한 시퀀스들 사이의 연관성 분석을 통해 상기 수면 행위와 연관된 비수면 행위의 패턴을 추출하여 상기 사용자 디바이스로 제공한다.
또한, 본 발명의 제 3 측면에 따른 멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 방법은 사용자의 신체에 부착된 센서모듈을 통해 데이터를 수신하는 단계; 상기 데이터로부터 사용자의 행동을 인식하는 단계; 상기 인식된 사용자의 행동의 선후 관계에 기초하여 행동 시퀀스 세트를 생성하는 단계; 상기 행동 시퀀스 세트에 기초하여 사용자의 행위를 수면 행위와 비수면 행위로 클러스터링하는 단계 및 상기 클러스터링된 비수면 행위 클러스터와 상기 수면 행위 클러스터 간의 시간 정보를 포함한 시퀀스들 사이의 연관성 분석을 통해 상기 수면 행위와 연관된 비수면 행위의 패턴을 추출하는 단계를 포함한다.
상기 행동 시퀀스 세트를 생성하는 단계는, 기 설정된 기준에 따른 상관도 이상을 갖는 사용자의 행동들의 시퀀스를 하나의 행동 시퀀스 세트로 생성할 수 있다.
상기 행동 시퀀스 세트에 기초하여 사용자의 행위를 수면 행위와 비수면 행위로 클러스터링하는 단계는, 상기 컴퓨팅 디바이스는 수면 전문 도메인 지식에 기초하여 상기 수면 행위의 특징 정보를 추출하는 단계; 상기 센서모듈을 통해 수신한 데이터에 기초하여 상기 비수면 행위의 특징 정보로 추출하는 단계 및 상기 추출된 각 특징 정보에 기초하여 상기 클러스터링을 수행하는 단계를 포함할 수 있다.
본 발명에 따른 수면 관련행위 패턴 분석 방법은 상기 비수면 행위 클러스터의 시퀀스 패턴 중에서 중복된 시퀀스 패턴에 기초하여 상기 사용자 디바이스로 제공하기 위한 습관 정보를 생성하는 단계를 더 포함할 수 있다.
본 발명에 따른 수면 관련행위 패턴 분석 방법은 상기 클러스터링을 수행하여 상기 비수면 행위 클러스터와 상기 수면 행위 클러스터에 대하여 각각 등급 정보를 생성하는 단계 및 상기 등급 정보 중 등급이 낮은 제 1 수면 행위 클러스터와 연관된 비수면 행위 클러스터가 인식된 경우, 상기 인식된 비수면 행위 클러스터 이후에 발생되는 상기 제 1 수면 행위 클러스터보다 등급이 높은 제 2 수면 행위 클러스터와 연관된 비수면 행위 클러스터를 상기 사용자 디바이스로 제공하기 위한 습관 정보를 생성하는 단계를 더 포함할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자의 습관을 인식할 수 있도록 시간 정보를 포함한 계층적 시퀀스 분석을 통해 단순 행동으로 구성된 고수준의 행위 패턴을 인식하고, 사용자의 습관을 개선하는 서비스에 직접적으로 적용이 가능한 정보를 생성하여 제공함으로써, 사용자 스스로도 인지하지 못하는 수면 관련 습관까지 파악하여 개선할 수 있다는 효과를 기대할 수 있다.
도 1은 본 발명의 일 실시예에 따른 수면 관련행위 패턴 분석 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 컴퓨팅 디바이스의 기능을 설명하기 위한 도면이다.
도 3은 행동 시퀀스 세트를 설명하기 위한 도면이다.
도 4는 행동 시퀀스 세트가 그룹화된 사용자의 행위를 설명하기 위한 도면이다.
도 5는 시퀀스 분석 결과에 따라 도출된 수면 행위 클러스터와 연관된 비수면 행위 클러스터의 일 예시이다.
도 6은 본 발명의 일 실시예에 따른 수면 관련행위 패턴 분석 방법의 순서도이다.
도 7은 행동 시퀀스 세트 및 사용자의 행위를 구성하는 내용을 설명하기 위한 순서도이다.
도 8은 수면 행위 클러스터와 연관된 비수면 행위 패턴을 생성하는 내용을 설명하기 위한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 컴퓨팅 디바이스의 기능을 설명하기 위한 도면이다.
도 3은 행동 시퀀스 세트를 설명하기 위한 도면이다.
도 4는 행동 시퀀스 세트가 그룹화된 사용자의 행위를 설명하기 위한 도면이다.
도 5는 시퀀스 분석 결과에 따라 도출된 수면 행위 클러스터와 연관된 비수면 행위 클러스터의 일 예시이다.
도 6은 본 발명의 일 실시예에 따른 수면 관련행위 패턴 분석 방법의 순서도이다.
도 7은 행동 시퀀스 세트 및 사용자의 행위를 구성하는 내용을 설명하기 위한 순서도이다.
도 8은 수면 행위 클러스터와 연관된 비수면 행위 패턴을 생성하는 내용을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 시스템(1), 컴퓨팅 디바이스(200) 및 방법에 관한 것이다.
본 발명은 다양한 센서들과 사용자 인터페이스를 위한 디스플레이를 포함하며 사용자가 상시 착용 가능한 사용자 디바이스(100)를 통해 분석 가능한 수준의 수면 및 비수면 행위에 대한 데이터를 취득하고, 취득한 데이터를 분석하여 수면과 관련된 습관과, 수면과 관련된 행위 패턴을 생성할 수 있다.
이를 위해, 본 발명은 (1) 원시 데이터로부터 사용자의 저수준 행동(Action)들을 인식하고, (2) 인식한 행동들의 순서와 연관성을 고려한 시간정보를 포함한 행동 시퀀스 세트를 구성하여 이들로부터 고수준 행위(Activtiy)들을 정의하며, (3) 고수준 행위들을 수면 행위와 수면 행위를 제외한 비수면 행위들로 나누어 수면 관련 도메인 지식을 활용한 특징을 이용하여 클러스터링 분석을 수행한다. (4) 그 다음 분석 결과 분류된 수면 행위 클러스터들과 비수면 행위 클러스터들을 구성하는 시간 정보를 포함하는 시퀀스들 간의 연관성 분석을 수행하여 수면 클러스터에 영향을 미치는 비수면 행위 클러스터들로 이루어진 행위 패턴을 도출한다. (5) 그 다음 수면 클러스터들 별로 행위 패턴들을 분석하여 사용자 디바이스(100)에서 활용 가능한 정보를 생성하여 제공한다.
이와 같은 본 발명에 따르면 사용자의 단순한 행동이나 행위만을 인식하여 제공하는 것에 그치지 않고, 사용자의 생활 습관과 관련된 정보를 생성할 수 있으며, 이를 통해 양질의 수면이라는 건강 유지에 있어 매우 중요한 행위에 영향을 미치는 개인의 습관 정보를 분석해 개인이 건강한 생활 습관을 형성하는데 도움을 줄 수 있다.
이하에서는 도 1 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 시스템(1)에 대하여 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 수면 관련행위 패턴 분석 시스템(1)의 블록도이다. 도 2는 본 발명의 일 실시예에 따른 컴퓨팅 디바이스(200)의 기능을 설명하기 위한 도면이다. 도 3은 행동 시퀀스 세트를 설명하기 위한 도면이다. 도 4는 행동 시퀀스 세트가 그룹화된 사용자의 행위를 설명하기 위한 도면이다. 도 5는 시간정보를 포함하는 시퀀스들 사이의 연관성 분석 결과에 따라 도출된 수면 행위 클러스터와 연관된 비수면 행위 클러스터의 일 예시이다.
먼저 도 1을 참조하면, 본 발명의 일 실시예에 따른 수면 관련행위 패턴 분석 시스템(1)은 사용자 디바이스(100) 및 컴퓨팅 디바이스(200)를 포함한다.
사용자 디바이스(100)는 사용자의 신체에 부착되어 센서모듈(110)을 통해 사용자 데이터 및 주변환경 데이터를 수집한다.
이때, 사용자 디바이스(100)는 사용자의 손목이나 머리 등 신체의 일부에 착용되는 밴드 타입이나, 신체의 일부에 부착하는 패치 타입으로 제공될 수 있다.
센서모듈(110)은 가속계, 지자계, 자이로 9축 센서, 심박수 센서, 피부 전도도 센서 및 피부 온도 센서 등과 같이 사용자의 신체나 행동과 관련된 데이터를 센싱할 수 있는 센서부와, 조도, 온도, GPS 및 WiFi 신호 등과 같이 사용자를 둘러싼 주변 환경과 관련된 데이터를 센싱할 수 있는 센서부를 포함할 수 있다.
또한, 사용자 디바이스(100)는 컴퓨팅 디바이스(200)에 의해 생성 또는 분석된 정보를 출력하거나, 사용자의 입력을 가능하게 하거나 사용자 입력 사항 및 생활 습관 관련 피드백을 제공하기 위한 서비스 화면과 관련된 사용자 인터페이스를 제공하기 위한 디스플레이 모듈(120)을 더 포함할 수 있다.
컴퓨팅 디바이스(200)는 서버 또는 클라우드 등의 형태로 구성되어, 사용자의 행동, 행위를 인식하고, 이를 통해 수면 행위와 관련된 비수면 행위에 대한 패턴을 추출하여 사용자 디바이스(100)로 제공한다. 또한, 컴퓨팅 디바이스(200)는 추출된 비수면 행위에 대한 패턴을 가공하여 사용자에게 양질의 수면을 취할 수 있도록 생활 습관을 개선하기 위한 다양한 피드백 서비스를 제공할 수 있다.
이러한 컴퓨팅 디바이스(200)는 통신모듈(210), 메모리(220) 및 프로세서(230)를 포함할 수 있다.
통신모듈(210)은 사용자 디바이스(100)와 데이터를 송수신할 수 있다. 이때, 통신 모듈(210)은 무선 통신 모듈을 포함할 수 있다. 무선 통신 모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, WiFi 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.
뿐만 아니라, 통신 모듈(210)은 유선 통신 모듈을 모두 포함할 수도 있다. 유선 통신모듈(210)은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 이에 따라, 본 발명의 일 실시예는 유선 통신 모듈을 이용하여 고속으로 사용자 디바이스(100)와의 데이터를 송수신할 수 있으며, 그밖에 유선 통신 모듈의 포트(예를 들어, 마이크로 USB 포트, 마이크로 5핀 단자 등)를 이용하여 배터리 충전 등의 기능을 제공할 수도 있다.
메모리(220)에는 사용자 디바이스(100)에서 수집된 데이터에 기초하여 사용자의 수면 관련행위 패턴을 분석하기 위한 프로그램이 저장되며, 프로세서(230)는 메모리(220)에 저장된 프로그램을 실행시킨다. 이때, 메모리(220)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(220)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
이하에서는 도 2를 참조하여 컴퓨팅 디바이스(200)의 프로세서(230)에 의해 수행되는 구체적인 기능을 설명하도록 한다.
수면에 영향을 미치는 일생 생활 습관 정보를 생성하는 프로세서(230)는 행동 인식부(231), 행위 인식부(232), 수면 관련 행위 추출부(233) 및 정보 생성부(234)를 포함한다.
행동 인식부(231)는 사용자 디바이스(100)로부터 수집된 사용자 데이터 및 주변환경 데이터에 기초하여 딥러닝 등 기계학습을 통해 사용자의 행동(Action)을 인식한다
이러한 사용자의 행동에는 걷기, 서기, 일어서기, 앉기, 눕기, 계단 오르기, 계단 내려가기 등과 같은 단순한 움직임이 해당할 수 있다.
행위 인식부(232)는 행동 인식부(231)에서 인식한 결과에 기초하여 행동들의 시퀀스를 분석하여 행동 시퀀스 세트를 생성한다.
구체적으로 행위 인식부(232)는 먼저 도 3과 같이 행동들의 선후 관계에 기초하여, 행동 인식부(231)에 의해 인식된 사용자의 행동 중 특정 행동이 종료되기 전 시작한 행동, 특정 행동이 종료됨과 동시에 시작하는 행동, 특정 행동과 같이 시작하였으나 종료 시점이 다른 행동의 경우 동일한 행동 시퀀스로 그룹화할 수 있다.
예를 들어, 도 3의 행동 시퀀스 세트 1(S1)에서 ‘행동 2’는 ‘행동 1’이 종료되기 전에 시작한 것이고, ‘행동 3’은 ‘행동 2’가 종료됨과 동시에 시작된 것이므로 ‘행동 1 내지 행동 3’은 하나의 행동 시퀀스 세트 1(S1)로 구성될 수 있다.
또한, 행동 시퀀스 세트 2(S2)에서 ‘행동 5’와 ‘행동 6’은 서로 동일하게 시작되었으나 종료 시점이 다른 행동인 것이고, ‘행동 6’은 ‘행동 4’가 종료됨과 동시에 시작되며 ‘행동 5’가 종료되기 전에 시작된 행동이므로 하나의 행동 시퀀스 세트 2(S2)로 구성될 수 있다.
이러한 관계로 구성된 행동 시퀀스들은 시간 정보를 고려하여 계산될 수 있는 각 그룹화된 행동 시퀀스 간의 시간 차이가 t초 이상인 경우와, 그룹화된 행동 시퀀스에 포함될 행동 개수가 n개로 제한된 경우를 기준으로 구분될 수 있다.
이렇게 생성된 행동 시퀀스들은 서로 다른 의미를 가지기도 하지만 비슷한 행동을 나타내기도 하므로, 이후 비슷한 행동 시퀀스들끼리 하나의 집합인 행동 시퀀스 세트로 구성하는 과정을 수행한다.
이를 위해 행위 인식부(232)는 이전 단계에서 생성된 행동 시퀀스들에 대해 상호간의 유사성 및 관계성을 분석한다.
예를 들어, 사람의 습관은 늘 똑 같은 시간 동안 똑같이 움직이는 것으로 구성되는 것이 아니다. 즉, ‘서기-걷기-뛰기-걷기’의 경우나 ‘걷기-뛰기-걷기’와 같이 구성된 서로 다른 두 개의 ‘조깅’ 집합에 속할 수 있지만 파란불 신호가 들어온 건널목을 건너기 위한 ‘잠시 뛰기’일 수도 있다.
따라서, 대상 행동 시퀀스들이 같은 집합에 속하는지에 대해서 판단하기 위해 행위 인식부(232)는 연관성 분석을 수행하여 기 설정된 기준에 따른 상관도 k1 이상인 경우 서로 유의미한 관계가 있는 행동 시퀀스들로 판단하여 하나의 행동 시퀀스 세트로 생성하고, 그렇지 않은 경우 다시 행동 시퀀스를 분석하는 과정을 수행한다.
여기에서 행위 인식부(232)는 사용자의 행동들의 시간 정보, 위치 정보 및 운동량 정보 중 하나 이상에 기초하여 상관도를 분석할 수 있다.
행동 시퀀스 세트가 구성되고 나면, 행위 인식부(232)는 각 행동 시퀀스 세트에 대하여 의미를 부여한다. 이때, 행위 인식부(232)는 사람의 통상적인 생활과 관련된, 예를 들어 캐나다 통계청의 GSS 생활 등의 통계기반으로 구축된 생활 분류 체계에 대한 도메인 지식에 기초하여 행동 시퀀스 세트에 대하여 의미 레이블 정보를 생성할 수 있다. 일 예시로 레이블 정보는 ‘식사’, ‘산책’, ‘운전해서 통근’ 등의 형태로 부여될 수 있다.
다음으로 행위 인식부(232)는 행동 시퀀스 세트에 포함된 시간 정보에 기초하여, 행동 시퀀스 세트에 대한 시퀀스 패턴 조합을 통해 사용자의 행위로 구성할 수 있다.
의미가 부여된 행동 시퀀스 세트를 통해 사용자가 어떤 상태에 있는지를 파악할 수는 있지만, 사용자의 습관에 대한 충분한 정보를 제공하지는 못한다.
즉, 사람의 습관이라는 것은 예를 들어 ‘직장에서 점심 식사를 한 후에는 가까운 카페에 가서 커피를 들고 산책을 한다’와 같은 형태로 표현되기 때문에, ‘점심 식사’나 ‘산책’과 같은 행동 시퀀스 세트 단독으로는 사용자의 습관을 인식하기 어렵다.
따라서, 사용자의 습관을 파악하고 이를 습관 정보로 생성하기 위해서는 (‘식사’→’도보 이동’→’커피마시기’ & ’산책’)과 같이 여러 행동 시퀀스 세트의 시퀀스 패턴 조합이 구성되어져야 한다.
이와 같은 시퀀스 패턴 조합은 각 행동 시퀀스 세트에 포함된 시간 정보를 이용하여 행동 시퀀스 세트들이 연달아 일어나는 규칙들로 구성된 데이터를 생성한 다음, Apriori algorithm, Terius algorithm 등과 같은 연관 규칙을 도출할 수 있는 알고리즘을 적용하여 구성할 수 있다.
행동 시퀀스 세트들의 시퀀스 패턴이 구성되고 나면, 행위 인식부(232)는 미리 저장된 생활 분류 체계의 상위 항목에 대한 도메인 지식 또는 통계적 데이터에 기초하여 행동 시퀀스 세트의 시퀀스 패턴의 발생 빈도에 대하여 통계적 분석을 수행한다. 그리고 통계적 분석을 수행한 결과에 기초하여 행동 시퀀스 세트를 도 4의 예시처럼 행동 시퀀스 세트 1 내지 3을 포함하는 사용자의 행위1과, 행동 시퀀스 세트 4로 구성된 행위 2로 그룹화하여 생성할 수 있다.
즉, 행위 인식부(232)는 각 행동 시퀀스 세트들에 대하여 통계적 유사 여부를 분석할 수 있다. 예를 들어, 행위 인식부(232)는 각 행동 시퀀스 세트들이 연달아 발생하는 빈도를 통해 상호간의 유사 여부를 분석할 수 있다. 그리고 분석 결과 기 설정된 기준에 따른 연관도 k2 이상을 갖는 경우 유의미한 행동 시퀀스 세트들의 시퀀스 패턴이라 판단하여 하나의 사용자 행위로 생성하고, 그렇지 않은 경우 다시 행동 시퀀스 세트 분석을 수행한다.
이렇게 정의된 사용자의 행위는 ‘직장에서 점심 식사’, ‘출근’, ‘가사 노동’, ‘여가 시간’ 등으로 정의될 수 있는데, 행위 인식부(232)는 이때 통계청에서 활용되는 생활 분류 체계의 상위 레벨 분류 항목들과 같이 통계 데이터 기반 또는 전문가 의견 기반의 선험적으로 만들어진 도메인 지식을 이용하여 통계적 분석 및 사용자 행위를 생성할 수 있다.
다음으로, 수면 관련 행위 추출부(233)는 행위 인식부(232)에 의해 생성된 행동 시퀀스 세트에 기초하여 사용자의 행위를 수면 행위와 비수면 행위로 클러스터링을 수행하고, 클러스터링된 비수면 행위와 수면 행위의 시간 정보를 포함한 시퀀스들 사이의 연관성 분석을 통해 수면 행위와 연관된 비수면 행위의 시퀀스 패턴을 추출한다.
구체적으로 수면 관련 행위 추출부(233)는 행위 인식부(232)에서 생성된 사용자의 행위를 수면 행위와 비수면 행위로 구분하고, 수면 행위와 비수면 행위에 대하여 각각 특징 정보를 추출한다.
이때, 수면 관련 행위 추출부(233)는 수면 전문 도메인 지식, 예를 들어 통상적으로 임상 심리학에서 사용되는 수면 장애 진단을 위한 기준이 되는 항목과 같은 도메인 지식을 기반으로 도출 가능한 수면 행위의 특징 정보를 추출할 수 있다.
이러한 수면 행위의 특징 정보는 수면에 이르기까지의 소요 시간(sleep latency), 수면 중 깬 시간(awake time), 수면 중 깬 횟수(the number of times of awakening), 수면 효율성 정보(sleep efficiency) 중 하나 이상이 포함되어 추출될 수 있다.
또한, 수면 관련 행위 추출부(233)는 센서모듈(110)을 통해 수신한 사용자 데이터와 주변환경 데이터에 기초하여 비수면 행위의 특징 정보를 추출할 수 있다.
예를 들어, 수면과 관련된 낮 동안의 비수면 행위들에 적용할 수 있는 특징으로는 가속계 3축값의 크기(magnitude) 산출을 통해 얻을 수 있는 활동량 정보 및 이와 비슷한 특징들, 심박수로부터 얻을 수 있는 R-R interval, 피부 온도 및 피부 전도도로 구성된 정상과 비정상 구간에 속하는지 여부를 나타내는 규칙 기반의 육체적 운동 정도(physical exertion) 지표, 그리고 수면에 영향을 미치는 중요한 시간 영역으로 밝혀진 수면으로부터 일정 시간 이전(예를 들어 3시간 이전)의 활동 정보 중 하나 이상이 포함될 수 있다.
이와 같은 특징들에 기초하여 수면 관련 행위 추출부(233)는 수면 행위와 비수면 행위들에 대한 클러스터링을 수행할 수 있다. 이때, 수면 관련 행위 추출부(233)는 도출된 데이터의 특성에 따라 다양한 클러스터링 알고리즘을 적용할 수 있다.
클러스터링 분석이 완료되면, 그 결과로 사용자의 수면 행위와 비수면 행위들은 적절한 개수의 클러스터들로 분류된다.
예를 들어, 수면 행위의 경우 클러스터링한 결과 ‘수면’으로 인식된 행위를 구성하는 데이터들이 ‘좋은 수면’, ‘보통 수면’ 및 ‘나쁜 수면’의 등급 정보를 갖는 3개의 수면 행위 클러스터로 분류될 수 있다. 그리고 비수면 행위에서 통근 행위의 경우 ‘길고 힘든 통근’, ‘보통 통근’, ‘짧고 편안한 통근’의 등급 정보를 갖는 3개의 비수면 행위 클러스터로 분류될 수 있다.
다음으로 수면 관련 행위 추출부(233)는 클러스터링된 수면 행위 클러스터와 기 설정된 연관도 이상을 갖는 비수면 행위 클러스터에 대하여 시간 정보를 포함한 시퀀스들 사이의 연관성 분석을 수행하여, 비수면 행위 클러스터의 시퀀스 패턴을 추출한다.
즉, 수면 관련 행위 추출부(233)는 클러스터링 수행 결과 생성된 수면 행위 클러스터와 비수면 행위 클러스터 간의 연관성을 분석하여 인과관계 또는 연관관계 등을 도출할 수 있다.
그 결과를 예로 들면, ‘좋은 수면’과 ‘짧고 편안한 통근’이 관련성이 높고, ‘나쁜 수면’과 ‘길고 힘든 통근’이 관련성이 높은 것으로 도출될 수 있다.
이때, 수면 관련 행위 추출부(233)는 수면 행위 클러스터와 기 설정된 연관도 k3 이상의 값을 갖는 비수면 행위 클러스터들에 대하여 데이터 관찰 기간 동안 주기성을 가지고 얼마나 자주 나타나는 행위인지 여부를 검증하는 시퀀스 분석을 수행하게 된다.
수면 관련 행위 추출부(233)는 시퀀스 분석 방법으로 연관규칙 분석뿐 아니라 trend, seasonality, cycle 분석 방법을 적용할 수 있다.
이러한 시퀀스 분석 방법 수행 결과, 일 예시로 (‘길고 힘든 통근’- ‘운동량이 적은 업무’- ‘수면 전 3시간 이내 식사’)와 같은 비수면 행위들로 구성된 시퀀스 패턴을 추출할 수 있다.
이와 같이 추출된 시퀀스 패턴을 바탕으로 수면 행위 클러스터에 영향을 미치는 비수면 행위들의 시퀀스 패턴을 찾기 위해, 수면 관련 행위 추출부(233)는 프로세스 모델 분석 방법론을 적용하여 유의미한 비수면 행위의 시퀀스 패턴을 도출할 수 있다.
이와 같이 도출된 결과는 도 5와 같이 표현될 수 있으며, 실제로는 수면과 관련된 모든 클러스터들에 대하여 동일한 결과들을 도출할 수 있다. 예를 들어, 보통 단계의 제 1 행위가 수행된 이후 집중 단계의 제 3 행위가 수행되고, 경미한 단계의 제 5 행위가 수행되는 패턴의 경우 ‘좋은 수면’으로 이어지는 것과 같이 유의미한 비수면 행위의 시퀀스 패턴을 도출할 수 있다.
수면 관련 행위 추출부(233)에 의해 각 수면 행위 클러스터별 비수면 행위의 시퀀스 패턴들이 도출되면 이는 정보 생성부(234)로 전달된다.
다음으로, 정보 생성부(234)는 각 수면 행위 클러스터와 관련된 비수면 행위의 시퀀스 패턴들 중에서 사용자 디바이스(100)로 제공하기 위한 중요한 습관 정보를 생성한다.
이를 위해 정보 생성부(234)는 각 수면 행위 클러스터들에 영향을 미치는 비수면 행위 클러스터의 시퀀스 패턴 중에서 중복된 시퀀스 패턴에 기초하여 사용자 디바이스(100)로 제공하기 위한 습관 정보를 생성할 수 있다.
또한, 정보 생성부(234)는 클러스터링을 수행한 결과에 따른 수면 행위 클러스터와 비수면 행위 클러스터의 등급 정보를 이용하여, 등급이 낮은 제 1 수면 행위 클러스터와 연관된 비수면 행위 클러스터가 인식된 경우, 상기 인식된 비수면 행위 클러스터 이후에 발생되는 제 1 수면 행위 클러스터보다 등급이 높은 제 2 수면 행위 클러스터와 연관된 비수면 행위 클러스터를 사용자 디바이스(100)로 제공하기 위한 습관 정보로 생성할 수 있다.
예를 들어, 오전 중 발생하는 나쁜 수면 클러스터와 관련된 비수면 행위 패턴을 제거할 수 있는 좋은 수면 클러스터와 관련된 비수면 행위 패턴 등에 따른 정보를 생성할 수 있다. 즉, 어떤 사용자로부터 오전에 ‘힘들고 긴 통근’ 행위가 인식된 경우에, ‘힘들고 긴 통근’ 행위를 포함한 모든 비수면 행위 패턴이 ‘나쁜 수면’과 연관되어 있는 경우, 정보 생성부(234)는 ‘힘들고 긴 통근’ 이후 시간에 발생하는 ‘좋은 수면’과 관련된 ‘천천히 점심 식사 후 휴식’→’정적인 사무실 업무’를 행위 패턴 정보로 생성할 수 있다.
참고로, 본 발명의 실시예에 따른 도 1 내지 도 5에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 6 내지 도 8을 참조하여 수면 관련행위 패턴 분석 시스템(1)에서 수행되는 방법에 대하여 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 수면 관련행위 패턴 분석 방법의 순서도이다. 도 7은 행동 시퀀스 세트 및 사용자의 행위를 구성하는 내용을 설명하기 위한 순서도이다. 도 8은 수면 행위 클러스터와 연관된 비수면 행위 패턴을 생성하는 내용을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 수면 관련행위 패턴 분석 방법은 먼저, 사용자의 신체에 부착된 센서모듈(110)을 통해 데이터를 수신하면(S110), 상기 데이터로부터 사용자의 행동을 인식한다(S120).
다음으로, 상기 인식된 사용자의 행동의 선후 관계에 기초하여 행동 시퀀스 세트를 생성하고(S130), 행동 시퀀스 세트를 그룹화하여 사용자의 행위로 생성한다(S140).
도 7을 참조하여 단계 S130과 S140에 대해 보다 구체적으로 설명하면, 먼저 상기 인식된 사용자의 행동으로부터 행동 시퀀스를 생성하고(S210), 행동 시퀀스들에 대해 상호간의 유사성 및 관계성을 분석한다(S220).
분석 결과 기 설정된 기준에 따른 상관도 이상을 갖는 경우(S230), 하나의 행동 시퀀스 세트로 생성하고(S240), 각 행동 시퀀스 세트에 대해 도메인 지식에 기초하여 의미를 부여한다(S250).
그 다음, 의미가 부여된 행동 시퀀스 세트에 포함된 시간 정보에 기초하여 행동 시퀀스 세트에 대한 시간 정보를 포함한 시퀀스들 사이의 연관성 분석을 수행하고(S260), 분석 결과에 대해 통계적 분석을 수행하여 각 행동 시퀀스 세트들의 유사 여부를 판단한다(S270). 그 결과 유사한 행동 시퀀스 세트들인 것으로 판단된 경우 하나의 사용자의 행위로 생성하고(S280), 이러한 사용자의 행위에 대하여 도메인 지식에 기초하여 의미를 부여한다(S290).
다시 도 6을 참조하면, 위 단계에 의해 생성된 사용자의 행위를 수면 행위와 비수면 행위로 클러스터링하고(S150), 클러스터링된 비수면 행위 클러스터와 수면 행위 클러스터 간의 시퀀스분석을 통해 수면 행위와 연관된 비수면 행위의 시퀀스 패턴을 추출한다(S160).
도 8을 참조하여 단계 S150과 S160에 대해 보다 구체적으로 설명하면, 먼저 행위 시퀀스 세트들의 집합으로 생성된 사용자의 행위에 대하여 수면 행위와 비수면 행위로 구분하고(S310), 각 행위들에 대한 특징을 추출한다(S320).
다음으로, 수면 행위와 비수면 행위에 대한 클러스터링을 수행하고(S330), 클러스터링 수행 결과 수면 행위 클러스터와 비수면 행위 클러스터 간의 연관성을 분석한다(S340).
그리고 수면 행위 클러스터와 연관성이 있는 것으로 판단된 비수면 행위 클러스터들에 대해서는 관찰 기간 동안 얼마나 자주 발생되는 행위인지를 확인하기 위한 시퀀스 분석을 수행하여 시퀀스 패턴을 생성하고(S350), 시퀀스 패턴을 기반으로 수면 행위 클러스터별로 도출된 비수면 행위의 시퀀스 패턴들을 도출한다(S360).
이와 같이 도출된 수면 행위 클러스터별 비수면 행위 패턴들은 사용자 디바이스(100)로 제공될 수 있다.
한편, 상술한 설명에서, 단계 S110 내지 S360은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 5에서 이미 기술된 내용은 도 6 내지 도 8의 수면 관련행위 패턴 분석 방법에도 적용될 수 있다.
기존의 헬스 트래커와 관련된 서비스 기기 및 기술들은 사용자의 행위를 인식하여 하루 중 얼마나 많이 움직였는지에 대한 활동량 분석이나 집, 통근 및 직장 등 매우 거시적인 수준에서의 사용자 생활에 대한 맥락을 파악하여 서비스하고 있다.
수면을 인식하는 경우에도 권장 수면 시간 대비 수면 시간에 대한 사실만 제공할 뿐, 사용자의 수면 시간의 변화 패턴, 그리고 수면의 변화와 생활 습관과의 관계 등을 분석해 보여주지는 못하고 있다. 따라서 이러한 종래기술이나 서비스를 통해서는 사용자가 본인의 수면 패턴을 보고 자신의 수면의 질이 어떤 수준인지를 객관적으로 판단할 수 있는 근거는 되지만, 본인도 인지하지 못한 중요한 생활 습관이 무엇인지 알아낼 수 있는 단서는 제공하지 못한다.
반면, 전술한 본 발명의 일 실시예에 따르면, 사용자의 습관을 인식할 수 있도록 시퀀스적 계층 분석을 통해 단순 행동으로 구성된 고수준의 행위 패턴을 인식하고, 사용자의 습관을 개선하는 서비스에 직접적으로 적용이 가능한 정보를 생성하여 제공함으로써, 사용자 스스로도 인지하지 못하는 수면 관련 습관까지 파악하여 개선할 수 있다는 효과를 기대할 수 있다.
한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템(1)은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 수면 관련행위 패턴 분석 시스템
100: 사용자 디바이스
110: 센서 모듈
120: 디스플레이 모듈
200: 컴퓨팅 디바이스
210: 통신모듈
220: 메모리
230: 프로세서
100: 사용자 디바이스
110: 센서 모듈
120: 디스플레이 모듈
200: 컴퓨팅 디바이스
210: 통신모듈
220: 메모리
230: 프로세서
Claims (20)
- 멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 시스템에 있어서,
사용자의 신체에 부착되어 센서모듈을 통해 데이터를 수집하는 사용자 디바이스 및
상기 데이터로부터 사용자의 행동을 인식하고, 상기 인식된 사용자의 행동의 선후 관계에 기초하여 행동 시퀀스 세트를 생성하며, 상기 행동 시퀀스 세트에 기초하여 사용자의 행위를 수면 행위와 비수면 행위로 클러스터링을 수행하고, 상기 클러스터링된 비수면 행위와 상기 수면 행위의 시간 정보를 포함한 시퀀스들 사이의 연관성 분석을 통해 상기 수면 행위와 연관된 비수면 행위의 패턴을 추출하여 상기 사용자 디바이스로 제공하는 컴퓨팅 디바이스를 포함하고,
상기 컴퓨팅 디바이스는 상기 클러스터링된 수면 행위 클러스터와 기 설정된 연관도 이상을 갖는 비수면 행위 클러스터에 대하여 시퀀스 분석을 수행하여 상기 비수면 행위 클러스터의 시퀀스 패턴을 추출하는 것인 수면 관련행위 패턴 분석 시스템. - 제 1 항에 있어서,
상기 사용자 디바이스는 상기 데이터로 사용자 데이터 및 주변환경 데이터를 수집하고,
상기 컴퓨팅 디바이스는 상기 사용자 데이터 및 주변환경 데이터에 기초하여 사용자의 행동을 인식하는 것인 수면 관련행위 패턴 분석 시스템. - 제 1 항에 있어서,
상기 컴퓨팅 디바이스는 상기 인식된 사용자의 행동 중, 특정 행동이 종료되기 전 시작한 행동, 특정 행동이 종료됨과 동시에 시작하는 행동, 특정 행동과 같이 시작하였으나 종료 시점이 다른 행동의 경우 동일한 행동 시퀀스 세트로 생성하는 것인 수면 관련행위 패턴 분석 시스템. - 제 1 항에 있어서,
상기 컴퓨팅 디바이스는 상기 각 행동 시퀀스 세트의 시간 차이 및 상기 행동 시퀀스 세트 내 포함된 사용자의 행동 개수에 기초하여 상기 행동 시퀀스 세트를 구분하는 것인 수면 관련행위 패턴 분석 시스템. - 제 1 항에 있어서,
상기 컴퓨팅 디바이스는 기 설정된 기준에 따른 상관도 이상을 갖는 사용자의 행동들의 시퀀스를 하나의 행동 시퀀스 세트로 생성하는 것인 수면 관련행위 패턴 분석 시스템. - 제 5 항에 있어서,
상기 컴퓨팅 디바이스는 상기 사용자의 행동들의 시간 정보, 위치 정보 및 운동량 정보 중 하나 이상에 기초하여 상기 상관도를 분석하는 것인 수면 관련행위 패턴 분석 시스템. - 제 1 항에 있어서,
상기 컴퓨팅 디바이스는 생활 분류 체계에 대한 도메인 지식에 기초하여 상기 행동 시퀀스 세트에 대한 레이블 정보를 생성하고,
상기 행동 시퀀스 세트에 포함된 시간 정보에 기초하여, 상기 행동 시퀀스 세트에 대한 시퀀스 패턴 조합을 통해 상기 사용자의 행위로 생성하는 것인 수면 관련행위 패턴 분석 시스템. - 제 7 항에 있어서,
상기 컴퓨팅 디바이스는 미리 저장된 생활 분류 체계에 대한 상위 항목에 대한 도메인 지식 또는 통계적 데이터에 기초하여 상기 행동 시퀀스 세트의 시퀀스 패턴의 발생 빈도에 대하여 통계적 분석을 수행하고, 상기 통계적 분석을 수행한 결과에 기초하여 상기 행동 시퀀스 세트를 그룹화하여 상기 사용자의 행위로 생성하는 것인 수면 관련행위 패턴 분석 시스템. - 제 1 항에 있어서,
상기 컴퓨팅 디바이스는 수면 전문 도메인 지식에 기초하여 상기 수면 행위의 특징 정보를 추출하고, 상기 센서모듈을 통해 수신한 데이터에 기초하여 상기 비수면 행위의 특징 정보를 추출하며,
상기 추출된 각 특징 정보에 기초하여 상기 클러스터링을 수행하는 것인 수면 관련행위 패턴 분석 시스템. - 제 9 항에 있어서,
상기 컴퓨팅 디바이스는 수면에 이르기까지의 소요 시간, 수면 중 깬 시간, 수면 중 깬 횟수, 수면 효율성 정보 중 하나 이상을 상기 수면 행위의 특징 정보로 추출하고,
상기 센서모듈을 통해 수신한 데이터로부터 활동량 정보, 심박수에 기초한 정보, 육체적 운동 정보 및 수면으로부터 일정 시간 이전의 활동 정보를 비수면 행위의 특징 정보로 추출하는 것인 수면 관련행위 패턴 분석 시스템. - 삭제
- 제 1 항에 있어서,
상기 컴퓨팅 디바이스는 상기 비수면 행위 클러스터의 시퀀스 패턴 중에서 중복된 시퀀스 패턴에 기초하여 상기 사용자 디바이스로 제공하기 위한 습관 정보를 생성하는 것인 수면 관련행위 패턴 분석 시스템. - 제 1 항에 있어서,
상기 컴퓨팅 디바이스는 상기 클러스터링을 수행하여 상기 비수면 행위 클러스터와 상기 수면 행위 클러스터에 대하여 각각 등급 정보를 생성하고,
상기 등급 정보 중 등급이 낮은 제 1 수면 행위 클러스터와 연관된 비수면 행위 클러스터가 인식된 경우, 상기 인식된 비수면 행위 클러스터 이후에 발생되는 상기 제 1 수면 행위 클러스터보다 등급이 높은 제 2 수면 행위 클러스터와 연관된 비수면 행위 클러스터를 상기 사용자 디바이스로 제공하기 위한 습관 정보로 생성하는 것인 수면 관련행위 패턴 분석 시스템. - 제 1 항에 있어서,
상기 사용자 디바이스는 상기 컴퓨팅 디바이스에 의해 생성 또는 분석된 정보를 출력하는 디스플레이 모듈을 더 포함하는 수면 관련행위 패턴 분석 시스템. - 멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 컴퓨팅 디바이스에 있어서,
사용자 디바이스와 데이터를 송수신하는 통신모듈,
상기 데이터에 기초하여 사용자의 수면 관련행위 패턴을 분석하기 위한 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 상기 프로그램을 실행시킴에 따라, 사용자의 신체에 부착된 사용자 디바이스로부터 센싱된 데이터를 상기 통신모듈을 통해 수신하면, 상기 데이터로부터 사용자의 행동을 인식하고, 상기 인식된 사용자의 행동의 선후 관계에 기초하여 행동 시퀀스 세트를 생성하며,
상기 행동 시퀀스 세트에 기초하여 사용자의 행위를 수면 행위와 비수면 행위로 클러스터링을 수행하고, 상기 클러스터링된 비수면 행위 클러스터와 상기 수면 행위 클러스터 간의 시간 정보를 포함한 시퀀스들 사이의 연관성 분석을 통해 상기 수면 행위와 연관된 비수면 행위의 패턴을 추출하여 상기 사용자 디바이스로 제공하되,
상기 프로세서는 상기 클러스터링된 수면 행위 클러스터와 기 설정된 연관도 이상을 갖는 비수면 행위 클러스터에 대하여 시퀀스 분석을 수행하여 상기 비수면 행위 클러스터의 시퀀스 패턴을 추출하는 것인 컴퓨팅 디바이스. - 멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 수면 관련행위 패턴 분석 시스템에 의해 수행되는 방법에 있어서,
상기 수면 관련행위 패턴 분석 시스템은 사용자 디바이스 및 컴퓨팅 디바이스를 포함하고,
상기 사용자 디바이스에서, 사용자의 신체에 부착된 센서모듈을 통해 데이터를 수신하는 단계;
상기 컴퓨팅 디바이스에서, 상기 데이터로부터 사용자의 행동을 인식하는 단계;
상기 컴퓨팅 디바이스에서, 상기 인식된 사용자의 행동의 선후 관계에 기초하여 행동 시퀀스 세트를 생성하는 단계;
상기 컴퓨팅 디바이스에서, 상기 행동 시퀀스 세트에 기초하여 사용자의 행위를 수면 행위와 비수면 행위로 클러스터링하는 단계 및
상기 컴퓨팅 디바이스에서, 상기 클러스터링된 비수면 행위 클러스터와 상기 수면 행위 클러스터 간의 시간 정보를 포함한 시퀀스들 사이의 연관성 분석을 통해 상기 수면 행위와 연관된 비수면 행위의 패턴을 추출하는 단계를 포함하되,
상기 수면 행위와 연관된 비수면 행위의 패턴을 추출하는 단계는,
상기 클러스터링된 수면 행위 클러스터와 기 설정된 연관도 이상을 갖는 비수면 행위 클러스터에 대하여 시퀀스 분석을 수행하여 상기 비수면 행위 클러스터의 시퀀스 패턴을 추출하는 것인 수면 관련행위 패턴 분석 방법. - 제 16 항에 있어서,
상기 행동 시퀀스 세트를 생성하는 단계는,
기 설정된 기준에 따른 상관도 이상을 갖는 사용자의 행동들의 시퀀스를 하나의 행동 시퀀스 세트로 생성하는 것인 수면 관련행위 패턴 분석 방법. - 제 16 항에 있어서,
상기 행동 시퀀스 세트에 기초하여 사용자의 행위를 수면 행위와 비수면 행위로 클러스터링하는 단계는,
상기 컴퓨팅 디바이스는 수면 전문 도메인 지식에 기초하여 상기 수면 행위의 특징 정보를 추출하는 단계;
상기 센서모듈을 통해 수신한 데이터에 기초하여 상기 비수면 행위의 특징 정보로 추출하는 단계 및
상기 추출된 각 특징 정보에 기초하여 상기 클러스터링을 수행하는 단계를 포함하는 수면 관련행위 패턴 분석 방법. - 제 16 항에 있어서,
상기 컴퓨팅 디바이스에서, 상기 비수면 행위 클러스터의 시퀀스 패턴 중에서 중복된 시퀀스 패턴에 기초하여 상기 사용자 디바이스로 제공하기 위한 습관 정보를 생성하는 단계를 더 포함하는 수면 관련행위 패턴 분석 방법. - 제 16 항에 있어서,
상기 컴퓨팅 디바이스에서, 상기 클러스터링을 수행하여 상기 비수면 행위 클러스터와 상기 수면 행위 클러스터에 대하여 각각 등급 정보를 생성하는 단계 및
상기 등급 정보 중 등급이 낮은 제 1 수면 행위 클러스터와 연관된 비수면 행위 클러스터가 인식된 경우, 상기 인식된 비수면 행위 클러스터 이후에 발생되는 상기 제 1 수면 행위 클러스터보다 등급이 높은 제 2 수면 행위 클러스터와 연관된 비수면 행위 클러스터를 상기 사용자 디바이스로 제공하기 위한 습관 정보를 생성하는 단계를 더 포함하는 수면 관련행위 패턴 분석 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180118322A KR102470148B1 (ko) | 2018-10-04 | 2018-10-04 | 멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 시스템, 컴퓨팅 디바이스 및 방법 |
| US16/552,864 US20200111569A1 (en) | 2018-10-04 | 2019-08-27 | System, computing device, and method for analyzing sleep-related activity pattern using multimodal sensor data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180118322A KR102470148B1 (ko) | 2018-10-04 | 2018-10-04 | 멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 시스템, 컴퓨팅 디바이스 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200038743A KR20200038743A (ko) | 2020-04-14 |
| KR102470148B1 true KR102470148B1 (ko) | 2022-11-24 |
Family
ID=70051017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180118322A KR102470148B1 (ko) | 2018-10-04 | 2018-10-04 | 멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 시스템, 컴퓨팅 디바이스 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20200111569A1 (ko) |
| KR (1) | KR102470148B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102371443B1 (ko) | 2020-08-24 | 2022-03-08 | (주)허니냅스 | 인공지능을 이용한 수면단계 분석 자동화 시스템 및 그 동작 방법 |
| CN115862873B (zh) * | 2023-02-17 | 2023-05-09 | 安徽星辰智跃科技有限责任公司 | 一种睡眠节律量化及干预的方法、系统和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130102931A1 (en) * | 2008-11-21 | 2013-04-25 | Yuan Ze University | Remote sleep quality detecting method |
| US20150100245A1 (en) * | 2013-10-09 | 2015-04-09 | LEDO Network, Inc. | Systems, methods, applications for smart sensing, motion activity monitoring, and motion activity pattern recognition |
| KR101775932B1 (ko) * | 2017-02-20 | 2017-09-19 | 주식회사 빅오이 | 반려동물 케어를 위한 멀티모달 시스템 |
| JP2017537725A (ja) * | 2014-12-16 | 2017-12-21 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 乳幼児睡眠モニタ |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101768691B1 (ko) | 2015-05-27 | 2017-08-17 | 네이버 주식회사 | 정보 제공 장치 및 정보 제공 장치의 동작 방법, 컴퓨터 프로그램 |
-
2018
- 2018-10-04 KR KR1020180118322A patent/KR102470148B1/ko active IP Right Grant
-
2019
- 2019-08-27 US US16/552,864 patent/US20200111569A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130102931A1 (en) * | 2008-11-21 | 2013-04-25 | Yuan Ze University | Remote sleep quality detecting method |
| US20150100245A1 (en) * | 2013-10-09 | 2015-04-09 | LEDO Network, Inc. | Systems, methods, applications for smart sensing, motion activity monitoring, and motion activity pattern recognition |
| JP2017537725A (ja) * | 2014-12-16 | 2017-12-21 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 乳幼児睡眠モニタ |
| KR101775932B1 (ko) * | 2017-02-20 | 2017-09-19 | 주식회사 빅오이 | 반려동물 케어를 위한 멀티모달 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200038743A (ko) | 2020-04-14 |
| US20200111569A1 (en) | 2020-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109843163B (zh) | 用于标记睡眠状态的方法和系统 | |
| King et al. | Application of data fusion techniques and technologies for wearable health monitoring | |
| US10912495B2 (en) | Activity recognition | |
| Delmastro et al. | Cognitive training and stress detection in mci frail older people through wearable sensors and machine learning | |
| Wu et al. | Modeling perceived stress via HRV and accelerometer sensor streams | |
| US20140121540A1 (en) | System and method for monitoring the health of a user | |
| Mikos et al. | A wearable, patient-adaptive freezing of gait detection system for biofeedback cueing in Parkinson's disease | |
| Chiang et al. | Pattern analysis in daily physical activity data for personal health management | |
| Valenza et al. | Autonomic nervous system dynamics for mood and emotional-state recognition: Significant advances in data acquisition, signal processing and classification | |
| Ha et al. | WiStress: Contactless stress monitoring using wireless signals | |
| US20220370757A1 (en) | Personalized sleep wellness score for treatment and/or evaluation of sleep conditions | |
| KR102470148B1 (ko) | 멀티모달 센서 데이터를 이용하여 수면 관련행위 패턴을 분석하는 시스템, 컴퓨팅 디바이스 및 방법 | |
| Nezamabadi et al. | Unsupervised ECG analysis: A review | |
| Tiwari et al. | Classification of physiological signals for emotion recognition using IoT | |
| Wang et al. | Emotionsense: An adaptive emotion recognition system based on wearable smart devices | |
| Hossain et al. | An active sleep monitoring framework using wearables | |
| Hossain et al. | Sleep well: a sound sleep monitoring framework for community scaling | |
| KR101912860B1 (ko) | 우울증 인지 및 케어를 위한 스마트 주얼리 시스템 | |
| Zuraini et al. | Students activity recognition by heart rate monitoring in classroom using k-means classification | |
| Zheng et al. | Using machine learning techniques to optimize fall detection algorithms in smart wristband | |
| Goldammer et al. | Individualized sleep stage classification from cardiorespiratory features | |
| Li | Mobile sensing based human stress monitoring for smart health applications | |
| Surrel | Low Power Sensing and Processing in Wearable Biomedical Devices for Personalized Health Monitoring | |
| Saraiva et al. | Exploration of supervised machine learning models to detect epileptic seizures from Heart Rate Variability features | |
| Parousidou | Personalized Machine Learning Benchmarking for Stress Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |