KR20130035734A - 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치 및 방법 - Google Patents

헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치 및 방법 Download PDF

Info

Publication number
KR20130035734A
KR20130035734A KR1020110100235A KR20110100235A KR20130035734A KR 20130035734 A KR20130035734 A KR 20130035734A KR 1020110100235 A KR1020110100235 A KR 1020110100235A KR 20110100235 A KR20110100235 A KR 20110100235A KR 20130035734 A KR20130035734 A KR 20130035734A
Authority
KR
South Korea
Prior art keywords
behavior
graph
sequence
activity
pattern
Prior art date
Application number
KR1020110100235A
Other languages
English (en)
Other versions
KR101275296B1 (ko
Inventor
이영구
한용구
박기성
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020110100235A priority Critical patent/KR101275296B1/ko
Publication of KR20130035734A publication Critical patent/KR20130035734A/ko
Application granted granted Critical
Publication of KR101275296B1 publication Critical patent/KR101275296B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 방법으로, 행위 노드들과 상기 행위 노드들 간의 연결로 이루어진 하루 행위 시퀀스를 생성하는 단계와, 하나 이상의 하루 행위 시퀀스들을 결합하여 행위 그래프를 생성하는 단계와, 상기 생성된 행위 그래프로부터 유용한 행위 패턴을 마이닝하는 단계를 포함한다.

Description

헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치 및 방법{Apparatus and Method for Graph Model based Activity Pattern Mining for Healthcare}
본 발명은 헬스 케어 기술에 관한 것으로, 특히 그래프 모델 기반 행위 패턴을 마이닝하는 장치 및 방법에 관한 것이다.
세계적으로 인구의 고령화가 급속히 이루어지면서 헬스 케어(healthcare)에 관련된 개인 및 사회 비용이 증가하고 있다. 특히 현대 사회에서 성인 사망률의 대부분을 차지하고 있는 당뇨병, 심장병 등과 같은 생활 습관병(lifestyle disease)에 많은 비용이 사용되고 있다.
최근 장기간의 잘못된 생활 습관으로부터 발병하는 생활 습관병의 관리를 위하여 장기간 행위 패턴 모니터링 기반의 헬스케어 지원 시스템 연구가 활발히 진행되고 있다.
도 1은 일반적인 행위 패턴 모니터링 기반의 헬스케어 지원 시스템의 개략적인 구성도이다.
도 1을 참조하면, 댁내에 설치된 센서들을 이용하여 사용자의 행위를 인식하고 행위 DB에 저장한다. 그리고 장기간에 걸쳐 수집된 대용량 행위 DB로부터 건강에 좋지 않은 영향을 주는 비정상적인 행위 패턴을 의사에게 전송한다. 이 시스템을 통하여 사용자를 건강한 생활 패턴으로 유도하고 발병 징후를 조기에 검출하여 헬스케어 비용을 줄이는 효과를 얻을 수 있다.
행위 패턴 마이닝은 기본적으로 행위 인식(activity recognition) 기술을 통하여 사용자의 행위를 인식함으로써 가능한 기술이다.
행위 인식은 댁내에 설치된 센서로부터 얻은 데이터를 이용하여 사용자의 행위를 자동으로 인식하는 기술이다. 행위 인식 기술로부터 인식된 '식사', '화장실', '샤워' 등의 행위를 단위 행위라고 한다. 이와 같은 단위 행위 인식은 스마트 홈, 낙상 감지 시스템 등과 같은 다양한 응용에서 활용되고 있다.
최근 장기간의 잘못된 생활 습관으로부터 발병하는 생활 습관병의 관리를 위하여 장기간 행위 패턴 모니터링 기반의 헬스케어 지원 시스템 연구가 활발히 진행되고 있다.
헬스케어 목적의 행위 패턴 마이닝은 ADLs(activities of daily living)와 같은 헬스케어에 관련된 사용자의 단위 행위를 장기간 관찰하여 수집한 데이터를 사용하여, 사용자에 대한 행위 패턴 정보를 마이닝한다. 이와 같은 건강 관련 행위 패턴은 헬스케어 관점에서 사용자가 어떤 라이프 스타일을 갖고 있는지를 반영한다.
헬스케어에 유용한 다양한 패턴들을 마이닝 및 분석하기 위해서는 행위 패턴을 효과적으로 표현할 수 있는 모델이 요구된다. 행위 패턴 모델이 유지해야하는 정보 및 구조는 다음과 같다.
다양한 행위 정보 즉, 행위의 빈도, 지속 시간, 장소 등의 다양한 정보들의 마이닝을 지원해야 한다. 행위 시퀀스와 같이 행위간의 순서 관계 정보를 유지할 수 있는 구조를 가져야 한다. 일, 월, 년 단위뿐만 아니라 요일별, 주중/주말 단위와 같이 다양한 기간별로 행위 패턴의 마이닝이 가능해야 한다.
기존의 행위 패턴 모니터링 기반 헬스케어 시스템 연구들은 도 1과 같이 통계 모델 또는 시퀀스 모델을 이용하여 행위 패턴들을 마이닝하였다.
통계 모델 기반의 시스템은 훈련 기간(training period) 동안의 행위를 정상 행위 패턴으로 간주하고, 매일의 행위 패턴에 대하여 정상 행위 패턴과의 유사도를 측정함으로서 이상 행위 패턴(irregular activity pattern)을 검출한다.
논문 1[Virone, G., Alwan, M., Dalal, S., Kell, S., Turner, B., Stankovic, J.A., Felder, R, "Behavioral Patterns of Older Adults in Assisted Living," IEEE Trans. on Information Technology in Biomedicine, vol.12, issue 3. pp. 387-398, 2008.]은 사용자가 거실, 침실, 주방 등과 같은 댁내의 다양한 장소에서 하루에 소비한 시간을 측정하였다. 훈련기간 동안에 각 장소에서 소비한 평균 시간을 정상 행위 패턴으로 모델링하고, 이 정상 행위 패턴과 큰 편차의 행위 패턴들을 비정상 행위 패턴으로 정의하여 검출하였다.
논문 2[S. Ohta, H. Nakamoto, Y. Shinagawa, T. Tanikawa, “A Health Monitoring System for Eld-erly People Living Alone,” Journal of Telemedicine and Telecare, pp. 151-156, 2002.]는 논문 1과 유사한 모델링 방법을 사용하였으나 특정 장소에서 소비한 시간을 시간 단위가 아닌 하루 단위로 모델링하였다. 또한 하루 동안에 사용자가 댁내에서 이동한 거리를 행위 패턴 모델에 추가하였다. 논문 3[F.Cardinaux, S.Brownsell, M. Hawley, D. Bradley., "Modelling of behavioural patterns for abnormality detection in the context of lifestyle reassurance,"Lecture notes in computer science, vol. 5197, pp. 243-251, 2008.]은 사용자의 다양한 행위들의 발생 빈도를 속성으로 하는 행동 확률 모델을 제안하였다. 각 행위의 확률 모델은 일정기간 동안 수집된 행위 데이터들로부터 학습된다.
시퀀스 모델 기반의 시스템들은 하루 단위로 행위 시퀀스를 생성하고 시퀀스 패턴 마이닝(sequential pattern mining) 알고리즘을 이용하여 유용한 패턴들을 검출하였
논문 4[Parisa Rashidi, Diane J. Cook, "Mining Sensor Streams for Discovering Human Activity Patterns over Time," Proceedings of the 2010 IEEE International Conference on Data Mining, 2010.]에서는 행위 DB의 전체 행위들을 시간에 따른 스트림으로 간주하고 행위 패턴들을 마이닝하였다. 헬스케어에서는 최근의 행위 변화가 더 유용하다는 특성을 반영하여 행위 시퀀스들을 기울어진 시간 윈도우(tilted-time window)를 사용하여 생성하였다. 또한 매일 반복되는 행위 패턴들이라도 다른 행위가 행위 패턴 사이에 발생할 수 있다는 점을 고려하여 연속적이지 않은 인스턴스에서 시퀀스 패턴을 찾는 DVSM(discontinuous varied order sequential miner)를 사용하여 행위 시퀀스를 마이닝하였다.
논문 5[K. Vrotsou, K. Ellegard, and M. Cooper, "Exploring time diaries using semi-automated activity pattern extraction," In IATUR - XXVIIII Conference, 2007.]는 시퀀스 패턴 마이닝을 이용하여 사용자가 흥미를 가지는 패턴들을 찾고 패턴들의 관계를 분석하기 위하여 시각화 모델을 사용하였다. 행위 시퀀스는 최대/최소 패턴 지속 시간, 패턴들 간의 최대/최소 시간 차이 등과 같은 사용자에 의하여 정해진 제약 조건들에 의하여 마이닝 된다.
논문 6[D. Lymberopoulos, A. Bamis, and A. Savvides, "Extracting spatiotemporal human activity patterns in assisted living using a home sensor network," Proceedings of the 1st international conference on PErvasive Technologies Related to Assistive Environments, 2008]은 하루 단위로 사용자의 댁내 이동패턴을 시퀀스로 모델링하고 빈발한 패턴들을 마이닝하였다.
통계 모델과 시퀀스 모델 기반 방법은 장기간에 걸쳐 행위 패턴을 마이닝하는데 몇 가지 문제점을 가지고 있다.
첫째, 통계적 모델은 행위 패턴의 정상 여부를 판단할 때 수행된 행위의 빈도에만 의존하기 때문에 행위들 간의 순서 정보를 고려하지 못한다. 헬스 케어 관점에서 행위의 수행 순서는 중요한 고려 요소이다.
둘째, 다양한 기간별로 행위 패턴의 분석이 어렵다. 시퀀스 모델의 경우 하루 단위로 행위 시퀀스가 생성되기 때문에 일일 패턴 분석만이 가능하다.
셋째, 통계적 모델과 시퀀스 모델 모두 행위 패턴의 지속시간 및 장소와 같은 다양한 정보를 동시에 표현하기가 어렵다.
본 발명은 다양한 시간 윈도우를 갖는 행위 그래프를 생성함으로써 일별, 주별, 월별 등 다양한 주기를 갖는 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치 및 방법을 제공한다.
본 발명은 행위 그래프 생성 시, 다중 시퀀스 얼라이먼트(multiple sequence alignment: MSA) 기법을 도입하여 각 행위 시퀀스의 행위 순서 정보를 유지하며, 효율적인 마이닝을 위하여 그래프의 크기를 최대한 작게 생성하는 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치 및 방법을 제공한다.
본 발명은 행위 그래프 모델은 노드와 에지에 멀티 레이블을 할당함으로써 헬스 케어에 활용할 수 있는 다양한 정보들을 유지할 수 있는 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치 및 방법을 제공한다.
본 발명은 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 방법으로, 행위 노드들과 상기 행위 노드들 간의 연결로 이루어진 하루 행위 시퀀스를 생성하는 단계와, 하나 이상의 하루 행위 시퀀스들을 결합하여 행위 그래프를 생성하는 단계와, 상기 생성된 행위 그래프로부터 유용한 행위 패턴을 마이닝하는 단계를 포함한다.
본 발명은 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치로, 소정 윈도우 내에 포함되는 하루 행위 시퀀스를 결합한 행위 그래프를 생성하는 행위 그래프 생성부와, 상기 생성된 행위 그래프로부터 유용한 행위 패턴을 마이닝하는 행위 패턴 마이닝부를 포함한다.
본 발명은 기존의 통계 기반과 시퀀스 기반의 마이닝 방법과 비교하여 다음과 같은 우수성을 갖는다.
첫째, 행위 그래프 모델을 이용하여 다양한 행위 패턴 정보와 행위 간의 시간 순서를 표현할 수 있다.
둘째, 다양한 기간별로 행위 패턴들을 정교하게 마이닝할 수 있다.
도 1은 일반적인 행위 패턴 모니터링 기반의 헬스케어 지원 시스템의 개략적인 구성도이다.
도 2는 본 발명의 바람직한 실시 예에 따른 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치를 포함하는 개략적인 시스템 구성도이다.
도 3은 본 발명의 바람직한 실시 예에 따른 헬스 케어를 위한 그래프 모델 기반 행위 패턴 그래프 생성 방법을 설명하기 위한 도면이다.
도 5는 모니터링 윈도우가 3일 때의 에지 레이블 할당을 설명하기 위한 일 예이다.
도 6은 모니터링 윈도우가 3일인 경우 다중 시퀀스 얼라이먼트를 이용하여 행위 시퀀스로부터 행위 그래프를 생성하는 예시도이다.
도 7은 일주일 단위로 생성된 두 행위 그래프들 간의 유사도를 최대 공통 부분 그래프 알고리즘을 사용하여 측정하는 예시이다.
도 8은 일주일의 모니터링 윈도우를 사용하여 생성한 행위 그래프의 예이다.
도 9a 및 도 9b는 최소 지지도가 30%의 빈발패턴들 중에 그래프 크기가 가장 큰 빈발 패턴들을 예를 도시한 도면이다.
도 10은 그래프 모델 기반과 통계적 모델 기반의 주간 행위 패턴 변화를 나타내는 그래프이다.
도 11은 행위 패턴 변화를 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명은 하나 이상의 하루 행위 시퀀스를 결합한 행위 그래프를 생성하고, 생성된 행위 그래프로부터 유용한 행위 패턴을 마이닝하는 그래프 모델 기반 행위 패턴 마이닝 장치 및 방법을 제안한다.
우선 그래프 모델 기반 행위 패턴 마이닝을 위한 용어들을 정의하기로 한다. 여기서 정의되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
단위 행위( unit activity )는 어떤 시간 구간 동안 끊김없이 행해진 동일한 행위로 기호
Figure pat00001
로 표시한다.
Figure pat00002
는 시간 t에 수행된 행위
Figure pat00003
를 의미한다. 단위 행위는 행위 인식 시스템으로부터 인식되며, 행위 그래프의 노드가 된다.
행위 시퀀스 ( activity sequence )
Figure pat00004
는 시간에 따른 연속적인 단위 행위들이다. 여기서,
Figure pat00005
이고, 동일한 행위가 서로 다른 시간 t에 한번 이상 나타날 수 있다. 즉,
Figure pat00006
일 때,
Figure pat00007
가 될 수 있다. 특별히 하루에 발생한 행위들의 시퀀스를 하루 행위 시퀀스(daily activity sequence)라고 정의한다. 하루 행위 시퀀스
Figure pat00008
는 d일 하루에 수행된 행위 시퀀스이다.
모니터링 윈도우 ( monitoring window )
Figure pat00009
는 행위 그래프를 생성하는 시간의 단위(
Figure pat00010
)이다. 이값은 일반적으로 주중/주말, 주간(
Figure pat00011
=7일), 월간(
Figure pat00012
=30일), 연간(
Figure pat00013
=365일) 등과 같은 의미 있는 일수로 설정한다.
행위 그래프( activity graph ) G=(V, E, L, l)는 단위 행위들의 노드 집합 V와 단위 행위들 간의 순서 관계의 에지 집합 E로 구성된다. 여기서, L은 노드와 에지의 레이블 집합이고, l은 레이블을 노드와 에지에 할당하는 함수이다. 행위 그래프
Figure pat00014
는 모니터링 윈도우
Figure pat00015
마다 행위 시퀀스들이 결합되어 생성된다. 따라서, 행위 그래프
Figure pat00016
은
Figure pat00017
보다
Figure pat00018
일 후의 기간의 행위 패턴을 반영한다.
도 2는 본 발명의 바람직한 실시 예에 따른 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치를 포함하는 개략적인 시스템 구성도이다.
도 2를 참조하면, 헬스 케어 지원 시스템은 댁내에 설치된 센서들로 구성된 센서 네트워크(10)과, 상기 센서 네트워크(10)로부터 획득된 정보를 통해 사용자의 행위를 인식하는 행위 인식 시스템(20)과, 상기 인식된 상기 사용자 행위를 저장하는 행위 DB(30)와, 상기 행위 DB(30)에 저장된 행위 정보를 분석하여 행위 패턴을 마이닝하는 행위 패턴 마이닝 장치(100)를 포함한다.
센서 네트워크(10)는
행위 인식 시스템(20)은 센서들(10)에 의해 획득된 정보를 통해 사용자의 행위를 인식하여 인식된 행위를 행위 DB(30)에 저장한다.
본 발명의 바람직한 실시 예에 따른 행위 패턴 마이닝 장치(100)는 장기간에 걸쳐 수집된 대용량 행위 DB(30)로부터 건강에 좋지 않은 영향을 주는 비정상적인 행위 패턴을 검출하여 의사에게 전송한다. 이 시스템을 통하여 사용자를 건강한 생활 패턴으로 유도하고 발병 징후를 조기에 검출하여 헬스케어 비용을 줄이는 효과를 얻을 수 있다.
이를 위해, 행위 패턴 마이닝 장치(100)는 본 발명의 바람직한 실시 예에 따라 행위 그래프 생성부(110), 행위 패턴 마이닝부(120)를 포함한다.
행위 그래프 생성부(110)는 본 발명의 바람직한 실시 예에 따라 상세하게는 하루 동안에 수행된 행위들을 시간의 순서대로 나열하여 하루 행위 시퀀스를 생성하는 하루 행위 시퀀스 생성부(111)와, 소정의 모니터링 윈도우 단위로 하나 이상의 하루 행위 시퀀스를 결합하여 행위 그래프를 생성하는 시퀀스 결합부(112)를 포함한다.
행위 패턴 마이닝부(120)는 행위 그래프 생성부(110)에서 생성된 행위 그래프로부터 소정 기준에 따른 행위 패턴을 검출하여 출력한다.
행위 패턴 마이닝 장치(100)의 상세 동작에 대해서는 후술하는 행위 패턴 마이닝 방법 설명에서 상세히 하기로 한다.
도 3은 본 발명의 바람직한 실시 예에 따른 헬스 케어를 위한 그래프 모델 기반 행위 패턴 그래프 생성 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 행위 패턴 그래프 생성 장치는 710 단계에서 하루 행위 패턴 시퀀스를 생성한다.
행위 그래프는 모니터링 윈도우에서 발생한 행위 패턴 정보를 그래프 모델로 표현한 것이다. 행위 그래프는 행위 데이터로부터 헬스 케어에 관련 있는 정보를 추상화하여 그래프로 표현한다. 이 그래프는 가능한 간결하면서도, 마이닝을 통해 헬스케어에 필요한 정보들을 추출할 수 있도록 필요한 정보들을 포함하고 있어야 한다.
행위 그래프의 노드는 기본적으로 단위 행위로 구성되며 행위 노드라고 정의한다. 각 행위 노드는 해당 행위에 대하여 행위 이름, 행위 시작 및 종료 시간, 행위 장소 등 헬스 케어에 관련된 다양한 정보들을 표현한다. 이를 위해 각 노드가 여러 개의 레이블을 갖는 멀티 레이블 그래프를 사용한다. 본 발명에서는 행위 식별자(activity ID)와 행위 지속 규칙성(regularity of activity duration) 두 개를 레이블로 갖는 것으로 가정한다.
행위 지속 규칙성은 평균적으로 수행되는 행위의 시간을 기준으로 수행된 시간의 편차를 의미한다. 헬스케어에서는 행위의 빈도뿐만 아니라 지속시간이 또 다른 중요 요소이다. 예를 들어, 화장실의 사용 시간 또는 식사 시간 등은 건강에 밀접히 관련이 있는 요소들이다.
단위 행위
Figure pat00019
의 행위 지속 규칙성을 계산하기 위하여 우선 정상 행위 지속시간(regular activity duration)
Figure pat00020
를 정의한다. 이 값은 훈련 기간 동안에 각 행위가 수행된 평균 지속시간으로 하기의 <수학식 1>과 같이 계산된다.
<수학식 1>
Figure pat00021
상기 <수학식 1>에서
Figure pat00022
는 훈련 기간 동안 j번째 발생한 단위 행위
Figure pat00023
의 지속시간이고, m은 훈련 기간 동안 발생한 단위 행위들의 총 수이다(
Figure pat00024
).
행위
Figure pat00025
의 행위 지속 규칙성은 정상 행위지속시간
Figure pat00026
와 매일 마다의 행위 지속시간
Figure pat00027
간의 표준 편차
Figure pat00028
를 이용하여 계산된다.
본 발명에서는 각 행위의 지속시간은 정규분포를 따른다고 가정한다. 그리고, 대칭적 임계 파라메터를 도입하여 하기의 <수학식 2>와 같이 정의한다.
<수학식 2>
Figure pat00029
상기 <수학식 2>에서
Figure pat00030
는 불규칙 임계 파라메터로서 정규분포의 신뢰 구간에 의하여 정해진다. 예를 들어, 도 3에서와 같이
Figure pat00031
을 1, 2, 3으로 설정하면, 이에 대한 정규분포 구간은 각각 68%, 95%, 99%가 된다.
최종적으로 행위 시간의 규칙성은 하기의 <표 1>에서와 같이 regular, low, high 중에 하나로 결정되어 행위 노드에 레이블링된다.
<표 1>
Figure pat00032
행위 그래프에서 행위 노드 간의 에지를 행위 에지라고 정의한다.
하루 행위 시퀀스 생성부(111)는 모니터링 윈도우가 하루(w=1)인 행위 그래프를 생성한다. 하루 행위 시퀀스에서 두 행위 노드가 순차적으로 발생한 경우 행위 노드 간에 에지를 생성하고, 에지 레이블을 '1'로 할당한다.
다시 도 3을 참조하면, 행위 패턴 그래프 생성 장치는 320 단계에서 윈도우가 1 이상인지를 판단한다. 상기 320 단계의 판단 결과 윈도우가 1보다 클 경우, 행위 패턴 그래프 생성 장치는 330 단계에서 윈도우 단위로 포함되는 하루 행위 시퀀스들을 결합한다. 그러나, 상기 320 단계의 판단 결과 윈도우가 1일 경우, 행위 패턴 그래프 생성 장치는 340 단계로 진행한다.
시퀀스 결합부(112)는 하루 이상의 모니터링 윈도우(w>1)로 행위 그래프를 생성하기 위하여 하루 행위 시퀀스들을 결합한다. 이와 같은 행위 그래프를 생성할 때는 주어진 모니터링 윈도우 내에서 동일한 행위 시퀀스 세그먼트(segment)들을 찾아 하나의 시퀀스로 결합하고 에지 레이블의 카운트를 증가시킨다. 동일한 행위 시퀀스 세그먼트를 찾아 이를 결합하는 상세한 내용은 후술하기로 한다.
그러면, 행위 그래프 생성부(110)에 의해 하루 행위 시퀀스를 생성하고, 이를 결합하는 동작을 예를 도 4 및 도 5를 참조하여 설명하기로 한다.
도 5는 모니터링 윈도우가 3일 때의 에지 레이블 할당을 설명하기 위한 일 예이다.
도 5를 참조하면, 행위 시퀀스 세 개의 에지 레이블은 모두 '1'로 할당된다. 하루 행위 시퀀스를 결합하여 행위 그래프를 생성할 때는 동일한 행위 시퀀스가 하나 이상 존재하면 에지 레이블의 횟수를 증가시키고 나머지 행위 시퀀스를 삭제한다.
하루의 행위 시퀀스를 나타내는 하루 행위 시퀀스는 행위 DB(30)로부터 하루 동안에 수행된 행위들을 시간의 순서대로 나열하여 간단하게 생성할 수 있다. 모니터링 윈도우가 1보다 큰 경우, 행위 그래프는 주어진 모니터링 윈도우 내에 속하는 하루 행위 시퀀스들을 결합하여 생성한다.
하루 행위 시퀀스들을 결합하여 행위 그래프를 생성할 때 다음을 고려해야 한다.
첫째, 하루의 행위 순서를 가지는 모든 행위 시퀀스의 순서 정보가 유지되어야 한다.
둘째, 효율적인 그래프 관리 및 마이닝을 위하여 그래프의 크기를 최대한 작게 생성해야 한다.
셋째, 하루 행위 시퀀스들에서 동일한 행위 시퀀스 세그먼트들이 결합되어야 한다.
예를 들어, 하루에 식사라는 동일한 행위가 아침, 점심, 저녁으로 세 번 발생한 경우에, 동일한 식사끼리 결합되는 것이 바람직하다.
본 발명에서는 이러한 점들을 고려하여 행위 그래프 생성시 다중 시퀀스 얼라이먼트 기법들 중에 많이 사용되고 있는 MUSCLE 알고리즘을 도입한다. 다중 시퀀스 얼라이먼트는 세 개 이상의 생체 시퀀스(biological sequence)들로부터 많은 정보를 유지하면서 간결한 형태로 표현하기 위하여 시퀀스들의 일치하는 위치를 정렬한다.
도 6은 모니터링 윈도우가 3일인 경우 다중 시퀀스 얼라이먼트를 이용하여 행위 시퀀스로부터 행위 그래프를 생성하는 예시도이다.
모니터링 윈도우가 3일이기 때문에 3개의 행위 시퀀스로부터 시작한다. 우선 일치하는 행위 노드가 가장 많은 행위 시퀀스 2와 3이 먼저 결합된다. 이때 에지 레이블은 동일한 행위 노드들을 하나의 노드로 표현하고 횟수를 증가시킨다. 다음으로 행위 시퀀스 1과 결합하여 최종적인 행위 그래프를 생성한다. 이와 같은 방법으로 행위 시퀀스들로부터 행위 그래프를 생성함으로써 각 날짜의 행위 순서 정보를 유지할 수 있다.
하기의 <표 2>에는 행위 그래프 생성 알고리즘의 일 예를 나타내는 것으로, 다중 시퀀스 얼라이먼트를 이용한 행위 그래프 생성 알고리즘 CreateActivityGraph이다.
<표 2>
Figure pat00033
알고리즘은 우선 단위 행위 집합을 행위가 발생한 시간 순서로 정렬한다. 그리고, 하루 단위로 행위 시퀀스를 생성한다. 다음으로 모니터링 윈도우마다 행위 시퀀스들을 다중 시퀀스 얼라이먼트 알고리즘을 이용하여 결합한다. 마지막으로 노드 및 에지 레이블들을 할당하여 행위 그래프를 생성한다.
다시 도 3을 참조하면, 340 단계에서 행위 패턴 그래프 생성 장치는 하나 이상의 하루 행위 시퀀스가 결합되어 생성된 행위 패턴 그래프에서 마이닝을 수행한다.
행위 패턴 마이닝부(120)가 수행하는 그래프 마이닝 방식은 다양한 실시 예가 가능하다.
첫 번째로, 규칙적인 행위 패턴 분석을 위한 빈발 서브 그래프 마이닝이다. 사용자의 규칙적 생활 여부 또는 건강에 악영향을 끼치는 패턴의 반복 여부를 분석한다. 행위 그래프에 gSpan, FSG 등과 같은 빈발 서브 그래프 마이닝(frequent subgraph mining) 알고리즘을 사용하여 빈발 행위 패턴을 검출한다.
두 번째로, 관심 있는 패턴 검사를 수행한다. 사용자의 건강 상태에 따라 지양해야 할 행위 패턴이 있는지를 검사한다. 행위 그래프와 관심 패턴 간의 서브그래프 동형 검사(subgraph isomorphism test)를 수행하여 검사한다.
세 번째로, 행위 패턴 변화 분석한다. 시간에 따른 사용자의 행위 패턴의 급격한 변화를 검출하기 위하여 일/월/년 별 행위 패턴의 변화를 관찰한다. 서로 다른 모니터링 윈도우에서 생성된 두 그래프에 대하여 그래프 수정 거리(graph edit distance) 또는 최대 공통 부분그래프(maximal common sub graph)와 같은 그래프 매칭 알고리즘을 사용한다.
그러면, 우선 규칙적인 행위 패턴 분석을 위한 빈발 서브 그래프 마이닝에 대하여 설명한다. 최소 지지도와 빈발 패턴의 개수는 사용자의 규칙적인 행위와 깊은 연관 관계가 있다. 높은 최소 지지도에서 많은 빈발 패턴이 발생하면 사용자는 규칙적인 생활을 하고 있다는 것을 의미한다. 또한 빈발 패턴의 수가 점차 증가하는 것 또한 점차 규칙적인 생활로 변화하고 있음을 알려준다.
빈발 행위 패턴으로부터 건강에 악영향을 끼치는 행위 패턴이 빈발하게 발생하는지를 분석할 수 있다. 이때, 각 행위는 자주 수행되는 시간의 성격이 다르기 때문에 일간, 주간 및 월간 등의 다양한 모니터링 윈도우로 생성된 행위 그래프에서 분석하는 것이 중요하다. 예를 들어, 일주일에 주말에만 나타나는 취미 생활 행위는 일간보다는 주간 모니터링 윈도우로 생성된 행위 그래프에서 빈발 패턴으로 나타난다.
다음으로, 관심 패턴 검사는 서브그래프 동형 검사를 이용한다. 관심 패턴은 사용자의 성별, 나이, 건강 상태, 질병 여부 등에 따라 특별히 지양해야할 패턴으로서 의사와 같은 전문가에 의해 정해진다. 관심 패턴의 예로는 숙면을 취하지 못하는 '수면-> 화장실-> 수면'을 들 수 있다.
마지막으로, 사용자의 행위 패턴 변화는 서로 다른 모니터링 윈도우에서 생성한 행위 그래프들의 유사도 매칭을 통하여 분석한다. 행위 그래프들을 다양한 모니터링 윈도우에서 생성하고 그래프들 간의 유사도 변화를 측정함으로써 행위 패턴이 건강한 방향으로 변화하고 있는지 관찰한다. 또한 행위 패턴 변화 분석으로부터 사용자의 급격한 생활 패턴 변화를 검출할 수 있다. 만약 임계값 이상의 변화가 감지되면 새로 생성된 패턴들과 사라진 패턴들을 비교하여 특정 질병과의 연관 관계를 분석한다.
도 7은 일주일 단위로 생성된 두 행위 그래프들 간의 유사도를 최대 공통 부분 그래프 알고리즘을 사용하여 측정하는 예시이다.
최대 공통 부분그래프의 유사도 측정식은 하기의 <수학식 3>과 같다.
<수학식 3>
Figure pat00034
상기 <수학식 3>에서
Figure pat00035
는 두 그래프 간의 최대 공통 그래프이고,
Figure pat00036
는 그래프의 노드와 에지 개수의 합이다.
상기 <수학식 3>을 사용하면 두 그래프간의 유사도는 약 56(=9/16)%가 되고, 일주일간에 약 44%의 행위 패턴이 변화된 것을 알 수 있다. 또한 사용자가 커피 대신에 쥬스를 마시기 시작했고, 식사를 하고 화장실을 가는 패턴이 생성됨을 알 수 있다.
그러면, 본 발명의 바람직한 실시 예에 따른 그래프 모델 기반 행위 패턴 마이닝 방법의 효과를 설명하기 위해, 성능 검사 실험에 대해 설명하기로 한다.
실험 데이터 및 실험의 구성
실험을 위하여 Washington 대학의 CASAS smart home 프로젝트 데이터 셋들 중에서 Aruba를 사용하였다. 데이터 셋은 온도, 스위치, 모션 센서들을 여성이 혼자 사는 아파트에 설치하고, 7개월간 수집한 행위 데이터들로 구성되어 있다. 수면, 식사, 화장실, 외출, 혈압 측정, 설거지, 업무, 휴식, 집안일의 9개의 행위가 인식되었다.
실험은 주간, 월간, 주중/주말 모니터링 윈도우를 사용하여 행위 그래프를 생성하고 빈발 패턴 검출과 관심 패턴 검사를 하였다. 또한 그래프 간의 유사도 매칭을 수행하여 행위 패턴의 변화를 분석하고 기존의 통계 기반 마이닝 방법과 비교하였다.
실험 결과
도 8은 일주일의 모니터링 윈도우를 사용하여 생성한 행위 그래프의 예이다.
위 그래프는 각 하루 행위 시퀀스의 행위 순서 관계를 유지함과 동시에 7일간의 행위 정보를 요약하고 있다. 행위노드의 레이블은 단위 행위와 행위의 행위 지속 규칙성을 나타낸다. 행위 규칙 지속성을 측정하기 위하여 훈련 기간은 전체 데이터 기간 7개월의 25%로 하였고, 불규칙 임계 파라메터
Figure pat00037
는 1.5로 설정하였다.
도 8에서 볼 수 있듯이 대부분의 행위 수행 시간은 규칙적임을 나타내는 '2'로 측정되어 노드 레이블로 할당되었다. 에지는 시간적으로 연속된 두 행위 노드 사이를 연결하며, 레이블은 패턴의 발생 빈도로 할당되었다.
<표 2>는 gSpan을 이용하여 다양한 모니터링 윈도우로 생성한 행위 그래프들로부터 최소 지지도를 10%, 20%, 30% 세 가지로 설정(월간 빈발 행위 패턴은 최소 지지도 30%로만 사용)하여 마이닝한 빈발 행위 패턴의 수이다. 빈발행위 패턴은 최소지지도가 작을수록 관찰 윈도우의 크기가 클수록 개수가 증가한다.
<표 2>
Figure pat00038
도 9a 및 도 9b는 최소 지지도가 30%의 빈발패턴들 중에 그래프 크기가 가장 큰 빈발 패턴들을 대표적인 예로 보여준다.
도 9a는 주간 빈발 패턴이고, 도 9b는 월간 빈발 패턴이다.
<표 3>은 다양한 모니터링 윈도우로 생성한 빈발 행위 패턴들 간의 동형(isomorphism) 패턴의 개수를 분석한 것이다. <표 3>에서 볼 수 있듯이 각 모니터링 윈도우에서만 찾을 수 있는 빈발 패턴들이 있기 때문에 헬스케어를 위한 정교한 분석을 위해서는 다양한 기간별로 패턴을 찾아야 한다.
<표 3>
Figure pat00039
<표 4>는 주 단위 모니터링 윈도우로 생성된 행위 그래프들로부터 서브그래프 동형 검사를 통하여 검출한 관심 패턴의 수이다. 관심 패턴은 숙면을 취하지 못하는 패턴(관심 패턴 1) '수면 -> 화장실 -> 수면'과 식사 후 바로 화장실을 가는 패턴(관심 패턴 2) '식사 -> 화장실'로 하였다. 패턴의 횟수를 나타내는 에지 레이블은 1부터 5까지 다양하게 할당하여 검사하였다. 표에서 볼 수 있듯이 사용자는 숙면을 취하지 못하고 수면 중에 자주 화장실을 가는 좋지 않은 패턴을 가지고 있다.
<표 4>
Figure pat00040
도 10은 그래프 모델 기반과 통계적 모델 기반의 주간 행위 패턴 변화를 나타내는 그래프이다.
그래프 모델 기반은 매 주의 패턴들을 상기 <수학식 3>의 최대 공통 그래프를 사용하여 측정하였다. 통계적 기반은 9개의 행위들의 빈도를 9개의 차원으로
Figure pat00041
Figure pat00042
와 같이 표현하고 두 주간의 패턴 과 의 유사도를 하기의 <수학식 4>와 같이 유클리안 거리를 정규화하여 측정하였다. 여기서,
Figure pat00043
와
Figure pat00044
은 두 주간의 행위
Figure pat00045
의 최대 및 최소 발생 빈도이다.
<수학식 4>
Figure pat00046
도 10에서 볼 수 있듯이 그래프 모델에서 대부분의 행위 패턴은 25%이내에서 변화함을 알 수 있고, 28번째 주에서 40%이상의 급격한 변화가 있었다.
이와 같은 급격한 패턴의 변화가 지속될 경우는 새로 생긴 패턴과 사라진 패턴을 검출하여 건강에 미치는 영향을 분석해야 하는 신호가 된다. 통계 기반의 행위 패턴 변화 그래프는 각 행위의 발생 빈도 차이만으로 두 주간의 패턴 차이를 반영한다. 반면에 그래프 기반의 행위 패턴 변화 그래프는 각 행위의 발생 빈도뿐만 아니라 행위 발생순서와 행위 지속 규칙성의 차이를 모두 반영하여 두 주간의 패턴 변화를 측정한다. 따라서, 도 10에서 두 모델 간의 패턴 변화가 유사한 기간은 행위 패턴의 변화에 행위 발생 빈도의 차이가 많이 작용한 기간이다.
반대로 또한 두 모델 간의 행위 패턴 변화가 서로 다른 구간(타원형의 점선으로 그래프에서 표시된 구간)인 12주~19주는 행위 패턴 변화에 행위 발생 빈도뿐만 아니라 행위의 순서와 행위 지속 규칙성과 같은 다른 요소의 변화가 함께 있었음을 의미한다. 따라서 행위의 패턴 변화 분석에 있어서, 행위의 빈도만을 고려할 경우에는 통계적 모델을 활용할 수 있으며, 다양한 행위 발생순서와 같은 요소를 복합적으로 고려할 경우에는 그래프 모델을 활용하는 것이 유용하다.
도 11은 도 10의 행위 패턴 변화를 설명하기 위하여, 도 10에서 사용된 25와 26번째의 두 주간 행위 그래프에서의 패턴 변화를 보여준다. 서브 그래프 1과 서브그래프 2는 행위의 순서는 변화하지 않고 빈도만 변한 것을 보여준다. 서브그래프 3과 서브그래프 4는 반대로 행위의 빈도는 변하지 않고 순서만 변한 것을 보여준다.

Claims (10)

  1. 행위 노드들과 상기 행위 노드들 간의 연결로 이루어진 하루 행위 시퀀스를 생성하는 단계와,
    하나 이상의 하루 행위 시퀀스들을 결합하여 행위 그래프를 생성하는 단계와,
    상기 생성된 행위 그래프로부터 유용한 행위 패턴을 마이닝하는 단계를 포함함을 특징으로 하는 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 방법.
  2. 제 1항에 있어서, 상기 행위 노드들은
    행위 식별자(activity ID)와 평균적으로 수행되는 행위의 시간을 기준으로 수행된 시간의 편차인 지속 규칙성(regularity of activity duration) 레이블을 포함함을 특징으로 하는 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 방법.
  3. 제 2항에 있어서, 상기 행위 시간의 규칙성은
    규칙적, 로우, 하이 중에 하나로 결정되어 행위 노드에 레이블링됨을 특징으로 하는 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 방법.
  4. 제 1항에 있어서, 상기 행위 그래프를 생성하는 단계는
    소정 모니터링 윈도우 내에서 동일한 행위 시퀀스 세그먼트들을 찾아 하나의 시퀀스로 결합하고 에지 레이블의 카운트를 증가시키는 단계와,
    동일한 행위 시퀀스가 하나 이상 존재하면 에지 레이블의 횟수를 증가시키고 나머지 행위 시퀀스를 삭제하는 단계를 포함함을 특징으로 하는 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 방법.
  5. 제 1항에 있어서, 상기 행위 패턴을 마이닝하는 단계는
    규칙적인 행위 패턴을 분석하기 위해 빈발 서브 그래프를 마이닝함을 특징으로 하는 헬스 케어를 그래프 모델 기반 행위 패턴 마이닝 방법.
  6. 제 1항에 있어서, 상기 행위 패턴을 마이닝하는 단계는
    상기 행위 그래프와 소정 관심 패턴간의 서브 그래프 동형 검사를 수행함을 특징으로 하는 헬스 케어를 그래프 모델 기반 행위 패턴 마이닝 방법.
  7. 제 1항에 있어서, 상기 행위 패턴을 마이닝하는 단계는
    시간에 따른 사용자의 행위 패턴의 변화를 검출하기 위하여 일/월/년 별 행위 패턴의 변화를 관찰함을 특징으로 하는 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 방법.
  8. 소정 윈도우 내에 포함되는 하루 행위 시퀀스를 결합한 행위 그래프를 생성하는 행위 그래프 생성부와,
    상기 생성된 행위 그래프로부터 유용한 행위 패턴을 마이닝하는 행위 패턴 마이닝부를 포함함을 특징으로 하는 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치.
  9. 제 8항에 있어서, 상기 행위 그래프 생성부는
    행위 노드들과 상기 행위 노드들 간의 연결로 이루어진 하루 행위 시퀀스를 생성하는 하루 행위 시퀀스 생성부와,
    하나 이상의 하루 행위 시퀀스들을 결합하여 행위 그래프를 생성하는 시퀀스 결합부를 포함함을 특징으로 하는 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치.
  10. 제 9항에 있어서, 상기 시퀀스 결합부는
    소정 모니터링 윈도우 내에서 동일한 행위 시퀀스 세그먼트들을 찾아 하나의 시퀀스로 결합하고 에지 레이블의 카운트를 증가시키고, 동일한 행위 시퀀스가 하나 이상 존재하면 에지 레이블의 횟수를 증가시키고 나머지 행위 시퀀스를 삭제함을 특징으로 하는 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치.
KR1020110100235A 2011-09-30 2011-09-30 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치 및 방법 KR101275296B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110100235A KR101275296B1 (ko) 2011-09-30 2011-09-30 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110100235A KR101275296B1 (ko) 2011-09-30 2011-09-30 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130035734A true KR20130035734A (ko) 2013-04-09
KR101275296B1 KR101275296B1 (ko) 2013-06-17

Family

ID=48437490

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110100235A KR101275296B1 (ko) 2011-09-30 2011-09-30 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101275296B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112000863A (zh) * 2020-08-14 2020-11-27 北京百度网讯科技有限公司 用户行为数据的分析方法、装置、设备和介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100682900B1 (ko) * 2004-11-11 2007-02-15 삼성전자주식회사 사용자의 생활 패턴을 고려한 건강 관리 방법 및 장치
KR101210277B1 (ko) * 2008-12-23 2012-12-18 한국전자통신연구원 행위 모니터링 시스템 및 행위 모니터링을 위한 정보 전송 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112000863A (zh) * 2020-08-14 2020-11-27 北京百度网讯科技有限公司 用户行为数据的分析方法、装置、设备和介质
CN112000863B (zh) * 2020-08-14 2024-04-09 北京百度网讯科技有限公司 用户行为数据的分析方法、装置、设备和介质

Also Published As

Publication number Publication date
KR101275296B1 (ko) 2013-06-17

Similar Documents

Publication Publication Date Title
Johnson et al. Machine learning and decision support in critical care
Rashidi et al. COM: A method for mining and monitoring human activity patterns in home-based health monitoring systems
Ongenae et al. A probabilistic ontology-based platform for self-learning context-aware healthcare applications
EP2891094A1 (en) Methods and systems for calculating and using statistical models to predict medical events
CN103635908B (zh) 离开就绪性指标
JP7373921B2 (ja) 活動認識と行動分析のための方法及びシステム
AU2011351962B2 (en) Clinical quality analytics system
Soulas et al. Unsupervised discovery of activities of daily living characterized by their periodicity and variability
JP2015219617A (ja) 疾病分析装置、疾病分析方法、及びプログラム
US11145394B2 (en) Clinical quality analytics system with recursive, time sensitive event-based protocol matching
JP2013148996A (ja) 重症度判定装置、及び、重症度判定方法
Naeem et al. Recognising activities of daily life using hierarchical plans
KR101275296B1 (ko) 헬스 케어를 위한 그래프 모델 기반 행위 패턴 마이닝 장치 및 방법
Pugh et al. Evaluating alarm classifiers with high-confidence data programming
Shaw et al. Modelling the flow of congestive heart failure patients through a hospital system
Chetta et al. Augmenting EHR interfaces for enhanced nurse communication and decision making
CN114678126A (zh) 一种疾病追踪预测系统
Orejel Bustos et al. Ambient assisted living systems for falls monitoring at home
Pechenizkiy et al. Heart failure hospitalization prediction in remote patient management systems
Jaiswal et al. Table of interest: activity recognition and behaviour analysis using a battery less wearable sensor
Rani et al. Mobile health application for early disease outbreak-period detection
Ricciardi et al. Evaluation of different machine learning algorithms for predicting the length of stay in the emergency departments: a single-centre study
Mesinovic et al. Xmi-icu: Explainable machine learning model for pseudo-dynamic prediction of mortality in the icu for heart attack patients
Adewoyin et al. The PBC model: supporting positive behaviours in smart environments
Hamilton FITsense: Employing Multi-modal Sensors in Smart Homes to Predict Falls

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160518

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee