KR100934225B1 - 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치및 방법, 이를 이용한 일상생활 행위 인식 시스템 - Google Patents

일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치및 방법, 이를 이용한 일상생활 행위 인식 시스템 Download PDF

Info

Publication number
KR100934225B1
KR100934225B1 KR1020070096510A KR20070096510A KR100934225B1 KR 100934225 B1 KR100934225 B1 KR 100934225B1 KR 1020070096510 A KR1020070096510 A KR 1020070096510A KR 20070096510 A KR20070096510 A KR 20070096510A KR 100934225 B1 KR100934225 B1 KR 100934225B1
Authority
KR
South Korea
Prior art keywords
behavior
data
subject
classification
action
Prior art date
Application number
KR1020070096510A
Other languages
English (en)
Other versions
KR20090030868A (ko
Inventor
방선리
김민호
박수준
박선희
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070096510A priority Critical patent/KR100934225B1/ko
Priority to US12/105,327 priority patent/US8079277B2/en
Publication of KR20090030868A publication Critical patent/KR20090030868A/ko
Application granted granted Critical
Publication of KR100934225B1 publication Critical patent/KR100934225B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/07—Home care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/08—Sensors provided with means for identification, e.g. barcodes or memory chips
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Abstract

본 발명은 센서들을 이용하여 일상생활 행위를 인식하기 위해 요구되는 주체자의 행위 분류를 보정 하는 장치 및 방법, 이를 이용한 일상생활 행위 인식 시스템에 관한 것으로, 주체자의 행위에 대한 분류를 주체자의 행위와 이와 연관된 사물에 설치된 센서의 활성화 정보 및 적합한 연속 행위 패턴을 이용하여 보정 함으로써 일상생활 행위를 분석하는데 기본 정보가 되는 주체자의 행위 분류의 정확도를 높일 수 있는 효과가 있다.
일상생활 행위, 행위 분류, 행위 분류 보정

Description

일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치 및 방법, 이를 이용한 일상생활 행위 인식 시스템{Apparatus and method for refining subject activity classification to recognizing activity of daily life, and system for recognizing activity of daily life using the same}
본 발명은 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치 및 방법, 이를 이용한 일상생활 행위 인식 시스템에 관한 것으로, 더욱 상세하게는 주체자의 일상생활 행위 및 상기 주체자의 일상생활 행위와 연관된 사물에 설치된 센서의 활성화된 시간 정보와, 상기 일상생활 행위에 대한 연속 행위 패턴의 적합성을 이용하여 주체자의 행위 분류의 정확도를 높이기 위한 보정 장치 및 방법, 이를 이용한 일상생활 행위 인식 시스템에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S007-02, 과제명: 유비쿼터스 건강관리용 모듈 시스템].
최근에는 유비쿼터스 컴퓨팅 환경과 의료기술의 발달로 인해 개별적인 건강에 대한 관심이 늘어났으며, 인간의 건강한 삶을 위한 u-헬스 케어 프로그램 및 건강관리 서비스에 대한 수요가 급증하고 있다.
이러한 u-헬스 케어 프로그램 및 건강관리 서비스에 대한 수요 급증에 따라 의료기관을 중심으로 제공되었던 건강관리 서비스가 개인 또는 가정으로 확대되고 있으며, 건강한 생활패턴 유지 및 응급상황 인식을 위해 가정 내 일상생활 행위 인식의 연구가 활발히 진행되고 있다.
일상생활 행위를 알아내기 위한 연구로는 생활과 관련된 사물에 RFID 태그를 부착하고, RFID 리더기를 사용자(즉, 주체자)에게 부착하여 주체자가 사물에 대한 터치를 수행하면 사물의 반응으로부터 해당 일상생활행위를 추론하는 방법이 있다.
이러한 방법은 일상생활 행위와 관련된 사물의 사용 정보를 직접적으로 알 수 있는 장점이 있으나, 주체자의 행위를 고려하지 않고 RFID 리더기에 읽혀진 사물의 반응만을 고려한다는 한계가 있다.
그러나 특정 일상생활 행위를 정확하게 인식하기 위해서는 사물에 대한 반응뿐만 아니라 기본적으로 주체자가 행하는 행위를 함께 알아야 한다.
즉, 주체자가 특정한 일상생활 행위를 행하는데 필요한 움직임과, 사물에 행해지는 반응을 함께 고려하여야 정확한 일상생활 행위를 인식할 수 있다.
예를 들어, 밥을 먹기 위해 식탁에 앉는 행위는 주체자의 행위가 '앉다'라고 인식이 되어야 하며, 의자에 무엇인가가 올려져 있다는 반응을 동시에 얻어내야 하 는 것이다.
그래서 근래에는 주체자의 행위를 분류하기 위해 3축가속도센서 등을 허리나 어깨 등에 착용하여 주체자의 행위를 측정하고, 측정한 데이터에 통계적인 기법을 적용하여 주체자의 행위를 분류함으로써 주체자의 상세 행위를 인식하는 연구가 진행되고 있다.
그러나 이러한 방법은 센서의 민감함으로 인해 데이터의 오류가 발생할 수 있으며, 이러한 현상으로 인해 일상생활 행위의 분류 정확도가 떨어지게 된다.
이와 같이 종래의 RFID 태그와 RFID 리더기를 이용한 방법은 상기 RFID 태그를 부착한 사물의 반응만을 고려하여 주체자의 행위를 정확하게 추론하지 못하는 문제점과, 주체자가 커다란 RFID 리더기를 착용하고 생활해야 하는 불편함이 있다.
또한, 일상생활 행위의 분류 정확도를 높이기 위해 다중센서를 이용하여 일상생활행위를 인식하는 방법은 대부분 동일한 센서를 서로 다른 위치에 부착하는 정도에 그치고 있어 정확한 주체자의 행위를 분류하지 못하는 문제점이 있다.
따라서 본 발명은 일상생활 행위를 정확하게 인식하기 위해서 주체자의 몸에 부착한 센서로부터 측정한 주체자의 행위와, 사물에 부착한 센서로부터 측정한 주체자의 행위와 연관된 사물의 사용 정보, 즉 사물에 설치된 센서의 활성화 정보를 이용하여 주체자의 행위 분류의 정확도를 향상시킬 수 있는 일상생활 행위 인식을 위한 행위 분류 보정 장치, 이를 이용한 일상생활 행위 인식 시스템 및 일상생활 행위 인식을 위한 행위 분류 보정 방법을 제공한다.
본 발명의 일실시 예에 따른 일상생활행위 인식을 위한 주체자의 행위 분류 보정 장치는 주체자의 몸에 부착된 센서에서 측정된 주체자의 행위 데이터를 분류한 행위 분류값과, 사물에 설치된 하나 이상의 센서에서 측정된 상기 주체자의 행위 데이터와 연관된 사물의 반응 데이터를 수신하여 저장하는 입력버퍼; 상기 입력버퍼에 저장된 행위 분류값을 특정 구간 추출하고, 상기 특정 구간 내 행위 분류값에 대해 행위를 수행하는데 필요한 최소 시간보다 짧은 단시간 동안 일어난 순간 튀는 행위 데이터를 추출하여 상기 순간 튀는 행위 데이터의 전, 후 행위 분류값과 일치하도록 보정 하는 제1 보정 모듈; 및 상기 특정 구간 내 상기 순간 튀는 행위 데이터가 없으면, 상기 주체자의 행위 데이터와 연관된 사물에 설치된 하나 이상의 센서의 활성화 여부에 따라 상기 특정 구간 내 행위 분류값의 연속 행위 패턴에 대한 부적합 패턴을 추출하여 상기 연속 행위 패턴에 적합하도록 보정 하는 제2 보정 모듈를 포함한다.
상기 사물 반응 데이터와 행위 분류값은 각각 사물의 반응 및 행위가 발생된 시간 정보를 포함한다.
상기 제1 보정 모듈은 상기 입력버퍼로부터 특정 구간 추출한 시간적으로 연속된 3개의 행위 분류값을 수신받아 트리플 데이터를 구성하고, 상기 트리플 데이터에 단시간 동안 일어나는 행위 데이터가 있는 경우, 상기 단시간 동안 일어나는 행위 데이터를 바로 이전 행위 분류값과 비교하여 일치하지 않으면, 순간 튀는 행위 데이터로 판단하고, 상기 판단된 순간 튀는 행위 데이터를 동일한 행위로 분류된 전, 후 행위 분류값으로 보정 한다.
상기 제2 보정 모듈은 상기 트리플 데이터에 순간 튀는 행위 데이터가 없는 경우, 상기 트리플 데이터에 대한 연속 행위 패턴의 부적합 패턴 유무를 판단하고, 부적합 패턴이 있으면, 상기 트리플 데이터에 대해 선정한 기준행위와, 상기 기준행위와 연관된 사물에 설치된 하나 이상의 센서의 활성화 여부에 따라 상기 부적합 패턴을 보정 한다.
또한, 상기 제2 보정 모듈은 상기 기준행위와 연관된 사물에 설치된 하나 이상의 센서가 상기 기준행위와 연속되는 다음 행위 분류값까지 활성화되어 있으면, 상기 다음 행위 분류값을 상기 기준행위로 보정 한다.
또한, 상기 제2 보정 모듈은 상기 기준행위와 연관된 사물에 설치된 하나 이상의 센서가 상기 기준행위와 연속되는 다음 행위 분류값까지 활성화되어 있지 않으면, 적합한 연속 행위 패턴과 상기 트리플 데이터를 매칭하여 부적합 패턴을 보정 한다.
또한, 상기 제2 보정 모듈은 상기 기준행위를 주체자의 행위가 일어나는 시간 동안 상기 주체자의 행위와 연관된 사물에 설치된 하나 이상의 센서의 활성화가 함께 일어나는 행위를 우선적으로 선정하고, 그렇지 않을 경우, 상기 트리플 데이터의 행위 분류값 중 행위 분류값이 가장 높은 행위 및 일정 시간 동안 수행된 행위 중 하나로 선정한다.
한편, 본 발명의 일실시예에 따른 행위 분류 보정을 통한 일상생활 행위 인식 시스템은 주체자의 몸에 부착된 센서로부터 수신되는 주체자의 행위 데이터를 분류하여 행위 분류값을 생성하는 행위 분류 모듈; 상기 행위 분류값과, 사물에 설치된 하나 이상의 센서로부터 측정된 주체자의 행위 데이터와 연관된 사물의 반응 데이터를 입력받아 저장하고, 상기 행위 분류값 중에서 순간 튀는 행위 데이터 및 연속 행위 패턴의 부적합 패턴을 추출하여 보정 하는 행위 분류 보정 모듈; 및 상기 보정된 행위 분류값을 갖는 연속 행위 패턴을 분석하여 주체자의 일상생활 행위를 인식하는 일상생활 인식 모듈;을 포함한다.
상기 행위 분류 모듈은 상기 주체자의 행위를 '앉다(sit)', '걷다(walk)', '뛰다(run)', '일어서다(stand)', '눕다(lie)', '넘어지다(fall)' 중 하나를 포함하는 동작(motion)과, '앉아있다(sitting)', '서있다(standing)', '누워있다(lying)' 중 하나를 포함하는 상기 동작의 진행상태를 나타내는 자세(posture)와, '그 밖의 행동(unknown)'으로 분류한다.
상기 행위 분류 보정 모듈은 상기 사물 반응 데이터와, 상기 행위 분류값을 수신하여 저장하는 입력버퍼; 상기 입력버퍼에 저장된 행위 분류값을 특정 구간 추출하고, 상기 특정 구간 내 행위 분류값 중 행위를 수행하는데 필요한 최소 시간보다 짧은 단시간 동안 일어난 순간 튀는 행위 데이터를 추출하여 상기 순간 튀는 행위 데이터의 전, 후 행위 분류값과 일치하도록 보정 하는 제1 보정 모듈; 및 상기 특정 구간 내 상기 순간 튀는 행위 데이터가 없으면, 상기 주체자의 행위 데이터와 연관된 사물에 설치된 하나 이상의 센서의 활성화 여부에 따라 연속 행위 패턴에 대한 부적합 패턴을 추출하여 상기 연속 행위 패턴에 적합하도록 보정 하는 제2 보정 모듈을 포함한다.
한편, 본 발명의 일실시예에 따른 일상생활행위 인식을 위한 주체자의 행위 분류 보정 방법은 주체자의 몸에 부착된 센서로부터 측정된 행위 데이터를 분류한 행위 분류값과, 사물에 설치된 하나 이상의 센서로부터 측정된 사물의 반응 데이터를 수신하여 저장하는 단계; 상기 저장된 주체자의 행위 분류값을 특정 구간만큼 추출하여 상기 특정 구간 내 순간 튀는 행위 데이터가 있는지 판단하고, 상기 순간 튀는 행위 데이터가 있으면 보정을 수행하는 단계; 및 상기 순간 튀는 행위 데이터가 없으면, 상기 특정 구간 내 행위 분류 데이터에 대한 연속 행위 패턴의 적합 여부를 판단하여 부적합 패턴이 있으면, 주체자의 행위와 연관된 사물에 설치된 하나 이상의 센서의 활성화 여부에 따라 상기 부적합 패턴의 보정을 수행하는 단계;를 포함한다.
상기 순간 튀는 행위 데이터의 보정을 수행하는 단계는, 상기 특정 구간 내 연속 3개의 행위 분류 데이터를 트리플 데이터로 구성하는 단계; 상기 트리플 데이터에 포함된 행위를 수행하는데 필요한 최소 시간보다 짧은 단시간 동안 일어난 행위 데이터가 바로 이전의 행위 분류값과 일치하는지를 비교하여 일치하지 않으면, 상기 단시간 동안 일어난 행위 데이터를 순간 튀는 행위 데이터로 판단하는 단계; 및 상기 순간 튀는 행위 데이터의 전, 후 행위 분류값이 동일하면, 상기 순간 튀는 행위 데이터를 상기 전, 후 행위 분류값으로 보정 하는 단계;를 포함한다.
상기 단시간 동안 일어난 행위 데이터가 바로 이전의 행위 분류값과 일치하거나, 상기 순간 튀는 행위 데이터의 전, 후 행위 분류값이 동일하지 않으면, 연속 행위 패턴의 적합 여부를 판단하는 단계를 더 포함한다.
상기 부적합 패턴의 보정을 수행하는 단계는 상기 순간 튀는 행위 데이터가 없으면, 상기 트리플 데이터에서 연속 행위 패턴의 부적합 패턴을 찾는 단계; 상기 트리플 데이터에 대한 기준행위를 선정하는 단계; 및 상기 선정된 기준행위와 연관 된 사물에 설치된 하나 이상의 센서가 활성화되는 시간이 부적합 패턴이 일어나는 시간과 일치하면 상기 기준행위로 부적합 패턴을 보정 하는 단계;를 포함한다.
상기 부적합 패턴의 보정을 수행하는 단계는, 상기 기준행위와 연관된 사물의 반응을 측정하는 센서가 활성화되는 시간이 다음 연속 행위가 일어나는 시간과 일치하지 않으면, 상기 트리플 데이터와 적합한 연속 행위 패턴의 매칭을 통해 상기 부적합 패턴을 보정 하는 단계를 더 포함한다.
상기 기준행위의 선정은, 주체자의 행위 데이터가 일어나는 시간 동안 연관된 사물 반응 데이터의 활성화가 함께 일어나는 행위, 트리플 데이터 중 행위 분류값이 가장 높은 행위 및 행위 분류값이 전달되지 않는 경우는 일정 시간 동안 수행된 행위 중 하나로 선정된다.
상기 적합한 연속 행위 패턴은, '눕다'-'누워있다', 누워있다'-['앉다' 또는 '일어서다'], '앉다'-'앉아있다', '앉아있다'-['일어서다' 또는 '눕다'], '일어서다'-'서있다', '서있다'-['앉다' 또는 '눕다' 또는 '걷다' 또는 '뛰다' 또는 '넘어지다'], '넘어지다'-['앉다' 또는 '서다'], '걷다'-['서다' 또는 '뛰다'], '뛰다'-['걷다' 또는 '서다' 또는 '넘어지다'] 중 적어도 하나 이상으로 이루어진다.
상술한 바와 같이 본 발명에 따르면, 실내환경에 있는 사물 및 주체자의 몸에 부착한 센서들을 이용하여 측정한 주체자의 행위와 이와 연관된 사물에 설치된 센서의 활성화 정보를 이용하여 분류된 주체자의 행위에 대해 순간적으로 튀는 행 위와 연속 행위 패턴 중 부적합한 행위를 보정 함으로써 일상생활 행위를 분석하는데 기본 정보가 되는 주체자의 행위 분류의 정확도를 높일 수 있는 효과가 있다.
따라서, 본 발명은 일상생활 행위 인식의 정확도를 높일 수 있는 기반을 마련함으로써 주체자의 행위 정보를 바탕으로 서비스를 제공하는 홈 헬스케어 서비스 개발의 향상된 서비스를 기대할 수 있다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다.
다만, 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다.
또한 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, '모듈'이란 용어는 특정한 기능이나 동작을 처리하는 하나의 단위를 의미하며, 이는 하드웨어 또는 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일실시 예에 따른 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치의 구성과, 이를 포함하는 일상생활 행위 인식 시스템의 전체 구성을 나타낸 것이다.
본 발명의 일실시 예에서는 주체자의 몸에 부착되어 주체자의 움직임을 측정하는 센서(예를 들어, 3축가속도 센서 등), 가구 및 바닥 등과 같은 실내환경에 있는 사물에 설치되어 주체자의 움직임과 연관된 사물의 반응을 측정하는 센서(예를 들어, 압력센서 등)를 이용한다.
예를 들면, 수면 인식-침대, 휴식 인식-소파, 식사 인식-식탁 및 식탁 의자, 용변 인식-양변기 앞바닥 및 양변기 레버, 외출 인식-출입문 바닥과 같은 실내환경에 있는 사물에 주체자의 일상행위와 연관된 센서들을 설치할 수 있다.
이러한 센서들은 주체자의 움직임 및 사물의 반응을 측정할 수 있는 다양한 형태의 센서들로 이용될 수 있다.
도 1에 도시된 바와 같이, 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치는 행위 분류 모듈(130), 행위 분류 보정 모듈(140)을 포함한다.
행위 분류 모듈(130)은 주체자의 행위를 측정하기 위해 몸에 부착된 센서(이하, 행위측정센서라고 함)(110)로부터 측정되는 행위 데이터를 수신하고, 수신한 행위 데이터를 지속 되는 시간에 따라 분류하여 행위 분류값을 생성한다.
즉, 행위 분류값은 행위측정센서(110)에서 측정한 행위 데이터와, 상기 행위 데이터가 지속 되는 시간을 포함한다.
주체자 행위의 분류는 '앉다(sit)', '걷다(walk)', '뛰다(run)', '일어서다(stand)', '눕다(lie)', '넘어지다(fall)'와 같은 동작(motion)과, '앉아있다(sitting)', '서있다(standing)', '누워있다(lying)'와 같은 동작의 진행상태를 나타내는 자세(posture)와, '그 밖의 행동(unknown)'을 포함한다.
행위 분류 보정 모듈(140)은 행위 분류 모듈(130)에서 생성된 행위 분류값을 수신하고, 또한 실내 가구 및 바닥과 같은 실내환경에 있는 사물에 설치된 센서(이하, 사물반응측정센서라고 함)(120)로부터 측정되는 사물의 반응 데이터를 입력 데이터로 수신한다.
이러한 행위 분류 보정 모듈(140)은 입력버퍼(141), 제1 보정 모듈(142) 및 제2 보정 모듈(143)을 포함하며, 주체자의 행위와 연관된 반응 데이터의 발생 시간, 즉 사물반응측정센서(120)의 활성화 시간정보 및 적합한 연속 행위 패턴을 이용해 잘못 센싱된 행위 분류값을 보정 하여 출력한다.
입력버퍼(141)는 행위 분류 모듈(130)로부터 주체자의 행위 분류값을 수신하여 시간 순서대로 저장하고, 사물에 설치된 사물반응측정센서(120)들로부터 사물의 반응 데이터를 실시간으로 수신하여 저장한다. 그리고 행위 분류값의 입력 단위 시간 및 저장되는 시간은 사용자에 의해 조정 가능하다.
제1 보정 모듈(142)은 순간 튀는 행위 데이터를 보정하기 위해 입력버퍼(141)로부터 연속하는 3개의 행위 분류값을 입력받아 트리플 데이터를 구성한다.
그런 다음, 트리플 데이터를 구성하는 주체자의 행위 분류값과 설정된 일정 시간을 비교한다. 상기 일정 시간은 주체자의 행위를 분류하기 위한 기준 시간이다.
비교 결과, 행위 분류값이 설정된 일정 시간보다 짧으면, 단시간 동안 일어나는 행위로 판단하고, 또한, 상기 단시간 동안 일어나는 행위가 바로 이전 행위와 동일하지 않으면 순간 튀는 행위 데이터로 판단하여 이를 보정 한다.
즉, 순간 튀는 행위 데이터의 전, 후 행위 분류값을 분석하여 동일 행위이면 상기 순간 튀는 행위 데이터를 전, 후 행위와 동일한 행위로 보정 한다.
그리고 상기 단시간 동안 일어나는 행위가 바로 이전 행위와 동일하면 순간 튀는 행위 데이터가 없는 것으로 판단한다.
제2 보정 모듈(143)은 제1 보정 모듈(142)에서 순간 튀는 행위 데이터가 없다고 판단한 경우, 시간 순서대로 구성된 트리플 데이터의 행위 분류값에 대해 연속 행위 패턴에 대한 적합성을 판단하고, 부적합 패턴이 있으면 이를 보정 한다.
상기 행위 분류 모듈(130)로부터 입력되는 주체자의 행위 분류값 및 사물에 설치된 사물반응측정센서(120)로부터 입력되는 사물의 반응 데이터는 주체자의 행위가 발생한 시간정보 및 활성화 시간정보를 포함한다.
우선, 제2 보정 모듈(143)은 부적합 패턴의 보정을 위해 기준행위를 선정하고, 상기 기준행위와 연관된 사물반응측정센서(120)의 활성화 시간을 입력버퍼에서 추출한다.
여기서, 기준행위는 주체자의 행위와 연관된 사물반응측정센서(120)가 활성화된 행위로 우선적으로 선정되고, 사물반응측정센서(120)가 활성화된 행위가 없으면, 행위 분류값이 가장 높은 행위, 장시간 수행된 행위로 선정될 수 있다.
따라서 제2 보정 모듈(143)은 먼저, 트리플 데이터에서 부적합 패턴이 발생한 시간에 대응되는 사물반응측정센서(120)의 활성화 시간을 확인한다. 그리고 부적합 패턴이 발생한 시간까지 활성화되어 있는 사물반응측정센서(120)와 연관된 기준행위로 부적합 패턴을 보정 한 후, 보정된 연속 행위 패턴을 출력한다.
만약, 활성환된 사물반응측정센서(120)가 없다면, 제2 보정 모듈(143)은 적합한 연속 행위 패턴과 트리플 데이터를 매칭하여 부적합 패턴을 상기 적합한 연속 행위 패턴에 맞도록 보정 한 후, 보정된 연속 행위 패턴을 출력한다.
한편, 본 발명의 일실시 예에 따른 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치를 이용한 행위 분류 보정을 통한 일상생활 행위 인식 시스템은 다양한 센서(110, 120)와, 행위 분류 모듈(130) 및 행위 분류 보정 모듈(140)로 구성된 행위 분류 보정 장치와, 일상생활 행위 인식 모듈(150)을 포함한다.
일상생활 행위 인식 모듈(150)은 행위 분류 보정 모듈(140)의 보정된 행위 분류값을 가지는 연속 행위 패턴을 이용해 수면, 휴식, 식사, 외출 등과 같은 주체 자의 일상생활 행위를 인식한다.
예를 들면, 침대에 부착된 센서의 활성화와 함께 보정된 연속 행위 패턴이 [누워있다｜누워있다｜누워있다]가 일정시간 이상 지속 되면 수면으로, 소파에 부착된 센서의 활성화와 함께 보정된 연속 행위 패턴이 [앉아있다｜앉아있다｜앉아있다]가 일정시간 이상 지속 되면 휴식으로, 식탁 및 식탁의자에 부착된 센서의 활성화와 함께 [앉아있다｜앉아있다｜앉아있다]가 일정시간 이상 지속 되면 식사로 주체자의 일상행위를 인식할 수 있다.
이하에서는 상술한 구성을 가지는 본 발명의 일실시 형태에 따른 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 방법에 대해서 상세하게 설명한다.
도 2는 본 발명에 따른 일상생활 행위 인식을 위한 행위 분류 보정 방법에 대한 전체 흐름도이다.
먼저, 입력버퍼(141)는 분류된 주체자의 행위 분류값을 수신하여 저장한다(S200).
제1 보정 모듈(142)은 입력버퍼(141)에 저장된 주체자의 행위 분류값을 특정 구간만큼 추출하여 읽어 들인다(S210).
이후, 추출한 특정 구간 내 주체자의 행위 분류값에서 순간 튀는 행위 데이터가 있는지 판단하고(S220), 보정 대상 데이터, 즉 순간 튀는 행위 데이터가 있으면, 이를 보정 한다(S230).
만약, 순간 튀는 행위 데이터가 없으면, 특정 구간 내 주체자의 행위 분류값 에 대한 연속 행위 패턴의 적합 여부를 판단한다(S240).
판단결과, 부적합 패턴이 있으면, 주체자의 행위 데이터와 연관된 사물반응측정센서(120)의 활성화 시간을 고려하여 부적합 패턴에 해당하는 주체자의 행위 분류값의 보정을 수행한다(S250).
또는 적합한 연속 행위 패턴을 고려하여 부적합 패턴에 해당하는 주체자의 행위 분류값의 보정을 수행한다(S250). 이후 보정된 행위 분류값을 출력한다(S260).
도 3은 본 발명의 일실시 예에 따른 순간 튀는 행위 데이터를 보정 하는 과정을 나타낸 흐름도이다.
제1 보정 모듈(142)은 입력버퍼(141)로부터 연속 3개의 행위 분류값을 입력받아 트리플 데이터를 구성한다(S310).
그리고 제1 보정 모듈(142)은 일정 시간 이상 같은 행위를 수행한 경우에만 주체자의 행위로 판단하므로 연속되는 동일 행위가 단시간 동안 발생하는 경우도 순간 튀는 주체자 행위로 추출할 수 있다.
따라서 이를 방지하기 위해 행위 분류값 중 단시간 동안 일어나는 행위가 있는지 확인하여 단시간 동안 일어나는 행위가 있으면, 이를 바로 이전의 행위와 일치하는지 비교하여 일치하지 않으면 단시간 동안 일어나는 행위를 순간 튀는 행위 데이터로 판단한다(S320).
만약 단시간 동안 일어나는 행위와 이전 행위가 일치하면, 순간 튀는 행위 데이터가 없는 것이므로 연속 행위 패턴의 적합 여부를 판단한다(S350).
S320 단계 후, 순간 튀는 행위 데이터의 앞, 뒤 행위 데이터가 동일한지를 판단하고(S330), 앞, 뒤 행위 데이터가 동일하면, 상기 순간 튀는 행위 데이터를 앞, 뒤 행위 데이터와 동일한 행위 데이터로 보정 한다(S340).
만약, S330 단계의 판단 결과, 순간 튀는 행위 데이터의 앞, 뒤 행위 데이터가 동일하지 않다면, 트리플 데이터에 대한 연속 행위 패턴의 적합 여부를 판단한다(S350).
S350 단계의 판단 결과, 행위 분류 보정 모듈(140)의 입력버퍼(141)로부터 입력되는 연속 3개의 행위 분류값으로 구성된 트리플 데이터에 대해, 상기 트리플 데이터가 부적합 패턴을 포함하면 보정 대상 행위 데이터를 추출하여 보정을 수행한다. 이 과정은 도 4를 참조하여 상세하게 설명한다.
예를 들어, 일상생활을 하는 동안 주체자가 수면을 취하기 위해 누운 행위나 기상을 하는 행위를 살펴보면, '누워있다'와 같은 정지 동작과 혹은 '눕다'와 같은 동작 후 '누워있다'와 또는 '일어서다'와 같은 연결동작이 이루어지지 바로 '뛰다'와 같은 능동적인 동작이 나오지 않는다.
그러므로, '누워있다', '앉아있다', '눕다', '앉다'라는 행위 이후, 바로 '걷다', '뛰다', '서있다'의 행위가 오면 이는 연속 행위 패턴에 대한 부적합 패턴으로 정의된다.
그리고 상기 연속 행위 패턴에 대한 부적합 패턴의 정의는 특정포맷 파일 형식으로 지정되며 시스템에 의해 수정 가능하도록 한다.
도 4는 본 발명의 일실시 예에 따른 연속 행위 패턴에 대한 부적합 패턴을 주체자의 행위와 연관된 사물반응측정센서(120)의 동작시간을 이용하여 보정 하는 과정을 나타낸 흐름도이다.
트리플 데이터에 대한 연속 행위 패턴의 적합 여부 판단(S350)에서 부적합 패턴이 있으면(S400), 먼저, 트리플 데이터를 구성하는 연속 3개의 행위 분류값에 대한 적합한 연속 행위 패턴과의 매칭(matching)을 위한 기준행위를 선정한다(S410).
기준행위는 주체자의 행위가 이루어지는 시간 동안 상기 주체자의 행위와 연관된 사물반응측정센서(120)의 활성화가 함께 일어나는 행위를 우선으로 한다(S411).
일례로, 주체자가 수면을 취하는 일상생활 행위는 침대에 누워있는 행위로부터 추론할 수 있으므로 주체자의 '누워있다'라는 행위와 침대에 누웠을 때 반응을 주는 사물반응측정센서(120)가 서로 연관되어 있음을 알 수 있고, 이로부터 위의 행위를 알아낼 수 있다.
기본적인 일상생활 행위인 식사, 용변, 수면, 휴식 및 외출을 인식하기 위해 필요한 주체자의 행위와 연관된 사물은 '앉아있다'-'식탁의자', '앉아있다'-'소파', '앉아있다'-'침대', '앉아있다'-'변기'와 '누워있다'-'소파', '누워있다'-'침대', 그리고 '걷다', '뛰다' 또는 '서있다'-'출입문' 등을 포함한다.
상기 주체자의 행위와 연관된 사물에 부착된 사물반응측정센서(120)의 정보 는 특정포맷 파일로 지정되며 시스템에 의해 수정 가능하도록 한다.
또는 주체자의 행위와 연관된 사물반응측정센서(120)의 활성화가 동일시간에 함께 일어나는 기준행위가 존재하지 않을 경우, 트리플 데이터의 구성요소 중 행위 분류값이 가장 높은 행위를 기준행위로 선정한다(S412).
또는 행위 분류 모듈(130)로부터 분류된 각 행위 분류 데이터에 대한 행위 분류값이 전달되지 않는 경우, 오랜 시간 수행된 행위를 기준행위로 선정한다(S413).
S411 단계와 같이 기준행위가 선택된 경우, 기준행위와 연속되는 다음 행위가 일어나는 시간 동안 기준행위와 연관된 사물반응측정센서(120)가 계속 활성화되어 있으면, 상기 기준행위와 연속되는 다음 행위는 기준행위로 보정된다(S420).
일례로 <'앉아있다', '걷다', '일어서다'>라는 트리플 데이터가 입력되었을 때, '앉아있다'-'걷다'는 부적합 패턴이 된다.
'앉아있다'라는 행위가 일어나는 시간 동안 연관된 '식탁의자'의 센서가 활성화되었다면, '앉아있다'-'식탁의자'는 주체자의 행위와 서로 연관된 사물이므로 상기 S411 단계의 기준행위가 된다.
상기 S420 단계와 같이, '앉아있다'라는 기준행위와 연결되는 다음 행위인 '걷다'가 수행되는 시간까지 계속 '식탁의자'의 센서가 활성화되었다면 '걷다'에 대해 기준행위인 '앉아있다'로 보정을 수행한다.
위의 경우로 보정이 되지 않는 경우는 도 5에 도시된 바와 같은 적합한 연속 행위 패턴과 트리플 데이터에 대한 매칭을 통해 부적합 패턴의 보정을 수행한 다(S430).
따라서 S420, S430에 의해 보정된 행위 분류 데이터를 출력한다(S440)
도 5는 본 발명에 따른 적합한 연속 행위 패턴의 일실시 예를 나타낸 예시도이다.
적합한 연속 행위 패턴은 행위 상태를 노드로, 행위의 변화를 선으로 표현한 그래프 형식으로 표현되며, 행위 변화에 대해서는 확률값이 주어진다.
이러한 적합한 연속 행위 패턴에 대한 정의는 특정 포맷에 맞추어 파일 형식으로 지정되며, 시스템에 의해 수정 가능하도록 한다.
도 5에 따르면, 일실시 예로 '앉다'에서 '앉아있다'로 변하는 상태의 확률 값은 1.0으로 이는 P('앉아있다'｜'앉다')로 표현된다.
적합한 연속 행위 패턴은 기본적으로 '눕다'-'누워있다', 누워있다'-['앉다'｜'일어서다'], '앉다'-'앉아있다', '앉아있다'-['일어서다'｜'눕다'], '일어서다'-'서있다', '서있다'-['앉다'｜'눕다'｜'걷다'｜'뛰다'｜'넘어지다'], '넘어지다'-['앉다'｜'서다'], '걷다'-['서다'｜'뛰다'], '뛰다'-['걷다'｜'서다'｜'넘어지다']를 포함한다.
따라서, 도 4의 S412, S413에 대한 보정(S430)의 일실시 예로 <'뛰다', '앉다', '앉아있다'>에 대해 기준행위가 '앉다'인 경우, '앉아있다'는 '앉다'와 연결된 패스가 있으므로, 보정대상 행위는 '뛰다'가 된다.
기준행위에 대한 패스로 '서있다', '앉다', '앉아있다'와, '넘어지다', '앉다', '앉아있다'와, '누워있다', '앉다', '앉아있다'가 존재하고, 각 패스가 이루어지는 상태변화의 결합확률값은 순서대로 각각 아래 수학식 1 내지 3에 따라 1.0, 0.5, 0.6이다.
[수학식 1]
P(서있다, 앉다, 앉아있다)=P(앉다｜서있다)·P(앉아있다｜앉다)=1.0·1.0=1.0
[수학식 2]
P(넘어지다, 앉다, 앉아있다)=P(앉다｜넘어지다)·P(앉아있다｜앉다)=0.5·1.0=0.5
[수학식 3]
P(누워있다, 앉다, 앉아있다)=P(앉다｜누워있다)·P(앉아있다｜앉다)=0.6·1.0=0.6
따라서 해당 연속 행위는 결합확률 값이 최대인 '서있다', '앉다', '앉아있다'의 패스에 맞추어 '뛰다'가 '서있다'로 보정된다.
한편, 본 발명에 따른 일상생활행위 인식을 위한 행위 분류 보정 방법은 컴퓨터 프로그램으로 작성 가능하다.
상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의 하여 읽혀지고 실행됨으로써 규칙기반 템플릿을 이용하여 단백질 상호작용 네트워크에서 바이오 콤플렉스 탐색하는 방법을 구현한다.
상기 정보저장매체에는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
이상에서 설명한 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 당업자에게 있어 명백할 것이다.
도 1은 본 발명의 일실시 예에 따른 주체자의 행위 분류 보정을 이용한 행위 분류 보정 장치의 구성과, 이를 이용한 일상생활 행위 인식 시스템의 전체 구성을 나타낸 도,
도 2는 본 발명에 따른 일상생활 행위 인식을 위한 행위 분류 보정 방법에 대한 전체 흐름도,
도 3은 본 발명의 일실시 예에 따른 순간 튀는 행위 데이터를 보정 하는 과정을 나타낸 흐름도,
도 4는 본 발명의 일실시 예에 따른 연속 행위 패턴에 대한 부적합 패턴을 주체자의 행위와 연관된 사물반응측정센서의 동작시간을 이용하여 보정 하는 과정을 나타낸 흐름도, 그리고,
도 5는 본 발명에 따른 적합한 연속 행위 패턴의 일실시 예를 나타낸 예시도이다.
<도면의 주요 부호에 대한 설명>
110, 120. 센서 130. 행위 분류 모듈
140. 행위 분류 보정 모듈 141. 입렵버퍼
142. 제1 보정 모듈 143. 제2 보정 모듈
150. 일상생활 행위 인식 모듈

Claims (20)

  1. 주체자의 몸에 부착된 센서에서 측정된 주체자의 행위 데이터를 분류한 행위 분류값과, 사물에 설치된 하나 이상의 센서에서 측정된 상기 주체자의 행위 데이터와 연관된 사물의 반응 데이터를 수신하여 저장하는 입력버퍼;
    상기 입력버퍼에 저장된 행위 분류값을 특정 구간 추출하고, 상기 특정 구간 내 행위 분류값에 대해 행위를 수행하는데 필요한 최소 시간보다 짧은 단시간 동안 일어난 순간 튀는 행위 데이터를 추출하여 상기 순간 튀는 행위 데이터의 전, 후 행위 분류값과 일치하도록 보정 하는 제1 보정 모듈; 및
    상기 특정 구간 내 상기 순간 튀는 행위 데이터가 없으면, 상기 주체자의 행위 데이터와 연관된 사물에 설치된 하나 이상의 센서의 활성화 여부에 따라 상기 특정 구간 내 행위 분류값의 연속 행위 패턴에 대한 부적합 패턴을 추출하여 상기 연속 행위 패턴에 적합하도록 보정 하는 제2 보정 모듈
    을 포함하는 것을 특징으로 하는 일상생활행위 인식을 위한 주체자의 행위 분류 보정 장치.
  2. 제1항에 있어서,
    상기 사물 반응 데이터와 행위 분류값은 각각 사물의 반응 및 행위가 발생된 시간 정보를 포함하는 것을 특징으로 하는 일상생활행위 인식을 위한 주체자의 행 위 분류 보정 장치.
  3. 상기 제1 보정 모듈은,
    상기 입력버퍼로부터 특정 구간 추출한 시간적으로 연속된 3개의 행위 분류값을 수신받아 트리플 데이터를 구성하고, 상기 트리플 데이터에 단시간 동안 일어나는 행위 데이터가 있는 경우, 상기 단시간 동안 일어나는 행위 데이터를 바로 이전 행위 분류값과 비교하여 일치하지 않으면, 순간 튀는 행위 데이터로 판단하고, 상기 판단된 순간 튀는 행위 데이터를 동일한 행위로 분류된 전, 후 행위 분류값으로 보정 하는 것을 특징으로 하는 일상생활행위 인식을 위한 주체자의 행위 분류 보정 장치.
  4. 제3항에 있어서, 상기 제2 보정 모듈은,
    상기 트리플 데이터에 순간 튀는 행위 데이터가 없는 경우, 상기 트리플 데이터에 대한 연속 행위 패턴의 부적합 패턴 유무를 판단하고, 부적합 패턴이 있으면, 상기 트리플 데이터에 대해 선정한 기준행위와, 상기 기준행위와 연관된 사물에 설치된 하나 이상의 센서의 활성화 여부에 따라 상기 부적합 패턴을 보정 하는 것을 특징으로 하는 일상생활행위 인식을 위한 주체자의 행위 분류 보정 장치.
  5. 제4항에 있어서, 상기 제2 보정 모듈은
    상기 기준행위와 연관된 사물에 설치된 하나 이상의 센서가 상기 기준행위와 연속되는 다음 행위 분류값까지 활성화되어 있으면, 상기 다음 행위 분류값을 상기 기준행위로 보정 하는 것을 특징으로 하는 일상생활행위 인식을 위한 주체자의 행위 분류 보정 장치.
  6. 제5항에 있어서, 상기 제2 보정 모듈은,
    상기 기준행위와 연관된 사물에 설치된 하나 이상의 센서가 상기 기준행위와 연속되는 다음 행위 분류값까지 활성화되어 있지 않으면, 적합한 연속 행위 패턴과 상기 트리플 데이터를 매칭하여 부적합 패턴을 보정 하는 것을 특징으로 하는 일상생활행위 인식을 위한 주체자의 행위 분류 보정 장치.
  7. 제4항에 있어서, 상기 제2 보정 모듈은,
    상기 기준행위를 주체자의 행위가 일어나는 시간 동안 상기 주체자의 행위와 연관된 사물에 설치된 하나 이상의 센서의 활성화가 함께 일어나는 행위를 우선적으로 선정하고, 그렇지 않을 경우, 상기 트리플 데이터의 행위 분류값 중 행위 분 류값이 가장 높은 행위 및 일정 시간 동안 수행된 행위 중 하나로 선정하는 것을 특징으로 하는 일상생활행위 인식을 위한 주체자의 행위 분류 보정 장치.
  8. 주체자의 몸에 부착된 센서로부터 수신되는 주체자의 행위 데이터를 분류하여 행위 분류값을 생성하는 행위 분류 모듈;
    상기 행위 분류값과, 사물에 설치된 하나 이상의 센서로부터 측정된 주체자의 행위 데이터와 연관된 사물의 반응 데이터를 입력받아 저장하고, 상기 행위 분류값 중에서 순간 튀는 행위 데이터 및 연속 행위 패턴의 부적합 패턴을 추출하여 보정 하는 행위 분류 보정 모듈; 및
    보정된 행위 분류값을 갖는 연속 행위 패턴을 분석하여 주체자의 일상생활 행위를 인식하는 일상생활 인식 모듈;
    을 포함하는 행위 분류 보정을 통한 일상생활 행위 인식 시스템.
  9. 제8항에 있어서, 상기 행위 분류 모듈은,
    상기 주체자의 행위를 '앉다(sit)', '걷다(walk)', '뛰다(run)', '일어서다(stand)', '눕다(lie)', '넘어지다(fall)' 중 하나를 포함하는 동작(motion)과, '앉아있다(sitting)', '서있다(standing)', '누워있다(lying)' 중 하나를 포함하는 상기 동작의 진행상태를 나타내는 자세(posture)와, '그 밖의 행동(unknown)'으로 분류하는 것을 특징으로 하는 행위 분류 보정을 통한 일상생활 행위 인식 시스템.
  10. 제9항에 있어서, 상기 행위 분류 보정 모듈은,
    상기 사물 반응 데이터와, 상기 행위 분류값을 수신하여 저장하는 입력버퍼;
    상기 입력버퍼에 저장된 행위 분류값을 특정 구간 추출하고, 상기 특정 구간 내 행위 분류값 중 행위를 수행하는데 필요한 최소 시간보다 짧은 단시간 동안 일어난 순간 튀는 행위 데이터를 추출하여 상기 순간 튀는 행위 데이터의 전, 후 행위 분류값과 일치하도록 보정 하는 제1 보정 모듈; 및
    상기 특정 구간 내 상기 순간 튀는 행위 데이터가 없으면, 상기 주체자의 행위 데이터와 연관된 사물에 설치된 하나 이상의 센서의 활성화 여부에 따라 연속 행위 패턴에 대한 부적합 패턴을 추출하여 상기 연속 행위 패턴에 적합하도록 보정 하는 제2 보정 모듈
    을 포함하는 것을 특징으로 하는 행위 분류 보정을 통한 일상생활 행위 인식 시스템.
  11. 제10항에 있어서, 상기 제1 보정 모듈은,
    상기 입력버퍼로부터 특정 구간 추출한 시간적으로 연속된 3개의 행위 분류값을 트리플 데이터로 구성하고, 상기 트리플 데이터에 단시간 동안 일어나는 행위 데이터가 있는 경우, 상기 단시간 동안 일어나는 행위 데이터를 바로 이전 행위 분류값과 비교하여 일치하지 않으면, 상기 순간 튀는 행위 데이터로 판단하고, 상기 순간 튀는 행위 데이터를 동일한 행위로 분류된 전, 후 행위 분류값으로 보정 하는 것을 특징으로 하는 행위 분류 보정을 통한 일상생활 행위 인식 시스템.
  12. 제11항에 있어서, 상기 제2 보정 모듈은,
    상기 트리플 데이터에 순간 튀는 행위 데이터가 없는 경우, 상기 트리플 데이터에 대한 연속 행위 패턴의 부적합 패턴 유무를 판단하고, 부적합 패턴이 있으면, 상기 특정 구간 내 트리플 데이터에 대해 선정한 기준행위와, 상기 기준행위와 연관된 사물에 설치된 하나 이상의 센서의 활성화 여부에 따라 상기 부적합 패턴을 보정 하는 것을 특징으로 하는 행위 분류 보정을 통한 일상생활 행위 인식 시스템.
  13. 제12항에 있어서, 상기 제2 보정 모듈은,
    상기 기준행위를 주체자의 행위가 일어나는 시간 동안 상기 주체자의 행위와 연관된 사물의 반응을 측정하는 센서의 활성화가 함께 일어나는 행위로 우선적으로 선정하고, 그렇지 않으면, 상기 트리플 데이터의 행위 분류 데이터 중 행위 분류값 이 가장 높은 행위 및 일정 시간 동안 수행된 행위 중 하나로 선정하는 것을 특징으로 하는 행위 분류 보정을 통한 일상생활 행위 인식 시스템.
  14. 주체자의 몸에 부착된 센서로부터 측정된 행위 데이터를 분류한 행위 분류값과, 사물에 설치된 하나 이상의 센서로부터 측정된 사물의 반응 데이터를 수신하여 저장하는 단계;
    상기 저장된 주체자의 행위 분류값을 특정 구간만큼 추출하여 상기 특정 구간 내 순간 튀는 행위 데이터가 있는지 판단하고, 상기 순간 튀는 행위 데이터가 있으면 보정을 수행하는 단계; 및
    상기 순간 튀는 행위 데이터가 없으면, 상기 특정 구간 내 행위 분류 데이터에 대한 연속 행위 패턴의 적합 여부를 판단하여 부적합 패턴이 있으면, 주체자의 행위와 연관된 사물에 설치된 하나 이상의 센서의 활성화 여부에 따라 상기 부적합 패턴의 보정을 수행하는 단계;
    를 포함하는 일상생활행위 인식을 위한 주체자의 행위 분류 보정 방법.
  15. 제14항에 있어서, 상기 순간 튀는 행위 데이터의 보정을 수행하는 단계는,
    상기 특정 구간 내 연속 3개의 행위 분류 데이터를 트리플 데이터로 구성하는 단계;
    상기 트리플 데이터에 포함된 행위를 수행하는데 필요한 최소 시간보다 짧은 단시간 동안 일어난 행위 데이터가 바로 이전의 행위 분류값과 일치하는지를 비교하여 일치하지 않으면, 상기 단시간 동안 일어난 행위 데이터를 순간 튀는 행위 데이터로 판단하는 단계; 및
    상기 순간 튀는 행위 데이터의 전, 후 행위 분류값이 동일하면, 상기 순간 튀는 행위 데이터를 상기 전, 후 행위 분류값으로 보정 하는 단계;
    를 포함하는 것을 특징으로 하는 일상생활행위 인식을 위한 주체자의 행위 분류 보정 방법.
  16. 제15항에 있어서,
    상기 단시간 동안 일어난 행위 데이터가 바로 이전의 행위 분류값과 일치하거나, 상기 순간 튀는 행위 데이터의 전, 후 행위 분류값이 동일하지 않으면, 연속 행위 패턴의 적합 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 일상생활행위 인식을 위한 주체자의 행위 분류 보정 방법.
  17. 제14항에 있어서, 상기 부적합 패턴의 보정을 수행하는 단계는,
    상기 순간 튀는 행위 데이터가 없으면, 상기 트리플 데이터에서 연속 행위 패턴의 부적합 패턴을 찾는 단계;
    상기 트리플 데이터에 대한 기준행위를 선정하는 단계; 및
    상기 선정된 기준행위와 연관된 사물에 설치된 하나 이상의 센서가 활성화되는 시간이 부적합 패턴이 일어나는 시간과 일치하면 상기 기준행위로 부적합 패턴을 보정 하는 단계;
    를 포함하는 것을 특징으로 하는 일상생활행위 인식을 위한 주체자의 행위 분류 보정 방법.
  18. 제17항에 있어서,
    상기 기준행위와 연관된 사물의 반응을 측정하는 센서가 활성화되는 시간이 다음 연속 행위가 일어나는 시간과 일치하지 않으면, 상기 트리플 데이터와 적합한 연속 행위 패턴의 매칭을 통해 상기 부적합 패턴을 보정 하는 단계
    를 더 포함하는 것을 특징으로 하는 일상생활행위 인식을 위한 주체자의 행위 분류 보정 방법.
  19. 제17항에 있어서, 상기 기준행위의 선정은,
    주체자의 행위 데이터가 일어나는 시간 동안 연관된 사물 반응 데이터의 활성화가 함께 일어나는 행위, 트리플 데이터 중 행위 분류값이 가장 높은 행위 및 행위 분류값이 전달되지 않는 경우는 일정 시간 동안 수행된 행위 중 하나로 선정 되는 것을 특징으로 하는 일상생활행위 인식을 위한 주체자의 행위 분류 보정 방법.
  20. 제18항에 있어서, 상기 적합한 연속 행위 패턴은,
    '눕다'-'누워있다', 누워있다'-['앉다' 또는 '일어서다'], '앉다'-'앉아있다', '앉아있다'-['일어서다' 또는 '눕다'], '일어서다'-'서있다', '서있다'-['앉다' 또는 '눕다' 또는 '걷다' 또는 '뛰다' 또는 '넘어지다'], '넘어지다'-['앉다' 또는 '서다'], '걷다'-['서다' 또는 '뛰다'], '뛰다'-['걷다' 또는 '서다' 또는 '넘어지다'] 중 적어도 하나 이상으로 이루어지는 것을 특징으로 하는 일상생활행위 인식을 위한 주체자의 행위 분류 보정 방법.
KR1020070096510A 2007-09-21 2007-09-21 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치및 방법, 이를 이용한 일상생활 행위 인식 시스템 KR100934225B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070096510A KR100934225B1 (ko) 2007-09-21 2007-09-21 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치및 방법, 이를 이용한 일상생활 행위 인식 시스템
US12/105,327 US8079277B2 (en) 2007-09-21 2008-04-18 Apparatus and method for refining subject activity classification for recognition of daily activities, and system for recognizing daily activities using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070096510A KR100934225B1 (ko) 2007-09-21 2007-09-21 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치및 방법, 이를 이용한 일상생활 행위 인식 시스템

Publications (2)

Publication Number Publication Date
KR20090030868A KR20090030868A (ko) 2009-03-25
KR100934225B1 true KR100934225B1 (ko) 2009-12-29

Family

ID=40472485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070096510A KR100934225B1 (ko) 2007-09-21 2007-09-21 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치및 방법, 이를 이용한 일상생활 행위 인식 시스템

Country Status (2)

Country Link
US (1) US8079277B2 (ko)
KR (1) KR100934225B1 (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI384423B (zh) * 2008-11-26 2013-02-01 Ind Tech Res Inst 以聲音事件為基礎之緊急通報方法與系統以及行為軌跡建立方法
KR20100065480A (ko) * 2008-12-08 2010-06-17 한국전자통신연구원 일상행위 인식 시스템
US20100228487A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method
US20100225474A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method
US20100228492A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of State Of Delaware Postural information system and method including direction generation based on collection of subject advisory information
US20100228154A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method including determining response to subject advisory information
US20100225473A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method
US20100228153A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method
US20100228494A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method including determining subject advisory information based on prior determined subject advisory information
US20100228158A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method including device level determining of subject advisory information based on subject status information and postural influencer status information
US20100225498A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Postural information system and method
US20100271200A1 (en) * 2009-03-05 2010-10-28 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method including determining response to subject advisory information
US20100225491A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method
US20100228488A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method
US20100228159A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method
US20100228495A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method including determining subject advisory information based on prior determined subject advisory information
US9024976B2 (en) * 2009-03-05 2015-05-05 The Invention Science Fund I, Llc Postural information system and method
US20100225490A1 (en) * 2009-03-05 2010-09-09 Leuthardt Eric C Postural information system and method including central determining of subject advisory information based on subject status information and postural influencer status information
US20100228490A1 (en) * 2009-03-05 2010-09-09 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Postural information system and method
US8491504B2 (en) * 2009-08-04 2013-07-23 University Of South Carolina Devices and methods for monitoring sit to stand transfers
US8909950B1 (en) 2010-04-18 2014-12-09 Aptima, Inc. Systems and methods of power management
US10335060B1 (en) * 2010-06-19 2019-07-02 Dp Technologies, Inc. Method and apparatus to provide monitoring
PL3407673T3 (pl) 2010-07-26 2020-05-18 Seven Networks, Llc Koordynacja ruchu w sieci komórkowej pomiędzy różnymi aplikacjami
US9177259B1 (en) * 2010-11-29 2015-11-03 Aptima Inc. Systems and methods for recognizing and reacting to spatiotemporal patterns
US8930300B2 (en) 2011-03-31 2015-01-06 Qualcomm Incorporated Systems, methods, and apparatuses for classifying user activity using temporal combining in a mobile device
US9192326B2 (en) 2011-07-13 2015-11-24 Dp Technologies, Inc. Sleep monitoring system
US9459597B2 (en) 2012-03-06 2016-10-04 DPTechnologies, Inc. Method and apparatus to provide an improved sleep experience by selecting an optimal next sleep state for a user
US10791986B1 (en) 2012-04-05 2020-10-06 Dp Technologies, Inc. Sleep sound detection system and use
US9380125B2 (en) * 2012-09-11 2016-06-28 Qualcomm Incorporated Apparatus and method for delivery control of application data to a mobile device in a communication network
US9999376B2 (en) 2012-11-02 2018-06-19 Vital Connect, Inc. Determining body postures and activities
US9474876B1 (en) 2012-12-14 2016-10-25 DPTechnologies, Inc. Sleep aid efficacy
US9594354B1 (en) 2013-04-19 2017-03-14 Dp Technologies, Inc. Smart watch extended system
US9395792B1 (en) 2013-06-14 2016-07-19 Dp Technologies, Inc. System including a sleep detection mechanism
US10594650B2 (en) 2013-07-12 2020-03-17 Skyhook Wireless, Inc. Propagating attributes between network addresses
US9968293B1 (en) 2014-05-16 2018-05-15 Dp Technologies, Inc. Detecting and estimating sleep stages
US9619039B2 (en) * 2014-09-05 2017-04-11 The Boeing Company Obtaining metrics for a position using frames classified by an associative memory
US11883188B1 (en) 2015-03-16 2024-01-30 Dp Technologies, Inc. Sleep surface sensor based sleep analysis system
CN106709401A (zh) * 2015-11-13 2017-05-24 中国移动通信集团公司 饮食信息监控方法及装置
JP6583427B2 (ja) * 2015-11-17 2019-10-02 株式会社村田製作所 脈波伝播時間計測装置、及び、生体状態推定装置
JP6597790B2 (ja) * 2015-11-17 2019-10-30 株式会社村田製作所 脈波伝播時間計測装置、及び、生体状態推定装置
CN106815545B (zh) * 2015-11-27 2023-12-26 罗伯特·博世有限公司 行为分析系统和行为分析方法
CA3008322A1 (en) 2015-12-23 2017-06-29 Aerial Technologies Inc. System, method and apparatus for sensing changes in an environment using wireless communication signals
JP6784044B2 (ja) * 2016-03-24 2020-11-11 カシオ計算機株式会社 行動解析装置、行動解析方法及びプログラム
US11043090B1 (en) * 2017-09-29 2021-06-22 Alarm.Com Incorporated Detecting events based on the rhythm and flow of a property
US11854367B1 (en) 2017-09-29 2023-12-26 Alarm.Com Incorporated Detecting events based on the rhythm and flow of a property
US11382534B1 (en) 2018-10-15 2022-07-12 Dp Technologies, Inc. Sleep detection and analysis system
US11443514B2 (en) * 2019-03-22 2022-09-13 Qualcomm Technologies, Inc. Recognizing minutes-long activities in videos
WO2020205661A1 (en) * 2019-03-29 2020-10-08 University Of Southern California System and method for determining quantitative health-related performance status of a patient

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010035037A (ko) * 2000-11-17 2001-05-07 김인철 이벤트 보상 기법을 이용한 컨텐츠 자동 생성 방법 및 그알고리즘
KR20020043051A (ko) * 2000-12-01 2002-06-08 동우상 무선 네트워크를 이용한 행위보상 방법 및 시스템
KR20050025220A (ko) * 2003-09-05 2005-03-14 삼성전자주식회사 사전 행동적 사용자 인터페이스
KR20060068518A (ko) * 2004-12-16 2006-06-21 한국전자통신연구원 유비쿼터스 기반의 상황 정보 제공 서비스 시스템 및 그방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6878121B2 (en) * 2002-11-01 2005-04-12 David T. Krausman Sleep scoring apparatus and method
US20060282021A1 (en) 2005-05-03 2006-12-14 Devaul Richard W Method and system for fall detection and motion analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010035037A (ko) * 2000-11-17 2001-05-07 김인철 이벤트 보상 기법을 이용한 컨텐츠 자동 생성 방법 및 그알고리즘
KR20020043051A (ko) * 2000-12-01 2002-06-08 동우상 무선 네트워크를 이용한 행위보상 방법 및 시스템
KR20050025220A (ko) * 2003-09-05 2005-03-14 삼성전자주식회사 사전 행동적 사용자 인터페이스
KR20060068518A (ko) * 2004-12-16 2006-06-21 한국전자통신연구원 유비쿼터스 기반의 상황 정보 제공 서비스 시스템 및 그방법

Also Published As

Publication number Publication date
KR20090030868A (ko) 2009-03-25
US20090082699A1 (en) 2009-03-26
US8079277B2 (en) 2011-12-20

Similar Documents

Publication Publication Date Title
KR100934225B1 (ko) 일상생활 행위 인식을 위한 주체자의 행위 분류 보정 장치및 방법, 이를 이용한 일상생활 행위 인식 시스템
Debes et al. Monitoring activities of daily living in smart homes: Understanding human behavior
Deep et al. A survey on anomalous behavior detection for elderly care using dense-sensing networks
Kim et al. Validation of the ActiGraph GT3X and activPAL accelerometers for the assessment of sedentary behavior
Mathie et al. Classification of basic daily movements using a triaxial accelerometer
Palmes et al. Object relevance weight pattern mining for activity recognition and segmentation
Kwon et al. Single activity sensor-based ensemble analysis for health monitoring of solitary elderly people
Wu et al. Senscare: Semi-automatic activity summarization system for elderly care
JP2018206321A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Alemdar et al. Daily life behaviour monitoring for health assessment using machine learning: bridging the gap between domains
Woznowski et al. Classification and suitability of sensing technologies for activity recognition
Fu et al. Intellichair: An approach for activity detection and prediction via posture analysis
Bang et al. Toward real time detection of the basic living activity in home using a wearable sensor and smart home sensors
Vildjiounaite et al. Unsupervised stress detection algorithm and experiments with real life data
KR102002528B1 (ko) 객체 검출 장치 및 그 방법
Logan et al. Sensors to detect the activities of daily living
Judah et al. The development and validation of a Real Time Location System to reliably monitor everyday activities in natural contexts
Satterfield et al. Application of structural case-based reasoning to activity recognition in smart home environments
Thiemjarus et al. Context Aware Sensing
KR102341937B1 (ko) 일상생활에서 발생하는 감정 변화 원인을 파악하는 방법 및 그 시스템
Yu et al. A survey of sensor modalities for human activity recognition
KR20210147379A (ko) 혈압 측정 방법 및 전자 장치
Jaiswal et al. Table of interest: activity recognition and behaviour analysis using a battery less wearable sensor
US20190131017A1 (en) Wellness monitoring by measurement of incidental routine
Kashyap Activity recognition and resident identification in smart home environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151207

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee