KR102289627B1 - 저전력 하이브리드형 낙상 감지 장치 및 이를 이용한 낙상 감지 방법 - Google Patents

저전력 하이브리드형 낙상 감지 장치 및 이를 이용한 낙상 감지 방법 Download PDF

Info

Publication number
KR102289627B1
KR102289627B1 KR1020190108320A KR20190108320A KR102289627B1 KR 102289627 B1 KR102289627 B1 KR 102289627B1 KR 1020190108320 A KR1020190108320 A KR 1020190108320A KR 20190108320 A KR20190108320 A KR 20190108320A KR 102289627 B1 KR102289627 B1 KR 102289627B1
Authority
KR
South Korea
Prior art keywords
user
movement
fall
fall detection
machine learning
Prior art date
Application number
KR1020190108320A
Other languages
English (en)
Other versions
KR20210026897A (ko
Inventor
문정환
김태형
허현무
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020190108320A priority Critical patent/KR102289627B1/ko
Publication of KR20210026897A publication Critical patent/KR20210026897A/ko
Application granted granted Critical
Publication of KR102289627B1 publication Critical patent/KR102289627B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • A61B5/1117Fall detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0024Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

사용자의 신체에 착용 가능한 낙상 감지 장치로서, 상기 사용자의 움직임으로부터 3축 가속도를 측정하는 센서부와 상기 측정한 3축 가속도 데이터로부터 상기 사용자의 움직임을 일상생활 동작(Activity of Daily Living, ADL) 또는 낙상(fall)으로 분류하는 처리부를 포함하되, 1차적으로 임계치에 기반한 방법에 의해 상기 사용자의 움직임을 분류하고, 2차적으로 인공지능에 기반한 방법에 의해 상기 사용자의 움직임을 분류하는 낙상 감지 장치 및 이를 이용한 낙상 감지 방법을 제공한다. 이에 따르면 낙상 감지의 정확도를 향상시킬 수 있고 오작동률을 줄여 실제 환경 적용성이 증가한다.

Description

저전력 하이브리드형 낙상 감지 장치 및 이를 이용한 낙상 감지 방법{LOW-POWER HYBRID-TYPE FALL DETECTION APPARATUS AND FALL DETECTION METHOD USING THE SAME}
본 발명은 사용자의 낙상을 감지하는 장치 및 이를 이용한 낙상 감지 방법에 관한 것이다.
고령화로 인한 노인 낙상사고가 증가함에 따라 노인 낙상이 사회적 문제로 부상하고 있다. 노인 낙상 관련 사회적 의료비용은 연간 1조 1000억원 규모이며, 해가 갈수록 점점 더 증가하는 추세이다. 특히 독거노인의 경우 낙상사고 발생 시 주변으로부터 도움을 받을 수 없어 생명을 잃게 되는 위험한 상황을 초래할 가능성이 크다. 따라서 낙상을 스스로 감지하고 위험상황을 외부에 자동으로 알릴 수 있는 낙상 감지 장치가 필요하다.
종래의 낙상 감지 방법은 임계치에 기반한 방법과 인공지능에 기반한 방법이 있다.
임계치에 기반한 방법은 센서를 통해 획득한 사용자의 움직임에 관한 데이터를 기반으로 미리 설정해 놓은 임계치와의 비교를 통해 낙상을 감지하는 방법이다. 그러나 임계치에 기반한 방법은 개인별 또는 낙상 종류별 최적의 임계치를 정하는 것이 어렵고, 사용자의 나이 또는 신체의 움직임(예를 들어, 낙상 감지 장치를 손으로 치는 경우, 침대에 눕는 동작 또는 넘어짐과 동시에 신체 균형을 회복하여 넘어짐을 스스로 극복하는 경우)에 따라 오작동의 가능성이 크고, 감지 정확도가 현저하게 낮다는 문제점이 있다.
인공지능에 기반한 방법은 임계치에 기반한 방법보다 정확도가 높다는 장점이 있으나, 낙상 감지 모델이 복잡하여 디바이스에 탑재하는 경우 메모리 부족 문제가 발생하고 소비전력이 크다는 문제점이 있다.
한국 등록특허공보 제10-1766335호 ("낙상 위험성 예측 시스템 및 방법", 건국대학교 글로컬산학협력단, 2017.08.02.)
본 발명의 목적은 낙상 감지의 정확도를 향상시키고 오작동률을 줄여 실제 환경 적용성이 높은 낙상 감지 장치 및 이를 이용한 낙상 감지 방법을 제공하는 것이다.
본 발명의 다른 목적은 저전력 설계를 통하여 배터리의 연속 사용시간을 증가시켜 사용자의 편의성이 높은 낙상 감지 장치 및 이를 이용한 낙상 감지 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 낙상 발생 시 응급 신고 센터 또는 사용자의 가족·지인에게 자동으로 신고함으로써 사용자의 부상을 최소화하고 위험상황을 예방할 수 있는 낙상 감지 장치 및 이를 이용한 낙상 감지 방법을 제공하는 것이다.
본 발명의 일 측면에 의하면, 사용자의 신체에 착용 가능한 낙상 감지 장치는 상기 사용자의 움직임으로부터 3축 가속도를 측정하는 센서부와, 상기 측정한 3축 가속도 데이터로부터 상기 사용자의 움직임을 일상생활 동작(Activity of Daily Living, ADL) 또는 낙상(fall)으로 분류하는 처리부를 포함하되, 제1 작동모드에서, 상기 처리부는 1차적으로 임계치에 기반한 방법에 의해 상기 사용자의 움직임을 분류하고, 상기 임계치에 기반한 방법에 의한 상기 사용자의 움직임 분류결과가 상기 사용자의 실제 움직임과 일치할 확률이 소정 값 미만인 경우 2차적으로 인공지능에 기반한 방법에 의해 상기 사용자의 움직임을 분류한다.
이때, 낙상 감지 장치는 상기 낙상 감지 장치를 외부의 모바일 디바이스에 설치된 모바일 애플리케이션과 무선통신 방법으로 연결시키는 통신부와, 상기 사용자로부터 입력신호를 입력 받는 입력부와, 상기 사용자의 움직임 분류결과가 낙상(fall)인 경우 알람을 울리는 알람부를 더 포함할 수 있다.
또한 제2 작동모드에서, 상기 알람부는 상기 입력부를 통해 알람 명령이 입력된 경우 알람을 울리되, 상기 제2 작동모드는 상기 입력부를 통해 트리거가 입력된 경우 활성화될 수 있다.
상기 알람부는 긴급상황이 발생한 경우 알람을 울릴 수 있다.
상기 처리부는 하기의 수학식
Figure 112019090267941-pat00001
에 의해 계산되는 SMV(Signal Magnitude Vector), 측정신호의 프레임 당 횟수 및 상기 측정신호의 표준편차에 따라 상기 긴급상황의 발생 여부를 결정할 수 있다.
한편 제3 작동모드에서, 상기 통신부는 슬립모드(sleep mode)로 작동하고, 상기 사용자의 낙상을 감지하면 정상모드(wake-up mode)로 전환되어 상기 낙상 감지 장치를 상기 모바일 애플리케이션과 연결시키고, 상기 처리부는 상기 사용자의 움직임이 없으면 슬립모드로 작동하고, 상기 사용자의 움직임이 있는 경우 또는 상기 입력부를 통해 입력신호가 입력되는 경우 정상모드로 전환될 수 있다.
상기 임계치에 기반한 방법은 중력가속도 성분 및 노이즈를 제거하기 위해 상기 측정한 3축 가속도 데이터를 전처리하고, 하기의 수학식
Figure 112019090267941-pat00002
에 의해 계산되는 SMA(Signal Magnitude Area)를 계산하고, 상기 SMA가 소정의 제1 임계치보다 크면 상기 사용자의 움직임을 제1 움직임 유형으로 분류하고, 상기 SMA가 상기 제1 임계치보다 작거나 같으면 상기 사용자의 움직임을 제2 움직임 유형으로 분류할 수 있다.
이때, 상기 사용자의 움직임이 상기 제1 움직임 유형으로 분류된 경우 상기 측정한 3축 가속도 데이터에 주기성이 있는 경우에는 SMV(Signal Magnitude Vector)가 소정의 제2 임계치보다 크면 상기 사용자의 움직임을 낙상(fall)으로 분류하고, 상기 측정한 3축 가속도 데이터에 주기성이 없는 경우에는 p값-여기서, 상기 p값은 상기 측정한 3축 가속도 데이터를 FFT(Fast Fourier Transform)한 값임-이 소정의 제3 임계치보다 크면 상기 사용자의 움직임을 일상생활 동작(Activity of Daily Living, ADL)으로 분류할 수 있다.
한편, 상기 사용자의 움직임이 상기 제2 움직임 유형으로 분류된 경우 상기 측정한 3축 가속도 데이터로부터 경사각(tilt angle, φ)을 계산하고, 상기 경사각에 따라 상기 사용자의 움직임을 분류할 수 있다.
상기 임계치에 기반한 방법에 의한 사용자의 움직임 분류결과가 상기 사용자의 실제 움직임과 일치할 확률은 프레임별 상기 사용자의 움직임 분류결과가 소정 개수의 프레임 동안 몇 프레임만큼 동일한지에 의하여 계산될 수 있다.
상기 인공지능에 기반한 방법은 상기 측정된 3축 가속도 데이터를 이용하여 상기 사용자의 움직임을 대표할 수 있는 특징점(features)을 추출 및 선택하고, 제1 기계학습(machine learning) 모델의 제1 하이퍼파라미터(hyperparameter)를 최적화하고, 상기 제1 기계학습 모델을 이용해 사용자의 움직임을 분류할 수 있다.
상기 특징점의 추출 및 선택은 복수의 낙상 지표(fall indicators)에 대하여 최대(maximum), 최소(minimum), 평균(average), 중앙값(median), 분산(variance), 왜도(skewness) 및 첨도(kurtosis)를 계산하여 상기 특징점을 추출하고, 상기 추출된 특징점 중에서 상기 사용자의 움직임을 대표할 수 있는 특징점을 대응시키는 것일 수 있다.
상기 제1 하이퍼파라미터의 최적화는 상기 사용자의 움직임을 분류하는 결정경계를 선형함수(linear function), 방사 기저 함수(Radial Basis Function) 및 다항함수(polynomial function) 중 어느 하나인 커널함수로 계산하는 것을 포함할 수 있다.
상기 처리부는 상기 입력부에서 소정의 입력신호를 입력 받으면 상기 제1 기계학습 모델을 업데이트하되, 상기 업데이트는 상기 센서부가 획득한 상기 3축 가속도 데이터를 이용해 상기 사용자의 움직임을 제1 움직임 유형 또는 제2 움직임 유형으로 분류하고, 상기 제1 기계학습 모델에 기반하여 상기 특징점을 계산하고, 상기 제1 하이퍼파라미터와 상이한 제2 하이퍼파라미터를 갖는 제2 기계학습 모델을 이용해 상기 사용자의 움직임을 분류하고, 상기 제1 기계학습 모델과 상기 제2 기계학습 모델의 분류 정확도를 비교하고, 상기 제2 기계학습 모델이 상기 제1 기계학습 모델보다 더 정확한 경우 상기 제2 기계학습 모델로 업데이트할 수 있다.
본 발명의 다른 측면에 의하면, 낙상 감지 방법은 사용자의 움직임으로부터 3축 가속도를 측정하는 단계와, 상기 측정한 3축 가속도 데이터로부터 상기 사용자의 움직임을 일상생활 동작(Activity of Daily Living, ADL) 또는 낙상(fall)으로 분류하는 단계를 포함하되, 제1 모드에서, 상기 사용자의 움직임을 일상생활 동작(Activity of Daily Living, ADL) 또는 낙상(fall)으로 분류하는 단계는 1차적으로 임계치에 기반한 방법에 의해 상기 사용자의 움직임을 분류하고, 상기 임계치에 기반한 방법에 의한 상기 사용자의 움직임 분류결과가 상기 사용자의 실제 움직임과 일치할 확률이 소정 값 미만인 경우 2차적으로 인공지능에 기반한 방법에 의해 상기 사용자의 움직임을 분류한다.
이때, 낙상 감지 방법은 상기 사용자의 움직임 분류결과가 낙상(fall)인 경우 알람을 울리는 단계를 더 포함할 수 있다.
또한 제2 모드에서, 상기 알람을 울리는 단계는 알람 명령이 있는 경우 알람을 울리되, 상기 제2 모드는 트리거가 있는 경우 활성화될 수 있다.
상기 알람을 울리는 단계는 긴급상황이 발생한 경우 알람을 울릴 수 있다.
상기 긴급상황의 발생 여부는 하기의 수학식
Figure 112019090267941-pat00003
에 의해 계산되는 SMV(Signal Magnitude Vector), 측정신호의 프레임 당 횟수 및 상기 측정신호의 표준편차에 따라 결정될 수 있다.
상기 임계치에 기반한 방법은 중력가속도 성분 및 노이즈를 제거하기 위해 상기 측정한 3축 가속도 데이터를 전처리하고, 하기의 수학식
Figure 112019090267941-pat00004
에 의해 계산되는 SMA(Signal Magnitude Area)를 계산하고, 상기 SMA가 소정의 제1 임계치보다 크면 상기 사용자의 움직임을 제1 움직임 유형으로 분류하고, 상기 SMA가 상기 제1 임계치보다 작거나 같으면 상기 사용자의 움직임을 제2 움직임 유형으로 분류할 수 있다.
이때, 상기 사용자의 움직임이 상기 제1 움직임 유형으로 분류된 경우 상기 측정한 3축 가속도 데이터에 주기성이 있는 경우에는 SMV(Signal Magnitude Vector)가 소정의 제2 임계치보다 크면 상기 사용자의 움직임을 낙상(fall)으로 분류하고, 상기 측정한 3축 가속도 데이터에 주기성이 없는 경우에는 p값-여기서, 상기 p값은 상기 측정한 3축 가속도 데이터를 FFT(Fast Fourier Transform)한 값임-이 소정의 제3 임계치보다 크면 상기 사용자의 움직임을 일상생활 동작(Activity of Daily Living, ADL)으로 분류할 수 있다.
한편, 상기 사용자의 움직임이 상기 제2 움직임 유형으로 분류된 경우 상기 측정한 3축 가속도 데이터로부터 경사각(tilt angle, φ)을 계산하고, 상기 경사각에 따라 상기 사용자의 움직임을 분류할 수 있다.
상기 임계치에 기반한 방법에 의한 사용자의 움직임 분류결과가 상기 사용자의 실제 움직임과 일치할 확률은 프레임별 상기 사용자의 움직임 분류결과가 소정 개수의 프레임 동안 몇 프레임만큼 동일한지에 의하여 계산될 수 있다.
상기 인공지능에 기반한 방법은 상기 측정된 3축 가속도 데이터를 이용하여 상기 사용자의 움직임을 대표할 수 있는 특징점(features)을 추출 및 선택하고, 제1 기계학습(machine learning) 모델의 제1 하이퍼파라미터(hyperparameter)를 최적화하고, 상기 제1 기계학습 모델을 이용해 사용자의 움직임을 분류할 수 있다.
상기 특징점의 추출 및 선택은 복수의 낙상 지표(fall indicators)에 대하여 최대(maximum), 최소(minimum), 평균(average), 중앙값(median), 분산(variance), 왜도(skewness) 및 첨도(kurtosis)를 계산하여 상기 특징점을 추출하고, 상기 추출된 특징점 중에서 상기 사용자의 움직임을 대표할 수 있는 특징점을 대응시키는 것일 수 있다.
상기 제1 하이퍼파라미터의 최적화는 상기 사용자의 움직임을 분류하는 결정경계를 선형함수(linear function), 방사 기저 함수(Radial Basis Function) 및 다항함수(polynomial function) 중 어느 하나인 커널함수로 계산하는 것일 수 있다.
낙상 감지 방법은 상기 제1 기계학습 모델을 업데이트하되, 상기 업데이트는 상기 측정한 3축 가속도 데이터를 이용해 상기 사용자의 움직임을 제1 움직임 유형 또는 제2 움직임 유형으로 분류하고, 상기 제1 기계학습 모델에 기반하여 상기 특징점을 계산하고, 상기 제1 하이퍼파라미터와 상이한 제2 하이퍼파라미터를 갖는 제2 기계학습 모델을 이용해 상기 사용자의 움직임을 분류하고, 상기 제1 기계학습 모델과 상기 제2 기계학습 모델의 분류 정확도를 비교하고, 상기 제2 기계학습 모델이 상기 제1 기계학습 모델보다 더 정확한 경우 상기 제2 기계학습 모델로 업데이트하는 것일 수 있다.
본 발명의 또 다른 측면에 의하면, 컴퓨터로 판독 가능한 저장매체에 저장된 모바일 애플리케이션은 모바일 디바이스에 설치되어 낙상 감지 장치와 무선통신 방법으로 연결되고, 상기 낙상 감지 장치가 사용자의 낙상을 감지한 경우 상기 모바일 디바이스를 이용하여 응급 신고 센터, 미리 지정한 상기 사용자의 가족 또는 미리 지정한 상기 사용자의 지인에게 전화, 문자 메시지 또는 모바일 메신저를 통해 신고하고, 상기 사용자의 위치 정보를 전송한다.
본 발명의 실시예들에 따른 저전력 하이브리드형 낙상 감지 장치 및 이를 이용한 낙상 감지 방법에 따르면, 임계치에 기반한 방법과 인공지능에 기반한 방법을 통합하고, 기계학습 모델을 업데이트 함으로써 낙상 감지의 정확도를 향상시킬 수 있고 오작동률을 줄여 실제 환경 적용성이 증가한다.
본 발명의 실시예들에 따른 저전력 하이브리드형 낙상 감지 장치 및 이를 이용한 낙상 감지 방법에 따르면, 하드웨어 및 소프트웨어의 저전력 설계를 통하여 배터리의 연속 사용시간이 증가하므로 사용자의 편의성이 증가한다.
본 발명의 실시예들에 따른 저전력 하이브리드형 낙상 감지 장치 및 이를 이용한 낙상 감지 방법에 따르면, 모바일 애플리케이션과의 연동을 통해 낙상 발생 시 응급 신고 센터 또는 사용자의 가족·지인에게 자동으로 신고함으로써 사용자의 부상을 최소화하고 위험상황을 예방할 수 있다.
도 1은 본 발명의 일 실시예에 따른 낙상 감지 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 낙상 감지 장치의 작동모드를 나타낸 블록도이다.
도 3은 긴급상황인지 여부를 판단하는 과정의 일 예를 나타낸 블록도이다.
도 4 내지 6은 본 발명의 일 실시예에 따른 낙상 감지 장치가 임계치에 기반한 방법으로 낙상여부를 판단하는 과정을 설명하기 위한 블록도이다.
도 7a 및 7b는 확률 계산을 통해 임계치에 기반한 방법에서 인공지능에 기반한 방법으로 전환하기 위한 조건을 설명하기 위한 그래프이다.
도 8은 본 발명의 일 실시예에 따른 낙상 감지 장치가 인공지능에 기반한 방법으로 낙상여부를 판단하는 과정을 설명하기 위한 블록도이다.
도 9는 182개의 추출된 특징점 및 그 일련번호를 나타낸 표이다.
도 10은 사용자의 움직임 별 선택된 특징점을 나타낸 표이다.
도 11은 기계학습 모델의 업데이트 과정을 나타낸 블록도이다.
도 12는 본 발명의 일 실시예에 따른 낙상 감지 장치의 저전력모드에서의 작동을 설명하기 위한 개념도이다.
도 13은 임계치에 기반한 방법에 의해 사용자의 움직임을 분류한 실험결과를 나타낸 것이다.
도 14는 인공지능에 기반한 방법에 의해 사용자의 움직임을 분류한 실험결과를 나타낸 것이다.
도 15는 저전력모드의 성능을 검증하기 위한 실험 결과를 나타낸 것이다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 저전력 하이브리드형 낙상감지 장치 및 이를 이용한 낙상 감지 방법에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람이 본 발명을 쉽게 실시할 수 있도록 명확하고 상세하게 설명하기로 한다.
이하에서 "사용자의 움직임"은 일상생활 동작(Activity of Daily Living, ADL) 및 낙상(fall)을 포함한다.
도 1은 본 발명의 일 실시예에 따른 낙상 감지 시스템의 구성도이다.
모바일 디바이스(10)는, 예를 들어 스마트폰, 스마트워치 또는 태블릿 PC와 같이, 모바일 애플리케이션(12)을 설치할 수 있는 전자기기이다.
모바일 애플리케이션(12)은 모바일 디바이스(10)에 설치되며, 통신부(150)에 의해 낙상 감지 장치(100)와 연동되어 낙상에 대응한 동작을 수행한다. 예를 들어, 모바일 애플리케이션(12)은 낙상 발생 시 모바일 디바이스(10)를 이용하여 소리, 진동 또는 빛의 형태로 낙상 상황을 외부에 알릴 수 있다. 또한 모바일 애플리케이션(12)은 낙상 발생 시 모바일 디바이스(10)를 이용하여 응급 신고 센터 또는 사용자의 가족·지인에게 전화, 문자 메시지 또는 모바일 메신저를 통해 신고하고, 사용자의 위치 정보를 전송할 수 있다.
낙상 감지 장치(100)는 센서부(110), 처리부(130), 통신부(150), 입력부(170) 및 알람부(190)를 포함할 수 있다. 낙상 감지 장치(100)는 사용자단말기(10)에 설치된 모바일 애플리케이션(12)과 연동되어 낙상 발생 시 응급 신고 센터 또는 사용자의 가족·지인에게 자동으로 신고할 수 있다. 낙상 감지 장치(100)는 사용자의 신체, 예를 들어, 허리에 부착될 수 있다.
센서부(110)는 사용자의 움직임으로부터 데이터를 측정한다. 예를 들어, 센서부(110)는 사용자의 움직임으로부터 3축 가속도를 측정하는 3축 가속도 센서 또는 사용자의 움직임으로부터 회전 속도를 측정하는 각속도 센서일 수 있다.
처리부(130)는 센서부(110)가 감지한 사용자의 움직임에 관한 데이터를 이용해 사용자의 움직임을 일상생활 동작(ADL) 및 낙상(fall) 중 어느 하나로 분류한다. 예를 들어, 처리부(130)는 계산과 데이터 처리가 가능한 MCU(Micro Controller Unit)일 수 있다.
통신부(150)는 낙상 감지 장치(100)를 외부의 모바일 디바이스(10)에 설치된 모바일 애플리케이션(12)과 무선통신 방법으로 연결시킨다. 예를 들어, 통신부(150)는 블루투스(Bluetooth), 와이파이(WiFi), 지그비(ZigBee) 또는 NFC(Near Field Communication)와 같은 근거리 무선통신기술(Short-range Wireless Communication)을 사용할 수 있다.
입력부(170)는 사용자로부터 입력신호를 입력 받는다. 예를 들어, 입력부(170)는 버튼형 스위치일 수 있다.
알람부(190)는 사용자의 움직임 분류결과가 낙상인 경우 또는 낙상 감지 장치(100)의 배터리가 방전된 경우 사용자 또는 사용자의 주변에서 알 수 있도록 알람을 울린다. 예를 들어, 알람부(190)는 버저(buzzer)일 수 있다.
도 2는 본 발명의 일 실시예에 따른 낙상 감지 장치의 작동모드를 나타낸 블록도이다.
낙상 감지 장치(100)의 작동모드는 수동모드(S203), 자동모드(S209), 저전력모드(S223)를 포함한다.
단계 S201을 참조하면, 낙상 감지 장치(100)는 수동모드 트리거가 있는 경우 수동모드(S203)로 작동한다. 수동모드 트리거는 사용자가 입력부(170)를 통해 낙상 감지 장치(100)에 입력할 수 있다. 예를 들어, 입력신호가 1회 입력되면 낙상 감지 장치(100)가 수동모드(S203)로 작동하도록 설정할 수 있다.
수동모드(S203)는 사용자가 낙상을 포함한 자신의 응급 상황을 스스로 판단하여 주변에 도움을 요청하기 위한 작동모드이다. 수동모드(S203)에서, 낙상 감지 장치(100)는 알람 명령이 있는 경우(S205) 알람부(190)를 이용해 주변에 응급 상황임을 알린다(S221). 예를 들어, 입력신호가 5회 이상 연속으로 입력되면 알람이 울리도록 설정할 수 있다.
단계 S207을 참조하면, 긴급상황이 발생한 경우에는 알람 명령이 없어도 알람이 울린다. 긴급상황은 낙상이 발생했음에도 불구하고 알람이 울리지 않는 상황을 의미한다. 예를 들어, 긴급상황은 사용자가 낙상으로 인해 의식을 잃거나 알람 명령(S205)을 할 수 없는 상황을 포함한다. 긴급상황인지 여부를 판단하는 기준에 대해서는 도 3을 참조하여 설명한다.
도 3은 낙상 감지 장치가 긴급상황인지 여부를 판단하는 과정의 일 예를 나타낸 블록도이다. 예를 들어, 낙상 감지 장치(100)가 하기의 수학식 1에 의해 계산되는 SMV(Signal Magnitude Vector)가 3.85보다 크고, 흔들림을 감지한 측정신호가 50 프레임(frame)당 5회 이상이고, 5회 신호의 간격의 표준편차(
Figure 112019090267941-pat00005
)가 0.1보다 작으면 긴급상황으로 판단하도록 설정할 수 있다. 여기서 프레임은 센서부(110)가 사용자의 움직임을 1회 측정하는 시간을 의미하며, 본 명세서에 개시된 실시예에서는 사용자의 움직임을 1초당 40회 측정하였으나(즉, 1초 = 40프레임), 이에 한정되지 않는다.
Figure 112019090267941-pat00006
여기서 x, y 및 z는 각각 x축, y축 및 z축의 가속도 측정값이다.
다시 도 2를 참조하면, 단계 S209는 사용자의 움직임을 감지하는 단계로서 낙상 감지 장치(100)는 사용자의 움직임이 감지되면 자동모드(S211)로 작동하고, 사용자의 움직임이 감지되지 않으면 저전력모드(S223)로 작동한다.
자동모드(S211)에서, 처리부(130)는 센서부(110)가 측정한 3축 가속도 데이터 또는 각속도 데이터에 따라 사용자의 움직임을 일상생활 동작(ADL) 또는 낙상(fall)으로 분류한다. 처리부(130)는 1차적으로 임계치에 기반한 방법(S213)에 의해 사용자의 움직임을 분류하고, 2차적으로 인공지능에 기반한 방법(S217)에 의해 사용자의 움직임을 분류한다. 임계치에 기반한 방법(S213)에 대해서는 도 4 내지 6을 참조하여 설명하고, 임계치에 기반한 방법(S213)에서 인공지능에 기반한 방법(S217)으로의 전환 기준에 대해서는 도 7a 내지 7b를 참조하여 설명하고, 인공지능에 기반한 방법(S217)에 대해서는 도 8 내지 11을 참조하여 설명하기로 한다.
도 4 내지 6은 본 발명의 일 실시예에 따른 낙상 감지 장치가 임계치에 기반한 방법으로 낙상여부를 판단하는 과정을 설명하기 위한 블록도이다.
도 4를 참조하면, 처리부(130)는 측정신호(S401)에 대한 전처리 과정(S403, S405)을 수행한다. 측정신호(S401)는, 예를 들어, 센서부(110)가 측정한 3축 가속도 데이터 또는 각속도 데이터를 의미한다. 단계 S403에서는 고역통과필터(High Pass Filter)를 적용하여 중력가속도 성분을 제거하고, 단계 S405에서는 중간값필터(Median Filter)를 적용하여 노이즈를 제거한다.
단계 S407은 SMA(Signal Magnitude Area)를 계산하는 단계이다. 예를 들어, 처리부(130)는 1초에 한 번씩 SMA를 계산할 수 있다. SMA는 하기의 수학식 2에 의해 계산된다.
Figure 112019090267941-pat00007
여기서 t는 SMA를 계산하기 위해 지정한 윈도우 사이즈(window size)이고, x, y 및 z는 각각 x축, y축 및 z축의 가속도 측정값이다.
단계 S409는 SMA를 소정의 제1 임계치와 비교하는 단계이다. 처리부(130)는 SMA가 제1 임계치보다 크면 사용자의 움직임을 고-가속도계 활동(High-accelerometer activity)(S411)으로 분류하고, SMA가 제1 임계치보다 작거나 같으면 사용자의 움직임을 저-가속도계 활동(Low-Accelerometer activity)(S413)으로 분류한다. 고-가속도계 활동(S411)은 넘어짐 또는 걷기와 같이 움직임이 많은 활동을 의미하고, 저-가속도계 활동(S413)은 서기, 앉기 또는 눕기와 같이 움직임이 거의 없는 활동을 의미한다.
도 5를 참조하면, SMA와 제1 임계치를 비교한 결과 사용자의 움직임이 고-가속도계 활동(S411)으로 판단된 경우 처리부(130)는 사용자의 움직임의 주기성을 계산한다(S501).
사용자의 움직임에 주기성이 없다고 판단되는 경우 처리부(130)는 SMV를 계산하고(S503), SMV를 소정의 제2 임계치와 비교하여(S505), SMV가 제2 임계치보다 큰 경우 사용자의 움직임을 넘어짐으로 판단한다(S507).
사용자의 움직임에 주기성이 있다고 판단되는 경우 처리부(130)는 p를 계산한다(S509). 여기서 p는 측정신호(S401)를 FFT(Fast Fourier Transform)하여 얻은 값들 중의 최대값이다. 처리부(130)는 p를 소정의 제3 임계치와 비교하여(S511), p가 제3 임계치보다 큰 경우 사용자의 움직임을 걷기로 판단한다(S513).
도 6을 참조하면, SMA와 제1 임계치를 비교한 결과 사용자의 움직임이 저-가속도계 활동(S411)으로 판단된 경우 처리부(130)는 경사각(tilt angle, φ)을 계산하고(S601), 경사각에 따라 사용자의 움직임을 분류한다.
예를 들어, cosφ 값이 0.5보다 큰 경우(S603) 처리부(130)는 사용자의 움직임을 직립으로 판단한다(S607). 이후 처리부(130)는 z축 가속도를 소정의 제4 임계치와 비교하여(S609), z축 가속도가 제4 임계치보다 큰 경우 사용자의 움직임을 서기(S621)로 판단하고, z축 가속도가 제4 임계치보다 작거나 같은 경우 사용자의 움직임을 앉기(S622)로 판단한다.
또한, 처리부(130)는 cosφ 값이 -0.5보다 작은 경우(S605) 사용자의 움직임을 뒤집힘으로 판단한다(S613).
또한, 처리부(130)는 cosφ 값이 -0.5이상이고 0.5이하인 경우 사용자의 움직임을 눕기로 판단하고(S611), 앞(S623), 뒤(S624), 왼쪽(S625) 또는 오른쪽(S626) 중 어느 방향으로 누워있는지 판단한다.
다시 도 2를 참조하면, 단계 S215는, 임계치에 기반한 방법(S213)에서 인공지능에 기반한 방법(S217)으로의 전환 여부를 결정하는 기준으로서, 임계치에 기반한 방법(S213)에 의한 사용자의 움직임 분류결과가 실제 사용자의 움직임과 일치할 확률을 계산하는 단계이다. 확률이 소정 값(예를 들어, 0.8) 이상이면 임계치에 기반한 방법(S213)에 의한 사용자의 움직임 분류결과에 따라 낙상 여부를 판단하고(S219), 사용자의 움직임 분류결과가 낙상인 경우 알람을 울린다(S221). 반면 확률이 소정 값(예를 들어, 0.8) 미만이면 임계치에 기반한 방법(S213)에서 인공지능에 기반한 방법(S217)으로 전환한다. 확률은 프레임별 사용자의 움직임 분류결과가 소정 개수의 프레임 동안 몇 프레임만큼 동일한지에 의하여 계산된다. 예를 들어, 프레임별 사용자의 움직임 분류결과가 10프레임 동안 8프레임만큼 동일하면 확률은 0.8이다.
도 7a 및 7b는 확률 계산을 통해 임계치에 기반한 방법에서 인공지능에 기반한 방법으로 전환하기 위한 조건을 설명하기 위한 그래프이다.
예를 들어, 도 7a와 같이 프레임별 사용자의 움직임 분류결과가 10프레임 중 8프레임 이상의 동작이 일치하는 경우 임계치에 기반한 방법(S213)에 의한 사용자의 움직임 분류결과에 따라 낙상 여부를 판단한다.
도 7b를 참조하면, 참조번호 701의 경우 사용자의 움직임 분류결과(X)가 사용자의 실제 움직임(O)과 모두 일치하므로 확률은 1이다. 그러나 참조번호 703의 경우 사용자의 움직임 분류결과(X)가 사용자의 실제 움직임(O)과 불일치 하는 프레임이 4개 있으므로, 확률이 0.8미만이 되어 임계치에 기반한 방법(S213)에서 인공지능에 기반한 방법(S217)으로 전환된다.
도 8은 본 발명의 일 실시예에 따른 낙상 감지 장치가 인공지능에 기반한 방법으로 사용자의 움직임을 분류하는 과정을 설명하기 위한 블록도이다.
인공지능에 기반한 방법(S217)은 기계학습(machine learning) 모델을 이용하여 사용자의 움직임을 분류한다. 이하에서 서포트 벡터 머신(Support Vector Machine) 분류기를 이용하여 사용자의 움직임을 분류하는 것으로 설명하지만, 기계학습 모델은 이에 한정되지 않으며 예를 들어, NB(Naive Bayes), kNN(k-Nearest Neighbor), RF(Random Forest), QDA(Quadratic Discriminant Analysis), ANN(Artificial Neural Network), NN-DTW(Nearest Neighbor with Dynamic Time Warping), LSTM(Long Short-Term Memory) 또는 CNN(Convolutional Neural Network)와 같은 기계학습 모델도 사용될 수 있다.
단계 S803은 단계 S403 및 S405에서 전처리된 3축 가속도 데이터(S801)로부터특징점(feature)을 추출하고 선택하는 단계이다. 특징점 추출은 전처리된 3축 가속도 데이터로부터 사용자의 움직임 분류에 필요한 데이터를 찾는 것이다. 한편 특징점 선택은 추출된 특징점 중에서 사용자의 움직임 각각에 대하여 해당 움직임을 대표할 수 있는 특징점을 찾아 대응시키는 것이다. 특징점 추출 및 선택은 사용자의 움직임 분류에 필요 없는 데이터를 기계학습 모델의 입력벡터에서 제외시킴으로써 분류의 정확도를 향상시키고, 소요 시간을 감소시키며, 메모리 부족 문제를 해결하고, 배터리 사용시간을 증가시킨다. 이하 특징점 추출 및 선택 과정에 대하여 상세하게 설명한다.
먼저, 전처리된 3축 가속도 데이터(S801)로부터 26개의 낙상 지표(fall indicators)에 대하여 최대(maximum), 최소(minimum), 평균(average), 중앙값(median), 분산(variance), 왜도(skewness) 및 첨도(kurtosis)를 계산하여 총 182개의 특징점을 추출한다. 추출된 182개의 특징점과 그 일련번호는 도 9와 같다.
다음으로, 추출된 182개의 특징점 중에서 사용자의 움직임 각각에 대하여 해당 움직임을 대표할 수 있는 특징점을 찾아 대응시킨다. 특징점 선택 방법으로는, 예를 들어, 릴리프-F(Relif-F), 피셔 (Fisher), 상호 정보 기반 접근(Mutual Information based approach) 또는 ILFS(Infinite Latent Feature Selection)와 같은 방법을 사용할 수 있으며, 본 발명의 일 실시예에서는 ILFS 방법에 따라 30개의 특징점을 선택하였다. 선택된 움직임별 특징점은 도 10과 같다. 도 10에서 우측열의 숫자는 도 9의 일련번호와 대응된다.
단계 S805는 서포트 벡터 머신(Support Vector Machine) 분류기의 하이퍼파라미터(hyperparameter)를 최적화하는 단계이다. 하이퍼파라미터는 커널함수, γ값, α값, C값 등을 포함한다. 본 실시예에서 최적화 방법은 베이지안 최적화(Bayesian Optimization)를 사용하였으나, 이에 한정되지 않는다.
커널함수의 최적화는 사용자의 움직임을 일상생활 동작(ADL) 또는 낙상(fall)으로 분류하는 결정경계(hyperplane)를 선형함수(linear function), 방사 기저 함수(Radial Basis Function, RBF) 및 다항함수(polynomial function) 중 어느 하나로 계산하는 방법을 말한다. 일상생활 동작(ADL)과 낙상(fall)을 분류하는 결정경계 중에서 마진(margin)이 최대인 결정경계를 선택함으로써 커널함수를 최적화한다.
γ값 및 α값은 데이터 값들이 결정경계에서 멀리 떨어짐 또는 가까이 있음을 의미하는 값으로, γ값이 작을수록 분류 정확도가 커지는 경향이 있다.
C값은 얼마나 많은 데이터 샘플이 다른 클래스에 놓이는 것을 허용하는지를 결정하는 값이다. C값이 작을수록 데이터 샘플이 다른 클래스에 놓이는 것을 더 많이 허용하고, C값이 클수록 적게 허용한다. C값이 너무 높을 경우 과대적합(overfitting)의 가능성이 높아지므로 적절한 C값을 결정해야 한다.
단계 S807은 단계 S803에서 선택한 특징점을 입력값으로 하는 서포트 벡터 머신 분류기를 이용해 사용자의 움직임을 분류하는 단계이다. 분류 결과 사용자의 움직임이 낙상인 경우(S219) 알람을 울린다(S221).
한편 낙상 감지 장치(100)는 사용자마다 자세와 움직임, 생활습관이 다르기 때문에 오분류 가능성이 항상 존재한다. 따라서 측정한 3축 가속도 데이터를 이용해 기계학습 모델의 하이퍼파라미터를 지속적으로 업데이트할 수 있는 개인 맞춤형(personalized) 낙상 감지 장치가 필요하다. 개인 맞춤형 낙상 감지 장치는 실제 상황에서의 감지 정확도가 높으므로 오작동률이 줄고 실제 환경 적용성이 증가한다. 본 발명의 일 실시예는 기계학습 모델을 업데이트할 수 있는 개인 맞춤형 낙상 감지 장치를 제공한다.
도 11은 기계학습 모델의 업데이트 과정을 나타낸 블록도이다.
낙상 감지 장치(100)는 입력부(170)에서 미리 설정한 입력신호를 입력 받으면 기계학습 모델을 업데이트할 수 있다. 예를 들어, 입력신호가 5초 이상 연속으로 입력되면 낙상 감지 장치(100)가 기계학습 모델을 업데이트 하도록 설정할 수 있다.
먼저, 센서부(110)는 소정 시간(예를 들어, 1시간) 동안의 3축 가속도 데이터를 획득한다(S1101). 처리부(130)는 획득한 데이터를 이용해 사용자의 움직임을 고-가속도계 활동(S411) 또는 저-가속도계 활동(S413)으로 분류한 후(S1103) 처리부(130)에 탑재되어 있는 제1 기계학습 모델에 기반하여 특징점을 계산한다(S1105).
다음으로, 처리부(130)는 하이퍼파라미터를 변경하여 새로운 결정경계를 계산하고(S1107), 변경된 하이퍼파라미터와 새로운 결정경계를 갖는 제2 기계학습 모델을 이용해 사용자의 움직임을 분류하고, 제1 기계학습 모델과 분류 정확도를 비교한다(S1111). 비교 결과 제2 기계학습 모델이 제1 기계학습 모델보다 더 정확한 경우 낙상 감지 장치(100)를 제2 기계학습 모델로 업데이트하고(S1113), 제1 기계학습 모델이 제2 기계학습 모델보다 더 정확한 경우 하이퍼파라미터를 새롭게 변경하여 단계 S1107을 반복한다.
저전력모드(S223)는 사용자의 움직임이 감지되지 않는 경우 전력소모를 최소화하여 배터리 연속 사용시간을 늘릴 수 있는 작동모드이다.
도 12를 참조하면, 처리부(130)는 전원이 인가되는 순간부터 통신부(150)를 슬립모드(sleep mode)로 전환하여 전력소모를 최소화하고, 처리부(130)가 사용자의 낙상을 감지하면 통신부(150)를 정상모드(wake-up mode)로 전환하여 모바일 애플리케이션(12)과 연동하도록 한다(1201).
처리부(130)는 센서부(110)에서 획득한 각속도 데이터의 크기에 대한 임계치를 기반으로 사용자의 움직임을 감지하고, 움직임이 없으면 스스로 슬립모드로 진입한다(1203). 이후 처리부(130)는 센서부(110)가 움직임을 감지하여 센서부(110)의 인터럽트 핀이 0에서 1로 바뀌면 해당 엣지 신호를 감지하여 정상모드로 전환된다(1205).
또한 수동모드(S203)에서 입력부(170)를 통해 입력신호가 입력될 때 처리부(130)가 슬립모드로 작동 중이면 정상모드로 전환된다(1207).
본 발명의 일 일시예에 따른 낙상 감지 장치 및 방법의 성능을 검증하기 위해 실험을 수행하였다. 실험에서는 사용자의 움직임을 일상생활 동작(ADL)과 낙상(fall)으로 분류하기 위해 표 1과 같이 29개의 움직임에 대하여 실험하였다. 실험결과는 도 13 내지 도 15와 같다.
일상생활 동작(ADL) 낙상(fall)
1 서기 11 걷기 21 앞으로 넘어지기
2 앞으로 눕기 12 보행기로 걷기 22 뒤로 넘어지기
3 뒤로 눕기 13 계단 오르기 23 왼쪽으로 넘어지기
4 왼쪽으로 눕기 14 계단 내려가기 24 오른쪽으로 넘어지기
5 오른쪽으로 눕기 15 앞으로 점프 25 앉다가 넘어지기
6 앉기 16 걷다가 점프 26 일어서다 넘어지기
7 서있다 앉기 17 점프 27 걷다 앞으로 넘어지기
8 앉아있다 서기 18 허리띠 세게 풀리기 28 걷다 뒤로 넘어지기
9 서있다 눕기 19 바지 벗기 29 미끄러 넘어지기
10 누워있다 서기 20 바지 입기 -
도 13은 임계치에 기반한 방법에 의해 사용자의 움직임을 분류한 실험결과를 나타낸 것이다. 4명의 피실험자(Sub 1, Sub 2, Sub 3, Sub 4)에 대하여 본 발명의 일 실시예에 따른 임계치에 기반한 방법에 의해 사용자의 움직임을 분류하였다. 실험결과, 평균 정확도는 92%로 나타났다.
도 14는 인공지능에 기반한 방법에 의해 사용자의 움직임을 분류한 실험결과를나타낸 것이다. 실험은 이산 윈도우 기반 데이터세트(discrete-window-based dataset)와 시계열 기반 데이터세트(time-series-based dataset)에 기초하여 수행되었으며, 종래의 인공지능에 기반한 방법에 의한 분류결과와 비교하였다. 실험결과, 평균 정확도는 99%로 나타났다. 비교 대상인 종래기술은 아래와 같다.
Aziz et al(2014): Aziz, O., Russel, C. M., Park, E. J., and Robinovitch, S. N., 2014, "The Effect of Window Size and Lead Time on Pre-Impact Fall Detection Accuracy Using Support Vector Machine Analysis of Waist Mounted Inertial Sensor Data,"36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society(EMBS),Chicago, IL, Aug. 26-30, pp.30-33.
Shan and Yuan(2010): Shan, S., and Yuan, T., 2010, "A Wearable Pre-Impact Fall Detector Using Feature Selection and Support Vector Machine," IEEE 10th International Conference on Signal Processing (ICSP), Beijing, China, Oct. 24-28, pp.1686-1689.
Shi et al(2009): Shi, G., Chan, C. S., Li, W. J., Leung, K. S., Zou, Y., and Lundy, J. E., 2009, "Mobile Human Airbag System for Fall Protection Using MEMS Sensors and Embedded SVM Classifier," IEEE Sens. J., 9(5), pp.495-503.
도 15는 저전력모드의 성능을 검증하기 위한 실험 결과를 나타낸 것이다. 본 발명의 일 실시예에 따른 실내 위치인식 장치가 저전력모드로 작동하는 경우와 그렇지 않은 경우의 배터리 연속 사용시간을 비교하였다. 저전력모드로 작동하는 경우에는 그렇지 않은 경우에 비해 최대 약 10배의 배터리 연속 사용시간을 확보할 수 있으며, 일상 동작을 하는 경우에도 약 5배의 배터리 연속 사용시간을 확보할 수 있다.
10: 단말기
12: 모바일 애플리케이션
100: 낙상 감지 장치
110: 센서부
130: 처리부
150: 통신부
170: 입력부
190: 알람부

Claims (28)

  1. 사용자의 신체에 착용 가능한 낙상 감지 장치로서,
    상기 사용자의 움직임으로부터 가속도를 측정하는 센서부; 및
    상기 측정한 가속도 데이터로부터 상기 사용자의 움직임을 일상생활 동작(Activity of Daily Living, ADL) 또는 낙상(fall)으로 분류하는 처리부를 포함하되,
    제1 작동모드에서,
    상기 처리부는 1차적으로 임계치에 기반한 방법에 의해 상기 사용자의 움직임을 분류하고, 상기 임계치에 기반한 방법에 의한 상기 사용자의 움직임 분류결과가 상기 사용자의 실제 움직임과 일치할 확률이 소정 값 미만인 경우 2차적으로 인공지능에 기반한 방법에 의해 상기 사용자의 움직임을 분류하는 것을 특징으로 하는 낙상 감지 장치.
  2. 제1항에 있어서,
    상기 낙상 감지 장치를 외부의 모바일 디바이스에 설치된 모바일 애플리케이션과 무선통신 방법으로 연결시키는 통신부;
    상기 사용자로부터 입력신호를 입력 받는 입력부; 및
    상기 사용자의 움직임 분류결과가 낙상(fall)인 경우 알람을 울리는 알람부를 더 포함하는 것을 특징으로 하는 낙상 감지 장치.
  3. 제2항에 있어서,
    제2 작동모드에서,
    상기 알람부는 상기 입력부를 통해 알람 명령이 입력된 경우 알람을 울리되,
    상기 제2 작동모드는 상기 입력부를 통해 트리거가 입력된 경우 활성화되는 것을 특징으로 하는 낙상 감지 장치.
  4. 제2항에 있어서,
    상기 알람부는
    긴급상황이 발생한 경우 알람을 울리는 것을 특징으로 하는 낙상 감지 장치.
  5. 제4항에 있어서,
    상기 가속도는 3축 가속도이고,
    상기 처리부는
    하기의 수학식
    Figure 112021056010784-pat00008

    에 의해 계산되는 SMV(Signal Magnitude Vector), 측정신호의 프레임 당 횟수 및 상기 측정신호의 표준편차에 따라 상기 긴급상황의 발생 여부를 결정하는 것을 특징으로 하는 낙상 감지 장치.
    (여기서, x,y 및 z는 각각 x축, y축, z축의 가속도 측정값이다.)
  6. 제2항에 있어서,
    제3 작동모드에서,
    상기 통신부는 슬립모드(sleep mode)로 작동하고, 상기 사용자의 낙상을 감지하면 정상모드(wake-up mode)로 전환되어 상기 낙상 감지 장치를 상기 모바일 애플리케이션과 연결시키고,
    상기 처리부는 상기 사용자의 움직임이 없으면 슬립모드로 작동하고, 상기 사용자의 움직임이 있는 경우 또는 상기 입력부를 통해 입력신호가 입력되는 경우 정상모드로 전환되는 것을 특징으로 하는 낙상 감지 장치.
  7. 제1항에 있어서,
    상기 가속도는 3축 가속도이고,
    상기 임계치에 기반한 방법은
    중력가속도 성분 및 노이즈를 제거하기 위해 상기 측정한 3축 가속도 데이터를 전처리하고, 하기의 수학식
    Figure 112021056010784-pat00009

    에 의해 계산되는 SMA(Signal Magnitude Area)를 계산하고, 상기 SMA가 소정의 제1 임계치보다 크면 상기 사용자의 움직임을 제1 움직임 유형으로 분류하고, 상기 SMA가 상기 제1 임계치보다 작거나 같으면 상기 사용자의 움직임을 제2 움직임 유형으로 분류하는 것을 특징으로 하는 낙상 감지 장치.
    (여기서, x,y 및 z는 각각 x축, y축, z축의 가속도 측정값이고, t는 SMA를 계산하기 위해 지정한 윈도우 사이즈(window size)이다.)
  8. 제7항에 있어서,
    상기 사용자의 움직임이 상기 제1 움직임 유형으로 분류된 경우
    상기 측정한 3축 가속도 데이터에 주기성이 없는 경우에는 SMV(Signal Magnitude Vector)가 소정의 제2 임계치보다 크면 상기 사용자의 움직임을 낙상(fall)으로 분류하고,
    상기 측정한 3축 가속도 데이터에 주기성이 있는 경우에는 p값-여기서, 상기 p값은 상기 측정한 3축 가속도 데이터를 FFT(Fast Fourier Transform)한 값임-이 소정의 제3 임계치보다 크면 상기 사용자의 움직임을 일상생활 동작(Activity of Daily Living, ADL)으로 분류하는 것을 특징으로 하는 낙상 감지 장치.
  9. 제7항에 있어서,
    상기 사용자의 움직임이 상기 제2 움직임 유형으로 분류된 경우
    상기 측정한 3축 가속도 데이터로부터 경사각(tilt angle, φ)을 계산하고, 상기 경사각에 따라 상기 사용자의 움직임을 분류하는 것을 특징으로 하는 낙상 감지 장치.
  10. 제1항에 있어서,
    상기 임계치에 기반한 방법에 의한 사용자의 움직임 분류결과가 상기 사용자의 실제 움직임과 일치할 확률은
    프레임별 상기 사용자의 움직임 분류결과가 소정 개수의 프레임 동안 몇 프레임만큼 동일한지에 의하여 계산되는 것인 낙상 감지 장치.
  11. 제1항에 있어서,
    상기 인공지능에 기반한 방법은
    상기 측정된 가속도 데이터를 이용하여 상기 사용자의 움직임을 대표할 수 있는 특징점(features)을 추출 및 선택하고, 제1 기계학습(machine learning) 모델의 제1 하이퍼파라미터(hyperparameter)를 최적화하고, 상기 제1 기계학습 모델을 이용해 사용자의 움직임을 분류하는 것을 특징으로 하는 낙상 감지 장치.
  12. 제11항에 있어서,
    상기 특징점의 추출 및 선택은
    복수의 낙상 지표(fall indicators)에 대하여 최대(maximum), 최소(minimum), 평균(average), 중앙값(median), 분산(variance), 왜도(skewness) 및 첨도(kurtosis)를 계산하여 상기 특징점을 추출하고, 상기 추출된 특징점 중에서 상기 사용자의 움직임을 대표할 수 있는 특징점을 대응시키는 것인 낙상 감지 장치.
  13. 제11항에 있어서,
    상기 제1 하이퍼파라미터의 최적화는
    상기 사용자의 움직임을 분류하는 결정경계를 선형함수(linear function), 방사 기저 함수(Radial Basis Function) 및 다항함수(polynomial function) 중 어느 하나인 커널함수로 계산하는 것을 포함하는 낙상 감지 장치.
  14. 제11항에 있어서,
    상기 처리부는 입력부에서 소정의 입력신호를 입력 받으면 상기 제1 기계학습 모델을 업데이트하되,
    상기 업데이트는
    상기 센서부가 획득한 상기 가속도 데이터를 이용해 상기 사용자의 움직임을 제1 움직임 유형 또는 제2 움직임 유형으로 분류하고, 상기 제1 기계학습 모델에 기반하여 상기 특징점을 계산하고, 상기 제1 하이퍼파라미터와 상이한 제2 하이퍼파라미터를 갖는 제2 기계학습 모델을 이용해 상기 사용자의 움직임을 분류하고, 상기 제1 기계학습 모델과 상기 제2 기계학습 모델의 분류 정확도를 비교하고, 상기 제2 기계학습 모델이 상기 제1 기계학습 모델보다 더 정확한 경우 상기 제2 기계학습 모델로 업데이트하는 것을 특징으로 하는 낙상 감지 장치.
  15. 사용자의 움직임으로부터 가속도를 측정하는 단계; 및
    상기 측정한 가속도 데이터로부터 상기 사용자의 움직임을 일상생활 동작(Activity of Daily Living, ADL) 또는 낙상(fall)으로 분류하는 단계를 포함하되,
    제1 모드에서,
    상기 사용자의 움직임을 일상생활 동작(Activity of Daily Living, ADL) 또는 낙상(fall)으로 분류하는 단계는
    1차적으로 임계치에 기반한 방법에 의해 상기 사용자의 움직임을 분류하고, 상기 임계치에 기반한 방법에 의한 상기 사용자의 움직임 분류결과가 상기 사용자의 실제 움직임과 일치할 확률이 소정 값 미만인 경우 2차적으로 인공지능에 기반한 방법에 의해 상기 사용자의 움직임을 분류하는 것을 특징으로 하는 낙상 감지 방법.
  16. 제15항에 있어서,
    상기 사용자의 움직임 분류결과가 낙상(fall)인 경우 알람을 울리는 단계를 더 포함하는 것을 특징으로 하는 낙상 감지 방법.
  17. 제16항에 있어서,
    제2 모드에서,
    상기 알람을 울리는 단계는 알람 명령이 있는 경우 알람을 울리되,
    상기 제2 모드는 트리거가 있는 경우 활성화되는 것을 특징으로 하는 낙상 감지 방법.
  18. 제16항에 있어서,
    상기 알람을 울리는 단계는
    긴급상황이 발생한 경우 알람을 울리는 것을 특징으로 하는 낙상 감지 방법.
  19. 제18항에 있어서,
    상기 가속도는 3축 가속도이고,
    상기 긴급상황의 발생 여부는
    하기의 수학식
    Figure 112021056010784-pat00010

    에 의해 계산되는 SMV(Signal Magnitude Vector), 측정신호의 프레임 당 횟수 및 상기 측정신호의 표준편차에 따라 결정되는 것을 특징으로 하는 낙상 감지 방법.
    (여기서, x,y 및 z는 각각 x축, y축, z축의 가속도 측정값이다.)
  20. 제19항에 있어서,
    상기 가속도는 3축 가속도이고,
    상기 임계치에 기반한 방법은
    중력가속도 성분 및 노이즈를 제거하기 위해 상기 측정한 3축 가속도 데이터를 전처리하고, 하기의 수학식
    Figure 112021056010784-pat00011

    에 의해 계산되는 SMA(Signal Magnitude Area)를 계산하고, 상기 SMA가 소정의 제1 임계치보다 크면 상기 사용자의 움직임을 제1 움직임 유형으로 분류하고, 상기 SMA가 상기 제1 임계치보다 작거나 같으면 상기 사용자의 움직임을 제2 움직임 유형으로 분류하는 것을 특징으로 하는 낙상 감지 방법.
    (여기서, x,y 및 z는 각각 x축, y축, z축의 가속도 측정값이고, t는 SMA를 계산하기 위해 지정한 윈도우 사이즈(window size)이다.)
  21. 제20항에 있어서,
    상기 사용자의 움직임이 상기 제1 움직임 유형으로 분류된 경우
    상기 측정한 3축 가속도 데이터에 주기성이 없는 경우에는 SMV(Signal Magnitude Vector)가 소정의 제2 임계치보다 크면 상기 사용자의 움직임을 낙상(fall)으로 분류하고,
    상기 측정한 3축 가속도 데이터에 주기성이 있는 경우에는 p값-여기서, 상기 p값은 상기 측정한 3축 가속도 데이터를 FFT(Fast Fourier Transform)한 값임-이 소정의 제3 임계치보다 크면 상기 사용자의 움직임을 일상생활 동작(Activity of Daily Living, ADL)으로 분류하는 것을 특징으로 하는 낙상 감지 방법.
  22. 제20항에 있어서,
    상기 사용자의 움직임이 상기 제2 움직임 유형으로 분류된 경우
    상기 측정한 3축 가속도 데이터로부터 경사각(tilt angle, φ)을 계산하고, 상기 경사각에 따라 상기 사용자의 움직임을 분류하는 것을 특징으로 하는 낙상 감지 방법.
  23. 제15항에 있어서,
    상기 임계치에 기반한 방법에 의한 사용자의 움직임 분류결과가 상기 사용자의 실제 움직임과 일치할 확률은
    프레임별 상기 사용자의 움직임 분류결과가 소정 개수의 프레임 동안 몇 프레임만큼 동일한지에 의하여 계산되는 것인 낙상 감지 방법.
  24. 제15항에 있어서,
    상기 인공지능에 기반한 방법은
    상기 측정된 가속도 데이터를 이용하여 상기 사용자의 움직임을 대표할 수 있는 특징점(features)을 추출 및 선택하고, 제1 기계학습(machine learning) 모델의 제1 하이퍼파라미터(hyperparameter)를 최적화하고, 상기 제1 기계학습 모델을 이용해 사용자의 움직임을 분류하는 것을 특징으로 하는 낙상 감지 방법.
  25. 제24항에 있어서,
    상기 특징점의 추출 및 선택은
    복수의 낙상 지표(fall indicators)에 대하여 최대(maximum), 최소(minimum), 평균(average), 중앙값(median), 분산(variance), 왜도(skewness) 및 첨도(kurtosis)를 계산하여 상기 특징점을 추출하고, 상기 추출된 특징점 중에서 상기 사용자의 움직임을 대표할 수 있는 특징점을 대응시키는 것인 낙상 감지 방법.
  26. 제24항에 있어서,
    상기 제1 하이퍼파라미터의 최적화는
    상기 사용자의 움직임을 분류하는 결정경계를 선형함수(linear function), 방사 기저 함수(Radial Basis Function) 및 다항함수(polynomial function) 중 어느 하나인 커널함수로 계산하는 것을 포함하는 낙상 감지 방법.
  27. 제24항에 있어서,
    상기 낙상 감지 방법은
    상기 제1 기계학습 모델을 업데이트하되, 상기 업데이트는
    상기 측정한 가속도 데이터를 이용해 상기 사용자의 움직임을 제1 움직임 유형 또는 제2 움직임 유형으로 분류하고, 상기 제1 기계학습 모델에 기반하여 상기 특징점을 계산하고, 상기 제1 하이퍼파라미터와 상이한 제2 하이퍼파라미터를 갖는 제2 기계학습 모델을 이용해 상기 사용자의 움직임을 분류하고, 상기 제1 기계학습 모델과 상기 제2 기계학습 모델의 분류 정확도를 비교하고, 상기 제2 기계학습 모델이 상기 제1 기계학습 모델보다 더 정확한 경우 상기 제2 기계학습 모델로 업데이트하는 것을 특징으로 하는 낙상 감지 방법.
  28. 삭제
KR1020190108320A 2019-09-02 2019-09-02 저전력 하이브리드형 낙상 감지 장치 및 이를 이용한 낙상 감지 방법 KR102289627B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190108320A KR102289627B1 (ko) 2019-09-02 2019-09-02 저전력 하이브리드형 낙상 감지 장치 및 이를 이용한 낙상 감지 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190108320A KR102289627B1 (ko) 2019-09-02 2019-09-02 저전력 하이브리드형 낙상 감지 장치 및 이를 이용한 낙상 감지 방법

Publications (2)

Publication Number Publication Date
KR20210026897A KR20210026897A (ko) 2021-03-10
KR102289627B1 true KR102289627B1 (ko) 2021-08-17

Family

ID=75148503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190108320A KR102289627B1 (ko) 2019-09-02 2019-09-02 저전력 하이브리드형 낙상 감지 장치 및 이를 이용한 낙상 감지 방법

Country Status (1)

Country Link
KR (1) KR102289627B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220139601A (ko) * 2021-04-08 2022-10-17 삼성전자주식회사 전자 장치 및 전자 장치의 낙상 감지 보정 방법
WO2024077550A1 (zh) * 2022-10-13 2024-04-18 深圳市锐明技术股份有限公司 报警方法、报警装置、控制设备以及存储介质
CN115969362A (zh) * 2022-12-30 2023-04-18 宜宾市天珑通讯有限公司 一种基于Android系统的人体跌倒检测方法及装置
CN118411155B (zh) * 2024-07-01 2024-09-03 北京国华世纪电子科技有限公司 一种用电安全管理服务系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102002422B1 (ko) * 2018-03-22 2019-07-22 성균관대학교산학협력단 사용자 위급상황 판별 및 알림 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170004268A (ko) * 2015-07-01 2017-01-11 김주철 낙상 감지 장치 및 감지 방법
KR101766335B1 (ko) 2016-06-08 2017-08-08 건국대학교 글로컬산학협력단 낙상 위험성 예측 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102002422B1 (ko) * 2018-03-22 2019-07-22 성균관대학교산학협력단 사용자 위급상황 판별 및 알림 방법 및 장치

Also Published As

Publication number Publication date
KR20210026897A (ko) 2021-03-10

Similar Documents

Publication Publication Date Title
KR102289627B1 (ko) 저전력 하이브리드형 낙상 감지 장치 및 이를 이용한 낙상 감지 방법
Noor et al. Adaptive sliding window segmentation for physical activity recognition using a single tri-axial accelerometer
Liu et al. Impact of sampling rate on wearable-based fall detection systems based on machine learning models
Vallabh et al. Fall detection using machine learning algorithms
Vallabh et al. Fall detection monitoring systems: a comprehensive review
Wang et al. An enhanced fall detection system for elderly person monitoring using consumer home networks
US10422814B2 (en) Fall detection using machine learning
JP6923319B2 (ja) 転倒検出システム、方法及びコンピュータプログラム
Wang et al. A data fusion-based hybrid sensory system for older people’s daily activity and daily routine recognition
WO2017049957A1 (zh) 智能跌倒监护装置及其处理方法
Van Thanh et al. Development of a real-time, simple and high-accuracy fall detection system for elderly using 3-DOF accelerometers
KR101797854B1 (ko) 스마트 밴드를 이용하여 낙상을 판단하는 방법 및 시스템
US12039850B2 (en) System and method for fall detection using multiple sensors, including barometric or atmospheric pressure sensors
Shi et al. Fall Detection Algorithm Based on Triaxial Accelerometer and Magnetometer.
CN111183460A (zh) 摔倒检测器和摔倒检测的改进
KR102337861B1 (ko) 리드 타임을 고려한 낙상 감지 장치 및 그 방법
Xie et al. ART: adaptive and real-time fall detection using COTS smart watch
Amiroh et al. Intelligent System for Fall Prediction Based on Accelerometer and Gyroscope of Fatal Injury in Geriatric
Jiang et al. Fall detection systems for internet of medical things based on wearable sensors: A review
Islam et al. Mobile sensor-based fall detection framework
KR101553236B1 (ko) 3축 가속도 센서를 이용한 실시간 운동측정장치 및 방법
He et al. Interrupt-driven fall detection system realized via a Kalman filter and kNN algorithm
Saod et al. Fall Detection System Using Wearable Sensors with Automated Notification
Ramachandran et al. Performance analysis of machine learning algorithms for fall detection
Ramanujam et al. Evaluation of feature extraction and recognition for human activity using smartphone based accelerometer data

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant