KR20210146199A - 모션 기반 노쇠 정도 예측 방법, 장치 및 시스템 - Google Patents

모션 기반 노쇠 정도 예측 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR20210146199A
KR20210146199A KR1020200135721A KR20200135721A KR20210146199A KR 20210146199 A KR20210146199 A KR 20210146199A KR 1020200135721 A KR1020200135721 A KR 1020200135721A KR 20200135721 A KR20200135721 A KR 20200135721A KR 20210146199 A KR20210146199 A KR 20210146199A
Authority
KR
South Korea
Prior art keywords
motion
subject
senility
information
degree
Prior art date
Application number
KR1020200135721A
Other languages
English (en)
Other versions
KR102377046B1 (ko
Inventor
윤성준
노현철
정희원
Original Assignee
주식회사 디파이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디파이 filed Critical 주식회사 디파이
Priority to PCT/KR2020/014342 priority Critical patent/WO2021132862A1/ko
Priority to US17/757,971 priority patent/US20230031995A1/en
Publication of KR20210146199A publication Critical patent/KR20210146199A/ko
Priority to KR1020220032909A priority patent/KR20220041795A/ko
Application granted granted Critical
Publication of KR102377046B1 publication Critical patent/KR102377046B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/083Measuring rate of metabolism by using breath test, e.g. measuring rate of oxygen consumption
    • A61B5/0833Measuring rate of oxygen consumption
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/22Ergometry; Measuring muscular strength or the force of a muscular blow
    • A61B5/224Measuring muscular strength
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/08Elderly

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Emergency Medicine (AREA)
  • Obesity (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

센서 및 프로세서를 포함하는 노쇠 정도 예측 장치에 의해 수행되는 모션 기반 노쇠 정도 예측 방법으로서, 상기 노쇠 정도 예측 방법은, 상기 센서에 의하여, 피험자의 거리 정보 및 영상 정보를 획득하는 단계, 상기 프로세서에 의하여, 상기 거리 정보 및 상기 영상 정보를 이용하여 상기 피험자의 모션 정보를 추정하는 단계, 상기 프로세서에 의하여, 상기 모션 정보로부터 상기 피험자의 신체 기능 파라미터를 추출하는 단계, 및 상기 프로세서에 의하여, 상기 추출된 신체 기능 파라미터에 기반하여, 상기 피험자의 노쇠 정도를 예측하는 단계를 포함하고, 상기 센서는 상기 거리 정보를 획득하기 위한 단일의 거리 센서 및 상기 영상 정보를 획득하기 위한 단일의 이미지 센서를 포함하는 모션 기반 노쇠 정도 예측 방법이 제공된다.

Description

모션 기반 노쇠 정도 예측 방법, 장치 및 시스템{METHOD FOR PREDICTING FRAILTY INDEX BASED ON HUMAN MOTION, AND APPARATUS AND SYSTEM THEREFOR}
본 발명은 모션 기반 노쇠 정도 예측 방법, 장치 및 시스템에 관한 것으로, 보다 구체적으로는 단일의 거리 센서 및 단일의 이미지 센서를 이용하여 피험자의 거리 정보 및 영상 정보를 획득하고, 상기 거리 정보 및 상기 영상 정보로부터 추정되는 모션 정보에 기반하여 피험자의 노쇠 정도를 예측하는 방법, 장치 및 시스템에 관한 것이다.
대다수의 임상 현장에서는 초시계나 줄자 등 고전적인 도구를 이용한 목측 방식에 기반하여 피험자의 신체 기능을 평가하고 있다. 목측 방식은 비교적 저렴하고 익히기 쉽다는 장점은 있으나, 획득할 수 있는 정보가 제한적이고, 노동 집약적이며, 검사 결과의 편차가 크다는 문제가 있다.
이와 같은 문제를 해결하기 위하여, 보행 분석계 또는 마커(marker) 기반의 모션 캡처 기기 등을 이용한 신체 기능 평가 방식이 제안되었다. 하지만, 신체 기능 평가는 피험자의 보행, 균형, 근력 등 신체 전반에 대한 복합적인 기능 테스트(functional test)가 필수적인데 반하여, 기존의 기기들은 여전히 단편적인 정보만을 획득할 수 밖에 없다는 문제가 있다. 예를 들어, 보행 분석계는 피험자의 보행 정보만을 획득할 수 있을 뿐이다. 또한, 모션 캡처 기기는, 피험자의 신체 전반의 움직임 정보를 획득할 수는 있지만, 측정 환경이 제한적이고(다수의 적외선 카메라가 설치된 실험실이 필수적임), 피험자의 신체 부위에 마커를 부착해야 하며(불편함과 더불어 피험자의 자연스러운 움직임 유도를 방해함), 측정 전후 별도의 실험 환경을 셋팅해야 하고, 별도의 데이터 분석 과정이 필요하므로 실시간성을 확보할 수 없고 무엇보다 일반적인 임상 환경에서 사용하기 어려운 문제가 있다.
이에 따라, 수동 측정의 한계를 극복하고 정밀하고 정량적인 분석이 가능한, 자동화된 신체 기능 평가 기기 및 방법이 요구된다.
본 명세서에서는, 거리 센서 및 이미지 센서를 이용하여 피험자의 모션 정보를 추정하고 이에 기반한 모션 기반 노쇠 정도 예측 방법 및 장치가 제공된다. 또한, 피험자의 노쇠 정도를 예측하기 위한 시스템이 제공된다. 또한, 노쇠 정도 예측 방법을 실행하기 위한 프로그램, 및 상기 프로그램이 기록된 저장 매체가 제공된다.
본 발명의 실시예들에 따른 모션 기반 노쇠 정도 예측 방법은, 센서 및 프로세서를 포함하는 노쇠 정도 예측 장치에 의해 수행되고, 상기 센서에 의하여, 피험자의 거리 정보 및 영상 정보를 획득하는 단계; 상기 프로세서에 의하여, 상기 거리 정보 및 상기 영상 정보를 이용하여 상기 피험자의 모션 정보를 추정하는 단계; 상기 프로세서에 의하여, 상기 모션 정보로부터 상기 피험자의 신체 기능 파라미터를 추출하는 단계; 및 상기 프로세서에 의하여, 상기 추출된 신체 기능 파라미터에 기반하여, 상기 피험자의 노쇠 정도를 예측하는 단계를 포함하고, 상기 센서는 상기 거리 정보를 획득하기 위한 단일의 거리 센서 및 상기 영상 정보를 획득하기 위한 단일의 이미지 센서를 포함할 수 있다.
일 실시예에서, 상기 거리 정보는 상기 영상 정보를 이용하여 업샘플링될 수 있다.
일 실시예에서, 상기 거리 정보는, 상기 거리 정보 및 상기 영상 정보를 입력으로 하여 인공신경망을 실행함으로써 업샘플링될 수 있다.
일 실시예에서, 상기 인공신경망에는 슈퍼-해상도(super-resolution) 인공신경망 기법이 적용될 수 있다.
일 실시예에서, 상기 모션 정보는 상기 피험자의 신체에 대한 절대적 거리 정보를 포함할 수 있다.
일 실시예에서, 상기 모션 정보를 추정하는 단계는, 상기 거리 정보 및 상기 영상 정보를 입력으로 하여 심층 신경망(deep neural network)을 실행함으로써 수행될 수 있다.
일 실시예에서, 상기 신체 기능 파라미터를 추출하는 단계는, 상기 피험자의 동작 상황을 분류하는 단계; 및 상기 분류된 피험자의 동작 상황에 기초하여, 상기 모션 정보로부터 상기 신체 기능 파라미터를 추출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 신체 기능 파라미터는, 상기 피험자의 보행 속도(gait speed), 균형 유지 시간(balance time), 앉았다 일어서기 시간(sit-to-stand time), TUG(timed-up-and-go) 시간 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 피험자의 동작 상황을 분류하는 단계는, 사용자 입력 또는 액션 인지(action recognition) 인공신경망에 기반하여 수행될 수 있다.
일 실시예에서, 상기 단일의 거리 센서는, ToF 센서(Time of Flight Sensor) 또는 라이다(LiDAR) 센서를 포함할 수 있다.
일 실시예에서, 상기 모션 정보는, 상기 피험자의 자세(pose) 및 형상(shape) 중 적어도 하나에 관한 정보를 포함할 수 있다.
일 실시예에서, 상기 신체 기능 파라미터의 종류는, 상기 피험자의 동작 상황에 따라 달라질 수 있다.
일 실시예에서, 상기 노쇠 정도 예측 방법의 각 단계가 컴퓨터에 의하여 수행되도록 하는 명령들을 포함하는 컴퓨터 프로그램 제품이 제공된다.
또한, 본 발명의 실시예들에 따른 노쇠 정도 예측 장치는, 피험자의 거리 정보를 검출하는 단일의 거리 센서; 상기 피험자의 영상 정보를 검출하는 단일의 이미지 센서; 및 상기 피험자의 노쇠 정도를 예측하는 프로세서를 포함하고, 상기 프로세서는, 상기 거리 정보 및 상기 영상 정보를 이용하여 상기 피험자의 모션 정보를 추정하고, 상기 모션 정보로부터 상기 피험자의 신체 기능 파라미터를 추출하며, 상기 추출된 신체 기능 파라미터에 기반하여 상기 피험자의 노쇠 정도를 예측할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 영상 정보를 이용하여 상기 거리 정보를 업샘플링할 수 있다.
일 실시예에서, 상기 거리 정보는, 상기 거리 정보 및 상기 영상 정보를 입력으로 하여 인공신경망을 실행함으로써 업샘플링될 수 있다.
일 실시예에서, 인공신경망에는 슈퍼-해상도(super-resolution) 인공신경망 기법이 적용될 수 있다.
일 실시예에서, 상기 모션 정보는 상기 피험자의 신체에 대한 절대적 거리 정보를 포함할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 거리 정보 및 상기 영상 정보를 입력으로 하여 심층 신경망(deep neural network)을 실행함으로써 상기 모션 정보를 추정할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 피험자의 동작 상황을 분류하고, 상기 분류된 피험자의 동작 상황에 기초하여 상기 모션 정보를 추정할 수 있다.
일 실시예에서, 상기 신체 기능 파라미터는, 상기 피험자의 보행 속도(gait speed), 균형 유지 시간(balance time), 앉았다 일어서기 시간(sit-to-stand time), TUG(timed-up-and-go) 시간 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 피험자의 동작 상황은, 사용자 입력 또는 액션 인지(action recognition) 인공신경망에 기반하여 분류될 수 있다.
일 실시예에서, 상기 단일의 거리 센서는, ToF 센서(Time of Flight Sensor) 또는 라이다(LiDAR) 센서를 포함할 수 있다.
일 실시예에서, 상기 모션 정보는, 상기 피험자의 자세(pose) 및 형상(shape) 중 적어도 하나에 관한 정보를 포함할 수 있다.
일 실시예에서, 상기 신체 기능 파라미터의 종류는, 상기 피험자의 동작 상황에 따라 달라질 수 있다.
본 개시에서 제공되는 노쇠 정도 예측 방법에 따라, 피험자의 노쇠 정도가 간편하고 효율적으로 예측될 수 있다.
도 1은 본 발명의 일 실시예에 따른 노쇠 정도 예측 장치를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 노쇠 정도 예측 장치 내의 프로세서를 나타내는 도면이다.
도 3은 신체 기능 파라미터들을 추출하는 구체적인 일 실시예를 나타낸다.
도 4a 및 도 4b는 각각 실제 나이와 보행 속도, 보행 속도와 노쇠 정도의 관계를 나타낸 2차원 그래프이다.
도 5는 카플란-마이어 분석(Kaplan-Meier analysis)에 의한 특정 보행 속도 그룹의 생존 확률 그래프를 나타낸다.
도 6은 한국 지역사회 거주 노인에서 성별에 따른 보행 속도의 분포도를 나타낸다.
도 7은 보행 속도와 다른 측정 값을 같이 이용하여, 노쇠 정도를 예측하는 그래프를 나타낸다.
도 8은 신체 기능 파라미터에 의한 노쇠 정도 예측 민감도와 특이도를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 노쇠 정도 예측 방법을 나타내는 흐름도이다.
이하의 설명에 있어서, 다른 도면에 기재되어 있지 않은 한, 동일한 요소에는 동일한 도면 부호가 사용되고, 중복되는 설명은 생략된다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은, 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예들에 대해 구체적으로 설명하기로 한다.
본 명세서에서, 노쇠 정도(frailty index)는 피험자의 노쇠 상태를 나타내는 지표를 의미할 수 있다. 노쇠 정도는 개인이 가지고 있는 노쇠와 관련된 증상을 노쇠와 관련된 증상들의 총 수로 나눈 비율을 나타낼 수 있다. 따라서, 노쇠와 관련된 증상이 전혀 없을 경우, 노쇠 정도는 0 일 수 있고, 반대로 노쇠와 관련된 증상이 전부 나타날 경우, 노쇠 정도는 1 일 수 있다. 즉, 노쇠 정도가 높을수록 피험자의 신체 기능이 나쁜 상태라는 것을 의미할 수 있다. 노쇠 정도를 예측하기 위해 사용되는 노쇠와 관련된 증상들의 수 및 종류는 사용자에 의해 조절될 수 있다. 실시 예에 따라, 노쇠 정도는 상기 비율에 따라 0부터 N 사이의 값으로 결정될 수 있다. 여기서 N은 자연수일 수 있다.
본 명세서에서, 코호트(cohort)는 통계상의 특정 인자를 공유하는 집단을 의미할 수 있다. 코호트 연구를 이용하여, 특정 인자에 노출된 집단과 노출되지 않은 집단을 비교함으로써, 특정 인자에 따른 연구 대상 질병의 발생률 등을 추적할 수 있다. 예를 들어, 코호트 연구를 이용하여, 보행 속도 또는 노쇠 정도에 따라 분류된 집단의 생존률 등을 추적할 수 있다.
이하, 첨부된 도면을 참조하여, 본 발명의 실시예들에 따른 노쇠 정도 예측 장치에 대하여 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 노쇠 정도 예측 장치를 나타내는 도면이다.
도 1을 참조하면, 노쇠 정도 예측 장치(100)는, 디스플레이(110), 메모리(130), 센서(150), 프로세서(170) 및 통신 인터페이스(190)를 포함할 수 있다. 실시예에 따라, 노쇠 정도 예측 장치(100)는 피험자(OBJ)의 신체 기능(physical performance)을 평가하고 노쇠 정도를 예측하는데 필요한 추가적인 구성을 더 포함할 수 있다.
디스플레이(110)는 피험자(OBJ)의 모션 정보, 신체 기능 평가 결과, 노쇠 정도 예측 결과 등을 표시하는 출력 인터페이스 기능을 수행할 수 있다. 여기서, 모션 정보는 피험자(OBJ)의 자세(pose)나 형상(shape)에 관한 신체 정보를 포함할 수 있다. 일 예에서, 모션 정보는 센서(150)를 통해 획득되는 피험자(OBJ)의 거리 정보 및 영상 정보를 입력으로 하여 인공신경망(Artificial Neural Network: ANN)을 실행함으로써 추정될 수 있다. 신체 기능 평가 결과는, 피험자(OBJ)의 모션 정보로부터 추출되는 적어도 하나의 신체 기능 파라미터(physical performance parameter)를 포함할 수 있다. 예를 들어, 신체 기능 평가 결과는, 피험자(OBJ)의 보행 속도(gait speed), 균형 유지 시간(balance time), 앉았다 일어서기 시간(sit-to-stand time), 및 TUG(timed-up-and-go) 시간 중 적어도 하나를 포함할 수 있다. 노쇠 정도 예측 결과는, 피험자(OBJ)의 신체 기능 파라미터로부터 예측되는 노쇠 정도(frailty index), 생체 나이(physiological age), 근감소증(sarcopenia), 및 낙상 위험도(fall-risk) 중 적어도 하나를 포함할 수 있다.
일 예에서, 디스플레이(110)는 터치스크린 패널로 구현되어 입력 인터페이스 기능을 수행할 수도 있다. 예를 들어, 사용자는 디스플레이(110)를 통해 피험자(OBJ)의 나이, 성별, 질병 유무 등의 인적 사항을 입력할 수 있다. 또한, 사용자는 디스플레이(110)를 통해 신체 기능 평가 및 노쇠 정도 예측을 위한 장치 설정 정보를 입력할 수 있다.
메모리(130)는 노쇠 정도 예측 장치(100)의 동작에 필요한 각종 데이터를 저장할 수 있다. 예를 들어, 메모리(130)는 노쇠 정도 예측 장치(100)를 구동하기 위한 동작 프로그램을 저장할 수 있다. 또한, 메모리(130)는 피험자(OBJ)의 신체 정보를 나타내는 센싱 데이터와 피험자(OBJ)의 신체 정보에 기초하여 획득되는 신체 기능 평가 결과 및 노쇠 정도 예측 결과에 관한 데이터를 저장할 수 있다. 일 예에서, 메모리(130)는 NAND 플래시 메모리 등과 같은 비휘발성 메모리 및 DRAM 등과 같은 휘발성 메모리 중 적어도 하나를 포함할 수 있다.
센서(150)는 피험자(OBJ)의 거리 정보 및 영상 정보를 획득할 수 있다. 일 예에서, 센서(150)에 대하여 소정의 유효 검출 영역(EDA)이 설정될 수 있다. 이 경우, 센서(150)는 유효 검출 영역(EDA) 내에서 피험자(OBJ)의 거리 정보 및 영상 정보를 획득할 수 있다. 유효 검출 영역(EDA)은 센서(150)의 사양(specification)에 따라 결정되는 소정의 범위 내에서 사용자에 의해 조절될 수 있다.
센서(150)는 거리 센서(151) 및 이미지 센서(152)를 포함할 수 있다.
거리 센서(151)는, 초음파, 적외선, 레이저 등과 같은 다양한 파형의 검사파를 출력하고, 피험자(OBJ)에 의해 반사된 검사파를 감지함으로써, 관측점으로부터 피험자(OBJ)까지의 거리 및 방향에 관한 거리 정보를 획득할 수 있다. 일 예에서, 거리 센서(151)는 ToF 센서(Time of Flight Sensor), 초음파 센서, 구조형 광 센서(Structured Light Sensor), 적외선 센서 및 라이다(LiDAR) 센서 중 적어도 하나를 포함할 수 있다.
이미지 센서(152)는 광원으로부터 출력되어 피험자(OBJ)에 의해 반사된 광 신호를 감지함으로써, 피험자(OBJ)의 영상 정보를 획득할 수 있다. 본 명세서에서, 이미지 센서(152)는 컬러 카메라라고 지칭될 수도 있다. 일 예에서, 이미지 센서(152)는 광원, 픽셀 어레이 및 광 감지 회로를 포함할 수 있다. 광원은 특정 대역 파장의 광 신호를 출력하는 복수의 발광 소자들(예를 들어, VCSEL(Vertical Cavity Surface Emitting Laser), LED 등)을 포함할 수 있다. 픽셀 어레이는 복수의 픽셀들을 포함하며, 각각의 픽셀은 복수의 광 감지 소자들(예를 들어, 포토 다이오드 등) 및 컬러 필터(예를 들어, RGB 필터)를 포함할 수 있다.
일 예에서, 센서(150)는 단일의 거리 센서 및 단일의 이미지 센서를 포함하는 단일 카메라 구조를 가질 수 있다. 또한, 거리 센서(151) 및 이미지 센서(152)는 하나의 모듈로서 통합적으로 구현될 수 있으므로, 센서 설치를 위한 별도의 시험 공간을 확보할 필요가 없고, 컴팩트 폼 팩터(compact form factor)를 달성할 수 있다는 이점이 있다.
프로세서(170)는 노쇠 정도 예측 장치(100)의 전반적인 동작을 제어할 수 있다. 또한, 프로세서(170)는 센서(150)에 의해 획득되는 피험자(OBJ)의 신체 정보에 기초하여 피험자(OBJ)의 신체 기능을 평가하고 노쇠 정도를 예측할 수 있다. 예를 들어, 프로세서(170)는 센서(150)에 의해 획득되는 피험자(OBJ)의 거리 정보 및 영상 정보에 기초하여, 피험자(OBJ)의 자세나 형상 등과 같은 모션 정보를 획득할 수 있다. 프로세서(170)는 획득된 모션 정보로부터 피험자(OBJ)의 신체 기능 파라미터를 추출하고, 추출된 신체 기능 파라미터에 기초하여 피험자(OBJ)의 노쇠 정도를 예측할 수 있다.
한편, 거리 센서(151)에 의해 획득되는 거리 정보는 피험자(OBJ)의 모션 정보를 추출하기에는 부족한 데이터량을 가질 수 있다. 따라서, 일 실시예에서, 프로세서(170)는, 거리 센서(151)에 의해 획득되는 거리 정보와 이미지 센서(152)에 의해 획득되는 영상 정보를 인공신경망(ANN)을 이용하여 융합(fusion)함으로써, 피험자(OBJ)의 거리 정보를 업샘플링할 수 있다. 여기서, 인공신경망(ANN)은 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 또는 GAN(Generative Adversarial Network)을 포함할 수 있고, 프로세서(170) 내부에 구현되거나, 또는 프로세서(170) 외부에 별도의 프로세서로서 구현될 수 있다.
통신 인터페이스(190)는 외부 장치와 데이터를 송수신하는 통신 기능을 수행할 수 있다. 예를 들어, 피험자(OBJ)의 거리 정보 및 영상 정보는 통신 인터페이스(190)를 통해 외부 장치로 송수신될 수 있다. 또한, 거리 정보 및 영상 정보에 기반하여 획득되는, 피험자(OBJ)의 신체 기능 파라미터 추출 결과 또는 노쇠 정도 예측 결과는 통신 인터페이스(190)를 통해 외부 장치로 송수신될 수 있다. 또한, 노쇠 정도 예측 장치(100)의 사용자 정보 및 각종 기기 설정 값들은 통신 인터페이스(190)를 통해 외부 장치로 송수신될 수 있다.
이상, 노쇠 정도 예측 장치(100)는 센서(150)에 의해 획득되는 피험자(OBJ)의 거리 정보 및 영상 정보로부터 피험자(OBJ)의 신체 기능 파라미터를 추출하고, 추출된 신체 기능 파라미터에 기초하여 노쇠 정도를 예측할 수 있다. 일 예에서, 센서(150)는 단일의 거리 센서(151) 및 단일의 이미지 센서(152)를 포함하는 단일 카메라 구조를 가질 수 있다. 또한, 일 예에서, 프로세서(170)는 거리 센서(151)에 의해 획득되는 피험자(OBJ)의 거리 정보를 이미지 센서(152)에 의해 획득되는 영상 정보를 이용하여 업샘플링할 수 있다.
도 2는 본 발명의 일 실시예에 따른 노쇠 정도 예측 장치 내의 프로세스의 구성을 나타내는 도면이다.
도 2를 참조하면, 프로세서(200)는 모션 정보 추정부(210), 신체 기능 파라미터 추출부(230) 및 노쇠 정도 예측부(250)를 포함할 수 있다.
모션 정보 추정부(210)는 거리 센서에 의해 획득되는 거리 정보 및 이미지 센서에 의해 획득되는 영상 정보에 기반하여, 피험자의 자세(pose)나 형상(shape)에 관한 모션 정보를 추정할 수 있다.
도 1을 참조하여 전술한 바와 같이, 거리 센서에 의해 획득되는 거리 정보는 피험자의 모션 정보를 추출하기에는 부족한 데이터량을 가질 수 있다. 예를 들어 ToF 카메라나 라이다 센서에 의해 획득되는 거리 정보는 데이터가 희소(sparse)하다는 특징을 갖는다. 따라서, 거리 센서에 의해 획득되는 거리 정보만으로는, 피험자의 자세나 형상과 같은 모션 정보를 정확하게 추정하는 것은 매우 어려울 수 있다. 이에 반해, 이미지 센서에 의해 획득되는 영상 정보는, 거리 정보를 포함하지는 않지만, 거리 센서에 의해 획득되는 거리 정보에 비하여 데이터가 밀집(dense)하다는 특징을 갖는다. 따라서, 일 실시예에서, 프로세서(200)는 피험자의 영상 정보를 이용하여 피험자의 거리 정보를 업샘플링할 수 있다. 예를 들어, 프로세서(200)는 인공신경망을 기반으로 거리 정보 및 영상 정보를 융합(fusion)함으로써, 거리 정보를 업샘플링할 수 있다. 이 경우, 저해상도의 거리 정보 및 고해상도 영상 정보를 입력으로 하여 고해상도의 거리 정보를 출력하기 위하여, 슈퍼-해상도(super-resolution) 인공신경망 기법이 적용될 수 있다.
모션 정보 추정부(210)는 인공신경망을 이용하여 피험자의 모션 정보를 추정할 수 있다. 예를 들어, 모션 정보 추정부(210)는 피험자의 거리 정보 및 영상 정보를 입력으로 하여 DNN(Deep Neural Network)을 실행함으로써, 피험자의 모션 정보를 추정할 수 있다.
모션 정보 추정부(210)는 기존의 경우와 달리 피험자의 영상 정보에 더하여 거리 정보까지 함께 이용하여 피험자의 모션 정보를 추정함으로써, 추정 결과의 정확도 및 신뢰도를 보다 향상시킬 수 있다.
또한, 기존의 경우 상대적 거리 정보를 포함하는 모션 정보를 추정할 수 있는 데 반하여, 모션 정보 추정부(210)는 절대적 거리 정보를 포함하는 모션 정보를 추정할 수 있다. 이에 따라, 다양한 신체 기능 파라미터들 중에서 피험자의 절대적 거리 정보가 필수적으로 요구되는 파라미터, 예를 들어, 보행 속도 등에 기반하여 피험자의 노쇠 정도를 예측할 수 있게 된다. 구체적으로, 모션 정보 추정부(210)는 피험자의 자세 및 형상 추정에 특화된 심층신경망(DNN) 모델을 이용하여 피험자의 거리 정보 및 영상 정보로부터 피험자의 신체 키포인트를 검출하고, 검출된 신체 키포인트에 대한 절대 좌표를 추정할 수 있다. 즉, 기존의 2D/3D 자세 추정기들이 피험자의 상대 좌표만을 출력할 수 있는 것과 달리, 모션 정보 추정부(210)는 심층신경망(DNN) 모델을 이용하여 피험자의 절대 좌표를 출력할 수 있으므로, 피험자의 보행 속도 등과 같은 모션 정보가 필요한 신체 기능 파라미터들에 대해서도 본 발명의 실시예들이 적용될 수 있다.
한편, 일 예에서, 모션 정보를 추정하기 위한 인공신경망은 거리 정보를 업샘플링하기 위한 인공신경망과 서로 다른 네트워크를 구성할 수 있다.
신체 기능 파라미터 추출부(230)는 모션 정보 추정부(210)에 의해 획득되는 모션 정보로부터 피험자의 다양한 신체기능 파라미터들(physical performance parameters)을 추출할 수 있다. 예를 들어, 신체 기능 파라미터 추출부(230)는 피험자의 보행 속도(gait speed), 균형 유지 시간(balance time), 앉았다 일어서기 시간(sit-to-stand time), TUG(timed-up-and-go) time 등을 추출할 수 있다.
피험자의 신체기능 파라미터를 추출하기 위하여, 신체 기능 파라미터 추출부(230)는 일차적으로 검사 상황을 인지하고 분류하는 작업을 수행할 수 있다. 예를 들어, 신체 기능 파라미터 추출부(230)는 현재 검사 상황이 피험자의 보행 상황인지, 앉았다 일어서기 상황인지 또는 균형 유지 상황인지 여부 등을 인지하고 분류할 수 있다. 검사 상황 인지 및 분류 작업은 사용자 입력 또는 액션 인지(action recognition) 인공신경망을 이용하여 수행될 수 있다. 여기서, 액션 인지 인공신경망이란 입력된 영상(즉, 피험자의 모션 정보) 내에서, 서로 다른 액션들을 식별할 수 있는 네트워크를 의미할 수 있다. 액션 인지 인공신경망의 경우, 입력된 영상으로부터 공간적인 특성과 시간적인 특성을 각각 추출한 후, 공간적인 특성과 시간적인 특성을 융합(fusion)한 결과값을 출력할 수 있다.
신체 기능 파라미터 추출부(230)는, 검사 상황을 인지한 이후, 현재 검사 상황에서 획득하고자 하는 피험자의 신체 기능 파라미터를 모션 정보로부터 추출할 수 있다. 모션 정보로부터 신체 기능 파라미터를 추출하는 방법은 검사 상황이나 획득하고자 하는 파라미터의 종류에 따라 다양하게 결정될 수 있다. 예를 들어, 도 3을 참조하면, 피험자의 보행 검사 상황에서 보행 파라미터를 추출하기 위하여, 신체 기능 파라미터 추출부(230)는, 모션 정보 내의 좌/우 발목 키포인트 시공간 정보로부터 피험자의 보행 궤적을 실시간 모사하고, 상기 보행 궤적에 기반하여 피험자의 보행 속도, 분속수 등을 추출할 수 있다.
노쇠 정도 예측부(250)는 신체 기능 파라미터 추출부(230)로부터 획득되는 피험자의 신체 기능 파라미터들에 기반하여 피험자의 노쇠 정도를 예측할 수 있다. 또한, 노쇠 정도 예측부(250)는 노쇠 정도(frailty index) 이외에도, 피험자의 생체 나이(physiological age), 근감소증(sarcopenia) 정도, 또는 낙상 위험도(fall-risk) 등을 정량적으로 예측할 수 있다.
일 예에서, 노쇠 정도 예측부(250)는, 임상 연구 등을 통해 획득되는 소정의 회기식을 이용하여 피험자의 노쇠 정도를 예측할 수 있다. 다른 예에서, 노쇠 정도 예측부(250)는, 임상 연구 결과 데이터에 기반하여 기계 학습(machine learning)을 수행함으로써 획득되는 소정의 학습 모델을 이용하여 피험자의 노쇠 정도를 예측할 수 있다.
도 4a 및 도 4b는 각각 실제 나이와 보행 속도, 보행 속도와 노쇠 정도의 관계를 나타낸 2차원 그래프이다. 도 4a와 도 4b의 그래프는 통계적 데이터의 선형 회귀 분석을 통해 획득된 것으로, 보행 속도와 피험자의 생리학적 나이 및 노쇠 정도 간의 관계가 선형 함수의 형태로 표현되어 있다.
도 4a의 x축은 평균 보행 속도를 m/s 단위로 나타낸다. 그리고 도 4a의 y축은 실제 나이를 나타낸다. 도 4a에 따르면, 피험자의 실제 나이가 증가할수록 평균 보행 속도가 감소함을 알 수 있다. 따라서, 보행 속도가 노쇠와 연관성이 있음을 알 수 있다.
도 4b의 x축은 평균 보행 속도를 m/s 단위로 나타낸다. 그리고 도 4b의 y축은 노쇠 정도를 나타낸다. 도 4b에 따르면, 피험자의 노쇠 정도가 증가할수록 평균 보행 속도가 감소함을 알 수 있다. 따라서 보행 속도가 노쇠와 연관성이 있음을 알 수 있다.
결과적으로, 도 4a와 도 4b를 참조하면, 보행 속도의 측정을 통해, 피험자의 생리학적 나이 및 노쇠 정도를 추정할 수 있다.
도 5는 카플란-마이어 분석(Kaplan-Meier analysis)에 의한 특정 보행 속도 그룹의 생존 확률 그래프를 나타낸다. 카플란-마이어 분석이란, 특정 조건을 가진 사람들의 시간에 따른 생존 확률을 나타내며, 충분히 큰 샘플 크기의 인구집단을 긴 시간 동안 관측함으로써 획득될 수 있다.
도 5의 x축은 총 코호트 참가자 중 생존자의 비율을 나타내고, y축은 측정 기간을 나타낸다. 도 5에 의하면, 코흐트 참가자들을 보행 속도에 따라 4가지 그룹(510, 520, 530, 540)으로 나누고, 각 그룹마다 기간에 따른 사망자를 관측한 결과가 표시되어 있다. 보행속도 최하위 그룹(540)의 생존자 비율의 하락폭이 가장 크며, 보행 속도 최상위 그룹(510)의 생존자 비율의 하락폭이 제일 작다. 즉, 보행 속도가 빠른 그룹일수록 시계열 관찰에서 생존률이 높음을 알 수 있다.
결과적으로, 도 5를 참조하면, 보행 속도의 측정을 통해, 피험자의 생존 확률을 예측할 수 있다.
이하 표 1에 따르면, 보행 속도과 강한 연관성이 있는 항목들이 나열되어 있다. 인구집단 전체를 중앙값보다 빠르게 걷는 참여자(고속도 보행자)와 중앙값보다 느리게 걷는 참여자(저속도 보행자)로 구분하는 경우, 통계적으로 유의하게 다중이환(multimorbidity), 악력(grip strength), 신체기능(SPPB), 노쇠 정도(K-FRAIL 및 CHS frailty score), 일상생활 및 도구적 일상생활 수행력(ADL, IADL), 우울, 인지, 다약제 사용(polypharmacy) 낙상력 등에서 차이가 관찰됨을 알 수 있다. 즉, 노쇠 진단 대상자의 보행 속도를 측정함으로써 피험자의 건강 상태를 유추할 수 있다.
항목 저속도 보행자 고속도 보행자 P 값
multimorbidity (n) 310.00 221.00 < 0.001
Dominant grip strength (mean, sd) 19.92 24.90 < 0.001
SPPB score (mean, sd) 6.61 9.37 < 0.001
K-FRAIL score (mean, sd) 1.63 0.93 < 0.001
CHS score (mean, sd) 2.39 1.25 < 0.001
ADL disability (n, %) 125.00 56.00 < 0.001
IADL disability (n, %) 294.00 150.00 < 0.001
Depression (n, %) 102.00 34.00 < 0.001
Cognitive dysfunction (n, %) 270.00 125.00 < 0.001
Polypharmacy (n, %) 193.00 113.00 < 0.001
Fall history for previous 1 year (mean, sd) 0.33 0.16 0.001
도 6은 한국 지역사회 거주 노인에서 성별에 따른 보행 속도의 분포도를 나타낸다. 도 6의 좌측 그래프는 남성의 보행속도 분포도를 나타낸다. 그리고 도 6의 우측 그래프는 여성의 보행속도 분포도를 나타낸다. 남성과 여성은 보행 속도 분포에서 차이가 있기 때문에, 피험자의 생리적 나이를 측정함에 있어서, 보행속도와 더불어 피험자의 성별이 고려될 필요가 있다.
도 7은 보행 속도와 다른 측정 값을 같이 이용하여, 노쇠 정도를 예측하는 그래프를 나타낸다. 도 7에서는 보행 속도와 상완근 둘레를 측정하여 보행 속도 파라미터와 상완근 둘레 파라미터를 더한 값과 노쇠 정도의 연관성을 나타낸다. 상완근 둘레 파라미터는 피험자의 근육량과 관계가 있어 노쇠 정도와 밀접한 관련을 가지는 바, 보행 속도와 함께 노쇠 정도를 예측함에 있어서, 중요한 요인이 된다.
도 7의 좌측 그래프에서는 보행 속도 파라미터와 노쇠 정도의 관계를 나타낸다. 상기 좌측 그래프에 의하면, 보행 속도 파라미터가 감소할수록 노쇠 정도가 증가함을 알 수 있다.
도 7의 중간 그래프에서는 상완근 둘레 파라미터와 노쇠 정도의 관계를 나타낸다. 상기 중간 그래프에 의하면, 상완근 둘레 파라미터가 감소할수록 노쇠 정도가 증가함을 알 수 있다.
도 7의 우측 그래프에서는 도 7의 좌측 그래프 및 중간 그래프의 결과에 따라, 보행 속도 파라미터와 상완근 둘레 파라미터에 기초하여 획득된 평가 값과 노쇠 정도의 관계를 나타낸다. 상기 우측 그래프에 의하면 평가 값이 증가할수록 노쇠 정도가 증가함을 알 수 있다. 2가지 이상의 요인을 조합하여 노쇠 정도를 예측할 때, 예측 정확성이 증가할 수 있다. 도 7에서는 보행 속도와 상완근 둘레를 조합하여 획득된 평가 값이 사용되었지만, 다른 요인을 상완근 둘레 대신 사용하거나, 더 추가하여 사용함으로써 노쇠 정도를 예측할 수 있다.
도 8은 신체 기능 파라미터에 의한 노쇠 정도 예측 민감도와 특이도를 나타낸다. 도 8을 참조하면, 그래프 하단 영역의 넓이(AUC)가 0.9보다 큰 것을 통해 신체 기능 파라미터가 노쇠 정도를 매우 효과적으로 예측할 수 있음을 알 수 있다.
도 9는 본 발명의 일 실시예에 따른 노쇠 정도 예측 방법을 나타내는 흐름도이다. 도 9의 노쇠 정도 예측 방법은 도 1을 참조하여 전술한 노쇠 정도 예측 장치(100)에 의하여 수행될 수 있다.
도 9를 참조하면, 노쇠 정도 예측 장치는 센서를 통해 피험자의 거리 정보 및 영상 정보를 획득할 수 있다(S910). 센서는 단일의 거리 센서 및 단일의 이미지 센서를 포함할 수 있다. 거리 센서는, 초음파, 적외선, 레이저 등과 같은 다양한 파형의 검사파를 출력하고, 피험자에 의해 반사된 검사파를 감지함으로써, 관측점으로부터 피험자까지의 거리 및 방향에 관한 거리 정보를 획득할 수 있다. 일 예에서, 거리 센서는 ToF 센서(Time of Flight Sensor), 초음파 센서, 구조형 광 센서(Structured Light Sensor), 적외선 센서 및 라이다(LiDAR) 센서 중 적어도 하나를 포함할 수 있다. 이미지 센서는 광원으로부터 출력되어 피험자에 의해 반사된 광 신호를 감지함으로써, 피험자의 영상 정보를 획득할 수 있다. 본 명세서에서, 이미지 센서는 컬러 카메라라고 지칭될 수도 있다. 일 예에서, 이미지 센서는 광원, 픽셀 어레이 및 광 감지 회로를 포함할 수 있다.
센서는 단일의 거리 센서 및 단일의 이미지 센서를 포함하는 단일 카메라 구조를 가질 수 있다. 또한, 거리 센서 및 이미지 센서를 하나의 모듈로서 통합적으로 구현할 수 있으므로, 센서 설치를 위한 별도의 시험 공간을 확보할 필요가 없고, 컴팩트 폼 팩터(compact form factor)를 달성할 수 있다는 이점이 있다.
노쇠 정도 예측 장치는 피험자의 거리 정보 및 영상 정보를 이용하여 피험자의 자세(pose)나 형상(shape)에 관한 모션 정보를 추정할 수 있다(S920). 예를 들어, 노쇠 정도 예측 장치는 DNN(Deep Neural Network)에 업샘플링된 피험자의 거리 정보 및 영상 정보를 입력하고, DNN을 실행하여 획득되는 출력 값을 피험자의 모션 정보로 추정할 수 있다. 일 실시예에서, 피험자의 거리 정보는, 상기 거리 정보 및 영상 정보를 입력으로 하여 인공신경망을 실행함으로써 업샘플링될 수 있다. 이 경우, 인공신경망에는 거리 정보의 해상도를 높이기 위한 슈퍼-해상도(super-resolution) 인공신경망 기법이 적용될 수 있다.
노쇠 정도 예측 장치는 피험자의 모션 정보로부터 피험자의 다양한 신체 기능 파라미터(physical performance parameter)를 추출할 수 있다(S930). 신체 기능 파라미터는 피험자의 보행 속도(gait speed), 균형 유지 시간(balance time), 앉았다 일어서기 시간(sit-to-stand time), TUG(timed-up-and-go) time 등을 포함할 수 있다. 피험자의 모션 정보로부터 추출되는 신체 기능 파라미터의 종류는 사용자 입력 또는 액션 인지(action recognition) 인공신경망을 이용하여 인지되는 검사 상황에 따라 달라질 수 있다. 예를 들어, 피험자의 보행 검사 상황에서, 모션 정보 내의 좌/우 발목 키포인트 시공간 정보로부터 피험자의 보행 궤적을 실시간 모사하고, 상기 보행 궤적에 기반하여 피험자의 보행 속도, 분속수 등과 같은 보행 파라미터가 추출될 수 있다.
일 예에서, 피험자의 신체 기능 파라미터들을 추출하기 위하여, 상기 모션 정보가 이용될 수도 있다.
노쇠 정도 예측 장치는 피험자의 신체 기능 파라미터들에 기반하여 피험자의 노쇠 정도(frailty index)를 예측할 수 있다(S940). 또한, 노쇠 정도 예측 장치는 노쇠 정도 이외에도, 피험자의 생체 나이(physiological age), 근감소증(sarcopenia), 또는 낙상 위험도(fall-risk) 등을 예측할 수도 있다.
상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
본 발명은 특정한 최상의 실시 예와 관련하여 설명되었지만, 이외에 본 발명에 대체, 변형 및 수정이 적용된 발명들은 전술한 설명에 비추어 당업자에게 명백할 것이다. 즉, 청구범위는 이러한 모든 대체, 변형 및 수정된 발명을 포함하도록 해석한다. 그러므로 이 명세서 및 도면에서 설명한 모든 내용은 예시적이고 비제한적인 의미로 해석해야 한다.

Claims (27)

  1. 센서 및 프로세서를 포함하는 노쇠 정도 예측 장치에 의해 수행되는 모션 기반 노쇠 정도 예측 방법으로서, 상기 모션 기반 노쇠 정도 예측 방법은,
    상기 센서에 의하여, 피험자의 거리 정보 및 영상 정보를 획득하는 단계;
    상기 프로세서에 의하여, 상기 거리 정보 및 상기 영상 정보를 이용하여 상기 피험자의 모션 정보를 추정하는 단계;
    상기 프로세서에 의하여, 상기 모션 정보로부터 상기 피험자의 신체 기능 파라미터를 추출하는 단계; 및
    상기 프로세서에 의하여, 상기 신체 기능 파라미터에 기반하여, 상기 피험자의 노쇠 정도를 예측하는 단계를 포함하고,
    상기 센서는 상기 거리 정보를 획득하기 위한 단일의 거리 센서 및 상기 영상 정보를 획득하기 위한 단일의 이미지 센서를 포함하는
    모션 기반 노쇠 정도 예측 방법.
  2. 제1항에 있어서,
    상기 거리 정보는 상기 영상 정보를 이용하여 업샘플링되는
    모션 기반 노쇠 정도 예측 방법.
  3. 제2항에 있어서,
    상기 거리 정보는, 상기 거리 정보 및 상기 영상 정보를 입력으로 하여 인공신경망을 실행함으로써 업샘플링되는
    모션 기반 노쇠 정도 예측 방법.
  4. 제3항에 있어서,
    상기 인공신경망에는 슈퍼-해상도(super-resolution) 인공신경망 기법이 적용되는
    모션 기반 노쇠 정도 예측 방법.
  5. 제1항에 있어서,
    상기 모션 정보는 상기 피험자의 신체에 관한 절대적 거리 정보를 포함하는
    모션 기반 노쇠 정도 예측 방법.
  6. 제1항에 있어서,
    상기 모션 정보를 추정하는 단계는,
    상기 거리 정보 및 상기 영상 정보를 입력으로 하여 심층 신경망(deep neural network: DNN)을 실행함으로써 수행되는
    모션 기반 노쇠 정도 예측 방법.
  7. 제1항에 있어서,
    상기 신체 기능 파라미터는, 상기 피험자의 보행 속도(gait speed), 균형 유지 시간(balance time), 앉았다 일어서기 시간(sit-to-stand time), TUG(timed-up-and-go) 시간 중 적어도 하나를 포함하는
    모션 기반 노쇠 정도 예측 방법.
  8. 제1항에 있어서,
    상기 신체 기능 파라미터를 추출하는 단계는,
    상기 피험자의 동작 상황을 분류하는 단계; 및
    상기 분류된 피험자의 동작 상황에 기초하여, 상기 모션 정보로부터 상기 신체 기능 파라미터를 추출하는 단계를 포함하는
    모션 기반 노쇠 정도 예측 방법.
  9. 제8항에 있어서,
    상기 피험자의 동작 상황을 분류하는 단계는,
    사용자 입력 또는 액션 인지(action recognition) 인공신경망에 기반하여 수행되는
    모션 기반 노쇠 정도 예측 방법.
  10. 제1항에 있어서,
    상기 단일의 거리 센서는, ToF 센서(Time of Flight Sensor) 또는 라이다(LiDAR) 센서를 포함하는
    모션 기반 노쇠 정도 예측 방법.
  11. 제1항에 있어서,
    상기 모션 정보는, 상기 피험자의 자세(pose) 및 형상(shape) 중 적어도 하나에 관한 정보를 포함하는
    모션 기반 노쇠 정도 예측 방법.
  12. 제1항에 있어서,
    상기 노쇠 정도 예측 단계에서 도출되는 결과는 노쇠 정도(frailty index), 생체 나이(physiological age), 근감소증(sarcopenia), 및 낙상 위험도 (fall-risk) 중 적어도 하나를 포함하는
    모션 기반 노쇠 정도 예측 방법.
  13. 제1항에 있어서,
    상기 신체 기능 파라미터의 종류는 상기 피험자의 동작 상황에 따라 달라지는
    모션 기반 노쇠 정도 예측 방법.
  14. 모션 기반 노쇠 정도 예측 방법을 위한 컴퓨터에 의하여 수행되는 명령들을 포함하는 컴퓨터 프로그램 제품에 있어서,
    상기 모션 기반 노쇠 정도 예측 방법은 센서 및 프로세서를 포함하는 노쇠 정도 예측 장치에 의해 수행되고,
    상기 모션 기반 노쇠 정도 예측 방법은,
    상기 센서에 의하여, 피험자의 거리 정보 및 영상 정보를 획득하는 단계;
    상기 프로세서에 의하여, 상기 거리 정보 및 상기 영상 정보를 이용하여 상기 피험자의 모션 정보를 추정하는 단계;
    상기 프로세서에 의하여, 상기 모션 정보로부터 상기 피험자의 신체 기능 파라미터를 추출하는 단계; 및
    상기 프로세서에 의하여, 상기 신체 기능 파라미터에 기반하여, 상기 피험자의 노쇠 정도를 예측하는 단계를 포함하고,
    상기 센서는 상기 거리 정보를 획득하기 위한 단일의 거리 센서 및 상기 영상 정보를 획득하기 위한 단일의 이미지 센서를 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
  15. 피험자의 거리 정보를 검출하는 단일의 거리 센서;
    상기 피험자의 영상 정보를 검출하는 단일의 이미지 센서; 및
    상기 피험자의 노쇠 정도를 예측하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 거리 정보 및 상기 영상 정보를 이용하여 상기 피험자의 모션 정보를 추정하고,
    상기 모션 정보로부터 상기 피험자의 신체 기능 파라미터를 추출하며,
    상기 추출된 신체 기능 파라미터에 기반하여, 상기 피험자의 노쇠 정도를 예측하는
    모션 기반 노쇠 정도 예측 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 영상 정보를 이용하여 상기 거리 정보를 업샘플링하는
    모션 기반 노쇠 정도 예측 장치.
  17. 제16항에 있어서,
    상기 거리 정보는,
    상기 거리 정보 및 상기 영상 정보를 입력으로 하여 인공신경망을 실행함으로써 업샘플링되는
    모션 기반 노쇠 정도 예측 장치.
  18. 제17항에 있어서,
    상기 인공신경망에는 슈퍼-해상도(super-resolution) 인공신경망 기법이 적용되는
    모션 기반 노쇠 정도 예측 장치.
  19. 제15항에 있어서,
    상기 모션 정보는 상기 피험자의 신체에 대한 절대적 거리 정보를 포함하는
    모션 기반 노쇠 정도 예측 장치.
  20. 제15항에 있어서,
    상기 프로세서는, 상기 거리 정보 및 상기 영상 정보를 입력으로 하여 심층 신경망(deep neural network: DNN)을 실행함으로써, 상기 모션 정보를 추정하는
    모션 기반 노쇠 정도 예측 장치.
  21. 제15항에 있어서,
    상기 신체 기능 파라미터는, 상기 피험자의 보행 속도(gait speed), 균형 유지 시간(balance time), 앉았다 일어서기 시간(sit-to-stand time), TUG(timed-up-and-go) 시간 중 적어도 하나를 포함하는
    모션 기반 노쇠 정도 예측 장치.
  22. 제15항에 있어서,
    상기 신체 기능 파라미터는,
    상기 피험자의 동작 상황을 분류하고,
    상기 분류된 피험자의 동작 상황에 기초하여, 상기 모션 정보로부터 추정되는
    모션 기반 노쇠 정도 예측 장치.
  23. 제22항에 있어서,
    상기 피험자의 동작 상황은, 사용자 입력 또는 액션 인지(action recognition) 인공신경망에 기반하여 분류되는
    모션 기반 노쇠 정도 예측 장치.
  24. 제15항에 있어서,
    상기 단일의 거리 센서는, ToF 센서(Time of Flight Sensor) 또는 라이다(LiDAR) 센서를 포함하는
    모션 기반 노쇠 정도 예측 장치.
  25. 제15항에 있어서,
    상기 모션 정보는, 상기 피험자의 자세(pose) 및 형상(shape) 중 적어도 하나에 관한 정보를 포함하는
    모션 기반 노쇠 정도 예측 장치.
  26. 제15항에 있어서,
    상기 프로세서는, 상기 추출된 신체 기능 파라미터에 기반하여, 상기 피험자의 노쇠 정도, 생체 나이, 근감소증, 및 낙상 위험도 중 적어도 하나를 예측하는 것을 특징으로 하는
    모션 기반 노쇠 정도 예측 장치.
  27. 제15항에 있어서,
    상기 신체 기능 파라미터의 종류는 상기 피험자의 동작 상황에 따라 달라지는
    모션 기반 노쇠 정도 예측 장치.
KR1020200135721A 2019-12-26 2020-10-20 모션 기반 노쇠 정도 예측 방법, 장치 및 시스템 KR102377046B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2020/014342 WO2021132862A1 (ko) 2019-12-26 2020-10-20 모션 기반 심폐 기능 지표 측정기, 노쇠 정도 예측 장치 및 방법
US17/757,971 US20230031995A1 (en) 2019-12-26 2020-10-20 Motion-Based Cardiopulmonary Function Index Measuring Device, and Senescence Degree Prediction Apparatus and Method
KR1020220032909A KR20220041795A (ko) 2020-05-26 2022-03-16 모션 기반 노쇠 정도 예측 방법, 장치 및 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200063186 2020-05-26
KR20200063186 2020-05-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220032909A Division KR20220041795A (ko) 2020-05-26 2022-03-16 모션 기반 노쇠 정도 예측 방법, 장치 및 시스템

Publications (2)

Publication Number Publication Date
KR20210146199A true KR20210146199A (ko) 2021-12-03
KR102377046B1 KR102377046B1 (ko) 2022-03-21

Family

ID=78866585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200135721A KR102377046B1 (ko) 2019-12-26 2020-10-20 모션 기반 노쇠 정도 예측 방법, 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR102377046B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190115978A (ko) * 2018-04-04 2019-10-14 노현철 운동 능력 파라미터들에 기초한 노쇠 정도 측정기
KR20200011818A (ko) * 2018-07-25 2020-02-04 삼성전자주식회사 사용자의 신체 상태를 추정하기 위한 방법 및 디바이스
KR102097033B1 (ko) * 2019-10-16 2020-04-03 주식회사 코탁스 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템
KR102107379B1 (ko) * 2018-03-13 2020-05-07 서울대학교병원 3축 동작측정기를 이용한 노쇠 예측 방법, 3축 동작측정기를 이용한 노쇠 예측 시스템 및 웨어러블 노쇠 예측 장치
KR102108405B1 (ko) * 2019-08-23 2020-05-08 박하연 신체정보, 자세정보 및 관절가동범위 측정 시스템 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102107379B1 (ko) * 2018-03-13 2020-05-07 서울대학교병원 3축 동작측정기를 이용한 노쇠 예측 방법, 3축 동작측정기를 이용한 노쇠 예측 시스템 및 웨어러블 노쇠 예측 장치
KR20190115978A (ko) * 2018-04-04 2019-10-14 노현철 운동 능력 파라미터들에 기초한 노쇠 정도 측정기
KR20200011818A (ko) * 2018-07-25 2020-02-04 삼성전자주식회사 사용자의 신체 상태를 추정하기 위한 방법 및 디바이스
KR102108405B1 (ko) * 2019-08-23 2020-05-08 박하연 신체정보, 자세정보 및 관절가동범위 측정 시스템 및 그 방법
KR102097033B1 (ko) * 2019-10-16 2020-04-03 주식회사 코탁스 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chiba, Azure Kinect DK Thorough solution?, de:code 2019,Microsoft Corp(2019.05.30.)* *
Yurim Seo, Seokju Kang. Current status and latest trends in deep learning-based Super Resolution technology. Broadcasting and Media, Vol. 25, No. 2, pp.7-16(2020.04.)* *

Also Published As

Publication number Publication date
KR102377046B1 (ko) 2022-03-21

Similar Documents

Publication Publication Date Title
KR101977174B1 (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
JP6521845B2 (ja) 心拍に連動する周期的変動の計測装置及び計測方法
JP7470203B2 (ja) 水産養殖における分析及び選別
CN103717124B (zh) 用于获得并处理生物的测量读数的设备与方法
Le et al. Robust hand detection in vehicles
EP3191986A2 (en) Motor task analysis system and method
CN105701331A (zh) 计算机辅助诊断设备和计算机辅助诊断方法
Abobakr et al. Rgb-d fall detection via deep residual convolutional lstm networks
KR20240019185A (ko) 보행 속도에 기초한 노쇠 정도 측정기
KR102377046B1 (ko) 모션 기반 노쇠 정도 예측 방법, 장치 및 시스템
US20230031995A1 (en) Motion-Based Cardiopulmonary Function Index Measuring Device, and Senescence Degree Prediction Apparatus and Method
KR20220041795A (ko) 모션 기반 노쇠 정도 예측 방법, 장치 및 시스템
KR20150133903A (ko) 사용자 그룹의 공간행동 센싱 및 의미분석 시스템
TW202228150A (zh) 情緒指標預測方法與系統
KR102493242B1 (ko) 인공지능 학습을 통해 광용적맥파로부터 대동맥판막협착증 및 기타 심혈관 질환 위험도를 판단하는 방법 및 시스템
Lyons et al. A Kinect-based system for automatic recording of some pigeon behaviors
CN112649955A (zh) 光学成像系统及相关设备、方法和计算机程序
Euprazia et al. A novel action recognition system for smart monitoring of elderly people using Action Pattern Image and Series CNN with transfer learning
Anishchenko et al. A Feasibility Study for Health and Life-Threatening Conditions Recognition via Sensor Fusion Approach
US20230027320A1 (en) Movement Disorder Diagnostics from Video Data Using Body Landmark Tracking
ZHANG et al. Emotion Discrimination of Amusement Based on Three-Dimensional Data of Body Movements
Muheidat Deriving information from spatial sampling floor-based personnel detection system
Leng et al. Fine-grained Human Activity Recognition Using Virtual On-body Acceleration Data
Henry et al. AUTOMATED ANAEMIA DETECTION FROM CONJUNCTIVA IMAGES: A MACHINE LEARNING APPROACH FOR ANDROID APPLICATION
Ramesh The Computerized Classification of Micro-Motions in the Hand using Waveforms from Mobile Phone

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant