KR20230053828A

KR20230053828A - 영상 데이터에 기초한 근력 예측 데이터 생성 방법 및 장치

Info

Publication number: KR20230053828A
Application number: KR1020210137078A
Authority: KR
Inventors: 유현석; 배은경
Original assignee: 주식회사 리모
Priority date: 2021-10-15
Filing date: 2021-10-15
Publication date: 2023-04-24
Also published as: KR102694471B1

Abstract

영상 데이터에 기초한 근력 예측 데이터 생성 방법 및 장치가 제공된다. 본 발명의 몇몇 실시예에 따른 근력 예측 데이터 생성 방법은 예측 대상자에 의해 수행된 적어도 하나의 타겟 동작에 대한 영상을 포함하는 모션 데이터 및 예측 대상자의 신체 데이터를 획득하는 단계 및 모션 데이터 및 신체 데이터에 기초하여 타겟 부위의 근력 예측 데이터를 생성하는 단계를 포함하되, 근력 예측 데이터를 생성하는 단계는 모션 데이터에서 관절 좌표를 추출하여 3차원 골격 데이터를 생성하는 단계, 3차원 골격 데이터를 분석하여 모션 분석 데이터를 생성하는 단계, 신체 학습 데이터, 모션 분석 학습 데이터 및 근력 예측 학습 데이터를 데이터 세트로 사용하여 근력 예측 모델을 학습하는 단계 및 모션 분석 데이터 및 신체 데이터에 기초하여, 학습된 근력 예측 모델을 이용하여 근력 예측 데이터를 생성하는 단계를 포함하고, 모션 분석 데이터는 관절 좌표의 각속도 변화, 각 가속도 변화, 위상 변화 중 적어도 하나의 정보를 포함할 수 있다.

Description

영상 데이터에 기초한 근력 예측 데이터 생성 방법 및 장치{Method and apparatus for generating muscle strength prediction data based on image data}

본 발명은 영상 데이터에 기초한 근력 예측 데이터 생성 방법 및 장치에 관한 것으로, 더욱 상세하게는 인공지능 기반의 복수의 학습 모델을 이용하여 3차원 골격 데이터를 생성하고, 모션 분석 데이터를 생성하고, 모션 분석 데이터 및 사용자의 신체 데이터에 기초하여 근력 예측 데이터를 생성하는 방법 및 장치에 관한 것이다.

뇌졸중 등 뇌 질환 발생 후 가장 많이 발생하는 기능적인 제한은 보행 기능의 저하로, 뇌졸중 발생 후 3개월 내지 6개월까지 보행 기능이 향상되나 그 이후에는 정체기에 접어든다는 연구 결과가 발표되었고, 이에 따라 재활 초기의 보행 재활운동의 중요성이 강조되고 있다.

이러한 보행 재활운동은 각 근육의 활성도, 즉 근력을 향상시키는 것이 중요하고, 종래에는 바이오덱스(biodex) 등 물리적인 근력 측정 장비를 활용하여 근력을 측정하여 근력 향상 재활운동을 진행하였으나, 이러한 물리적인 근력 측정 장비는 고가로서 개인이 구비하기 어려워 병원 등에 방문하여 측정을 해야 하는 한계가 존재한다.

이에, 국내공개특허 제10-2021-0009854호에는 환자의 보행영상을 획득하여 3차원 보행모델을 생성하고, 보행모델이 이상보행에 속하는지 여부를 판단하는 기술이 제안되었으나, 이는 환자의 보행만을 판단하여 환자의 신체정보, 보행특성 등을 반영하지 못하는 한계가 존재하고, 인체 각각의 관절의 움직임을 정확히 반영하지 못해 예측의 정확도가 떨어질 수 있다는 한계가 존재한다.

국내공개특허 제10-2021-0009854호(2021년01월27일 공개)

본 발명이 해결하고자 하는 기술적 과제는 고가의 장치를 이용하지 않고, 개인이 타겟 동작의 영상을 촬영하고, 사용자의 영상 데이터 및 신체 데이터에 기초하여 특정 부위의 근력을 예측하는 방법 및 장치를 제공하는 것이다.

또한, 복수의 학습 모델을 통해 근력 예측 알고리즘을 학습함으로써 정확도 및 동작 특성이 향상된 근력 예측 방법 및 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 근력 예측 데이터 생성 방법은 예측 대상자에 의해 수행된 적어도 하나의 타겟 동작에 대한 영상을 포함하는 모션 데이터 및 예측 대상자의 신체 데이터를 획득하는 단계 및 모션 데이터 및 신체 데이터에 기초하여 타겟 부위의 근력 예측 데이터를 생성하는 단계를 포함할 수 있다.

이 때, 근력 예측 데이터를 생성하는 단계는 모션 데이터에서 관절 좌표를 추출하여 3차원 골격 데이터를 생성하는 단계, 3차원 골격 데이터를 분석하여 모션 분석 데이터를 생성하는 단계, 신체 학습 데이터, 모션 분석 학습 데이터 및 근력 예측 학습 데이터를 데이터 세트로 사용하여 근력 예측 모델을 학습하는 단계 및 모션 분석 데이터 및 신체 데이터에 기초하여, 학습된 근력 예측 모델을 이용하여 근력 예측 데이터를 생성하는 단계를 포함할 수 있다.

이 때, 모션 분석 데이터는 관절 좌표의 각속도 변화, 각 가속도 변화, 위상 변화 중 적어도 하나의 정보를 포함할 수 있다.

몇몇 실시예에 따라, 모션 분석 데이터는 관절 좌표의 각속도 변화, 각 가속도 변화, 위상 변화 중 적어도 하나를 포함하는 속도 분석 데이터와 타겟 동작의 기정의된 구간별 평균 소요시간, 타겟 동작의 총 소요시간, 타겟 동작의 수행 횟수, 타겟 동작의 지속시간 중 적어도 하나를 포함하는 정량 분석 데이터를 포함할 수 있다.

이 때, 근력 예측 데이터를 생성하는 단계는 속도 분석 데이터, 정량 분석 데이터 및 신체 데이터에 기초하여 근력 예측 데이터를 생성할 수 있다.

몇몇 실시예에 따라, 하나의 타겟 부위는 복수의 타겟 동작들과 맵핑되고, 근력 예측 모델을 학습하는 단계는, 하나의 학습 모델이 하나의 타겟 부위에 대한 신체 학습 데이터, 모션 분석 학습 데이터 및 근력 예측 학습 데이터를 데이터 세트로 사용하여 학습할 수 있다.

몇몇 실시예에 따라, 하나의 타겟 부위는 복수의 타겟 동작들과 맵핑되고, 근력 예측 모델을 학습하는 단계는, 하나의 학습 모델이 하나의 타겟 부위 및 하나의 타겟 동작에 대한 신체 학습 데이터, 하나의 타겟 동작에 대한 모션 분석 학습 데이터 및 근력 예측 학습 데이터를 데이터 세트로 사용하여 학습할 수 있다.

몇몇 실시예에 따라, 모션 분석 데이터, 신체 데이터 및 근력 예측 데이터가 맵핑되어 저장되고, 모션 분석 데이터, 신체 데이터 및 근력 예측 데이터가 각각 모션 분석 학습 데이터, 신체 학습 데이터 및 근력 예측 학습 데이터로 사용될 수 있다.

몇몇 실시예에 따라, 신체 데이터 및 신체 학습 데이터 각각은 신체 부위별 예측 무게, 신체 부위별 길이 비율, 신장, 성별, 나이, 체중, 체지방률 중 적어도 하나의 정보를 포함할 수 있다.

몇몇 실시예에 따라, 신체 부위별 예측 무게는 좌측 상지, 우측 상지, 좌측 하지, 우측 하지, 척주(vertebral column) 및 두개(cranium) 중 어느 하나의 부위에 대한 예측 무게를 포함할 수 있다.

몇몇 실시예에 따라, 신체 부위별 길이 비율은 상지의 하박 대비 상박 길이 비율, 하지의 허벅지 대비 종아리 길이 비율 중 적어도 하나의 길이 비율을 포함할 수 있다.

몇몇 실시예에 따라, 모션 데이터는 단일 2차원 영상 데이터, 상이한 위치에서 동시에 촬영된 복수의 영상 데이터 또는 연속되어 촬영된 영상 데이터일 수 있다.

본 발명의 몇몇 실시예에 따른 컴퓨터 프로그램은, 하드웨어와 결합되어 상술한 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

도 1은 본 발명의 몇몇 실시예에 따른 근력 예측 데이터 생성 장치를 설명하기 위한 블록도이다.
도 2 및 도 3은 본 발명의 몇몇 실시예에 따른 근력 예측 데이터 생성 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 몇몇 실시예에 따른 근력 예측 학습부 및 근력 예측 데이터 생성부를 설명하기 위한 도면이다.
도 5는 본 발명의 몇몇 실시예에 따라, 근력 예측 학습부의 학습 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 몇몇 실시예에 따른 근력 예측 데이터 생성 장치의 구동을 설명하기 위한 도면이다.
도 7a는 본 발명의 몇몇 실시예에 따른 신체 데이터를 설명하기 위한 도면이고, 도 7b는 본 발명의 몇몇 실시예에 따른 모션 분석 데이터를 설명하기 위한 도면이다.
도 8은 본 발명의 몇몇 실시예에 따라 타겟 부위와 맵핑되는 타겟 동작을 설명하기 위한 도면이다.
도 9는 본 발명의 몇몇 실시예에 따라 하나의 학습 모델이 하나의 타겟 부위에 대해 학습하는 예를 설명하기 위한 도면이다.
도 10은 본 발명의 몇몇 실시예에 따라 하나의 학습 모델이 하나의 타겟 부위 및 하나의 타겟 동작에 대해 학습하는 예를 설명하기 위한 도면이다.

이하, 본 발명의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.

이하에서, 도 1 내지 도 10을 참조하여 본 발명의 몇몇 실시예에 따른 근력 예측 데이터 생성 방법 및 장치에 대해 설명한다.

도 1은 본 발명의 몇몇 실시예에 따른 근력 예측 데이터 생성 장치를 설명하기 위한 블록도이다.

도 1을 참조하면, 본 발명의 몇몇 실시예에 따른 근력 예측 장치(100)는 외부로부터 모션 데이터(DT_MT) 및 사용자의 신체 데이터(DT_BODY)를 수신하고, 이에 기초하여 생성된 근력 예측 데이터(DT_PRED)를 출력할 수 있다. 예를 들어, 모션 데이터(DT_MT)는 스마트폰, 태블릿 PC 등의 사용자 단말로부터 수신되는 데이터일 수 있다. 다른 예로서, 모션 데이터(DT_MT)는 카메라를 구비한 별도의 하드웨어 장비로부터 획득될 수 있다. 또한, 신체 데이터(DT_BODY)는 상기 사용자 단말 또는 하드웨어 장비로부터 획득하거나, 의료기관 또는 의료 데이터베이스로부터 획득된 정보일 수 있다.

일 실시예에 따른 근력 예측 장치(100)는 뉴럴 네트워크를 생성하거나, 뉴럴 네트워크를 훈련(train)(또는 학습(learn))하거나, 뉴럴 네트워크를 재훈련(retrain)하는 기능들과 같은 다양한 프로세싱 기능들을 갖는 컴퓨팅 디바이스에 해당된다. 예를 들어, 장치(100)는 PC(personal computer), 서버 디바이스, 모바일 디바이스 등의 다양한 종류의 디바이스들로 구현될 수 있다.

도시된 바와 같이, 본 발명의 몇몇 실시예에 따른 장치(100)는 통신부(1000), 메모리(2000), 3차원 좌표 추출부(3000), 모션 분석부(4000), 근력 예측 학습부(5000) 및 근력 예측 데이터 생성부(6000)를 포함할 수 있다.

통신부(1000)는 장치(100)과 사용자 단말 또는 외부 장치와의 통신을 연결할 수 있다. 상기 통신부(1000)는 소정의 근거리 통신 프로토콜(예: Wi-Fi(wireless fidelity), BT(Bluetooth), NFC(near field communication), 소정의 네트워크 통신(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등) 또는 유선 통신 프로토콜(예: USB(universal serial bus), HDMI(high definition multimedia interface) 등)을 지원할 수 있다.

메모리(2000)는 장치(100)의 다른 구성요소들로부터 수신되거나 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 몇몇 실시예에 따라, 메모리(2000)는 프로그램 메모리 및 데이터 메모리들로 구성될 수 있으며, 프로그램 메모리에는 전자 장치(100)의 일반적인 동작을 제어하기 위한 프로그램이 저장된다. 몇몇 실시예에 따라, 메모리(2000)는 CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(Extreme Digital) 및 Memory Stick 등의 외장형 메모리를 더 포함할 수도 있다. 또한, 메모리(2000)는 HDD(Hard Disk Drive) 및 SSD(Solid State Disk) 등과 같은 디스크 저장 장치를 포함할 수도 있다.

몇몇 실시예에 따라, 장치(100)의 3차원 좌표 추출부(3000), 모션 분석부(4000), 근력 예측 학습부(5000) 및 근력 예측 데이터 생성부(6000) 각각은 인공 신경망을 활용하여 학습 및 구동되는 인공지능 학습 모델일 수 있다. 인공 신경망이란 사람의 두뇌가 정보를 처리하는 방식을 모방한 연산 시스템이다.

심층 신경망(Deep Neural Network)은 인공 신경망을 구현하는 하나의 방식으로서, 복수의 레이어(layer)를 포함할 수 있다. 예를 들어, 심층 신경망은 입력 데이터가 인가되는 입력 레이어(Input Layer), 학습을 바탕으로 입력 데이터에 기반한 예측을 통해 도출된 결과 값을 출력하는 출력 레이어(Output Layer) 및 입력 레이어와 출력 레이어 사이에 다중의 은닉 레이어(Hidden Layer)을 포함한다.

심층 신경망은 정보를 처리하기 위해 이용되는 알고리즘에 따라, 컨볼루션 신경망(Convolutional Neural Network), 리커런트 신경망(Recurrent Neural Network) 등으로 분류된다.

인공 신경망을 학습하는 방식을 딥러닝(Deep Learning)이라 하며, 상술한 바와 같이 딥러닝에는 컨볼루션 신경망, 리커런트 신경망 방식과 같이 다양한 알고리즘이 이용될 수 있다.

이 때, 인공 신경망을 학습한다는 것은 계층간 가중치 및 바이어스 또는 인접한 계층 중 서로 다른 레이어에 속하는 복수의 뉴런들간의 가중치 및 바이어스를 결정하고 갱신하는 것을 나타낼 수 있다.

예를 들어, 복수의 계층적 구조 및 복수의 레이어들, 또는, 뉴런들 간의 가중치 및 바이어스를 총칭하여 인공 신경망의 연결성(connectivity)이라 할 수 있다. 따라서, 인공 신경망을 학습한다는 것은 연결성을 구축하고 학습하는 것을 나타낼 수 있다.

3차원 좌표 추출부(3000)는 예측 대상자에 의해 수행된 적어도 하나의 타겟 동작에 대한 영상을 포함하는 모션 데이터(DT_MT)에서 관절 좌표를 추출하여 3차원 골격 데이터(DT_STT)를 생성할 수 있다. 다시 말해서, 3차원 좌표 추출부(3000)는 2차원 영상에서 3차원 좌표의 위치를 추정하는 알고리즘이 적용될 수 있다. 이 때, 3차원 골격 데이터(DT_STT)를 생성하는 방법에는 단일 2차원 영상에서 추출하는 방법, 예측 대상자를 여러 각도(위치)에서 동시에 촬영한 영상을 적용하여 추출하는 방법, 연속된 동영상에서 추정하는 방법 등의 알고리즘을 학습하는 인공지능 모델이 적용될 수 있다. 또한, 추정되는 좌표(key point)는 15개 이상의 좌표로 추출될 수 있다.

모션 분석부(4000)는 3차원 골격 데이터(DT_STT)를 분석하여 모션 분석 데이터(DT_ANLS)를 생성할 수 있다. 이 때, 모션 분석 데이터(DT_ANLS)는 속도 분석 데이터 및 정량 분석 데이터가 포함될 수 있다.

근력 예측 학습부(5000)는 신체 학습 데이터(DT_TN(BODY)) 및 모션 분석 학습 데이터(DT_TN(ANLS))를 입력 데이터로 이용하고, 근력 예측 학습 데이터(DT_TN(PRED))를 출력 데이터로 하는 데이터 세트를 사용하여 근력 예측 모델을 학습할 수 있다.

근력 예측 데이터 생성부(6000)는 근력 예측 학습부(5000)에 의해 학습된 모델을 이용하여, 신체 데이터(DT_BODY) 및 모션 분석 데이터(DT_ANLS)에 기초하여 타겟 부위에 대한 근력 예측 데이터(DT_PRED)를 생성하여 출력할 수 있다.

모션 분석부(4000), 근력 예측 학습부(5000) 및 근력 예측 데이터 생성부(6000)의 동작에 대하여는 도 2 내지 도 10을 참조하여 후술한다.

데이터 버스(7000)는 전술한 장치(100)의 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.

몇몇 실시예에 따라, 3차원 좌표 추출부(3000), 모션 분석부(4000), 근력 예측 학습부(5000) 및 근력 예측 데이터 생성부(6000)는 가공된 뉴럴 네트워크일 수 있다. 또한, 이들은 기능 및 논리적으로 분리될 수 있음을 나타나기 위해 별도로 도면에 표시한 것이며, 물리적으로 반드시 별도의 구성요소이거나 별도의 코드로 구현되는 것을 의미하는 것은 아니다.

도 2 및 도 3은 본 발명의 몇몇 실시예에 따른 근력 예측 데이터 생성 방법을 설명하기 위한 순서도이고, 도 4는 본 발명의 몇몇 실시예에 따른 근력 예측 학습부 및 근력 예측 데이터 생성부를 설명하기 위한 도면이고, 도 5는 본 발명의 몇몇 실시예에 따라, 근력 예측 학습부의 학습 동작을 설명하기 위한 도면이고, 도 6은 본 발명의 몇몇 실시예에 따른 근력 예측 데이터 생성 장치의 구동을 설명하기 위한 도면이고, 도 7a는 본 발명의 몇몇 실시예에 따른 신체 데이터를 설명하기 위한 도면이고, 도 7b는 본 발명의 몇몇 실시예에 따른 모션 분석 데이터를 설명하기 위한 도면이다.

도 2 및 도 3를 참조하면, 본 발명의 몇몇 실시예에 따라, 모션 데이터(DT_MT) 및 신체 데이터(DT_BODY)를 획득하고(S1000), 이에 기초하여 타겟 부위의 근력 예측 데이터(DT_PRED)를 생성할 수 있다(S2000).

몇몇 실시예에 따라, 신체 데이터(DT_BODY)는, 도 7a에 도시된 바와 같이, 예측 대상자의 성별, 나이, 신장, 체중, 체지방률, 신체 부위별 예측 무게, 신체 부위별 길이 비율 중 적어도 하나의 정보를 포함할 수 있다. 예를 들어, 신체 부위별 예측 무게는 좌측 상지, 우측 상지, 좌측 하지, 우측 하지, 척주(vertebral column) 및 두개(cranium) 중 어느 하나의 부위에 대한 예측 무게를 포함할 수 있다. 또한, 신체 부위별 길이 비율은 예측 대상자의 상지의 하박 대비 상박 길이 비율, 하지의 허벅지 대비 종아리 길이 비율 중 적어도 하나의 길이 비율을 포함할 수 있다.

S2100 단계에서, 3차원 좌표 추출부(3000)에서 모션 데이터(DT_MT)에 기초하여 3차원 골격 데이터(DT_STT)를 생성할 수 있다. 이 때, 모션 데이터(DT_MT)는 예측하고자 하는 타겟 부위의 예측에 필요한 적어도 하나의 타겟 동작에 대한 영상을 포함할 수 있다. 3차원 골격 데이터(DT_STT)를 추출하는 동작은 도 1을 참조하여 설명한 3차원 좌표 추출부(3000)의 동작과 동일한 바, 중복되는 설명은 생략하도록 한다.

S2300 단계에서, 모션 분석부(4000)는 3차원 골격 데이터(DT_STT)를 분석하여 모션 분석 데이터(DT_ANLS)를 생성할 수 있다. 도 7b에 도시된 바와 같이, 모션 분석 데이터(DT_ANLS)는 추출된 관절(좌표)의 각속도 변화, 각 가속도 변화, 위상 변화 중 적어도 하나를 포함하는 속도 분석 데이터와, 타겟 동작의 기정의된 구간별 평균 소요시간, 타겟 동작의 총 소요시간, 타겟 동작의 수행 횟수, 타겟 동작의 지속시간 중 적어도 하나를 포함하는 정량 분석 데이터를 포함할 수 있다.

S2500 단계에서, 근력 예측 학습부(5000) 또는 근력 예측 데이터 생성부(6000)는 신체 학습 데이터(DT_TN(BODY)), 모션 분석 학습 데이터(DT_TN(ANLS)) 및 근력 예측 학습 데이터(DT_TN(PRED))를 데이터 세트로 사용하여 근력 예측 모델을 학습할 수 있다.

도 4를 참조하여 설명하면, 근력 예측 학습부(5000)는 주어진 초기 뉴럴 네트워크를 반복적으로 훈련(학습)시킴으로써, 훈련된 뉴럴 네트워크를 생성할 수 있다. 훈련된 뉴럴 네트워크를 생성하는 것은 뉴럴 네트워크 파라미터를 결정하는 것을 의미할 수 있다. 여기서, 파라미터들은 예를 들어 뉴럴 네트워크의 입/출력 액티베이션들, 웨이트들, 바이어스들 등 뉴럴 네트워크에 입/출력되는 다양한 종류의 데이터를 포함할 수 있다. 뉴럴 네트워크의 반복적인 훈련이 진행됨에 따라, 뉴럴 네트워크의 파라미터들은 주어진 입력에 대해 보다 정확한 출력을 연산하기 위해 조정될(tuned) 수 있다.

근력 예측 학습부(5000)는 훈련된 뉴럴 네트워크를 근력 예측 데이터 생성부(6000)로 전달할 수 있다. 근력 예측 데이터 생성부(6000)는 모바일 디바이스, 임베디드(embedded) 디바이스 등에 포함될 수 있다. 근력 예측 데이터 생성부(6000)는 뉴럴 네트워크의 구동을 위한 전용 하드웨어일 수 있다.

근력 예측 데이터 생성부(6000)는 훈련된 뉴럴 네트워크를 그대로 구동하거나, 훈련된 뉴럴 네트워크가 가공(예를 들어, 양자화)된 뉴럴 네트워크를 구동할 수 있다. 가공된 뉴럴 네트워크를 구동하는 근력 예측 데이터 생성부(6000)는, 근력 예측 학습부(5000)와는 별도의 독립적인 디바이스에서 구현될 수 있다. 하지만, 이에 제한되지 않고, 근력 예측 데이터 생성부(6000)는 근력 예측 학습부(5000)와 동일한 디바이스 내에도 구현될 수 있다.

도 5를 참조하여 설명하면, 근력 예측 학습부(5000)는 신체 학습 데이터(DT_TN(BODY)) 및 모션 분석 학습 데이터(DT_TN(ANLS))를 입력 데이터로 하고, 근력 예측 학습 데이터(DT_TN(PRED))를 출력 데이터로 하는 데이터 세트를 이용하여 학습될 수 있다. 몇몇 실시예에 따라, 신체 학습 데이터(DT_TN(BODY)), 모션 분석 학습 데이터(DT_TN(ANLS)) 및 근력 예측 학습 데이터(DT_TN(PRED)) 각각은 본 명세서에서 설명되는 신체 데이터(DT_BODY), 모션 분석 데이터(DT_ANLS) 및 근력 예측 데이터(DT_PRED)에 대응되는 정보를 포함하는 데이터일 수 있다.

몇몇 실시예에 따라, 근력 예측 학습부(5000)는 메모리(2000)로부터 데이터 세트(DTS_1)를 독출하고, 이에 기초하여 학습 모델을 학습시킬 수 있다. 또한, 외부(예를 들어, 사용자 단말, 의료기관 단말 등)로부터 데이터 세트(DTS_2)를 획득하고, 이를 이용하여 학습 모델을 학습시킬 수 있다. 또한, 근력 예측 데이터 생성부(6000)에 의해 생성된 근력 예측 데이터 세트를 이용하여 학습 모델을 학습시킬 수 있음은 물론이다.

S2700 단계에서, 근력 예측 데이터 생성부(6000)는 모션 분석 데이터(DT_ANLS) 및 신체 데이터(DT_BODY)에 기초하여, 근력 예측 데이터(DT_PRED)를 생성할 수 있다.

도 6을 참조하여 설명하면, 모션 분석부(4000)에서 3차원 골격 데이터(DT_STT)를 분석하여 모션 분석 데이터(DT_ANLS)를 생성하고, 근력 예측 데이터 생성부(6000)에서 모션 분석 데이터(DT_ANLS) 및 신체 데이터(DT_BODY)에 기초하여 근력 예측 데이터(DT_PRED)를 생성하여 출력할 수 있다. 이 때, 근력 예측 학습부(5000)에서 학습된 모델(또는, 가공된 모델)을 이용하여 근력 예측 데이터(DT_PRED)를 생성할 수 있다.

도 8은 본 발명의 몇몇 실시예에 따라 타겟 부위와 맵핑되는 타겟 동작을 설명하기 위한 도면이다.

도 8을 참조하면, 본 발명의 몇몇 실시예에 따른 근력 예측 학습부(5000) 및/또는 근력 예측 데이터 생성부(6000)에 적용되는 학습 모델은, 하나의 타겟 부위와 적어도 하나 이상의 타겟 동작들과 맵핑된 데이터를 이용하여 학습될 수 있다. 도시된 바와 같이, 근력을 예측하고자 하는 타겟 부위는 하나 이상의 타겟 동작과 맵핑되어 학습되고, 이에 기초하여 근력 예측 데이터(DT_PRED)가 생성될 수 있다. 예를 들어, 타겟 부위는 대퇴근, 비복근, 상완근, 전완근 등일 수 있다. 또한, 타겟 동작은 저속 보행, 앉았다 일어서기, 한발 서기, 팔굽혀 펴기 등 일 수 있다. 다만, 이러한 타겟 부위 및 타겟 동작은 예시적인 것으로, 적용되는 설정에 따라 모든 부위 또는 모든 동작으로 적용될 수 있음은 물론이다.

도시된 바와 같이, 하나의 타겟 부위의 근력을 예측하는데 사용되는 동작은 복수일 수 있다. 또한, 하나의 타겟 동작은 복수의 타겟 부위의 근력 예측에 사용될 수 있다.

도 9는 본 발명의 몇몇 실시예에 따라 하나의 학습 모델이 하나의 타겟 부위에 대해 학습하는 예를 설명하기 위한 도면이다. 설명의 편의를 위하여, 도 8에 도시된 타겟 부위 및 타겟 동작의 맵핑이 적용된다고 가정한다.

도 9를 참조하면, 본 발명의 몇몇 실시예에 따른 근력 예측 학습부(5000)는 하나의 학습 모델이 하나의 타겟 부위에 대하여 학습될 수 있다. 예를 들어, 동작 1 내지 3이 타겟 동작으로 설정된 타겟 부위 1의 경우, 타겟 부위 1과 타겟 동작 1 내지 3에 대하여 학습되는 학습 모델(Model 1)이 적용될 수 있다. 이 때, 각각의 동작에 대한 가중치(w11, w12, w13)은 서로 같거나 다르게 적용될 수 있다. 다른 예로서, 동작 3 및 4가 타겟 동작으로 설정된 타겟 부위 4의 경우, 타겟 부위 4와 타겟 부위 3 및 4에 대하여 학습되는 학습 모델(Model 4)이 적용될 수 있다.

즉, 타겟 부위 1의 근력을 예측하고자 하는 경우, 외부(예를 들어, 사용자 단말)로부터 동작 1 내지 3에 대한 영상을 포함하는 모션 데이터(DT_MT)를 수신하고, 이에 대한 3차원 골격 데이터(DT_STT)를 생성하고, 각각에 대한 모션 분석 데이터(DT_ANLS)를 생성한 후, 3가지 동작에 대한 모션 분석 데이터(DT_ANLS)에 기초하여 근력 예측 데이터 생성부(6000)에서 타겟 부위 1에 대한 근력 예측 데이터(DT_PRED)를 생성할 수 있다.

다른 예로서, 기정의된 동작에 대한 영상 중 일부만이 수신된 경우, 수신된 동작의 가중치를 변경하여 적용할 수 있다. 이 경우, 일부의 영상이 수신되는 경우에 대한 변경 가중치는 장치(100)의 메모리(2000)에 저장되어 해당 경우에 독출되어 적용될 수 있다.

도 10은 본 발명의 몇몇 실시예에 따라 하나의 학습 모델이 하나의 타겟 부위 및 하나의 타겟 동작에 대해 학습하는 예를 설명하기 위한 도면이다. 설명의 편의를 위하여, 도 8에 도시된 타겟 부위 및 타겟 동작의 맵핑이 적용된다고 가정한다.

도 10을 참조하면, 본 발명의 몇몇 실시예에 따른 근력 예측 학습부(5000)는 하나의 학습 모델이 하나의 타겟 부위 및 하나의 타겟 동작에 대하여 학습될 수 있다. 예를 들어, 동작 1 내지 3이 타겟 동작으로 설정된 타겟 부위 1의 경우, 타겟 부위 1과 타겟 동작 1에 대해 학습하는 학습 모델(Model 11), 타겟 부위 1과 타겟 동작 2에 대해 학습하는 학습 모델(Model 12) 및 타겟 부위 1과 타겟 동작 3에 대해 학습하는 학습 모델(Model 13)이 적용될 수 있다. 몇몇 실시예에 따라, 복수의 근력 예측 학습부(5000)에 포함되는 복수의 학습 모델들의 학습 네트워크는 동일하거나 상이하게 구성될 수 있다.

몇몇 실시예에 따라, 각 부위의 근력 결과 예측은 각 동작에서 예측된 근력 결과를 함께 활용하여 수행될 수 있다. 예를 들어, 타겟 부위 1의 근력은 타겟 동작1, 타겟 동작 2 및 타겟 동작 3에 대해 각각 학습모델(Model 11), 학습모델(Model 12) 및 학습모델(Model 13)로 예측하고, 예측 결과는 평균 또는 각 가중치 곱의 합을 통하여 근력 예측의 정확도를 향상시킬 수 있다.

본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나" 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다.

본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.

본 문서의 다양한 실시 예들은 기기(machine)(예: 장치(100)) 의해 읽을 수 있는 저장 매체(storage medium)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 장치(100)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.

일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

100: 근력 예측 장치 1000: 통신부
2000: 메모리 3000: 3차원 좌표 추출부
4000: 모션 분석부 5000: 근력 예측 학습부
6000: 근력 예측 데이터 생성부 7000: 데이터 버스

Claims

예측 대상자에 의해 수행된 적어도 하나의 타겟 동작에 대한 영상을 포함하는 모션 데이터 및 상기 예측 대상자의 신체 데이터를 획득하는 단계; 및
상기 모션 데이터 및 상기 신체 데이터에 기초하여 타겟 부위의 근력 예측 데이터를 생성하는 단계를 포함하되,
상기 근력 예측 데이터를 생성하는 단계는,
상기 모션 데이터에서 관절 좌표를 추출하여 3차원 골격 데이터를 생성하는 단계;
상기 3차원 골격 데이터를 분석하여 모션 분석 데이터를 생성하는 단계;
신체 학습 데이터, 모션 분석 학습 데이터 및 근력 예측 학습 데이터를 데이터 세트로 사용하여 근력 예측 모델을 학습하는 단계; 및
상기 모션 분석 데이터 및 상기 신체 데이터에 기초하여, 상기 학습된 근력 예측 모델을 이용하여 상기 근력 예측 데이터를 생성하는 단계를 포함하고,
상기 모션 분석 데이터는 상기 관절 좌표의 각속도 변화, 각 가속도 변화, 위상 변화 중 적어도 하나의 정보를 포함하는, 영상 데이터에 기초한 근력 예측 데이터 생성 방법.
청구항 1에 있어서,
상기 모션 분석 데이터는 상기 각속도 변화, 상기 각 가속도 변화, 상기 위상 변화 중 적어도 하나를 포함하는 속도 분석 데이터와, 상기 타겟 동작의 기정의된 구간별 평균 소요시간, 상기 타겟 동작의 총 소요시간, 상기 타겟 동작의 수행 횟수, 상기 타겟 동작의 지속시간 중 적어도 하나를 포함하는 정량 분석 데이터를 포함하고,
상기 근력 예측 데이터를 생성하는 단계는, 상기 속도 분석 데이터, 상기 정량 분석 데이터 및 상기 신체 데이터에 기초하여 상기 근력 예측 데이터를 생성하는, 영상 데이터에 기초한 근력 예측 데이터 생성 방법.
청구항 1에 있어서,
하나의 타겟 부위는 복수의 타겟 동작들과 맵핑되고,
상기 근력 예측 모델을 학습하는 단계는,
하나의 학습 모델이 하나의 타겟 부위에 대한 상기 신체 학습 데이터, 상기 모션 분석 학습 데이터 및 상기 근력 예측 학습 데이터를 데이터 세트로 사용하여 학습하는, 영상 데이터에 기초한 근력 예측 데이터 생성 방법.
청구항 3에 있어서,
하나의 타겟 부위는 복수의 타겟 동작들과 맵핑되고,
상기 근력 예측 모델을 학습하는 단계는,
하나의 학습 모델이 하나의 타겟 부위 및 하나의 타겟 동작에 대한 상기 신체 학습 데이터, 하나의 타겟 동작에 대한 모션 분석 학습 데이터 및 상기 근력 예측 학습 데이터를 데이터 세트로 사용하여 학습하는, 영상 데이터에 기초한 근력 예측 데이터 생성 방법.
청구항 1에 있어서,
상기 모션 분석 데이터, 상기 신체 데이터 및 상기 근력 예측 데이터가 맵핑되어 저장되고,
상기 모션 분석 데이터, 상기 신체 데이터 및 상기 근력 예측 데이터가 각각 상기 모션 분석 학습 데이터, 상기 신체 학습 데이터 및 상기 근력 예측 학습 데이터로 사용되는, 영상 데이터에 기초한 근력 예측 데이터 생성 방법.
청구항 1에 있어서,
상기 신체 데이터 및 상기 신체 학습 데이터 각각은 신체 부위별 예측 무게, 신체 부위별 길이 비율, 신장, 성별, 나이, 체중, 체지방률 중 적어도 하나의 정보를 포함하는, 영상 데이터에 기초한 근력 예측 데이터 생성 방법.
청구항 6에 있어서,
상기 신체 부위별 예측 무게는 좌측 상지, 우측 상지, 좌측 하지, 우측 하지, 척주(vertebral column) 및 두개(cranium) 중 어느 하나의 부위에 대한 예측 무게를 포함하는, 영상 데이터에 기초한 근력 예측 데이터 생성 방법.
청구항 6에 있어서,
상기 신체 부위별 길이 비율은 상지의 하박 대비 상박 길이 비율, 하지의 허벅지 대비 종아리 길이 비율 중 적어도 하나의 길이 비율을 포함하는, 영상 데이터에 기초한 근력 예측 데이터 생성 방법.
청구항 1에 있어서,
상기 모션 데이터는 단일 2차원 영상 데이터, 상이한 위치에서 동시에 촬영된 복수의 영상 데이터 또는 연속되어 촬영된 영상 데이터인, 영상 데이터에 기초한 근력 예측 데이터 생성 방법.
하드웨어와 결합되어 청구항 1 내지 청구항 9 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.