KR102570184B1

KR102570184B1 - 보행 영상 기반의 보행 측정 방법 및 이의 장치

Info

Publication number: KR102570184B1
Application number: KR1020200125665A
Authority: KR
Inventors: 정성문; 유호상; 강경훈; 박재찬
Original assignee: 경북대학교 산학협력단; 경북대학교병원
Priority date: 2020-09-28
Filing date: 2020-09-28
Publication date: 2023-08-25
Also published as: KR20220042631A

Abstract

본 발명에 따른 보행 영상 기반의 보행 측정 방법은, 보행 영상 및 보행 검사 결과를 입력 받는 과정; 상기 보행 영상으로부터 대상 환자의 마스크를 생성하고, 상기 보행 검사 결과를 정규화한 정규화 데이터로 가공하는 과정; 상기 대상 환자의 마스크 및 상기 대상 환자의 위치를 예측하는 마스킹 레이어를 이용하여 보행 인자를 산출하고, 상기 보행 인자를 상기 정규화에 적용된 정규화 파라미터로 역변환하여 예측 결과를 산출하는 과정; 및 상기 예측 결과와 상기 보행 검사 결과에 기초하는 평균제곱오차 및 상기 대상 환자의 마스크와 상기 마스킹 레이어와 간의 픽셀단위의 이진 교차엔트로피의 합으로 정의된 오차 함수를 통해 학습된 보행 분석 모델에 기초하여 최종 분석 결과를 출력하는 과정;을 포함할 수 있다.

Description

보행 영상 기반의 보행 측정 방법 및 이의 장치{Apparatus and method for gait measurement based on gait video}

본 발명은 보행 영상 기반의 보행 측정 방법 및 이의 장치에 관한 것으로, 상세하게, 머신 러닝을 바탕으로 보행 영상을 이용하는 보행 측정 방법 및 이의 장치에 관한 것이다.

보행 장애(gait disturbance)는 정상적 보행에 문제가 있는 경우를 총괄하여 지칭하는데, 보행 장애와 대비되는 개념으로서, 정상적 보행은 똑바로 선 자세에서 적당한 보폭을 유지하며 경골의 내측과가 일직선을 이루는 걸음걸이를 특징으로 한다.

보행 장애의 진단과 관련하여, 종래, 환자가 걷는 전체적인 보행양상을 관찰하거나, 환자에게 한 줄을 따라 걷게 하거나, 발뒤꿈치 또는 발가락으로 걷게 하거나, 발뒤꿈치를 모으고 서있게 하는 등의 신경학적 진찰을 통해 보행에 대해 평가함으로써 보행 장애를 일으키는 원인 병변을 파악하나, 최근에는 보행분석을 수행하는 여러 기기들이 개발되어, 보행 분석의 결과를 통해 보행 장애를 진단하고 있다.

대표적인 보행 분석 기기 중에서 적외선 감지를 이용한 3차원 보행 분석 기기가 있다. 3차원 보행 분석 기기는 피측정자에 반사 마커를 부착한 후 12대의 카메라에서 적외선을 쏘아 반사되는 정보를 처리하여 시공간 요소와 운동형상학적 요소 (kinematic parameter)를 계산할 수 있다. 3차원 보행 분석 기기는 정밀한 보행 분석 정보를 산출하며, 3차원으로 시상면(sagittal plane)뿐 아니라 관상면(coronal plane), 횡단면(transverse plane)까지 측정할 수 있어 보행의 입체적인 구조를 모두 관찰할 수 있다. 또 각 관절별 움직임인 운동형상학적 요소를 측정할 수 있다.

하지만 검사를 위해서 반사되는 적외선을 수집하기 위해 최소 6미터의 공간이 필요하며, 마커 부착을 위해 피검사자가 탈의를 해야 하는 불편함이 있다. 또한, 6미터 중 중간의 한 주기의 보행만을 분석할 수 있어 보행의 전반적인 변화를 알기에 어려운 단점이 있다.

이러한 3차원 보행 분석 기기의 단점을 보완하기 위해, 발판에 감지되는 압력을 측정하여 보행과 관련된 시공간 요소를 정량화하는 기기들이 상용화 되어 보편적으로 사용되고 있는데, 가장 대표적인 보행 분석 장치로는 GAITRite (CIR system, lnc. Franklin, PA, USA) 가 있다. GAITRite는 발이 닿는 압력을 측정하여 시공간 요소를 정량화하는 기기로서, 6미터의 센서를 부착한 장판 위를 걷는 방식으로 개발되었으며, 기본적인 시공간 요소를 모두 출력할 수 있다.

한편, GAITRite을 통한 보행 분석에 대한 보완으로서, 보행 영상을 이용한 보행 분석에 대한 필요성이 있으나, 종래, 한국 등록특허 공보 제10-1818129호(2018. 01. 08, 나선 신경망 기법을 이용한 보행자 인식 장치 및 방법)은 보행자를 인식하는 특징만을 개시할 뿐, 보행 분석을 위한 보행 측정은 개시하고 있지 않다.

한국 등록특허공보 제10-1818129호(2018. 01. 08)

전술한 바와 같은 문제를 해결하기 위해, 본 실시예는 보행 영상에서 대상 환자만의 보행 영상을 추출하고, 추출된 영상을 이용하여 보행 분석 장치의 결과에 대해 추정 또는 분석할 수 있는 머신 러닝을 이용한 보행 측정 방법 및 이의 장치를 제공하는 것에 목적이 있다.

상기 목적을 달성하기 위하여 본 발명에 따른 보행 영상 기반의 보행 측정 방법은, 보행 영상 및 보행 검사 결과를 입력 받는 과정; 상기 보행 영상으로부터 대상 환자의 마스크를 생성하고, 상기 보행 검사 결과를 정규화한 정규화 데이터로 가공하는 과정; 상기 대상 환자의 마스크 및 상기 대상 환자의 위치를 예측하는 마스킹 레이어를 이용하여 보행 인자를 산출하고, 상기 보행 인자를 상기 정규화에 적용된 정규화 파라미터로 역변환하여 예측 결과를 산출하는 과정; 및 상기 예측 결과와 상기 보행 검사 결과에 기초하는 평균제곱오차 및 상기 대상 환자의 마스크와 상기 마스킹 레이어와 간의 픽셀단위의 이진 교차엔트로피의 합으로 정의된 오차 함수를 통해 학습된 보행 분석 모델에 기초하여 최종 분석 결과를 출력하는 과정;을 포함할 수 있다.

실시예에 따라, 상기 보행 영상은, 채널 수, 프레임 수, 프레임 높이 및 프레임 폭을 구성으로 하는 4차원 텐서 형태를 포함할 수 있다.

실시예에 따라, 상기 대상 환자의 마스크는, 상기 보행 영상의 영상 프레임에서 가로 방향의 변위에 비해 세로 방향의 변위가 상기 보행 영상에 포함된 객체에 비해 상대적으로 큰 객체를 대상으로 생성될 수 있다.

실시예에 따라, 상기 마스킹 레이어는 상기 대상 환자의 영역이 1, 배경 영역이 0으로 채워진 일련의 이진 이미지를 생성하도록 학습된 결과로서 산출될 수 있다.

또한, 본 발명의 따른 보행 영상 기반의 보행 측정 장치는, 보행 영상 및 보행 검사 결과를 입력 받는 입력부; 및 상기 보행 영상으로부터 대상 환자의 마스크를 생성하고, 상기 보행 검사 결과를 정규화한 정규화 데이터로 가공하고, 상기 대상 환자의 마스크 및 상기 대상 환자의 위치를 예측하는 마스킹 레이어를 이용하여 보행 인자를 산출하고, 상기 보행 인자를 상기 정규화에 적용된 정규화 파라미터로 역변환하여 예측 결과를 산출하며, 상기 예측 결과와 상기 보행 검사 결과에 기초하는 평균제곱오차 및 상기 대상 환자의 마스크와 상기 마스킹 레이어와 간의 픽셀단위의 이진 교차엔트로피의 합으로 정의된 오차 함수를 통해 학습된 보행 분석 모델에 기초하여 최종 분석 결과를 출력시키는 제어부를 포함할 수 있다.

본 발명의 일 실시 예로서 제공되는 보행 영상 기반의 보행 측정 방법 및 이의 장치는 쉽게 취득할 수 있는 보행 영상을 활용하기 때문에, 간편하게 보행 분석 검사를 수행할 수 있으며, 기존 보행 분석 시스템이 지니고 있는 공간적/비용적 측면에서의 제한 사항을 줄일 수 있다.

도 1은 본 발명의 일 실시예에 따른 보행 영상 기반의 보행 측정 장치를 설명하기 위한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 보행 영상 기반의 보행 측정 방법을 설명하기 위한 순서도이다.
도 3는 본 발명의 일 실시예에 따른 보행 영상 기반의 보행 측정 장치에 포함되는 제어부를 설명하기 위한 구성도이다.
도 4은 본 발명의 일 실시예에 따른 보행 영상 기반의 보행 측정 장치에 포함되는 제어부의 동작을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 환자 지역화를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 보행 영상 기반의 보행 측정 장치의 출력화면을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 일 실시예에 따른 보행 영상 기반의 보행 측정 장치의 출력화면을 설명하기 위한 도면이다.
도 8은 본 발명의 또 다른 일 실시예에 따른 보행 영상 기반의 보행 측정 장치의 출력화면을 설명하기 위한 도면이다.

이하, 본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명을 실시하기 위한 구체적인 내용으로서 본 발명의 바람직한 실시 예의 구성과 작용에 대해 구체적으로 설명하기로 한다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

이하, 도면을 참고하여 본 발명의 구체적인 실시 예들에 대해 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 보행 영상 기반의 보행 측정 장치를 설명하기 위한 구성도이며, 도 2는 본 발명의 일 실시예에 따른 보행 영상 기반의 보행 측정 방법을 설명하기 위한 순서도이다.

도 2는 도 1의 보행 영상 기반의 보행 측정 장치에서 수행되는 보행 측정 방법을 설명하는 순서도이기에, 도 1과 함께 설명한다.

본 발명의 일 실시예에 따른, 보행 영상 기반의 보행 측정 장치(100)는 환자의 보행 영상을 분석함으로써 보행 분석 장치를 통해 수집/분석된 보행 분석 정보(또는 "임상 보행 인자"로 지칭될 수 있다)를 추정 또는 비교 확인할 수 있다. 실시예에 따라, 보행 영상 기반의 보행 측정 장치(100)는 대상 환자 영역을 검색하면서 보행 분석 정보를 동시에 추정하도록 학습하는 멀티태스크(Multi-task) 방식을 취함으로써 유연한 특징 추출을 수행할 수 있다. 또한, 보행 영상 기반의 보행 측정 장치는 환자 지역화를 통해 대상 환자 이외의 영역에 의한 영향을 최소화할 수 있다.

도 1 및 도 2를 참조하면, 보행 영상 기반의 보행 측정 장치(100)에 포함되는 입력부(110)는 외부 장치1(140) 또는 외부 장치2(150)로부터 보행 영상 및 보행 분석 정보를 입력 받을 수 있다(S210).

실시예에 따라, 외부 장치1(140)은 카메라와 같이 보행 영상을 생성하는 촬영 장치를 포함할 수 있으며, 바람직하게는 RGB 카메라로 촬영된 대상 환자의 전면 또는 후면이 보이는 보행 영상을 생성할 수 있고, 생성한 보행 영상을 입력부(110)로 전송할 수 있다. 입력부(110)는 보행 영상을 4차원 텐서(채널 수 x 프레임 수 x 프레임 높이 x 프레임 폭) 형태로 변환하여 입력 받을 수 있다.

실시예에 따라, 외부 장치2(150)는 발판에 감지되는 압력을 측정하여 보행과 관련된 시공간 요소를 정량화하여 출력하는 보행 분석 장치일 수 있으며, 예를 들어, GAITRite (CIR system, lnc. Franklin, PA, USA)일 수 있다. GAITRite는 발이 닿는 압력을 측정하여 보행과 관련된 시공간 요소를 정량화하는 장치로서, 6미터 정도의 센서가 부착된 장판 위를 걷는 방식을 통해 시공간 요소를 출력할 수 있다. 실시예에 따라, 시공간적 요소는 보행의 성분으로 입각기(stance phase)와 유각기(swing phase)로 포함할 수 있으며, 한쪽 발뒤꿈치에서 다음 같은 쪽 발뒤꿈치까지를 활보장(stride length), 한쪽발 뒤꿈치에서 다른 쪽 발뒤꿈치까지를 보장(step width), 1분당 발걸음 수를 분속수(cadence), 보폭을 시간으로 나눈 것을 보행속도(walking speed), 두 발이 모두 땅을 지지고 있는 양하지 지지기(double support), 한발만 지지고 있는 것을 단하지 지지기(single support) 등을 포함할 수 있다.

실시예에 따라, 보행 분석 장치는 각 관절의 움직임의 각도를 시상면(sagittal plane)에서 측정하여 수치화한 기록으로 어깨, 팔꿈치, 팔목, 고관절, 슬관절, 발목관절의 각도를 측정할 수 있으며, 그 외에도 운동역학 요소(kinetic parameter)는 발바닥에 전해지는 압력을 측정함으로써 관절에 작용하는 힘과 자세 안정 정도, 보행 중 압력 분포, 보행의 시간 및 거리, 보행의 방향, 속도, 장판을 딛을 때의 압력 등을 측정할 수 있다.

실시예에 따라, 외부 장치1(140) 또는 외부 장치2(150)는 보행 영상 기반의 보행 측정 장치(100)에 직접 유선 또는 무선 통신을 통해 연결될 수 있으며, 간접적으로, 병원 내부 시스템을 통해 보행 영상 또는 보행 분석 정보를 보행 영상 기반의 보행 측정 장치(100)로 전달할 수 있다.

입력부(110)는 보행 영상 또는 보행 분석 정보를 제어부(120)로 전달할 수 있고, 제어부(120)는 보행 영상 또는 보행 분석 정보를 각각 기계학습 모델 학습에 적합한 형태로 데이터를 가공할 수 있다(S220).

보행 영상을 이용한 보행 측정 시, 의료진의 배치는 환자의 움직임만 분석하는데 방해요소로 작용할 수 있고, 보행 영상을 분석하는데 있어서 보행 영상에 환자와 관련 없는 움직임이 포착될 수 있는 문제점이 발생할 수 있다.

실시예에 따라, 환자 지역화는 대상 환자만의 보행 영상을 식별 및 추출하는 과정으로, 보행 측정의 대상인 대상 환자를 검출 및 추적하고 추적경로의 히스토리를 분석하여 사전에 정의된 대상 환자의 패턴을 갖는 대상체를 선별한 뒤, 지역화 된 이미지를 획득하는 일련의 과정을 포함할 수 있다.

실시예에 따라, 제어부(120)는 외부 장치2(150)로부터 전달받은 보행 분석 정보를 그대로 이용하지 않고, 보행 영상을 이용한 예측 결과와의 비교를 위해 보행 분석 정보를 특정 데이터 프레임으로 변환할 수 있다.

실시예에 따라, 제어부(120)는 3차원 구조의 컨볼루션 신경망(3D-CNN, 3D-Convolutional Neural Networks)을 통해 환자 이외 영역에 의한 영향이 적은 추상화된 특징을 추출할 수 있다(S230).

실시예에 따라, 제어부(120)는 다중 퍼셉트론(MLP, multi-layer perceptron 또는 다층 퍼셉트론 또는 다중층 퍼셉트론으로 지칭될 수 있다)을 통해 S230에서 추출된 추상화된 특징에 기초하여 보행 변수를 산출할 수 있다(S240). 제어부(120)는 보행 변수를 산출하기 위해 다중 퍼셉트론을 구성할 수 있다.

실시예에 따라, 제어부(120)는 산출된 보행 변수에 기초하여 보행 분석 모델을 생성할 수 있다(S250). 실시예에 따라, 제어부(120)는 경사 하강법 최적화 알고리즘을 적용하여 보행 분석 모델의 파라미터를 학습할 수 있다.

실시예에 따라, 제어부(120)는 보행 분석 모델에 기초하여 보행 인자 예측 결과를 산출할 수 있고, 제어부(120)는 출력부(130)를 통해 보행 인자 예측 결과를 출력할 수 있다(S260).

도 3는 본 발명의 일 실시예에 따른 보행 영상 기반의 보행 측정 장치에 포함되는 제어부를 설명하기 위한 구성도이며, 도 4은 본 발명의 일 실시예에 따른 보행 영상 기반의 보행 측정 장치에 포함되는 제어부의 동작을 설명하기 위한 순서도이다. 그리고, 도 5는 본 발명의 일 실시예에 따른 환자 지역화를 설명하기 위한 도면이다.

도 4는 도 3에 따른 제어부의 동작을 설명하기 위한 순서도이기에 도 3과 함께 설명한다. 또한, 도 5는 도4에 포함되는 환자 지역화에 대한 구체적인 예시로서 함께 설명한다.

실시예에 따라, 데이터가공부(121)는 입력부(110)로부터 전달 받은 환자의 보행 영상을 4차원 텐서(채널 수 x 프레임 수 x 프레임 높이 x 프레임 폭) 형태로 변환할 수 있다.

실시예에 따라, 데이터가공부(121)는 모델생성부(124)에 의해 산출되는 딥러닝 기반의 보행 분석 모델의 결과값으로 주어질 대상 환자의 보행 인자 예측 결과에 대한 정보 처리 및 보행 분석 장치(GAITRite)에서 수집/분석 된 보행 분석 정보에 대한 정보 처리를 수행할 수 있다.

결과적으로, 데이터가공부(121)는 입력부(110)에서 획득한 보행 영상과 보행 분석 정보를 가공한 데이터를 서로 매칭시킨 데이터 프레임 형태로 데이터를 전처리할 수 있다(S410).

실시예에 따라, 데이터가공부(121)는, 크게, 대상 환자 검출 데이터 처리 과정 및 보행 분석 장치의 보행 인자 데이터 처리 과정을 수행할 수 있다

도 5를 참조하면, 대상 환자 검출 데이터 처리 과정은 환자 지역화로 지칭될 수 있으며, 일 실시예에 따른 데이터가공부(121)는 환자 지역화를 머신러닝, 바람직하게, 딥러닝을 통해 수행할 수 있다.

도 5의 (a)를 참조하면, 데이터가공부(121)는 보행 영상을 적어도 하나의 영상 프레임으로 분할할 수 있다.

도 5의 (b)를 참조하면, 데이터가공부(121)는 사람 검출 알고리즘을 통해 보행 영상의 일부 영상 프레임에서 사람을 식별할 수 있다(S411). 데이터가공부(121)는 사람으로 검출된 검출 박스를 붉은색으로 표시할 수 있다 예를 들어, 데이터가공부(121)는 사람 검출 알고리즘으로서 딥러닝 기반 실시간 다중 객체 검출 알고리즘인, YOLO v3를 사용하여 영상 프레임에서 적어도 한 명 이상의 사람을 식별할 수 있다.

도 5의 (c)를 참조하면, 데이터가공부(121)는 적어도 한 명 이상의 식별된 사람 각각에 대해 검출 박스(detection box)을 생성할 수 있고, 검출 박스는 식별된 사람에 따라 각각 상이한 위치와 크기를 가질 수 있으며, 각 검출 박스에 표시된 숫자는 각 검출 박스를 식별하기 위한 ID 정보(또는 "추적 ID"로 지칭될 수 있다)이다.

데이터가공부(121)는 사람 추적 알고리즘을 통해 적어도 한 명 이상의 식별된 사람을 추적할 수 있다. 예를 들어, 데이터가공부(121)는 사람 추적 알고리즘으로서, 그리디(Greedy) 알고리즘을 이용할 수 있고, IOU(Intersection Over Union)가 특정 값을 초과하는지 여부를 기준으로 인접한 검출 박스를 식별 및 추적할 수 있다. 사람 추적 알고리즘은 적어도 한 개 이상의 검출박스 중 현재 영상 프레임2에서의 사람이 이전 영상 프레임1에서의 사람과 동일한지 여부를 식별할 수 있으며, 사람 추적 알고리즘은 적어도 한 명이 상의 식별된 사람 중 대상 환자를 구별할 수 있다. 각 검출 박스에 표시된 숫자는 연속된 영상 프레임에서의 검출 박스 사이의 시공간적인 겹침(overlap)이 가장 높은 박스에 동일한 숫자로 할당될 수 있다. 영상 프레임에서 사람을 식별하고 추적하는 과정은, 2명 이상의 사람이 식별되는 경우 대상 환자와 그 이외의 사람을 구분하여 대상 환자의 영역을 집중적으로 분석하기 위해 필요한 과정이다.

실시예에 따라, 그리디 알고리즘은 최적해를 구하는 데에 사용되는 근사적인 방법으로, 여러 경우 중 하나를 결정해야 할 때마다 그 순간에 최적이라고 생각되는 것을 선택해 나가는 방식으로 진행하여 최종적인 해답을 산출할 수 있다.

실시예에 따라, 데이터가공부(121)는 겹침 정도를 정량화 하기 위해 영상 프레임 별 검출 박스 집합 간의 IOU(Intersection of Union) 값을 모두 비교하여 가장 가까운 검출 박스를 찾아 숫자를 라벨링할 수 있다. 상세하게, 검출 박스 간의 IOU를 산출하고, 최소한의 임계치를 초과하는 경우, 이전 영상 프레임에서의 숫자를 유지하고, 그렇지 못할 경우 새로운 숫자를 라벨링할 수 있다. 이에 따라, 각 라벨별로 검출 박스의 위치 정보의 히스토리가 그룹지어 질 수 있다.

실시예에 따라, 데이터가공부(121)는 (T-1) 시점에서의 검출 박스와 T 시점에서 가장 가까운 검출 박스 간의 IOU가 특정 임계치를 초과할 경우 (T-1) 시점에서의 박스 객체의 라벨을 유지하고, 그렇지 못할 경우 새로운 숫자의 라벨을 추가하는 방식으로, 검출 박스 즉, 사람을 식별하고 추적할 수 있다.

도 5의 (d)를 참조하면, 데이터가공부(121)는 추적 결과 얻어진 히스토리들 중에서 대상 환자를 선별할 수 있다(S413). 즉, 데이터가공부(121)는 여러 검출 박스의 ID 중에서 대상 환자에 해당하는 ID를 선택하고 환자 영역의 영상을 추출할 수 있다.

대상 환자는 프레임 상에서 x-축(가로) 방향으로의 변위에 비해 y-축(세로) 방향으로의 변위가 다른 사람에 비해 매우 크다'는 사전에 정의된 환자의 패턴에 기반하여, 실시예에 따라, 데이터가공부(121)는 검출 박스의 위치 변화를 비교하여 x축 대비 y축으로 변화가 가장 큰 검출 상자의 ID를 선택할 수 있다. 실시예에 따라, 데이터가공부(121)는 가장 큰 y/x 값을 보이는 히스토리를 대상 환자 또는 대상 환자의 검출 박스로 선정할 수 있으며, 대상 환자 영역의 선택 기준은 다음 수학식1에 따라 결정될 수 있다.

실시예에 따라, 데이터가공부(121)는 대상 환자 히스토리를 파싱하여 이진 이미지를 생성할 수 있고, 각 히스토리에 담긴 검출 박스의 시간별 위치 값을 기준으로 박스 내부의 픽셀을 1로, 외부를 0으로 채워 저장함으로써, 환자 마스크를 생성할 수 있다(S415).

데이터가공부(121)는 대상 환자 영역에 해당하는 추적 ID가 결정되면, 해당 추적 경로의 검출 박스의 위치와 크기를 활용하여 전체 영상에서 환자 영역은 1, 그 외의 영역은 0으로 채운 이진의 환자 마스크를 생성할 수 있다.

도 5의 (e)를 참조하면, 데이터가공부(121)는 영상 프레임 단위의 환자 마스크를 시간 축에 대해 쌓아올려 3차원 마스크를 구성할 수 있고, 이를 딥러닝 모델 학습 시 보행 인자와 함께 예측하도록 학습함으로써 환자 이외의 영역에 의한 영향을 최소화 할 수 있다.

상세하게, 데이터가공부(121)는 보행 인자 추정을 위한 딥러닝 네트워크 각 레이어 내부의 활성화 지도를 환자 영역으로 가이드하기 위한 마스킹(Masking) 레이어로서 환자 마스크를 이용할 수 있다. 마스킹 레이어는 대상 환자 영역이 1, 배경 영역이 0으로 채워진 일련의 이진 이미지를 생성하도록 학습된 결과로서 산출될 수 있다. 이진 이미지는 내부 활성화 지도와 픽셀단위의 곱셈 연산을 통해 대상 환자 영역의 활성화 값을 강화하고 그 이외의 영역의 값은 약화시켜 잡음 요소로 인한 영향을 최소화할 수 있다.

실시예에 따라, 데이터가공부(121)는 보행 분석 장치의 보행 인자 데이터 처리 과정으로서, 보행 인자 데이터를 기 설정된 포맷으로 저장할 수 있다. 예를 들어, 데이터가공부(121)는 보행 검사 결과를 CSV(Comma Separated Values) 포맷으로 저장할 수 있다(S412).

실시예에 따라, 데이터가공부(121)는 저장된 보행 검사 결과를 기 설정된 데이터 프레임으로 변환하여 일괄적으로 분석에 활용할 수 있다. 예를 들어, 데이터가공부(121)는 보행 검사 결과를 판다스(Pandas) 데이터 프레임으로 변환할 수 있다.

실시예에 따라, 데이터가공부(121)는 다양한 단위와 크기를 갖는 복수개의 값을 예측하는 Multi-dimensional regression 문제에 그래디언트 기반 학습 방식을 효과적으로 적용하기 위해 정규화 수행할 수 있다(S414).

실시예에 따라, 특징추출부(122)는 보행 영상의 구조적 특징과 시간적 특징을 동시에 추출하기에 용이한 3차원 구조의 컨볼루션 신경망(3D-Convolutional Neural Networks : 3D-CNN)으로 구성될 수 있다(S421).

실시예에 따라, 특징추출부(122)는 환자의 위치를 나타내는 이진 마스크 이미지를 예측하는 마스킹 레이어의 출력과 내부 활성화 지도 간의 픽셀단위 곱셈 연산을 적용하여 환자 이외의 영역에 의한 영향을 줄일 수 있다(S422).

실시예에 따라, 예측부(123)는 다중 퍼셉트론으로 구성될 수 있으며, 실수(real number) 값을 갖는 정규화 된 보행 인자를 예측할 수 있다(S431).

실시예에 따라, 예측부(123)는 예측 부분의 결과를 보행 분석 장치(GAItRite)의 보행 인자 데이터 처리 과정에서 적용된 정규화 파라미터로 역변환 하여 최종 예측 결과 출력할 수 있다(S432).

실시예에 따라, 모델생성부(124)는 특징추출부(122)와 예측부(123)가 직렬로 연결된 구조를 모델로 정의할 수 있다(S441).

실시예에 따라, 모델생성부(124)는 예측된 마스크와 실제 마스크 간의 오차 및 예측된 보행인자와 실제 보행인자 간의 오차의 합을 오차함수로 정의하고 경사 하강법(Gradient Descent) 최적화 알고리즘(Parameter optimization)을 적용하여, 최적의 모델 파라미터를 학습하여 보행 분석 모델 생성할 수 있다(S442).

실시예에 따라, 모델생성부(124)는 보행 분석 모델의 최종 예측결과와 실제 보행 인자 데이터 간의 평균제곱오차(Mean Squared Error: MSE), 마스킹 레이어의 출력과 환자 마스크 간의 픽셀단위의 이진 교차엔트로피(Binary Cross Entropy : BCE)의 합을 오차함수로 정의할 수 있다.

실시예에 따라, 학습은 오차함수를 최소화하는 과정을 통해 모델 파라미터를 조정하는 과정을 지칭할 수 있다.

실시예에 따라, 모델생성부(124)는 오차함수를 최소화하는 과정과 최적화 알고리즘을 병렬적으로 수행할 수 있다.

실시예에 따라, 오차함수를 최소화하는 과정(gradient descent)을 반복하는 학습은 오차함수의 모델 파라미터에 대한 경사(gradient)를 산출하여, 오차함수를 최소화하기 위한 방향(gradient의 반대방향)으로 모델 파라미터 값을 조정하는 과정을 포함할 수 있으며, 구체적으로 아래 수학식 2에 따라 수행될 수 있다.

실시예에 따라, 최적화 알고리즘은 딥러닝 모델을 구성하는 모델 파라미터를 제외한 파라미터(하이퍼파라미터)의 하이퍼파라미터 최적화를 포함할 수 있다. 최적화 알고리즘의 대상 파라미터의 예로, 학습률(learning rate), 배치사이즈(batch_size), 신경망의 층수(number of layers), 드롭아웃 레이트(dropout rate), 요인 차원(feature dimension) 등이 있다.

실시예에 따라, 출력부(130)는 모델생성부(124)에서 생성된 보행 분석 모델의 보행 인자 예측 결과를 사용자에게 출력할 수 있다.

실시예에 따라 출력부(130)는 검사 일자별 보행 인자 변화 양상, 환자군 별 보행 인자 클러스터 분석 등을 위한 시각화 옵션 제공할 수 있다. 출력부(130)에 의 해 출력된 결과물들은 전문가의 직관적/통계적/수치적인 분석을 위한 도구로 활용될 수 있다.

도 6은 본 발명의 일 실시예에 따른 머신 러닝을 이용한 보행 측정 장치의 출력화면을 설명하기 위한 도면이며, 도 7은 본 발명의 다른 일 실시예에 따른 머신 러닝을 이용한 보행 측정 장치의 출력화면을 설명하기 위한 도면이며, 도 8은 본 발명의 또 다른 일 실시예에 따른 머신 러닝을 이용한 보행 측정 장치의 출력화면을 설명하기 위한 도면이다.

한편, 본 발명의 일 실시 예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다. 다시 말해서, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.

이상에서 대표적인 실시 예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시 예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.

Claims

카메라를 포함하는 제1 외부장치로부터 환자의 전면 또는 후면에 대한 보행 영상을 입력받고, 센서를 포함하는 제2 외부장치로부터 환자의 보행에 따라 측정되는 보행 인자 데이터를 포함하는 보행 분석정보를 입력받는 과정;
상기 보행 영상을 4차원 텐서 형태로 변환하여 제1 데이터 처리를 통해 환자 마스크를 생성하고, 상기 보행 분석정보를 제2 데이터 처리를 통해 정규화하는 과정;
상기 환자의 마스크 및 상기 환자의 위치를 예측하는 마스킹 레이어를 이용하여 보행 인자 데이터를 산출하고, 상기 보행 인자 데이터를 상기 정규화에 적용된 정규화 파라미터로 역변환하여 예측 결과를 산출하는 과정; 및
상기 예측 결과와 상기 보행 인자간 평균제곱오차 및, 상기 마스킹 레이어와 상기 환자의 마스크간 픽셀단위의 이진 교차엔트로피의 합으로 정의된 오차 함수에 경사 하강법 알고리즘을 적용하여 학습된 보행 분석 모델에 기초한 최종 분석 결과를 출력하는 과정을 포함하고,
상기 제1 데이터 처리는,
검출 알고리즘을 통해 상기 보행 영상내 모든 사람의 검출 박스의 위치와 크기를 찾고,
추적 알고리즘을 통해 2명 이상의 사람이 검출되는 경우, 환자와 환자를 제외한 사람을 구분하기 위해 보행 영상의 프레임별 검출 박스 집합 간의 IOU(Intersection of Union) 값을 모두 비교하여 가장 가까운 박스 객체를 찾아 라벨링하되, T-1시점에서의 박스 객체와 T시점에서 가장 가까운 박스 객체 간의 IOU가 특정 임계치를 초과할 경우 T-1시점에서의 박스 객체의 라벨을 유지하며 그렇지 못할 경우 새로운 라벨을 추가하고,
상기 보행 영상의 프레임에서 가로 방향의 변위에 비해 세로 방향의 변위가 상기 보행 영상에 포함된 박스 객체에 비해 상대적으로 큰 박스 객체를 환자로 선정 및 파싱하여 이진 이미지를 생성하는 과정이고,
제2 데이터 처리는,
상기 보행 분석정보를 CSV(Comma Separated Values) 포맷으로 저장 및, 특정 데이터 프레임으로 변환하여 정규화하는 과정인, 보행 영상 기반의 보행 측정 방법.
삭제
제 1 항에 있어서,
상기 마스킹 레이어는 상기 환자의 영역이 1, 배경 영역이 0으로 채워진 일련의 이진 이미지를 생성하도록 학습된 결과로서 산출되는,
보행 영상 기반의 보행 측정 방법.
카메라를 포함하는 제1 외부장치로부터 환자의 전면 또는 후면에 대한 보행 영상을 입력받고, 센서를 포함하는 제2 외부장치로부터 환자의 보행에 따라 측정되는 보행 인자 데이터를 포함하는 보행 분석정보를 입력받는 입력부;
상기 보행 영상을 4차원 텐서 형태로 변환하여 제1 데이터 처리를 통해 환자 마스크를 생성하고, 상기 보행 분석정보를 제2 데이터 처리를 통해 정규화하는 데이터가공부;
상기 환자의 마스크 및 상기 환자의 위치를 예측하는 마스킹 레이어를 이용하여 보행 인자 데이터를 산출하고, 상기 보행 인자 데이터를 상기 정규화에 적용된 정규화 파라미터로 역변환하여 예측 결과를 산출하는 예측부;
상기 예측 결과와 상기 보행 인자간 평균제곱오차 및, 상기 마스킹 레이어와 상기 환자의 마스크간 픽셀단위의 이진 교차엔트로피의 합으로 정의된 오차 함수에 경사 하강법 알고리즘을 적용하는 모델생성부; 및
학습된 보행 분석 모델에 기초한 최종 분석 결과를 출력하는 출력부를 포함하고,
상기 제1 데이터 처리는,
검출 알고리즘을 통해 상기 보행 영상내 모든 사람의 검출 박스의 위치와 크기를 찾고,
추적 알고리즘을 통해 2명 이상의 사람이 검출되는 경우, 환자와 환자를 제외한 사람을 구분하기 위해 보행 영상의 프레임별 검출 박스 집합 간의 IOU(Intersection of Union) 값을 모두 비교하여 가장 가까운 박스 객체를 찾아 라벨링하되, T-1시점에서의 박스 객체와 T시점에서 가장 가까운 박스 객체 간의 IOU가 특정 임계치를 초과할 경우 T-1시점에서의 박스 객체의 라벨을 유지하며 그렇지 못할 경우 새로운 라벨을 추가하고,
상기 보행 영상의 프레임에서 가로 방향의 변위에 비해 세로 방향의 변위가 상기 보행 영상에 포함된 박스 객체에 비해 상대적으로 큰 박스 객체를 환자로 선정 및 파싱하여 이진 이미지를 생성하는 과정이고,
제2 데이터 처리는,
상기 보행 분석정보를 CSV(Comma Separated Values) 포맷으로 저장 및, 특정 데이터 프레임으로 변환하여 정규화하는 과정인, 보행 영상 기반의 보행 측정 장치.
삭제
제 4 항에 있어서,
상기 마스킹 레이어는 상기 환자의 영역이 1, 배경 영역이 0으로 채워진 일련의 이진 이미지를 생성하도록 학습된 결과로서 산출되는,
보행 영상 기반의 보행 측정 장치.