KR102297110B1

KR102297110B1 - 보행 분석 시스템 및 방법

Info

Publication number: KR102297110B1
Application number: KR1020200054386A
Authority: KR
Inventors: 김문상; 이덕원; 이상협; 전국성
Original assignee: 광주과학기술원
Priority date: 2020-05-07
Filing date: 2020-05-07
Publication date: 2021-09-03
Also published as: EP4147637A1; EP4147637A4; WO2021225249A1

Abstract

본 발명의 일 실시예에 따른 보행 분석 시스템은 보행자의 신원을 확인하는 신원확인부; 상기 신원확인부로부터 신원확인 신호에 기초하여 보행자의 보행동작을 좌측, 우측, 정면 중 적어도 하나 이상의 방향에서 촬영한 후, 촬영된 영상들로부터 운동형상학적 정보를 추출하여 제공하는 보행정보 획득부; 촬영된 보행영상들의 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 병합하는 영상병합부; 병합된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 기초로 적어도 하나 이상의 보행 파라미터를 추출한 후, 보행 종류를 분류하는 보행파라미터 추출 및 분류부; 및 상기 적어도 하나 이상의 보행 파라미터가 권장 기준치를 벗어나거나 비정상 보행의 보행 파라미터 범위 내에 포함되는 지 판단하거나 또는 병적 보행으로 분류되는지 판단한 후 보행자 또는 전문가에게 그 결과를 제공하는 보행 결과 통보부를 포함한다.

Description

보행 분석 시스템 및 방법{Systems and methods for analyzing walking behavior}

본 발명은 보행의 이상을 판단하여 전문가가 의학적 소견을 제시하는 데 도움을 줄 수 있는 보행 분석 시스템 및 방법에 관한 것이다.

사람은 일상생활을 하면서 신체 내외부 환경과 특수한 과제에 적합한 최적의 자세 조절을 위해 노력을 하고 있으며, 이러한 자세 균형 조절은 우리가 독립적인 생활을 하는데 있어서 필수적이고 중요한 의미를 갖는다.

특히, 자세 균형 조절 능력 중에서 체중심의 이동은 바로 선 자세뿐만 아니라 여러 일상생활 활동 속에서 흔히 볼 수 있는데, 물건을 들거나 가방을 메고 걸어 갈 때와 같은 상황에서 신체에 가해지는 분하는 자세유지 및 균형 유지에 중대한 영향을 미친다.

물건을 운반할 경우 부하가 너무 무겁거나 잘못된 방법으로 휴대하고 보행을 할 경우, 보행 패턴의 변화로 인해 체중심 이동에 영향을 받게 되는데, 정상적인 보행에서는 체중심이 상하, 좌우, 진행 방향을 따라 규칙적으로 부드럽게 진행하고, 사지의 움직임이 조화롭게 이루어지지만, 가방과 같은 부하를 들거나 메고 보행을 할 경우 체중심의 불규칙적인 이동이 나타난다.

또한, 부하를 운반하는 방식으로 인해 위치가 변화된 체중심선을 기저면 중앙으로 가져와 평형을 유지하고, 전방으로의 진행을 위해 중심선을 더욱더 앞으로 가져와서 균형을 유지하고 보행 에너지 소모를 절약하기 위한 인체의 적응 기전이 나타나게 된다.

보행분석(gait analysis)은 근골격 신경계 질환에 대한 임상에서의 의사결정, 치료 후의 평가, 의지와 보장구의평가 및 여러 생체 역학적인 연구 등에 사용되고 있고, 보행의 여러 측면을 측정하여 포괄적인 평가를 하게 되는데, 운동 형상학적 분석(kinematic analysis), 동적 근전도(dynamic electromyography)및 에너지소비량 측정(energy expenditure measurement)등을 포함한다

일반적으로 보행 패턴 추출장치는 뇌졸중, 뇌성마비 등의 중추신경계 손상으로 인한 보행장애를 겪는 환자의 보행 감각을 회복시키는 재활 훈련용, 혹은 보행 자세 교정을 필요로 하는 사용자의 보행 자세 교정 훈련용 등으로 많이 사용된다.

한편, 종래의 보행 분석 방법의 경우, 부착형 센서(예컨대, 자이로센서, 가속도센서 등의 관성센서)를 몸체 붙여 정보를 획득하고, 매 측정마다 부착형 센서를 붙여야 하므로 일상에서 보행을 분석하는데 한계가 있었다.

또한, 단일 깊이 카메라를 사용하는 보행 분석 방법은 보행 데이터를 획득할 수 있는 범위가 짧고, 신체 부위가 다른 신체 부위에 의해 가려지는 가림현상으로 인하여 가려진 신체부위의 운동형상학적 정보의 정확도가 떨어진다는 제약 사항이 발생되었다.

이에 본 발명은 가림현상으로 인한 신체부위의 운동형상학적 정보의 정확성이 떨어지는 문제점을 해결할 수 있는 보행 분석 시스템 및 방법을 제공하고자 한다.

공개특허공보 제10-2013-0013935호 (2013.02.06.)

본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결할 수 있는 보행 분석 시스템 및 방법을 제공하는 데 그 목적이 있다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 보행 분석 시스템은 보행자의 신원을 확인하는 신원확인부; 상기 신원확인부로부터 신원확인 신호에 기초하여 보행자의 보행동작을 좌측, 우측, 정면 중 적어도 하나 이상의 방향에서 촬영한 후, 촬영된 영상들로부터 운동형상학적 정보를 추출하여 제공하는 보행정보 획득부; 촬영된 보행영상들의 3차원 골격정보 또는 2차원 골격정보 또는 3차원과 2차원 골격정보인 운동형상학적 정보를 병합하여 수집하는 보행정보 수집부; 병합된 운동형상학적 정보를 기초로 적어도 하나 이상의 보행 파라미터를 추출한 후, 추출된 보행파라미터 혹은 연속된 골격정보를 이용하여 보행의 종류를 분류하거나, 기계학습의 입력데이터로 사용하는 보행파라미터 추출 및 분류부; 및 상기 적어도 하나 이상의 보행 파라미터가 권장 기준치를 벗어나거나 비정상 보행의 보행 파라미터 범위 내에 포함되는 지 판단하거나 또는 병적 보행으로 분류되는지 판단한 후, 보행자 또는 전문가에게 그 결과를 제공하는 보행 결과 통보부를 포함하고, 상기 보행정보 획득부는 복수개의 카메라로 보행동작 촬영시 보행로 상에 일정 간격으로 배열된 3개의 축점이 기록된 마커를 인식하고, 상기 3개의 축점을 기초로 촬영된 운동형상학정보들 각각의 3차원 또는 2차원 변환 행렬을 계산하고, 좌표축을 변환시키는 것을 특징으로 한다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 보행 분석 방법은 신원확인부에서 보행자의 신원을 확인하는 신원확인단계; 보행정보 획득부에서 상기 신원확인부로부터 신원확인 신호에 기초하여 보행자의 보행동작을 좌측, 우측, 정면 중 적어도 하나 이상의 방향에서 촬영한 후, 촬영된 영상들로부터 운동형상학적 정보를 추출하여 제공하는 운동형상학적 정보 추출단계; 보행정보 수집부에서 촬영된 보행영상들의 3차원 골격정보 또는 2차원 골격정보 또는 3차원과 2차원 골격정보인 운동형상학적 정보를 병합하는 병합단계; 보행파라미터 추출 및 분류부에서 병합된 운동형상학적 정보를 기초로 적어도 하나 이상의 보행 파라미터를 추출 및 추출된 보행 파라미터 혹은 연속된 골격정보를 이용하여 보행을 분류하거나 기계학습의 입력데이터로 사용하는 보행 파라미터 추출 및 분류단계; 및 보행 결과 통보부에서 상기 적어도 하나 이상의 보행 파라미터 혹은 분류된 보행의 종류를 기초로 보행자의 보행이상을 판단하는 보행이상 판별단계를 포함하고, 상기 운동형상학적 정보 추출단계는 상기 보행정보 획득부에서 복수개의 카메라로 보행동작 촬영시 보행로 또는 연속적인 보행이 가능한 장치 상에 일정 간격으로 배열된 3개의 축점이 기록된 마커를 인식한 후, 상기 3개의 축점을 기초로 촬영된 운동형상학정보들 각각의 3차원 변환 행렬을 계산하고, 좌표축을 변환시키는 단계를 포함한다.

본 발명의 일 실시예에 따른 보행 분석 시스템 및 방법을 이용하면, 보행자의 보폭, 속도, 허리 만곡도, 평균 무릎 굽힘 각도 등에 대한 보행 파라미터를 추출 및 분류하고, 분류된 보행자의 보행동작을 전문가가 의학적 소견을 제시하는 데 도움을 주는 자료로 사용되도록 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 보행 분석 시스템을 나타낸 블록도이다.
도 2는 도 1에 도시된 신원확인부의 구성을 나타낸 일 예시도이다.
도 3은 평행하게 배열된 깊이 카메라로부터 추출된 운동형상항적 정보의 일 예를 나타낸 예시도이다.
도 4은 운동형상학적 정보의 일예를 나타낸 도이다.
도 5는 기계학습모델을 이용하여 연속된 골격 정보에 따른 보행 종류를 분류하는 과정을 나타낸 예시도이다.
도 6은 보행동작 영상 내의 운동형상학적 정보 중 하나인 보행파라미터(보폭)의 변화를 나타낸 표이다.
도 7은 단일 깊이 카메라 및 한쌍의 깊이 카메라로 획득한 골격정보(발목)의 변화를 비교한 표이다.
도 8은 본 발명의 일 실시예에 따른 보행 분석 방법을 설명한 흐름도이다.
도 9는 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시한 도이다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예에 따른 보행 분석 시스템 및 방법을 보다 상세하게 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 보행 분석 시스템을 나타낸 블럭도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 보행 분석 시스템(100)은 신원확인부(110), 보행정보 획득부(120), 보행정보 수집부(130), 보행 파라미터 추출부(140) 및 보행 이상 감지부(150) 및 데이터베이스(160)를 포함한다.

상기 신원확인부(110)는 보행자의 신원을 확인하는 구성일 수 있다. 상기 신원확인부(110)는 보행자의 안면윤곽, 안구정보을 이용하여 신원을 확인하거나 또는 보행자의 안면윤곽, 안구정보와 음성정보(목소리)를 이용하여 확인할 수 있다.

일 예로, 신원확인부(110)가 안구정보를 이용할 경우, 기 설정된 시간동안 조사된 가변광의 밝기에 반응하는 홍재 및 동공 확장정보를 검출하기 위한 광 조사부(110-1), 이미지 획득부(110-2) 및 신원판별부(110-3)로 구성될 수 있다.

광 조사부(110-1)는 기 설정된 시간동안 안구로 가변광을 조사한다. 여기서, 상기 가변광은 특정 문양, 글자, 숫자로 조사되고, 상기 특정 문양, 글자, 숫자는 크기가 가변되는 광일 수 있다.

이미지 획득부(110-2)는 기 설정된 시간동안 수집된 안구의 이미지 내에서 상기 홍채 및 동공 영역을 검출한다.

신원판별부(110-3)는 이미지 획득부(110-2)에서 기 설정된 시간동안 검출된 복수 개의 안구 이미지 프레임들에서 홍채 영역 및 동공 영역을 검출하고, 상기 가변광에 따른 상기 홍채 영역의 색상 가변도를 산출한 후, 색좌표 벡터로 가공처리하고, 상기 가변광에 따른 상기 홍채 영역의 및 동공 영역의 이완 및 수축거리를 검출하고, 상기 가변광에 따른 상기 홍채 영역 내에 투영되어 크기가 가변되는 특정 문양, 글자 또는 숫자의 위치정보를 검출한 후, 색좌표 벡터, 상기 이완 및 수축거리, 상기 위치정보를 2차원 코드로 변환할 수 있다.

신원판별부(110-3)는 변환된 2차원 코드와 기 저장된 보행자의 2차원 코드의 동일성을 판단하여 보행자의 신원을 판별할 수 있다.

다른 일 예로, 신원확인부(110)는 보행자 정보가 QR코드 또는 NFC 태그로 기록된 ID 카드를 식별하여 신원을 확인할 수 있는 리더기일 수 있다.

다음으로, 상기 보행정보 획득부(110)는 단수 또는 복수 개의 2D 또는 깊이(Depth, 3D) 카메라로 구성되며, 복수 개의 카메라를 사용할 경우 2D 또는 깊이 카메라(3D 카메라)들은 보행자의 좌측면 및 우측면을 각각 촬영할 수 있도록 평행하게 일렬로 배치될 수 있다. 따라서, 동일 축상에 2개의 깊이 카메라(3D) 또는 2D 카메라가 마주보도록 매치될 수 있다. 그러나 동일 축상에 2개 이상의 카메라가 위치하는데 한정하지 않고, 측정하고자 하는 공간 상에 무작위로 배치될 수도 있다. 여기서, 깊이(Depth) 카메라는 Kinect, Realsense, Astra 등일 수 있으며, 3차원 공간 정보를 획득할 수 있는 관성 센서 또는 모션 캡쳐 장비도 그 역할을 대신하여 사용할 수 있다.

상기 센서 또는 장비는 보행 중인 보행자의 운동형상학적 정보(2차원 또는 3차원골격 및 관절정보)를 획득한다.

상기 센서 또는 장비에서 제공되는 운동형상학적 정보는 골격좌표 및 골격 신뢰도를 제공할 수 있다.

여기서, 각 깊이(Depth) 카메라는 보행자의 보행이동 경로에 부착된 적어도 하나 이상이 마커 또는 IR 마커 등을 통해 특정 점까지의 깊이 정보를 인식할 수 있다.

또한, 각 깊이(Depth) 카메라는 기 설정된 촬영지점에 위치한 마커에 기록된 축점(좌표축)을 인식한다.

상술한 축점은 후술하는 영상병합부에서 운동형상학적 정보들의 캘리브레이션(병합) 과정시에 사용된다.

또한, 상기 보행정보 획득부(110)는 외부요인으로 인하여 복수 개의 깊이(Depth) 카메라 또는 2D 카메라의 촬영위치가 변화될 경우, 설정된 촬영지점에 구비된 마커의 위치(좌표)를 추적하는 좌표센서를 포함할 수 있다.

다음으로, 보행정보 수집부(130)는 복수 개의 깊이(Depth) 카메라 또는 2D 카메라, 또는 관성 센서나 모션 캡쳐 장비에서 획득한 대상체의 보행에 따른 운동형상학적정보(3차원 및/또는 2차원 골격정보)를 수집한 후, 동일 축 방향에 위치한 깊이 카메라의 운동형상학정보(3차원 및/또는 2차원 골격정보)를 세부분류한 후, 동일 축 지점에 위치한 촬영된 영상으로부터 추출된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 캘리브레이션(병합수정)한다.

여기서, 캘리브레이션(병합수정) 과정은 마커를 통해 얻어지는 3개 또는 그 이상의 축점을 기반으로 각 프레임을 좌표축을 변환하고, 변환된 좌표축의 3차원 및/또는 2차원 행렬을 계산한 후, 복수 개의 영상에서 추출된 운동형상학정보(3차원 및/또는 2차원 골격정보 및 관절정보)를 하나의 좌표축(x, y, z)으로 오버랩하는 과정일 수 있다.

일 예로, 기 설정된 보행로의 좌, 우측에 총 4개의 깊이 카메라가 배치되고, 보행자가 0~8초까지 보행로를 보행했다고 가정할 경우, 1, 2번 깊이 카메라는 0~3초대에 보행한 보행자의 운동형상학정보를 제공하고, 3, 4번 깊이 카메라는 2.5~5.5 대에 보행한 보행자의 운동형상학정보를 제공한다면, (1, 2) (3, 4) 각각 좌/우 운동형상학정보를 병합할 수 있고, (1,3) (2, 4) 앞/뒤의 운동형상학정보를 병합할 수 있다.

다른 예로, 기 설정된 보행로의 일측에 총 4개의 깊이 카메라가 일정 간격으로 배치되고, 보행자가 0~8초까지 보행로를 보행했다고 가정할 경우, 1~4 개의 깊이 카메라에서 시간 별로 촬영된 보행자의 운동형상학정보를 앞 뒤로 병합할 수도 있다.

또한, 상술한 보행로는 일정한 길이를 가지는 실제 공간일 수도 있고, 지속적인 보행이 가능한 런닝 머신 등의 기구일 수도 있다.

다음으로, 보행파라미터 추출 및 분류부(140)는 캘리브레이션된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 보행 파라미터를 추출한 후, 추출된 보행파라미터 혹은 연속된 골격정보를 이용하여 보행의 종류를 분류하거나, 기계학습의 입력데이터로 사용하는 구성일 수 있다.

여기서, 보행파라미터 추출 및 분류부(140)는 추출된 보행 파라미터 혹은 연속된 골격 정보를 기계학습 모델, 예컨대, 심층신경망(CNN, RNN), K-NN, K-MEANS, RANDOM FOREST 등의 알고리즘을 이용하여 보행의 종류, 예컨대, 정상 보행(Normal Gait), 진통성 보행(Antlgic Gait), 관절 이상 관련 보행(Arthrogenic Gait), 전방 정강이 근육 약화로 인한 보행(Steppage Gait), 대둔근의 약화로 인한 보행(Lurching Gait), 중둔근의 약화로 인한 보행(Trendelenburg Gait), 병적 보행(Pathological Gait) 중 어느 하나로 분류할 수 있다. 본 발명에서 열거한 보행 종류는 일 예시에 불과하다.

예를 들어, 관절 이상 보행(Arthrogenic Gait)으로 분류된 경우, 발목, 무릎, 또는 골반에 문제가 있을 가능성이 높으므로, 분류된 보행 종류는 전문각가 의학적 소견을 제시할 때 큰 도움을 줄 수 있다. 또한, 병적 보행(Pathological Gait)으로 분류될 경우, 보행자가 병원에 방문할 수 있도록 권유하기 위한 정보로 활용될 수 있다.

또한, 보행 파라미터 추출 및 분류부에서 추출된 보행 파라미터 혹은 연속된 골격 정보는 그 자체만으로도 보행의 이상을 판단하는 척도로 사용할 수 있다. 여기서, 보행 파라미터는 보폭, 속도, 허리만곡도, 왼쪽/오른쪽 무릎각, 발목각 골반뒤틀림각 등일 수 있다.

보행속도는 몸 중심 관절의 이동거리/이동시간으로 산출되고, 보폭은 양 발목의 멈춤 구간 사이의 z 축 방향 거리(Z 축 방향: 보행방향)로 산출되고, 무릎 굽힘 각도는 보행 동안 허벅지 관절-무릎 관절-발목 관절이 이루는 각도의 평균값으로 산출하고, 허리 만곡도는 보행 중 머리-몸 중심을 있는 벡터가 절대 좌표계 상에서 이루는 각도로 산출한다.

상기 보행 결과 통보부(150)는 상기 적어도 하나 이상의 보행 파라미터가 권장 기준치를 벗어나거나 비정상 보행의 보행 파라미터 범위 내에 포함되는 지 판별하거나 또는 병적 보행으로 분류되는지 판단한 후, 보행자 또는 전문가에게 그 결과를 제공한다.

상기 보행 결과 통보부(150)는 보행 파라미터별 권장값을 이용하여 보행자의 보행 이상여부를 판별한다.

상기 보행 결과 통보부(150)는 판별하는 기준으로, ① 보행 파라미터가 권장값으로부터 얼마나 차이가 나는지, ② 보행 파라미터가 평소와 얼마나 달라졌는지, ③ 보행자의 보행이 병적 보행으로 분류되는지(전체 관절 정보 혹은 보행 파라미터를 기계학습모델에 입력하였을 때 분류된 결과가 병적 보행인지 또는 보행 파라미터 자체를 분석하였을 때 병적 보행인지) 등을 기준으로 삼을 수 있다.

예를 들어, “정상 보행”과 “병적 보행”로 2개의 클래스를 나눌 수도 있고, 또는 “정상 보행”, “병적 보행 1”“병적 보행 2”…“병적 보행 n”등과 같이 나눌 수도 있다, 즉, “정상 보행” 범주도 사용자가 원하는 만큼 n개의 클래스로 분류할 수 있으므로, 기준은 상황에 따라 가변될 수 있다.

한편, 보행 결과 통보부(150)는 보행 횟수에 따라 다양한 보행 이상을 판별할 수 있다.

- 한번의 보행으로 판별 가능한 예 -

1)보행 속도의 이상: 나이 대 별 평균 보행 속도와 비교하여 20%이상 차이나면 이상 감지 2)보폭 길이 이상: 권장 보폭 (신장 - 1m) 과 비교하여 20%이상 차이나면 감지 3)좌우 보폭 불균형 감지: 오른발 보폭과 왼발 보폭의 차이가 20cm 이상 차이나면 감지 4) 전후 허리 만곡도: 허리의 전/후 만곡도가 10도 이상이면 감지 5) 좌우 허리 만곡도: 허리의 좌/우 만곡도가 10도 이상이면 감지 6) 보행 분류: 분류된 보행의 종류가 병적 보행이면 이상판별 등일 수 있다.

- 다수의 보행으로 판별가능한 예 -

1) 보행 속도의 이상: 평소에 걷던 보행 속도와 10% 이상 차이가 나거나 점점 감소하는 경우 2) 보폭 길이 이상: 평소에 걷던 보폭과 10% 이상 차이가 나거나 점점 감소하는 경우 3) 좌우 보폭 불균형 감지: 좌우 보폭의 차이가 평소와 10% 이상 차이나거나 점점 증가하는 경우 4) 전후 허리 만곡도: 허리의 전/후 만곡도가 평소와 10% 이상 차이나거나 점점 증가하는 경우 5) 좌우 허리 만곡도: 허리의 좌/우 만곡도가 평소와 10% 이상 차이나거나 점점 증가하는 경우 6) 무릎 굽힘 각도: 무릎 굽힘 각도가 평소와 10% 이상 차이나거나 점점 감소하는 경우 등일 수 있다.

한편, 본원에 개시한 보행정보 수집부(130), 보행 파라미터 추출부(140) 및 보행 결과 통보부(150)는 데이터베이스(160)와 연동될 수 있다.

데이터베이스(160)는 각 구성에서 수집, 추출, 판단한 정보를 저장하고, 기존 저장된 정보를 업로드할 수 있다.

데이터베이스(160)는 오라클(Oracle), MYSQL, MSSQL, 인포믹스(Infomix), 사이베이스(Sybase), DB2와 같은 관계형 데이터베이스 관리 시스템(RDBMS)이나, 겜스톤(Gemston), 오리온(Orion), O2 등과 같은 객체 지향 데이터베이스 관리 시스템(OODBMS) 및 엑셀론(Excelon), 타미노(Tamino), 세카이주(Sekaiju) 등의 XML 전용 데이터베이스(XML Native Database)를 이용하여 본 발명의 목적에 맞게 구현될 수 있도록 필드(field) 또는 엘리먼트를 포함할 수 있다.

각 필드(field) 또는 엘리먼트는 상위 개념 또는 하위 개념의 필드 또는 엘리먼트로 형성될 수 있다.

도 6은 본 발명의 일 실시예에 따른 보행 분석 방법을 설명한 흐름도이다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 보행 분석 방법(S700)은 먼저,

보행자의 신원이 확인(S710)되면, 보행정보 획득부(120)에서 보행영상 내의 보행자의 운동형상학적 정보를 추출(S720)한다.

보행정보 수집부(130)는 단일 또는 복수 개의 깊이(Depth) 카메라 또는 2D 카메라 또는 관성 센서 또는 모션 캡처 장비에서 획득한 대상체의 보행에 따른 운동형상학적정보(3차원 및/또는 2차원 골격정보)를 수집한 후, 동일 축 방향에 위치한 깊이 카메라의 운동형상학정보(3차원 및/또는 2차원 골격정보)를 세부분류한 후, 동일 축 지점에 위치한 촬영된 영상으로부터 추출된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 캘리브레이션(병합수정)(S730)한다.

여기서, 캘리브레이션(병합수정) 과정은 마커를 통해 얻어지 3개의 축점을 기반으로 각 프레임을 좌표축을 변환하고, 변환된 좌표축의 3차원 및/또는 2차원 행렬을 계산한 후, 복수 개의 영상에서 추출된 운동형상학정보(3차원 및/또는 2차원 골격정보 및 관절정보)를 하나의 좌표축(x, y, z)으로 오버랩하는 과정일 수 있다.

한편, S730 과정은 골격의 좌표에 대한 신뢰도를 계산하는 과정 및 좌표의 신뢰도가 기준치 이상인 운동형상학적 정보들만을 이용하여 병합과정을 포함할 수 있다.

이후, S730 과정이 완료되면, 보행파라미터 추출 및 분류부(140)에서 캘리브레이션된 운동형상학적 정보(3차원 및/또는 2차원 골격정보)를 기초로 보행 파라미터를 추출 및 분류(S740)한다.

일 예로, 상기 S740 과정은 추출된 보행파라미터 혹은 연속된 골격정보를 기계학습 모델, 예컨대, 심층신경망(CNN, RNN), K-NN, K-MEANS, RANDOM FOREST 등의 알고리즘을 이용하여 보행 종류, 예컨대, 정상 보행(Normal Gait), 진통성 보행(Antlgic Gait), 관절 이상 관련 보행(Arthrogenic Gait), 전방 전강이 근육 강화로 인한 보행(Steppage Gait), 대둔근의 약화로 인한 보행(Lurching Gait), 중둔근의 약화로 인한 보행(Trendelenburg Gait), 병적 보행(Pathological Gait) 중 어느 하나로 분류하는 과정을 포함한다. 본 발명에서 열거한 보행 종류는 일 예시에 불과하다.

예를 들어, 관절 이상 보행(Arthrogenic Gait)으로 분류된 경우, 발목, 무릎, 또는 골반에 문제가 있을 가능성이 높음으로, 분류된 보행 종류는 전문각가 의학적 소견을 제시할 때 큰 도움을 줄 수 있다. 또한, 병적 보행(Pathological Gait)으로 분류될 경우, 보행자가 병원에 방문할 수 있도록 권유하기 위한 정보로 활용될 수 있다.

또한, 추출된 보행 파라미터 혹은 연속된 골격 정보는 그 자체만으로도 보행의 이상을 판단하는 척도로 사용할 수도 있고, 기계학습 모델의 입력으로 사용할 수도 있다. 여기서, 보행 파라미터는 보행 속도, 보행자의 신장, 보행 중 손의 움직임, 보폭 길이, 전후 허리 만곡도, 좌우 허리 만곡도, 무릎굽힘각, 각 관절의 각도, 입각기 및 유각기의 시간 중 적어도 하나 이상을 포함할 수 있으며, 이에 한정되지는 않는다.

상기 S740 과정이 완료되면, 보행 결과 통보부(150)에서 보행 파라미터를 기초로 보행자의 보행 이상을 판단(S750)한다.

상기 S750 과정은 보행 파라미터별 권장값을 이용하여 보행자의 보행 이상여부를 판별하는 과정으로, 보행 횟수에 따라 다양한 보행 이상을 판별하는 과정이다.

여기서, 상기 S750 과정에서 판별하는 기준으로, ① 보행 파라미터가 권장값으로부터 얼마나 차이가 나는지, ② 보행 파라미터가 평소와 얼마나 달라졌는지, ③ 보행자의 보행이 병적 보행으로 분류되는지(전체 관절 정보 혹은 보행 파라미터를 기계학습모델에 입력하였을 때 분류된 결과가 병적 보행인지 또는 보행 파라미터 자체를 분석하였을 때 병적 보행인지) 등을 기준으로 삼을 수 있다.

- 한번의 보행으로 판별가능한 예 -

1)보행 속도의 이상: 나이 대 별 평균 보행 속도와 비교하여 20%이상 차이나면 이상 감지 2)보폭 길이 이상: 권장 보폭 (신장 - 1m) 과 비교하여 20%이상 차이나면 감지 3)좌우 보폭 불균형 감지: 오른발 보폭과 왼발 보폭의 차이가 20cm 이상 차이나면 감지 4) 전후 허리 만곡도 : 허리의 전/후 만곡도가 10도 이상이면 감지 5) 좌우 허리 만곡도 : 허리의 좌/우 만곡도가 10도 이상이면 감지 6) 보행 분류: 분류된 보행의 종류가 병적 보행이면 이상판별 등일 수 있다.

- 다수의 보행으로 판별가능한 예 -

본 발명의 일 실시예에 따른 보행 분석 시스템 및 방법을 이용하면, 보행자의 보폭, 속도, 허리 만곡도, 평균 무릎 굽힘 각도 등을 보다 정확하게 측정할 수 있고, 이를 토대로, 보행자의 보행동작 이상여부를 판단할 수 있다는 이점이 있다.

도 7은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다. 예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.

컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다. 또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)을 포함할 수 있다.

여기서, 입력 디바이스(들)(1140)은 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)은 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다. 또한, 컴퓨팅 디바이스(1100)는 컴퓨팅 디바이스(1100)가 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다.

여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다. 상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크(1200)에 의해 상호접속될 수도 있다. 본 명세서에서 사용되는 "구성요소", "시스템" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다.

예를 들어, 구성요소는 프로세서상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.

본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.

100: 보행 분석 시스템
110: 신원확인부
110-1: 광조사부
110-2: 이미지 획득부
110-3: 신원판별부
120: 보행정보 획득부
130: 보행정보 수집부
140: 보행파라미터 추출 및 분류부
150: 보행 결과 통보부
160: 데이터베이스

Claims

보행자의 신원을 확인하는 신원확인부;
상기 신원확인부로부터 신원확인 신호에 기초하여 보행자의 보행동작을 좌측, 우측, 정면 중 적어도 하나 이상의 방향에서 촬영한 후, 촬영된 영상들로부터 운동형상학적 정보를 추출하여 제공하는 보행정보 획득부;
촬영된 보행영상들의 3차원 골격정보 또는 2차원 골격정보 또는 3차원과 2차원 골격정보인 운동형상학적 정보를 병합하여 수집하는 보행정보 수집부;
병합된 운동형상학적 정보를 기초로 적어도 하나 이상의 보행 파라미터를 추출한 후, 추출된 보행파라미터 혹은 연속된 골격정보를 이용하여 보행의 종류를 분류하거나, 기계학습의 입력데이터로 사용하는 보행파라미터 추출 및 분류부; 및
상기 적어도 하나 이상의 보행 파라미터가 권장 기준치를 벗어나거나 비정상 보행의 보행 파라미터 범위 내에 포함되는 지 판단하거나 또는 병적 보행으로 분류되는지 판단한 후, 보행자 또는 전문가에게 그 결과를 제공하는 보행 결과 통보부를 포함하고,
상기 보행정보 획득부는
복수개의 카메라로 보행동작 촬영시 보행로 상에 일정 간격으로 배열된 3개의 축점이 기록된 마커를 인식하고, 상기 3개의 축점을 기초로 촬영된 운동형상학정보들 각각의 3차원 또는 2차원 변환 행렬을 계산하고, 좌표축을 변환시키는 보행 분석 시스템.
제1항에 있어서,
상기 보행정보 획득부는 하나 또는 복수 개의 깊이 카메라, 또는 2D 카메라 또는 관성 센서 또는 모션 캡처 장비 등 인체의 공간 형상학적 정보를 추출할 수 있는 장치를 이용하여 보행자의 보행 동작을 촬영하는 것을 특징으로 하는 보행 분석 시스템.
삭제
제1항에 있어서,
상기 보행정보 수집부는
복수개의 카메라로 정보 수집시 상기 운동형상학적 정보(3차원 골격정보 또는 2차원 골격
정보 또는 3차원과 2차원 골격정보)의 3개 또는 그 이상의 축점을 기초로 병합하는 것을 특징으로 하는 보행 분석 시스템.
제4항에 있어서,
상기 보행정보 수집부는
복수개의 카메라로 보행동작 촬영시 동일 시간에 측정된 좌/우 또는 앞/뒤 운동형상학적 정보 중 기준치 이상의 신뢰도를 갖는 운동형상학적 정보를 병합하는 것을 특징으로 하는 보행 분석 시스템.
제5항에 있어서,
상기 보행 파라미터는
보행 속도, 보행자의 신장, 보행 중 손의 움직임, 보폭 길이, 전후 허리 만곡도, 좌우 허리 만곡도, 무릎굽힘각, 각 관절의 각도, 입각기 및 유각기의 시간 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 보행 분석 시스템.
제1항에 있어서,
상기 보행결과 통보부는
상기 적어도 하나 이상의 보행 파라미터가 권장값으로부터 얼마나 차이가 나는지를 기초로 보행 이상을 판별하는 것을 특징으로 하는 보행 분석 시스템.
제7항에 있어서,
상기 보행결과 통보부는
상기 보행 파라미터가 평소와 얼마나 달라졌는지를 기초로 보행 이상을 판별하는 것을 특징으로 하는 보행 분석 시스템.
제1항에 있어서,
상기 보행결과 통보부는
보행자의 보행이 병적 보행으로 분류되는 지를 기초로 보행 이상을 판별하는 것을 특징으로 하는 보행 분석 시스템.
신원확인부에서 보행자의 신원을 확인하는 신원확인단계;
보행정보 획득부에서 상기 신원확인부로부터 신원확인 신호에 기초하여 보행자의 보행동작을 좌측, 우측, 정면 중 적어도 하나 이상의 방향에서 촬영한 후, 촬영된 영상들로부터 운동형상학적 정보를 추출하여 제공하는 운동형상학적 정보 추출단계;
보행정보 수집부에서 촬영된 보행영상들의 3차원 골격정보 또는 2차원 골격정보 또는 3차원과 2차원 골격정보인 운동형상학적 정보를 병합하는 병합단계;
보행파라미터 추출 및 분류부에서 병합된 운동형상학적 정보를 기초로 적어도 하나 이상의 보행 파라미터를 추출 및 추출된 보행 파라미터 혹은 연속된 골격정보를 이용하여 보행을 분류하거나 기계학습의 입력데이터로 사용하는 보행 파라미터 추출 및 분류단계; 및
보행 결과 통보부에서 상기 적어도 하나 이상의 보행 파라미터 혹은 분류된 보행의 종류를 기초로 보행자의 보행이상을 판단하는 보행이상 판별단계를 포함하고,
상기 운동형상학적 정보 추출단계는
상기 보행정보 획득부에서 복수개의 카메라로 보행동작 촬영시 보행로 또는 연속적인 보행이 가능한 장치 상에 일정 간격으로 배열된 3개의 축점이 기록된 마커를 인식한 후, 상기 3개의 축점을 기초로 촬영된 운동형상학정보들 각각의 3차원 변환 행렬을 계산하고, 좌표축을 변환시키는 단계를 포함하는 보행 분석 방법.
제10항에 있어서,
상기 운동형상학적 정보 추출단계는
상기 보행정보 획득부에서 단일 또는 복수 개의 깊이 카메라 또는 2D 카메라 또는 관성 센서나 모션 캡처 장비를 이용하여 보행자의 보행동작을 촬영하는 단계를 포함하는 것을 특징으로 하는 보행 분석 방법.
삭제
제10항에 있어서,
상기 병합단계는
상기 보행정보 수집부에서 복수개의 카메라로 정보 수집시 상기 운동형상학적 정보의 3개의 축점을 기초로 병합하는 단계인 것을 특징으로 하는 보행 분석 방법.
제13항에 있어서,
상기 병합단계는
상기 보행정보 수집부에서 복수개의 카메라로 보행동작 촬영시 동일 시간에 측정된 좌/우 또는 앞/뒤 운동형상학적 정보 중 기준치 이상의 신뢰도를 갖는 운동형상학적 정보를 병합하는 단계를 포함하는 것을 특징으로 하는 보행 분석 방법.
제10항에 있어서,
상기 보행이상 판별단계는
상기 보행결과 통보부에서 상기 적어도 하나 이상의 보행 파라미터가 권장값으로부터 얼마나 차이가 나는지를 기초로 보행 이상을 판별하는 단계인 것을 특징으로 하는 보행 분석 방법.
제10항에 있어서,
상기 보행이상 판별단계는
상기 보행결과 통보부에서 상기 보행 파라미터가 평소와 얼마나 달라졌는지를 기초로 보행 이상을 판별하는 단계인 것을 특징으로 하는 보행 분석 방법.
제10항에 있어서,
상기 보행이상 판별단계는
상기 보행결과 통보부에서 보행자의 보행 분류 결과를 기초로 보행 이상을 판별하는 단계인 것을 특징으로 하는 보행 분석 방법.