KR20200087027A - 근골격계 진단을 위한 동작 획득 방법 및 장치 - Google Patents

근골격계 진단을 위한 동작 획득 방법 및 장치 Download PDF

Info

Publication number
KR20200087027A
KR20200087027A KR1020190003532A KR20190003532A KR20200087027A KR 20200087027 A KR20200087027 A KR 20200087027A KR 1020190003532 A KR1020190003532 A KR 1020190003532A KR 20190003532 A KR20190003532 A KR 20190003532A KR 20200087027 A KR20200087027 A KR 20200087027A
Authority
KR
South Korea
Prior art keywords
joint
motion
skeleton
image
determination data
Prior art date
Application number
KR1020190003532A
Other languages
English (en)
Inventor
김용완
김기홍
김대환
이기석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190003532A priority Critical patent/KR20200087027A/ko
Publication of KR20200087027A publication Critical patent/KR20200087027A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

근골격계 진단을 위한 동작 획득 장치는 환자의 관절의 위치에 장착된 복수의 센서로부터 측정된 센싱 데이터로부터 각 관절의 움직임 판단 데이터를 추출하고, 상기 환자를 촬영하여 획득된 3D 깊이 영상과 색상 영상으로부터 스켈레톤 추적을 통해 최종적인 스켈레톤 렌더링 영상을 생성한다. 다음, 상기 스켈레톤 렌더링 영상과 상기 각 관절의 움직임 판단 데이터 사이의 시간 지연을 측정하여 상기 스켈레톤 렌더링 영상과 상기 각 관절의 움직임 판단 데이터간 동기화를 수행한 후, 상기 동기화가 수행된 상기 최종적인 렌더링 영상과 상기 각 관절의 움직임 판단 데이터를 이용하여 동작 정보를 획득한다.

Description

근골격계 진단을 위한 동작 획득 방법 및 장치{METHOD AND APPARATUS FOR CAPTURING MOTION FOR MUSCULOSKELETAL DIAGNOSIS}
본 발명은 근골골계 진단을 위한 동작 획득 방법 및 장치에 관한 것으로, 보다 상세하게는 사전에 계측된 사람의 신체 정보를 이용하여 착용형 다중 센서와 깊이 영상을 기반으로 근골격계 진단을 위한 동작을 획득하는 방법 및 장치에 관한 것이다.
최근 급속한 고령화 사회 진입에 의해 퇴행성 고관절염 및 슬관절염, 보행 이상 등의 근골격계 질환을 호소하는 노령층이 증가하고 있다. 따라서 근골격계 질환을 간편하고 저렴하게 사전 예측하는 서비스 개발에 활용될 수 있는 근골격계 환자 대상의 동작 획득 방법이 필요한 상황이다.
기존에는 근골격계 환자의 MRI(Magnetic Resonance Imaging)나 CT(Computed Tomography) 의료 영상과 함께 특정 동작을 수행하는 모습을 카메라로 촬영한 영상을 판독하여 질환의 유무를 판독하거나, 환자의 움직임을 얻어내기 위해 적절한 관절 부위에 카메라에서 발산하는 적외선을 반사하는 마커를 부착하고 여러 대의 카메라가 촬영한 2차원 이미지를 3차원 위치 데이터로 계산하여 동작을 획득한다. 하지만 여러 대의 카메라를 설치하기 위해 넓은 공간과 높은 비용이 필요하고 후처리 분석에 상당한 시간이 요구되고, 번거롭게 마커를 부착해야 한다. 또한 기존의 방법은 단순 외형적이고 운동역학적 보행 분석만을 수행하고 있는 단점이 있다.
본 발명이 해결하려는 과제는 운동형상학적(kinematic) 및 운동역학적(kinetic) 정보를 종합적으로 반영하고 즉각적이고 직관적이며 간편하고 저렴하게 근골격계 질환자의 진단 정보를 제공할 수 있는 근골격계 진단을 위한 동작 획득 방법 및 장치를 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 근골격계 진단을 위한 동작 획득 장치에서 근골격계 진단을 위한 동작 획득 방법이 제공된다. 근골격계 진단을 위한 동작 획득 방법은 환자의 관절의 위치에 장착된 복수의 센서로부터 측정된 센싱 데이터로부터 각 관절의 움직임 판단 데이터를 추출하는 단계, 상기 환자를 촬영하여 획득된 3D 깊이 영상과 색상 영상으로부터 스켈레톤 추적을 통해 최종적인 스켈레톤 렌더링 영상을 생성하는 단계, 상기 스켈레톤 렌더링 영상과 상기 각 관절의 움직임 판단 데이터 사이의 시간 지연을 측정하여 상기 스켈레톤 렌더링 영상과 상기 각 관절의 움직임 판단 데이터간 동기화를 수행하는 단계, 그리고 상기 동기화가 수행된 상기 최종적인 렌더링 영상과 상기 각 관절의 움직임 판단 데이터를 이용하여 동작 정보를 획득하는 단계를 포함한다.
본 발명의 실시 예에 의하면, 가상 인체와 다중 센싱 정보, 근골격계 질환 분석 시뮬레이션 결과를 종합한 지능형 분석을 통해 즉각적이고 직관적으로 간편하고 저렴하게 근골격계 질환 진단 방법을 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 근골격계 진단을 위한 동작 획득 장치를 나타낸 도면이다.
도 2는 도 1에 도시된 센싱 데이터 처리부에서 관절 움직임 판단 인자를 생성하는 과정을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 3D 깊이 영상으로부터 렌더링 영상 생성 과정에서 발생할 수 있는 시간 지연을 설명하는 도면이다.
도 4는 본 발명의 실시 예에 따른 동기화부의 동기화를 설명하는 도면이다.
도 5는 본 발명의 실시 예에 따른 다중 센서의 순간광 패턴을 나타낸 도면이다.
도 6은 도 1에 도시된 캘리브레이션 처리부의 캘리브레이션 방법을 설명하는 도면이다.
도 7은 본 발명의 실시 예에 따른 근골격계 진단을 위한 동작 획득 방법을 설명하는 도면이다.
도 8은 본 발명의 실시 예에 따른 근골격계 진단을 위한 동작 획득 방법을 설명하는 흐름도이다.
도 9는 본 발명의 다른 실시 예에 따른 근골격계 진단을 위한 동작 획득 장치의 개략적인 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 근골격계 진단을 위한 동작 획득 방법 및 장치에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 근골격계 진단을 위한 동작 획득 장치를 나타낸 도면이다.
도 1을 참고하면, 근골격계 진단을 위한 동작 획득 장치는 관절 정보 획득부(110), 다중 센서(120), 센싱 데이터 처리부(130), 영상 획득부(140), 동기화부(150), 캘리브레이션(calibration) 처리부(160), 동작 획득부(170) 및 시뮬레이션 수행부(180)를 포함한다.
관절 정보 획득부(110)는 신체 계측 정보를 통해 각 관절의 길이 등과 같은 환자의 관절 정보를 획득한다. 관절 정보 획득부(110)는 실측을 통해 획득한 신체 계측 정보를 사용자로부터 입력 받을 수 있다. 관절 정보 획득부(110)는 CT 및 MRI 등의 의료 영상을 기반으로 신체 계측 정보를 측정할 수 있다. 관절 정보 획득부(110)는 신체 계측 정보로 대응하는 체형 타입에 해당하는 가상 인체 즉, 아바타를 변형시켜 환자 맞춤형의 아바타를 생성한다. 표준 체형 템플릿(template) 데이터베이스는 체형 타입별 아바타를 저장한다. 체형 타입은 신장과 체중, 성별 등에 의해 나뉘어질 수 있다.
환자의 관절 정보가 획득되고 나면, 환자의 각 관절의 적절한 위치에 다중 센서(120)의 각 센서가 부착된다.
다중 센서(120)는 환자의 관절의 위치에 착용되어 관절의 정보를 측정하기 위한 센서로서, 예를 들면, 관성 측정 센서(Inertial Measurement Unit, IMU), 압력 센서(Force Sensitive Resistor, FSR), EMG(electromyography) 센서 등과 같은 복수의 센서로 구성될 수 있다. IMU는 가속도계와 회전 속도계, 때로는 자력계의 조합을 사용하여 신체의 특정한 힘, 각도 비율 및 때로는 신체를 둘러싼 자기장을 측정한다. FSR은 물리적인 압력, 무게 등을 측정하는 센서로서, n*n의 열도체선의 격자점에 압력에 따라 변하는 저항체가 연결되어 있는 구조이다. FSR은 환자의 발바닥에 부착시킬 수 있다. EMG 센서는 근육의 움직임 시에 골격근에서 발생하는 전기적인 신호를 측정하고 기록한다. 다중 센서(120)는 IMU, FSR 및 EMG 센서 외에 관절의 정보를 측정하기 위한 다른 센서를 더 포함할 수 있다.
센싱 데이터 처리부(130)는 다중 센서(120)로부터 측정된 센싱 데이터로부터 관절의 움직임 판단에 반영하기 위한 각 관절의 움직임 판단 데이터(parameters)를 생성한다. 예를 들어, 센싱 데이터 처리부(130)는 다중 센서(120)로부터 측정된 센싱 데이터로부터 각 관절의 3D 오리엔테이션 정보, 각 관절에 걸리는 반발력(reaction force) 및 근육 부하 등을 구할 수 있다.
영상 획득부(140)는 보행 등의 근골격계 관절의 질환을 진단하기 위해 3D 깊이 카메라를 이용하여 3D 깊이 영상과 색상 영상을 획득한다. 3D 깊이 카메라는 예를 들면 3D 깊이 영상과 색상 영상을 초당 30프레임을 획득할 수 있다. 영상 획득부(140)는 3D 깊이 영상과 색상 영상을 이용하여 신체의 스켈레톤 움직임을 추적하고, 스켈레톤 움직임 정보에 대해 조인트 변환(joint transformation) 과정을 거쳐 최종 스켈레톤 렌더링 영상을 생성한다.
동기화부(150)는 다중 센서(120)로부터 획득한 각 관절의 움직임 판단 데이터와 영상 획득부(140)에 의해 생성된 스켈레톤 렌더링 영상간 동기화를 수행한다. 다중 센서(120)로부터 획득한 각 관절의 움직임 판단 데이터는 시간 지연(latency)이 상대적으로 적고, 영상 획득부(140)로부터 생성된 스켈레톤 렌더링 영상 데이터는 시간 지연이 상대적으로 크다. 따라서 다중 센서(120)로부터 획득한 각 관절의 움직임 판단 데이터와 영상 획득부(140)로부터 생성된 스켈레톤 렌더링 영상 데이터간의 동기화는 필수적인 과정이라고 할 수 있다. 근골격계 질환 진단 분야는 실시간 움직임 캡처가 요구되지 않아 동기화와 같은 후처리를 통해 진단 정확도를 올릴 수 있는 특징이 있다.
또한 서로 다른 시간 지연을 가지는 데이터들을 동기화하면서, 상대적으로 낮은 시간 지연과 높은 프레임율을 가지는 다중 센서(120)로부터 획득되는 움직임 판단 데이터들은 상대적으로 큰 시간 지연과 낮은 프레임율을 가지는 3D 깊이 영상으로부터 획득되는 스켈레톤 렌더링 영상을 보간하는 데 사용될 수 있다.
캘리브레이션 처리부(160)는 동기화 과정을 마친 각 관절의 움직임 판단 데이터들을 아바타의 움직임 정보에 적용하여, 각 관절의 움직임 판단 데이터를 캘리브레이션한다. 특히, 다중 센서(120)로부터의 3D 오리엔테이션 정보는 상대적인 관절의 움직임 만을 알아낼 수 있으므로 아바타와 실제 환자의 관절 움직임의 기준점을 설정할 필요가 있다. 하지만 근골격계 환자는 정상적 표준 기준 자세를 정확히 취할 수 없어 아바타와 실제 환자의 기준 자세와는 많은 차이점이 발생할 수 있다. 따라서 캘리브레이션 처리부(160)는 각 관절의 3D 오리엔테이션 정보에 비정상 비표준 기준 자세에 해당하는 대상 관절의 관절 움직임을 반영하는 과정을 수행한다. 캘리브레이션 처리부(160)는 각 관절의 움직임 판단 데이터들을 기반으로 표준 기준 자세의 아바타를 변환하고, 환자의 비정상 비표준 기준 자세에서 다중 센서(120)에 의해 센싱된 데이터로부터 획득된 움직임 판단 데이터와 변환된 아바타의 관절 정보를 기준으로, 다중 센서(120)로부터 획득한 각 관절의 움직임 판단 데이터들을 캘리브레이션하여 아바타를 환자의 비정상 비표준 자세와 매핑되도록 한다.
동작 획득부(170)는 동기화가 이루어진 각 관절의 움직임 판단 데이터들과 스켈레톤 렌더링 영상 데이터를 이용하여 환자의 동작 정보를 획득한다. 다중 센서(120)에서 추출한 3D 오리엔테이션 정보는 환자가 이동(translation)하는 정보를 포함하고 있지 않다. 따라서, 동작 획득부(170)는 3D 깊이 영상으로부터 추적한 스켈레톤 정보 중 골반(pelvis)의 이동 정보를 이용하여 환자의 전신 이동을 추정하고 이를 기반으로 다중 센서(120)로부터 추출된 하체와 상체의 각 관절의 움직임 판단 데이터들을 반영하여 환자의 동작 정보를 획득할 수 있다.
또한 다중 센서(120)는 환자의 모든 관절에 부착할 필요가 없는 경우가 많다. 따라서, 동작 획득부(170)는 진단에 상대적으로 중요하지 않은 관절에 대해서는 3D 깊이 영상으로부터 추정된 스켈레톤 정보만을 적용하여 동작 정보를 획득할 수 있다.
이와 같은 과정을 거쳐 획득된 환자의 동작 정보는 근골격계 질환 분석 시뮬레이션에서 필요로 하는 좌표와 관절의 범위를 따르지 않는 것이 통상적이다. 시뮬레이션 수행부(180)는 동작 획득부(170)에 의해 획득한 환자의 동작 정보를 시뮬레이션에 적합한 좌표축과 관절 정보를 토대로 변환하여 근골격계 질환 분석 시뮬레이션을 수행한다. 근골격계 질환 분석 시뮬레이션을 통해 통상적으로 한걸음 길이(Stride length), 한걸음 폭(Stride width), 발 각도(foot angle), 발뒤꿈치 닿는 시간(heel contact time), 발끝 닿는 시간(toe contact time) 및 활보시간(stride time), 유각 시간(swing time), 입각 시간(stance time) 등의 생물 역학적(biomechanical) 파라미터 분석이 수행된다.
도 2는 도 1에 도시된 센싱 데이터 처리부에서 관절 움직임 판단 인자를 생성하는 과정을 나타낸 도면이다.
도 2를 참고하면, 센싱 데이터 처리부(130)는 관절 쿼터니언 변환부(131), 적분기(132), 성분 보정부(133), 확장 칼만 필터(134), 조인트 반발력 계산부(135) 및 근육 부하(muscle load) 산출부(136)를 포함할 수 있다. 도 2의 센싱 데이터 처리부(130)는 다중 센서로서 가속도계, 각속도계, 지자기계, FSR 및 EGM 센서가 사용된 경우의 일 예로서, 다중 센서(120)의 센서 구성에 따라 센싱 데이터 처리부(130)는 달라질 수 있다.
관절 쿼터니언 변환부(131)는 가속도계로부터 측정된 데이터로부터 쿼터니언 값을 산출한다.
적분기(132)는 각속도계의 각속도 성분을 적분하여 관절의 피치(pitch), 롤(roll), 요(yaw) 성분을 계산한다.
성분 보정부(133)는 각속도계의 요 성분의 드리프트(drift) 현상을 줄이기 위해 지자기계의 수평 성분의 자기 벡터의 왜곡 보정을 통해 요 값을 추출한다.
확장 칼만 필터(134)는 관절 쿼터니언 변환부(131)로부터 산출된 쿼터니언 값, 적분기(132)로부터 계산된 관절의 피치, 롤 및 요 성분, 그리고 성분 보정부(133)로부터 추출된 요 값을 융합하여 각 관절의 3D 오리엔테이션(orientation) 값을 산출한다.
조인트 반발력 계산부(135)는 발바닥에 위치한 FSR로부터 구해진 발바닥 압력으로부터 각 관절의 조인트 반발력(Joint reaction force)를 구하고 확장 칼만 필터(134)를 통해 산출된 각 관절의 3D 오리엔테이션 값을 이용하여 각 관절의 조인트 반발력을 보정한다.
근육 부하 산출부(136)는 EMG 센서로부터 출력된 데이터와 각 관절의 조인트 반발력으로부터 보행 시의 각 관절에 위치한 근육 부하를 산출한다.
이와 같이, 센싱 데이터 처리부(130)는 다중 센서(120)의 센싱 데이터를 융합하여 각 관절의 움직임을 판단하기 위한 각 관절의 움직임 판단 데이터를 추출한다.
도 3은 본 발명의 실시 예에 따른 3D 깊이 영상으로부터 스켈레톤 렌더링 영상 생성 과정에서 발생할 수 있는 시간 지연을 설명하는 도면이다.
도 3을 참고하면, 영상 획득부(140)는 사용자가 특정한 움직임을 수행할 시 3D 깊이 카메라를 통해 3D 깊이 영상과 색상 영상을 획득한다.
영상 획득부(140)는 3D 깊이 영상과 색상 영상을 통해 신체 스켈레톤을 추정한 후, 신체 스켈레톤을 추정하는 과정을 거쳐 게임 엔진(game engine) 내 조인트 변환(joint transformation) 과정을 거쳐 최종적인 스켈레톤 렌더링 영상을 획득한다.
이와 같이, 3D 깊이 영상으로부터 스켈레톤 렌더링 영상을 생성할 때까지 상당한 시간 지연이 발생된다. 3D 깊이 카메라의 하드웨어 한계 상 대략 초당 30 프레임 내외의 영상 획득과 추가적인 신체 스켈레톤 추정까지 더해진다면 더 큰 시간 지연이 발생한다. 따라서, 각 관절의 정확한 움직임 판단을 위해서는 다중 센서(120)로부터 획득되는 관절의 움직임 판단 데이터와 영상 획득부(140)의 3D 깊이 영상으로부터 획득되는 최종적인 스켈레톤 렌더링 영상 데이터간의 동기화가 필요하다.
도 4는 본 발명의 실시 예에 따른 동기화부의 동기화를 설명하는 도면이다.
도 4를 참고하면, 다중 센서(120)의 각 센서는 주기적으로 광학식 순간광을 발산하고, 순간광 발산 시의 타임 스탬프(time stamp)를 실시간으로 저장한다. 다중 센서(120)의 각 센서는 순간광 발산 시 센싱된 데이터와 함께 순간광 발산 타임 스탬프의 값을 센싱 데이터 처리부(130)로 전달한다.
3D 깊이 카메라로부터 3D 깊이 영상 및 색상 영상의 시간 지연은 전자적으로 측정하기 쉽지 않고, 또한 시간 지연이 일정하지 않고 계속적으로 변한다. 따라서, 동기화부(150)는 주기적인 순간광의 타임 스탬프를 동기화 기준점으로 설정한다.
동기화부(150)는 각 센서로부터 발산되는 순간광의 타임 스탬프를 기준으로 3D 깊이 카메라로부터 촬영된 색상 영상의 시간 지연을 측정하고, 색상 영상의 시간 지연을 이용하여 신체 스켈레톤 추적을 통해 획득된 스켈레톤 렌더링 영상 데이터와 다중 센서(120)의 센싱 데이터를 처리하여 최종적으로 얻어진 관절의 움직임 판단 데이터간의 시간 지연을 측정한다.
동기화부(150)는 측정된 시간 지연을 이용하여 다중 센서(120)로부터 획득된 관절의 움직임 판단 데이터와 렌더링 영상 데이터의 동기화를 프레임 단위로 맞춘다.
도 5는 본 발명의 실시 예에 따른 다중 센서의 순간광 패턴을 나타낸 도면이다.
도 5를 참고하면, 3D 깊이 카메라의 초당 프레임 레이트(frames per second, FPS)가 낮아서 3D 깊이 카메라가 순간광을 포착하지 못하거나, 지속적으로 변화하는 스켈레톤 렌더링 영상 데이터의 시간 지연 상에서 동기화를 맞추기 위해 각 센서(Sensor #1~Sensor #N)의 순간광 간격(duration)은 최대한 짧게 설정하고 각 센서(Sensor #1~Sensor #N)의 순간광은 서로 구분될 수 있도록 한다. 즉, 도 5와 같이 t1 시점에서 센서(Sensor #1)가 순간광을 출력하고, t2 시점에서는 센서(Sensor #1)가 순간광을 출력하고, ti 시점에서는 센서(Sensor #1, Sensor #2)가 순간광을 출력하고, tm 시점에서는 센서(Sensor #1~Sensor #N)가 순간광을 출력한다. 각 센서(Sensor #1~Sensor #N)에서 도 5와 같은 패턴의 순간광을 출력하면, 방향에 따라 3D 깊이 카메라가 특정 순간광을 포착하지 못할 확률을 줄일 수 있다.
예를 들어, t1 시점에 순간광이 출력되고, 색상 영상으로부터 해당 순간광이 검출되었다고 하면, 동기화부(150)는 해당 순간광이 검출된 색상 영상의 프레임과 t1 시점에 해당하는 타임 스탬프의 값을 토대로 색상 영상의 시간 지연을 측정할 수 있다. 또한 동기화부(150)는 t1 시점에 해당하는 타임 스탬프의 값을 기준으로 다중 센서(120)의 센싱 데이터를 처리하여 최종적으로 관절의 움직임 판단 데이터를 획득하는데 걸리는 시간 지연을 측정하고, 색상 영상의 시간 지연을 기준으로 3D 깊이 영상으로부터 스켈레톤 렌더링 영상 데이터을 생성하는데 걸리는 시간 지연을 측정할 수 있다. 동기화부(150)는 측정된 시간 지연 값들을 이용하여 스켈레톤 렌더링 영상 데이터와 관절의 움직임 판단 데이터간 동기화를 수행할 수 있다.
도 6은 도 1에 도시된 캘리브레이션 처리부의 캘리브레이션 방법을 설명하는 도면이다.
도 6을 참고하면, 캘리브레이션 처리부(160)는 다중 센서(120)의 센싱 데이터로부터 각 관절의 3D 오리엔테이션 정보가 획득되면, 각 관절의 3D 오리엔테이션 정보를 캘리브레이션하여 사람의 각 관절에 매핑시킨다.
다음, 캘리브레이션 처리부(160)는 사람의 각 관절에 매핑된 3D 오리엔테이션 정보를 캘리브레이션하여 다시 아바타(가상 모델)에 매핑시킴으로써, 표준 기준 자세의 아바타를 비정상 비표준 기준 자세로 변형시킨다.
도 7은 본 발명의 실시 예에 따른 근골격계 진단을 위한 동작 획득 방법을 설명하는 도면이다.
도 7을 참고하면, 근골격계 진단을 위한 동작 획득 장치는 신체 계측 정보, 다중 센서(120)의 IMU, FSR 및 EMG 센서로부터 측정된 센싱 데이터 및 3D 깊이 카메라로부터 촬영된 3D 깊이 영상과 색상 영상을 획득하고, 이들을 이용하여 (a)에 도시한 바와 같이 각 관절의 움직임 판단 데이터와 스켈레톤 렌더링 영상을 획득한다. 다음, (b)에 도시한 바와 같이 각 관절의 움직임 판단 데이터와 스켈레톤 렌더링 영상간 동기화를 수행한 후 각 관절의 움직임 판단 데이터를 캘리브레이션하여 동작 정보를 획득하며, 시뮬레이션 과정을 통해 근골격계 환자 진단을 수행할 수 있다.
도 8은 본 발명의 실시 예에 따른 근골격계 진단을 위한 동작 획득 방법을 설명하는 흐름도이다.
도 8을 참고하면, 근골격계 진단을 위한 동작 획득 장치는 다중 센서(120)의 센싱 데이터로부터 각 관절의 움직임 판단 데이터를 추출하고(S810), 3D 깊이 카메라로부터 촬영된 3D 깊이 영상과 색상 영상으로부터 신체 스켈레톤 정보를 추적하고(S820), 신체 스켈레톤 정보를 이용하여 스켈레톤 렌더링 영상을 생성한다(S830).
근골격계 진단을 위한 동작 획득 장치는 각 관절의 움직임 판단 데이터와 3D 깊이 영상과 색상 영상으로부터 획득되는 스켈레톤 렌더링 영상간 동기화를 수행한다(S840).
근골격계 진단을 위한 동작 획득 장치는 다중 센서(120)의 센싱 데이터로부터 획득된 다중 센서(120)의 움직임 판단 데이터를 캘리브레이션하여 가상 모델인 아바타에 매핑시켜, 아바타를 환자의 비정상 비표준 기준 자세로 변형시킨다(S850).
근골격계 진단을 위한 동작 획득 장치는 캘리브레이션이 이루어진 각 관절의 움직임 판단 데이터들과 스켈레톤 렌더링 영상 데이터를 이용하여 환자의 동작 정보를 획득한다(S860).
근골격계 진단을 위한 동작 획득 장치는 환자의 동작 정보를 이용하여 근골격계 질환 분석 시뮬레이션을 수행한다(S870).
이상에서 설명한 본 발명의 실시 예에 따른 근골격계 진단을 위한 동작 획득 방법 및 장치 중 적어도 일부 기능은 하드웨어로 구현되거나 하드웨어에 결합된 소프트웨어로 구현될 수 있다. 아래에서는 근골격계 진단을 위한 동작 획득 방법 및 장치가 컴퓨터 시스템에 결합된 실시 예에 대해서 도 9를 참고로 하여 상세하게 설명한다.
도 9는 본 발명의 다른 실시 예에 따른 근골격계 진단을 위한 동작 획득 장치의 개략적인 도면으로, 도 1 내지 도 8을 참고하여 설명한 관절 정보 획득부(110), 다중 센서(120), 센싱 데이터 처리부(130), 영상 획득부(140), 동기화부(150), 데이터 보정부(160), 동작 획득부(170) 및 시뮬레이션 수행부(180)의 기능 중 적어도 일부를 수행하는 데 사용할 수 있는 장치를 나타낸다.
도 9를 참고하면, 근골격계 진단을 위한 동작 획득 장치(900)는 프로세서(910), 메모리(920), 저장 장치(930) 및 입출력(input/output, I/O) 인터페이스(940)를 포함한다.
프로세서(910)는 중앙 처리 유닛(central processing unit, CPU)이나 기타 칩셋, 마이크로프로세서 등으로 구현될 수 있다.
메모리(920)는 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM), 램버스 DRAM(rambus DRAM, RDRAM), 동기식 DRAM(synchronous DRAM, SDRAM), 정적 RAM(static RAM, SRAM) 등의 RAM과 같은 매체로 구현될 수 있다.
저장 장치(930)는 하드 디스크(hard disk), CD-ROM(compact disk read only memory), CD-RW(CD rewritable), DVD-ROM(digital video disk ROM), DVD-RAM, DVD-RW 디스크, 블루레이(blu-ray) 디스크 등의 광학 디스크, 플래시 메모리, 다양한 형태의 RAM과 같은 영구 또는 휘발성 저장 장치로 구현될 수 있다.
I/O 인터페이스(940)는 프로세서(910) 및/또는 메모리(920)가 저장 장치(930)에 접근할 수 있도록 한다. 또한 I/O 인터페이스(940)는 사용자와 인터페이스를 제공할 수 있다.
프로세서(910)는 도 1 내지 도 8에서 설명한 근골격계 진단을 위한 동작 획득 기능을 수행할 수 있으며, 관절 정보 획득부(110), 다중 센서(120), 센싱 데이터 처리부(130), 영상 획득부(140), 동기화부(150), 데이터 보정부(160), 동작 획득부(170) 및 시뮬레이션 수행부(180)의 적어도 일부 기능을 구현하기 위한 프로그램 명령을 메모리(920)에 로드시켜, 도 1 내지 도 8을 참고로 하여 설명한 동작이 수행되도록 제어할 수 있다. 그리고 이러한 프로그램 명령은 저장 장치(930)에 저장되어 있을 수 있으며, 또는 네트워크로 연결되어 있는 다른 시스템에 저장되어 있을 수 있다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (1)

  1. 근골격계 진단을 위한 동작 획득 장치에서 근골격계 진단을 위한 동작 획득 방법으로서,
    환자의 관절의 위치에 장착된 복수의 센서로부터 측정된 센싱 데이터로부터 각 관절의 움직임 판단 데이터를 추출하는 단계,
    상기 환자를 촬영하여 획득된 3D 깊이 영상과 색상 영상으로부터 스켈레톤 추적을 통해 최종적인 스켈레톤 렌더링 영상을 생성하는 단계,
    상기 스켈레톤 렌더링 영상과 상기 각 관절의 움직임 판단 데이터 사이의 시간 지연을 측정하여 상기 스켈레톤 렌더링 영상과 상기 각 관절의 움직임 판단 데이터간 동기화를 수행하는 단계, 그리고
    상기 동기화가 수행된 상기 최종적인 렌더링 영상과 상기 각 관절의 움직임 판단 데이터를 이용하여 동작 정보를 획득하는 단계
    를 포함하는 근골격계 진단을 위한 동작 획득 방법.
KR1020190003532A 2019-01-10 2019-01-10 근골격계 진단을 위한 동작 획득 방법 및 장치 KR20200087027A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190003532A KR20200087027A (ko) 2019-01-10 2019-01-10 근골격계 진단을 위한 동작 획득 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190003532A KR20200087027A (ko) 2019-01-10 2019-01-10 근골격계 진단을 위한 동작 획득 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20200087027A true KR20200087027A (ko) 2020-07-20

Family

ID=71832121

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190003532A KR20200087027A (ko) 2019-01-10 2019-01-10 근골격계 진단을 위한 동작 획득 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20200087027A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277586A1 (ko) * 2021-06-30 2023-01-05 옥재윤 딥러닝 기술을 이용한 모션 추적 시스템
KR20230004280A (ko) * 2021-06-30 2023-01-06 옥재윤 딥러닝 기술을 이용한 모션 추적 시스템
KR20230018556A (ko) * 2021-07-30 2023-02-07 순천향대학교 산학협력단 무릎관절 각도 추정장치 및 그 추정방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277586A1 (ko) * 2021-06-30 2023-01-05 옥재윤 딥러닝 기술을 이용한 모션 추적 시스템
KR20230004280A (ko) * 2021-06-30 2023-01-06 옥재윤 딥러닝 기술을 이용한 모션 추적 시스템
KR20230018556A (ko) * 2021-07-30 2023-02-07 순천향대학교 산학협력단 무릎관절 각도 추정장치 및 그 추정방법

Similar Documents

Publication Publication Date Title
CN107080540B (zh) 用于分析人的步态和姿势平衡的系统和方法
US11182902B2 (en) Method and apparatus for determining volumetric data of a predetermined anatomical feature
KR20200087027A (ko) 근골격계 진단을 위한 동작 획득 방법 및 장치
US20230005161A1 (en) Information processing apparatus and determination result output method
Panero et al. Comparison of different motion capture setups for gait analysis: Validation of spatio-temporal parameters estimation
Surer et al. Methods and technologies for gait analysis
Auvinet et al. Lower limb movement asymmetry measurement with a depth camera
Diaz-Monterrosas et al. A brief review on the validity and reliability of Microsoft Kinect sensors for functional assessment applications
Hatamzadeh et al. A kinematic-geometric model based on ankles’ depth trajectory in frontal plane for gait analysis using a single RGB-D camera
EP3438601B1 (en) Measurement device, measurement method, and computer program
US20240049987A1 (en) Gait measurement system, gait measurement method, and program recording medium
JP7259982B2 (ja) 歩容計測システム、歩容計測方法、およびプログラム
KR102310964B1 (ko) 근골격계 증상을 진단하기 위한 전자 장치, 방법, 및 시스템
KR20160035497A (ko) 스켈레톤 추출정보를 이용한 동작분석 기반의 체형분석 시스템
Dunn et al. Application of video frame interpolation to markerless, single-camera gait analysis
FR3069942A1 (fr) Analyse d'un mouvement et/ou d'une posture d'au moins une partie du corps d'un individu
KR101398193B1 (ko) 캘리브레이션 장치 및 방법
CA3200934A1 (en) Object three-dimensional localizations in images or videos
Nguyen et al. A method for estimating text neck while walking using a 3-axis accelerometer
JP7398646B2 (ja) 疲労推定システム、疲労推定方法、及び、プログラム
US20230368447A1 (en) Knee trajectory information generation device, knee trajectory information generation method, and recording medium
Eustace Development of a Clinical Marker-less Motion Capture System for Patient Monitoring
US20240212156A1 (en) Method and apparatus for determining volumetric data of a predetermined anatomical feature
KR102489704B1 (ko) 단일 이차원 영상 기반의 정량적 보행 분석 장치 및 방법
US20240122531A1 (en) Index value estimation device, estimation system, index value estimation method, and recording medium