KR20200134502A - 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템 - Google Patents

이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템 Download PDF

Info

Publication number
KR20200134502A
KR20200134502A KR1020190060025A KR20190060025A KR20200134502A KR 20200134502 A KR20200134502 A KR 20200134502A KR 1020190060025 A KR1020190060025 A KR 1020190060025A KR 20190060025 A KR20190060025 A KR 20190060025A KR 20200134502 A KR20200134502 A KR 20200134502A
Authority
KR
South Korea
Prior art keywords
joint angle
subject
image
model
standard
Prior art date
Application number
KR1020190060025A
Other languages
English (en)
Inventor
문경률
김진욱
유성근
마우 덩 뉴옌
정환수
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020190060025A priority Critical patent/KR20200134502A/ko
Publication of KR20200134502A publication Critical patent/KR20200134502A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528—Joints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Rheumatology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템 및 방법이 제공된다. 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템은 미리 학습된 표준 관절 각도 모델을 저장하는 데이터 베이스; 대상자의 이미지를 취득하는 이미지 취득부; 및 상기 대상자의 이미지를 상기 표준 관절 각도 모델에 적용하여 상기 대상자의 관절 각도를 예측하는 관절 각도 예측부를 포함하되, 상기 표준 관절 각도 모델은 대상자의 이미지를 입력 값으로, 모션 감지를 통해 생성된 대상자의 3차원 각도 정보를 출력 값으로 학습하여 구축된 모델이다.

Description

이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템{3D human body joint angle prediction method and system through the image recognition}
3차원 인체 관절 각도 예측 방법 및 시스템에 관한 것으로, 구체적으로 간단한 장치를 통해 생성된 이미지의 인식만으로 3차원 인체 관절 각도를 예측할 수 있는 방법 및 시스템에 관한 것이다.
관절 각도 측정은 가장 기본적인 동작 분석 도구로 개인 건강 정보, 병적 증상 및 동작 의도에 대한 정보를 포함하고 있다. 따라서, 관절 각도의 정량적 평가를 통해 근골격계 및 신경 질환을 진단하고 모니터링 할 수 있고, 체계적인 치료에 대한 효과를 판단할 수 있다. 또한, 일반인의 운동 능력 및 스포츠 기어 성능 향상을 위해 관절 각도 분석이 반드시 필요하며, 관절 각도는 보행 보조 기구, 보행 보조 로봇의 개발 및 성능 향상을 위한 기초 자료로도 사용될 수 있다.
이러한 관절 각도를 측정하기 위해, 한국 특허 출원 공보 10-2016-0097044에 개시된 바와 같은 가속도 센서와 자이로 센서 등을 구비하여 인체 관절의 회전 각도를 측정하는 장치 등이 제안된 바 있다. 다만, 이러한 종래 장치를 통해 3차원 좌표를 측정이 가능하나, 센서 착용이 번거롭고, 정확한 측정을 위해 센서 캘리브레이션, 센서 퓨전, 데이터 프로세싱, 필터링 등 많은 후처리 과정이 필요한 한계가 있었다.
또한, 옵티컬 모션 캡쳐 시스템을 이용하여 정해진 공간 내에서의 마커의 3차원 좌표를 획득, 이를 기초로 인체 관절의 각도를 측정하는 방법이 제안된 바 있다. 다만, 이러한 종래 기술은 고가의 설비와 경험이 풍부한 실험자가 필요할 뿐만 아니라, 이동성이 부족하여 관절 각도를 어디에서나 측정하는 것이 불가능하였다.
따라서, 간단하게 획득할 수 있는 2차원 이미지만으로 대상자의 관절 각도를 예측할 수 있는 방법 및 시스템이 요구되고 있다.
한국 특허 출원 공보 10-2016-0097044 (2016년 12월 16일)
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 구체적으로, 적어도 하나 이상의 모바일 카메라로 대상자를 촬영하여 생성된 2차원 이미지를 이용하여 대상자의 관절 각도를 정확하게 예측할 수 있는 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템에 관한 것이다.
본 발명의 일 실시예에 따른 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템은 미리 학습된 표준 관절 각도 모델을 저장하는 데이터 베이스; 대상자의 이미지를 취득하는 이미지 취득부; 및 상기 대상자의 이미지를 상기 표준 관절 각도 모델에 적용하여 상기 대상자의 관절 각도를 예측하는 관절 각도 예측부를 포함하되, 상기 표준 관절 각도 모델은 대상자의 이미지를 입력 값으로, 모션 감지를 통해 생성된 대상자의 3차원 각도 정보를 출력 값으로 학습하여 구축된 모델이다.
본 발명의 다른 실시예에 따른 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법은 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템에서 수행되는 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법으로, 표준 관절 각도 모델을 구축하는 단계; 대상자의 이미지를 취득하는 단계; 및 상기 대상자의 이미지를 상기 구축된 표준 관절 각도 모델에 적용하여 상기 대상자의 관절 각도를 예측하는 단계를 포함하되, 상기 표준 관절 각도 모델은 대상자의 이미지를 입력 값으로, 모션 감지를 통해 생성된 대상자의 3차원 각도 정보를 출력 값으로 학습하여 구축된 모델이다.
본 발명의 또 다른 실시예에 따른 기록매체는 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법을 수행하게 한다.
본 발명의 일 실시예에 따른 3차원 인체 관절 각도 예측 방법 및 시스템은 모바일 카메라와 같은 간단한 장치로 대상자의 2차원 이미지를 취득하는 테스트만으로 대상자의 3차원 관절 각도를 예측할 수 있다.
종래 카메라와 같은 간단한 장치로 획득한 대상자의 2차원 이미지로부터 관절 각도의 추정을 위해서는 관절 위치를 마킹하는 레이블링 작업을 수행하여야 하는 등 많은 시간과 번거로움이 발생하였으며, 대상자의 3차원 관절 각도의 정확한 예측이 어려웠다. 이와 달리, 본 발명의 일 실시예에 따른 3차원 인체 관절 각도 예측 시스템 및 방법은 구축된 표준 관절 각도 모델을 활용하여 간단한 2차원 이미지 취득만으로도 새로운 대상자의 3차원 관절 각도에 대한 예측이 가능하다.
이에 따라, 3차원 관절 각도 예측에 필요한 기기 및 인력의 투입이 절감될 수 있다. 또한, 간단한 테스트로 진행되는 바 많은 거동이 어려운 환자에게도 용이하게 실제 3차원 관절 각도 정보 획득할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 취득부와 모션 감지부의 관계를 개략적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 모션 감지부의 개략적인 구성을 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법의 순서도이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 인지할 수 있다. 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템의 블록도이다. 도 2는 본 발명의 일 실시예에 따른 이미지 취득부와 모션 감지부의 관계를 개략적으로 도시한 것이다. 도 3은 본 발명의 일 실시예에 따른 모션 감지부의 개략적인 구성을 도시한 것이다.
도 1 내지 도 3을 참조하면, 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템(10)은 이미지 취득부(100), 모션 감지부(110), 데이터 베이스부(120), 학습 모델 생성부(130) 및 관절 각도 예측부(140)를 포함한다.
실시예들에 따른 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템은, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 본 명세서의 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템 및 이에 포함된 각 부(unit)는, 특정 형식 및 내용의 데이터를 전자통신 방식으로 주고받기 위한 장치 및 이에 관련된 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부", "모듈(module)", "서버(server)", "시스템", "장치" 또는 "단말" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
또한, 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템을 구성하는 각각의 부는 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 도 1에서 이미지 취득부(100), 모션 감지부(110), 데이터 베이스부(120), 학습 모델 생성부(130) 및 관절 각도 예측부(140)는 서로 구분되는 별개의 블록으로 도시되나, 이는 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템을 구성하는 장치를 해당 장치에 의해 실행되는 동작에 의해 단지 기능적으로 구분한 것이다. 따라서, 실시예에 따라서는 이미지 취득부(100), 모션 감지부(110), 데이터 베이스부(120), 학습 모델 생성부(130) 및 관절 각도 예측부(140)는 일부 또는 전부가 동일한 하나의 장치 내에 집적화될 수 있고, 하나 이상이 다른 부와 물리적으로 구분되는 별개의 장치로 구현될 수도 있으며, 분산 컴퓨팅 환경 하에서 서로 통신 가능하게 연결된 컴포넌트들일 수도 있다.
이미지 취득부(100)는 학습 모델 생성부(130)에서의 표준 관절 각도 모델을 구축하기 위한 입력 데이터로써 대상자의 이미지를 취득한다. 또한, 새로운 대상자의 관절 각도 예측을 위해 구축된 표준 관절 각도 모델에 대입하기 위한 입력 데이터로써 새로운 대상자를 촬상하여 대상자의 이미지를 취득할 수 있다.
이미지 취득부(100)는 적어도 하나 이상의 카메라로부터 대상자의 이미지를 취득할 수 있다. 여기서, 카메라가 생성하는 이미지는 대상자의 외형을 촬상한 2차원 이미지이다. 카메라는 휴대성이 용이한 모바일 카메라일 수 있으나, 이에 한정되는 것은 아니다. 카메라가 복수개로 구성되는 경우, 복수의 카메라는 동일한 대상자를 기준으로 서로 다른 각도에 위치할 수 있다. 복수의 카메라는 동일한 대상자를 상이한 위치에서 촬영한 2차원 이미지를 생성할 수 있다. 카메라는 동일한 대상자의 전신을 촬영하여 이미지를 생성할 수 있으나, 이에 한정되는 것은 아니며 대상자의 특정 인체 부위의 관절 각도를 학습 또는 예측하기 위해서, 대상자의 특정 인체 부위를 촬영하여 이미지를 생성할 수 있다. 복수의 카메라는 센싱 시점이 동기화될 수 있으며, 동일한 시점에 2차원 이미지를 생성할 수 있다. 따라서, 이미지 취득부(100)는 동일한 시점에 서로 다른 각도로 대상자의 외형을 촬영한 대상자의 이미지를 복수의 카메라로부터 취득할 수 있다.
이미지 취득부(100)에서 취득된 2차원 이미지는 데이터 베이스부(120)에 제공되어 데이터 베이스부(120)에 저장될 수 있다.
모션 감지부(110)는 대상자의 각 관절의 3차원 각도 정보를 추출한다. 모션 감지부(110)는 복수의 광학식 모션 캡쳐 장치로 구성된 광학식 모션 캡쳐 시스템으로 구성될 수 있으나, 이에 한정되는 것은 아니다. 다른 실시예에서, 모션 감지부(110)는 관성 측정 센서(IMU)를 포함하는 웨어러블 모션 캡쳐 시스템으로 구성될 수도 있다.
도 3은 모션 감지부(110)가 광학식 모션 캡쳐 시스템으로 구성된 하나의 예시로, 일정한 공간에 광학식 모션 캡쳐 장치가 설치될 수 있다. 복수개의 광학식 모션 캡쳐 장치는 일정 공간의 벽면, 모서리부에 위치될 수 있으나 이에 한정되는 것은 아니다. 대상자는 일정 공간의 가운데, 중심부에 위치할 수 있으며 주요 관절 부분에 마커를 장착하게 된다. 일 실시예에서, 광학식 모션 캡쳐 장치는 적외선을 대상자에게 방출하며, 대상자에게 장착된 마커에 의해 반사되는 적외선을 다시 인식하여, 마커의 3차원 위치를 인식할 수 있다. 다만, 이에 한정되는 것은 아니며, 대상자에게 장착된 마커는 자기 발광 마커일 수 있으며, 각 마커에서 방출되는 빛을 광학식 모션 캡쳐 장치가 인식하여, 마커의 3차원 위치를 인식할 수도 있다. 모션 감지부(110)는 인식된 각 마커의 위치 정보에 기초하여 대상자의 3차원 각도 정보를 산출할 수 있다.
모션 감지부(110)에서 추출되는 3차원 각도 정보는 표준 관절 각도 모델을 생성하기 위한 학습용 레이블 데이터일 수 있다. 따라서, 도 2에 도시된 바와 같이, 이미지 취득부(100)가 표준 관절 각도 모델을 생성하기 위한 입력 데이터를 획득하기 위해 동작하는 경우, 이미지 취득부(100)와 모션 감지부(110)은 동일한 공간에 함께 구비되어, 대상자의 2차원 이미지 및 3차원 각도 정보를 각각 생성할 수 있다. 또한, 이러한 경우, 이미지 취득부(100)와 모션 감지부(110)은 동기화될 수 있으며 2차원 이미지와 3차원 각도 정보의 생성 시점은 동일할 수 있다.
모션 감지부(110)에서 생성된 3차원 각도 정보는 데이터 베이스부(120)에 제공되어 데이터 베이스부(120)에 저장될 수 있다.
상술한 이미지 취득부(100)와 모션 감지부(110)에서의 데이터 수집 과정을 통해 데이터 베이스부(120)에 대상자의 2차원 이미지와 3차원 각도 정보가 저장될 수 있다.
학습 모델 생성부(130)는 상기 대상자의 2차원 이미지에 대한 상기 대상자의 3차원 각도 정보의 관계를 분석하고, 기계 학습하여 상기 대상자의 2차원 이미지에 대응되는 표준 관절 각도 모델을 구축할 수 있다. 학습 모델 생성부(130)는 데이터 베이스부(120)에 저장된 대상자의 2차원 이미지 및 대상자의 3차원 각도 정보를 기초로 상기 대상자의 2차원 이미지에 대응되는 대상자의 3차원 각도 정보를 분석하고 기계 학습을 통해 표준 관절 각도 모델을 구축할 수 있다. 여기서, 2차원 이미지는 학습 모델 생성부(130)의 입력값으로 제공되기 위한 전처리가 미리 수행될 수 있다. 이러한 대상자의 2차원 이미지에 대한 전처리는 이미지 취득부(100)에서 수행될 수 있다. 이미지의 전처리는 학습 모델 생성부(130)의 입력 데이터의 크기에 맞도록 이미지의 크기를 조절하거나, 2차원 이미지가 복수개인 경우 복수개의 2차원 이미지를 병합하는 과정일 수 있다.
학습 모델 생성부(130)는 학습 데이터에 기계학습 알고리즘을 적용하여 함수를 추론하고, 그 추론된 함수를 통해 답을 찾는 지도 학습을 수행할 수 있다. 따라서 지도 학습은 명확한 입력과 출력이 존재하며, 이러한 지도학습을 통해서 학습데이터를 대표하는 선형모델을 만들고 그 모델을 통해 미래의 사건을 예측할 수 있도록 하며, 또한 이전까지 학습된 데이터를 근거로 새로운 데이터가 기존에 학습된 데이터에 어떻게 분류가 되는지를 판단할 수 있다. 학습 모델 생성부(130)는 2차원 이미지를 입력 값으로 사용하고, 대상자의 3차원 각도 정보를 출력 값으로 사용하여 기계 학습을 수행할 수 있다.
또한, 학습 모델 생성부(130)는 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계 학습을 수행시키는, 인공 신경망(ANN, Artificial Neural Network)에 기반한 기계 학습 방법(딥 러닝, deep learning)을 통해서 표준 관절 각도 모델을 생성할 수 있다. 즉, 학습 모델 생성부(130)는 대상자를 촬영한 이미지를 입력 값으로 사용하고, 대상자의 3차원 관절 각도 정보를 출력 값으로 하는 추상화된 모델을 구축할 수 있다. 학습 모델 생성부(130)는 입력층과 출력층 사이에 다중의 은닉층(hidden layer)이 존재하는 심층(deep) 신경망 모델, 동물의 시각 피질의 구조와 유사하게 뉴런 사이의 연결 패턴을 형성하는 컨볼루셔널(convolutional) 신경망 모델, 시간에 따라 매순간 신경망을 쌓아올리는 재귀(recurrent) 신경망 모델, 입력 집합에 대한 확률 분포를 학습할 수 있는 제한 볼츠만 머신(restricted Boltzmann machine) 중 하나의 딥 러닝 모델을 사용할 수 있다. 다만, 상술한 방법은 일 예시일 뿐 본 발명의 일 실시예에 따른 기계 학습 방법이 이에 한정되는 것은 아니다.
또한, 본 발명에 따른 학습 모델 생성부(130)는 입력값인 2차원 이미지로부터 추정되는 관절 각도 정보와 실제 출력값인 3차원 각도 정보와의 차이를 최소화하는 방향으로 학습 모델이 구축될 수 있다. 입력값인 2차원 이미지로부터 추정되는 관절 각도 정보와 실제 출력값인 3차원 각도 정보와의 차이를 최소화 하기 위한 Least Mean Square와 같은 Gradient Decent 최적화 알고리즘이 적용될 수 있다.
이와 같은 기계 학습 학습 과정을 거쳐 학습 모델 생성부(130)는 표준 관절 각도 모델을 생성할 수 있다. 이러한 표준 관절 각도 모델은 데이터 베이스(120)에 저장될 수 있다. 또한, 데이터 베이스(120)에 저장된 표준 관절 각도 모델은 새로운 학습 데이터가 입력되는 경우 또는 일정 주기에 따라 새로 업데이트될 수 있다.
관절 각도 예측부(140)는 상기 생성된 표준 관절 각도 모델을 활용하여 새로운 대상자의 3차원 관절 각도를 예측한다.
새로운 대상자는 이미지 취득부(100)를 통해 2차원 이미지만이 취득된다. 즉, 새로운 대상자는 모션 감지부(110)를 통해 3차원 관절 각도 정보가 취득될 필요가 없다. 관절 각도 예측부(140)는 새로운 대상자의 2차원 이미지를 상기 생성된 표준 관절 각도 모델에 대입하여 상기 새로운 대상자의 관절 각도를 예측할 수 있다. 여기서, 관절 각도 예측부(140)에서 출력되는 대상자의 관절 각도는 3차원 좌표를 기준으로 분석된 3차원 관절 각도 데이터일 수 있다.
즉, 본 발명의 일 실시예에 따른 3차원 인체 관절 각도 예측 시스템은 모바일 카메라와 같은 간단한 장치로 대상자의 2차원 이미지를 취득하는 테스트만으로 대상자의 3차원 관절 각도를 예측할 수 있다. 종래 카메라와 같은 간단한 장치로 획득한 대상자의 2차원 이미지로부터 관절 각도의 추정을 위해서는 관절 위치를 마킹하는 레이블링 작업을 수행하여야 하는 등 많은 시간과 번거로움이 발생하였으며, 대상자의 3차원 관절 각도의 정확한 예측이 어려웠다. 이와 달리, 본 발명의 일 실시예에 따른 3차원 인체 관절 각도 예측 시스템은 구축된 표준 관절 각도 모델을 활용하여 간단한 2차원 이미지 취득만으로도 새로운 대상자의 3차원 관절 각도에 대한 예측이 가능하다. 이에 따라, 3차원 관절 각도 예측에 필요한 기기 및 인력의 투입이 절감될 수 있다. 또한, 간단한 테스트로 진행되는 바 많은 거동이 어려운 환자에게도 용이하게 실제 3차원 관절 각도 정보 획득할 수 있다.
이하, 본 발명의 일 실시예에 따른 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법에 대해 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법의 순서도이다. 상기 방법은 상술한 도 1 내지 도 3의 시스템에서 수행될 수 있고, 본 실시예에 설명을 위해 도 1 내지 도 3이 참조될 수 있다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법은 표준 관절 각도 모델을 구축하는 단계(S100), 대상자의 이미지를 취득하는 단계(S110) 및 대상자의 관절 각도를 예측하는 단계(S120)를 포함한다.
먼저, 표준 관절 각도 모델을 구축한다(S100).
다수의 대상자의 이미지를 취득하고, 상기 다수의 대상자로부터 실제 3차원 관절 각도 정보를 취득하여 데이터 베이스화한다. 이미지 취득부(100)는 학습 모델 생성부(130)에서의 표준 관절 각도 모델을 구축하기 위한 입력 데이터로써 대상자의 이미지를 취득한다. 이미지 취득부(100)는 적어도 하나 이상의 카메라로부터 대상자의 이미지를 취득할 수 있다. 여기서, 카메라가 생성하는 이미지는 대상자의 외형을 촬상한 2차원 이미지이다. 이미지 취득부(100)는 동일한 시점에 서로 다른 각도로 대상자의 외형을 촬영한 대상자의 이미지를 복수의 카메라로부터 취득할 수 있다. 모션 감지부(110)는 대상자의 각 관절의 3차원 각도 정보를 추출한다. 모션 감지부(110)는 복수의 광학식 모션 캡쳐 장치로 구성된 광학식 모션 캡쳐 시스템으로 구성될 수 있다. 즉, 상기 모션 감지를 통해 생성된 대상자의 3차원 각도 정보는 광학식 모션 캡쳐 시스템을 통해 생성된 학습 데이터일 수 있다.
학습 모델 생성부(130)는 상기 대상자의 2차원 이미지에 대한 상기 대상자의 3차원 각도 정보의 관계를 분석하고, 기계 학습하여 상기 대상자의 2차원 이미지에 대응되는 표준 관절 각도 모델을 구축할 수 있다. 상기 표준 관절 각도 모델은 딥 러닝을 통해 구축될 수 있다. 또한, 상기 표준 관절 각도 모델은 입력 값인 대상자의 이미지로부터 추정되는 관절 각도 정보와 출력값인 3차원 각도 정보와의 차이를 최소화하는 알고리즘을 통해 구축될 수 있다.
다음으로, 대상자의 이미지를 취득한다(S110).
여기서, 대상자는 상기 표준 관절 각도 모델의 학습에 데이터를 제공하지 않은 새로운 대상자일 수 있다. 새로운 대상자는 이미지 취득부(100)를 통해 대상자의 이미지만이 취득된다. 즉, 새로운 대상자는 모션 감지부(110)를 통해 실제 3차원 관절 각도 정보가 취득될 필요가 없다. 상기 대상자의 이미지를 취득하는 단계는, 복수의 카메라로부터 상기 대상자를 다른 각도에서 촬영한 이미지를 취득하는 것을 포함하고, 상기 복수의 카메라는 동일한 시점에 상기 대상자를 촬영하도록 동기화된다.
다음으로, 대상자의 이미지를 상기 구축된 표준 관절 각도 모델에 적용하여 대상자의 관절 각도를 예측한다(S120).
관절 각도 예측부(140)는 상기 구축된 표준 관절 각도 모델을 활용하여 새로운 대상자의 관절 각도를 예측한다.
여기서, 본 실시예에 따른 방법은 표준 관절 각도 모델에 상기 대상자의 이미지를 적용하기 이전, 상기 대상자의 이미지에 대한 전처리 단계를 더 포함할 수 있다. 상기 전처리는 상기 표준 관절 각도 모델의 입력 값의 크기에 맞도록 이미지의 크기를 조절하거나, 상기 대상자의 이미지가 복수인 경우 복수의 이미지를 병합하는 과정일 수 있다.
본 발명의 일 실시예에 따른 3차원 인체 관절 각도 예측 방법은 모바일 카메라와 같은 간단한 장치로 대상자의 2차원 이미지를 취득하는 테스트만으로 대상자의 3차원 관절 각도를 예측할 수 있다. 종래 카메라와 같은 간단한 장치로 획득한 대상자의 2차원 이미지로부터 관절 각도의 추정을 위해서는 관절 위치를 마킹하는 레이블링 작업을 수행하여야 하는 등 많은 시간과 번거로움이 발생하였으며, 대상자의 3차원 관절 각도의 정확한 예측이 어려웠다. 이와 달리, 본 발명의 일 실시예에 따른 3차원 인체 관절 각도 예측 방법은 구축된 표준 관절 각도 모델을 활용하여 간단한 2차원 이미지 취득만으로도 새로운 대상자의 3차원 관절 각도에 대한 예측이 가능하다. 이에 따라, 3차원 관절 각도 예측에 필요한 기기 및 인력의 투입이 절감될 수 있다. 또한, 간단한 테스트로 진행되는 바 많은 거동이 어려운 환자에게도 용이하게 실제 3차원 관절 각도 정보 획득할 수 있다.
이상에서 설명한 실시예들에 따른 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 이미지 취득부
110: 모션 감지부
120: 데이터 베이스부
130: 학습 모델 생성부
140: 관절 각도 예측부

Claims (13)

  1. 미리 학습된 표준 관절 각도 모델을 저장하는 데이터 베이스;
    대상자의 이미지를 취득하는 이미지 취득부; 및
    상기 대상자의 이미지를 상기 표준 관절 각도 모델에 적용하여 상기 대상자의 관절 각도를 예측하는 관절 각도 예측부를 포함하되,
    상기 표준 관절 각도 모델은 대상자의 이미지를 입력 값으로, 모션 감지를 통해 생성된 대상자의 3차원 각도 정보를 출력 값으로 학습하여 구축된 모델인 것을 특징으로 하는 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템.
  2. 제1 항에 있어서,
    상기 이미지 취득부는 복수의 카메라로부터 상기 대상자를 다른 각도에서 촬영한 이미지를 취득하고,
    상기 복수의 카메라는 동일한 시점에 상기 대상자를 촬영하도록 동기화되는 것을 특징으로 하는 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템.
  3. 제2 항에 있어서,
    상기 이미지 취득부는 상기 표준 관절 각도 모델에 상기 대상자의 이미지를 적용하기 이전, 상기 대상자의 이미지에 대한 전처리를 먼저 수행하고,
    상기 전처리는 상기 표준 관절 각도 모델의 입력 값의 크기에 맞도록 이미지의 크기를 조절하거나, 상기 대상자의 이미지가 복수인 경우 복수의 이미지를 병합하는 과정인 것을 특징으로 하는 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템.
  4. 제1 항에 있어서,
    상기 모션 감지를 통해 생성된 대상자의 3차원 각도 정보는 광학식 모션 캡쳐 시스템을 통해 생성된 학습 데이터인 것을 특징으로 하는 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템.
  5. 제1 항에 있어서,
    상기 표준 관절 각도 모델은 딥 러닝을 통해 구축되는 것을 특징으로 하는 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템.
  6. 제5 항에 있어서,
    상기 표준 관절 각도 모델은 입력 값인 대상자의 이미지로부터 추정되는 관절 각도 정보와 출력값인 3차원 각도 정보와의 차이를 최소화하는 알고리즘을 통해 구축되는 것을 특징으로 하는 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템.
  7. 이미지 인식을 통한 3차원 인체 관절 각도 예측 시스템에서 수행되는 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법에 있어서,
    표준 관절 각도 모델을 구축하는 단계;
    대상자의 이미지를 취득하는 단계; 및
    상기 대상자의 이미지를 상기 구축된 표준 관절 각도 모델에 적용하여 상기 대상자의 관절 각도를 예측하는 단계를 포함하되,
    상기 표준 관절 각도 모델은 대상자의 이미지를 입력 값으로, 모션 감지를 통해 생성된 대상자의 3차원 각도 정보를 출력 값으로 학습하여 구축된 모델인 것을 특징으로 하는 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법.
  8. 제7 항에 있어서,
    상기 대상자의 이미지를 취득하는 단계는,
    복수의 카메라로부터 상기 대상자를 다른 각도에서 촬영한 이미지를 취득하는 것을 포함하고,
    상기 복수의 카메라는 동일한 시점에 상기 대상자를 촬영하도록 동기화되는 것을 특징으로 하는 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법.
  9. 제8 항에 있어서,
    상기 표준 관절 각도 모델에 상기 대상자의 이미지를 적용하기 이전, 상기 대상자의 이미지에 대한 전처리 단계를 더 포함하고,
    상기 전처리는 상기 표준 관절 각도 모델의 입력 값의 크기에 맞도록 이미지의 크기를 조절하거나, 상기 대상자의 이미지가 복수인 경우 복수의 이미지를 병합하는 과정인 것을 특징으로 하는 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법.
  10. 제7 항에 있어서,
    상기 모션 감지를 통해 생성된 대상자의 3차원 각도 정보는 광학식 모션 캡쳐 시스템을 통해 생성된 학습 데이터인 것을 특징으로 하는 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법.
  11. 제7 항에 있어서,
    상기 표준 관절 각도 모델은 딥 러닝을 통해 구축되는 것을 특징으로 하는 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법.
  12. 제11 항에 있어서,
    상기 표준 관절 각도 모델은 입력 값인 대상자의 이미지로부터 추정되는 관절 각도 정보와 출력값인 3차원 각도 정보와의 차이를 최소화하는 알고리즘을 통해 구축되는 것을 특징으로 하는 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법.
  13. 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 제7항 내지 제12항 중 어느 하나의 항에 따른 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.
KR1020190060025A 2019-05-22 2019-05-22 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템 KR20200134502A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190060025A KR20200134502A (ko) 2019-05-22 2019-05-22 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190060025A KR20200134502A (ko) 2019-05-22 2019-05-22 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20200134502A true KR20200134502A (ko) 2020-12-02

Family

ID=73792181

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190060025A KR20200134502A (ko) 2019-05-22 2019-05-22 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20200134502A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102427048B1 (ko) * 2021-02-18 2022-08-01 성균관대학교산학협력단 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법
KR20220109947A (ko) 2021-01-29 2022-08-05 전주대학교 산학협력단 동작 측정 및 분류 시스템, 장치 및 방법
KR20230050067A (ko) * 2021-10-07 2023-04-14 서울대학교병원 영유아의 움직임 복잡도 자동 평가 방법 및 시스템
CN116370072A (zh) * 2023-03-31 2023-07-04 普朗克(广州)医疗科技有限公司 手术辅助方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160097044A (ko) 2015-02-06 2016-08-17 (주)유즈브레인넷 모션 인식기법을 이용한 관절 각도기 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160097044A (ko) 2015-02-06 2016-08-17 (주)유즈브레인넷 모션 인식기법을 이용한 관절 각도기 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220109947A (ko) 2021-01-29 2022-08-05 전주대학교 산학협력단 동작 측정 및 분류 시스템, 장치 및 방법
KR102427048B1 (ko) * 2021-02-18 2022-08-01 성균관대학교산학협력단 어깨 착용형 외골격 장치를 착용한 사용자의 동작 의도를 예측하는 장치 및 그 방법
KR20230050067A (ko) * 2021-10-07 2023-04-14 서울대학교병원 영유아의 움직임 복잡도 자동 평가 방법 및 시스템
CN116370072A (zh) * 2023-03-31 2023-07-04 普朗克(广州)医疗科技有限公司 手术辅助方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
Hesse et al. Computer vision for medical infant motion analysis: State of the art and rgb-d data set
KR20200134502A (ko) 이미지 인식을 통한 3차원 인체 관절 각도 예측 방법 및 시스템
Liu et al. Tracking-based 3D human skeleton extraction from stereo video camera toward an on-site safety and ergonomic analysis
JP4148281B2 (ja) モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
Zhang et al. Leveraging depth cameras and wearable pressure sensors for full-body kinematics and dynamics capture
KR101118654B1 (ko) 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법
Procházka et al. Use of the image and depth sensors of the Microsoft Kinect for the detection of gait disorders
US10445930B1 (en) Markerless motion capture using machine learning and training with biomechanical data
US11475577B2 (en) Markerless motion capture of animate subject with prediction of future motion
Surer et al. Methods and technologies for gait analysis
WO2016031314A1 (ja) 個人識別装置、個人識別方法、及び、個人識別プログラム
Li et al. Gait analysis using stereo camera in daily environment
Mekruksavanich et al. Automatic Recognition of Construction Worker Activities Using Deep Learning Approaches and Wearable Inertial Sensors.
JP2017205134A (ja) 体調検出装置、体調検出方法及び体調検出プログラム
Rezaee et al. Modeling abnormal walking of the elderly to predict risk of the falls using Kalman filter and motion estimation approach
CN112438723A (zh) 认知功能评估方法、认知功能评估装置以及存储介质
Abd Shattar et al. Experimental setup for markerless motion capture and landmarks detection using OpenPose during dynamic gait index measurement
Serrano et al. Automated feet detection for clinical gait assessment
Walczak et al. Locating occupants in preschool classrooms using a multiple RGB-D sensor system
Nguyen et al. Vision-based global localization of points of gaze in sport climbing
Nevalainen et al. Image analysis and development of graphical user interface for pole vault action
CN113255462A (zh) 步态评分方法、系统、计算机程序产品及可读存储介质
Panaite et al. Pose and motion capture technologies
Albu et al. A Three-Dimensional Spatiotemporal Template for Interactive Human Motion Analysis.

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination