KR20130088507A - 인체의 관절구조를 추정하기 위한 장치 및 방법 - Google Patents

인체의 관절구조를 추정하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20130088507A
KR20130088507A KR1020120009783A KR20120009783A KR20130088507A KR 20130088507 A KR20130088507 A KR 20130088507A KR 1020120009783 A KR1020120009783 A KR 1020120009783A KR 20120009783 A KR20120009783 A KR 20120009783A KR 20130088507 A KR20130088507 A KR 20130088507A
Authority
KR
South Korea
Prior art keywords
human body
information
unit
skeleton
voxel
Prior art date
Application number
KR1020120009783A
Other languages
English (en)
Other versions
KR101849373B1 (ko
Inventor
김호원
이승욱
이지형
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120009783A priority Critical patent/KR101849373B1/ko
Priority to US13/753,378 priority patent/US9058514B2/en
Publication of KR20130088507A publication Critical patent/KR20130088507A/ko
Application granted granted Critical
Publication of KR101849373B1 publication Critical patent/KR101849373B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 특정한 공간에서 임의의 자세를 취하고 있는 인체 주변에 배치된 다중 카메라를 통해 획득된 다시점 영상을 이용하여 해당 인체의 골격구조를 추정할 수 있는 인체의 관절구조를 추정하기 위한 장치 및 방법에 관한 것이다. 이를 위해, 본 발명에 따른 인체의 관절구조를 추정하기 위한 장치는, 인체를 촬영한 다시점 영상들을 입력받는 다시점 영상 획득부; 획득된 다시점 영상들로부터 인체에 해당하는 전경 영역을 추출하는 인체 전경 분리부; 인체에 해당하는 전경 영역을 이용하여 인체의 기하학적 공간 점유 정보를 나타내는 복셀(voxel)들을 복원함으로써 복셀 기반의 인체의 3D 형상정보를 생성하는 인체 형상 복원부; 생성된 복셀 기반의 인체의 3D 형상정보로부터 3D 골격(skeleton) 정보를 생성하는 골격정보 추출부; 및 생성된 3D 골격 정보와 인체계측 정보를 이용하여 인체의 골격구조에서 각 관절의 위치를 추정하는 골격구조 추정부를 포함한다.

Description

인체의 관절구조를 추정하기 위한 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING SKELETON STRUCTURE OF HUMAN BODY}
본 발명은 인체의 관절구조를 추정하기 위한 장치 및 방법에 관한 것이다. 특히, 본 발명은 특정한 공간에서 임의의 자세를 취하고 있는 인체 주변에 배치된 다중 카메라를 통해 획득된 다시점 영상을 이용하여 해당 인체의 골격구조를 추정할 수 있는 인체의 관절구조를 추정하기 위한 장치 및 방법에 관한 것이다.
골격계에 기반하여 개체의 골격구조를 모델링하는 기술은 관절의 움직임에 따라 개체의 표면 형상이 변형된 정보로부터 실제 골격계의 관절 위치, 골격 구조 및 자세 정보 등을 추정하기 위해 사용된다.
이와 관련하여, 종래 기술을 살펴보면, Pin-Chou Liu, Fu-Che Wu, Wan-Chun Ma, Rung-Huei Liang, Ming Ouhyoung에 의해 공지된 논문 "Automatic Animation Skeleton Construction Using Repulsive Force Field(이하, 'Pin-Chou Liu'이라 한다.)" (IEEE Trans. Proceedings of the 11th Pacific Conference on Computer Graphics and Applications, Oct. 2003, pp. 409-413)와 Lawson Wade, Richard E. Parent에 의해 공지된 논문 "Automated Generation of Control Skeletons for Use in Animation" (The Visual Computer, vol.18, no.2, March 2002, pp.97-110)은, 컴퓨터 그래픽스 분야에서 개체의 3D 애니메이션을 위해, 개체의 표면형상을 모델링한 3D 폴리곤(polygon) 모델에서 3D 골격(skeleton)의 추출을 통해 개체의 형상에 적합한 3D 골격 구조를 추정하고, 추정된 골격 구조와 폴리곤을 구성하는 각 정점(vertex)들을 결합(Binding)하여 관절의 제어를 통해 개체의 표면 형상을 제어하고 있다.
또한, 컴퓨터 비전 분야에서는 개체의 모션 캡처를 통한 행동 인식을 위해, 개체의 움직임에 따른 3D 형상의 변형 정보를 다양한 카메라 센서를 통해 획득하고, 얻어진 영상 정보에서 개체의 3D 형상 정보를 추정하고, 추정된 개체의 3D 형상 정보에서 미리 정의된 개체의 골격 구조를 기반으로 골격 구조 내의 각 관절의 위치와 자세를 추정하여 개체의 행동을 분석하고 있다.
상기의 2가지 방식은 모두 개체의 골격 구조를 추정한다는 점에서 공통되지만, 골격 구조의 추정에 사용되는 형상 정보나 골격 구조의 특성을 정의하는 부분에서 차이가 있다.
그래픽스 분야에서 주로 사용되는 폴리곤 모델에서의 골격 구조 추정은 개체의 이상적인 3D 표면 형상 정보가 입력되었다는 가정 하에 전개된다. 반면, 컴퓨터 비전 분야의 골격구조 추정은 영상 센서를 통해 얻어진 실제 개체의 영상 정보에서 표면 형상 정보를 얻기 때문에 실제 개체의 표면 형상 정보가 왜곡될 가능성이 항상 존재하므로, 그래픽스 분야에서 접근하는 골격 구조의 추정 방식을 그대로 적용하는 경우 정확한 골격 구조의 추정이 어렵다는 문제가 있다.
이러한 정보 왜곡에 대하여, 골격 구조 추정의 강인성 확보와 더불어 개체의 골격 구조 내 관절들의 자세 추정을 통한 행동의 인식을 위해, 대부분의 컴퓨터 비전 분야의 기술들은 골격 구조 추정의 대상이 되는 개체의 3D 형상 정보 및 골격 구조를 미리 정의하고, 미리 정의된 골격 구조에서의 각 관절의 자세 제어를 통해, 시뮬레이션되어 미리 정의된 형상 정보 모델의 형상 변형 정보와 입력된 영상 정보에서 얻어진 형상 정보와의 오차가 최소화되도록 관절의 자세 제어값을 찾아냄으로써 개체의 골격구조를 추정하는 방법을 이용하고 있다. 이때, 미리 정의된 형상 정보는 대부분 개체의 3D 스캔이나 영상 정보에서 얻어낸 왜곡이 존재하는 개체의 형상 정보가 사용되고 있으며, 골격 구조 역시 개체의 실제 골격에 맞게 미리 사용자에 의해 정의된 관절의 위치나 길이 정보를 포함하는 골격 구조 모델을 사용하고 있다.
또한, 그러한 컴퓨터 비전 분야에서의 접근 방법들은 골격 구조 내 관절의 위치 추정, 즉 모션 캡처를 위해, 시간적으로 인접한 영상 프레임의 관절 정보에 의존적인 트래킹(tracking) 방법을 주로 사용하고 있으나, 이런 방법은 인접 영상 프레임에서 잘못된 트래킹이 수행될 경우 에러가 전파된다는 문제점이 있다.
상기와 같은 문제들을 해결하기 위해, Jamie Shotton 등에 의해 공지된 논문 "Real-Time Human Pose Recognition in Parts from Single Depth Images" (presented at IEEE Computer Vision and Pattern Recognition 2011, June 2011)에서는 데이터기반 학습에 의한 영상 프레임 별로 독립적인 관절의 자세 추정 방법을 제시하고 있다.
본 발명은, 데이터기반 학습을 수행할 필요없이 인체계측 정보를 기반으로, 다양한 각도에서 인체를 촬영한 다시점 영상 정보를 이용하여 임의의 자세를 취하는 인체의 골격 정보를 추출하고, 추출된 인체의 골격 정보와 인체계측 정보를 결합하여 인체의 골격구조를 구성하는 각 관절의 자세 정보를 추정함으로써, 임의의 자세를 취하는 인체의 골격 구조를 추정할 수 있는 기술을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명에 따른 인체의 관절구조를 추정하기 위한 장치는, 인체를 촬영한 다시점 영상들을 입력받는 다시점 영상 획득부; 상기 획득된 다시점 영상들로부터 인체에 해당하는 전경 영역을 추출하는 인체 전경 분리부; 상기 인체에 해당하는 전경 영역을 이용하여 인체의 기하학적 공간 점유 정보를 나타내는 복셀(voxel)들을 복원함으로써 복셀 기반의 인체의 3D 형상정보를 생성하는 인체 형상 복원부; 상기 생성된 복셀 기반의 인체의 3D 형상정보로부터 3D 골격(skeleton) 정보를 생성하는 골격정보 추출부; 및 상기 생성된 3D 골격 정보와 인체계측 정보를 이용하여 인체의 골격구조에서 각 관절의 위치를 추정하는 골격구조 추정부를 포함하는 것을 특징으로 한다.
이때, 상기 골격정보 추출부는, 상기 인체의 3D 형상정보에서의 표면 복셀(surface voxel)들에서 상기 인체에 대한 3D 형상의 표현이 가능한 최소한의 표면 복셀인 중심 표면 복셀(medial surface voxel)들을 추출하는 중심 표면 복셀 추출부를 포함할 수 있다.
이때, 상기 골격정보 추출부는, 상기 추출된 중심 표면 복셀들의 각 복셀에 대하여 인체의 무게중심과의 거리 정도를 나타내는 가중치를 계산하는 가중치 계산부를 더 포함할 수 있다.
이때, 상기 골격정보 추출부는, 상기 가중치에 기초하여 중심 표면 복셀들에서 지역 최소점(local minima)에 해당하는 중심 표면 복셀인 노드(node)들을 추출하는 노드 추정부를 더 포함할 수 있다.
이때, 상기 골격정보 추출부는, 상기 노드들에서 인체의 계층적 골격구조에서의 루트(root) 관절에 해당하는 루트 노드를 결정하는 루트 노드 결정부를 더 포함할 수 있다.
이때, 상기 골격정보 추출부는, 상기 루트 노드를 출발점으로 다익스트라(dijkstra) 알고리즘에 따른 최단경로로 상기 노드들을 연결하여 인체의 각 부위 별로 3D 골격 정보를 추출하는 3D 골격구조 추출부를 더 포함할 수 있다.
이때, 상기 다시점 영상 획득부는, 인체를 촬영하는 다중 카메라로부터 입력되는 각각의 다시점 영상에 대하여 상기 다중 카메라의 무게중심점에 위치한 전역좌표계(global coordinate)를 중심으로 카메라 기하보정을 수행할 수 있다.
이때, 상기 인체 형상 복원부는, 상기 다시점 영상 획득부에 의해 수행된 카메라 기하보정에 대한 정보에 기반하여 구성된 복셀 공간의 각 복셀을 다시점 영상의 개별 영상에 투영하여 상기 복셀 기반의 인체의 3D 형상정보를 생성할 수 있다.
이때, 본 발명에 따른 인체의 관절구조를 추정하기 위한 장치는, 상기 카메라 기하보정에 대한 정보, 인체계측 정보 및 인체의 계층적 골격구조에 대한 정보를 저장하는 저장부를 더 포함할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 인체의 관절구조를 추정하기 위한 방법은, 인체를 촬영한 다시점 영상들을 입력받는 단계; 상기 획득된 다시점 영상들로부터 인체에 해당하는 전경 영역을 추출하는 단계; 상기 인체에 해당하는 전경 영역을 이용하여 인체의 기하학적 공간 점유 정보를 나타내는 복셀들을 복원함으로써 복셀 기반의 인체의 3D 형상정보를 생성하는 단계; 상기 생성된 복셀 기반의 인체의 3D 형상정보로부터 3D 골격 정보를 생성하는 단계; 및 상기 생성된 3D 골격 정보와 인체계측 정보를 이용하여 인체의 골격구조에서 각 관절의 위치를 추정하는 단계를 포함하는 것을 특징으로 한다.
이때, 상기 3D 골격 정보를 생성하는 단계는, 상기 인체의 3D 형상정보에서의 표면 복셀들에서 상기 인체에 대한 3D 형상의 표현이 가능한 최소한의 표면 복셀인 중심 표면 복셀들을 추출하는 단계를 포함할 수 있다.
이때, 상기 3D 골격 정보를 생성하는 단계는, 상기 중심 표면 복셀들의 각 복셀에 대하여 인체의 무게중심과의 거리 정도를 나타내는 가중치를 계산하는 단계를 더 포함할 수 있다.
이때, 상기 3D 골격 정보를 생성하는 단계는, 상기 가중치에 기초하여 중심 표면 복셀들에서 지역 최소점에 해당하는 중심 표면 복셀인 노드들을 추출하는 단계를 더 포함할 수 있다.
이때, 상기 3D 골격 정보를 생성하는 단계는, 상기 노드들에서 인체의 계층적 골격구조에서의 루트 관절에 해당하는 루트 노드를 결정하는 단계를 더 포함할 수 있다.
이때, 상기 3D 골격 정보를 생성하는 단계는, 상기 루트 노드를 출발점으로 다익스트라 알고리즘에 따른 최단경로로 상기 노드들을 연결하여 인체의 각 부위 별로 3D 골격 정보를 추출하는 단계를 더 포함할 수 있다.
이때, 인체를 촬영한 다시점 영상들을 입력받는 단계는, 인체를 촬영하는 다중 카메라로부터 입력되는 각각의 다시점 영상에 대하여 상기 다중 카메라의 무게중심점에 위치한 전역좌표계를 중심으로 카메라 기하보정을 수행하는 단계를 포함할 수 있다.
이때, 상기 복셀 기반의 인체의 3D 형상정보는 상기 카메라 기하보정에 대한 정보에 기반하여 구성된 복셀 공간의 각 복셀을 다시점 영상의 개별 영상에 투영하여 생성될 수 있다.
사용자로부터 입력된 관절 위치 정보 또는 시간 축 상의 인접 프레임의 관절 위치 정보를 이용하는 트래킹 방법에 의해 임의의 자세를 취하는 인체의 골격 구조를 추정하는 종래 기술에 대하여, 본 발명은 인체를 촬영한 다시점 영상정보만을 이용하여 관절 위치를 추정할 수 있으므로, 사용자로부터의 입력된 정보 또는 인접 프레임의 자세 정보 없이도 임의의 자세를 취하는 인체의 자세 정보를 얻을 수 있는 효과가 있다.
또한, 본 발명에 따르면, 인체의 행동패턴 분석, 보안 분야의 인체 인식 및 마커리스(markerless) 인체 모션 캡처 분야에 적용될 수 있는 골격 구조 추정 기술을 제공할 수 있다.
도 1은 본 발명에 따른 인체의 관절구조를 추정하기 위한 장치의 구성을 나타내는 블록도이다.
도 2는 임의의 자세를 취하고 있는 인체를 촬영한 다중 카메라들로부터 다시점 영상들을 획득하는 것을 설명하기 위한 도면이다.
도 3은 복셀을 기반으로 하는 인체의 3D 형상정보를 생성하는 것을 설명하기 위한 도면이다.
도 4는 도 1에 도시된 골격정보 추출부의 구성을 나타내는 블록도이다.
도 5는 중심 표면 복셀을 추출하는 것을 설명하기 위한 도면이다.
도 6은 표면 복셀들의 수와 중심 표면 복셀들의 수를 비교하기 위한 도면이다.
도 7은 지역 최소점에 해당하는 노드를 추정하는 것을 설명하기 위한 도면이다.
도 8은 노드들을 예시적으로 표현한 다이어그램이다.
도 9는 인체의 계층적 골격구조를 예시적으로 표현한 도면이다.
도 10은 루트 노드를 기준으로 인체의 상부와 하부를 구분하는 것을 설명하기 위한 도면이다.
도 11은 계층적 골격구조를 인체에 적용하는 것을 설명하기 위한 도면이다.
도 12는 오른팔에 대한 3D 골격 정보를 이용하여 관절의 위치를 추정하는 것을 설명하기 위한 도면이다.
도 13 및 도 14는 본 발명에 따른 인체의 관절구조를 추정하기 위한 방법을 설명하기 위한 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하에서는 도 1 내지 도 12를 참조하여, 본 발명에 따른 인체의 관절구조를 추정하기 위한 장치의 구성 및 동작에 대하여 설명하도록 한다.
도 1은 본 발명에 따른 인체의 관절구조를 추정하기 위한 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 본 발명에 따른 인체의 관절구조를 추정하기 위한 장치(10)는 다시점 영상 획득부(100), 인체 전경 분리부(200), 인체 형상 복원부(300), 골격정보 추출부(400), 골격구조 추정부(500) 및 저장부(600)를 포함하여 구성된다.
다시점 영상 획득부(100)는, 도 2와 함께 참조하면, 먼저 특정한 공간에서 임의의 자세를 취하고 있는 인체(22)를 촬영한 다중 카메라(24)들로부터 다시점 영상들(26)을 입력으로 받는다. 그리고, 다시점 영상 획득부(110)는 입력된 다시점 영상들(26)의 개별 영상에 대하여 다중 카메라의 무게중심점에 위치한 전역좌표계(global coordinate)를 중심으로 카메라 기하보정을 수행한다. 또한, 다시점 영상 획득부(110)는 다시점 영상들(26)의 개별 영상에 대하여 수행한 카메라 기하보정에 대한 정보를 저장부(600)의 기하보정 정보 저장부(620)에 저장한다.
인체 전경 분리부(200)는 상기 다시점 영상 획득부(100)에 의해 카메라 기하보정이 수행된 다시점 영상들(26)의 개별 영상에서 인체를 촬영한 영역에 해당하는 전경(foreground) 영역을 추출한다. 즉, 인체 전경 분리부(200)는 다시점 영상 획득부(100)에 의해 카메라 기하보정이 수행된 다시점 영상들(26)의 개별 영상에서, 인체가 없을 때 해당 카메라 위치에서 촬영된 영상인 배경영상과 인체가 있을 때 촬영된 영상 간의 차분을 이용하는 크로마키(chroma-key) 방식으로 인체에 해당하는 전경 영역을 추출한다.
인체 형상 복원부(300)는 상기 인체 전경 분리부(200)에 의해 추출된 인체에 해당하는 전경 영역으로부터 인체의 기하학적 공간 점유 정보를 나타내는 복셀(voxel)들을 복원함으로써 복셀 기반의 인체의 3D 형상정보를 생성한다. 먼저, 인체 형상 복원부(300)는, 도 3과 함께 참조하면, 인체를 포함하는 3차원(3-Dimensions; 3D) 영상의 공간을 저장부(600)의 기하보정 정보 저장부(620)에 기저장된 카메라 기하보정에 대한 정보를 기반으로 특정한 크기의 복셀(40)의 조합으로 구성한다. 그리고, 인체 형상 복원부(300)는 상기 카메라 기하보정에 대한 정보를 기반으로 구성된 복셀 공간의 각 복셀(40)을 개별 영상에 투영하고, 각 복셀(40)이 투영된 개별 영상에서의 영역이 인체 전경 분리부(200)에 의해 추출된 인체에 해당하는 전경 영역 내에 포함되는지 여부에 따라 각 복셀의 존재 유무를 결정한다. 이러한 복원 과정을 통하여 존재하는 복셀들은 실제 인체가 3D 공간 상에 위치하여 임의의 자세를 취하였을 때, 상기 3D 공간에 대한 인체의 기하학적 공간 점유 정보인 인체의 3D 형상정보를 나타낸다. 즉, 3D 공간 내에 일정한 공간을 점유하는 인체의 형상은 상기 존재하는 복셀들의 전체 집합 내에 포함된다.
골격정보 추출부(400)는 상기 인체 형상 복원부(300)에 의해 생성된 복셀 기반의 인체 3D 형상정보에서 표면 복셀(surface voxel)들 중 해당 인체의 3D 형상에 대한 표현이 가능한 최소한의 표면 복셀들을 추출한다. 그리고, 골격정보 추출부(400)는 추출된 중심 표면 복셀의 무게중심으로 향하는 방향정보를 이용하여 지역 최소점(local minima)에 해당하는 표면 복셀인 노드(node)를 추정하고, 그로부터 인체의 계층적 골격구조에서의 루트 관절에 해당하는 루트 노드를 결정함으로써, 인체의 3D 골격(skeleton)에 대한 정보를 생성한다.
이러한, 골격정보 추출부(400)는, 도 4를 참조하면, 구체적으로 중심 표면 복셀 추출부(410), 가중치 계산부(420), 노드 추정부(430), 루트 노드 결정부(440) 및 3D 골격구조 추출부(450)를 포함하여 구성될 수 있다.
중심 표면 복셀 추출부(410)는, 인체 형상 복원부(300)에 의해 임의의 자세를 취하는 인체의 3D 형상정보가 복셀의 복원을 통해 생성되면, 복원된 복셀 중 표면 복셀(surface voxel)로부터 골격 정보를 추출하기 위해, 해당 인체의 3D 형상에 대한 표현이 가능한 최소한의 복셀만이 남을 때까지 표면 복셀들을 제거하여 해당 인체의 3D 형상에 대한 표현이 가능한 최소한의 표면 복셀인 중심 표면 복셀(medial surface voxel)들을 추출한다. 먼저, 중심 표면 복셀 추출부(410)는, 도 5와 함께 참조하면, 시험 표면 복셀(testing surface voxel, 62)을 중심으로 3D 공간 상에 이웃하는 인접 복셀들 중에 내부 복셀(inner voxel, 64)들의 방향벡터를 추정하고, 인접한 내부 복셀들의 추정된 방향벡터를 이용하여 3D 표면(66)을 구성한다. 그리고, 중심 표면 복셀 추출부(410)는 구성된 3D 평면(66)의 하부 공간에 3D 평면 (66)의 방향벡터를 기준으로 일정 각도 이내에 해당하는 표면 복셀이 존재하는지 여부를 확인한다. 만약, 구성된 3D 평면의 하부 공간에 표면 복셀이 존재하지 않는 경우에는, 해당 시험 표면 복셀은 중심 표면 복셀이 아니므로 제거된다. 반면, 구성된 3D 평면의 하부 공간에 표면 복셀이 존재하는 경우에는, 해당 시험 표면 복셀은 중심 표면을 연결하는 복셀이므로, 중심 표면 복셀로 추출된다. 이와 같은 중심 표면 복셀의 추출 결과, 도 6의 예시와 같이, 중심 표면 복셀들(72)의 수는 인체 형상 복원부(300)에 의해 생성된 인체의 3D 형상정보에서의 표면 복셀들(74)의 수에 비해 많은 비율로 감소된다. 또한, 이러한 중심 표면 복셀들(72)은 여전히 3D 공간 상에 분포한다.
가중치 계산부(420)는 상기 중심 표면 복셀 추출부(410)에 의해 추출된 중심 표면 복셀들의 각 복셀에 대하여 인체의 무게중심과의 거리 정도를 나타내는 가중치를 계산한다. 즉, 중심 표면 복셀 추출부(410)에 의해 추출된 중심 표면 복셀들에서 1차원(1-Dimension; 1D)의 골격 정보를 추출하기 위해 추가적인 데이터 처리 과정이 수행되어야 하는데, 이를 위해 가중치 계산부(420)는 중심 표면 복셀 추출부(410)에 의해 추출된 중심 표면 복셀들에 대하여 각 복셀 별로 인접한 표면 복셀에서 어느 정도의 무게중심에 존재하는지에 대한 가중치를 계산한다. 표면 복셀에 대한 가중치를 계산하는 알고리즘에 관해서는 앞서 언급한 바 있는 'Pin-Chou Liu'와 Fu-Che Wu, Wan-Chun Ma, Ming Ouhyoung에 의해 공지된 논문 "Skeleton Extraction of 3D Objects with Visible Repulsive Force" (presented at Computer Graphics Workshop 2003 in Hua-Lien Taiwan, 2003)에 개시되어 있는 repulsive force를 구하는 알고리즘을 통해 잘 알려져 있으므로, 본 명세서에서는 표면 복셀에 대한 가중치를 계산하는 알고리즘에 관한 자세한 설명은 생략한다. 다만, 본 발명에서는 상기 'Pin-Chou Liu'와 'Fu-Che Wu'와 같이 가중치 계산의 속도 향상을 위한 옥트리 구조(octree structure)를 구성할 필요없이 해당 ray 방향과 교차하는 표면 복셀을 찾으면 되고, 샘플링 복셀 공간의 모든 복셀들에 대해 가중치를 계산하는 것이 아니라 중심 표면에 해당하는 복셀들의 가중치만 계산하면 되므로, 가중치를 계산하기 위한 시간이 빠르다는 장점이 있다. 이때, 가중치는 인체의 표면에 가까운 중심 표면 복셀에 대해서는 1에 가까운 값을 가지고, 인체의 무게중심에 가까운 중심 표면 복셀에 대해서는 0에 가까운 값을 가진다. 또한, 가중치는 인체의 무게중심으로 향하는 방향정보를 가지게 된다.
노드 추정부(430)는 상기 가중치 계산부(420)에 의해 중심 표면 복셀에 대한 가중치가 계산되면, 이를 기반으로 중심 표면에서 구하고자 하는 인체의 3D 골격 정보를 추출하기 위해, 각 중심 표면 복셀의 방향정보를 이용하여 지역 최소점에 해당하는 중심 표면 복셀을 추정하게 된다. 이때, 본 발명에서 지역 최소점을 추정하기 위한 알고리즘은 앞서 언급한 바 있는 공지된 논문 'Fu-Che Wu'에 개시되어 있는 지역 최소점을 추출하는 방식이 사용되며, 본 명세서에서는 지역 최소점을 추정하기 위한 알고리즘에 관한 자세한 설명은 생략한다. 다만, 'Fu-Che Wu'는 메쉬(mesh)를 구성하는 정점(vertex)에서 연속적인 3D 공간을 탐색하지만, 본 발명에서는 각 중심 표면 복셀에서 인접하는 중심 표면 복셀들의 가중치와 방향정보에 기초하여 중심 표면 복셀들 중에서 지역 최소점을 탐색한다. 또한, 도 7과 함께 참조하면, 본 발명에서는 전체 복셀 공간의 모든 표면 복셀들을 대상으로 지역 최소점을 탐색하는 것이 아니라, 오직 중심 표면 복셀들을 대상으로 지역 최소점을 탐색하면 되므로, 'Fu-Che Wu'에서의 지역 최소점의 탐색 시간에 비해 본 발명에서의 지역 최소점의 탐색 시간이 더 빠르다는 장점이 있다. 이하에서는, 지역 최소점에 해당하는 중심 표면 복셀(80)을 '노드'라고 한다. 이때, 각 노드들에는 어느 중심 표면 복셀이 자신에게 수렴하고 있는지에 대한 정보가 저장되며, 이러한 정보를 이용하여 각 노드(90)들을, 도 8에 도시된 바와 같은 예시적인 다이어그램으로 표현될 수 있다. 이때, 노드들 간의 에지(edge)의 코스트(cost)는 2개의 노드를 연결하는 연결선 상에 존재하는 중심 표면 복셀들의 가중치의 합과 노드 간의 유클리디안 거리(Euclidean distance)의 곱으로 나타낼 수 있다.
루트 노드 결정부(440)는 각 노드들에 대한 다이어그램이 구성되면, 저장부(600)의 골격 계층구조 정보 저장부(640)에 기저장된 인체의 계층적 골격구조에서 루트가 되는 관절의 위치를 결정한다. 이때, 저장부(600)의 골격 계층구조 정보 저장부(640)에 기저장된 인체의 계층적 골격구조(12)는 도 9의 예시와 같이 분기형 트리 구조로 모델링될 수 있다. 루트 노드 결정부(440)는 중심 표면 복셀들로부터 가장 많은 수렴을 받은 노드를 루트가 되는 관절에 해당하는 노드(이하, '루트 노드'라 한다.)로 결정한다. 통상적으로 루트 노드는 인체의 명치 부분에서 결정된다.
3D 골격구조 추출부(450)는, 루트 노드 결정부(440)에 의해 루트 노드가 결정되면, 상기 루트 노드를 출발점으로 다익스트라 알고리즘에 따른 최단경로로 노드들을 연결하여 인체의 각 부위 별로 3D 골격 정보를 생성하고, 이러한 3D 골격이 실제 인체의 어느 부위에 해당하는지에 대한 정보(이하, '부위 정보'라 한다.)를 추정한다. 이를 위해, 3D 골격구조 추출부(450)는 먼저 루트 노드(14)로 수렴하는 중심 표면 복셀들을 이용하여 3D 표면 정보를 추정한다. 3D 표면이 정의되면, 도 10의 예시와 같이, 3D 골격구조 추출부(450)는 선(16)을 기준으로 인체의 상부와 하부의 중심 표면을 분리하며, 이러한 차분이 최대가 되는 선을 찾아 화살표(18)로 표시되는 바와 같이 인체의 상부와 하부를 구분한다. 인체의 상부와 하부에 대한 구분이 수행되면, 3D 골격구조 추출부(450)는 루트 노드(14)를 중심으로 머리 부위, 몸통 부위, 좌/우 팔 부위, 좌/우 다리 부위에 대한 3D 공간에서의 영역을 구분하며, 각 노드들이 인체의 어느 부위에 해당하는지에 대한 부위 정보를 추정한다. 그리고, 3D 골격구조 추출부(450)는 노드들에 대한 다이어그램에서 인체의 각 부위의 노드들에 대해 다익스트라(dijkstra)의 최단거리 추출 알고리즘을 적용하여 루트 노드를 출발점으로 최소의 가중치의 합을 갖는 노드들을 경유하는 최단 경로를 찾고, 인체의 각 부위 별로 이러한 최단 경로의 노드들을 연결하여 3D 골격 정보를 생성한다. 인체의 각 부위 별로 3D 골격 정보가 생성되면, 3D 골격구조 추출부(450)는 각 골격의 3D 유클리디안 거리를 이용하여 각 부위에 대한 추정이 적합한지를 검증한다. 상기의 검증이 완료되면, 3D 골격구조 추출부(450)는 다리 부위의 발의 방향 정보와 머리 부위의 방향 정보를 이용하여 팔 및 다리 부위의 좌/우를 구분한다. 구체적으로, 먼저 다리 부위의 좌/우를 구분하기 위해, 다리 부위의 최장거리에 위치한 노드들의 정보를 이용하여 발목의 회전각을 추출한다. 그 다음으로, 실제로 인체의 얼굴 부위가 정면을 바라보는 T-자세를 취한 상태에서 발목은 좌/우로 90도 이상 회전할 수 없다는 발목의 회전각에 대한 제한정보를 이용하여 다리 부위의 좌/우를 구분한다. 상기와 같은 과정으로 다리 부위의 좌/우가 구분되면, 그에 따라 팔 부위의 좌/우가 자동적으로 구분될 수 있다. 이때, 부위 정보가 팔 및 다리 부위의 좌/우가 반대로 바뀌어 추정되었다면, 팔 및 다리 부위의 좌/우를 변경한다.
골격구조 추정부(500)는 골격정보 추출부(400)에 의해 생성된 인체의 부위 별 3D 골격 정보와 인체계측 정보를 이용하여 인체의 골격구조에서 각 관절의 위치를 추정한다. 즉, 골격구조 추정부(500)는 부위 별로 생성된 3D 골격 정보를 이용하여 각 관절의 위치를 추정하고, 인접 관절들의 위치 정보를 이용하여 각 관절의 회전각을 추출하여, 도 11의 예시와 같이, 저장부(600)의 골격 계층구조 정보 저장부(640)에 기저장된 인체의 계층적 골격구조를 해당 인체에 적용한다. 이를 위해, 골격구조 추정부(500)는 먼저 골격정보 추출부(400)에 의해 생성된 인체의 부위 별 3D 골격 정보와 부위 정보를 이용하여 인체의 키 정보를 추출한다. 이는 저장부(600)의 인체계측 정보 저장부(660)에 기저장된 인체계측 정보가 인체의 키 정보를 기반으로 분류되어 있기 때문이다. 인체의 키가 정해지면, 인체계측 정보는 해당 인체의 키에서 팔 및 다리 길이, 무릎 길이 등이 평균적으로 어느 정도의 길이를 갖는지에 대한 부위 별 평균 길이를 제공한다. 인체계측 정보로부터의 각 부위 별 평균 길이에 대한 정보를 골격정보 추출부(400)에 의해 생성된 인체의 부위 별 3D 골격에 적용하고, 인체의 부위 별 3D 골격의 커브(curve) 정보와 매칭하여 실제 인체의 관절 위치를 추정할 수 있다. 예를 들어, 도 12를 참조하여, 골격구조 추정부(500)가 오른팔에 대한 3D 골격 정보를 이용하여 관절의 위치를 추정하는 과정을 설명한다. 먼저, 골격구조 추정부(500)는 저장부(600)의 인체계측 정보 저장부(660)에 기저장된 인체계측 정보에서 한국 성인기준 인체의 손길이에 대한 정보와 그에 대한 오차율에 대한 정보를 제공받는다. 골격구조 추정부(500)는 상기 인체계측 정보로부터 제공받은 인체의 손길이(예를 들어, 20cm)에 대한 정보와 그에 대한 오차율(예를 들어, +/- 3cm 이내)에 대한 정보를 이용하여, 골격정보 추출부(400)에 의해 생성된 인체의 오른팔에 대한 3D 골격에서 하단부(32)로부터 인체의 손길이에 해당하는 영역 근처에 가장 작은 둘레 길이를 갖는 지점을 손목 관절의 위치(34)로 추정한다. 또한, 인체계측 정보를 이용하여 어깨로 추정되는 영역 근처에 단면의 둘레 길이가 급격하게 변하는 지점을 어깨 관절의 위치(36)로 추정한다. 손목과 어깨 관절의 위치가 추정되면, 팔꿈치 관절은 인체의 팔에서 어깨와 손목 관절 사이에서 유일하게 굽힘이 발생할 수 있는 부분이므로, 손목 관절의 위치(34)와 어깨 관절의 위치(36)을 연결한 선으로부터 가장 거리가 먼 지점을 팔꿈치 관절의 위치(38)로 추정한다. 이와 같이, 골격구조 추정부(500)는 위치 추정이 명확하거나 무릎 또는 팔꿈치 등과 같이 접힘이 존재하여 위치 추정이 용이한 관절의 위치를 먼저 추정하고, 나머지 추정되지 아니한 관절 위치는 먼저 추정된 관절의 위치와 인체계측 정보를 이용하여 자동으로 추정할 수 있다. 그리고, 골격구조 추정부(500)는 추정된 관절의 위치 정보를 조합하여 임의의 자세를 취한 인체의 전체 골격구조를 추정한다.
저장부(600)는 기하보정 정보 저장부(620), 골격 계층구조 정보 저장부(640) 및 인체계측 정보 저장부(660)를 포함한다.
기하보정 정보 저장부(620)는 다시점 영상 획득부(110)가 다시점 영상들(26)의 개별 영상에 대하여 수행한 카메라 기하보정에 대한 정보를 저장하고, 이를 인체 형상 복원부(300)에 제공한다. 또한, 골격 계층구조 정보 저장부(640)는 인체의 계층적 골격구조에 대한 정보를 저장하고, 이를 루트 노드 결정부(440)로 제공한다. 이때, 각 트리 구조의 노드의 실제 3차원 위치는 사용자의 GUI 기반 입력이나 인체계측학적 골격구조 분석을 통해 생성한다. 또한, 이러한 인체의 계층적 골격구조는 골격계의 범주 내에서 사용자가 원하는 대로 자유롭게 정의할 수 있다. 또한, 인체계측 정보 저장부(660)는 인체계측 정보를 저장하고, 이를 골격구조 추정부(500)로 제공한다.
이하에서는 도 13 및 도 14를 참조하여, 본 발명에 따른 인체의 관절구조를 추정하기 위한 방법에 대하여 설명하도록 한다. 앞서, 도 1 내지 도 12를 참조하여 설명한 인체의 관절구조를 추정하기 위한 장치의 동작과 일부 중복되는 부분은 생략하여 설명하기로 한다.
도 13은, 본 발명에 따른 인체의 관절구조를 추정하기 위한 방법을 설명하기 위한 흐름도이다.
도 13을 참조하면, 본 발명에 따른 인체의 관절구조를 추정하기 위한 방법은 먼저, 다시점 영상 획득부가 다중 카메라들로부터 특정한 공간에서 임의의 자세를 취하고 있는 인체를 촬영한 다시점 영상들을 입력으로 받는다(S100). 이때, 다시점 영상 획득부는 인체를 촬영하는 다중 카메라로부터 입력되는 각각의 다시점 영상에 대하여 다중 카메라의 무게중심점에 위치한 전역좌표계를 중심으로 카메라 기하보정을 수행한다.
그리고, 인체 전경 분리부는 다시점 영상 획득부에 의해 카메라 기하보정이 수행된 다시점 영상들의 개별 영상에서 인체를 촬영한 영역에 해당하는 전경 영역을 추출한다(S200).
그 다음으로, 인체 형상 복원부는 인체 전경 분리부에 의해 추출된 인체에 해당하는 전경 영역으로부터 인체의 기하학적 공간 점유 정보를 나타내는 복셀들을 복원함으로써 복셀 기반의 인체의 3D 형상정보를 생성한다(S300). 이때, 상기 복셀 기반의 인체의 3D 형상정보는 상기 카메라 기하보정에 대한 정보에 기반하여 구성된 복셀 공간의 각 복셀을 다시점 영상의 개별 영상에 투영하여 생성된다.
그리고, 골격정보 추출부는 인체 형상 복원부에 의해 생성된 복셀 기반의 인체 3D 형상정보로부터 인체의 3D 골격 정보를 생성한다(S400).
마지막으로, 골격구조 추정부는 골격정보 추출부에 의해 생성된 인체의 3D 골격 정보와 저장부에 기저장된 인체계측 정보를 이용하여 인체의 골격구조에서 각 관절의 위치를 추정한다(S500).
도 14는, 도 13에 도시된 본 발명에 따른 관절구조를 추정하기 위한 방법에 대한 흐름도에서 S400 단계를 보다 구체적으로 설명하기 위한 흐름도이다.
도 14를 참조하면, 복셀 기반의 인체 3D 형상정보로부터 인체의 3D 골격 정보를 생성하는 S400 단계는 먼저, 중심 표면 복셀 추출부가 인체 형상 복원부에 의해 생성된 복셀 기반의 인체의 3D 형상정보에서 표면 복셀들로부터 인체에 대한 3D 형상의 표현이 가능한 최소한의 표면 복셀인 중심 표면 복셀들을 추출한다(S410).
그리고, 가중치 계산부는 중심 표면 복셀 추출부에 의해 추출된 중심 표면 복셀들의 각 복셀에 대하여 인체의 무게중심과의 거리 정도를 나타내는 가중치를 계산한다(S420).
그 다음으로, 노드 추정부는 가중치 계산부에 의해 계산된 중심 표면 복셀의 가중에 기초하여 지역 최소점에 해당하는 중심 표면 복셀인 노드를 추출한다(S430).
그리고, 루트 노드 결정부는 노드 추정부에 의해 추출된 노드들에서 저장부에 기저장된 인체의 계층적 골격구조에서의 루트 관절에 해당하는 루트 노드를 결정한다(S440).
그 다음으로, 3D 골격구조 추출부는 루트 노드 결정부에 의해 결정된 루트 노드를 출발점으로 다익스트라 알고리즘에 따른 최단경로를 구하여 노드들을 연결함으로써 인체의 각 부위 별로 3D 골격 정보를 추출한다(S450).
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 인체 관절구조 추정 장치
100: 다시점 영상 획득부
200: 인체 전경 분리부
300: 인체 형상 복원부
400: 골격정보 추출부
410: 중심 표면 복셀 추출부
420: 가중치 계산부
430: 노드 추정부
440: 루트 노드 결정부
450: 3D 골격구조 추출부
500: 골격구조 추정부
600: 저장부
620: 기하보정 정보 저장부
640: 골격 계층구조 정보 저장부
660: 인체계측 정보 저장부

Claims (17)

  1. 인체를 촬영한 다시점 영상들을 입력받는 다시점 영상 획득부;
    상기 획득된 다시점 영상들로부터 인체에 해당하는 전경 영역을 추출하는 인체 전경 분리부;
    상기 인체에 해당하는 전경 영역을 이용하여 인체의 기하학적 공간 점유 정보를 나타내는 복셀(voxel)들을 복원함으로써 복셀 기반의 인체의 3D 형상정보를 생성하는 인체 형상 복원부;
    상기 생성된 복셀 기반의 인체의 3D 형상정보로부터 3D 골격(skeleton) 정보를 생성하는 골격정보 추출부; 및
    상기 생성된 3D 골격 정보와 인체계측 정보를 이용하여 인체의 골격구조에서 각 관절의 위치를 추정하는 골격구조 추정부를 포함하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 장치.
  2. 청구항 1에 있어서,
    상기 골격정보 추출부는, 상기 인체의 3D 형상정보에서의 표면 복셀(surface voxel)들에서 상기 인체에 대한 3D 형상의 표현이 가능한 최소한의 표면 복셀인 중심 표면 복셀(medial surface voxel)들을 추출하는 중심 표면 복셀 추출부를 포함하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 장치.
  3. 청구항 2에 있어서,
    상기 골격정보 추출부는, 상기 추출된 중심 표면 복셀들의 각 복셀에 대하여 인체의 무게중심과의 거리 정도를 나타내는 가중치를 계산하는 가중치 계산부를 더 포함하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 장치.
  4. 청구항 3에 있어서,
    상기 골격정보 추출부는, 상기 가중치에 기초하여 중심 표면 복셀들에서 지역 최소점(local minima)에 해당하는 중심 표면 복셀인 노드(node)들을 추출하는 노드 추정부를 더 포함하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 장치.
  5. 청구항 4에 있어서,
    상기 골격정보 추출부는, 상기 노드들에서 인체의 계층적 골격구조에서의 루트(root) 관절에 해당하는 루트 노드를 결정하는 루트 노드 결정부를 더 포함하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 장치.
  6. 청구항 5에 있어서,
    상기 골격정보 추출부는, 상기 루트 노드를 출발점으로 다익스트라(dijkstra) 알고리즘에 따른 최단경로로 상기 노드들을 연결하여 인체의 각 부위 별로 3D 골격 정보를 추출하는 3D 골격구조 추출부를 더 포함하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 장치.
  7. 청구항 6에 있어서,
    상기 다시점 영상 획득부는, 인체를 촬영하는 다중 카메라로부터 입력되는 각각의 다시점 영상에 대하여 상기 다중 카메라의 무게중심점에 위치한 전역좌표계(global coordinate)를 중심으로 카메라 기하보정을 수행하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 장치.
  8. 청구항 7에 있어서,
    상기 인체 형상 복원부는, 상기 다시점 영상 획득부에 의해 수행된 카메라 기하보정에 대한 정보에 기반하여 구성된 복셀 공간의 각 복셀을 다시점 영상의 개별 영상에 투영하여 상기 복셀 기반의 인체의 3D 형상정보를 생성하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 장치.
  9. 청구항 8에 있어서,
    상기 카메라 기하보정에 대한 정보, 인체계측 정보 및 인체의 계층적 골격구조에 대한 정보를 저장하는 저장부를 더 포함하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 장치.
  10. 인체를 촬영한 다시점 영상들을 입력받는 단계;
    상기 획득된 다시점 영상들로부터 인체에 해당하는 전경 영역을 추출하는 단계;
    상기 인체에 해당하는 전경 영역을 이용하여 인체의 기하학적 공간 점유 정보를 나타내는 복셀들을 복원함으로써 복셀 기반의 인체의 3D 형상정보를 생성하는 단계;
    상기 생성된 복셀 기반의 인체의 3D 형상정보로부터 3D 골격 정보를 생성하는 단계; 및
    상기 생성된 3D 골격 정보와 인체계측 정보를 이용하여 인체의 골격구조에서 각 관절의 위치를 추정하는 단계를 포함하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 방법.
  11. 청구항 10에 있어서,
    상기 3D 골격 정보를 생성하는 단계는,
    상기 인체의 3D 형상정보에서의 표면 복셀들에서 상기 인체에 대한 3D 형상의 표현이 가능한 최소한의 표면 복셀인 중심 표면 복셀들을 추출하는 단계를 포함하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 방법.
  12. 청구항 11에 있어서,
    상기 3D 골격 정보를 생성하는 단계는,
    상기 중심 표면 복셀들의 각 복셀에 대하여 인체의 무게중심과의 거리 정도를 나타내는 가중치를 계산하는 단계를 더 포함하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 방법.
  13. 청구항 12에 있어서,
    상기 3D 골격 정보를 생성하는 단계는,
    상기 가중치에 기초하여 중심 표면 복셀들에서 지역 최소점에 해당하는 중심 표면 복셀인 노드들을 추출하는 단계를 더 포함하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 방법.
  14. 청구항 13에 있어서,
    상기 3D 골격 정보를 생성하는 단계는,
    상기 노드들에서 인체의 계층적 골격구조에서의 루트 관절에 해당하는 루트 노드를 결정하는 단계를 더 포함하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 방법.
  15. 청구항 14에 있어서,
    상기 3D 골격 정보를 생성하는 단계는,
    상기 루트 노드를 출발점으로 다익스트라 알고리즘에 따른 최단경로로 상기 노드들을 연결하여 인체의 각 부위 별로 3D 골격 정보를 추출하는 단계를 더 포함하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 방법.
  16. 청구항 10에 있어서,
    인체를 촬영한 다시점 영상들을 입력받는 단계는,
    인체를 촬영하는 다중 카메라로부터 입력되는 각각의 다시점 영상에 대하여 상기 다중 카메라의 무게중심점에 위치한 전역좌표계를 중심으로 카메라 기하보정을 수행하는 단계를 포함하는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 방법.
  17. 청구항 16에 있어서,
    상기 복셀 기반의 인체의 3D 형상정보는 상기 카메라 기하보정에 대한 정보에 기반하여 구성된 복셀 공간의 각 복셀을 다시점 영상의 개별 영상에 투영하여 생성되는 것을 특징으로 하는, 인체의 관절구조를 추정하기 위한 방법.
KR1020120009783A 2012-01-31 2012-01-31 인체의 관절구조를 추정하기 위한 장치 및 방법 KR101849373B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120009783A KR101849373B1 (ko) 2012-01-31 2012-01-31 인체의 관절구조를 추정하기 위한 장치 및 방법
US13/753,378 US9058514B2 (en) 2012-01-31 2013-01-29 Apparatus and method for estimating joint structure of human body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120009783A KR101849373B1 (ko) 2012-01-31 2012-01-31 인체의 관절구조를 추정하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130088507A true KR20130088507A (ko) 2013-08-08
KR101849373B1 KR101849373B1 (ko) 2018-04-17

Family

ID=48870254

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120009783A KR101849373B1 (ko) 2012-01-31 2012-01-31 인체의 관절구조를 추정하기 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US9058514B2 (ko)
KR (1) KR101849373B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160036416A (ko) * 2014-09-25 2016-04-04 디노플러스 (주) 정보 이용자의 특성에 따른 정보 표시 위치 결정 시스템
KR101631025B1 (ko) * 2015-04-03 2016-06-16 충북대학교 산학협력단 깊이 카메라를 이용한 손 관절 데이터 추출 방법 및 이를 기록한 기록매체
KR101639161B1 (ko) * 2015-06-24 2016-07-12 이화여자대학교 산학협력단 골격 정보를 이용한 사용자 인증 방법
KR101663418B1 (ko) * 2015-04-06 2016-10-07 충북대학교 산학협력단 깊이 카메라를 이용한 발 관절 데이터 추출 방법 및 이를 기록한 기록매체
US10402975B2 (en) 2017-02-28 2019-09-03 Medicalip Co., Ltd. Method and apparatus for segmenting medical images
CN111199576A (zh) * 2019-12-25 2020-05-26 中国人民解放军军事科学院国防科技创新研究院 一种基于移动平台的室外大范围人体姿态重建方法
KR102152436B1 (ko) * 2019-03-04 2020-09-04 광운대학교 산학협력단 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법
KR102152432B1 (ko) * 2019-03-04 2020-10-26 광운대학교 산학협력단 동적 3차원 모델을 이용한 실사 콘텐츠 생성 시스템 및 방법

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8976230B1 (en) * 2010-06-28 2015-03-10 Vlad Vendrow User interface and methods to adapt images for approximating torso dimensions to simulate the appearance of various states of dress
US9355305B2 (en) * 2010-10-08 2016-05-31 Panasonic Corporation Posture estimation device and posture estimation method
US9836879B2 (en) * 2013-04-16 2017-12-05 Autodesk, Inc. Mesh skinning technique
US9984498B2 (en) * 2013-07-17 2018-05-29 Microsoft Technology Licensing, Llc Sparse GPU voxelization for 3D surface reconstruction
CN103735268B (zh) * 2013-09-29 2015-11-25 沈阳东软医疗系统有限公司 一种体位检测方法及系统
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9921660B2 (en) * 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9588625B2 (en) 2014-08-15 2017-03-07 Google Inc. Interactive textiles
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
CN104299261B (zh) * 2014-09-10 2017-01-25 深圳大学 人体三维成像方法及系统
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
JP2016091108A (ja) * 2014-10-30 2016-05-23 パナソニックＩｐマネジメント株式会社 人体部位検出システムおよび人体部位検出方法
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
US9983747B2 (en) 2015-03-26 2018-05-29 Google Llc Two-layer interactive textiles
US9848780B1 (en) 2015-04-08 2017-12-26 Google Inc. Assessing cardiovascular function using an optical sensor
JP6427279B2 (ja) 2015-04-30 2018-11-21 グーグル エルエルシー ジェスチャの追跡および認識のための、ｒｆに基づいた微細動作追跡
KR102229658B1 (ko) 2015-04-30 2021-03-17 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
US10139916B2 (en) 2015-04-30 2018-11-27 Google Llc Wide-field radar-based gesture recognition
US10080528B2 (en) 2015-05-19 2018-09-25 Google Llc Optical central venous pressure measurement
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US10376195B1 (en) 2015-06-04 2019-08-13 Google Llc Automated nursing assessment
US20170055844A1 (en) * 2015-08-27 2017-03-02 Canon Kabushiki Kaisha Apparatus and method for acquiring object information
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN107851932A (zh) 2015-11-04 2018-03-27 谷歌有限责任公司 用于将嵌入在服装中的电子器件连接至外部装置的连接器
FR3044148B1 (fr) * 2015-11-25 2017-12-01 Renault Sas Procede et dispositif de detection de la position des membres inferieurs d'un conducteur de vehicule automobile
EP3185206B1 (en) * 2015-12-22 2018-09-26 Thomson Licensing Methods and systems for image processing of digital images
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
US10175781B2 (en) 2016-05-16 2019-01-08 Google Llc Interactive object with multiple electronics modules
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
CN108228585A (zh) * 2016-12-09 2018-06-29 江苏物联网研究发展中心 建立数字运动人库的方法
JP6760491B2 (ja) * 2017-04-10 2020-09-23 富士通株式会社 認識装置、認識システム、認識方法および認識プログラム
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
CN108229332B (zh) * 2017-12-08 2020-02-14 华为技术有限公司 骨骼姿态确定方法、装置及计算机可读存储介质
CN112513859A (zh) * 2018-05-30 2021-03-16 耐克创新有限合伙公司 服装生产系统和方法
CN109191366B (zh) * 2018-07-12 2020-12-01 中国科学院自动化研究所 基于人体姿态的多视角人体图像合成方法及装置
CN108961399B (zh) * 2018-09-04 2022-05-17 福建师范大学 一种完整四肢骸骨活体关节活动还原方法
WO2020147791A1 (zh) * 2019-01-18 2020-07-23 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
CN111460870A (zh) 2019-01-18 2020-07-28 北京市商汤科技开发有限公司 目标的朝向确定方法及装置、电子设备及存储介质
WO2021146031A1 (en) 2020-01-19 2021-07-22 Udisense Inc. Measurement calibration using patterned sheets
WO2021186222A1 (en) * 2020-03-20 2021-09-23 Wrnch Inc. Markerless motion capture of hands with multiple pose estimation engines
USD937007S1 (en) 2020-07-30 2021-11-30 Udisense Inc. Bedsheet
KR102495047B1 (ko) * 2020-10-27 2023-02-06 주식회사 카카오브이엑스 영상을 이용한 무게중심정보 제공 방법 및 이를 위한 장치
KR102251315B1 (ko) 2020-12-18 2021-05-12 성결대학교 산학협력단 운동 트레이닝 시스템
CN113035038A (zh) * 2021-03-29 2021-06-25 安徽工业大学 一种虚拟骨科手术练习系统及模拟训练方法
KR20230082949A (ko) 2021-12-02 2023-06-09 서울과학기술대학교 산학협력단 동적 프로젝션을 수행하는 장치
KR20230169766A (ko) 2022-06-09 2023-12-18 오모션 주식회사 전신 통합 모션 캡쳐 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7804998B2 (en) 2006-03-09 2010-09-28 The Board Of Trustees Of The Leland Stanford Junior University Markerless motion capture system
US8023726B2 (en) * 2006-11-10 2011-09-20 University Of Maryland Method and system for markerless motion capture using multiple cameras
KR100914845B1 (ko) * 2007-12-15 2009-09-02 한국전자통신연구원 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법및 장치
US8638985B2 (en) * 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US7961910B2 (en) * 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
KR101307341B1 (ko) * 2009-12-18 2013-09-11 한국전자통신연구원 동적 개체 모션 캡쳐 방법 및 그 장치

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160036416A (ko) * 2014-09-25 2016-04-04 디노플러스 (주) 정보 이용자의 특성에 따른 정보 표시 위치 결정 시스템
KR101631025B1 (ko) * 2015-04-03 2016-06-16 충북대학교 산학협력단 깊이 카메라를 이용한 손 관절 데이터 추출 방법 및 이를 기록한 기록매체
KR101663418B1 (ko) * 2015-04-06 2016-10-07 충북대학교 산학협력단 깊이 카메라를 이용한 발 관절 데이터 추출 방법 및 이를 기록한 기록매체
KR101639161B1 (ko) * 2015-06-24 2016-07-12 이화여자대학교 산학협력단 골격 정보를 이용한 사용자 인증 방법
US10402975B2 (en) 2017-02-28 2019-09-03 Medicalip Co., Ltd. Method and apparatus for segmenting medical images
KR102152436B1 (ko) * 2019-03-04 2020-09-04 광운대학교 산학협력단 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법
KR102152432B1 (ko) * 2019-03-04 2020-10-26 광운대학교 산학협력단 동적 3차원 모델을 이용한 실사 콘텐츠 생성 시스템 및 방법
CN111199576A (zh) * 2019-12-25 2020-05-26 中国人民解放军军事科学院国防科技创新研究院 一种基于移动平台的室外大范围人体姿态重建方法
CN111199576B (zh) * 2019-12-25 2023-08-18 中国人民解放军军事科学院国防科技创新研究院 一种基于移动平台的室外大范围人体姿态重建方法

Also Published As

Publication number Publication date
US20130195330A1 (en) 2013-08-01
US9058514B2 (en) 2015-06-16
KR101849373B1 (ko) 2018-04-17

Similar Documents

Publication Publication Date Title
KR101849373B1 (ko) 인체의 관절구조를 추정하기 위한 장치 및 방법
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
KR102317247B1 (ko) 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법
EP2751777B1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
KR101616926B1 (ko) 영상 처리 장치 및 방법
US9330470B2 (en) Method and system for modeling subjects from a depth map
KR101812379B1 (ko) 포즈를 추정하기 위한 방법 및 장치
CN109215117B (zh) 基于ORB与U-net的花卉三维重建方法
KR101591779B1 (ko) 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법
US9020251B2 (en) Image processing apparatus and method
JP2019534510A5 (ko)
Neophytou et al. A layered model of human body and garment deformation
JP2011521357A (ja) ビデオ画像を利用したモーションキャプチャのシステム、方法、及び装置
Leizea et al. Real-time deformation, registration and tracking of solids based on physical simulation
Dib et al. Pose estimation for a partially observable human body from RGB-D cameras
KR102083293B1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
CN115496864B (zh) 模型构建方法、重建方法、装置、电子设备及存储介质
KR101080073B1 (ko) 다수의 가상 평면 정보를 이용한 3차원 물체의 기하 정보 추출 방법
Varanasi et al. Temporally coherent segmentation of 3D reconstructions
KR101435325B1 (ko) 깊이 맵 생성 방법 및 장치
KR102534748B1 (ko) 3차원 정보를 이용한 고정밀 스켈레톤 추출 방법
JP3668168B2 (ja) 動画像処理装置
US20240013415A1 (en) Methods and systems for representing a user
Liu Eliminating false matches for the projective registration of free-form surfaces with small translational motions
Bakken Using synthetic data for planning, development and evaluation of shape-from-silhouette based human motion capture methods

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant