KR100763578B1 - Method for Estimating 3-Dimensional Position of Human's Joint using Sphere Projecting Technique - Google Patents

Method for Estimating 3-Dimensional Position of Human's Joint using Sphere Projecting Technique Download PDF

Info

Publication number
KR100763578B1
KR100763578B1 KR1020060045045A KR20060045045A KR100763578B1 KR 100763578 B1 KR100763578 B1 KR 100763578B1 KR 1020060045045 A KR1020060045045 A KR 1020060045045A KR 20060045045 A KR20060045045 A KR 20060045045A KR 100763578 B1 KR100763578 B1 KR 100763578B1
Authority
KR
South Korea
Prior art keywords
dimensional
joint
operator
sphere
image
Prior art date
Application number
KR1020060045045A
Other languages
Korean (ko)
Other versions
KR20070057613A (en
Inventor
박창준
김홍석
이인호
이재광
김현빈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US11/605,612 priority Critical patent/US7869646B2/en
Publication of KR20070057613A publication Critical patent/KR20070057613A/en
Application granted granted Critical
Publication of KR100763578B1 publication Critical patent/KR100763578B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/60—Methods or arrangements for performing computations using a digital non-denominational number representation, i.e. number representation without radix; Computing devices using combinations of denominational and non-denominational quantity representations, e.g. using difunction pulse trains, STEELE computers, phase computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/08—Digital computers in general; Data processing equipment in general using a plugboard for programming
    • G06F15/10—Tabulators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야1. TECHNICAL FIELD OF THE INVENTION

본 발명은 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법에 관한 것임.The present invention relates to a three-dimensional position estimation method of the human joint using the spherical projection technique.

2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention

본 발명은 신체거리비율을 이용하여 인체 관절(예를 들어, 팔꿈치, 무릎, 어깨 등)이 구의 표면에 위치하게 하는 가상의 구(Virtual Sphere)를 생성한 후 그 가상의 구를 동작자의 2차원 영상에 투영하여 만나는 지점을 관절의 3차원 위치로 추정함으로써, 실시간으로 인체 관절의 3차원 위치를 정확하게 검출할 수 있게 하는, 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법을 제공하는데 그 목적이 있음.The present invention generates a virtual sphere where a human joint (for example, elbow, knee, shoulder, etc.) is located on the surface of the sphere using the body distance ratio, and then uses the virtual sphere as a two-dimensional image of the operator. The present invention provides a method for estimating the three-dimensional position of a human joint using a spherical projection technique, by accurately predicting the three-dimensional position of the joint by projecting the meeting point on the image, so as to accurately detect the three-dimensional position of the human joint in real time. In this.

3. 발명의 해결방법의 요지3. Summary of Solution to Invention

본 발명은, 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법에 있어서, 동작자를 마커프리 모션캡쳐하여 동작자의 다시점(Multiview) 2차원 영상을 획득하고 상기 획득된 동작자의 다시점 2차원 영상으로부터 신체 말단부위(End-effector)에 대응하는 2차원 특징점을 추출하는 2차원 특징점 추출 단계; 상기 2차원 특징점 추출 단계에서 추출된 신체 말단부위의 2차원 특징점을 3차원 정합하여 상기 신체 말단부위의 3차원 좌표를 복원하는 3차원좌표 복원 단계; 상기 3차원좌표 복원 단계에서 복원된 3차원 좌표를 이용하여 신체 말단부위의 3차원 덩어 리(blob)를 생성하고 상기 생성된 3차원 덩어리의 중심점부터 관절까지의 거리를 반지름으로 하는 가상의 구(Virtual Sphere)를 생성하여 상기 2차원 특징점 추출 단계에서 획득된 동작자의 다시점 2차원 영상에 투영하는 가상구 투영 단계; 및 상기 가상구 투영 단계에서 투영된 가상의 구면과 상기 동작자의 다시점 2차원 영상과 일치하는 지점을 검색하고, 상기 일치된 지점에 대응하는 3차원 위치를 관절의 3차원 위치로 추정하는 관절 위치 추정 단계를 포함함.According to the present invention, in a method for estimating a three-dimensional position of a human joint using a spherical projection technique, a marker-free motion capture is performed to obtain an operator's multiview two-dimensional image by capturing the operator with a marker-free motion, and the acquired operator's multiview two-dimensional image. A two-dimensional feature point extraction step of extracting a two-dimensional feature point corresponding to an end-effector from the body; A three-dimensional coordinate restoration step of restoring three-dimensional coordinates of the distal end of the body by three-dimensional registration of two-dimensional feature points of the distal end of the body extracted in the two-dimensional feature point extraction step; A virtual sphere having a radius of a distance from the center point of the generated 3D lump to a joint using the 3D coordinates restored in the 3D coordinate restoration step is generated and A virtual sphere projection step of generating a virtual sphere and projecting the multi-view two-dimensional image of the operator acquired in the two-dimensional feature point extraction step; And a joint position for searching for a point coinciding with the virtual sphere projected in the virtual sphere projecting step and the multiview 2D image of the operator, and estimating a 3D position corresponding to the matched point as a 3D position of a joint. Including estimating step.

4. 발명의 중요한 용도4. Important uses of the invention

본 발명은 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 등에 이용됨.The present invention is used to estimate the three-dimensional position of the human joint using the sphere projection technique.

마커프리 모션캡쳐, 인체 관절, 팔꿈치 관절, 3차원 위치 검출, 사영행렬, 다시점 2차원 영상 Marker-free motion capture, human joint, elbow joint, 3D position detection, projection matrix, multiview 2D image

Description

구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법{Method for Estimating 3-Dimensional Position of Human's Joint using Sphere Projecting Technique}Method for Estimating 3-Dimensional Position of Human's Joint using Sphere Projecting Technique}

도 1 은 본 발명에 따른 마커프리 모션캡쳐를 이용한 카메라 촬영의 일실시예 예시도,1 is an exemplary view of camera shooting using a marker-free motion capture according to the present invention;

도 2 는 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법에 대한 일실시예 흐름도,2 is a flowchart illustrating a method for estimating a three-dimensional position of a human joint using a spherical projection method according to the present invention;

도 3 은 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 손의 3차원 덩어리 생성과정에 대한 일실시예 설명도,3 is a diagram illustrating an embodiment of a three-dimensional lump generation process of a hand in a three-dimensional position estimation method of a human joint using a sphere projection method according to the present invention;

도 4 는 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 손목 추정과정에 대한 일실시예 설명도,4 is an exemplary explanatory diagram of a wrist estimating process in a three-dimensional position estimation method of a human joint using a spherical projection method according to the present invention;

도 5 는 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 아래팔의 직선 생성과정에 대한 일실시예 설명도,5 is a diagram illustrating an embodiment of a straight line generation process of a lower arm in a method of estimating a 3D position of a human joint using a spherical projection method according to the present invention;

도 6 은 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 가상의 구 생성과정에 대한 일실시예 설명도,FIG. 6 is a diagram illustrating an embodiment of a virtual sphere generation process in a three-dimensional position estimation method of a human joint using a sphere projection method according to the present invention; FIG.

도 7 은 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 2차원 투영방법에 대한 일실시예 설명도,7 is an exemplary explanatory diagram of a two-dimensional projection method of the three-dimensional position estimation method of the human joint using the spherical projection method according to the present invention,

도 8 은 종래의 역운동학을 이용한 팔꿈치 관절의 3차원 위치 추정방법에 대한 설명도이다.8 is an explanatory diagram for a three-dimensional position estimation method of the elbow joint using the conventional inverse kinematics.

* 도면의 주요 부분에 대한 부호 설명* Explanation of symbols on the main parts of the drawing

310 : 손의 3차원 덩어리 311 : 손의 3차원 덩어리의 중심점310: 3D lump of hand 311: center point of 3D lump of hand

410 : 3차원 손목평면 510 : 아래팔 직선410: 3D wrist plane 510: forearm straight

610 : 가상의 구 620 : 팔꿈치 관절의 3차원 위치610: virtual sphere 620: three-dimensional position of the elbow joint

본 발명은 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법에 관한 것으로, 더욱 상세하게는 신체거리비율을 이용하여 인체 관절(예를 들어, 팔꿈치, 무릎, 어깨 등)이 구의 표면에 위치하게 하는 가상의 구(Virtual Sphere)를 생성한 후 그 가상의 구를 동작자의 2차원 영상에 투영하여 만나는 지점을 관절의 3차원 위치로 추정함으로써, 실시간으로 인체 관절의 3차원 위치를 정확하게 검출할 수 있게 하는, 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법에 관한 것이다.The present invention relates to a method for estimating a three-dimensional position of a human joint using a spherical projection technique, and more particularly, by using a body distance ratio such that the human joint (for example, elbow, knee, shoulder, etc.) is located on the surface of the sphere. After creating a virtual sphere, the virtual sphere is projected on the operator's two-dimensional image to estimate the point where it meets as the three-dimensional position of the joint, thus accurately detecting the three-dimensional position of the human joint in real time. The present invention relates to a three-dimensional position estimation method of a human joint using a sphere projection technique.

종래의 인체 관절의 위치 검출 기술에는 마커를 이용한 위치 검출 기술, 색 상정보를 이용한 위치 검출 기술, 역운동학을 이용한 위치 검출 기술 등이 있다. 이하, 각각 종래기술의 간단한 설명과 그 문제점을 살펴보면 다음과 같다.Conventional position detection techniques of a human joint include a position detection technique using a marker, a position detection technique using color information, a position detection technique using inverse kinematics, and the like. Hereinafter, a brief description of the prior art and the problems thereof are as follows.

먼저, 종래의 마커를 이용한 기술에는 인체 관절에 부착되어 있는 마커의 위치를 검출하는 기술인데, 이는 동작자의 관절(예를 들어 팔꿈치, 무릎 등)에 마커(예를 들어, 적외선 반사체, 발광체, 초음파 발생체, 자기식 센서, 또는 광섬유 등)를 부착하고 그 부착된 마커의 위치 정보를 추출하여 관절 위치를 복원함으로써, 용이하게 마커와 대응되는 인체 관절의 위치를 찾기 위한 것이다. 하지만, 이러한 종래의 기술은 제작된 마커가 부착된 의류를 입고 동작자를 촬영하기 때문에 동작자의 활동에 제약이 따르고, 마커나 센서뿐만 아니라 정확한 검출을 위하여 각각의 마커에 대한 특수한 조명이 설치된 환경을 조성해야 하기 때문에 추가적인 비용을 초래한다는 문제점이 있었다.First, a technique using a conventional marker is a technique for detecting a position of a marker attached to a human joint, which is a marker (for example, an infrared reflector, a light emitter, or an ultrasonic wave) at an operator's joint (for example, an elbow or a knee). By attaching a generator, a magnetic sensor, or an optical fiber) and extracting the position information of the attached marker to restore the joint position, the position of the human joint corresponding to the marker can be easily found. However, this conventional technique is limited to the activity of the operator because the filming of the operator wearing the clothing attached to the manufactured marker, and create an environment in which a special lighting for each marker is installed for accurate detection as well as markers and sensors. There was a problem of incurring additional costs because it had to.

다른 종래의 색상정보를 이용한 위치 검출 기술에는 동작자의 실루엣 영상으로부터 색상 정보를 추출하여 위치 검출하는 기술이 있는데, 이는 여러 대의 카메라로부터 입력된 실루엣 영상으로부터 색상 정보를 추출하여 인체 관절의 위치를 복원함으로써, 마커나 센서 등 추가적인 장비 없이 색상정보만 인체 관절의 위치를 검출하기 위한 것이다. 하지만, 이러한 종래의 기술은 색상정보만으로 인체 부위를 구분하기 때문에 인체 관절의 위치를 정확하게 검출하기 곤란하다는 문제점이 있었다.Another conventional position detection technique using color information includes a technique for detecting position by extracting color information from an operator's silhouette image, by extracting color information from silhouette images input from several cameras and restoring the position of a human joint. The color information is only for detecting the position of the human joint without any additional equipment such as markers or sensors. However, this conventional technology has a problem in that it is difficult to accurately detect the position of the human joint because the human body is distinguished only by the color information.

또 다른 종래의 역운동학(Inverse Kinematics)을 이용한 위치 검출 기술에는 검출된 인체 말단부위의 위치로부터 역운동학을 이용하여 인체 관절의 위치를 검출 하는 기술인데, 이는 마커없이 동작자를 촬영하여 그 촬영된 2차원 영상으로부터 인체의 말단부위(End-effector)(예를 들어 머리, 손, 발, 몸통, 팔, 다리 등)를 검출하고 그 검출된 말단부위로부터 역운동학을 이용하여 관절의 위치를 추정함으로써, 마커나 센서 없이도 용이하게 인체의 관절 위치를 추정하기 위한 것이다. 이하, 도 8을 참조하여 역운동학을 이용한 팔꿈치 관절의 3차원 위치 추정방법을 살펴보기로 한다. 도 8 은 종래의 역운동학을 이용한 팔꿈치 관절의 3차원 위치 추정방법에 대한 설명도이다. 종래의 역운동학을 이용한 팔꿈치 관절의 3차원 위치 추정방법은 마커프리 모션캡쳐를 이용하여 동작자(800)에서 손의 3차원 위치(H) 및 어깨의 3차원 위치(S)를 검출하고, 그 검출된 손의 3차원 위치(H)와 어깨의 3차원 위치(S)로부터 역운동학을 이용하여 팔꿈치 관절의 3차원 위치(C1, C2, C3, C4 ···Cn)를 추정하는 방법이다. 하지만, 이러한 종래의 기술은 인체의 말단부위 중에서 정확하게 검출하지 못하는 인체 부위(예를 들어, 어깨, 골반 등)를 기준으로 역운동학을 이용하기 때문에 컴퓨터 비전 기술로 정확한 인체의 관절 위치를 검출하기 곤란하다는 문제점이 있었다.Another conventional position detection technique using inverse kinematics is a technique for detecting the position of a human joint using inverse kinematics from the detected position of the distal end of the human body. By detecting the end-effector of the human body (for example, head, hands, feet, torso, arms, legs, etc.) from the dimensional image and estimating the position of the joint using inverse kinematics from the detected distal area, It is for easily estimating the position of a human joint without a marker or a sensor. Hereinafter, a three-dimensional position estimation method of the elbow joint using inverse kinematics will be described. 8 is an explanatory diagram for a three-dimensional position estimation method of the elbow joint using the conventional inverse kinematics. The conventional three-dimensional position estimation method of the elbow joint using inverse kinematics detects the three-dimensional position (H) of the hand and the three-dimensional position (S) of the shoulder in the operator 800 using a marker-free motion capture, It is a method of estimating the three-dimensional position (C1, C2, C3, C4 ... Cn) of the elbow joint using inverse kinematics from the detected three-dimensional position (H) of the hand and the three-dimensional position (S) of the shoulder. However, such a conventional technique uses inverse kinematics with respect to a human body part (for example, shoulder, pelvis, etc.) that cannot be accurately detected in the distal part of the human body, and therefore, it is difficult to detect the exact position of the joint of the human body by computer vision technology. There was a problem.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 신체거리비율을 이용하여 인체 관절(예를 들어, 팔꿈치, 무릎, 어깨 등)이 구의 표면에 위치하게 하는 가상의 구를 생성한 후 그 가상의 구를 동작자의 2차원 영상에 투영하여 만나는 지점을 관절의 3차원 위치로 추정함으로써, 실시간으로 인체 관절의 3차원 위치 를 정확하게 검출할 수 있게 하는, 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법을 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above problems, using the body distance ratio to create a virtual sphere that the human joint (eg, elbow, knee, shoulder, etc.) is located on the surface of the sphere and then the virtual sphere Three-dimensional position estimation of the human joint using the sphere projection technique, which estimates the three-dimensional position of the human joint in real time by estimating the point where the sphere is projected onto the operator's two-dimensional image. The purpose is to provide a method.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. It will also be appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

상기 목적을 달성하기 위한 본 발명은, 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법에 있어서, 동작자를 마커프리 모션캡쳐하여 동작자의 다시점(Multiview) 2차원 영상을 획득하고 상기 획득된 동작자의 다시점 2차원 영상으로부터 신체 말단부위(End-effector)에 대응하는 2차원 특징점을 추출하는 2차원 특징점 추출 단계; 상기 2차원 특징점 추출 단계에서 추출된 신체 말단부위의 2차원 특징점을 3차원 정합하여 상기 신체 말단부위의 3차원 좌표를 복원하는 3차원좌표 복원 단계; 상기 3차원좌표 복원 단계에서 복원된 3차원 좌표를 이용하여 신체 말단부위의 3차원 덩어리(blob)를 생성하고 상기 생성된 3차원 덩어리의 중심점부터 관절까지의 거리를 반지름으로 하는 가상의 구(Virtual Sphere)를 생성하여 상기 2차원 특징점 추출 단계에서 획득된 동작자의 다시점 2차원 영상에 투영하는 가상구 투영 단계; 및 상기 가상구 투영 단계에서 투영된 가상의 구면과 상기 동작자의 다시점 2차원 영상과 일치하는 지점을 검색하고, 상기 일치된 지점에 대응하는 3차원 위치를 관절의 3차원 위치로 추정하는 관절 위치 추정 단계를 포함한다. 또한, 상기 본 발명은, 상기 관절 위치 추정 단계에서 추정된 관절의 3차원 위치를 카메라 사영행렬(Projective Matrix)을 이용하여 2차원 영상에 투영하여 상기 관절의 3차원 위치를 포함한 가상의 신체부위 영상을 생성하고, 상기 생성된 가상의 신체부위 영상과 동작자만 검출된 실루엣 영상과의 매칭을 통해 상기 추정된 관절의 3차원 위치를 검증하기 위한 위치 검증 단계를 더 포함한다.In order to achieve the above object, the present invention provides a method for estimating a 3D position of a human joint using a spherical projection technique, by capturing a marker-free motion of an operator to obtain a multiview 2D image of the operator and obtaining the acquired motion. A two-dimensional feature point extraction step of extracting a two-dimensional feature point corresponding to an end-effector of a body from a multiview two-dimensional image of a ruler; A three-dimensional coordinate restoration step of restoring three-dimensional coordinates of the distal end of the body by three-dimensional registration of two-dimensional feature points of the distal end of the body extracted in the two-dimensional feature point extraction step; A virtual sphere having a radius of a distance from the center point of the generated 3D lump to a joint using the 3D coordinates restored in the 3D coordinate restoration step is generated. A virtual sphere projection step of generating a sphere and projecting the multi-view two-dimensional image of the operator obtained in the two-dimensional feature point extraction step; And a joint position for searching for a point coinciding with the virtual sphere projected in the virtual sphere projecting step and the multiview 2D image of the operator, and estimating a 3D position corresponding to the matched point as a 3D position of a joint. Estimating step. In addition, the present invention, the virtual body part image including the three-dimensional position of the joint by projecting the three-dimensional position of the joint estimated in the joint position estimation step to a two-dimensional image using a camera projective matrix (Projective Matrix) And generating a position verification step for verifying the estimated 3D position of the estimated joint by matching the generated virtual body image with only the operator's detected silhouette image.

본 발명은, 팔꿈치 관절의 3차원 위치 검출 방법에서 마커프리 모션캡쳐를 이용하여 마커나 센서의 부착 없이도 실시간으로 인체 관절의 3차원 위치를 정확하게 검출하기 위한 것이다.The present invention is to accurately detect the three-dimensional position of the human joint in real time without attaching a marker or sensor using a marker-free motion capture in the three-dimensional position detection method of the elbow joint.

이를 위해서는, 3차원 위치를 구하고자 하는 인체 관절(예를 들어, 팔꿈치, 무릎, 어깨 등)이 구의 표면에 위치하게 하는 가상의 구(Virtual Sphere)를 생성하고, 그 가상의 구를 동작자 영상에 투영하여 구의 표면과 동작자의 화소가 만나는 지점을 관절의 후보위치로 추정한 후, 동작자만 검출된 실루엣 영상과 추정된 후보위치가 표시된 2차원 영상을 매칭하여 일치하는 후보위치를 관절의 3차원 위치로 결정함으로써, 정확하게 인체 관절의 3차원 위치를 검출하게 한다.To do this, create a virtual sphere where a human joint (eg, elbow, knee, shoulder, etc.) to obtain a three-dimensional position is located on the surface of the sphere, and the virtual sphere Projected on the surface of the sphere and the point where the operator's pixel meets as the candidate position of the joint, and then matched the candidate position by matching the silhouette image detected only by the operator with the estimated 2D image with the estimated candidate position. By determining the position, it is possible to accurately detect the three-dimensional position of the human joint.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명 을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1 은 본 발명에 따른 마커프리 모션캡쳐를 이용한 카메라 촬영의 일실시예 예시도이고, 도 2 는 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법에 대한 일실시예 흐름도이다. 이하, 도 1과 도 2를 함께 설명하기로 한다.1 is a diagram illustrating an embodiment of a camera photographing using a marker-free motion capture according to the present invention, and FIG. 2 is a flowchart illustrating a three-dimensional position estimation method of a human joint using a spherical projection method according to the present invention. . Hereinafter, FIG. 1 and FIG. 2 will be described together.

먼저, 본 발명을 개괄적으로 설명하면, 본 발명은 마커프리 모션캡쳐를 이용하여 동작자의 말단부위(End-effector)에 대응하는 2차원 특징점을 추출하고(200) 추출된 말단부위의 2차원 특징점으로부터 3차원 위치를 복원한 후(202), 인체 관절의 3차원 위치를 검출하는 과정(204~214)을 수행하는 것이다.First, the present invention will be described in general, the present invention extracts a two-dimensional feature point corresponding to the end-effector of the operator using a marker-free motion capture (200) from the extracted two-dimensional feature of the distal end portion After restoring the three-dimensional position (202), the process of detecting the three-dimensional position of the human joint (204 ~ 214) is performed.

이하, 본 발명에 따른 인체 관절의 3차원 위치 검출 방법을 상세히 설명하면, 다음과 같다.Hereinafter, a three-dimensional position detection method of a human joint according to the present invention will be described in detail.

우선, 동작자를 마커프리 모션캡쳐하여 서로 다른 각도로부터 입력된 동작자의 다시점 2차원 영상에서 동작자(100)의 신체 말단부위에 대응하는 2차원 특징점을 추출하고, 말단부위의 중심과 관절 사이의 거리를 계산한다(200). 이를 도 1을 참조하여 설명하면, 다음과 같다. First, a marker-free motion capture is performed on the operator to extract a two-dimensional feature point corresponding to the distal end of the operator 100 from the multi-view two-dimensional image of the operator input from different angles, and the distance between the center of the distal end and the joint. Calculate (200). This will be described with reference to FIG. 1.

도 1에 도시된 바와 같이, 서로 다른 각도를 가진 복수의 카메라로 동작자(100)를 촬영한다. 즉, 복수의 카메라(110, 120, 130)를 이용하여 동작자(100)가 없는 배경 영상 정보를 획득하고, 배경이 포함된 동작자(100) 영상으로부터 미리 촬영된 배경 영상 정보를 이용하여 동작자(100)의 영상 정보만을 추출하여 획득한 다. 복수의 카메라(110, 120, 130)로부터 촬영된 영상(111, 121, 131)은 동작자(100)의 서로 다른 각도에서의 동작자(100)에 대한 동작자의 다시점 2차원 영상을 포함한다. 동작자의 다시점 2차원 영상은 도 2의 "214" 과정에서 동작자의 다시점 2차원 영상을 이용한 위치 검증 과정에서 사용된다.As shown in Figure 1, the operator 100 is photographed with a plurality of cameras having different angles. That is, the background image information without the operator 100 is obtained by using the plurality of cameras 110, 120, and 130, and the operation is performed by using the background image information photographed in advance from the operator 100 image including the background. Only the image information of the ruler 100 is extracted and obtained. Images 111, 121, and 131 taken from the plurality of cameras 110, 120, and 130 include a multiview two-dimensional image of the operator with respect to the operator 100 at different angles of the operator 100. . The multiview 2D image of the operator is used in the position verification process using the multiview 2D image of the operator in step 214.

3차원 동작에 대한 영상정보를 정확하게 추출하기 위해서는 서로 다른 각도를 가진 복수의 카메라(110, 120, 130)에 대한 교정(Calibration) 과정이 필요하다. 카메라의 교정 과정은 동작자(100)로부터 일정한 거리에 있는 복수의 카메라(110, 120, 130)에 대해서 각 카메라의 상호 위치, 자세, 및 초점거리를 계산하여 상호 인접한 관계를 고려하여 수행된다.In order to accurately extract the image information for the three-dimensional operation, a calibration process for a plurality of cameras 110, 120, and 130 having different angles is required. The calibration process of the camera is performed by calculating mutual positions, postures, and focal lengths of the cameras with respect to the plurality of cameras 110, 120, and 130 at a constant distance from the operator 100, taking into account the mutually adjacent relationship.

상기와 같은 카메라의 교정과정을 수행한 후, 서로 다른 각도를 가진 복수의 카메라(110, 120, 130)로부터 획득된 동작자의 다시점 2차원 영상에서 동작자(100) 신체 말단부위의 2차원 특징점을 추출하여 신체 말단부위별로 저장한다.After performing the calibration process of the camera as described above, two-dimensional feature points of the distal end of the operator 100 in the multi-view two-dimensional image of the operator obtained from a plurality of cameras 110, 120, 130 having different angles Extract it and store it for each end of the body.

한편, 다음은 말단부위부터 중간관절까지의 거리계산과정을 설명하기로 한다. 신체 말단부위의 중심점부터 관절까지의 거리 값은 모션캡쳐 초기에 동작자(100)의 영상에서 신체의 거리(예를 들어, 키, 리치 등) 값을 측정하고 측정된 신체의 거리 값과 신체거리비율을 이용하여 계산된다(200). 예를 들어, 손부터 팔꿈치까지의 거리를 계산하고자 하는 경우에, 손의 중심부터 팔꿈치 관절까지의 거리 값은 팔의 리치(reach) 길이 값과 신체거리비율을 이용하여 계산된다. 우선, 모션캡쳐 초기에 서로 다른 동작자 영상 중에서 양팔을 벌린 동작자 영상으로부터 팔의 리치(양손의 중심점 사이의 거리)길이를 측정하고, 그 측정된 팔의 리치 길이에 대한 신체길이비율(리치 대비 손부터 팔꿈치까지의 거리비율)을 이용하여 '손의 중심과 팔꿈치 관절 사이의 거리'가 계산된다. 이와 관련하여, 다른 신체 관절까지의 거리 값 계산에 대해서도 동일한 방식이 적용된다.On the other hand, the following describes the distance calculation process from the distal end to the intermediate joint. The distance value from the center point of the distal end to the joint is measured by measuring the distance of the body (eg, height, reach, etc.) in the image of the operator 100 at the beginning of the motion capturing. It is calculated using the ratio (200). For example, if the distance from the hand to the elbow is to be calculated, the distance value from the center of the hand to the elbow joint is calculated using the reach length value and the body distance ratio of the arm. First, the length of the arm's reach (distance between the center points of both hands) is measured from the operator's image with both arms open among the different operator's images at the beginning of motion capture, and the body length ratio with respect to the measured arm's reach length The distance between the center of the hand and the elbow joint is calculated using the distance from hand to elbow. In this regard, the same applies to the calculation of distance values to other body joints.

한편, "200" 과정에서 추출된 신체 말단부위의 2차원 특징점을 3차원 정합하여 3차원 좌표로 복원한다(202). 즉, 동작자(100)의 영상 정보에서 컴퓨터비젼 기술을 이용하여 동작자를 배경으로부터 분리하고, 분리된 동작자의 영상에서 신체 말단부위(예를 들어 손, 발, 머리, 몸통, 팔, 다리 등)별 2차원 특징점을 추출한 후, 추출된 2차원 특징점을 3차원 정합하여 3차원 좌표를 복원한다.Meanwhile, the two-dimensional feature points of the distal end portion of the body extracted in the process of "200" are three-dimensionally matched and restored to three-dimensional coordinates (202). That is, the operator separates the operator from the background using computer vision technology in the image information of the operator 100, and the body end portion (for example, hand, foot, head, torso, arm, leg, etc.) in the separated operator's image. After the two-dimensional feature points are extracted, three-dimensional coordinates are restored by three-dimensional registration of the extracted two-dimensional feature points.

"202" 과정에서 복원된 3차원 좌표를 이용하여 말단부위의 위치와 체적 정보를 포함한 신체 말단부위의 3차원 덩어리(blob)를 생성한다(204). 말단부위의 3차원 덩어리는 서로 다른 각도에서 촬영된 동작자의 다시점 2차원 영상(111, 121, 131)으로부터 추출된 2차원 특징점을 정합하여 3차원 좌표를 복원하고 복원된 3차원 좌표를 이용하여 생성된다.Using the 3D coordinates restored in step 202, a three-dimensional blob of the distal end including the position and the volume information of the distal end is generated (204). The 3D mass at the distal end is restored from the 3D coordinates by matching 2D feature points extracted from the multiview 2D images 111, 121 and 131 of the operator photographed from different angles, and then restored using the 3D coordinates. Is generated.

또한, 말단부위의 3차원 덩어리를 구성하는 화소들의 중심점을 검출하고 이를 말단부위의 3차원 덩어리의 중심점으로 정한다.In addition, the center point of the pixels constituting the three-dimensional mass of the distal end is detected and this is defined as the center point of the three-dimensional mass of the distal end.

"204" 과정에서 생성된 신체 말단부위의 3차원 덩어리와 인접영역이 만나는 평면을 경계지점으로 추정한다(206). 여기서, 말단부위의 3차원 덩어리의 색상화소와 인접하고 있으며 인접영역의 색상화소 위치를 포함하는 경계지점은 말단부위의 3차원 덩어리와 인접한 영역으로 동작자의 말단부위와 인접한 평면이다.The plane where the three-dimensional mass of the distal end of the body generated in the process “204” and the adjacent region meet is estimated as the boundary point (206). Here, the boundary point adjacent to the color pixel of the three-dimensional lump at the distal end and including the color pixel position of the adjacent area is a plane adjacent to the distal end of the operator as an area adjacent to the three-dimensional lump at the distal end.

만약, "200" 과정에서 말단부위의 색상화소 위치와 인접한 영역(예를 들어, 옷, 피부 등)의 색상화소 위치를 저장하였다면, 말단부위의 3차원 덩어리와 인접한 옷의 경계지점 중에서 미리 저장된 인접영역의 색상화소 위치를 경계지점으로 추정한다.If the color pixel position of the area adjacent to the color pixel position of the distal end (eg clothes, skin, etc.) is stored in the process of "200", the previously stored neighbor among the three-dimensional chunks of the distal end and the boundary of the clothes adjacent to the distal end are stored. The color pixel position of the region is estimated as the boundary point.

한편, 경계지점과 수직이며 말단부위의 3차원 덩어리의 중심점을 포함하는 관절 방향직선을 생성한다(208). 여기서, 관절방향 직선은 관절의 후보위치를 추정하는 경우에 검색범위를 한정하는 기능을 수행한다.In operation 208, a direction perpendicular to the boundary point is generated and includes a center point of the three-dimensional mass of the distal end. Here, the joint direction straight line performs a function of limiting the search range when estimating the candidate position of the joint.

그리고 나서, 말단부위의 3차원 덩어리의 중심점을 구의 중심으로 하고 말단부위의 중심과 관절 사이의 거리 값을 반지름으로 하는 가상의 구를 생성하여 동작자의 다시점 2차원 영상에 투영한다(210).Then, a virtual sphere having a center point of the three-dimensional mass of the distal end as a sphere and a radius value of the distance between the center of the distal end and the joint is generated and projected onto the operator's multiview two-dimensional image (210).

이후, "210"과정에서 투영된 가상의 구면과 "200" 과정에서 획득된 동작자의 다시점 2차원 영상이 일치하는 지점을 관절방향 직선을 이용하여 검색하고 일치된 지점에 대응하는 3차원 위치를 관절의 3차원 위치로 추정한다(212). 여기서, 일치된 지점을 검색하는 과정은 동작자의 다시점 2차원 영상에서 관절방향 직선을 기준으로 일정한 마진(margin)을 두어 동작자의 화소와 투영된 가상의 구면이 만나는 지점을 검색하는 것이다.Subsequently, a point where the virtual sphere projected in the process of 210 and the multiview 2D image of the operator acquired in the process of 200 are coincident is searched using a straight line in the joint direction, and the 3D position corresponding to the coincidence point is searched. It is estimated by the 3D position of the joint (212). Here, the process of searching for a matched point is to search for a point where the operator's pixel and the projected virtual sphere meet with a certain margin based on a straight line in the multi-view two-dimensional image of the operator.

또한, "212"과정에서 추정된 관절의 3차원 위치를 카메라 사영행렬(Projective Matrix)을 이용하여 2차원 영상에 투영하여 상기 관절의 3차원 위치를 포함한 가상의 신체부위 영상을 생성하고, 상기 생성된 가상의 신체부위 영상과 동작자만 검출된 실루엣 영상과의 매칭을 통해 상기 추정된 관절의 3차원 위치를 검증한다(214).In addition, the virtual body image including the three-dimensional position of the joint is generated by projecting the three-dimensional position of the joint estimated in step 212 to the two-dimensional image using a camera projective matrix, and generating the generated image. The estimated 3D position of the estimated joint is verified through matching of the virtual body part image and the silhouette image of which only the operator is detected (214).

이하, "팔꿈치 관절"을 예를 들어, 3차원 위치 검출 과정을 더욱 상세히 설명하기로 한다. Hereinafter, the three-dimensional position detection process will be described in more detail with reference to "elbow joint".

도 3 은 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 손의 3차원 덩어리 생성과정에 대한 일실시예 설명도이다.3 is a diagram illustrating an embodiment of a three-dimensional lump generation process of a hand in a three-dimensional position estimation method of a human joint using a spherical projection method according to the present invention.

동작자(100)의 영상으로부터 손부위의 2차원 특징점이 추출되고, 추출된 2차원 특징점을 3차원 정합하여 3차원 좌표를 복원한다(202).A two-dimensional feature point of the hand portion is extracted from the image of the operator 100, and the extracted two-dimensional feature point is three-dimensionally matched to restore three-dimensional coordinates (202).

그리고 나서, 도 3에 도시된 바와 같이, "202" 과정에서 복원된 3차원 좌표를 이용하여 손의 위치와 체적 정보를 포함한 손의 3차원 덩어리(310)를 생성한다. 즉, 손의 3차원 덩어리(310)는 서로 다른 각도에서 촬영한 동작자의 다시점 2차원 영상(111, 121, 131)으로부터 추출된 2차원 특징점을 정합하여 3차원 좌표가 복원되고 복원된 3차원 좌표를 이용하여 생성된다.Then, as shown in Figure 3, using the three-dimensional coordinates restored in the "202" process to generate a three-dimensional lump 310 of the hand including the position and volume information of the hand. That is, the three-dimensional lump 310 of the hand matches the two-dimensional feature points extracted from the multi-view two-dimensional images 111, 121, and 131 of the operator photographed from different angles, and restores and restores the three-dimensional coordinates. Created using the coordinates.

손의 3차원 덩어리(310)를 구성하는 화소 중에서 중심점을 손의 3차원 덩어리(310)의 중심점(311)으로 나타내고, 손의 3차원 덩어리(310)의 중심점(311)은 도 6에 나타나는 아래팔의 직선을 구할 때 이용된다.Among the pixels constituting the three-dimensional chunk 310 of the hand, the center point is represented by the center point 311 of the three-dimensional chunk 310 of the hand, and the center point 311 of the three-dimensional chunk 310 of the hand is shown in FIG. Used to find the straight line of an arm.

도 4 는 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 손목 추정과정에 대한 일실시예 설명도이다.4 is a diagram illustrating an embodiment of a wrist estimating process in a 3D position estimation method of a human joint using a spherical projection method according to the present invention.

손의 3차원 덩어리(310)와 인접한 경계지점(410)을 이루는 평면을 3차원 손목으로 추정한다. 3차원 손목(410)은 손의 3차원 덩어리(310)와 인접한 경계 지점으로 동작자의 손의 부위와 인접한 평면이다. 만약, 3차원 손목(410)은 손의 3차원 덩어리(310)를 생성할 당시에 손의 색상화소와 인접된 옷의 색상화소를 저장하고 있다면, 손의 3차원 덩어리(310)를 생성한 직후에 저장되고 있는 손의 3차원 덩어리(310)와 인접한 옷의 색상화소를 찾음으로써, 신속/용이하게 손목 평면을 추정가능하다.The plane forming the boundary point 410 adjacent to the 3D clump 310 of the hand is estimated as a 3D wrist. The three-dimensional wrist 410 is a plane adjacent the portion of the operator's hand to the boundary point adjacent to the three-dimensional mass 310 of the hand. If the 3D wrist 410 stores the color pixels of the clothes adjacent to the color pixels of the hand at the time of generating the 3D mass 310 of the hand, immediately after generating the 3D mass 310 of the hand By finding the color pixels of the clothes adjacent to the three-dimensional mass 310 of the hand being stored, the wrist plane can be estimated quickly and easily.

도 5 은 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 아래팔의 직선 생성과정에 대한 일실시예 설명도이다.5 is a diagram illustrating an embodiment of a straight line generation process of a lower arm in a method of estimating a 3D position of a human joint using a spherical projection method according to the present invention.

도 5에 도시된 바와 같이, 3차원 손목(410)과 수직이며 손의 3차원 덩어리(310)의 중심점(311)을 포함하고 아래팔 부위와 평행한 아래팔 직선(510)을 생성한다. 이렇게 구한 아래팔의 직선(510)은 본 발명에 따른 팔꿈치 관절의 3차원 위치를 검출할 때, 검색하고자 하는 범위를 한정하는 기능을 수행한다.As shown in FIG. 5, a lower arm straight line 510 that is perpendicular to the three-dimensional wrist 410 and includes a center point 311 of the three-dimensional mass 310 of the hand and is parallel to the lower arm portion is generated. The straight line 510 of the lower arm thus obtained performs a function of defining a range to search when detecting the 3D position of the elbow joint according to the present invention.

한편, 만약, 동작자(100) 손의 3차원 덩어리(310)와 인접한 경계 지점의 색상화소가 구분되지 않는 경우(예를 들어, 반 팔 옷을 입고 있는 경우)에는, 경계지점을 정확하게 추정하기 곤란하다. 따라서, 이와 같이 3차원 덩어리(310)와 인접한 경계지점의 색상 및 형태 화소가 비슷한 경우에는, 손의 3차원 덩어리(310)와 이어진 피부 영역의 직선을 구함으로써, 동작자(100)의 아래팔의 직선(510)을 생성한다.On the other hand, if the three-dimensional mass 310 of the operator 100's hand and the color pixels of adjacent boundary points are not distinguished (for example, when wearing short-sleeved clothes), accurately estimate the boundary points. It is difficult. Thus, when the color and shape pixels of the boundary point adjacent to the 3D lump 310 are similar in this way, the lower arm of the operator 100 is obtained by obtaining a straight line of the skin region connected with the 3D lump 310 of the hand. Produces a straight line 510.

도 6 는 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 가상의 구 생성 및 팔꿈치 관절의 3차원 위치 추정과정에 대한 일실시예 설명도이다.6 is a diagram illustrating an embodiment of a virtual sphere generation and a three-dimensional position estimation process of the elbow joint in the three-dimensional position estimation method of the human joint using the sphere projection method according to the present invention.

도 6에 도시된 바와 같이, 손의 3차원 덩어리(310)의 중심점(311)을 구의 중심으로 하고 손의 중심과 팔꿈치 관절 사이의 거리 값을 반지름으로 하는 가상의 구(610)를 생성하여 동작자의 다시점 2차원 영상에 투영한다.As shown in FIG. 6, an operation is performed by generating a virtual sphere 610 having the center point 311 of the three-dimensional lump 310 of the hand as the center of the sphere and the radius value between the center of the hand and the elbow joint as a radius. Project a multiview 2D image of the ruler.

동작자의 다시점 2차원 영상에서 아래팔의 직선(510)의 기울기 방향에 일정한 마진(margin)을 두어 검색하면서 2차원 동작자 영상 중에서 동작자를 구성하는 화소와 투영된 가상의 구면(610)이 만나는 지점(620)을 팔꿈치 관절의 3차원 위치로 추정한다.In the multi-view two-dimensional image of the operator, a predetermined margin is searched in the inclination direction of the straight line 510 of the forearm while the pixels constituting the operator and the projected virtual sphere 610 meet in the two-dimensional operator image. Point 620 is assumed to be a three-dimensional location of the elbow joint.

도 7 은 본 발명에 따른 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법 중 3차원 위치 검증과정에 대한 설명도이다.7 is an explanatory diagram for a three-dimensional position verification process of the three-dimensional position estimation method of the human joint using the sphere projection method according to the present invention.

도 7에 도시된 바와 같이, "212"과정에서 추정된 팔꿈치 관절의 위치(620)를 카메라 사영행렬(Projective Matrix)을 이용하여 2차원 영상(720)에 투영하여 추정된 팔꿈치 관절의 위치를 포함한 가상의 팔(721)을 생성하고, '동작자만 검출된 실루엣 영상'(711)과 '투영된 가상의 팔 영상'(722)의 매칭(730)을 통해 추정된 팔꿈치 관절의 3차원 위치를 검증한다(214).As shown in FIG. 7, the position 620 of the elbow joint estimated in step 212 is projected onto the two-dimensional image 720 using a camera projective matrix to include the position of the elbow joint estimated. Generate the virtual arm 721 and verify the estimated three-dimensional position of the elbow joint through matching 730 of the silhouette image where only the operator was detected 711 and the projected virtual arm image 722. (214).

이하, 본 발명의 다른 일실시예로서, 구 투영기법을 이용한 무릎 관절의 3차원 위치를 추정하는 방법을, 도 3을 참조하여, 차이점 위주로 설명하기로 한다.Hereinafter, as another embodiment of the present invention, a method of estimating a three-dimensional position of a knee joint using a spherical projection method will be described with reference to FIG. 3 based on differences.

무릎 관절의 3차원 위치를 검출할 때, 인체 관절의 3차원 위치를 검출하는 방법에서의 차이점은 "말단부위"를 "발뒤꿈치"로, "경계지점"을 "발목"으로, "말단부위의 중심부터 관절까지의 거리를 반지름으로 하는 가상의 구"를 "발뒤꿈치의 중심부터 무릎까지의 거리를 반지름으로 하는 가상의 구"로 범위를 한정하여 3차원 위치를 추정한다는 점이다. 이하, 추정 순서에 따라 차이점을 설명하면 다음과 같다.In detecting the three-dimensional position of the knee joint, the difference in the method of detecting the three-dimensional position of the human joint is that the "end" to "heel", the "boundary point" to "ankle", the "end" It is to estimate the three-dimensional position by limiting the range to "imaginary sphere whose radius is the distance from the center to the joint" to "virtual sphere whose radius is the distance from the center of the heel to the knee". Hereinafter, the difference according to the estimation order is as follows.

"200"과정 내지 "204"까지는 동일한 방식을 따라서 말단부위의 3차원 덩어리를 생성한다. 다만, 생성된 말단부위의 3차원 덩어리 중에서 발의 3차원 덩어리 중에 포함되어 있는 발뒤꿈치의 3차원 덩어리를 추출한다. Processes "200" through "204" produce a three-dimensional mass of distal portions in the same manner. However, the three-dimensional mass of the heel contained in the three-dimensional mass of the foot is extracted from the generated three-dimensional mass of the distal end.

"206"과정에서 추출된 발뒤꿈치의 3차원 덩어리의 중심점을 구하고 발뒤꿈치의 3차원 덩어리와 인접한 경계지점을 발목부위로 추정한다. 발목부위는 발뒤꿈치의 3차원 덩어리와 인접한 지점으로 동작자의 발뒤꿈치와 인접한 평면이다.The center point of the three-dimensional lump of the heel extracted in the process "206" is obtained, and the boundary point adjacent to the three-dimensional lump of the heel is estimated as the ankle region. The ankle is a plane adjacent to the three-dimensional mass of the heel and adjacent to the heel of the operator.

"208"과정에서 경계지점과 수직이며 발뒤꿈치의 3차원 덩어리의 중심점을 포함하는 관절 방향직선을 생성한다In step 208, create a joint direction line that is perpendicular to the boundary and contains the center of the three-dimensional mass of the heel.

"210"과정에서 발뒤꿈치의 3차원 덩어리의 중심점을 구의 중심으로 하고 발뒤꿈치의 중심과 무릎 사이의 거리 값을 반지름으로 하는 가상의 구를 생성하여 동작자 다시점 2차원 영상에 투영한다.In the process of "210", a virtual sphere having a center point of the three-dimensional mass of the heel as the center of the sphere and a radius value of the distance between the center of the heel and the knee is generated and projected onto the operator multiview two-dimensional image.

"212"과정에서 동작자의 무릎 방향선분에 일정한 마진을 두어 검색하고 일치된 지점에 대응하는 3차원 위치를 무릎 관절의 3차원 위치로 추정한다.In the process of "212", a margin is searched by placing a certain margin on the operator's knee segment, and the 3D position corresponding to the matched point is estimated as the 3D position of the knee joint.

"214"과정에서 무릎관절의 위치가 포함된 3차원 다리부위를 카메라 사영행렬(Projective Matrix)을 이용하여 2차원 영상에 투영하여 가상의 다리부위를 생성하고, '배경이 분리되어 동작자만 검출된 실루엣 영상'과 '2차원 영상에 투영된 가상의 다리부위'와의 매칭을 통해 추정된 무릎 관절의 3차원 위치를 검증한다.In step 214, the 3D leg portion including the position of the knee joint is projected onto the 2D image using a camera projective matrix to generate a virtual leg portion, and the background is separated to detect only the operator. The estimated 3D position of the knee joint is verified by matching between the silhouette image 'and the' virtual leg projected onto the 2D image '.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상 의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in detail any more.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

상기와 같은 본 발명은, 마커프리 모션캡쳐를 이용하여 말단부위의 중심으로부터 관절까지의 거리를 반지름으로 하는 가상의 구를 생성하여 동작자를 구성하는 화소와 만나는 지점을 검출함으로써, 마커나 센서가 없이 모션캡쳐를 이용하여 인체 관절의 3차원 위치를 신속/용이하게 검출하게 하는 효과가 있다.The present invention as described above, by using a marker-free motion capture to generate a virtual sphere having a radius of the distance from the center of the distal end to the joint to detect the point that meets the pixels constituting the operator, there is no marker or sensor Motion capture has the effect of quickly / easily detecting the three-dimensional position of the human joint.

또한, 본 발명은 역운동학을 이용한 종래의 기술보다 구 투영기법을 이용하여 인체 관졀의 3차원 위치를 검출함으로써, 실시간으로 인체관절의 3차원 위치를 정확하게 검출하게 하는 효과가 있다.In addition, the present invention has the effect of accurately detecting the three-dimensional position of the human joint in real time by detecting the three-dimensional position of the human joint using the sphere projection technique than the conventional technique using the inverse kinematics.

Claims (9)

구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법에 있어서,In the three-dimensional position estimation method of the human joint using the spherical projection method, 동작자를 마커프리 모션캡쳐하여 동작자의 다시점(Multiview) 2차원 영상을 획득하고 상기 획득된 동작자의 다시점 2차원 영상으로부터 신체 말단부위(End-effector)에 대응하는 2차원 특징점을 추출하는 2차원 특징점 추출 단계;Marker-free motion capture of the operator to obtain a multiview two-dimensional image of the operator and two-dimensional feature points corresponding to the end-effector of the body from the obtained multiview two-dimensional image of the operator. Feature point extraction step; 상기 2차원 특징점 추출 단계에서 추출된 신체 말단부위의 2차원 특징점을 3차원 정합하여 상기 신체 말단부위의 3차원 좌표를 복원하는 3차원좌표 복원 단계;A three-dimensional coordinate restoration step of restoring three-dimensional coordinates of the distal end of the body by three-dimensional registration of two-dimensional feature points of the distal end of the body extracted in the two-dimensional feature point extraction step; 상기 3차원좌표 복원 단계에서 복원된 3차원 좌표를 이용하여 신체 말단부위의 3차원 덩어리(blob)를 생성하고 상기 생성된 3차원 덩어리의 중심점부터 관절까지의 거리를 반지름으로 하는 가상의 구(Virtual Sphere)를 생성하여 상기 2차원 특징점 추출 단계에서 획득된 동작자의 다시점 2차원 영상에 투영하는 가상구 투영 단계; 및A virtual sphere having a radius of a distance from the center point of the generated 3D lump to a joint using the 3D coordinates restored in the 3D coordinate restoration step is generated. A virtual sphere projection step of generating a sphere and projecting the multi-view two-dimensional image of the operator obtained in the two-dimensional feature point extraction step; And 상기 가상구 투영 단계에서 투영된 가상의 구면과 상기 동작자의 다시점 2차원 영상과 일치하는 지점을 검색하고, 상기 일치된 지점에 대응하는 3차원 위치를 관절의 3차원 위치로 추정하는 관절 위치 추정 단계Joint position estimation to search for a point coinciding with the virtual sphere projected in the virtual sphere projection and the multiview 2D image of the operator, and to estimate the 3D position corresponding to the matched point as the 3D position of the joint. step 를 포함하는 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법.3D position estimation method of the human joint using the sphere projection method comprising a. 제 1 항에 있어서,The method of claim 1, 상기 관절 위치 추정 단계에서 추정된 관절의 3차원 위치를 카메라 사영행렬(Projective Matrix)을 이용하여 2차원 영상에 투영하여 상기 관절의 3차원 위치를 포함한 가상의 신체부위 영상을 생성하고, 상기 생성된 가상의 신체부위 영상과 동작자만 검출된 실루엣 영상과의 매칭을 통해 상기 추정된 관절의 3차원 위치를 검증하기 위한 위치 검증 단계The virtual position image including the three-dimensional position of the joint is generated by projecting the three-dimensional position of the joint estimated in the joint position estimation step onto a two-dimensional image using a camera projection matrix. Position verification step for verifying the estimated three-dimensional position of the joint by matching the virtual body image with the silhouette image detected only the operator 를 더 포함하는 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법.Three-dimensional position estimation method of the human joint using the sphere projection method further comprising. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2, 상기 2차원 특징점 추출 단계는,The two-dimensional feature point extraction step, 서로 다른 각도를 가지는 복수의 카메라에서 각 카메라의 상호 위치, 자세, 초점거리를 계산하여 측정 표준에 맞게 교정(Calibration)하는 카메라 교정단계;A camera calibration step of calibrating according to a measurement standard by calculating mutual positions, postures, and focal lengths of each camera in a plurality of cameras having different angles; 상기 카메라 교정단계에서 교정된 복수의 카메라를 이용하여 동작자를 마커프리 모션캡쳐하여 동작자의 다시점 2차원 영상을 획득하고, 상기 획득된 동작자의 다시점 2차원 영상으로부터 신체 말단부위의 2차원 특징점을 추출하는 특징점 추출 단계; 및Marker-free motion capture of the operator using a plurality of cameras calibrated in the camera calibration step to obtain a multi-view two-dimensional image of the operator, and the two-dimensional feature points of the distal end of the body from the multi-view two-dimensional image of the operator Extracting feature points; And 상기 특징점 추출 단계에서 획득된 동작자의 다시점 2차원 영상으로부터 신체 말단부위의 중심점과 이어진 관절까지의 거리를 계산하는 관절거리 계산 단계Joint distance calculation step of calculating the distance from the multi-view two-dimensional image of the operator obtained in the feature point extraction step to the center point of the distal end portion and the joints 를 포함하는 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법.3D position estimation method of the human joint using the sphere projection method comprising a. 제 3 항에 있어서,The method of claim 3, wherein 상기 관절거리 계산 단계는,The joint distance calculation step, 상기 인체 관절 중에서 팔꿈치 관절의 3차원 위치를 검출하는 경우, 상기 특징점 추출 단계에서 획득된 동작자의 다시점 2차원 영상 중에서 양팔을 벌린 동작자 영상의 팔의 리치(reach)(양손의 중심점 사이의 거리) 길이를 측정하고, 상기 측정된 팔의 리치 길이와 신체길이비율을 이용하여 '손의 중심과 팔꿈치 관절 사이의 거리'를 계산하는 것을 특징으로 하는 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법.In the case of detecting the three-dimensional position of the elbow joint in the human joint, the reach of the arm (distance between the center points of both hands) of the operator image with both arms apart from the multi-view two-dimensional image of the operator obtained in the feature point extraction step 3) Estimation of the three-dimensional position of the human joint using the spherical projection method, measuring the length, and calculating the 'distance between the center of the hand and the elbow joint' using the measured arm length and body length ratio Way. 제 3 항에 있어서,The method of claim 3, wherein 상기 가상구 투영 단계는,The virtual sphere projection step, 상기 3차원좌표 복원 단계에서 복원된 신체 말단부위의 3차원 좌표를 이용하여 말단부위의 3차원 덩어리를 생성하는 말단부위 덩어리 생성 단계;A distal lump generating step of generating a three-dimensional lump of distal portion using the three-dimensional coordinates of the distal body portion restored in the three-dimensional coordinate restoration step; 상기 말단부위 덩어리 생성 단계에서 생성된 신체 말단부위의 3차원 덩어리와 인접영역이 만나는 평면을 경계지점으로 추정하는 경계지점 추정 단계;A boundary point estimating step of estimating the plane where the three-dimensional mass of the body distal portion and the adjacent region meet as the boundary point generated in the distal end mass generation step; 상기 경계지점 추정 단계에서 추정된 경계지점과 수직이며 상기 말단부위 덩어리 생성 단계에서 생성된 신체 말단부위의 3차원 덩어리의 중심점을 포함하는 관절방향 직선을 생성하는 관절방향 직선 생성 단계;A joint direction straight line generating step of generating a joint direction straight line perpendicular to the boundary point estimated in the boundary point estimation step and including a center point of the three-dimensional mass of the body distal portion generated in the distal end mass generation step; 상기 말단부위 덩어리 생성 단계에서 생성된 신체 말단부위의 3차원 덩어리의 중점을 구의 중심점으로 하고 상기 관절 거리계산 단계에서 계산된 '신체 말단부위의 중심과 해당 관절 사이의 거리'를 반지름으로 하는 가상의 구를 생성하는 가상구 생성 단계; 및 The virtual point of the center of the three-dimensional mass of the distal end generated in the distal mass generating step as the center point of the sphere and the radius of the distance between the center of the distal end and the corresponding joint calculated in the joint distance calculation step A virtual sphere generation step of generating a sphere; And 상기 가상구 생성 단계에서 생성된 가상의 구를 상기 2차원 특징점 추출 단계에서 획득된 동작자의 다시점 2차원 영상에 투영하는 투영 단계A projection step of projecting the virtual sphere generated in the virtual sphere generation step onto the multi-view two-dimensional image of the operator obtained in the two-dimensional feature point extraction step 를 포함하는 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법.3D position estimation method of the human joint using the sphere projection method comprising a. 제 3 항에 있어서,The method of claim 3, wherein 상기 가상구 투영 단계는 상기 생성된 3차원 덩어리의 중심점을 이용하여 관절방향 직선을 생성하고;The virtual sphere projecting step generates a straight line in the direction of art using the center point of the generated three-dimensional mass; 상기 관절 위치 추정 단계는,The joint position estimation step, 상기 가상구 투영 단계에서 투영된 가상의 구면과 상기 동작자의 다시점 2차원 영상과 일치하는 지점을 상기 관절방향 직선을 기준으로 일정한 마진(margin)을 두어 검색하는 것을 특징으로 하는 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법.Using a spherical projection method characterized in that to search for a point matching the virtual sphere projected in the virtual sphere projection and the multi-view two-dimensional image of the operator with a certain margin on the basis of the straight line in the joint direction. 3D position estimation method of human joints. 제 4 항에 있어서,The method of claim 4, wherein 상기 가상구 투영 단계는,The virtual sphere projection step, 상기 3차원좌표 복원 단계에서 복원된 신체 말단부위의 3차원 좌표를 이용하여 손의 3차원 덩어리를 생성하는 손 덩어리 생성 단계;A hand lump generation step of generating a three-dimensional lump of the hand by using the three-dimensional coordinates of the distal body portion restored in the three-dimensional coordinate restoration step; 상기 손 덩어리 생성 단계에서 생성된 손의 3차원 덩어리와 인접영역이 만나는 평면을 3차원 손목평면으로 추정하는 손목 추정 단계;A wrist estimating step of estimating a plane where the three-dimensional lump of the hand generated in the hand lump generation step and an adjacent region meet as a three-dimensional wrist plane; 상기 손목 추정 단계에서 추정된 상기 3차원 손목평면과 수직이며 상기 손 덩어리 생성 단계에서 생성된 상기 손의 3차원 덩어리의 중심점을 포함하는 아래팔 직선을 생성하는 아래팔 직선 생성 단계;A forearm straight line generation step of generating a forearm straight line perpendicular to the three-dimensional wrist plane estimated in the wrist estimating step and including a center point of the three-dimensional mass of the hand generated in the hand mass generation step; 상기 손 덩어리 생성 단계에서 생성된 손의 3차원 덩어리의 중심점을 구의 중심점으로 하고 상기 관절 거리계산 단계에서 계산된 '손의 중심과 팔꿈치 사이의 거리'를 반지름으로 하는 가상의 구를 생성하는 가상구 생성 단계; 및 A virtual sphere for generating a virtual sphere having a radius of 'center distance between the center of the hand and the elbow' calculated in the joint distance calculation step as the center point of the three-dimensional mass of the hand generated in the hand mass generation step Generation step; And 상기 가상구 생성 단계에서 생성된 가상의 구를 상기 2차원 특징점 추출 단계에서 획득된 동작자의 다시점 2차원 영상에 투영하는 투영 단계A projection step of projecting the virtual sphere generated in the virtual sphere generation step onto the multi-view two-dimensional image of the operator obtained in the two-dimensional feature point extraction step 를 포함하는 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법.3D position estimation method of the human joint using the sphere projection method comprising a. 제 7 항에 있어서,The method of claim 7, wherein 상기 손목 추정 단계는,The wrist estimating step, 상기 2차원 특징점 추출 단계에서 손의 색상화소 위치와 인접영역의 색상화소 위치를 저장하고, 상기 손의 3차원 덩어리와 인접영역이 만나는 평면의 색상화 소 위치를 3차원 손목평면으로 추정하는 것을 특징으로 하는 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법.In the step of extracting the two-dimensional feature point, the color pixel position of the hand and the color pixel position of the adjacent region are stored, and the color pixel position of the plane where the three-dimensional lump of the hand meets the adjacent region is estimated as the three-dimensional wrist plane. Three-dimensional position estimation method of the human joint using the spherical projection method. 제 7 항에 있어서,The method of claim 7, wherein 상기 아래팔 직선 생성 단계는,The lower arm straight line generation step, 상기 손의 3차원 덩어리와 상기 아래팔 부위의 색상차이가 구분되지 않는 경우에, 상기 손의 3차원 덩어리의 중심과 이어진 피부 영역의 직선성분을 아래팔 직선으로 추정하는 것을 특징으로 하는 것을 특징으로 하는 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법.When the color difference between the three-dimensional lump of the hand and the lower arm region is not distinguished, characterized in that the linear component of the center of the three-dimensional lump of the hand and the subsequent skin region is estimated as the lower arm straight line 3D Position Estimation Method of Human Joints Using Sphere Projection.
KR1020060045045A 2005-12-01 2006-05-19 Method for Estimating 3-Dimensional Position of Human's Joint using Sphere Projecting Technique KR100763578B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/605,612 US7869646B2 (en) 2005-12-01 2006-11-29 Method for estimating three-dimensional position of human joint using sphere projecting technique

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050116140 2005-12-01
KR20050116140 2005-12-01

Publications (2)

Publication Number Publication Date
KR20070057613A KR20070057613A (en) 2007-06-07
KR100763578B1 true KR100763578B1 (en) 2007-10-04

Family

ID=38354924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060045045A KR100763578B1 (en) 2005-12-01 2006-05-19 Method for Estimating 3-Dimensional Position of Human's Joint using Sphere Projecting Technique

Country Status (1)

Country Link
KR (1) KR100763578B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020130211A1 (en) * 2018-12-21 2020-06-25 주식회사 알체라 Joint model registration device and method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100885122B1 (en) * 2007-09-12 2009-02-20 전자부품연구원 Method for marker-free motion capture
US8442267B2 (en) 2008-12-24 2013-05-14 Electronics And Telecommunications Research Institute Apparatus and method for detecting upper body posture and hand posture
KR101056122B1 (en) * 2009-05-28 2011-08-11 (주)엠젠 Biometric data generation system and automatic processing method using virtual marker method
KR101626065B1 (en) 2009-10-13 2016-05-31 삼성전자주식회사 Apparatus and method for markerless motion capturing
KR101307341B1 (en) 2009-12-18 2013-09-11 한국전자통신연구원 Method and apparatus for motion capture of dynamic object
KR20160022576A (en) 2014-08-20 2016-03-02 한국전자통신연구원 Apparatus and method for matching 3d coordinate joint of human based on rgb sensor and depth sensor
KR101663418B1 (en) * 2015-04-06 2016-10-07 충북대학교 산학협력단 Method for estimating data of foot joint, and recording medium thereof
KR102463778B1 (en) * 2022-03-15 2022-11-11 인하대학교 산학협력단 Method and Apparatus for Reconstruction of Holistic 3D Body from a Blurred Single Image

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03200312A (en) * 1989-12-27 1991-09-02 Nippon Chemicon Corp Solid electrolytic capacitor
JPH05298422A (en) * 1992-04-16 1993-11-12 Hitachi Ltd Motion generating method for articulated structure
KR19980060109A (en) * 1996-12-31 1998-10-07 박병재 3D distance estimation apparatus and method using multiple images
KR20000017755A (en) * 1999-11-11 2000-04-06 황병익 Method for Acquisition of Data About Motion
KR20010102881A (en) * 2001-10-09 2001-11-17 하영균 Method and System for sensing Three-Dimensional body motion using color marker
KR20030068444A (en) * 2002-02-12 2003-08-21 일본국(동경대학장소관) Method of processing passive optical motion capture data
KR20040008379A (en) * 2002-07-18 2004-01-31 한국과학기술원 Motion Reconstruction Method from Inter-Frame Feature Correspondences of a Single Video Stream Using a Motion Library
KR20040055310A (en) * 2002-12-20 2004-06-26 한국전자통신연구원 Apparatus and method for high-speed marker-free motion capture

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03200312A (en) * 1989-12-27 1991-09-02 Nippon Chemicon Corp Solid electrolytic capacitor
JPH05298422A (en) * 1992-04-16 1993-11-12 Hitachi Ltd Motion generating method for articulated structure
KR19980060109A (en) * 1996-12-31 1998-10-07 박병재 3D distance estimation apparatus and method using multiple images
KR20000017755A (en) * 1999-11-11 2000-04-06 황병익 Method for Acquisition of Data About Motion
KR20010102881A (en) * 2001-10-09 2001-11-17 하영균 Method and System for sensing Three-Dimensional body motion using color marker
KR20030068444A (en) * 2002-02-12 2003-08-21 일본국(동경대학장소관) Method of processing passive optical motion capture data
KR20040008379A (en) * 2002-07-18 2004-01-31 한국과학기술원 Motion Reconstruction Method from Inter-Frame Feature Correspondences of a Single Video Stream Using a Motion Library
KR20040055310A (en) * 2002-12-20 2004-06-26 한국전자통신연구원 Apparatus and method for high-speed marker-free motion capture

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3차원 입체영상 생성기술 (한국특허정보원, 최훈태 저, 2003.12)
전자공학회 논문지(한영모, "인간-컴퓨터 상호 작용을 위한 인간 팔의 3차원 자세 추정 - 기계요소 모델링 기법을 컴퓨터 비전에 적용", SC 제42권 4호, pp.11~18, 2005.07)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020130211A1 (en) * 2018-12-21 2020-06-25 주식회사 알체라 Joint model registration device and method

Also Published As

Publication number Publication date
KR20070057613A (en) 2007-06-07

Similar Documents

Publication Publication Date Title
US7869646B2 (en) Method for estimating three-dimensional position of human joint using sphere projecting technique
KR100763578B1 (en) Method for Estimating 3-Dimensional Position of Human's Joint using Sphere Projecting Technique
US9235753B2 (en) Extraction of skeletons from 3D maps
JP6690041B2 (en) Method and device for determining point of gaze on three-dimensional object
CN107273846B (en) Human body shape parameter determination method and device
US9898651B2 (en) Upper-body skeleton extraction from depth maps
KR101812379B1 (en) Method and apparatus for estimating a pose
US9058514B2 (en) Apparatus and method for estimating joint structure of human body
JP5167248B2 (en) Modeling of humanoid shape by depth map
JP4148281B2 (en) Motion capture device, motion capture method, and motion capture program
JP5618569B2 (en) Position and orientation estimation apparatus and method
JP2009536731A5 (en)
JP2014522058A (en) Modeling, fitting, and tracking of 3D objects
CN107230224B (en) Three-dimensional virtual garment model production method and device
KR101126626B1 (en) System and Method for large-scale 3D reconstruction
US9235895B2 (en) Method for estimating direction of person standing still
Wang et al. Facial feature extraction in an infrared image by proxy with a visible face image
Yamauchi et al. Recognition of walking humans in 3D: Initial results
CN113487674B (en) Human body pose estimation system and method
Bilesan et al. Improved 3D human motion capture using Kinect skeleton and depth sensor
JP3401512B2 (en) Moving object tracking device
Biasi et al. Garment-based motion capture (GaMoCap): high-density capture of human shape in motion
Senior Real-time articulated human body tracking using silhouette information
CN113421286B (en) Motion capturing system and method
JPWO2020026677A1 (en) Detection device, processing device, detection method, and processing program

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100901

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee