KR102605786B1 - 3D absolute coordinate human posture estimation method and system using spherical coordinate system and joint characteristic information - Google Patents

3D absolute coordinate human posture estimation method and system using spherical coordinate system and joint characteristic information Download PDF

Info

Publication number
KR102605786B1
KR102605786B1 KR1020210101289A KR20210101289A KR102605786B1 KR 102605786 B1 KR102605786 B1 KR 102605786B1 KR 1020210101289 A KR1020210101289 A KR 1020210101289A KR 20210101289 A KR20210101289 A KR 20210101289A KR 102605786 B1 KR102605786 B1 KR 102605786B1
Authority
KR
South Korea
Prior art keywords
human
information
joint information
human joint
posture
Prior art date
Application number
KR1020210101289A
Other languages
Korean (ko)
Other versions
KR20230019595A (en
Inventor
윤주홍
박민규
장인호
강주미
이민호
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210101289A priority Critical patent/KR102605786B1/en
Publication of KR20230019595A publication Critical patent/KR20230019595A/en
Application granted granted Critical
Publication of KR102605786B1 publication Critical patent/KR102605786B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

구면 좌표계와 관절 특성 정보를 사용한 3차원 절대 좌표 사람 자세 추정 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 3차원 사람 자세 정보 추정 방법은, 데카르트 좌표로 표현된 2차원 사람 관절 정보를 입력받고, 입력된 2차원 사람 관절 정보를 이용하여 구면 좌표로 표현된 3차원 사람 관절 정보를 추정하며, 추정된 3차원 사람 관절 정보를 데카르트 좌표로 표현된 3차원 사람 관절 정보로 변환한다. 이에 의해, 사람의 자세 정보로 3차원 절대 좌표를 추정하기 때문에 상대 좌표를 추정하는 기존 방식과 달리 현실에서 기기와 사람 간의 소통에 있어서 더 효율적인 결과를 가져올 수 있다.A 3D absolute coordinate human posture estimation method and system using a spherical coordinate system and joint characteristic information is provided. The 3D human joint information estimation method according to an embodiment of the present invention receives 2D human joint information expressed in Cartesian coordinates, and uses the input 2D human joint information to generate 3D human joint information expressed in spherical coordinates. is estimated, and the estimated 3D human joint information is converted into 3D human joint information expressed in Cartesian coordinates. As a result, because 3D absolute coordinates are estimated using the person's posture information, unlike the existing method of estimating relative coordinates, it can lead to more efficient results in communication between devices and people in reality.

Description

구면 좌표계와 관절 특성 정보를 사용한 3차원 절대 좌표 사람 자세 추정 방법 및 시스템{3D absolute coordinate human posture estimation method and system using spherical coordinate system and joint characteristic information}3D absolute coordinate human posture estimation method and system using spherical coordinate system and joint characteristic information {3D absolute coordinate human posture estimation method and system using spherical coordinate system and joint characteristic information}

본 발명은 3차원 사람 자세 추정 기술에 관한 것으로, 더욱 상세하게는 딥 러닝 기반으로 3차원 사람 자세를 절대 좌표로 추정하는 방법 및 시스템에 관한 것이다.The present invention relates to 3D human posture estimation technology, and more specifically, to a method and system for estimating 3D human posture in absolute coordinates based on deep learning.

딥 러닝 이전 컴퓨터 비전은 3차원 사람 자세를 획득하기 위해서 많은 센서를 사람 관절에 부착하여 3차원 위치를 획득하는 방식을 사용하였다. 그러나 이러한 방식은 부가적인 장비 의존, 제한적인 공간, 고가의 장비 등의 불편성으로 인해 실생활에서 사용하기에는 적합하지 않다.Before deep learning, computer vision used a method of acquiring 3D positions by attaching many sensors to human joints to obtain 3D human posture. However, this method is not suitable for use in real life due to inconveniences such as dependence on additional equipment, limited space, and expensive equipment.

최근 들어 컴퓨터 하드웨어 성능의 폭발적인 향상과 데이터 수 증가 그리고 알고리즘의 많은 발전으로 인해 딥 러닝 성능이 큰 폭으로 향상되었고, 컴퓨터 비전 분야에서도 많은 기술이 딥 러닝을 사용하여 좋은 결과를 보여주었다.Recently, deep learning performance has improved significantly due to explosive improvements in computer hardware performance, an increase in the number of data, and many developments in algorithms, and many technologies in the computer vision field have shown good results using deep learning.

그 중에서도 3차원 사람 자세 추정 기술은 데카르트 좌표계(X,Y,Z)를 사용하여 3차원 사람 자세를 추정하는데, zero-centered된 3차원 사람 좌표를 정답 데이터로 사용하여 모델을 학습시키고, 관절 사이의 상대적인 좌푯값을 추정하여 3차원 상대 좌표 사람 자세를 추정하도록 모델을 설계하였다.Among them, the 3D human posture estimation technology uses the Cartesian coordinate system (X, Y, Z) to estimate the 3D human posture. The zero-centered 3D human coordinates are used as the answer data to learn the model, and the A model was designed to estimate the 3D relative coordinate human posture by estimating the relative coordinate value of .

그러나 이러한 방식은 절대 좌표가 사용되는 real-world에서 기기와 사람 간의 상호작용을 위해서는 부적합하다. 또한, 데카르트 좌표계는 X, Y, Z 축 모두 무한 영역을 가지고 있어 최적화된 3차원 자세 추정 결과에 도달하기 위해서는 관절 이외의 정보를 사용해야 한다는 문제점이 존재한다.However, this method is unsuitable for interaction between devices and people in the real-world where absolute coordinates are used. In addition, the Cartesian coordinate system has infinite areas for all X, Y, and Z axes, so there is a problem that information other than joints must be used to reach an optimized 3D posture estimation result.

위를 정리해 보면 크게 아래 2가지의 문제점으로 요약이 가능하다. In summary, the above can be broadly summarized into the following two problems.

- 기존 기술들은 상대 좌표를 기준으로 3차원 사람 자세를 추정하기 때문에 절대 좌표가 필요한 real-world 상황에 적합하지 않다.- Existing technologies estimate 3D human posture based on relative coordinates, so they are not suitable for real-world situations that require absolute coordinates.

- 기존 기술들은 모델 학습 시 다중 시점 이미지, 사람 주위의 Bounding Box 등 관절 외 부가적인 정보를 사용하여 모델을 훈련한다.- Existing technologies train models using additional information other than joints, such as multi-view images and bounding boxes around people, when learning a model.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 딥 러닝 기반으로 2차원 절대 좌표 사람 자세에서 3차원 절대 좌표 사람 자세를 복원함에 있어, 구면 좌표계 변환을 통한 관절 정보 복원과 관절 특성 정보를 활용한 관절 정보 조정을 활용하는 방법 및 시스템을 제공함에 있다.The present invention was created to solve the above problems, and the purpose of the present invention is to restore a 3D absolute coordinate human posture from a 2D absolute coordinate human posture based on deep learning, joint information through spherical coordinate system transformation. The aim is to provide a method and system for utilizing joint information adjustment using restoration and joint characteristic information.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 3차원 사람 자세 정보 추정 방법은, 데카르트 좌표로 표현된 2차원 사람 관절 정보를 입력받는 단계; 입력된 2차원 사람 관절 정보를 이용하여, 구면 좌표로 표현된 3차원 사람 관절 정보를 추정하는 단계; 및 추정된 3차원 사람 관절 정보를 데카르트 좌표로 표현된 3차원 사람 관절 정보로 변환하는 단계;를 포함한다.In order to achieve the above object, a method for estimating 3D human posture information according to an embodiment of the present invention includes the steps of receiving 2D human joint information expressed in Cartesian coordinates; Estimating 3D human joint information expressed in spherical coordinates using the input 2D human joint information; and converting the estimated 3D human joint information into 3D human joint information expressed in Cartesian coordinates.

추정 단계는, 2차원 사람 관절 정보(x,y)를, '2차원 사람 관절 정보(x,y)를 입력받아 구면 좌표로 표현된 3차원 사람 관절 정보(,,) 중 를 추정하도록 학습된 인공지능 모델인 자세 추정 모델'에 입력하여, 를 추정할 수 있다.In the estimation step, 2D human joint information (x,y) is input and 3D human joint information expressed in spherical coordinates ( , , ) middle By inputting it into the ‘posture estimation model’, which is an artificial intelligence model trained to estimate, can be estimated.

변환 단계는, 추정된 와 2차원 사람 관절 정보(x,y)를 이용하여, 변환된 3차원 사람 관절 정보를 계산할 수 있다.The conversion step is estimated Using the 2D human joint information (x,y), the converted 3D human joint information can be calculated.

변환 단계는, 다음 수식들, , , 을 이용하여 변환된 3차원 사람 관절 정보(X,Y,Z)를 계산할 수 있다.The conversion step is the following formulas, , , You can calculate the converted 3D human joint information (X, Y, Z) using .

본 발명의 일 실시예에 따른 3차원 사람 자세 정보 추정 방법은, 변환된 3차원 사람 관절 정보(X,Y,Z)를 '3차원 사람 관절 정보를(X,Y,Z) 입력받아 조정하도록 학습된 인공지능 모델인 자세 조정 모델'에 입력하여, 조정하는 단계;를 더 포함할 수 있다.The 3D human posture information estimation method according to an embodiment of the present invention is to adjust the converted 3D human joint information (X, Y, Z) by receiving the 3D human joint information (X, Y, Z). It may further include inputting and adjusting the posture adjustment model, which is a learned artificial intelligence model.

자세 조정 모델은, 조정된 3차원 사람 관절 정보(X,Y,Z)에 따른 관절 연결 정보와 GT(Ground Truth) 3차원 사람 관절 정보에 따른 관절 연결 정보 간의 차이(loss)가 최소화 되는 방향으로 학습될 수 있다.The posture adjustment model is designed in a way that minimizes the difference (loss) between the joint connection information according to the adjusted 3D human joint information (X, Y, Z) and the joint connection information according to GT (Ground Truth) 3D human joint information. It can be learned.

관절 연결 정보는, 각 관절들 간의 연결 길이들일 수 있다.Joint connection information may be connection lengths between each joint.

자세 조정 모델은, 조정된 3차원 사람 관절 정보(X,Y,Z)에 따른 관절들에 대해, 좌측 관절 정보와 우측 관절 정보 간의 차이가 최소화 되는 방향으로 학습될 수 있다.The posture adjustment model can be learned in a way that minimizes the difference between the left joint information and the right joint information for joints according to the adjusted 3D human joint information (X, Y, Z).

그리고, 좌측 관절 정보는, 좌측에 위치한 각 관절들 간의 연결 길이들이고, 우측 관절 정보는, 우측에 위치한 대칭되는 각 관절들 간의 연결 길이들일 수 있다.In addition, the left joint information may be the connection lengths between each joint located on the left, and the right joint information may be the connection lengths between each symmetrical joint located on the right.

한편, 본 발명의 다른 실시예에 따른, 3차원 사람 자세 정보 추정 시스템은, 데카르트 좌표로 표현된 2차원 사람 관절 정보를 입력받는 입력부; 입력된 2차원 사람 관절 정보를 이용하여, 구면 좌표로 표현된 3차원 사람 관절 정보를 추정하는 추정부; 및 추정된 3차원 사람 관절 정보를 데카르트 좌표로 표현된 3차원 사람 관절 정보로 변환하는 변환부;를 포함한다.Meanwhile, according to another embodiment of the present invention, a 3D human posture information estimation system includes: an input unit that receives 2D human joint information expressed in Cartesian coordinates; an estimation unit that estimates 3D human joint information expressed in spherical coordinates using the input 2D human joint information; and a conversion unit that converts the estimated 3D human joint information into 3D human joint information expressed in Cartesian coordinates.

한편, 본 발명의 다른 실시예에 따른, 3차원 사람 자세 정보 추정 방법은, 데카르트 좌표로 표현된 2차원 사람 관절 정보를 이용하여, 구면 좌표로 표현된 3차원 사람 관절 정보를 추정하는 단계; 및 추정된 3차원 사람 관절 정보를 데카르트 좌표로 표현된 3차원 사람 관절 정보로 변환하는 단계;를 포함한다.Meanwhile, a method for estimating 3D human posture information according to another embodiment of the present invention includes the steps of using 2D human joint information expressed in Cartesian coordinates to estimate 3D human joint information expressed in spherical coordinates; and converting the estimated 3D human joint information into 3D human joint information expressed in Cartesian coordinates.

한편, 본 발명의 다른 실시예에 따른, 3차원 사람 자세 정보 추정 시스템은, 데카르트 좌표로 표현된 2차원 사람 관절 정보를 이용하여, 구면 좌표로 표현된 3차원 사람 관절 정보를 추정하는 추정부; 및 추정된 3차원 사람 관절 정보를 데카르트 좌표로 표현된 3차원 사람 관절 정보로 변환하는 변환부;를 포함한다.Meanwhile, according to another embodiment of the present invention, a 3D human posture information estimation system includes: an estimation unit that estimates 3D human joint information expressed in spherical coordinates using 2D human joint information expressed in Cartesian coordinates; and a conversion unit that converts the estimated 3D human joint information into 3D human joint information expressed in Cartesian coordinates.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 사람의 자세 정보로 3차원 절대 좌표를 추정하기 때문에 상대 좌표를 추정하는 기존 방식과 달리 현실에서 기기와 사람 간의 소통에 있어서 더 효율적인 결과를 가져올 수 있다.As described above, according to the embodiments of the present invention, 3D absolute coordinates are estimated using the person's posture information, which will lead to more efficient results in communication between devices and people in reality, unlike the existing method of estimating relative coordinates. You can.

또한, 본 발명의 실시예들에 따르면, 다른 추가적인 정보 없이 주어진 2차원 관절 정보만을 활용해 3차원 사람 자세를 추정하기 때문에 좀 더 유연하게 여러 기술에 적용할 수 있다.In addition, according to embodiments of the present invention, the 3D human posture is estimated using only the given 2D joint information without any additional information, so it can be applied to various technologies more flexibly.

도 1은 데카르트 좌표계를 나타낸 도면,
도 2는 구면 좌표계를 나타낸 도면,
도 3은 본 발명의 일 실시예에 따른 3차원 절대 좌표 사람 자세 추정 시스템의 블럭도,
도 4는 본 발명의 다른 실시예에 따른 3차원 절대 좌표 사람 자세 추정 방법의 설명에 제공되는 흐름도
도 5는 관절 연결 정보의 설명에 제공되는 도면,
도 6은 좌/우측 관절 정보의 설명에 제공되는 도면이다.1 is a diagram showing a Cartesian coordinate system,
Figure 2 is a diagram showing a spherical coordinate system;
Figure 3 is a block diagram of a 3D absolute coordinate human posture estimation system according to an embodiment of the present invention;
Figure 4 is a flowchart provided to explain a method for estimating 3D absolute coordinate human posture according to another embodiment of the present invention.
5 is a diagram provided to explain joint connection information;
Figure 6 is a diagram provided to explain left/right joint information.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

본 발명의 실시예에서는 구면 좌표계와 관절 특성 정보를 활용하여 3차원 사람 자세를 절대 좌표로 추정하는 방법 및 시스템을 제시한다.An embodiment of the present invention presents a method and system for estimating a 3D human posture in absolute coordinates using a spherical coordinate system and joint characteristic information.

구체적으로, 도 1에 제시된 데카르트 좌표계(X,Y,Z)를 사용하여 3차원 사람 자세를 상대 좌표로 추정하던 기존 방식과 달리, 본 발명의 실시예에서는 도 2에 제시된 구면 좌표계(,,)를 사용하여 3차원 사람 자세를 절대 좌표로 추정한다.Specifically, unlike the existing method of estimating the 3D human posture in relative coordinates using the Cartesian coordinate system (X, Y, Z) shown in FIG. 1, the embodiment of the present invention uses the spherical coordinate system shown in FIG. 2 ( , , ) is used to estimate the 3D human posture in absolute coordinates.

또한, 본 발명의 실시예에서는 관절 특성 정보로써 관절 연결 정보와 관절 좌/우 대칭 정보를 활용하여 추정된 3차원 사람 자세 정보를 조정/보정하여, 구면 좌표계 사용에 의한 한계를 보완한다.Additionally, in an embodiment of the present invention, the estimated 3D human posture information is adjusted/corrected using joint connection information and joint left/right symmetry information as joint characteristic information, thereby compensating for limitations caused by the use of a spherical coordinate system.

도 3은 본 발명의 일 실시예에 따른 3차원 절대 좌표 사람 자세 추정 시스템의 블럭도이다. 본 발명의 일 실시예에 따른 3차원 절대 좌표 사람 자세 추정 시스템은, 입력부(110), 추정부(120), 변환부(130) 및 조정부(140)를 포함하여 구성된다.Figure 3 is a block diagram of a 3D absolute coordinate human posture estimation system according to an embodiment of the present invention. The 3D absolute coordinate human posture estimation system according to an embodiment of the present invention includes an input unit 110, an estimation unit 120, a conversion unit 130, and an adjustment unit 140.

입력부(110)는 데카르트 좌표의 2차원 사람 자세 정보를 입력 받아 추정부(120)와 변환부(130)로 전달한다.The input unit 110 receives two-dimensional human posture information in Cartesian coordinates and transmits it to the estimation unit 120 and the conversion unit 130.

추정부(120)는 데카르트 좌표의 2차원 사람 자세 정보로부터 구면 좌표의 3차원 사람 관절 정보를 추정한다.The estimation unit 120 estimates 3D human joint information in spherical coordinates from 2D human posture information in Cartesian coordinates.

변환부(130)는 데카르트 좌표의 2차원 사람 자세 정보를 이용하여, 추정부(120)에 의해 추정된 구면 좌표의 3차원 사람 관절 정보를 데카르트 좌표의 3차원 사람 관절 정보로 변환한다.The conversion unit 130 converts the 3D human joint information in spherical coordinates estimated by the estimation unit 120 into 3D human joint information in Cartesian coordinates using the 2D human posture information in Cartesian coordinates.

조정부(140)는 데카르트 좌표의 3차원 사람 관절 정보를 관절 특정 정보에 맞게 조정하여 준다.The adjustment unit 140 adjusts the 3D human joint information in Cartesian coordinates to fit the joint specific information.

도 4는 본 발명의 다른 실시예에 따른 3차원 절대 좌표 사람 자세 추정 방법의 설명에 제공되는 흐름도이다.Figure 4 is a flowchart provided to explain a method for estimating a 3D absolute coordinate human posture according to another embodiment of the present invention.

도시된 바와 같이, 먼저 입력부(110)는 데카르트 좌표로 표현된 2차원 사람 자세 정보인 2차원 사람 관절 정보(x,y)를 입력받는다(S210).As shown, first, the input unit 110 receives two-dimensional human joint information (x, y), which is two-dimensional human posture information expressed in Cartesian coordinates (S210).

그러면, 추정부(120)는 S210단계에서 입력된 2차원 사람 관절 정보(x,y)를 이용하여, 구면 좌표로 표현된 3차원 사람 관절 정보(,,) 중 를 추정한다(S220)Then, the estimation unit 120 uses the 2D human joint information (x, y) input in step S210 to generate 3D human joint information expressed in spherical coordinates ( , , ) middle Estimate (S220)

S220단계에서는, '2차원 사람 관절 정보(x,y)를 입력받아 3차원 사람 관절 정보(,,) 중 를 추정하도록 학습된 인공지능 모델인 자세 추정 모델'에 2차원 사람 관절 정보(x,y)를 입력하여 를 추정한다.In step S220, '2D human joint information (x, y) is input and 3D human joint information ( , , ) middle By inputting 2D human joint information (x,y) into the 'posture estimation model', an artificial intelligence model trained to estimate Estimate .

변환부(130)는 S220단계에서 추정된 와 S210단계에서 입력된 2차원 사람 관절 정보(x,y)를 이용하여, 데카르트 좌표로 변환된 3차원 사람 관절 정보(X,Y,Z)를 계산한다(S230).The conversion unit 130 estimates in step S220 Using the 2D human joint information (x, y) input in step S210, 3D human joint information (X, Y, Z) converted to Cartesian coordinates is calculated (S230).

구체적으로, S230단계에서는 다음의 수식들을 이용하여 3차원 사람 관절 정보(X,Y,Z)를 계산한다.Specifically, in step S230, 3D human joint information (X, Y, Z) is calculated using the following formulas.

S210단계 내지 S230단계를 통해 계산된 3차원 사람 관절 정보(X,Y,Z)는 상대 좌표가 아닌 절대 좌표이다. 단, 위 수식들을 통해 알 수 있는 바와 같이, 3차원 사람 관절 정보(X,Y,Z)는 에 의존적인 경향이 있기 때문에, 이를 보완하는 것이 필요하다.The 3D human joint information (X, Y, Z) calculated through steps S210 to S230 are absolute coordinates, not relative coordinates. However, as can be seen through the above formulas, the 3D human joint information (X, Y, Z) is Since it tends to depend on , it is necessary to supplement it.

이를 위해, 조정부(140)는 관절 특성 정보를 기초로 S230단계를 통해 계산된 3차원 사람 관절 정보(X,Y,Z)를 조정한다(S240).To this end, the adjustment unit 140 adjusts the 3D human joint information (X, Y, Z) calculated through step S230 based on the joint characteristic information (S240).

구체적으로, S240단계에서는 3차원 사람 관절 정보(X,Y,Z)를 '3차원 사람 관절 정보(X,Y,Z)를 입력받아 조정하도록 학습된 인공지능 모델인 자세 조정 모델'에 입력하여 조정한다.Specifically, in step S240, 3D human joint information (X, Y, Z) is input into the 'posture adjustment model, which is an artificial intelligence model learned to receive and adjust 3D human joint information (X, Y, Z)'. Adjust.

자세 조정 모델은, 자신에 의해 조정된 3차원 사람 관절 정보(X,Y,Z)에 따른 관절 연결 정보와 GT(Ground Truth) 3차원 사람 관절 정보(X',Y',Z')에 따른 관절 연결 정보 간의 차이(loss)가 최소화 되는 방향으로 학습된다.The posture adjustment model consists of joint connection information based on self-adjusted 3D human joint information (X, Y, Z) and GT (Ground Truth) 3D human joint information (X', Y', Z'). Learning is done in a way that minimizes the difference (loss) between joint connection information.

도 5는 관절 연결 정보의 설명에 제공되는 도면이다. 도시된 바와 같이, 관절 연결 정보는 총 17개로 이루어진 관절들 간의 연결 길이들을 나타낸다. 관절들 간의 연결이란, 왼쪽 손목과 왼쪽 팔꿈치의 연결, 오른쪽 발목과 오른쪽 무릎의 연결 등을 의미하며 총 16개이다. 연결 길이는 각 관절 좌표의 시작점과 끝점 간의 길이이다.Figure 5 is a diagram provided to explain joint connection information. As shown, joint connection information represents connection lengths between joints consisting of a total of 17 joints. The connection between joints means the connection between the left wrist and left elbow, the connection between the right ankle and right knee, etc. There are 16 in total. The connection length is the length between the start and end points of each joint coordinate.

또한, 자세 조정 모델은, 자신에 의해 조정된 3차원 사람 관절 정보(X,Y,Z)에 따른 관절들에 대해, 좌측 관절 정보와 우측 관절 정보 간의 차이가 최소화 되는 방향으로 학습된다.Additionally, the posture adjustment model is learned in a way that minimizes the difference between the left joint information and the right joint information for joints according to the 3D human joint information (X, Y, Z) adjusted by the posture adjustment model.

도 6은 좌/우측 관절 정보의 설명에 제공되는 도면이다. 도시된 바와 같이, 좌측 관절 정보는 좌측에 위치한 각 관절들 간의 연결 길이(이를 테면, 왼쪽 손목과 왼쪽 팔꿈치 간의 연결 길이)이고, 우측 관절 정보는 우측에 위치한 대칭되는 각 관절들 간의 연결 길이(이를 테면, 오른쪽 손목과 오른쪽 팔꿈치 간의 연결 길이)이다. 대칭되는 관절 간의 연결 길이의 차를 최소화함으로써 3차원 사람 관절 정보를 조정하여 준다.Figure 6 is a diagram provided to explain left/right joint information. As shown, the left joint information is the connection length between each joint located on the left (for example, the connection length between the left wrist and left elbow), and the right joint information is the connection length between each symmetrical joint located on the right. For example, the connection length between the right wrist and the right elbow). It adjusts 3D human joint information by minimizing the difference in connection length between symmetrical joints.

이와 같이, S240단계에서 3차원 사람 관절 정보(X,Y,Z)의 조정은 입력된 3차원 사람 관절 정보(X,Y,Z)만을 사용하며, 그 밖의 부가적인 정보는 사용되지 않는다.In this way, the adjustment of the 3D human joint information (X, Y, Z) in step S240 uses only the input 3D human joint information (X, Y, Z) and no other additional information is used.

지금까지, 구면 좌표계와 관절 특성 정보를 사용한 3차원 절대 좌표 사람 자세 추정 방법 및 시스템에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, a 3D absolute coordinate human pose estimation method and system using a spherical coordinate system and joint characteristic information has been described in detail with preferred embodiments.

위 실시예에서는 주어진 2차원 사람 자세에서 3차원 절대 좌표 사람 자세를 복원하기 위해 사용한 인공지능 모델, 좌표계 변환 기법, 그리고 관절 특성 정보를 활용한 손실함수 등을 제시하였다.In the above example, an artificial intelligence model used to restore a 3D absolute coordinate human posture from a given 2D human posture, a coordinate system transformation technique, and a loss function using joint characteristic information were presented.

본 발명의 실시예에서는, 3차원 절대 좌표를 추정하기 때문에 상대 좌표를 추정하는 기존 방식과 다르게 현실에서 기기와 사람 간의 소통에 있어서 더 효율적인 결과를 가져온다.In the embodiment of the present invention, because 3D absolute coordinates are estimated, unlike the existing method of estimating relative coordinates, it brings more efficient results in communication between devices and people in reality.

또한, 다른 추가적인 정보 없이 주어진 관절 정보만을 활용해 3차원 사람 자세를 추정하기 때문에 좀 더 유연하게 여러 기술에 적용할 수 있다. 특히, 근래 주목받고 있는 AR/VR 분야 또는 메타버스 서비스에서 가상 환경 그리고 사람의 상호작용을 위한 3차원 사람 자세 추정 기술로 정확한 관절 위치 정보를 제공할 수 있게 된다.In addition, because it estimates the 3D human posture using only the given joint information without any additional information, it can be applied to various technologies more flexibly. In particular, it is possible to provide accurate joint position information through 3D human pose estimation technology for virtual environments and human interaction in the AR/VR field or metaverse service, which has recently been attracting attention.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.Meanwhile, of course, the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program that performs the functions of the device and method according to this embodiment. Additionally, the technical ideas according to various embodiments of the present invention may be implemented in the form of computer-readable code recorded on a computer-readable recording medium. A computer-readable recording medium can be any data storage device that can be read by a computer and store data. For example, of course, computer-readable recording media can be ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, etc. Additionally, computer-readable codes or programs stored on a computer-readable recording medium may be transmitted through a network connected between computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the invention pertains without departing from the gist of the present invention as claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be understood individually from the technical idea or perspective of the present invention.

110 : 입력부
120 : 추정부
130 : 변환부
140 : 조정부110: input unit
120: Estimation department
130: conversion unit
140: adjustment unit

Claims (12)

데카르트 좌표로 표현된 2차원 사람 관절 정보를 입력받는 단계;
입력된 2차원 사람 관절 정보를 이용하여, 구면 좌표로 표현된 3차원 사람 관절 정보를 추정하는 단계; 및
추정된 3차원 사람 관절 정보를 데카르트 좌표로 표현된 3차원 사람 관절 정보로 변환하는 단계;를 포함하고,
추정 단계는,
2차원 사람 관절 정보(x,y)를, '2차원 사람 관절 정보(x,y)를 입력받아 구면 좌표로 표현된 3차원 사람 관절 정보(,,) 중 를 추정하도록 학습된 인공지능 모델인 자세 추정 모델'에 입력하여, 를 추정하며,
변환 단계는,



추정된 와 2차원 사람 관절 정보(x,y)를 이용하여, 위 수식들로부터 변환된 3차원 사람 관절 정보(X,Y,Z)를 계산하는 것을 특징으로 하는 3차원 사람 자세 정보 추정 방법.
Receiving two-dimensional human joint information expressed in Cartesian coordinates;
Estimating 3D human joint information expressed in spherical coordinates using the input 2D human joint information; and
Containing: converting the estimated 3D human joint information into 3D human joint information expressed in Cartesian coordinates,
The estimation step is,
2D human joint information (x,y) is input, 3D human joint information expressed in spherical coordinates (2D human joint information (x,y) , , ) middle By inputting it into the ‘posture estimation model’, which is an artificial intelligence model trained to estimate, To estimate,
The conversion step is,



estimated A 3D human posture information estimation method characterized by calculating 3D human joint information (X, Y, Z) converted from the above formulas using 2D human joint information (x, y).
 삭제delete 삭제delete 삭제delete 청구항 1에 있어서,
변환된 3차원 사람 관절 정보(X,Y,Z)를 '3차원 사람 관절 정보를(X,Y,Z) 입력받아 조정하도록 학습된 인공지능 모델인 자세 조정 모델'에 입력하여, 조정하는 단계;를 더 포함하는 것을 특징으로 하는 3차원 사람 자세 정보 추정 방법.
In claim 1,
Step of adjusting the converted 3D human joint information (X, Y, Z) by inputting it into the 'posture adjustment model, which is an artificial intelligence model learned to receive and adjust 3D human joint information (X, Y, Z)' A 3D human posture information estimation method further comprising ;.
 청구항 5에 있어서,
자세 조정 모델은,
조정된 3차원 사람 관절 정보(X,Y,Z)에 따른 관절 연결 정보와 GT(Ground Truth) 3차원 사람 관절 정보에 따른 관절 연결 정보 간의 차이(loss)가 최소화 되는 방향으로 학습되는 것을 특징으로 하는 3차원 사람 자세 정보 추정 방법.
In claim 5,
The posture adjustment model is,
Characterized by learning in a way that minimizes the difference (loss) between joint connection information according to adjusted 3D human joint information (X, Y, Z) and joint connection information according to GT (Ground Truth) 3D human joint information. A method for estimating 3D human posture information.
 청구항 5에 있어서,
관절 연결 정보는,
각 관절들 간의 연결 길이들인 것을 특징으로 하는 3차원 사람 자세 정보 추정 방법.
In claim 5,
Joint connection information is:
A 3D human posture information estimation method characterized by connection lengths between each joint.
 청구항 5에 있어서,
자세 조정 모델은,
조정된 3차원 사람 관절 정보(X,Y,Z)에 따른 관절들에 대해, 좌측 관절 정보와 우측 관절 정보 간의 차이가 최소화 되는 방향으로 학습되는 것을 특징으로 하는 3차원 사람 자세 정보 추정 방법.
In claim 5,
The posture adjustment model is,
A 3D human posture information estimation method, characterized in that the joints according to the adjusted 3D human joint information (X, Y, Z) are learned in a way that minimizes the difference between the left joint information and the right joint information.
 청구항 8에 있어서,
좌측 관절 정보는,
좌측에 위치한 각 관절들 간의 연결 길이들이고,
우측 관절 정보는,
우측에 위치한 대칭되는 각 관절들 간의 연결 길이들인 것을 특징으로 하는 3차원 사람 자세 정보 추정 방법.
In claim 8,
The left joint information is,
These are the connection lengths between each joint located on the left,
The right joint information is,
A 3D human posture information estimation method characterized by the connection lengths between each symmetrical joint located on the right side.
 데카르트 좌표로 표현된 2차원 사람 관절 정보를 입력받는 입력부;
입력된 2차원 사람 관절 정보를 이용하여, 구면 좌표로 표현된 3차원 사람 관절 정보를 추정하는 추정부; 및
추정된 3차원 사람 관절 정보를 데카르트 좌표로 표현된 3차원 사람 관절 정보로 변환하는 변환부;를 포함하고,
추정부는,
2차원 사람 관절 정보(x,y)를, '2차원 사람 관절 정보(x,y)를 입력받아 구면 좌표로 표현된 3차원 사람 관절 정보(,,) 중 를 추정하도록 학습된 인공지능 모델인 자세 추정 모델'에 입력하여, 를 추정하며,
변환부는,



추정된 와 2차원 사람 관절 정보(x,y)를 이용하여, 위 수식들로부터 변환된 3차원 사람 관절 정보(X,Y,Z)를 계산하는 것을 특징으로 하는 3차원 사람 자세 정보 추정 시스템.
An input unit that receives two-dimensional human joint information expressed in Cartesian coordinates;
an estimation unit that estimates 3D human joint information expressed in spherical coordinates using the input 2D human joint information; and
It includes a conversion unit that converts the estimated 3D human joint information into 3D human joint information expressed in Cartesian coordinates,
The estimation department,
2D human joint information (x,y) is input, 3D human joint information expressed in spherical coordinates (2D human joint information (x,y) , , ) middle By inputting it into the ‘posture estimation model’, which is an artificial intelligence model trained to estimate, To estimate,
The conversion part,



estimated A 3D human posture information estimation system characterized by calculating 3D human joint information (X, Y, Z) converted from the above formulas using 2D human joint information (x, y).
 데카르트 좌표로 표현된 2차원 사람 관절 정보를 이용하여, 구면 좌표로 표현된 3차원 사람 관절 정보를 추정하는 단계; 및
추정된 3차원 사람 관절 정보를 데카르트 좌표로 표현된 3차원 사람 관절 정보로 변환하는 단계;를 포함하고,
추정 단계는,
2차원 사람 관절 정보(x,y)를, '2차원 사람 관절 정보(x,y)를 입력받아 구면 좌표로 표현된 3차원 사람 관절 정보(,,) 중 를 추정하도록 학습된 인공지능 모델인 자세 추정 모델'에 입력하여, 를 추정하며,
변환 단계는,



추정된 와 2차원 사람 관절 정보(x,y)를 이용하여, 위 수식들로부터 변환된 3차원 사람 관절 정보(X,Y,Z)를 계산하는 것을 특징으로 하는 3차원 사람 자세 정보 추정 방법.
Estimating 3D human joint information expressed in spherical coordinates using 2D human joint information expressed in Cartesian coordinates; and
Containing: converting the estimated 3D human joint information into 3D human joint information expressed in Cartesian coordinates,
The estimation step is,
2D human joint information (x,y) is input, 3D human joint information expressed in spherical coordinates (2D human joint information (x,y) , , ) middle By inputting it into the ‘posture estimation model’, which is an artificial intelligence model trained to estimate, To estimate,
The conversion step is,



estimated A 3D human posture information estimation method characterized by calculating 3D human joint information (X, Y, Z) converted from the above formulas using 2D human joint information (x, y).
 데카르트 좌표로 표현된 2차원 사람 관절 정보를 이용하여, 구면 좌표로 표현된 3차원 사람 관절 정보를 추정하는 추정부; 및
추정된 3차원 사람 관절 정보를 데카르트 좌표로 표현된 3차원 사람 관절 정보로 변환하는 변환부;를 포함하고,
추정부는,
2차원 사람 관절 정보(x,y)를, '2차원 사람 관절 정보(x,y)를 입력받아 구면 좌표로 표현된 3차원 사람 관절 정보(,,) 중 를 추정하도록 학습된 인공지능 모델인 자세 추정 모델'에 입력하여, 를 추정하며,
변환부는,



추정된 와 2차원 사람 관절 정보(x,y)를 이용하여, 위 수식들로부터 변환된 3차원 사람 관절 정보(X,Y,Z)를 계산하는 것을 특징으로 하는 3차원 사람 자세 정보 추정 시스템.
an estimation unit that estimates 3D human joint information expressed in spherical coordinates using 2D human joint information expressed in Cartesian coordinates; and
It includes a conversion unit that converts the estimated 3D human joint information into 3D human joint information expressed in Cartesian coordinates,
The estimation department,
2D human joint information (x,y) is input, and 2D human joint information (x,y) is input and 3D human joint information expressed in spherical coordinates ( , , ) middle By inputting it into the ‘posture estimation model’, which is an artificial intelligence model trained to estimate, To estimate,
The conversion part,



estimated A 3D human posture information estimation system characterized by calculating 3D human joint information (X, Y, Z) converted from the above formulas using 2D human joint information (x, y).
KR1020210101289A 2021-08-02 2021-08-02 3D absolute coordinate human posture estimation method and system using spherical coordinate system and joint characteristic information KR102605786B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210101289A KR102605786B1 (en) 2021-08-02 2021-08-02 3D absolute coordinate human posture estimation method and system using spherical coordinate system and joint characteristic information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210101289A KR102605786B1 (en) 2021-08-02 2021-08-02 3D absolute coordinate human posture estimation method and system using spherical coordinate system and joint characteristic information

Publications (2)

Publication Number Publication Date
KR20230019595A KR20230019595A (en) 2023-02-09
KR102605786B1 true KR102605786B1 (en) 2023-11-29

Family

ID=85224764

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210101289A KR102605786B1 (en) 2021-08-02 2021-08-02 3D absolute coordinate human posture estimation method and system using spherical coordinate system and joint characteristic information

Country Status (1)

Country Link
KR (1) KR102605786B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090096790A1 (en) * 2007-10-11 2009-04-16 Mvtec Software Gmbh System and method for 3d object recognition
US20200342270A1 (en) * 2019-04-26 2020-10-29 Tata Consultancy Services Limited Weakly supervised learning of 3d human poses from 2d poses

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090096790A1 (en) * 2007-10-11 2009-04-16 Mvtec Software Gmbh System and method for 3d object recognition
US20200342270A1 (en) * 2019-04-26 2020-10-29 Tata Consultancy Services Limited Weakly supervised learning of 3d human poses from 2d poses

Also Published As

Publication number Publication date
KR20230019595A (en) 2023-02-09

Similar Documents

Publication Publication Date Title
KR102184766B1 (en) System and method for 3D model reconstruction
US11940774B2 (en) Action imitation method and robot and computer readable storage medium using the same
US20070268295A1 (en) Posture estimation apparatus and method of posture estimation
US20030055532A1 (en) Autonomous action robot
CN111402290A (en) Action restoration method and device based on skeleton key points
CN111062326B (en) Self-supervision human body 3D gesture estimation network training method based on geometric driving
CN112837406B (en) Three-dimensional reconstruction method, device and system
KR101891201B1 (en) Method and apparatus for acquiring depth map from all-around camera
CN104040593B (en) Method and apparatus for 3D model deformation
CN114626539A (en) Distributed SLAM system and learning method thereof
JP2020170500A (en) Method and device for estimating ego motion information
US20230067081A1 (en) System and method for real-time creation and execution of a human Digital Twin
KR20180035359A (en) Three-Dimensional Space Modeling and Data Lightening Method using the Plane Information
KR102605786B1 (en) 3D absolute coordinate human posture estimation method and system using spherical coordinate system and joint characteristic information
KR100526018B1 (en) Method for recognizing and tracking an object
KR102170888B1 (en) Apparatus and Method for Image based Human Posture and Shape Model Reconstruction with Inter Joint Distance Information
CN111193918B (en) Image processing system and image processing method
WO2021261687A1 (en) Device and method for reconstructing three-dimensional human posture and shape model on basis of image
KR102338488B1 (en) Apparatus and Method for Reconstructing Human Posture and Shape Model based on Multi-View Image using Relative Distance information between Joints
KR102299902B1 (en) Apparatus for providing augmented reality and method therefor
CN113643343B (en) Training method and device of depth estimation model, electronic equipment and storage medium
KR20220160865A (en) Depth estimation system and depth estimation method
JP2021026265A (en) Image processing device, image processing program, and image processing method
KR20220085491A (en) Self-supervised learning based 3D human posture estimation method using multi-view images
Xu et al. Study on the method of SLAM initialization for monocular vision

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant