KR102642222B1 - 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 방법 및 시스템 - Google Patents

2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 방법 및 시스템 Download PDF

Info

Publication number
KR102642222B1
KR102642222B1 KR1020220099632A KR20220099632A KR102642222B1 KR 102642222 B1 KR102642222 B1 KR 102642222B1 KR 1020220099632 A KR1020220099632 A KR 1020220099632A KR 20220099632 A KR20220099632 A KR 20220099632A KR 102642222 B1 KR102642222 B1 KR 102642222B1
Authority
KR
South Korea
Prior art keywords
image
input
learning
neural network
generated
Prior art date
Application number
KR1020220099632A
Other languages
English (en)
Other versions
KR20240021383A (ko
Inventor
염세경
전승진
장지원
김민지
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020220099632A priority Critical patent/KR102642222B1/ko
Publication of KR20240021383A publication Critical patent/KR20240021383A/ko
Application granted granted Critical
Publication of KR102642222B1 publication Critical patent/KR102642222B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

2D 입력 이미지로부터 탈의한 신체이미지를 예측하는 시스템은,
학습 데이터 및 입, 출력 데이터를 입, 출력하는 입/출력부;
설정된 규격에 맞추어 이미지 사이즈 조절 및 이미지 데이터의 변환 처리를 수행하는 이미지 처리부;
상기 입/출력부로부터 입력된 신체 전신의 2D 입력이미지로부터 얼굴 골반 어깨, 팔, 다리 관절을 포함하는 인체의 주요 관절 keypoint 정보를 추론하는 Body keypoint Estimator 신경망모듈; 및
상기 2D 입력이미지와 상기 주요 관절 keypoint 정보를 입력하여 탈의한 신체 이미지를 생성시키는 GAN 모델기반의 Body shape Estimator 신경망 모듈; 을 포함하며,
상기 Body shape Estimator 신경망 모듈은 GAN 모델기반의 탈의한 전신 이미지를 생성하는 이미지 생성기 및 상기 생성된 탈의한 전신 이미지와 실제 타켓트 이미지의 판별하여 상기 이미지 생성기로 피드백하는 학습과정을 수행하는 판별기를 포함하는 것을 특징으로 한다.

Description

2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 방법 및 시스템{system and method for Predicting human full body models under clothing from 2D full body images based on inference of position of the joint}
본 발명은 본 발명은 사용자가 입력한 신체 전신 이미지에서 관절 위치 및 방향 정보를 파악하고 이를 통해 탈의한 체형을 예측하여 체형에 관한 정보를 도출할 수 있는 방법 및 시스템에 관한 것이다.
최근 헬스케어, 가상환경, 의류 산업 등 다양한 분야에서 질병, 미용, 안전 등의 목적으로 신체에 관한 연구가 진행되고 있다. 예를 들면 헬스케어 분야에서는 키, 체중, 체형 등의 정보를 사용하여 비만 관리를 하고 의류 산업에서는 신체 이미지 정보를 사용하여 가상 의류 시착 등의 문제를 다루고 있다. 신체에 관한 연구는 주로 키, 체중, 체형, 자세 등의 신체 정보를 데이터로 사용한다.
하지만 사람이 직접 피실험자의 신체 사이즈를 측정하는 방법이나 컴퓨팅 기술을 사용하여 이미지에서 신체 정보를 수집하는데 있어 옷에 의해 신체 정보가 누락되는 문제점이 발생한다. 이에 옷에 가려진 신체를 추론하는 방법들이 연구되었지만, Kinect 카메라를 사용하거나 파라메트릭 모델로 정형화된 일반 체형으로 추론된다. 따라서 현행 연구들은 카메라의 비용이 발생하거나 피부에 딱 맞는 옷을 입어야 하는 등 측정의 제약이 발생한다. 뿐만 아니라 피실험자의 자세가 매우 제한적이고 파라메트릭 모델의 최적화 문제로 인해 연산 시간이 많이 드는 단점이 있다.
입력 이미지에 대한 도메인을 다른 도메인으로 바꾸어 주는 task를 수행하는 Image to Image Translation을 이용하여 현 문제를 해결할 수 있다. Image to Image translation에서 가장 많이 사용되고 있는 Pix2Pix 알고리즘은 원하는 데이터를 생성하기 위해 입력 이미지 자체를 이용하여 이미지를 생성한다. 하지만, 체형에 적용하기에 한계점이 존재한다. 몸통에 비해 변화가 많은 팔, 다리 제어가 가능할지 혹은 옷에 가려진 신체를 정교하게 표현이 가능하지 않다.
인간은 일반적으로 옷으로 포착된다. 즉, 실제 탈의한 인간의 모양은 옷으로 가려져 일반적으로 외모와 다르다. 탈의한 모양의 중요한 적용인 가상 시착 시스템은 일반적으로 의복의 3D 모델을 사람의 모양에 겹쳐 놓는 것으로 구현될 수도 있을 것이다. 디자인과 색상 면에서 소비자가 자신에게 맞는 옷인지 여부를 시각화할 수는 있지만 실제 몸에 맞는 크기인지 판단하기는 어렵다.
탈의한 사람의 모양에 대한 추정이 연구되었지만 대부분의 접근 방식은 3D 모양을 획득하기 위해 다시 점 이미지 또는 3D 스캐너를 사용할 수 있다. 이러한 접근 방식은 일반 카메라를 사용하여 쉽게 입력해야 하는 가정에서 가상 시착을 위한 형상 획득을 구현하는 데는 비실용적이다.
특허문헌[1]은 인공지능모델을 이용하여 X선 의료영상으로부터 조직의 3차원 크기, 체적 또는 무게를 구하여 인체의 각 종 조직을 분석하는 방법 및 그 장치에 대한 기술을 개시하고 있다.
이를 위해서는 X선 의료영상 및 이를 이용하여 상기 조직에 대한 서로 다른 방향의 2차 원 의료영상을 생성하고, 상기 서로 다른 방향의 2차원 의료영상과 상기 조직의 3차원 크기, 체적 또는 무게 정보를 이용하여 상기 인공지능모델을 학습시키는 과정이 포함된다.
비특허문헌[1]에서는 모바일에서 human pose estimation에 대한 real-time inference가 가능한 “BlazePose”에 대한 기술을 개시하고 있다. “BlazePose” 기술은 Google Pixel 2 기준으로 30fps로 33개 관절의 keypoint를 출력한다.
BlazePose의 novel solution은 heatmap과 regression을 모두 이용해 lightweight pose estimation을 할 수 있다.
[1] 대한민국 공개특허공보 10-2022-0080341호(비지도 6D 포즈 측정을 위한 3D대조학습 장치 및 방법) [2] 대한민국 등록특허공보 10-2187143(3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법) [3] 대한민국 공개특허공보 10-2022-0084642호(딥러닝기술을 이용해 신체의 pose 를 2D 영상에서 3D 화면으로 변환 방법 및 Display 상에 표시 하고 요약하는 방법)
[1] Valentin Bazarevsky, Ivan Grishchenko, Karthik Raveendran, Tyler Zhu, Fan Zhang, Matthias Grundmann, "BlazePose: On-device Real-time Body Pose tracking", Google AI Research, arXiv;2006.10204v1[cs.CV] 17Jun 2020.
본 발명의 목적은 사용자의 2D 전신 이미지에서 사용자의 신체 특징점을 도출하여 각도, 위치 등 일정하지 않은 신체 부위에 대한 정보를 파악하고 이를 통해 옷에 가려진 탈의한 체형을 예측할 수 있는 시스템 및 방법을 제공하는 것이다.
본 발명은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
본 발명의 일측면에 따르면, 2D 입력 이미지로부터 탈의한 신체이미지를 예측하는 시스템은, 학습 데이터 및 입, 출력 데이터를 입, 출력하는 입/출력부; 설정된 규격에 맞추어 이미지 사이즈 조절 및 이미지 데이터의 변환 처리를 수행하는 이미지 처리부; 상기 입/출력부로부터 입력된 신체 전신의2D 입력이미지로부터 얼굴 골반 어깨, 팔, 다리 관절을 포함하는 인체의 주요 관절 keypoint 정보를 추론하는 Body keypoint Estimator 신경망모듈; 및 상기 2D 입력이미지와 상기 주요 관절 keypoint 정보를 입력하여 탈의한 신체 이미지를 생성시키는 GAN 모델기반의 Body shape Estimator 신경망 모듈; 을 포함하며, 상기 Body shape Estimator 신경망 모듈은 GAN 모델기반의 탈의한 전신 이미지를 생성하는 이미지 생성기 및 상기 생성된 탈의한 전신 이미지와 실제 타켓트 이미지의 판별하여 상기 이미지 생성기로 피드백하는 학습과정을 수행하는 판별기를 포함하는 것을 특징으로 한다.
또한, 상기 시스템은, 전면 및 옆면을 포함하는 학습용 오브젝트의 신체 전신에 대한 학습용2D 입력이미지와 이에 해당하는 탈의된 타켓트이미지 및 학습용2D 입력이미지에 의해 추론된 상기 주요 관절 keypoint 정보를 이용하여 미리 사전 지도학습하는 과정이 수행되는 것을 특징으로 한다.
또한, 상기 주요 관절 keypoint 정보는 얼굴 골반 어깨, 팔, 다리 관절을 포함하는 인체의 33개의 관절 keypoint 정보이며, 각각 위치, 크기 정보를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따르면, 상기 시스템에 의한 탈의한 신체이미지를 예측하는 방법에 있어서,(a) 상기 입/출력부를 통하여 입력된 2D입력이미지를 상기 Body keypoint Estimator 신경망모듈을 통하여 얼굴 골반 어깨, 팔, 다리 관절을 포함하는 인체의 주요 관절 keypoint 정보를 추론하는 단계; 및 (b) 상기 2D 입력이미지와 상기 주요 관절 keypoint 정보를 상기Body shape Estimator 신경망 모듈을 통하여 탈의한 생성이미지를 생성시키는 단계를 포함하며, 상기 (a) 단계 이전에, 전면 및 옆면을 포함하는 학습용 오브젝트의 신체 전신에 대한 학습용 2D 입력이미지와 이에 해당하는 탈의된 타켓트이미지 및 학습용 2D 입력이미지에 의해 추론된 상기 주요 관절 keypoint 정보를 이용하여 미리 사전 지도학습하는 과정이 수행되는 것을 특징으로 한다.
또한, 상기 사전 지도학습하는 과정은, (a) 상기 학습용 오브젝트의 제1 입력이미지를 상기Body keypoint Estimator 신경망모듈의 input으로 입력하여 제1 관절 keypoint 정보를 추론하는 단계; (b) 상기 추론된 제1 관절 keypoint 정보와 제1 입력이미지 정보를 결합(Concatenate)하고 이를 상기 이미지 생성기(Generator)의 input로 입력하여 탈의한 제1생성이미지를 생성하는 단계 및 (c) 상기 판별기(discriminator)에 상기 제1입력이미지와 제1 생성이미지 및 상기 제1입력이미지와 제1 타켓트이미지 쌍을 입력하여 상기 판별기(discriminator)가 상기 제1생성이미지와 제1타켓트 이미지와의 판별을 수행하고 판별된 출력 정보를 상기 이미지 생성기(Generator)로 피드백하여 상기 이미지 생성기(Generator)를 조정하여 학습하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 (c) 단계는 상기 판별기(Discriminator)가 상기 제1입력이미지와 제1 생성이미지 혹은 상기 제1입력이미지(310)와 제1 타켓트이미지가 짝을 이루고 있는 관계가 진짜인지 가짜인지 판별하는 과정을 포함하는 것을 특징으로 한다.
또한, 상기 (c) 단계는 상기 판별기(Discriminator)가 상기 제1 생성이미지와 상기 제1타켓트이미지를 분할된 패치별 데이터로 나누어 판별한 판별 결과에 기초하여 판별 오차를 최소화하는 방향으로 상기 이미지 생성기(Generator)의 가중치를 학습하는 과정을 포함하는 것을 특징으로 한다.
또한, 상기 (c) 단계는 상기 판별기(Discriminator)가 제1 입력이미지와 제1 생성이미지를 포함하는 제1-1데이터를 제1 입력이미지와 제1타켓트이미지를 포함하는 제1-2데이터와 비교하여 상기 제1 생성이미지가 상기 제1 타켓트 이미지인지 여부를 판별하는 과정은 제1 생성이미지가 제1 타켓트 이미지에 가까운 정도를 확률로서 나타내는 과정을 더 포함하며, 상기 판별 결과에 기초하여 판별 오차를 최소화하는 방향으로 상기 이미지 생성기(Generator)의 가중치를 학습하는 과정을 포함하는 것을 특징으로 한다.
또한, 상기 (c) 단계에서, 하나의 학습오브젝트에 대해 상기 제1생성이미지 및 제1타켓트이미지의 크기는 256×256×6이며, 상기 패치별 데이터의 크기는 70×70 이고, 상기 패치별 데이터의 최종값를 하나의 학습오브젝트에 대해 합산하여 평균한 값을 확률값으로 산출하는 것을 특징으로 한다.
또한, 상기 (c) 단계에서, 상기 판별기의 모델의 최종 레이어는 16×16×1 픽셀의 크기이며, sigmoid를 통과시켜서 0 또는 1의 최종값으로 출력되는 것을 특징으로 한다.
본 발명의 일 실시 예에 의한 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 방법에 따르면, 신체 특징점 도출을 통해 인체마다 다른 체형을 표현할 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 옷을 탈의하거나 몸에 꽉 달라 붙는 옷을 입어야 하는 등 특별한 제약 없이 탈의한 체형을 추정할 수 있다.
또한, 정면뿐만 아니라 측면 이미지에 대해서도 탈의한 체형 추정이 가능하기 때문에, 정면과 측면 사진으로 신체 측정(허리 둘레, 팔 다리 길이 등)이 가능하다.
도 1은 본 발명의 일 실시 예에 따른 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 시스템의 예를 도시한 것이다.
도 2는 본 발명의 일 실시 예에 따른 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 시스템이 신체이미지 예측방법에 대한 프로세스를 도시한 것이다.
도 3은 본 발명의 일 실시 예에 따른 Body keypoint Estimator 신경망모듈이 탈의한 신체 이미지를 생성시키는 프로세스를 도시한 것이다.
도 4는 본 발명의 일 실시 예에 따른 BlazePose 신경망 모델을 적용한 Body keypoint Estimator 신경망모듈이 추론한 33개의 관절 keypoint 정보를 도시한 것이다.
도 5는 본 발명의 일 실시 예에 따른 이미지 생성기(Generator)가 탈의한 생성 이미지를 생성하는 프로세스를 도시한 것이다.
도 6은 본 발명의 일 실시 예에 따른 이미지 생성기(Generator)의 구조의 예를 도시한 것이다.
도 7은 본 발명의 일 실시 예에 따른 사전 학습과정에서 판별기(discriminator)가 생성된 탈의한 전신 이미지와 실제 탈의된 타켓트 이미지의 판별 프로세스를 도시한 것이다.
도 8은 본 발명의 일 실시 예에 따른 PatchGAN 모델의 예를 도시한 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에 기재된 신경망 모듈은 인공지능(AI)으로 환경을 인식하고, 결정을 내리고 행동을 취하도록 학습된 컴퓨터 장치이며, 데이터로부터 자동으로 학습하는 모델 및 신경망 경로로 학습하는 CNN, R-CNN, LSTM, Deep Q 네트워크 및 GAN 장치 등을 포괄하는 개념으로 사용될 수 있다.
또한, 본 발명의 실시 예의 구성요소를 설명하는 데 있어서, 제1, 제2 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속될 수 있지만, 그 구성요소와 그 다른 구성요소 사이에 또 다른 구성요소가 '연결', '결합' 또는 '접속'될 수도 있다고 이해되어야 할 것이다.
이하 본 발명의 구현에 따른 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 방법 및 시스템에 대해 상세하게 설명한다.
옷의 다양성, 역동적인 자세, 각기 다른 체형, 정형화되지 않은 팔과 다리의 패턴에서 체형을 추론하기에는 어려움이 존재한다. 이러한 문제점을 해결하기 위해서 본 발명의 일 실시 예에서는 GAN 신경망 모델에 체형 정보를 추출하는 방법론을 포함하여 체형 추론에 적합한 기술을 개발하였다.
도 1은 본 발명의 일 실시 예에 따른 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 시스템의 예를 도시한 것이다.
본 발명의 일 실시 예에 따른 2차원 전신 신체 이미지로부터 탈의한 신체이미지를 예측하는 시스템은 학습 데이터, 입력데이터 및 출력 데이터를 입, 출력하는 입/출력부(20), 사용되는 이미지를 설정된 규격에 맞추어 이미지 사이즈 조절 및 변환 처리를 수행하는 이미지 처리부(50), 상기 입/출력부(20)로부터 입력된 2D 신체 전신이미지로부터 얼굴 골반 어깨, 팔, 다리 관절을 포함하는 인체의 주요 관절 keypoint 정보를 추론하는 Body keypoint Estimator 신경망모듈(100), 상기 입/출력부(20)로부터 입력된 2D 신체 전신 이미지(이하 '입력이미지'라 한다.)와 상기 Body keypoint Estimator 신경망모듈(100)로부터 추론된 주요 관절 keypoint 정보를 입력하여 탈의한 신체 이미지를 생성시키는 GAN 모델기반의 Body shape Estimator 신경망 모듈(200) 및 상기 각부를 제어하는 제어부(50)를 포함한다.
본 발명의 일 실시 예에 따른 GAN 모델기반의 Body shape Estimator 신경망 모듈(200)은 GAN 모델을 활용한 Image to Image Translation 알고리즘인 Pix2Pix를 변형한 모델에 기반하여 변형된 알고리즘을 이용할 수 있다.
본 발명의 일 실시 예에 따른 Body shape Estimator 신경망 모듈(200)은 GAN 모델기반의 탈의한 전신 이미지를 생성하는 이미지 생성기(Generator, (210)) 및 상기 생성된 탈의한 전신 이미지와 실제 타켓트 이미지의 판별하여 상기 이미지 생성기(Generator, (210))의 학습과정을 수행하는 판별기(discriminator 220)를 포함한다.
또한, 상기 Body shape Estimator 신경망 모듈(200)은 학습용 오브젝트의 전면 및 옆면을 포함하는 입력이미지와 이에 해당하는 실제 학습 오브젝트의 탈의된 타켓트 이미지(이하 타켓트 이미지'라 한다.) 및 2D 신체 전신 이미지에 의해 Body keypoint Estimator 신경망모듈(100)을 통하여 추론된 주요 관절 keypoint 정보를 이용하여 미리 사전 학습하는 과정이 수행되는 것을 특징으로 한다.
상기 사전 학습하는 과정은 상기 판별기(discriminator 220)에서 이미지 생성기(Generator, (210))에서 탈의한 생성 이미지와 상기 학습용 오브젝트의 타켓트 이미지와의 판별 결과에 기초하여 판별 오차를 최소화하는 방향으로 상기 이미지 생성기(Generator, (210))의 가중치를 학습하는 과정이 포함될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 시스템이 신체이미지 예측방법에 대한 프로세스를 도시한 것이다.
도, 2를 참조하면, 본 발명의 일 실시 예에 따른 시스템이 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 방법은, 먼저 입/출력부(20)를 통하여 입력된 입력이미지(310)를 Body keypoint Estimator 신경망모듈(100)을 통하여 얼굴 골반 어깨, 팔, 다리 관절을 포함하는 인체의 주요 관절 keypoint 정보(410)를 추론하는 단계(610 단계)가 수행된다.
본 발명의 일 실시 예에 따른 신체 키포인트 추론(Body keypoint Estimator) 신경망모듈(100)은 encoder-decoder network로 모든 관절의 heatmap을 예측한 후, 다른 encoder로 regression을 이용해 각 관절의 좌표를 예측하는 신경망모듈이다. 본 발명의 일 실시 예에 따른 방법에서는 기 학습된 Body Pose Tracking BlazePose 신경망 모델이 사용될 수 있다.
본 발명의 일 실시 예에 따르면, 이미지처리부(50)는 상기 610단계에서 입력이미지(310)가 Body keypoint Estimator 신경망모듈(100)의 input으로 입력되는 단계에, 골반 중앙값이 이미지의 중앙으로 오도록 정렬하는 기능을 수행하는 과정을 포함한다. 이를 위해 rotation은 골반 중앙값과 어깨 중앙값을 이은 L line이 y축과 평행하게, scale은 모든 body point가 설정된 bbox(bound box)에 들어올 수 있도록 처리된다.
도 3은 본 발명의 일 실시 예에 따른 Body keypoint Estimator 신경망모듈(100)이 탈의한 신체 이미지를 생성시키는 프로세스를 도시한 것이다.
본 발명의 일 실시 예에 따른 Body keypoint Estimator 신경망모듈(100)이 추론하는 주요 관절 keypoint 정보는 얼굴 골반 어깨, 팔, 다리 관절을 포함하는 33개의 관절 keypoint 정보(410)를 포함한다. 33개의 관절 keypoint 정보는 각각 위치, 크기 ROI(region of interest) 중 하나 이상이 포함될 수 있다.
본 발명의 일 실시 예에서 Body keypoint Estimator 신경망모듈(100)로 기 학습된 BlazePose 신경망 모델(Valentin Bazarevsky, Ivan Grishchenko, Karthik Raveendran, Tyler Zhu, Fan Zhang, Matthias Grundmann, “ On-device Real-time Body Pose tracking”참조)을 적용하여 관절 keypoint 정보를 추론할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 BlazePose 신경망 모델을 적용한 Body keypoint Estimator 신경망모듈(100)이 추론한 33개의 관절 keypoint 정보를 도시한 것이다.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 Body keypoint Estimator 신경망모듈(100)이 추론한 정보는 0. Nose ~ 32. Right_foot_index의 33개의 주요 관절 keypoint 정보를 추론할 수 있다.
다음은 상기 입/출력부(20)로부터 입력된 입력이미지(310)와 상기 Body keypoint Estimator 신경망모듈(100)로부터 추론된 주요 관절 keypoint 정보(410)를 Body shape Estimator 신경망 모듈(200)을 통하여 탈의한 생성이미지(510)를 생성시키는 단계(620)가 수행된다.
본 발명의 일 실시 예에 따르면, 본 발명의 일 실시 예에 따른 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 시스템의 탈의한 신체이미지를 예측하는 방법은, 먼저, 전면 및 옆면을 포함하는 학습용 오브젝트의 2D 신체 전신 입력이미지와 이에 해당하는 탈의된 타켓트이미지 및 2D 신체 전신 이미지에 의해 Body keypoint Estimator 신경망모듈(100)을 통하여 추론된 주요 관절 keypoint 정보를 이용하여 미리 사전 지도학습하는 과정이 수행되는 것을 특징으로 한다.
상기 사전 학습하는 과정은, 먼저, 전면 및 옆면을 포함하는 2D 신체 전신 이미지와 이에 해당하는 탈의된 전신이미지를 포함하는 학습용 오브젝트가 준비된다.
본 발명의 일 실시 예에서는 사전 학습을 위해 학습용 오브젝트의 전면 및 옆면을 포함하는 2D 신체 전신 이미지와 이에 해당하는 탈의된 전신이미지를 포함하는 학습용 오브젝트 30,000~50,000개를 준비하여 학습을 수행한다. 상기 사전 지도학습하는 과정은 학습용 오브젝트의 제1 입력이미지를 Body keypoint Estimator 신경망모듈(100)의 input으로 입력하여 제1 관절 keypoint 정보(410)를 추론하는 단계가 수행된다.
다음은 상기 추론된 제1 관절 keypoint 정보(410)와 제1 입력이미지 정보를 결합(Concatenate)하여 이미지 생성기(Generator, (210))의 input로 입력하여 탈의한 제1생성이미지를 생성하는 단계가 수행된다.
도 5는 본 발명의 일 실시 예에 따른 이미지 생성기(Generator)가 탈의한 생성 이미지를 생성하는 프로세스를 도시한 것이다.
도 5를 참조하면, 상기 제1 관절 keypoint 정보(410)와 제1 입력이미지(310)를 결합(Concatenate)하여 이미지 생성기(Generator, (210))의 input로 인코더에 입력하면, 디코더를 통하여 제1 탈의한 생성이미지(510)가 생성된다.
본 발명의 일 실시 예에 따른 이미지 생성기(Generator, (210))는 U-net 모델 구조의 입력 데이터에 대한 특징을 추출하는 인코더와 추출된 특징을 디코딩하여 탈의한 신체 이미지를 생성하는 디코더를 포함하도록 구성될 수 있다.
예를 들면, 이미지 생성기(Generator, (210))는 제1 관절 keypoint 정보(420)와 제1 입력이미지(310)를 입력으로 하고, 스킵 커넥션(Skip Connection) 구조의 알고리즘을 수행하여 탈의한 제1 생성이미지(510)를 생성할 수 있다.
본 발명의 일 실시 예에서는 제1 입력이미지(310)로부터 RGB 이미지 특징을 추출하고, 상기 제1 관절 keypoint 정보로부터 33개의 키포인트 정보를 추출하여 이미지 생성기(Generator, (210))의 인코더로 입력된다. 상기 이미지 생성기(Generator, (210))의 디코더는 제1 입력이미지 정보(310)와 상기 제1 관절 keypoint 정보(410)로부터 1차 탈의한 제1 생성이미지(510)를 생성할 수 있다
도 6은 본 발명의 일 실시 예에 따른 이미지 생성기(Generator)의 구조의 예를 도시한 것이다.
도 6을 참조하면, 본 발명의 일 실시 예에 따른 이미지 생성기(Generator)는 전신에 대한 제1입력이미지와 제1 관절 keypoint 정보를 결합(Concatenated)한 데이터(256×256×6)를 입력하여 인코더(encoder)에서 특징데이터(feature)를 추출하고, 디코더(decoder)에서 차원을 늘리면서 제1생성이미지를 생성한다.
다음은 상기 판별기(discriminator, 220)에 제1입력이미지(310)와 생성된 제1생성이미지(510) 및 제1입력이미지와 제1타켓트이미지를 입력하고, 상기 판별기(discriminator, 220)가 상기 제1생성이미지(510)와 실제 타켓트 이미지(350)와의 판별을 수행하고 판별된 Fake(0)/Real(1)에 대한 출력 정보를 이미지 생성기(Generator, (210))로 피드백하여 상기 이미지 생성기(Generator, 210)의 가중치를 조정하여 학습하는 과정이 수행된다.
예를 들면, 판별기(discriminator, 220)는 학습과정에서 직접 업테이트되고, 생성기(Generator, (210)는 판별기(discriminator, 220) 모델학습을 통하여 업데이트된다.
도 7은 본 발명의 일 실시 예에 따른 사전 학습과정에서 판별기(discriminator)가 생성된 탈의한 전신 이미지와 실제 탈의된 타켓트 이미지의 판별 프로세스를 도시한 것이다.
도 7을 참조하면, 판별기(Discriminator, 220)는 제1입력이미지(310), 제1 생성이미지(510) 혹은 제1입력이미지(310), 제1 타켓트이미지(350)로 짝을 이루고 있는 관계가 진짜인지 가짜인지 판별하여 사전 학습과정에 대한 프로세스를 나타낸다.
본 발명의 일 실시 예에서는 사전 학습과정에 상기 판별기(discriminator 220)에서 이미지 생성기(Generator(210))에서 생성된 제1생성이미지(510)와 상기 학습용 오브젝트의 타켓트이미지(350)를 분할된 패치별 데이터로 나누어 판별한 판별 결과에 기초하여 판별 오차를 최소화하는 방향으로 상기 이미지 생성기(Generator, (210))의 가중치를 학습하는 과정이 포함하는 것을 특징으로 한다.
예를 들면 판별기(discriminator 220)는 옷을 입은 제1입력이미지와 제1생성된이미지가 결합된 256×256×6 픽셀 크기의 제1-1입력데이터 및 옷을 입은 제1입력이미지와 제1타켓트 이미지가 결합된 256×256×6 픽셀 크기의 제1-2 입력데이터를 각 70×70 픽셀 크기 영역의 패치데이터로 분할하여 패치데이터별로 각각 판별하도록 하는 과정이 포함되는 PatchGAN 모델이 적용될 수 있다.
도 8은 본 발명의 일 실시 예에 따른 PatchGAN 모델의 예를 도시한 것이다.
도 8의 PatchGAN 모델은 판별자 아키텍처는 C64-C128-C256-C512이다. 여기서 C는 Convolution-BatchNorm-LeakyReLU 레이어 블록을 나타내고 숫자는 필터 수를 나타낸다. 마지막 레이어 이후에 1차원 출력에 매핑하기 위해 컨볼루션이 적용되고 그 다음 Sigmoid 함수가 적용될 수 있다.
도 8을 참조하면, 입력이미지는 제1입력이미지(310), 제1 생성이미지(510) 혹은 제1입력이미지(310), 제1 타켓트이미지(350) 두 개의 입력이미지가 연결되어 하나의 256×256×6 크기의 입력데이터가 입력된다. PatchGAN 모델의 출력은 크기가 16×16×1 픽셀 또는 활성화 및 단일 채널이 있는 활성화 맵이 되며 맵의 각 값은 입력 256×256×6 이미지의 70×70 픽셀 패치에 해당한다. PatchGAN 모델은 이진 분류 모델로 [0, 1] 범위의 확률로 예측을 한다. 이 경우 입력 이미지가 실제 타켓트이미지인지 또는 생성된 데이터 세트에서 나온 것인지의 대한 가능성을 나타낸다. 값의 패치는 모델에 의해 실제/가짜 예측을 제공하기 위해 전체 이미지에 대한 패치 결과값을 평균하여 확률로 나타낼 수 있다.
또한, 도 8을 참조하면, 상기 판별기의 모델의 최종 레이어는 16×16×1 픽셀의 크기로 나타내며, sigmoid를 통과시켜서 0 또는 1의 최종값으로 출력되는 것을 특징으로 한다.
본 발명의 일 실시 예에서는 상기 하나의 오브젝트에 대해 상기 평균 확률값이 특정값 이상이 될 때까지 반복학습을 수행한다.
그리고 이미지 생성기(Generator(210))와 판별기(discriminator 220)는 적대적 학습을 통해 상호 보완적으로 학습될 수 있다.
또한, 본 발명의 일 실시 예에 따른 판별기(discriminator 220)는 제1 입력이미지(310)와 생성된 제1생성이미지(510)를 제1입력데이터, 제1 입력이미지(310)와 실제 학습 오브젝트의 탈의된 제1타켓트이미지(350)를 제2입력데이터로 하는 입력 이미지 짝을 분석하여 판별 분석을 수행한다.
예를 들면, 구체적으로, 판별기(discriminator 220)는 제1 생성이미지(510)와 제1 입력이미지(310) 짝이 실제로 짝을 이루는 관계인지 여부를 판별한다.
또한, 판별기(220)는 제1 입력이미지(310)의 패치 데이터와 실제 학습 오브젝트의 탈의된 제1타켓트 이미지(350)의 패치데이터를 상기 제1 생성이미지(510)의 패치데이터와 비교하여 생성기(210)에서 생성된 제1 생성이미지(510)가 실제 학습 오브젝트의 탈의된 제1타켓트 이미지(350)인지 여부를 판별하는 과정을 수행한다. 또한, 판별기(220)는 생성기(210)에서 생성한 제1 생성이미지(510)가 최종적으로 생성하고자 하는 탈의된 타켓트 이미지(350)에 가까운 정도를 확률로서 나타내는 과정을 더 포함할 수 있다.
예를 들면, 판별기(220)은 생성기(210)에서 생성된 제1 생성이미지(510)가 처음 입력된 제1 입력이미지(310)와 실제로 동일성을 이루는지 여부(실제 쌍을 이루는 관계인지 여부)를 판별하면서, 생성된 제1생성이미지(510)가 목표인 제1타켓트 이미지(350)에 가까운 정도를 확률로서 판별하고, 그 판별 결과를 다시 생성기(210)로 피드백하는 과정을 반복하여 수행하면서 생성된 제1 생성이미지(510)가 탈의된 타켓트 이미지(350)로 판별하는 일정 확률을 가질 때까지 모든 학습 오브젝트에 대해 학습된다.
또는 본 발명의 일 실시 예에 따른 사전 학습과정에서 판별기(220)는 이미지생성기(210)에서 생성된 제1 생성이미지(510)가 타켓트이미지(350)에 상응하는 정확한 목표 이미지를 생성하지 못하였다고 판단되면, 이미지생성기(210)에서 생성한 제1 생성이미지를 가짜 이미지라고 판별하고, 판별 결과를 이미지생성기(210)로 피드백하는 과정을 포함할 수 있다. 즉, 이미지생성기(210)는 판별기(220)에서 정확한 목표 이미지라고 판단(타켓트이미지에 가까운 확률이 1이라고 판단)할 수 있는 새로운 생성이미지(510)를 생성하도록 학습되며, 판별기(220)는 이미지생성기(210)에 의해 생성된 새로운 생성이미지(510)를 정확한 타켓트이미지(350)와 다른 가짜 새로운 생성이미지라고 판별할 수 있도록 학습하는 과정이 포함될 수 있다.
학습이 완료된 후에는, 입력이미지를 Body keypoint Estimator 신경망모듈(100)을 통하여 주요 관절 keypoint 정보를 추론하고, 상기 입력이미지와 상기 주요 관절 keypoint 정보를 Body shape Estimator 신경망 모듈(200)의 학습된 생성기(210)를 통하여 탈의한 생성이미지를 생성하여 출력할 수 있다.
본 발명의 일 실시 예에 따른 Body shape Estimator 신경망 모듈(200)은 기존의 GAN이 이미지 전체를 보고 진짜/가짜를 판별하는 것에 비하여 Patch GAN을 이용하여 각 Patch 별로 진짜/가짜를 판별함으로써, 보다 디테일한 구조를 파악 가능한 효과가 있다.
본 발명의 일 실시 예에 따른 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 방법은 신체 특징점 도출을 통해 사람마다 다른 체형을 표현할 수 있다. 따라서 본 발명을 통해 옷을 탈의하거나 몸에 꽉 달라붙는 옷을 입어야 하는 등 특별한 제약 없이 탈의한 체형을 추정할 수 있다.
또한, 본 발명의 일 실시 예에 따른 본 발명의 일 실시 예에 따른 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 방법은 정면뿐만 아니라 측면 이미지에 대해서도 탈의한 체형 추정이 가능하기 때문에, 정면과 측면 사진으로 신체 측정(허리 둘레, 팔 다리 길이 등)이 가능하다.
또한, 본 본 발명의 일 실시 예에 따른 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 방법은 실제 산업에서도 적용 가능할 적은 데이터 용량으로 실현 가능한 모델이어서, 모바일 혹은 웹 서비스를 사용하는 다양한 분야에서도 본 기술을 적용할 수 있다.
20: 입/출력부
30: 이미지처리부
50: 제어부
100: Body keypoint Estimator 신경망모듈
200: Body shape Estimator 신경망 모듈

Claims (10)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 2D 입력 이미지로부터 탈의한 신체이미지를 예측하는 시스템에 의한 탈의한 신체이미지를 예측하는 방법에 있어서,
    상기 시스템은,
    학습 데이터 및 입, 출력 데이터를 입, 출력하는 입/출력부;
    설정된 규격에 맞추어 이미지 사이즈 조절 및 이미지 데이터의 변환 처리를 수행하는 이미지 처리부;
    상기 입/출력부로부터 입력된 신체 전신의 2D 입력이미지로부터 얼굴, 골반, 어깨, 팔, 다리 관절을 포함하는 인체의 주요 관절 keypoint 정보를 추론하는 Body keypoint Estimator 신경망모듈; 및
    상기 2D 입력이미지와 상기 주요 관절 keypoint 정보를 입력하여 탈의한 신체 이미지를 생성시키는 GAN 모델기반의 Body shape Estimator 신경망 모듈; 을 포함하는 것을 특징으로 하되,
    상기 Body shape Estimator 신경망 모듈은 GAN 모델기반의 탈의한 전신 이미지를 생성하는 이미지 생성기(Generator) 및 상기 생성된 탈의한 전신 이미지와 실제 타켓트 이미지를 판별하여 상기 이미지 생성기로 피드백하는 학습과정을 수행하는 판별기(Discriminator)를 포함하는 것을 특징으로 하고,
    상기 방법은,
    (a) 상기 입/출력부를 통하여 입력된 2D 입력이미지를 상기 Body keypoint Estimator 신경망모듈을 통하여 얼굴, 골반, 어깨, 팔, 다리 관절을 포함하는 인체의 주요 관절 keypoint 정보를 추론하는 단계; 및
    (b) 상기 2D 입력이미지와 상기 주요 관절 keypoint 정보를 상기 Body shape Estimator 신경망 모듈을 통하여 탈의한 생성이미지를 생성시키는 단계를 포함하되,
    상기 (a) 단계 이전에
    전면 및 옆면을 포함하는 학습용 오브젝트의 신체 전신에 대한 학습용 2D입력이미지와 이에 해당하는 탈의된 타켓트이미지 및 학습용 2D 입력이미지에 의해 추론된 상기 주요 관절 keypoint 정보를 이용하여 미리 사전 지도학습하는 과정이 수행되는 것을 특징으로 하며,
    상기 사전 지도학습하는 과정은
    (가) 상기 학습용 오브젝트의 제1 입력이미지를 상기 Body keypoint Estimator 신경망모듈의 input으로 입력하여 제1 관절 keypoint 정보를 추론하는 단계;
    (나) 상기 추론된 제1 관절 keypoint 정보와 제1 입력이미지 정보를 결합(Concatenate)하고 이를 상기 이미지 생성기(Generator)의 input로 입력하여 탈의한 제1생성이미지를 생성하는 단계; 및
    (다) 상기 판별기(discriminator)에 상기 제1 입력이미지와 제1 생성이미지 및 상기 제1입력이미지와 제1타켓트이미지 쌍을 입력하여 상기 판별기(discriminator)가 상기 제1생성이미지와 제1타켓트 이미지와의 판별을 수행하고 판별된 출력 정보를 상기 이미지 생성기(Generator)로 피드백하여 상기 이미지 생성기(Generator)를 조정하여 학습하는 단계; 를 포함하는 것을 특징으로 하는 탈의한 신체이미지를 예측하는 방법.
  6. 제5항에 있어서,
    상기 (다) 단계는 상기 판별기(Discriminator)가 상기 제1입력이미지와 제1 생성이미지 혹은 상기 제1 입력이미지와 제1 타켓트이미지가 짝을 이루고 있는 관계가 진짜인지 가짜인지 판별하는 과정을 포함하는 것을 특징으로 하는 탈의한 신체이미지를 예측하는 방법.
  7. 제5항에 있어서,
    상기 (다) 단계는 상기 판별기(Discriminator)가 상기 제1 생성이미지와 상기 제1타켓트이미지를 분할된 패치별 데이터로 나누어 판별한 판별 결과에 기초하여 판별 오차를 최소화하는 방향으로 상기 이미지 생성기(Generator)의 가중치를 학습하는 과정을 포함하는 것을 특징으로 하는 탈의한 신체이미지를 예측하는 방법.
  8. 제5항에 있어서,
    상기 (다) 단계는 상기 판별기(Discriminator)가 상기 제1 입력이미지와 제1 생성이미지를 포함하는 제1-1데이터를 상기 제1 입력이미지와 제1타켓트이미지를 포함하는 제1-2데이터와 비교하는 것을 포함하며,
    상기 제1 생성이미지가 상기 제1 타켓트 이미지인지 여부를 판별하는 과정은 상기 제1 생성이미지가 상기 제1 타켓트 이미지에 가까운 정도를 확률로서 나타내는 과정을 더 포함하고, 상기 판별 결과에 기초하여 판별 오차를 최소화하는 방향으로 상기 이미지 생성기(Generator)의 가중치를 학습하는 과정을 포함하는 것을 특징으로 하는 탈의한 신체이미지를 예측하는 방법.
  9. 제7항에 있어서,
    상기 (다) 단계에서
    하나의 학습오브젝트에 대해 상기 제1생성이미지 및 제1타켓트이미지의 크기는 256×256×6이며, 상기 패치별 데이터의 크기는 70×70이고, 상기 패치별 데이터의 최종값를 하나의 학습오브젝트에 대해 합산하여 평균한 값을 확률값으로 산출하는 것을 특징으로 하는 탈의한 신체이미지를 예측하는 방법.
  10. 제9항에 있어서,
    상기 (다) 단계에서
    상기 판별기의 모델의 최종 레이어는 16×16×1 픽셀의 크기이며, sigmoid를 통과시켜서 0 또는 1의 최종값으로 출력되는 것을 특징으로 하는 탈의한 신체이미지를 예측하는 방법.
KR1020220099632A 2022-08-10 2022-08-10 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 방법 및 시스템 KR102642222B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220099632A KR102642222B1 (ko) 2022-08-10 2022-08-10 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220099632A KR102642222B1 (ko) 2022-08-10 2022-08-10 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20240021383A KR20240021383A (ko) 2024-02-19
KR102642222B1 true KR102642222B1 (ko) 2024-03-04

Family

ID=90055801

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220099632A KR102642222B1 (ko) 2022-08-10 2022-08-10 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102642222B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102202490B1 (ko) * 2018-11-30 2021-01-14 동국대학교 산학협력단 3차원 신체 모델 측정 장치 및 방법
KR102187143B1 (ko) 2020-08-13 2020-12-04 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
KR102478980B1 (ko) 2020-12-07 2022-12-19 주식회사 플라잎 비지도 6d 포즈 추정을 위한 3d 대조학습 장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Liqian Ma ET AL., "Pose Guided Person Image Generation", 2018.01.28. 1부.*
Phillip Isola ET AL., "Image-to-Image Translation with Conditional Adversarial Networks", 2018.11.26. 1부.*
Rui Gao ET AL., "Human Mesh Reconstruction with Generative Adversarial Networks from Single RGB Images", 2021.02.14. 1부.*

Also Published As

Publication number Publication date
KR20240021383A (ko) 2024-02-19

Similar Documents

Publication Publication Date Title
Yang et al. Estimation of human body shape in motion with wide clothing
CN112241731B (zh) 一种姿态确定方法、装置、设备及存储介质
Baek et al. Parametric human body shape modeling framework for human-centered product design
JP4318465B2 (ja) 人物検出装置および人物検出方法
Tsalakanidou et al. Real-time 2D+ 3D facial action and expression recognition
US20200193591A1 (en) Methods and systems for generating 3d datasets to train deep learning networks for measurements estimation
CN108475439B (zh) 三维模型生成系统、三维模型生成方法和记录介质
Barmpoutis Tensor body: Real-time reconstruction of the human body and avatar synthesis from RGB-D
Lin et al. Automated body feature extraction from 2D images
Tsoli et al. Model-based anthropometry: Predicting measurements from 3D human scans in multiple poses
JP2015527625A (ja) 身体測定
Vezzetti et al. Geometry-based 3D face morphology analysis: soft-tissue landmark formalization
US11798299B2 (en) Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation
CN111062340A (zh) 一种基于虚拟姿态样本合成的异常步态行为识别方法
Pascali et al. Face morphology: Can it tell us something about body weight and fat?
Michel et al. Tracking the articulated motion of the human body with two RGBD cameras
US20240193899A1 (en) Methods of estimating a bare body shape from a concealed scan of the body
Kwon et al. Joint swing energy for skeleton-based gender classification
Loconsole et al. Real-time emotion recognition: an improved hybrid approach for classification performance
Yan et al. Silhouette body measurement benchmarks
JP2005351814A (ja) 検出装置および検出方法
KR102642222B1 (ko) 2차원 전신 신체 이미지로부터 관절의 위치를 도출하여 탈의한 신체이미지를 예측하는 방법 및 시스템
Xu et al. Human body reshaping and its application using multiple RGB-D sensors
Yu et al. Automatic human Gait imitation and recognition in 3D from monocular video with an uncalibrated camera
Chen et al. Optimizing human model reconstruction from RGB-D images based on skin detection

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant