KR20240081670A - 가상 의상 착용 시스템 - Google Patents

가상 의상 착용 시스템 Download PDF

Info

Publication number
KR20240081670A
KR20240081670A KR1020220164738A KR20220164738A KR20240081670A KR 20240081670 A KR20240081670 A KR 20240081670A KR 1020220164738 A KR1020220164738 A KR 1020220164738A KR 20220164738 A KR20220164738 A KR 20220164738A KR 20240081670 A KR20240081670 A KR 20240081670A
Authority
KR
South Korea
Prior art keywords
clothing
model
texture
unit
body model
Prior art date
Application number
KR1020220164738A
Other languages
English (en)
Inventor
서영호
박병서
황의석
Original Assignee
광운대학교 산학협력단
주식회사 예쉬컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단, 주식회사 예쉬컴퍼니 filed Critical 광운대학교 산학협력단
Priority to KR1020220164738A priority Critical patent/KR20240081670A/ko
Priority to US18/065,756 priority patent/US20240177421A1/en
Priority to PCT/KR2022/021308 priority patent/WO2024117366A1/ko
Publication of KR20240081670A publication Critical patent/KR20240081670A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)

Abstract

3D 그래픽스 형태로 제작된 의상과 바디 사이의 구조적인 관계를 이용하여, 3D 의상 모델을 3D 바디 모델에 결합시켜 의상을 착용시키는, 가상 의상 착용 시스템에 관한 것으로서, 3차원 바디 모델 및 의상 모델을 입력받는 데이터 입력부; 바디 모델과 의상 모델 간의 대응점을 매칭시키는 대응점 매칭부; 대응점 관계를 이용하여 의상 모델의 정점을 이동시키는 의상 변형부; 바디 모델의 포즈를 추정하는 포즈 추정부; 바디 모델의 형태로 의상 모델의 텍스처를 대응시키는 텍스처 매핑부; 인체의 마디를 이용하여 포즈에 따른 의상의 주름을 생성하는 주름표면 생성부; 인체의 마디 및 동작 정보를 이용하여 주름의 텍스처를 갱신하는 텍스처 갱신부; 텍스처를 보정하는 의상모델 개선부; 인체의 구조를 기초로 하여 3차원 메쉬를 분리하는 메쉬 분리부; 및, 변형된 의상 모델과 바디 모델을 통합하여 의상 피팅된 바디 모델을 생성하는 메쉬 통합부를 포함하는 구성을 마련한다.
상기와 같은 방법에 의하여, 3차원 모델로 생성된 의상과 바디의 구조적 관계를 이용하여 3D 의상 모델을 3D 바디 모델에 착용시킴으로써, 신체와 의상을 3차원 상태로 결합시켜 3차원의 동작을 정확하고 자연스럽게 표현할 수 있다.

Description

가상 의상 착용 시스템 { A virtual clothing system }
본 발명은 사람의 가상 신체에 가상 의상을 자동으로 착용시키는 것으로서, 3D 그래픽스 형태로 제작된 의상과 바디 사이의 구조적인 관계를 이용하여, 3D 의상 모델을 3D 바디 모델에 입히는, 가상 의상 착용 시스템에 관한 것이다.
기술이 발달됨에 따라, 사용자의 신체를 디스플레이 장치에 나타내도록 시뮬레이션하여, 사용자의 아바타를 실시간으로 나타내는 기술이 최근 들어 많이 개발되고 있다. 이러한 기술이 주로 응용되는 분야로서 백화점이나 옷 가게와 같은 일반적인 리테일 상점의 경우를 들 수 있다. 소비자가 옷을 오프라인으로 구매할 때, 보는 것만으로는 기대감을 충족시킬 수 없기 때문에 직접 옷을 입어보게 되는 데 이 경우 입는 시간이 오래 걸리고 불편할 수 있다. 이러한 경우 소비자가 옷을 입어보지 않고도 자신의 아바타를 통해 가상으로 옷을 착용해 봄으로써, 사용자의 편의를 향상시킬 수 있게 된다. 이러한 기술은 소위 매직 미러 시스템이라고 불리우기도 하며, 사용자의 모습이 거울에 비친듯이 디스플레이 장치에 그대로 나타나되, 사용자가 원하는 의상을 가상으로 착용해볼 수 있도록 하는 기능을 가진다[특허문헌 1,2,3].
또한, 가상 의상 착용 기술은 가상 인간 또는 가상 아바타의 생성 분야에서도 적용될 수 있다. 즉, 가상 인간 또는 가상 아바타의 모델이 생성되어 가상 공간에서 활동할 수 있다. 특히, 이러한 가상 인간은 일반 사람 처럼 의상을 수시로 갈아 입고 활동할 수 있다. 이 경우, 가상 인간의 모델에 의상을 알맞게 착용시켜주어야 하고 의상의 주름 등을 현실감 있게 표현해주어야 한다.
그러나 종래 기술[특허문헌 1,2,3]은 사용자의 모습을 스캐닝하여 정적인 신체 모델을 추출하고 해당 신체 모델에 의상을 착용시킨다. 따라서 종래 기술은 가상 신체 모델의 움직임 등을 전혀 처리하지 못하고 있다. 즉, 종래 기술은 신체 모델이 동작하는 것을 시뮬레이션 하거나, 이러한 동작에 따른 의상의 움직임을 처리하지 못하는 문제점이 있다.
이러한 문제점을 극복하고자, 대상자의 자세 추정이나 변경을 반영하여 가상 의상의 착용 상태를 표현하는 기술이 제시되고 있다[특허문헌 4]. 그러나 상기 선행기술은 3차원 인체 모델을 2차원 인체 모델로 매핑하여 의상 이미지와 결합하고 이를 다시 3차원 모델로 복원한다. 즉, 상기 선행기술은 의상에 대해 3차원 모델을 구성하지 않아 3차원 인체 모델에 직접 의상 모델을 착용시키지 못하는 문제점이 있다.
한국공개특허 제10-2020-0067511호(2020.06.12.공개) 한국공개특허 제10-2022-0042126호(2022.04.04.공개) 한국등록특허 제10-1710521호(2017.02.27.공고) 한국등록특허 제10-2365750호(2022.02.22.공고)
http://graphics.ucdenver.edu/physics_simulations.html https://people.cs.umass.edu/~kalo/papers/LabelMeshes/
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 3D 그래픽스 형태로 제작된 의상과 바디 사이의 구조적인 관계를 이용하여, 3D 의상 모델을 3D 바디 모델에 결합시켜 의상을 착용시키는, 가상 의상 착용 시스템을 제공하는 것이다.
또한, 본 발명의 목적은, 3D 바디 모델을 타겟 모델로 선정하여 소스 모델에 해당하는 3D 의상 모델을 변형하고, 변형된 3D 의상 모델과 3D 바디 모델을 결합하여 의상이 피팅된 바디 모델을 생성하는, 가상 의상 착용 시스템을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 가상 의상 착용 시스템에 관한 것으로서, 3차원 바디 모델 및 3차원 의상 모델(이하 제1 의상 모델)을 입력받는 데이터 입력부; 상기 바디 모델과 상기 제1 의상 모델 간의 대응점을 매칭시키는 대응점 매칭부; 대응점 관계를 이용하여, 상기 바디 모델을 타겟으로 하여 상기 의상 모델을 변형 전송(deformation transfer)을 수행하여 변형시키는 의상 변형부; 상기 바디 모델의 포즈를 추정하는 포즈 추정부; 상기 변형된 의상 모델(이하 제2 의상 모델)에 대하여, 상기 포즈의 조인트에 따른 의상의 주름을 생성하는 주름표면 생성부; 상기 주름이 생성된 의상 모델(이하 제3 의상 모델)에 대하여, 상기 제1 의상 모델의 텍스처를 대응시키는 텍스처 매핑부; 상기 제3 의상 모델의 텍스처를 보정하는 텍스처 갱신부; 및, 보정된 의상 모델과 상기 바디 모델을 통합하여 의상이 피팅된 바디 모델을 생성하는 메쉬 통합부를 포함하는 것을 특징으로 한다.
또, 본 발명은 가상 의상 착용 시스템에 있어서, 상기 대응점 매칭부는 상기 제1 의상 모델 S와 상기 바디 모델 T에 대하여 적어도 2이상의 극점으로 초기 대응점을 설정하고, 상기 S 내에서 초기 대응점 사이의 정점 pi를 샘플링하고 상기 T 내에서 초기 대응점 사이의 정점 qi를 샘플링하고, 샘플링된 정점 pi를 기반으로 표면 간의 대응 관계를 계산하여 대응점(qi)의 연결 집합(pi,qi)을 계산하고, 하나의 pi에서 다수의 qi로 연결되는 경우 이미 qi가 다른 연결을 보유하고 있다면 둘 사이의 연결은 불량쌍으로 간주하여 상기 연결 집합에서 그 연결을 제거하고, 최종 연결 집합(pi,qi)을 대응점으로 매칭하는 것을 특징으로 한다.
또, 본 발명은 가상 의상 착용 시스템에 있어서, 상기 의상 변형부는 변형 전송 방법에 따라 변형하되, 대응점 사이의 거리를 최소화 하는 계산을 수행하여 변형하고, 대응점 및, 대응점들 사이의 모든 정점(Vertex)을 움직이기 위해 회전(rotation), 이동(translation), 스케일(scale), 전단(shear) 파라미터를 계산하여 변형하는 것을 특징으로 한다.
또, 본 발명은 가상 의상 착용 시스템에 있어서, 상기 의상 변형부는 변형 전송 방법에 따라 변형하되, 대응점 사이의 거리를 최소화 하는 계산을 수행하여 변형하고, 대응점 및, 대응점들 사이의 모든 정점(Vertex)을 움직이기 위해 회전(rotation), 이동(translation), 스케일(scale), 전단(shear) 파라미터를 계산하여 변형하는 것을 특징으로 한다.
또, 본 발명은 가상 의상 착용 시스템에 있어서, 상기 포즈 추정부는 상기 바디 모델로부터 4개의 방향에 대한 투영 영상을 생성하고, 신경망을 이용하여 각 투영 영상에서 2D 조인트를 추출하고, 각 방향의 2D 조인트를 3D 공간으로 복원하고, 3D 공간 상의 조인트들에 대한 교차 지점을 계산하고, 계산된 교차 지점을 조인트로 추정하고, 추정된 조인트와 조인트 사이를 연결하는 스켈레톤을 추정하는 것을 특징으로 한다.
또, 본 발명은 가상 의상 착용 시스템에 있어서, 상기 주름표면 생성부는 물리 시뮬레이션을 이용하여 바디의 형태를 이용하여 기본적인 주름을 생성하고, 조인트를 기준으로 주름을 발생시키되, 사전에 정해진 인체의 조인트 부위별 주름 프로파일을 가져와서 주름을 발생시키고, 상기 바디 모델의 동작 상태에 따라 주름 프로파일의 가중치 또는 전체 메쉬 면적 및 메쉬의 개수를 조절하는 것을 특징으로 한다.
또, 본 발명은 가상 의상 착용 시스템에 있어서, 상기 텍스처 갱신부는 상기 제1 의상 모델의 투영 영상의 텍스처 영상과, 상기 제3 의상 모델의 투영 영상의 텍스처 영상 간의 차이를 최소화 시키도록, 상기 제3 의상 모델의 텍스처를 반복하여 변형시키는 것을 특징으로 한다.
또, 본 발명은 가상 의상 착용 시스템에 있어서, 상기 시스템은, 상기 제3 의상 모델을 분리하고, 분리된 영역을 참조하여 상기 제3 의상 모델의 텍스처를 보정하되, 분리된 영역에 따라 해당 영역 내에서의 메쉬의 일관성을 유지하도록 텍스처를 보정하거나, 영역 간의 경계를 기준으로 텍스처를 보정하는 의상모델 개선부를 더 포함하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 가상 의상 착용 시스템에 의하면, 3차원 모델로 생성된 의상과 바디의 구조적 관계를 이용하여 3D 의상 모델을 3D 바디 모델에 착용시킴으로써, 신체와 의상을 3차원 상태로 결합시켜 3차원의 동작을 정확하고 자연스럽게 표현할 수 있는 효과가 얻어진다.
도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 가상 의상 착용 시스템의 구성에 대한 블록도.
도 3은 본 발명의 일실시예에 따른 극점 및 대응점 탐색 방법을 설명하는 흐름도.
도 4는 본 발명의 일실시예에 따른 정점으로 표현된 극점과 대응점의 관계를 예시한 도면.
도 5는 본 발명의 일실시예에 따른 바디와 의상 사이의 극점을 추정한 결과에 대한 예시도.
도 6은 본 발명의 일실시예에 따른 3D 바디 모델을 타겟으로 하여 3D 의상 모델을 변형시키는 과정을 예시한 도면.
도 7은 본 발명의 일실시예에 따른 3D 바디 모델을 타겟으로 하여 3D 의상 모델을 변형시켜서 의상을 착용시킨 결과에 대한 예시도.
도 8은 본 발명의 일실시예에 따른 바디 모델의 3차원 스켈레톤을 추출하는 과정을 설명하는 흐름도.
도 9는 본 발명의 일실시예에 따른 2차원에서의 PCA에 대한 예시도.
도 10은 본 발명의 일실시예에 따른 주성분 분석 후에 객체를 회전한 예시 영상으로서, (a) 회전 전, (b) 회전 후에 대한 예시 영상.
도 11은 본 발명의 일실시예에 따른 스켈레톤 추출을 위한 3D 바디 모델(Eric)의 2D 영상으로의 투영 방법에 대한 예시 영상으로서, (a) AABB 설정, (b) 4개의 면에 대한 객체의 투영에 대한 예시 영상.
도 12는 본 발명의 일실시예에 따른 3D 모델을 2D 영상으로 투영한 결과 영상으로서, (a) 앞, (b) 오른쪽, (c) 뒤, (d) 왼쪽 시점에 대한 예시 영상.
도 13은 본 발명의 일실시예에 따른 3D 바디 모델의 왼쪽 어깨 3D 조인트 추출에 대한 예시 영상.
도 14는 본 발명의 일실시예에 따른 오차 조인트의 제거 및 3D 마디의 생성 과정을 나타낸 도면으로서, (a) 조인트의 프로젝션에 의한 교차 영역을 형성하는 과정, (b) 공간 좌표 상에서 3D 조인트를 검출하는 과정을 나타낸 도면.
도 15는 본 발명의 일실시예에 따른 에릭(Eric) 데이터의 세개의 프레임에 대한 예시 영상으로서, (a) 메쉬, (b) 3D 바디 모델과 정답 스켈레톤, (c) 3D 바디 모델, 정답 스켈레톤, 보정 전 스켈레톤, (d) 포인트클라우드, 정답 스켈레톤, 보정 후 스켈레톤에 대한 예시 영상.
도 16은 본 발명의 일실시예에 따른 3D 의상 모델에 주름을 생성한 결과 영상으로서, (a) 바디를 기준으로 변형된 의상, (b) 물리 시뮬레이션과 주름을 생성한 의상에 대한 예시 영상.
도 17은 본 발명의 일실시예에 따른 바디에 의상을 착용한 후에 주름을 생성한 결과 영상으로서, (a) 바디에 의상을 착용한 결과, (b) 의상의 주름을 생성한 결과에 대한 예시 영상.
도 18은 본 발명의 일실시예에 따른 주름 가중치 조정에 의한 주름의 변화를 나타낸 영상.
도 19는 본 발명의 일실시예에 따른 텍스쳐를 생성한 후에 변형한 결과 영상.
도 20은 본 발명의 일실시예에 따른 업데이트된 3D 의상의 텍스쳐 영상(후면 영상).
도 21은 본 발명의 일실시예에 따른 업데이트된 3D 의상의 텍스쳐 영상(측면 영상).
도 22는 본 발명의 일실시예에 따른 컬러가 표시된 의상 결과 영상.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성을 도 1을 참조하여 설명한다.
도 1(a)에서 보는 바와 같이, 본 발명에 따른 가상 의상 착용 시스템(이하 의상착용 시스템)은 의상 모델 및 바디 모델을 입력받아 의상이 피팅된 바디 모델을 출력하는, 컴퓨터 단말(10) 상의 프로그램 시스템으로 실시될 수 있다.
즉, 의상착용 시스템(30)은 PC, 스마트폰, 태플릿PC 등 컴퓨터 단말(10) 상의 프로그램 시스템으로 실시될 수 있다. 특히, 상기 의상착용 시스템은 프로그램 시스템으로 구성되어, 컴퓨터 단말(10)에 설치되어 실행될 수 있다. 의상착용 시스템(30)은 컴퓨터 단말(10)의 하드웨어 또는 소프트웨어 자원을 이용하여, 의상이 피팅된 바디 모델을 생성하는 서비스를 제공한다.
또한, 다른 실시예로서, 도 1(b)에서 보는 바와 같이, 상기 의상착용 시스템(30)은 컴퓨터 단말(10) 상의 의상착용 클라이언트(30a)와 의상착용 서버(30b)로 구성된 서버-클라이언트 시스템으로 구성되어 실행될 수 있다.
한편, 의상착용 클라이언트(30a)과 의상착용 서버(30b)는 통상의 클라이언트와 서버의 구성 방법에 따라 구현될 수 있다. 즉, 전체 시스템의 기능들을 클라이언트의 성능이나 서버와 통신량 등에 따라 분담될 수 있다. 이하에서는 의상착용 시스템으로 설명하나, 서버-클라이언트의 구성 방법에 따라 다양한 분담 형태로 구현될 수 있다.
한편, 다른 실시예로서, 의상착용 시스템(30)은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 의상이 피팅된 바디 모델을 생성하는 것만을 전용으로 처리하는 전용 컴퓨터 단말로 개발될 수도 있다. 그 외 가능한 다른 형태도 실시될 수 있다.
다음으로, 본 발명의 일실시예에 따른 가상 의상 착용 시스템을 도 2를 참조하여 설명한다.
도 2에서 보는 바와 같이, 본 발명에 따른 가상 의상 착용 시스템은 3차원 바디 모델 및 의상 모델을 입력받는 데이터 입력부(31), 바디 모델과 의상 모델 간의 대응점을 매칭시키는 대응점 매칭부(32), 대응점 관계를 이용하여 의상 모델의 정점을 이동시키는 의상 변형부(33), 바디 모델의 포즈를 추정하는 포즈 추정부(34), 바디 모델의 형태로 의상 모델의 텍스처를 대응시키는 텍스처 매핑부(35), 인체의 마디를 이용하여 포즈에 따른 의상의 주름을 생성하는 주름표면 생성부(36), 인체의 마디 및 동작 정보를 이용하여 주름의 텍스처를 갱신하는 텍스처 갱신부(37), 텍스처를 보정하는 의상모델 개선부(38), 및, 변형된 의상 모델과 바디 모델을 통합하여 의상 피팅된 바디 모델을 생성하는 메쉬 통합부(39)로 구성된다.
먼저, 데이터 입력부(31)는 바디 모델, 의상 모델, 피팅 정보 등을 입력받는다.
바디 모델은 사람의 신체 모델로서, 3차원 메쉬로 구성된다. 또한 바디 모델은 3차원 메쉬 상의 텍스처 정보도 포함된다. 또한, 바디 모델에 리깅 정보(마디, 뼈대 정보) 및 움직임 정보가 포함될 수 있다.
의상 모델은 의상에 대한 모델로서, 3차원 메쉬로 구성되고, 메쉬 상의 텍스처 정보(특히, UV 텍스처 데이터 등)를 포함한다. 의상 모델에는 물리 정보(재질, 무게 등), 리깅 정보(마디, 뼈대 정보) 등도 함께 포함될 수 있다.
또한, 피팅 정보는 의상 형태에 대한 정보(원피스, 투피스, 바지, 상의, 하의, 속옷 등), 바디 모델과의 매핑 정보(예를 들어, 의상 모델의 특정 위치가 바디 모델의 어느 특정 위치와 붙어야 하는지에 대한 정보 등) 등을 포함한다. 매핑 정보는 사전에 설정되는 데이터로서, 수동으로 지정해둔 데이터이다. 예를 들어, 피팅 데이터의 매핑 데이터는 어깨 위쪽, 허리, 그리고 팔 등에 해당되는 위치에 대한 매핑 데이터이다.
일반적으로 의상을 바디오 매핑할 때에는 몸의 부위와 옷의 부위 사이의 연결되는 부분을 사전에 지정해 준다. 예를 들어 옷의 어느 부위가 사람 어깨에 대응되고, 옷의 어느 구멍으로 사람의 팔 혹은 허리가 통과한다 등의 정보를 지정해둔다. 피팅 정보 또는 매핑 정보는 미리 학습된 옷에 대한 정보를 이용하여 결정될 수 있다.
다음으로, 대응점 매칭부(32)는 의상과 몸 사이의 위치에 대한 정보, 특히, 극점과 대응점이라는 두 가지 매칭 정보를 구한다. 극점은 바디와 의상을 대응시킬 때 기준이 되는 중요 정점이고, 대응점은 바디와 의상 모델의 모든 정점들 사이에 대응관계를 나타낸다. 3D 의상 모델의 대응점이 결정되면, 3D 의상 모델의 정점은 대응되는 3D 바디 모델의 정점으로 변형된다.
본 발명에 따른 의상착용 시스템은 3D 메쉬 데이터에서 3D 바디 모델을 타겟 모델로 선정하고, 3D 의상 모델을 소스 모델로 선정하고, 소스 모델인 3D 의상 모델을 타겟 모델인 3D 바디 모델로 변형시키는 것이다.
따라서 가장 먼저 바디와 의상의 형태를 일치시키는데 기준이 될 수 있는 극점과 대응점을 결정한다.
대응점 탐색 방법이 도 3에 도시되고 있다. 소스 프레임(의상 모델)과 타겟 프레임(바디 모델)의 표면 S,T⊂R3의 대응은 f:S→T를 통해 표현되고, 대응점의 탐색은 ICP(Iterative Closest Point)에서 제안된 초기 대응점의 개념을 확장하여 적용한다.
먼저 견고하게 일치될 수 있는 특징점과 모델의 중심과 같은 몇 가지 특수 샘플 사이에 S와 T의 다수 개의 극점(Extreme Points)으로 초기 대응점을 설정한다(S31,S32). 극점은 사용자에 의해 수동으로 지정된 데이터를 입력받거나, 앞서 피팅 정보의 매핑 데이터를 이용한다. S, T 극점이 서로 대응점으로 초기화 된다. S, T 극점의 역할은 특징점 등 대응점을 구할 수 있는 초기 데이터로서 역할을 한다.
도 4와 같이, ICP와 유사하게 S와 T 사이 초기 대응점이 결정되면 초기 대응점 사이 정점들을 각각 샘플링한다(S33). 즉, S 내에서 초기 대응점 사이의 정점 pi를 샘플링하고, T 내에서 초기 대응점 사이의 정점 qi를 샘플링한다. 샘플링된 정점 pi를 기반으로 표면 간의 대응 관계를 계산하여 조밀한 대응점(qi)의 집합(pi,qi)을 계산한다(S34).
이 과정을 수행하고 나면, 연결 오차로 인해 불량쌍(Bad Pair)들이 생성된다. 하나의 pi에서 다수의 qi로 연결되는 경우, 이미 qi가 다른 연결을 보유하고 있다면 둘 사이의 연결은 불량쌍으로 간주할 수 있고, 그 연결은 제거한다(S35). 또한 타겟 모델의 대응점에 소스 프레임의 대응점 pi이 연결되지 않는 경우에는 그 대응점은 연결되지 않은 상태로 둔다.
바디와 의상 사이의 극점이 선정된 결과에 대한 예시를 도 5에 도시되고 있다. 인체의 일반적인 형상은 고정된 것이기 때문에 대부분의 인체에 대해서 극점은 거의 변하지 않는다. 따라서 바디와 의상에 대한 극점은 사전에 선정하여도 무방하다. 그러나 선정된 극점을 기준으로 생성되는 대응점은 달라질 수 있다.
다음으로, 의상 변형부(33)는 극점과 대응점 관계를 이용하여 3D 의상 모델의 정점에 대한 3차원 좌표(위치)를 이동시킨다. 즉, 바디 모델을 목표로 의상 모델을 변형(deformation) 시킨다.
변형(deformation) 단계에서, 표면을 정렬하는 방법은 도 6과 같이 대응점 사이의 거리를 최소화하는 것이다. 이를 수렴될 때까지 반복적으로 최적화하여 3D 의상 모델 S를 3D 바디 모델 T의 형태로 점진적으로 변형한다. 즉, 소스 프레임의 3D 메시를 타겟 프레임의 3D 메시(또는 타겟 메시)의 형태로 변형한다.
즉, 변형 전송(Deformation Transfer) 방식에 따라 변형을 하는데, 대응점 사이의 거리를 최소화 하는 계산을 수행하여 변형한다. 단순히 대응점간의 거리(Distance)만 줄이는 것이 아니라 대응점과 대응점 사이의 모든 정점(Vertex)을 움직이기 위해 회전(rotation), 이동(translation), 스케일(scale), 전단(shear, 밀림) 파라미터를 계산하여 대응점과 대응점 사이의 모든 정점(Vertex)에 적용한다.
도 7에는 3D 의상 모델을 3D 바디 모델로 변형시킨 결과이다. 도 7과 같이 3D 의상 모델과 3D 바디 모델 사이에는 특정한 공간이 필요하고, 특정 공간(간격)의 크기는 바디의 크기와 의상의 종류 등에 따라 사전에 정해진 값에 의해 결정한다.
한편, 원래의 의상 모델과, 변형된 의상 모델 간의 메쉬 간의 대응관계를 저장한다. 또한, 바람직하게는, 이후 과정에서도 의상 모델이 변경될 때의 대응 관계(메쉬의 변경 정보)는 히스토리로서 모두 저장된다.
다음으로, 포즈 추정부(34)는 바디 모델의 포즈, 특히, 조인트(마디)와 뼈대(스켈레톤)로 구성된 스켈레톤 정보를 추정한다.
3D 바디 모델에 대해 3D 포즈 추정을 이용해서 인체에서 주름이 생길 위치를 참조하는데 사용한다. 또한 인체의 동작을 분석하는 구조 정보(구조 데이터)를 생성하여 동작에 따라 주름의 빈번도와 강도를 조절할 수 있다.
도 8에서 보는 바와 같이, 먼저, 3D 바디 모델의 3D 포즈를 추정하기 위해, 3D 바디 모델로부터 네 개의 면(방향)에 대한 투영영상들을 생성한다(S41). 다음으로, 오픈포즈(OpenPose) 라이브러리 등 신경망을 이용하여 투영영상의 2D 조인트(및 스켈레톤)를 추출하고(S42), 각 방향의 2차원 스켈레톤 영상을 복원하고, 3D 스켈레톤 연산을 위한 3D 공간 상의 조인트들에 대한 교차 지점을 계산한다(S43). 마지막으로 고정밀 3D 스켈레톤 추출을 위한 후처리 과정이 진행된다(S44).
즉, 바디 모델의 포즈 추정은, 곧 마디(조인트)와 뼈대(스켈레톤)으로 구성된 스켈레톤의 구조를 추정한다.
투영영상을 오픈포즈(OpenPose) 네트워크에 입력하여 2D 조인트를 추출할 경우에, 정면방향에서 투영한 영상으로부터 추출된 스켈레톤의 정확도가 가장 높을 수 있다. 따라서 바디 모델의 3차원 좌표(또는 포인트클라우드 3차원 좌표)의 공간상의 분포를 분석하여 객체의 정면을 찾고, 바디 모델의 정면방향이 Z축 방향과 평행하게 되도록 회전시킨다. 정면방향을 찾기 위해서 주성분 분석(Principal Component Analysis, PCA)를 이용한다. 주성분 분석은 분포된 데이터들의 주성분을 찾기 위해 사용한다.
도 9는 2차원평면에 데이터가 타원형으로 분포되어 있을 때, 주성분 분석을 이용하여 찾은 두 개의 벡터 v1 →, v2 →에 대한 그림이다. v1 →, v2 →는 데이터의 분포 특성을 가장 잘 나타낼 수 있는 두 개의 벡터이다. 이 벡터들의 방향과 크기를 알면 데이터 분포가 어떤 형태인지를 단순하면서도 효과적으로 파악할 수 있다.
3D 바디 모델에 PCA를 적용하면, 3D 바디 모델의 분포를 가장 단순하게 나타낼 수 있는 x, y, z 축에 대한 3D 벡터들을 얻을 수 있다. 정면을 찾기 위해서는 객체의 세로 방향인 y축의 분포는 필요 없기 때문에, xz 평면에 3D 바디 모델을 투영하고, 이 2D 평면에서 PCA을 진행한다. PCA에서, 먼저 공분산행렬을 찾고 그 행렬에 대한 두개의 고유벡터를 구한다. 구한 두 개의 고유벡터에서 고유값이 작은 벡터가 도 9에서 v에 해당하는 벡터가 되고 이 벡터는 정면방향을 나타낸다. 도 10은 가상의 면을 쉽게 정의하기 위해, PCA을 통해 찾은 벡터를 이용하여 3D 바디 모델의 정면이 z 축이 되도록 회전시킨 것을 나타낸다.
객체의 정면을 찾은 이후에, 공간상에 투영 평면을 결정하기 위한 AABB(Axis-aligned Bounding Box)를 설정한다. 3차원에서 2차원 평면으로 투영시키는 과정은 4×4행렬인 MVP(Model View Projection) 매트릭스(matrix)를 통해 월드 좌표계에서 투영 평면위의 좌표로 변환한다. 도 11은 객체에 AABB를 설정하고 4개의 옆면에 객체를 투영하는 방법을 나타낸다. 또한, 도 12는 각 면에 투영된 4개의 영상을 나타내고 있다.
2D 스켈레톤 픽셀 좌표계에서 다시 3차원 좌표계로 복원하는 과정을 거치면, 공간 상에 위치한 4개의 투영평면 위에 추출된 조인트 좌표가 계산된다. 4개의 평면위의 매칭되는 좌표끼리 연결시키면 공간상에 교차하는 4개의 좌표가 나온다. 도 13은 3D 바디 모델의 왼쪽 어깨 3D 조인트를 추출하는 것을 예시하고 있다.
2D 포즈 추정은 오차를 반드시 가지고 있고, 이러한 오차로 인해 교차점 공간을 벗어나는 투영 직선(projection line)이 발생한다. 도 14(a)에 예시한 것과 같이, 뒤쪽의 일점 쇄선의 투영 직선은 앞과 옆면에서 확인할 때, 교차 공간을 벗어나는 것을 확인할 수 있다. 실험적으로 교차 공간의 지름은 사전에 정해진 범위(예를 들어, 3cm)로 설정된다. 즉, 3D 가상의 구를 정의한 후에 가상 투영 직선이 이 공간을 통과하지 않는다면, 이 가상 투영 직선에 의한 마디는 3D 마디를 통합하는 계산에 포함되지 않는다. 제거되지 않은 후보 좌표들을 이용하여 3D 마디를 위한 3개의 시점(view-point)들에서 4개의 포인트들을 정의한 후에 평균 좌표를 계산한다. 위에서 (x, z)의 좌표를 결정하고, 측면에서 y 좌표를 결정한다. 계산된 (x, y, z) 좌표는 앞면에서의 (x, y) 좌표와 일치해야 한다. 이와 같은 과정을 도 14(b)에 나타내고 있다.
도 15는 에릭(Eric) 객체의 세 개의 프레임에 대한 스텔레톤 결과를 3D 모델에 시각적으로 표시한 것이다. 두 그림에서 (a)는 3D 모델이고, (b)의 실선은 정답에 해당하는 스켈레톤이다. (c)는 본 발명에 의해 구한 스켈레톤을 점선으로 표시한 것이다. 도 15(c)의 첫 번째 프레임에 대한 결과를 살펴보면, 왼쪽 다리에 대한 조인트가 정확하지 않은 것으로 볼 수 있다. 왼쪽 다리의 조인트가 객체의 바깥 영역으로 벗어난 것이 확인된다. 여기에 보정 알고리즘을 한 이후의 결과가 (d)이다. 도 15(d)의 첫 번째 프레임에 대한 결과를 살펴보면 왼쪽 다리에 대한 오차가 거의 사라진 것을 확인할 수 있다. 도 15(c)의 두 번째 및 세 번째 프레임에서는 오른쪽 발목의 마디에 일부 오차가 발생한 것을 볼 수 있다. 오른쪽 발목의 마디에 대한 오차로 인해 스켈레톤의 일부가 3D 객체의 외부로 벗어나는 현상이 관찰된다. 보정 알고리즘을 적용한 이후에, 도 15(d)의 결과에서 이러한 오차가 모두 개선된 것을 확인할 수 있다.
다음으로, 주름표면 생성부(36)는 사람의 마디(또는 조인트) 정보를 이용하여 몸의 포즈에 따라 의상의 일부에 대한 주름을 만들어 준다. 특히, 주름표면 생성부(36)는 앞서 변형된 의상 모델에 직접 주름을 만들어 준다. 즉, 변형된 의상 모델의 메쉬를 변경하여 주름 표면을 생성한다.
즉, 주름표면 생성부(36)는 물리 시뮬레이션을 이용하여 기본적인 주름을 형성하고, 인체의 각 부분에 대한 위치 정보를 이용하여 주름의 효과를 강조한다. 도 16과 도 17은 주름 표면 생성 알고리즘을 이용하여 생성한 주름 결과에 대한 예시를 나타내고 있다.
구체적으로, 먼저, 물리 시뮬레이션을 이용하여 바디의 형태를 이용하여 기본적인 주름을 생성한다. 물리 시뮬레이션은 통상의 기술을 사용한다[비특허문헌 1].
다음으로, 포즈 추정 결과로부터 인체의 마디(조인트) 위치를 확인한다.
다음으로, 마디 위치를 기준으로 각 신체 부위의 동작 상태를 확인하고 분석한다. 주름은 마디를 위주로 발생한다. 즉, 관절이 접혀 있는 정도에 따라 주름이 많이 생긴다. 따라서 관절의 접혀있는 상태를 확인하는 것은 중요하다. 이때, 바디 모델과 의상 모델의 매핑 정보에 따라 바디 모델의 마디에 대응되는 의상 모델의 지점을 알 수 있다.
다음으로, 의상이 포함된 인체 부위별 주름 프로파일의 선택한다. 이때, 인체의 위치 정보에 따라 발생할 수 있는 주름 프로파일(형태, 경향성)을 미리 저장하고, 저장된 프로파일을 가져와서 사용한다. 주름 프로파일은 주름 메쉬로서, 마디에 따라 발생할 수 있는 형상을 사전에 만들어 둔다.
다음으로, 인체 부위별 동작 상태에 따른 주름 프로파일의 가중치(주름의 발생 빈도 및 높이)를 부여한다. 가중치는 미리 만들어 놓은 주름을 얼마나 더 크고 깊은 주름으로 만들 것인지를 결정하는 파라미터이다. 가중치를 높게 부여하면, 해당 주름은 크고 깊어지고, 영의 가중치를 주면 주름 프로파일의 기본 형태가 된다. 또한, 음의 가중치를 주면, 해당 주름이 점점 편평해진다.
다음으로, 전체 메쉬 면적 및 메쉬의 개수를 조절한다. 원래 없던 주름을 만들면, 주름을 위해 인위적으로 인가한 메쉬 만큼, 의상 모델의 메쉬 면적이 넓어진다. 즉 주름을 만들어주는 과정에서 의상의 표면이 넓어지거나 메쉬의 개수가 많아진다. 따라서 메쉬 면적/개수의 조절 과정은, 넓어진 의상 모델의 표면을 다시 원래의 메쉬의 면적과 유사한 형태로 줄이는 과정이다. 주름과 연결된 가장 가까운 메쉬의 끝 부분의 길이를 줄이는 방법이 이용된다.
또한, 주름의 가중치를 변화시켰을 때 주름이 변화하는 정도를 도 18에 예시하고 있다.
다음으로, 텍스처 매핑부(35)는 3D 바디 모델의 형태를 타겟으로 변형된 3D 의상 모델의 UV 텍스처를 대응시킨다. 즉, 원래의 의상 모델의 UV 텍스처를, 변형된 의상 모델의 정점/메쉬(원래 의상 모델의 정점/메쉬에 대응되는 정점/메쉬)에 매핑 시킨다. 특히, 원래의 의상 모델의 UV 텍스처를, 주름이 표현된 변형된 의상 모델에 매핑 시킨다.
의상 텍스처는 일반적인 메쉬와 UV 텍스쳐의 대응관계를 이용하여 입히게 된다. 각 메쉬 및 정점에 대해 UV와 대응되는 관계를 저장해두고, 메쉬 및 정점의 이동(변경)에 대해 이동한 정보에 대한 히스토리를 모두 저장해 둔다. UV가 그대로 원래 대응된 메쉬로 매핑되는 과정이다. 도 19에 메쉬 상에 텍스처를 매핑한 결과를 나타내고 있다. 도 19(d)에서 볼 수 있듯이 UV를 단지 메쉬와 텍스쳐의 대응관계만으로 입힐(매핑할) 경우에는 왜곡이 발생할 수 있다.
다음으로, 텍스처 갱신부(37)는 텍스처를 업데이트하고 보정한다.
3D 의상의 변형 및 주름의 강조 등으로 인해 주름의 텍스처가 의상 전체 텍스처의 형태를 왜곡시킬 수 있다. 즉, 변형과 주름 생성 과정에 의해서 텍스처가 밀리고 찌그러지는 등의 왜곡이 발생한다. 이것을 보기 좋게 펴주어야 한다. 이를 위해, 2D 영상의 투영을 이용하여 텍스처를 보정하는 기술을 이용한다.
주름 텍스쳐 업데이트 과정에서는 3D 의상 모델을 바디 모델로 변형시키는 과정(또는 주름을 생성하는 과정)에서 발생한 왜곡을 최소화시킨다. 도 20과 도 21에 나타낸 것과 같이 텍스처의 원리 형태를 전혀 고려하지 않고 단지 메쉬 대응만을 기준으로 메쉬의 정점을 이동시킨 후에 메쉬에 대응된 UV 텍스쳐를 입히면, 도 20(b) 및 도 21(b)와 같은 왜곡이 발생할 수 있다.
본 발명에서는 원래 UV의 투영된 영상과 변형된 3D 의상 모델(또는 주름이 생성된 의상 모델)의 투영된 영상 사이의 차이를 최소화시키는 방법으로 주름 텍스쳐의 왜곡을 최소화시킨다. 먼저 변형 이전의 3D 의상 모델에 텍스쳐를 입히고, 전면, 후면, 측면의 방향으로 2D 영상으로 투영한다. 이 과정을 통해서 3D 의상 모델의 2D 영상 4개를 얻는다. 다음으로 변형된 3D 의상 모델(또는 주름이 생성된 3D 의상 모델)을 동일한 방법으로 2D 영상으로 투영하여 2D 영상 4개를 얻는다. 다음으로 네 개의 영상으로 이루어진 두 세트를 각각 비교하여 두 세트 사이의 오차값을 얻는다. 오차가 임계치보다 크다면, 3D 의상 모델의 메쉬와 UV 텍스처 사이의 대응 관계를 변화시키고, 목표로 하는 오차에 도달할 때까지 다시 투영 및 비교 과정을 반복한다. 이때, 호모그래피 변환 등 통상의 변환 방법을 이용하여, 3D 의상 모델의 메쉬와 UV 텍스처 사이의 대응 관계를 변화시킨다.
다음으로, 의상모델 개선부(38)는 의상의 각 부분에 대한 정보와 텍스처의 영역 정보를 비교하여 텍스쳐를 보정한다. 특히, 의상모델 개선부(38)는 의상 모델을 분리하고, 분리된 영역에 따라 해당 영역 내에서의 메쉬의 일관성을 유지하도록 텍스처를 보정(개선)하거나, 영역 간의 경계를 기준으로 텍스처를 보정한다.
구체적으로, 의상모델 개선부(38)는 몸을 타겟으로 변형된 의상의 각 부분에 대한 정보를 구하여 의상 모델을 분리한다. 즉, 하나의 메쉬를 형태적인 구성 성분으로 분리한다[비특허문헌 2]. 예로 들면 옷의 팔과 몸통을 분리할 수 있다. 팔도 팔꿈치를 기준으로 분리할 수 있다. 또한 재질에 대한 정보가 주어졌을 경우에는 더 자세하게 분리할 수 있다. 바람직하게는, 3D 모델을 분리하는 딥러닝 모델을 사용하여, 인체의 구조를 바탕으로 의상 모델에서 3D 메쉬를 분리한다.
분리된 정보는 모델의 텍스처를 개선하는데 기준선으로 활용된다.
또한, 의상모델 개선부에서는 분리된 옷의 부분들이 일관성 있는 메쉬를 가지고 있는지를 판단하거나, 경계를 기준으로 다른 형태의 텍스쳐가 넘어가지 않았는지 등을 판별하고 텍스처를 보정한다.
다음으로, 메쉬 통합부(39)는 변형된(개선된) 의상 모델과 바디 모델을 통합하여 의상 피팅된 바디 모델을 생성한다.
옷과 바디는 분리되어 처리된다. 따라서 마지막에 바디에 옷을 입히는 과정이 필요하다. 즉, 두 개 모델(의상 모델, 바디 모델 등)의 메쉬를 하나의 공간과 위치에 겹쳐서 놓아, 2개 모델을 통합한다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 컴퓨터 단말
30 : 의상착용 시스템 30a : 의상착용 클라이언트
30b : 의상착용 서버 31 : 데이터 입력부
32 : 대응점 매칭부 33 : 의상 변형부
34 : 포즈 추정부 35 : 텍스처 매핑부
36 : 주름표면 생성부 37 : 텍스처 갱신부
38 : 의상모델 개선부 39 : 메쉬 통합부
50 : 데이터베이스 80 : 네트워크

Claims (8)

  1. 가상 의상 착용 시스템에 있어서,
    3차원 바디 모델 및 3차원 의상 모델(이하 제1 의상 모델)을 입력받는 데이터 입력부;
    상기 바디 모델과 상기 제1 의상 모델 간의 대응점을 매칭시키는 대응점 매칭부;
    대응점 관계를 이용하여, 상기 바디 모델을 타겟으로 하여 상기 의상 모델을 변형 전송(deformation transfer)을 수행하여 변형시키는 의상 변형부;
    상기 바디 모델의 포즈를 추정하는 포즈 추정부;
    상기 변형된 의상 모델(이하 제2 의상 모델)에 대하여, 상기 포즈의 조인트에 따른 의상의 주름을 생성하는 주름표면 생성부;
    상기 주름이 생성된 의상 모델(이하 제3 의상 모델)에 대하여, 상기 제1 의상 모델의 텍스처를 대응시키는 텍스처 매핑부;
    상기 제3 의상 모델의 텍스처를 보정하는 텍스처 갱신부; 및,
    보정된 의상 모델과 상기 바디 모델을 통합하여 의상이 피팅된 바디 모델을 생성하는 메쉬 통합부를 포함하는 것을 특징으로 하는 가상 의상 착용 시스템.
  2. 제1항에 있어서,
    상기 대응점 매칭부는 상기 제1 의상 모델 S와 상기 바디 모델 T에 대하여 적어도 2이상의 극점으로 초기 대응점을 설정하고, 상기 S 내에서 초기 대응점 사이의 정점 pi를 샘플링하고 상기 T 내에서 초기 대응점 사이의 정점 qi를 샘플링하고, 샘플링된 정점 pi를 기반으로 표면 간의 대응 관계를 계산하여 대응점(qi)의 연결 집합(pi,qi)을 계산하고, 하나의 pi에서 다수의 qi로 연결되는 경우 이미 qi가 다른 연결을 보유하고 있다면 둘 사이의 연결은 불량쌍으로 간주하여 상기 연결 집합에서 그 연결을 제거하고, 최종 연결 집합(pi,qi)을 대응점으로 매칭하는 것을 특징으로 하는 가상 의상 착용 시스템.
  3. 제1항에 있어서,
    상기 의상 변형부는 변형 전송 방법에 따라 변형하되, 대응점 사이의 거리를 최소화 하는 계산을 수행하여 변형하고, 대응점 및, 대응점들 사이의 모든 정점(Vertex)을 움직이기 위해 회전(rotation), 이동(translation), 스케일(scale), 전단(shear) 파라미터를 계산하여 변형하는 것을 특징으로 하는 가상 의상 착용 시스템.
  4. 제1항에 있어서,
    상기 포즈 추정부는 상기 바디 모델로부터 4개의 방향에 대한 투영 영상을 생성하고, 신경망을 이용하여 각 투영 영상에서 2D 조인트를 추출하고, 각 방향의 2D 조인트를 3D 공간으로 복원하고, 3D 공간 상의 조인트들에 대한 교차 지점을 계산하고, 계산된 교차 지점을 조인트로 추정하고, 추정된 조인트와 조인트 사이를 연결하는 스켈레톤을 추정하는 것을 특징으로 하는 가상 의상 착용 시스템.
  5. 제1항에 있어서,
    상기 포즈 추정부는 상기 바디 모델로부터 4개의 방향에 대한 투영 영상을 생성하고, 신경망을 이용하여 각 투영 영상에서 2D 조인트를 추출하고, 각 방향의 2D 조인트를 3D 공간으로 복원하고, 3D 공간 상의 조인트들에 대한 교차 지점을 계산하고, 계산된 교차 지점을 조인트로 추정하고, 추정된 조인트와 조인트 사이를 연결하는 스켈레톤을 추정하는 것을 특징으로 하는 가상 의상 착용 시스템.
  6. 제1항에 있어서,
    상기 주름표면 생성부는 물리 시뮬레이션을 이용하여 바디의 형태를 이용하여 기본적인 주름을 생성하고, 조인트를 기준으로 주름을 발생시키되, 사전에 정해진 인체의 조인트 부위별 주름 프로파일을 가져와서 주름을 발생시키고, 상기 바디 모델의 동작 상태에 따라 주름 프로파일의 가중치 또는 전체 메쉬 면적 및 메쉬의 개수를 조절하는 것을 특징으로 하는 가상 의상 착용 시스템.
  7. 제1항에 있어서,
    상기 텍스처 갱신부는 상기 제1 의상 모델의 투영 영상의 텍스처 영상과, 상기 제3 의상 모델의 투영 영상의 텍스처 영상 간의 차이를 최소화 시키도록, 상기 제3 의상 모델의 텍스처를 반복하여 변형시키는 것을 특징으로 하는 가상 의상 착용 시스템.
  8. 제1항에 있어서,
    상기 시스템은, 상기 제3 의상 모델을 분리하고, 분리된 영역을 참조하여 상기 제3 의상 모델의 텍스처를 보정하되, 분리된 영역에 따라 해당 영역 내에서의 메쉬의 일관성을 유지하도록 텍스처를 보정하거나, 영역 간의 경계를 기준으로 텍스처를 보정하는 의상모델 개선부를 더 포함하는 것을 특징으로 하는 가상 의상 착용 시스템.
KR1020220164738A 2022-11-30 2022-11-30 가상 의상 착용 시스템 KR20240081670A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220164738A KR20240081670A (ko) 2022-11-30 2022-11-30 가상 의상 착용 시스템
US18/065,756 US20240177421A1 (en) 2022-11-30 2022-12-14 Virtual costume fitting system
PCT/KR2022/021308 WO2024117366A1 (ko) 2022-11-30 2022-12-26 가상 의상 착용 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220164738A KR20240081670A (ko) 2022-11-30 2022-11-30 가상 의상 착용 시스템

Publications (1)

Publication Number Publication Date
KR20240081670A true KR20240081670A (ko) 2024-06-10

Family

ID=91192027

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220164738A KR20240081670A (ko) 2022-11-30 2022-11-30 가상 의상 착용 시스템

Country Status (3)

Country Link
US (1) US20240177421A1 (ko)
KR (1) KR20240081670A (ko)
WO (1) WO2024117366A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710521B1 (ko) 2015-11-18 2017-02-27 (주)에프엑스기어 사용자 신체의 cg 표현 기능이 구비된 가상 피팅을 위한 시뮬레이션 장치, 방법 및 이를 위한 컴퓨터 프로그램
KR20200067511A (ko) 2018-12-04 2020-06-12 신안산대학교 산학협력단 신체 사이즈를 기반으로 하는 가상 피팅 서비스 시스템
KR102365750B1 (ko) 2019-11-11 2022-02-22 서울과학기술대학교 산학협력단 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20220042126A (ko) 2019-08-12 2022-04-04 엘지전자 주식회사 가상 피팅 제공 장치 및 그 제공 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101767144B1 (ko) * 2015-08-13 2017-08-11 (주)에프엑스기어 의상의 3차원 모델 생성 장치, 방법 및 이를 위한 컴퓨터 프로그램
KR20180069786A (ko) * 2015-08-14 2018-06-25 미테일 리미티드 3d 신체 모델에 대한 3d 의복 모델의 이미지 파일을 생성하기 위한 방법 및 시스템
KR101842797B1 (ko) * 2016-11-03 2018-03-27 한국 한의학 연구원 3차원 신체 자세 분석 장치 및 방법
KR102448758B1 (ko) * 2020-10-30 2022-09-30 주식회사 자이언트스텝 블렌드쉐입 기반 실시간 의상 시뮬레이션 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710521B1 (ko) 2015-11-18 2017-02-27 (주)에프엑스기어 사용자 신체의 cg 표현 기능이 구비된 가상 피팅을 위한 시뮬레이션 장치, 방법 및 이를 위한 컴퓨터 프로그램
KR20200067511A (ko) 2018-12-04 2020-06-12 신안산대학교 산학협력단 신체 사이즈를 기반으로 하는 가상 피팅 서비스 시스템
KR20220042126A (ko) 2019-08-12 2022-04-04 엘지전자 주식회사 가상 피팅 제공 장치 및 그 제공 방법
KR102365750B1 (ko) 2019-11-11 2022-02-22 서울과학기술대학교 산학협력단 대상자의 자세 추정 및 변경을 사용한 이미지 기반 가상의상 착용 방법, 이를 수행하기 위한 기록 매체 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
http://graphics.ucdenver.edu/physics_simulations.html
https://people.cs.umass.edu/~kalo/papers/LabelMeshes/

Also Published As

Publication number Publication date
WO2024117366A1 (ko) 2024-06-06
US20240177421A1 (en) 2024-05-30

Similar Documents

Publication Publication Date Title
US10546433B2 (en) Methods, systems, and computer readable media for modeling garments using single view images
CN110443885B (zh) 基于随机人脸图像的三维人头脸模型重建方法
US10636206B2 (en) Method and system for generating an image file of a 3D garment model on a 3D body model
US10867453B2 (en) Method and system for generating an image file of a 3D garment model on a 3D body model
Hasler et al. Estimating body shape of dressed humans
JP4473754B2 (ja) 仮想試着装置
EP3971841A1 (en) Three-dimensional model generation method and apparatus, and computer device and storage medium
US8624901B2 (en) Apparatus and method for generating facial animation
CN113012293A (zh) 石刻模型构建方法、装置、设备及存储介质
WO2008056825A1 (fr) Procédé de création d'une surface tridimensionnelle
JP2011521357A (ja) ビデオ画像を利用したモーションキャプチャのシステム、方法、及び装置
KR20130088507A (ko) 인체의 관절구조를 추정하기 위한 장치 및 방법
Jiang et al. Transferring and fitting fixed-sized garments onto bodies of various dimensions and postures
KR20090092473A (ko) 3차원 변형 가능 형상 모델에 기반한 3차원 얼굴 모델링방법
Collins et al. [POSTER] realtime shape-from-template: System and applications
Leizea et al. Real-time deformation, registration and tracking of solids based on physical simulation
JP4695275B2 (ja) 動画像生成システム
Pilu et al. Training PDMs on models: the case of deformable superellipses
CN112365589B (zh) 一种虚拟三维场景展示方法、装置及系统
Kang et al. Appearance-based structure from motion using linear classes of 3-d models
Straka et al. Rapid skin: estimating the 3D human pose and shape in real-time
KR102655987B1 (ko) 3차원 아바타 생성 장치 및 방법
KR20240081670A (ko) 가상 의상 착용 시스템
CN115471632A (zh) 基于3d扫描的真实人体模型重建方法、装置、设备及介质
CN111105489A (zh) 数据合成方法和装置、存储介质和电子装置