KR20230077645A - 실감형 패션 메타버스 서비스 제공하는 방법, 그 장치 및 그 방법을 수행하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체 - Google Patents
실감형 패션 메타버스 서비스 제공하는 방법, 그 장치 및 그 방법을 수행하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체 Download PDFInfo
- Publication number
- KR20230077645A KR20230077645A KR1020220146053A KR20220146053A KR20230077645A KR 20230077645 A KR20230077645 A KR 20230077645A KR 1020220146053 A KR1020220146053 A KR 1020220146053A KR 20220146053 A KR20220146053 A KR 20220146053A KR 20230077645 A KR20230077645 A KR 20230077645A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- metaverse
- file
- realistic
- service
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 238000009877 rendering Methods 0.000 claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 230000037237 body shape Effects 0.000 claims abstract description 9
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 claims 6
- 230000008569 process Effects 0.000 description 62
- 210000000038 chest Anatomy 0.000 description 38
- 238000005259 measurement Methods 0.000 description 36
- 238000012545 processing Methods 0.000 description 32
- 238000004519 manufacturing process Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 15
- 230000000873 masking effect Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 13
- 239000008186 active pharmaceutical agent Substances 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 210000000887 face Anatomy 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 210000000746 body region Anatomy 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 210000003423 ankle Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 241001516908 Metabus Species 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000012938 design process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 108010068977 Golgi membrane glycoproteins Proteins 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Processing Or Creating Images (AREA)
- Geometry (AREA)
- Architecture (AREA)
Abstract
실시예들에 따른 실감형 패션 메타버스 서비스 제공 방법은 실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일들을 생성하는 단계, 각 생성된 파일에 대해 AI 알고리즘을 기반으로 중요도 판단을 수행하여 렌더링을 위한 우선 순위를 나타내는RPI (Rendering Priority Index) 3D 맵(3D map) 정보를 생성하는 단계 및 각 생성된 파일을 glTF 파일로 변환하고, RPI 3D 맵 정보와 함께 프리 glTF 파일로 인코딩하는 단계를 포함한다. 파일들은 사용자의 얼굴 사진을 기반으로 생성된 3D 얼굴 및 사용자 신체 사이즈 정보를 기반으로 생성된 사용자 체형을 반영한 아바타를 결합하여 생성되는 아바타 파일, 실감형 메타버스 서비스의 콘텐츠를 구성하는 3D공간을 나타내는 3D 공간 파일 및 상기 아바타에 가상 피팅을 하기 위한 의류 아이템을 나타내는 의류 파일을 포함한다.
Description
본 명세서는 실감형 패션 메타버스 서비스를 제공하기 위한 방법, 장치 및 그 방법을 수행하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체에 관한 것이다.
코로나19 이후 비대면 수요가 증가하면서, 패션테크 기반 온라인 판매가 급증하고 있다. 이에 따라 AI 및 XR 기술을 활용한 가상 패션쇼 등 메타버스 플랫폼 비즈니스를 포함한 메타버스를 활용하여 오프라인에서의 패션 비지니스와 기술을 접목시키기 위한 다양한 시도들이 이루어지고 있다. 그러나 종래의 메타버스 플랫폼 비즈니스는 사용자가 실제 매장에서 옷을 구입하는 것과 거의 유사한 수준의 가상 경험을 제공하지 못했다.
위와 같은 문제점을 해결하기 위한 것으로서 개시하는 예들의 목적은, 사용자의 신체 사이즈를 측정하여 사용자의 외형을 거의 유사하게 반영한 아바타를 생성하여 사용자에게 보다 실제에 가까운 가상 피팅 경험을 제공할 수 있는 실감형 패션 메타버스 서비스를 제공하기 위한 방법, 장치 및 그 방법을 수행하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체를 제공하는 것이다.
개시하는 예들의 목적은, 실제 의류와 거의 유사한 질감, 색채, 형태 등을 구현하는 높은 품질의 가상 의류 콘텐츠를 제공할 수 있어 디자인 공정 및 제조공정의 효율성을 증가시킬 수 있는 실감형 패션 메타버스 서비스를 제공하기 위한 방법, 장치 및 그 방법을 수행하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체를 제공하는 것이다.
개시하는 예들의 목적은,고품질의 가상 콘텐츠를 제공하여 패션과 관련된 다양한 비즈니스, 가산 재산 거래 및 활용 비즈니스 등에 활용될 수 있는 실감형 패션 메타버스 서비스를 제공하기 위한 방법, 장치 및 그 방법을 수행하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체를 제공하는 것이다.
실시예들에 따른 실감형 패션 메타버스 서비스 제공 방법은 실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일들을 생성하는 단계, 각 생성된 파일에 대해 AI 알고리즘을 기반으로 중요도 판단을 수행하여 렌더링을 위한 우선 순위를 나타내는RPI (Rendering Priority Index) 3D 맵(3D map) 정보를 생성하는 단계 및 각 생성된 파일을 glTF 파일로 변환하고, RPI 3D 맵 정보와 함께 프리 glTF 파일로 인코딩하는 단계를 포함한다. 파일들은 사용자의 얼굴 사진을 기반으로 생성된 3D 얼굴 및 사용자 신체 사이즈 정보를 기반으로 생성된 사용자 체형을 반영한 아바타를 결합하여 생성되는 아바타 파일, 실감형 메타버스 서비스의 콘텐츠를 구성하는 3D공간을 나타내는 3D 공간 파일 및 상기 아바타에 가상 피팅을 하기 위한 의류 아이템을 나타내는 의류 파일을 포함한다.
실시예들에 따른 실감형 패션 메타버스 서비스 제공 시스템은 실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일들을 생성하는 하나 또는 그 이상의 모듈들, 각 생성된 파일에 대해 AI 알고리즘을 기반으로 중요도 판단을 수행하여 렌더링을 위한 우선 순위를 나타내는RPI (Rendering Priority Index) 3D 맵(3D map) 정보를 생성하는 RPI 3D 맵 모듈; 및 각 생성된 파일을 glTF 파일로 변환하고, RPI 3D 맵 정보와 함께 프리 glTF 파일로 인코딩하는 인코더를 포함한다. 파일들은 사용자의 얼굴 사진을 기반으로 생성된 3D 얼굴 및 사용자 신체 사이즈 정보를 기반으로 생성된 사용자 체형을 반영한 아바타를 결합하여 생성되는 아바타 파일, 상기 실감형 메타버스 서비스의 콘텐츠를 구성하는 3D공간을 나타내는 3D 공간 파일 및 상기 아바타에 가상 피팅을 하기 위한 의류 아이템을 나타내는 의류 파일을 포함한다.
실시예들에 따른 하나 이상의 프로세서에 의해 실행되는, 하나 이상의 프로세서가 실감형 패선 메타버스 서비스 제공 방법을 수행하도록 하는 인스트럭션을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체로서, 실감형 패션 메타버스 서비스 제공 방법은, 파일들은 사용자의 얼굴 사진을 기반으로 생성된 3D 얼굴 및 사용자 신체 사이즈 정보를 기반으로 생성된 사용자 체형을 반영한 아바타를 결합하여 생성되는 아바타 파일, 상기 실감형 메타버스 서비스의 콘텐츠를 구성하는 3D공간을 나타내는 3D 공간 파일 및 상기 아바타에 가상 피팅을 하기 위한 의류 아이템을 나타내는 의류 파일을 포함하고; 각 생성된 파일에 대해 AI 알고리즘을 기반으로 중요도 판단을 수행하여 렌더링을 위한 우선 순위를 나타내는RPI (Rendering Priority Index) 3D 맵(3D map) 정보를 생성하는 단계; 및 상기 각 생성된 파일을 glTF 파일로 변환하고, 상기 RPI 3D 맵 정보와 함께 프리 glTF 파일로 인코딩하는 단계를 포함한다.
개시하는 실시 예에 따르면, 사용자의 신체 사이즈를 측정하여 사용자의 외형을 거의 유사하게 반영한 아바타를 생성하여 사용자에게 보다 실제에 가까운 가상 피팅 경험을 제공할 수 있다.
개시하는 실시 예에 따르면, 실제 의류와 거의 유사한 질감, 색채, 형태 등을 구현하는 높은 품질의 가상 의류 콘텐츠를 제공할 수 있어 디자인 공정 및 제조공정의 효율성을 증가시킬 수 있다.
개시하는 실시 예에 따르면, 고품질의 가상 콘텐츠를 제공하여 패션과 관련된 다양한 비즈니스, 가산 재산 거래 및 활용 비즈니스 등에 활용될 수 있다.
도 1은 실감형 패션 메타버스 서비스 제공 시스템의 개념도를 나타낸다.
도 2는 실감형 패션 메타버스 서비스 제공 시스템의 예시이다.
도 3은 도2에서 설명한 각 서버의 구체적인 기능을 나타낸다.
도4는 실감형 패션 메타버스 서비스의 플로우의 예시이다.
도 5는 사용자 신체 사이즈 측정을 위한 사용자 인터페이스의 예시를 나타낸다.
도 6은 가상 피팅을 위한 사용자 인터페이스의 예시를 나타낸다.
도 7은 실감형 패션 메타버스 서비스 제공 시스템의 예시를 나타낸다.
도 8은 신체 사이즈 측정의 예시를 나타낸다.
도 9는 피치값 효과를 나타내는 그래프들이다.
도 10은 피치값 효과를 나타내는 그래프들이다.
도 11은 피치값 효과를 나타내는 그래프들이다.
도 12는 가슴둘레 보정 과정의 예시를 나타낸다.
도 13은 가슴둘레 도출 과정의 예시를 나타낸다.
도 14는 실감형 패션 메타버스 서비스 처리 과정의 블록도이다.
도 15는 실감형 패션 메타버스 콘텐츠를 생성하는 과정을 나타낸다.
도 16은 WebGL 기반의 실감형 패션 메타버스 콘텐츠를 생성하는 과정을 나타낸다.
도 17은 실감형 패션 메타버스 서비스 제공 시스템의 예시를 나타낸다.
도 18은 프리-glTF (pre-glTF)의 예시를 나타낸다.
도 19는 최적화된 glTF 생성기의 동작을 나타낸다.
도 20은 최적화된 버텍스들의 예시를 나타낸다.
도 21은 RPI 3D 맵을 기반으로 렌더링 하는 과정을 나타내는 플로우 차트이다.
도 22는 가상 피팅 타입의 예시를 나타낸다.
도 23은 아바타 마스킹 피팅 타입의 마스킹 과정을 나타낸다.
도 24는 아바타 마스킹 피팅 타입의 처리 과정을 나타낸다.
도 25는 의류 쉐이더 피팅 타입의 처리 과정을 나타낸다.
도 26은 의류 쉐이딩 피팅 타입의 처리 과정을 나타낸다.
도 27은 의류 콜라이더 피팅 타입의 처리 과정을 나타낸다.
도 28은 의류 콜라이더 피팅 타입의 처리 과정을 나타낸다.
도 29는 이미지 심리스 텍스쳐링 알고리즘 (image seamless texturing algorithm)을 나타내는 플로우 차트이다.
도 30은 이미지 심리스 텍스쳐링 알고리즘의 예시를 나타낸다.
도 31은 이미지 심리스 텍스쳐링 알고리즘의 예시를 나타낸다.
도 32는 실감형 패션 메타버스 서비스 제공 방법을 나타내는 플로우차트이다.
도 2는 실감형 패션 메타버스 서비스 제공 시스템의 예시이다.
도 3은 도2에서 설명한 각 서버의 구체적인 기능을 나타낸다.
도4는 실감형 패션 메타버스 서비스의 플로우의 예시이다.
도 5는 사용자 신체 사이즈 측정을 위한 사용자 인터페이스의 예시를 나타낸다.
도 6은 가상 피팅을 위한 사용자 인터페이스의 예시를 나타낸다.
도 7은 실감형 패션 메타버스 서비스 제공 시스템의 예시를 나타낸다.
도 8은 신체 사이즈 측정의 예시를 나타낸다.
도 9는 피치값 효과를 나타내는 그래프들이다.
도 10은 피치값 효과를 나타내는 그래프들이다.
도 11은 피치값 효과를 나타내는 그래프들이다.
도 12는 가슴둘레 보정 과정의 예시를 나타낸다.
도 13은 가슴둘레 도출 과정의 예시를 나타낸다.
도 14는 실감형 패션 메타버스 서비스 처리 과정의 블록도이다.
도 15는 실감형 패션 메타버스 콘텐츠를 생성하는 과정을 나타낸다.
도 16은 WebGL 기반의 실감형 패션 메타버스 콘텐츠를 생성하는 과정을 나타낸다.
도 17은 실감형 패션 메타버스 서비스 제공 시스템의 예시를 나타낸다.
도 18은 프리-glTF (pre-glTF)의 예시를 나타낸다.
도 19는 최적화된 glTF 생성기의 동작을 나타낸다.
도 20은 최적화된 버텍스들의 예시를 나타낸다.
도 21은 RPI 3D 맵을 기반으로 렌더링 하는 과정을 나타내는 플로우 차트이다.
도 22는 가상 피팅 타입의 예시를 나타낸다.
도 23은 아바타 마스킹 피팅 타입의 마스킹 과정을 나타낸다.
도 24는 아바타 마스킹 피팅 타입의 처리 과정을 나타낸다.
도 25는 의류 쉐이더 피팅 타입의 처리 과정을 나타낸다.
도 26은 의류 쉐이딩 피팅 타입의 처리 과정을 나타낸다.
도 27은 의류 콜라이더 피팅 타입의 처리 과정을 나타낸다.
도 28은 의류 콜라이더 피팅 타입의 처리 과정을 나타낸다.
도 29는 이미지 심리스 텍스쳐링 알고리즘 (image seamless texturing algorithm)을 나타내는 플로우 차트이다.
도 30은 이미지 심리스 텍스쳐링 알고리즘의 예시를 나타낸다.
도 31은 이미지 심리스 텍스쳐링 알고리즘의 예시를 나타낸다.
도 32는 실감형 패션 메타버스 서비스 제공 방법을 나타내는 플로우차트이다.
이하의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 시스템 및 방법을 더욱 완전하게 설명하기 위하여 제공된다. 또한 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 시스템 및 방법의 범위가 이하의 실시예들로 한정되는 것은 아니다. 실시예들은 본 시스템 및 방법을 당업자에게 더욱 충실하고 완전하게 설명하고 완전하게 전달하기 위하여 제공된다.
명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 실시예들이 설명하는 시스템 및 방법을 제한하지 않는다. 본 명세서에서 사용되는 단수 형태는 문맥상 다른 경우를 분명히 기술하는 것이 아니라면 복수의 형태를 포함한다. 또한, 본 명세서에서 사용되는 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함할 수 있다.
도 1은 실감형 패션 메타버스 서비스 제공 시스템의 개념도를 나타낸다.
도 1 에 도시된 실감형 패션 메타버스 서비스 제공 시스템의 개념도(100)는 실감형 패션 메타버스 서비스를 제공하기 위한 실감형 가상 패션 콘텐츠 생성 과정(110) 및 멀티 플랫폼 최적화 과정(120)을 포함한다. 실감형 패션 메타버스 서비스는 사용자의 신체를 측정하는 신체 측정 서비스, 신체 측정을 기반으로 실감형 아바타를 생성하고, 실감형 가상 아이템의 피팅을 수행하도록 하는 가상 피팅 서비스 및 실감형 가상 공간에서 가상 피팅을 한 아바타의 움직이도록 구성되는 가상 패션쇼 서비스를 포함한다.
실감형 가상 패션 콘텐츠 생성 과정(110)은 실감형 아바타, 실감형 아이템 및 실감형 가상 공간을 포함하는 실감형 가상 패션 콘텐츠를 생성하는 과정으로 실감형 아바타 생성(112), 가상 피팅(114) 및 애니메이션(116)과정을 포함한다. 실감형 아바타는 사용자 신체 사이즈 측정 및 얼굴 측정을 기반으로 이미지 보정 등을 수행하여 사용자의 신체와 얼굴을 유사하게 구현하여 생성된다. 가상 피팅(114) 과정은 생성된 실감형 아바타와 실감형 아이템을 결합하여 사용자에게 실감형 가상 피팅 경험을 제공한다. 실감형 아이템은 실제 옷, 신발 및/또는 악세서리 등의 패션 아이템으로 각 아이템의 형태, 질감, 색 등을 실제와 유사하게 구현하여 생성된다. 애니메이션(116)과정은 생성된 실감형 가상 공간에 배치된 아바타의 동작인 애니메이션을 구현한다. 실감형 가상 공간은 가상의 패션쇼장 및/또는 쇼룸 콘텐츠를 나타낸다.
멀티 플랫폼 최적화 과정(120)은 실감형 가상 패션 콘텐츠의 실감성이 훼손되지 않도록 플랫폼(예를 들면 앱/웹 플랫폼 등) 또는 플랫폼간 최적화를 구현하는 과정이다. 멀티 플랫폼 최적화 과정(120)은 앱 플랫폼(122), 크로스 플랫폼(124) 및 웹 플랫폼(126)구현 과정을 포함한다. 앱 플랫폼(122)은 AR/VR 기술을 기반으로 실감형 가상 패션 콘텐츠, 예를 들면 실감형 아바타, 실감형 패션 아이템 등을 제공한다. 크로스 플랫폼(124)은 앱 플랫폼(122)에서 제공되는 실감형 가상 패션 콘텐츠를 압축하여 웹 플랫폼(124)으로 전달하는 과정이다. 웹 플랫폼(124)은 WebGL 기반의 브라우저에서 실감형 가상 패션 콘텐츠를 제공한다. 웹 플랫폼(124)에서 제공되는 실감형 가상 패션 콘텐츠는 앱 플랫폼 콘텐츠의 웹 플랫폼 전환 기술 (예를 들면 3D 데이터 포맷), 웹 플랫폼 내의 3D 표현을 위한 3D자원(geometry*, texture) 생성 최적화 기술, AI 기반 최적 3D자원 자동 생성 기술 등을 기반으로 구현된다..
실시예들에 따른 시스템은 고품질의 실감형 가상 패션 콘텐츠를 다양한 분야에 제공할 수 있다. 실감형 가상 패션 콘텐츠는 디자인 공정, 제조 공정 등에서 활용되어 업무들의 효율성을 개선하기 위해 활용될 수 있고, 가상자산 및 실물자산의 거래 및 연계를 위한 전자상거래 기술, 가상 패션 콘텐츠를 기반으로 다양한 사용자 (예를 들면 소비자, 패션 소상공인, 패션 서비스 사업자 등)의 커뮤니케이션 채널을 위해 활용될 수 있다.
도 2는 실감형 패션 메타버스 서비스 제공 시스템의 예시이다.
실감형 패션 메타버스 서비스 제공 시스템(200)(이하 시스템이라고 호칭한다)은 하나 또는 그 이상의 서버들을 포함한다. 각 서버는 실감형 패션 메타버스 서비스의 콘텐츠를 제작하거나 저장하기 위한 것으로 클라우드 컴퓨팅 시스템에서 제공되는 버츄얼 서버(또는 인스턴트)로서, 오퍼레이팅 시스템 및 애플리케이션을 구동하기 위해 제공될 수 있으며, 각 기능을 수행하기 위한 프로세서를 포함할 수 있다. 실감형 패션 메타버스 콘텐츠는 3D 저작도구(geometry: Unity, Blender, 3D Max, CLO3D 등, texture: Photoshop, GIMP, Substane Painter 등)을 기반으로 생성될 수 있다. 도 2에 도시된 서버들은 예시에 불과하며 실감형 가상 패션 콘텐츠를 제공하는 시스템(200)은 도면에 도시되지 않은 서버들을 더 포함할 수 있다.
시스템(200)은 사용자의 웹 또는 앱과 커뮤니케이션하기 위한 서비스 서버(210), 실감형 아바타를 제작하기 위한 아바타 제작 메인 서버(220), 실감형 아바타 얼굴 제작 전용 서버(230), 스토리지 서버(240), 데이터베이스 서버(250) 및 중앙관리 및 API 서버(260)를 포함할 수 있다. 도2에 도시된 바와 같이 서비스 서버(210)는 사용자가 웹 또는 앱을 통해 접근할 수 있는 인터페이스 서버로서 아바타 제작 메인 서버(220) 및 중앙관리 및 API 서버(260)와 커뮤니케이션 할 수 있다. 아바타 제작 메인 서버(220)는 도 1에서 설명한 실감형 아바타를 생성하기 위한 기능들을 종합적으로 제공하는 서버로서, 아바타 얼굴제작 전용 서버(230) 및 데이터베이스 서버(250)와 커뮤니케이션 할 수 있다. 아바타 얼굴제작 전용 서버(230)는 실감형 아바타의 얼굴 제작을 위한 기능을 집중 제공하는 서버로서 아바타 제작 메인 서버(220) 및 스토리지 서버(240)와 커뮤니케이션 할 수 있다. 스토리지 서버(240)는 실감형 패션 메타버스 서비스를 위한 리소스, 파일등을 저장한다. 데이터베이스 서버(250)는 실감형 패션 메타버스 서비스를 위해 필요한 데이터 등을 저장한다. 중앙관리 및 API 서버(260)는 실감형 패션 메타버스 서비스의 콘텐츠 제작과 관련된 연산 자원 및 API를 관리한다. 도2는 실감형 패션 메타버스 서비스 제공 시스템의 데이터 처리 순서에 따른 서버들간의 커뮤니케이션을 나타내며, 서버들간의 커뮤니케이션은 본 예시에 국한되지 않는다.
도 3은 도2에서 설명한 각 서버의 구체적인 기능을 나타낸다.
서비스 서버(210)는 가상 공간 관리 모듈, 가상 피팅 서비스 모듈 및 API 통신 관리 모듈을 포함할 수 있다. 가상공간 관리 모듈은 WebGL 기반의 웹 플랫폼 (예를 들면 도 1에서 설명한 웹 플랫폼(126))을 관리하는 모듈이다. 가상공간 관리 모듈은 pre-glTF 생성기(genterator) 및 인터프리터(interpreter), glTF 생성기(genterator) 및 인터프리터(interpreter), Vertex optimizer, 3D File interpreter를 포함한다. Pre-glTF는 webGL 기반의 실감형 패션 메타버스 콘텐츠를 제공하기 위한 glTF 포맷의 데이터와 렌더링을 위한 우선순위3D 맵을 포함하는 독자규격 파일이다. 실감형 가상 패션 콘텐츠 모듈은 도 1에서 설명한 실감형 아이템 등을 관리하는 모듈이다.
아바타 제작 메인 서버(220)는 아바타 제작과 관련된 모듈들을 종합 제공한다. 아바타 제작 메인 서버(220)는 사용자의 정보 (예를 들면 사진 등)을 기반으로 사용자의 신체를 측정하는 신체 측정/제작 모듈, 측정된 사용자의 정보를 기반으로 실감형 아바타를 제작하는 실감형 아바타 제작 모듈 및 실감형 아이템과 실감형 아바타를 결합하는 가상 피팅 모듈을 포함한다. 아바타 얼굴제작 전용 서버(230)는 사용자 얼굴 추출 모듈, 가상 메이크업 설정 및 적용 모듈 및 헤어스타일 적용 모듈을 포함한다.
스토리지 서버(240)는 실감형 가상 패션 콘텐츠 서비스를 제공하기 위해 필요한 리소스 및 파일들을 보관한다. 스토리지 서버(240)는 가상 공간을 제작하기 위한 리소스 및 파일 (Space(glTF, Textures)), 실감형 아바타를 제작하기 위한 리소스 및 파일 (Faces(glTF, Textures), Body(glTF, Textures), Avator(glTF, Textures)), 실감형 아이템을 제작하기 위한 리소스 및 파일(3D Garment), 실감형 가상 패션 콘텐츠 서비스용 리소스 파일 (Template)등을 저장한다.데이터베이스 서버(250)는 실감형 가상 패션 콘텐츠 서비스에 필요한 데이터 및 정보를 저장한다. 데이터베이스 서버(250)는 API 키 (사용자 인증용), 아바타 제작용 데이터 (Faces, body, Avatar), 가상 공간 및 실감형 아이템 데이터 (Space, 3D Garment), 실감형 가상 패션 콘텐츠 서비스 데이터(Template)등을 보관한다.
중앙관리 및 API 서버(260)는 실감형 아바타 제작과 관련된 연산 자원 (예를 들면 신체 측정, 얼굴 제작 등)과 API 를 관리한다. 중앙관리 및 API 서버(260)는 웹 또는 앱으로 제공되는 서비스를 제 3자 (예를 들면 외부 기업)에 제공할 수 있도록 제작된 API에 대한 사용자 인증 및 정보 송수신 모듈 및 실감형 아바타를 제작하기 위한 연산 자원 (예를 들면 신체 측정 및 얼굴 제작 자원(AI 등에 활용))을 생성, 관리 및 삭제하는 모듈을 포함한다. 도 3은 예시에 불과하며 각 서버가 수행하는 기능 및 각 서버가 포함하는 모듈들은 본 예시에 국한되지 않는다.
도4는 실감형 패션 메타버스 서비스의 플로우의 예시이다.
도 4에 도시된 플로우(400)는 실감형 패션 메타버스 서비스에서 제공되는 사용자 신체 사이즈 측정 과정을 나타낸다.
실시예들에 따른 실감형 패션 메타버스 서비스 제공 시스템은 도 1 내지 도3에서 설명한 서버들 및 서버들과 통신 가능한 사용자 단말기(예를 들면 모바일 단말기, 신체 측정 장치, 랩탑 등 다양한 디바이스들)를 포함할 수 있다.
실감형 패션 메타버스 서비스 제공 시스템 (예를 들면 시스템 (100), 시스템 (200) 또는 아바타 제작 메인 서버 220))은 사용자의 신체를 나타내는 적어도 두개의 사진 또는 이미지들을 통신망을 통해 입력 받는다(410). 적어도 두개의 사진 또는 이미지들은 시스템에 포함된 카메라 센서를 통해 확보될 수 있다. 적어도 두개의 사진 또는 이미지들은 사용자의 정면 및 사용자의 측면을 각각 나타낸다. 적어도 두개의 사진 또는 이미지들은 사용자의 디바이스로부터 데이터를 송수신하기 위한 유선 통신망 또는 무선 통신망을 통해 시스템으로 전달된다. 통신망은 유선 인터넷, LAN , 블루투스와 같은 근거리 무선 통신망, WiFi와 같은 무선인터넷, WiBro 또는 WiMax와 같은 휴대인터넷, GSM 또는 CDMA와 같은 2G 이동통신망, WCDMA 또는 CDMA2000과 같 은 3G 이동통신망, HSDPA 또는 HSUPA와 같은 3.5G 이동통신망, LTE망 또는 LTEAdvanced망과 같은 4G 이동통신망, 5G 이동통신망, 6G 통신망 등을 포함할 수 있다.
실감형 패션 메타버스 서비스 제공 시스템은 수신한 이미지들을 포즈 에스티메이션(pose estimation) 기법과 세그멘테이션(segmentation) 기법을 기반으로 이미지들을 처리하고 (420), 사용자의 정면 이미지 및 측면 이미지로부터 특징점(body keypoints)들을 추출한다(430). 실감형 패션 메타버스 서비스 제공 시스템은 수신한 이미지들에서 AI기술을 기반으로 사용자의 자세를 검출하고, 사람의 신체에 해당하는 영역과 배경에 해당하는 영역을 구분하고 배경에 해당하는 영역을 삭제할 수 있다. 또한 실감형 패션 메타버스 서비스 제공 시스템은 자세정보, 분석된 이미지 (배경삭제, 신체 부위별 다른 색으로 구분)를 출력할 수 있다.
실감형 패션 메타버스 서비스 제공 시스템은 분석된 이미지를 데이터화하고 (예를 들면 사람 윤곽선 (실루엣) 등 좌표 값으로 변환 등), 측정하고자 하는 주요 키 포인트들의 위치를 검출하여 키포인트들, 윤곽선 데이터 등을 출력한다(440).
실감형 패션 메타버스 서비스 제공 시스템은 키포인트들을 이용하여 주요 길이값 및 둘레값을 측정하고 사람의 자세 정보 등을 기반으로 사이즈 값을 보정하고 사용자의 키 정보를 기반으로 보정된 사이즈 값을 실체 값으로 변환하여 (450) 사용자의 가슴, 허리 엉덩이 둘레, 팔 다리 및 어깨 길이 등을 포함하는 신체 사이즈 결과(신체 측정 데이터)를 출력한다(460). 신체 측정 데이터는 사용자의 이미지에서 측정된 좌표값, 사이즈 등을 포함할 수 있다. 실감형 패션 메타버스 서비스 제공 시스템은 AI 프로세스를 기반으로 측정된 신체 사이즈 결과들을 수집하고 분석할 수 있다.
도 5는 사용자 신체 사이즈 측정을 위한 사용자 인터페이스의 예시를 나타낸다.
실감형 패션 메타버스 서비스 제공 시스템 (예를 들면 도 1 내지 도 4에서 설명한 시스템)은 신체 사이즈 측정 서비스를 제공하기 위한 사용자 단말기 (예를 들면 모바일 단말)에 설치된 애플리케이션을 포함한다. 도 5는 사용자 단말기에 설치된 애플리케이션에서 제공하는 사용자 신체 사이즈 측정 기능을 위한 사용자 인터페이스의 예시(500)를 나타낸다. 사용자 인터페이스는 사용자로부터 데이터를 수신하기 위한 메뉴, 수신한 데이터를 기반으로 처리되는 결과물(예를 들면 신체 사이즈 측정 결과), 서버들로부터 수신한 콘텐츠 등을 포함하는 비쥬얼 아웃풋을 포함한다.
사용자가 애플리케이션을 구동하면, 홈 페이지가 제공된다(510). 도면에 도시되지 않았으나, 홈페이지에 포함된 메뉴 등을 통하여 사용자는 신체 사이즈 측정 기능을 선택할 수 있다. 사용자 선택에 따라 신체 사이즈 측정을 위한 인터페이스(520)가 제공된다. 신체 사이즈 측정을 위한 인터페이스(520)는 촬영 모드를 선택하기 위한 하나 또는 그 이상의 이미지, 아이콘, 메뉴 등의 비쥬얼 아웃풋을 포함한다. 실시예들에 따른 촬영 모드는 사용자의 정면 및 측면 이미지를 확보하기 위한 것으로, 사용자 단말기의 후면에 설치된 카메라를 통해 사용자의 이미지를 확보하는 후면 촬영 모드 및 사용자 단말기의 정면에 설치된 카메라를 통해 사용자의 이미지를 확보하는 정면 촬영 모드를 포함한다. 촬영 모드에 따라 사용자의 정면 및 측면 이미지가 확보되면, 도 4에서 설명한 바와 같이 실감형 패션 메타버스 서비스 제공 시스템(또는 서버)은 사용자의 신체 사이즈를 측정하고 애플리케이션을 통해 측정 결과를 제공할 수 있다. 또는 애플리케이션은 직접 사용자의 신체 사이즈를 측정할 수 있다. 애플리케이션은 사이즈 측정 결과를 나타내는 인터페이스(530)를 제공한다. 사이즈 측정 결과를 나타내는 인터페이스(530)는 사용자 신체 및 사이즈 측정 결과를 나타내는 비쥬얼 아웃풋(예를 들면 2D 아바타)을 포함할 수 있다. 또한 애플리케이션은 사용자의 신체 사이즈 측정 결과를 기반으로 사용자의 신체에 맞는 최적의 의류 사이즈를 도출하고 이를 나타내는 인터페이스(540)를 제공한다.
도 6은 가상 피팅을 위한 사용자 인터페이스의 예시를 나타낸다.
도 6은 도 4 내지 도 5에서 설명한 시스템이 애플리케이션을 통해 제공하는 가상 피팅을 위한 사용자 인터페이스의 예시(600)를 나타낸다.
실감형 패션 메타버스 서비스 제공 시스템은 도 5에서 설명한 사용자 신체 사이즈 측정 결과를 애플리케이션을 통해 제공할 수 있다. 또는 애플리케이션은 도 4 내지 도 5에 설명한 사용자 신체 사이즈 측정 과정을 직접 수행할 수 있다. 애플리케이션은 사용자의 신체 사이즈 측정 결과를 나타내는 인터페이스(610)를 제공한다. 사용자가 신체 사이즈 측정 결과를 저장하고, 특정 의류를 선택하면 애플리케이션은 사용자의 신체 사이즈 측정 결과에 적합한 의류 사이즈를 제공하는 인터페이스(620)를 제공한다. 해당 인터페이스(620)는 가상 피팅을 선택하기 위한 아이콘 등의 비쥬얼 아웃풋을 포함한다. 사용자가 가상 피팅을 선택하면, 애플리케이션은 2D 또는 3D 아바타의 가상 피팅 결과물을 포함하는 인터페이스들(630, 640)을 제공한다.
도 7은 실감형 패션 메타버스 서비스 제공 시스템의 예시를 나타낸다.
도 7은 도 4 내지 도6에서 설명한 사용자 신체 사이즈 측정을 기반으로 아바타를 생성하고 이를 기반으로 가상 피팅 및 의류 판매를 제공하는 실감형 패션 메타버스 서비스 제공 시스템의 예시를 나타낸다.
도 7의 상단에 도시된 블록들 (700)은 도 1 내지 도 6에서 설명한 실감형 패션 메타버스 서비스 제공 시스템에 입력되는 데이터 및/또는 시스템으로부터 사용자에게 제공되는 출력 데이터를 나타낸다.
도 7의 중단에 도시된 블록들 (710)은 실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션에서 전송되는 정보(사진, 입력값 등)를 바탕으로 서버에서 구동되는 사용자 신체 사이즈 측정을 기반으로 아바타를 생성하고 이를 기반으로 가상 피팅 및 의류 판매를 제공하는 프로세스들을 나타낸다.
도 7의 하단에 도시된 블록들 (720)은 각 프로세스를 통해 시스템에서 제공하는 기능들 또는 기능들을 제공하는 모듈들을 나타낸다.
사용자로부터 입력 데이터 (예를 들면 도 4 내지 도 6에서 설명한 사용자의 정면 및 측면 이미지들 및 사용자의 키(height) 값 )을 수신하면, 도 4 내지 도 6에서 설명한 애플리케이션은 도 5 내지 도 6에서 설명한 신체 사이즈 측정을 위한 인터페이스를 제공한다. 신체 사이즈 측정을 위한 인터페이스는 사용자의 사진 촬영을 가이드 하기 위한 기술을 기반으로 생성되는 촬영 모드를 선택하기 위한 하나 또는 그 이상의 이미지, 아이콘, 메뉴 등의 비쥬얼 아웃풋을 포함한다.
실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 사용자의 신체 사이즈를 측정하고 신체 측정 데이터 (또는 사용자 신체 사이즈 측정 결과물)을 출력한다. 실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 사이즈 추출용 사진 보정 기술 신체 수치 및 체형 추출, 신체 수치 보정, 추가 보정 (키 값 기반 및/또는 가슴둘레), 신체 수치 생성 모듈들을 포함할 수 있다.
실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 신체 측정 데이터를 기반으로 실감형 아바타를 생성할 수 있다. 실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 3D 아바타 신체 데이터, 기본 아바타 신체 정보 선정, 신체 수치 보정 및 3D 아바타 생성 (뼈 기반) 모듈들을 포함할 수 있다.
실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 사용자가 특정 의류를 선택하는 경우, 기 저장된 의류 모델링 데이터 또는 외부 서버 등으로부터 수신한 의류 모델링 데이터를 수신하고 AI 기반 맞춤의류 추천 모듈/프로세서를 이용하여 신체 측정 데이터를 기반으로 사용자의 신체 사이즈에 적합한 맞춤 의류를 추천할 수 있다.
실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 가상 피팅을 수행하여 가상 피팅된 실감형 아바타를 출력할 수 있다. 실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 생성되어 저장된 아바타를 호출하는 아바타 호출 모듈, 추천 의류 호출 모듈, 가상 피팅을 수행하는 가상 피팅 모듈을 포함할 수 있다.
실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 고객 요청 신호에 따라 대화형 챗봇을 제공할 수 있다. 실감형 패션 메타버스 서비스 제공 시스템 및 /또는 사용자 단말기에 설치된 애플리케이션은 AI 기반 챗봇 엔진, 고객 주문 대응 모듈, 고객 문의 대응 모듈, 고객 민원 대응 모듈을 포함할 수 있다.
도 7에 도시된 입/출력 데이터, 프로세스 및 모듈들은 예시에 불과하며, 실감형 패션 메타버스 서비스 제공 시스템은 도면에 도시되지 않은 추가적인 입/출력 데이터, 프로세스 및 모듈을 더 포함할 수 있다.
도 8은 신체 사이즈 측정의 예시를 나타낸다.
도 1 내지 도 7에서 설명한 바와 같이 실감형 패션 메타버스 서비스 제공 시스템은 사용자의 정면 및 측면 이미지와 사용자의 키(height) 값을 입력 받고 사용자의 신체 사이즈를 측정 할 수 있다.
실감형 패션 메타버스 서비스 제공 시스템 (또는 상술한 아바타 제작 메인 서버 (220))은 키포인트들을 생성하여 신체 사이즈를 측정할 수 있다. 예를 들어 시스템은 사용자의 정면 및 측면 이미지에 나타나는 사용자 신체 부위에 대하여 복수의 키 포인트들을 생성하고 표시할 수 있다. 키 포인트는 사용자의 눈, 목, 어깨, 가슴, 허리, 엉덩이, 팔꿈치, 손 목, 무릎 및 발목 중 적어도 하나 이상에 표시된다. 키 포인트는 해당 키 포인트가 속하는 신체 부위(예를 들면 어깨)의 중심에 표시될 수 있다.
또한 실감형 패션 메타버스 서비스 제공 시스템은 정면 및 측면 이미지들에서 복수의 키 포인트들을 추출하기 위하여 이미지 분석 알고리즘, 예를 들어 Harris corner detector, Shi&Tomasi, SIFT(Scale Invariant Feature Transform), SURF, BRIEF 등을 직접 사용하거나 이를 활용한 자체 알고리즘을 제작/사용할 수 있다.
실감형 패션 메타버스 서비스 제공 시스템은 이미지 세그멘테이션 알고리즘을 기반으로 정면 이미지 및 측면 이미지에서 사용자의 신체 이미지를 나타내는 영역과 배경 영역을 분리하고, 신체 이미지를 나타내는 영역의 경계를 나타내는 경계선을 확보하여 신체 부위별 둘레를 산출하는 데 활용한다. 또한 실감형 패션 메타버스 서비스 제공 시스템은 OPEN CV의 침식/확장 기술을 이용하여 신체 이미지를 나타내는 영역의 경계선을 매끄럽게 변환시킬 수도 있다.
실감형 패션 메타버스 서비스 제공 시스템은 복수의 키 포인트들 간의 거리를 측정하여 팔, 다리 등의 길이를 측정하거나 아래 수학식을 이용하여 신체 부위의 둘레 길이를 산출할 수 있다.
[수학식 1 ]
수학식에서 C는 신체 부위별 둘레를 나타내고, a는 정면 이미지에서 해당 신체 부위의 폭을 나타내고, b는 측면 이미지에서 해당 신체 부위의 폭을 나타낸다.
허리 둘레의 경우, 실감형 패션 메타버스 서비스 제공 시스템은 정면 이미지에서 허리의 상하로 가장 근접한 2개의 키포인트들을 선정하고 선정된 키 포인트들 사이에서 신체 영역의 폭이 가장 작은 지점을 추출한다. 수학식의 a 값은 추출된 지점에 대응하는 신체 영역의 폭을 측정하여 도출되고, 수학식의 b 값은 추출된 지점과 동일한 높이에 해당하는 측면 이미지 내의 신체 영역의 폭을 측정하여 도출된다.
가슴둘레의 경우, 실감형 패션 메타버스 서비스 제공 시스템은 측면 이미지 내에 표시된 가슴의 상하로 가장 근접한 두개의 키 포인트들을 선정하고, 선정된 키 포인트들 사이에서 신체 영역 경계의 변곡점을 추출한다. 신체 영역 경계의 변곡점은 경계의 기울기가 양의 값에서 음의 값으로 변경되는 지점을 나타낸다. 따라서 수학식의 b 값은 추출된 변곡점에서의 신체 영역의 폭을 측정하여 도출되고, 수학식의 a 값은 추출된 변곡점과 동일한 높이에 해당하는 정면 이미지 내의 신체 영역의 폭을 측정하여 도출된다. 실시예들에 따른 변곡점은 신체 영역의 경계에 위치한 각각의 픽셀에서 소벨(sobel)의 x방 향 필터와 y방향 필터를 이용하여 x방향 및 y방향의 이미지 가중치를 계산한 후에 해당 픽셀에서 기울기 각도를 계산하여 추출될 수도 있고, 목, 허벅지, 팔, 다리 둘레 등은 정면 이미지 또는 측면 이미 지에서 직경을 측정한 후에 원의 둘레 공식 등을 이용하여 산출할 수도 있다. 실감형 패션 메타버스 서비스 제공 시스템은 측정한 신체 사이즈를 수신한 키 정보와 비교하여 환산 비율을 산출하고, 산출된 환산 비율을 측정한 신체 사이즈에 곱하여 실제 신체 사이즈를 획득할 수 있다. 예를 들어 , 실감형 패션 메타버스 서비스 제공 시스템이 산출한 키가 A cm 이고 사용자로부터 수신한 키가 B cm 인 경우, 환산 비율은 B를 A로 나눈 값으로 도출된다.
실감형 패션 메타버스 서비스 제공 시스템은 사용자로부터 입력 받은 키 값과 적어도 두개의 사용자 정면 및 측면 이미지들만으로도 사용자의 신체 사이즈를 측정할 수 있다. 또한 실감형 패션 메타버스 서비스 제공 시스템은 오차 범위 최소화를 위하여 전체 신체 사이즈 측정에 영향을 많이 주는 사용자의 키 값 및 사진촬영 각도에 따라 측정된 신체 사이즈의 오차가 가장 큰 가슴둘레를 추가적으로 보정하여 보다 정확하게 사용자의 신체 사이즈를 측정할 수 있다.
특히 실감형 패션 메타버스 서비스 제공 시스템은 사용자가 입력한 사용자의 키 값과 사용자의 정면 및 측면 이미지들로부터 사용자의 키 영역 (pixel 단위)을 찾고 두 값의 비율을 이용하여 사용자 신체의 모든 측정 값을 계산한다. 따라서 사용자의 키 값은 매우 중요한 요소이다. 그러나 이미지에서 추출되는 사용자의 키 값은 사용자가 신발을 신고 있거나, 머리 스타일에 따라 변경될 수 있다. 따라서 실감형 패션 메타버스 서비스 제공 시스템은 사용자의 신발이나 머리 스타일에 따른 오차 범위를 최소화하기 위하여 사용자 이미지에서 사용자의 발목과 눈을 키 포인트들로 지정한다. 사용자의 발목 높이와 이마 길이는 통계적으로 검출된 발목-눈까지의 길이의 일정 비율 (예를 들면 3-5%)을 적용하여 도출한다. 즉, 사용자의 이미지로부터 도출되는 사용자의 키는 키 포인트들인 발목과 눈 간의 길이, 발목 높이 및 눈부터 머리까지의 길이를 합친 값(Pixel 단위)이 된다. 그러나 키 포인트들인 발목과 눈 사이의 길이는 사용자의 얼굴 방향에 따라 달라질 수 있다.
따라서 실감형 패션 메타버스 서비스 제공 시스템은 사용자 키 값에 가장 많이 영향을 미치는 사용자 얼굴의 회전 요소들을 고려하여 사용자 키 값에 영향을 미치는 요소를 제거한다.
도 8의 (A)는 사용자의 키 값에 영향을 가장 많이 미치는 사용자 얼굴의 회전 요소인 요, 피치, 롤 (Yaw, Pitch, Roll) 값을 나타낸다. 요 값은 사용자가 얼굴을 좌우로 회전할 때 z축을 기준으로 발생하는 회전 값을 나타내고, 피치 값은 사용자가 얼굴을 상하로 움직일 때 y축을 기준으로 발생하는 회전 값을 나타내고 롤 값은 사용자가 얼굴을 좌우로 기울일 때 x 축을 기준으로 발생하는 회전 값을 나타낸다. 이 중 피치 값은 사용자의 키 값에 영향을 미친다. 도 8의 우측은 실감형 패션 메타버스 서비스 제공 시스템이 AI 기반 알고리즘을 통해3개의 사용자 측면 이미지에 나타난 얼굴의 키 포인트들을 찾는 과정을 나타낸다. 도 8의 우측에 도시된 3개의 측면 이미지들은 사용자의 얼굴 위치에 따라 각기 다른 피치값(예를 들면 가장 왼쪽부터 0, 10, -10)을 갖는다.
실감형 패션 메타버스 서비스 제공 시스템은 사용자가 입력한 키 값과 이미지를 통해 측정된 사용자의 키 값 사이의 오차율을 다음과 같이 측정하고 데이터화 할 수 있다.
오차율 : (입력키 - 복원한키) / (입력키). *오차 : (입력키 - 복원한키)
또한 실감형 패션 메타버스 서비스 제공 시스템은 AI 알고리즘을 이용하여 피치 값에 따라서 이미지의 픽셀상 사용자의 키가 변경되는 정도(단위 %)를 다음과 같이 공식화할 수 있다.
[수학식 2]
오차율(종속변수) ~ pitch **2 + pitch + error(residual)
따라서 실감형 패션 메타버스 서비스 제공 시스템은 사용자가 입력한 키 값과 정면 및 측면 이미지로부터 획득한 피치 값을 이용하여 정확한 키 값 (pixel 단위)를 도출할 수 있다.
도 9는 피치값 효과를 나타내는 그래프들이다.
도 9의 (A) 그래프는 신발 종류에 따른 사용자 키 (cm)의 변화를 나타낸다. 그래프의 x축은 데이터의 순서를 나타내는 인덱스를 나타내고, 중앙의 y축 값은 복원/모델예측 한 키(cm), 오른쪽의 y축 값은 복원한키(cm) - 모델예측(cm)키 값의 차이를 나타낸다. 신발 종류에 따라 키 값에 영향을 미칠 수는 있으나 선형적인 영향력을 나타내지는 않는다.
도 9의 (B) 그래프는 부스팅 앙상블 알고리즘 XGBoost(Random Forest)에 독립변수로서 피치 제곱값, 피치 값, 롤 값, 정면 이미지 인지 여부 (is_front), 신발 종류 (맨발, 슬리퍼, 운동화) 를 넣고, 종속변수로서 두개의 키 포인트들 (눈 및 발목)을 기준으로 추정한 키 값을 넣고 과적합했을 때의 그래프를 나타낸다. 그래프 내의 선은 예측 값을 나타내고, 그래프내의 점들은 복원된 키 값들을 나타낸다. 그래프의 x축은 데이터 인덱스값을 나타내고, y축은 복원/모델예측 한 키(cm)값를 나타낸다.
도 10은 피치값 효과를 나타내는 그래프들이다.
도 10의 (A) 그래프는 도 9의 (B) 그래프에 도시된 예측값(선)에서 복원된 키 값(점들)을 뺐을 때 오차를 나타내는 그래프이다. 즉, 키 값에 영향을 줄 수 있는 모든 변수들을 넣을수록 키 값이 보다 정확해짐을 나타낸다. 그래프의 x축은 데이터 인덱스값을 나타내고, y축은 복원한키(cm) - 모델예측(cm)키값의 차이를 나타낸다.
도 10의 (B) 그래프는 부스팅 앙상블 알고리즘 XGBoost(Random Forest)에 입력되는 변수들의 중요도를 나타낸다. 그래프에 도시된 바와 같이 피치 값 및 정면 이미지 인지 여부 (is_front)가 키 값(pixel)에 가장 영향을 많이 주는 변수이다. 정면 이미지 인지 여부 (is_front)는 카메라로부터의 거리에 따른 영향을 받게 되므로 피치 값이 키 값에 가장 영향을 많이 주는 변수로 결정된다.
도 11은 피치값 효과를 나타내는 그래프들이다.
도 11의 (A) 그래프는 부스팅 앙상블 알고리즘 XGBoost(Random Forest)에 독립변수로서 피치값, 롤 값, 정면 이미지 인지 여부 (is_front) 및 신발 여부 만을 입력하여 키 값을 예측한 결과를 나타낸다. 도 11의 (B) 그래프는 롤 값, 정면 이미지 인지 여부 (is_front) 및 신발 여부를 제거한 상태에서 피치 값 만의 영향을 받은 키 값을 나타낸다. 각 그래프 내의 선은 예측 값을 나타내고, 그래프내의 점들은 복원된 키 값들을 나타낸다.
두 그래프들에 나타난 바와 같이, 정면 이미지 인지 여부(is_front) 및 롤 값은 키 예측 값에 영향을 크게 미치지 않는다. 또한 신발 여부(또는 신발의 종류)는 키 예측 값에 영향을 줄 수 있으나 영향을 미치는 정도가 일관성이 없다. 따라서 피치 값이 키 예측 값에 가장 중요한 변수임을 알 수 있다.
도 12는 가슴둘레 보정 과정의 예시를 나타낸다.
상술한 바와 같이 실감형 패션 메타버스 서비스 제공 시스템은 측면 이미지 내에 표시된 가슴의 상하로 가장 근접한 두개의 키 포인트들을 선정하고, 선정된 키 포인트들 사이에서 신체 영역 경계의 변곡점을 추출하고, 변곡점을 기반으로 측면과 정면의 특정 신체 영역의 폭을 측정하여 도출하여 가슴둘레를 측정할 수 있다. 그러나 사용자가 정확한 측면 자세(정면 자세로부터 90도 회전한 상태)로 서 있지 않은 경우, 측면의 폭(가슴 너비)가 과대 또는 과소 측정되면 측정된 가슴둘레에 오차가 발생할 수 있다. 따라서 실감형 패션 메타버스 서비스 제공 시스템은 측면 이미지에 나타난 사용자의 옆면이 사용자의 완전 옆면 (정면으로부터 좌측 또는 우측으로 90도 회전한 자세) 대비 얼만큼 회전되었는지 회전 각도를 추정하고, 추정된 회전 각도를 기반으로 측면 가슴너비 오차를 보정하여 가슴둘레 값을 보정할 수 있다.
도 12의 (A)는 사용자의 정면 (1200), 사용자의 회전 옆면 (1210) 및 사용자의 완전 측면 (1220)의 예시를 나타낸다. 도면에 도시된 바와 같이 사용자의 회전된 옆면 (1210)의 가슴너비는 사용자의 완전 측면(1220)의 가슴너비 보다 넓다. 따라서 단순히 사용자의 회전된 옆면 (1210)의 가슴 너비를 이용하여 가슴둘레 값을 계산하는 경우, 오차가 발생할 수 있다.
도 12의 (B)는 실감형 패션 메타버스 서비스 제공 시스템의 회전 각도 추정 과정의 예시이다.
실감형 패션 메타버스 서비스 제공 시스템은 사용자의 정면 이미지를 통해 확보된 사용자의 앞면 및 사용자의 측면 이미지에 나타난 사용자의 회전 옆면에 적어도 하나 이상의 키 포인트들을 설정한다. 실감형 패션 메타버스 서비스 제공 시스템은 사용자 앞면에 설정된 키 포인트들 사이의 거리 (1230)을 측정하고, 사용자 회전 옆면에 설정된 키 포인트들 사이의 거리(1240)을 측정하고, 다음의 수학식에 따라 회전 각도를 추정한다.
[수학식 3]
회전 각도 = arccos((앞면 길이) / (옆면 길이) )
실감형 패션 메타버스 서비스 제공 시스템은 추정된 회전 각도를 기반으로 (A)에 도시된 완전 측면 (1220)의 가슴너비를 계산하여 가슴둘레 값을 계산한다.
도 13은 가슴둘레 도출 과정의 예시를 나타낸다.
실감형 패션 메타버스 서비스 제공 시스템은 도 11에서 설명한 가슴너비 외에 가슴두께를 측정하여 가슴둘레를 측정할 수 있다. 실감형 패션 메타버스 서비스 제공 시스템은 앞면(f), 옆면(s)으로 타원방정식을 계산하여 가슴둘레를 산정할 수 있다. 실감형 패션 메타버스 서비스 제공 시스템은 사용자가 여성인 경우, 가슴의 굴곡을 고려하여 가슴둘레를 산정한다.
도 13의 (A)는 여성 사용자의 가슴 단면도를 나타낸다. 단면도 가운데 도시된 초록색 타원과 사용자의 신체 단면을 나타내는 선이 일치하지 않는다.
도 13의 (B)는 가슴둘레 측정을 위한 여성 사용자의 가슴 단면도의 예시를 나타낸다. 본 예시에서는 가슴의 중심부가 몸의 양끝에서 각각 ¼ 지점에 위치한 것으로 가정한다.
도 13 의 (C)는 가슴둘레 측정 과정을 나타낸다. 가슴의 굴곡이 튀어나오는 지점(1/4 지점)을 기준으로 양쪽 사이드에 타원 반쪽 두개를 배치하고, 양 가슴 사이의 길이는 직선으로 가정한다. 따라서 양 가슴 사이의 길이는 1/2f 의 길이를 갖는 직선 2개의 길이에 해당한다. 실감형 패션 메타버스 서비스 제공 시스템은 다음과 같이 가슴둘레 값을 계산한다.
[수학식 4]
반쪽 타원 2개의 둘레(타원 한개의 둘레) + ½ 앞면 길이(앞면 길이)
도 8 내지 도 13에서 설명한 측정된 사용자 신체 사이즈는 실감형 패션 메타버스 서비스 제공 시스템의 데이터 베이스 서버(도 2 내지 도 3에서 설명한 데이터 베이스(250))에 저장될 수 있다.
도 14는 실감형 패션 메타버스 서비스 처리 과정의 블록도이다.
도 14의 블록도 (1400)는 도 1 내지 도 13에서 설명한 실감형 패션 메타버스 서비스 제공 시스템에서 처리하는 실감형 패션 메타버스 서비스 처리 과정을 나타낸다. 각 처리 과정은 도 2 내지 도 3에서 설명한 서버에 의해 수행된다.
실감형 패션 메타버스 서비스 제공 시스템은 웹서버를 통해 사용자로부터 아바타 제작 요청 신호(로그인)를 수신한다(1410). 실감형 패션 메타버스 서비스 제공 시스템의 아바타 얼굴 제작 전용 서버(1420)(아바타 얼굴 제작 전용 서버(230))는 스토리지 서버(1430)(스토리지 서버 (240))로부터 사용자의 얼굴 사진을 수신하고 3D 아바타의 얼굴을 제작할 수 있다. 또한 아바타 얼굴 제작 전용 서버(1420)는 웹서버를 통해 사용자로부터 메이크업 선택 및/또는 변경 신호가 있는 경우, 3D 얼굴 제작 과정에서 메이크업을 반영하여 3D 아바타의 얼굴을 제작할 수 있다.
아바타 제작 메인 서버(1440)(아바타 제작 메인 서버(220))는 아바타 얼굴 제작 전용 서버(1420)로부터 얼굴 파일을 수신하고 기본 아바타에 제작된 얼굴을 추가하고, 데이터 베이스 서버(1450)(데이터 베이스 서버(250))에 저장된 사용자 신체 사이즈를 수신하여 사용자 체형에 맞는 아바타를 제작한다. 사용자 신체 사이즈는 도 1 내지 도 13에서 설명한 바에 따라 측정되어 데이터 베이스 서버(1450)에 저장될 수 있다. 아바타 제작 메인 서버(1440)는 스토리지 서버(1430)로부터 머리스타일 및 의류 리소스 파일을 수신하고 생성된 아바타에 머리 스타일을 적용하고 의류 아이템을 피팅하여 아바타 파일을 출력한다.
서비스 서버(1460)(서비스 서버(210))는 아바타 파일을 수신하고 3D 아바타를 출력한다. 또한 서비스 서버(1460)는 사용자의 3D 공간을 선택하는 신호를 수신하면 데이터베이스 서버(1450)로부터 공간 데이터를 수신하고 스토리지 서버(1430)로부터 공간제작용 리소스를 수신하여 3D 공간을 제작한다. 서비스 서버(1460)는 데이터베이스 서버(1450)으로부터 워킹 데이터를 수신하고 제작된 3D 공간에 3D 아바타의 애니메이션을 추가하여 3D 아바타 캣 워킹 콘텐츠를 생성하여 출력할 수 있다.
도 15는 실감형 패션 메타버스 콘텐츠를 생성하는 과정을 나타낸다.
도 15에 도시된 블록도(1500)는 도 1 내지 도 14에서 설명한 실감형 패션 메타버스 서비스 제공 시스템이 가상 공간에서 아바타가 동작하는 가상 패션쇼 서비스를 제공하기 위해 콘텐츠를 생성하는 과정을 나타낸다.
실감형 패션 메타버스 콘텐츠를 생성하는 과정은 실감형 가상 패션 콘텐츠(실감형 아바타, 실감형 아이템, 실감형 가상공간)를 생성하는 과정(1510), VR 제작 과정 (1520), VR 공간 모델링 및 최적화 과정 (1530) 및 PC세팅 과정(1540)을 포함한다.
3D 소스 (옷, 아바타 및 애니메이션)을 생성하는 과정(1510)은 3D 저작도구(블렌더 또는 마야 등)를 이용하여 실감형 가상 패션 콘텐츠 생성하여 아바타의 캣 워크 애니메이션을 생성하는 과정(1511)을 포함한다. 또한 실감형 가상 패션 콘텐츠를 생성하는 과정(1510)은 전용 3D저작도구(CLO 3D 등)를 이용하여 아바타에 맞는 옷을 제작하고, 아바타의 캣 워크 애니메이션 데이터에 맞는 옷 애니메이션을 제작한다. 또한 VR을 제작하는 과정(1520)은 옷 및 텍스쳐 (PNG 파일) 및 아바타 및 워킹 애니메이션 (FBX) 데이터를 수신하여 어레인지하여 최종 애니메이션 아바타를 생성한다. VR 공간 모델링 및 최적화 과정(1530)은 블렌더를 이용하여 공간에 대한 앱용 3D 데이터 포멧(FBX 및 블렌더 파일 등)생성한다. VR을 제작하는 과정(1520)은 공간에 대한 앱용 3D 데이터 포멧을 받고 아바타 및 옷을 공간에 배치하고, 필요한 기타 기능을 구현하거나 공간 및 옷 재질을 구현하여 유니티 빌드 파일을 출력한다. PC 세팅 과정(1540)은 VR콘텐츠를 제공하기 위한 앱을 설치하거나 VR 콘텐츠를 제공하는 헤드 마운티드 디스플레이와의 페어링을 위한 기능 설정을 수행한다.
도 16은 WebGL 기반의 실감형 패션 메타버스 콘텐츠를 생성하는 과정을 나타낸다.
도 16에 도시된 블록도(1600)는 도 1 내지 도 15에서 설명한 실감형 패션 메타버스 서비스 제공 시스템이 WebGL 기반의 실감형 패션 메타버스 콘텐츠를 생성 및 제공하는 과정을 나타낸다. WebGL 기반의 실감형 패션 메타버스 콘텐츠는 3D 저작도구를 기반으로 생성될 수 있다. 연산속도의 제한이 있는 웹환경에서 실감형 3D 아바타 및 아이템의 표현을 하기 위해 실감평 패션 메타버스 서비스 제공 시스템은 웹용 3D 데이터 포멧 표준(glTF)을 활용하고 최적화할 수 있다. glTF의 최적화는 기본 glTF를 통해서는 표현이 불가능한 오프라인 3D객체의 디테일한 표현을 웹환경에서도 속도 저하 없이, 최대한 표현하기 위해 반드시 필요하다.
메인 서버(1610)는 아바타 제작 메인 서버(220)에서 생성되는공간에 대한 앱용 3D 데이터 파일을 입력받고 이를 glTF파일로 생성하는 컨버터를 포함한다. 메인 서버(1610)는 3D 아바타 파일 외에도 입력된 3D 아바타에 피팅되는 가상 의류 파일, 3D 공간 파일, 애니메이션 파일 등도 웹용 3D 데이터 포멧 표준(glTF) 파일로 변환할 수 있다. glTF 파일들은 매쉬 컴프레션을 통해 압축되고 데이터 베이스 서버(1620)(데이터베이스 서버(250))에 저장될 수 있다. 또한 메인 서버(1610)는 3D 공간, 옷, 아바타 애니메이션 데이터 등을 분리하여 만들고, 분리된 파일들은 각각 파일 서버(1630)에 별도로 저장될 수 있다.
아바타 얼굴제작 전용 서버(1640)(아바타 얼굴제작 전용 서버(230))는 사용자의 얼굴사진 과 사용자가 선택한 메이크업 정보를 이용해 3D 아바타 얼굴 데이터를 생성한다.
웹 서버(1650)는 압축된 아바타 파일 (compressed glTF), 공간, 의류 및 애니메이션 파일과 3D 아바타 얼굴 데이터(JPEG)을 수신하고 최종 결과를 웹을 통해 사용자에게 제공한다. 최종 결과물은 3D 공간에서 선택 또는 지정된 옷과 메이크업된 얼굴이 적용된 아바타가 애니메이션 동작을 수행하는 콘텐츠이다.
도 17은 실감형 패션 메타버스 서비스 제공 시스템의 예시를 나타낸다.
도 17의 블록도(1700)은 도 1 내지 도 16에서 설명한 실감형 패션 메타버스 서비스 제공 시스템에 포함되는WebGL 기반의 실감형 패션 메타버스 콘텐츠를 생성하는 서버들 을 나타낸다. 도면에 도시된 서버들은 클라우드 컴퓨팅 시스템에서 제공되는 버츄얼 서버(또는 인스턴트)로서, 오퍼레이팅 시스템 및 애플리케이션을 구동하기 위해 제공된다. 도면에 도시된 서버들은 예시에 불과하며 실감형 패션 메타버스 서비스 제공 시스템은 도면에 도시되지 않은 서버들을 더 포함할 수 있다.
API 서버(1710)는 구현 기능별 API(예를 들면 도 2 내지 도 3에서 설명한 아바타 모듈, 가상 피팅 모듈 등)를 불러 해당 기능을 구현하는 서버이다.
익스포터(exporter)(1720)는 pre-glTF 파일을 glTF 파일 포맷으로 변환한다. 익스포터(1720)는 커뮤니케이터, pre-glTF 인터프리터(pre-glTF interpreter, 또는 pre-glTF 디코더), glTF생성기(generator)를 포함한다.
파일 서버(1730)는 도 16에서 설명한 파일 서버(1630)로 실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일, 즉, 옷, 아바타, 3D 공간, 아바타 애니메이션 데이터를 각각 저장한다.
코어 서버(1740)는 서버들의 기능 수행에 있어 발생하는 트래픽을 모니터링 하고 관리하는 로드 발랜싱을 수행하는 서버로서 커뮤니케이터, 로드 발랜서(load balancer), 어셋 매니저(asset manager)를 포함한다. 어셋 매니저는 WebGL 기반의 실감형 패션 메타버스 콘텐츠를 생성하기 위해 사용되는 유니티 어셋(unity asset)들을 관리한다. 각 어셋은 아바타, 의류 아이템 등을 각각 나타내는 3D 파일이다.
도 1 내지 도 16에서 설명한 아바타 제작 메인 서버는 아바타에 대한 어셋 포맷으로 3D 아바타의 지오메트리와 텍스쳐 정보를 포함하는 3D 데이터 포멧(FBX 등) 파일을 생성한다.
최적화된 glTF 생성기 (optimized glTF generator)(1750)는 도 16에서 설명한 바와 같이 앱용 3D 데이터 포멧(FBX 등) 파일과 같은 실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일을 프리-glTF (pre-glTF)로 생성한다. 프리-glTF는 glTF와 렌더링을 위한 우선 순위의 3D맵인 RPI (Rendering Priority Index) 3D 맵(3D map)을 포함하여 생성된다. 실감형 패션 메타버스 서비스 제공 시스템은 실감형 패션 메타버스 서비스(예를 들면 도 4 내지 도 6에서 설명한 신체 측정 서비스 및 가상 피팅 서비스, 판매 서비스 또는 도 15에서 설명한 가상 패션쇼 서비스 등)의 종류에 따라 각 어셋을 다르게 렌더링 할 수 있다. 예를 들어3D 티셔츠에 대한 어셋이 가상 피팅 서비스에 제공되는 경우 실감형 패션 메타버스 서비스 제공 시스템은 해당 3D 파일을 최대한 실제 의류와 유사해 보이도록 렌더링한다. 또한 3D 티셔츠에 대한 어셋이 아바타 워킹 애니메이션 서비스에 제공되는 경우, 아바타의 움직임에 따라 3D 티셔츠의 표현이 달라지므로 실감형 패션 메타버스 서비스 제공 시스템은 해당 3D 파일의 중요한 부분만 렌더링 할 수 있다. RPI 3D 맵은 각 어셋에 의해 표현되는 3D 이미지에 설정되는 버텍스들에 대하여 렌더링을 위한 우선순위를 나타내는 맵이다. 따라서 실감형 패션 메타버스 시스템은 RPI 3D 맵을 이용하여 최소한의 버텍스 및 텍스처 데이터만을 처리하여 보다 빠른 데이터 처리를 수행하고, 자원(CPU, GPU)의 사용을 최소화할 수 있다.
이를 위하여 최적화된 glTF 생성기(1750)는 커뮤니케이터(communicator), 3D 파일 인터프리터 (3D file interpreter) , 버텍스 최적화(vertex optimizer) 모듈 (또는 지오메트리 생성 모듈), RPI (Rendering Priority Index) 3D맵 (map) 모듈, 프리 glTF 생성기(pre-glTF generator 또는 프리 glTF 인코더(pre-glTF encoder))를 포함한다. 3D 파일 인터프리터(3D file interpreter)는 여러 종류의 3D 파일들을 사용가능하도록 변환한다. 예를 들어 3D 파일 인터프리터는 3D 파일을 어셋 등으로 변환할 수 있다. 버텍스 최적화(vertex optimizer) 모듈 (또는 지오메트리 생성 모듈)은 AI 기반 딥러닝 기술을 기반으로 각 어셋이 나타내는 아이템 별 최적화된 버텍스들을 생성한다. 버텍스는3D 파일이 나타내는 이미지 내에 배치되는 점들로서, 각 버텍스는 위치 정보(지오메트리 값 또는 좌표값) 및 색 등의 텍스쳐 정보를 갖는다. 버텍스 최적화 모듈은 각 어셋이 나타내는 아이템의 키 포인트들과 경계(실루엣)을 기반으로 버텍스 개수, 배치 위치 등을 조절하여 최적화된 버텍스들을 생성한다. 최적화된 버텍스들은 위치에 따라 중요도를 갖는다. RPI 3D맵 모듈은 최적화된 버텍스들의 중요도를 기반으로 렌더링을 위한 3D 맵 데이터를 생성한다. RPI 3D 맵은 각 버텍스의 중요도에 따라 텍스쳐 처리를 최소화하기 위해 제공된다. 프리 glTF 생성기는 생성된 RPI 3D 맵을 포함하여 프리 glTF를 생성한다.
데이터 베이스 서버(1760)(예를 들면 도 2의 데이터베이스 서버 (250))는 실감형 가상 패션 콘텐츠 서비스에 필요한 데이터 및 정보를 저장한다.
도 18은 프리-glTF (pre-glTF)의 예시를 나타낸다.
상술한 바와 같이 실감형 패션 메타버스 콘텐츠는 유니티(unity) 어셋(asset)툴을 기반으로 생성될 수 있다. 또한 도 1 내지 도 17에서 설명한 아바타 제작 메인 서버는 아바타에 대한 에셋 포맷으로 3D 아바타의 지오메트리와 텍스쳐 정보를 포함하는 FBX 파일을 생성한다. 이러한 앱용 3D 데이터 포멧(FBX 등) 파일은 도 16에서 설명한 바와 같이 웹용 3D 데이터 포멧 (glTF) 파일로 변환되어 저장된다
도 1 내지 도 17에서 설명한 실감형 패션 메타버스 서비스 제공 시스템은 3D 아바타의 지오메트리를 생성하는 과정에서 AI 알고리즘을 기반으로 렌더링을 위한 우선순위의 3D 맵을 생성하고 이를 glTF와 함께 저장할 수 있다. 프리-glTF는 도 17에서 설명한 프리 glTF 생성기를 통해 glTF와 렌더링을 위한 우선순위의 3D맵을 포함하여 생성된다.
도 19는 최적화된 glTF 생성기의 동작을 나타낸다.
도 17에서 설명한 바와 같이 최적화된 glTF 생성기(예를 들면 최적화된 glTF 생성기(1750))는 AI 기반 딥 러닝을 통해 버텍스를 최적화하고 RPI 3D 맵을 생성할 수 있다(1910). 3D에셋은 지오메트리 생성 단계(create geometry) 및 텍스쳐 생성 단계(create texture)로 구성되고, RPI 3D맵은 지오메트리 생성단계에서 AI알고리즘을 기반으로 생성되어 텍스쳐를 적용하는 렌더링 단계에서 활용된다.
도 1 내지 도 17에서 설명한 실감형 패션 메타버스 서비스 제공 시스템은RPI 3D 맵을 기반으로 중요도에 따라 버텍스에 대응하는 텍스쳐를 처리하여 렌더링을 수행한다(1920).
도 20은 최적화된 버텍스들의 예시를 나타낸다.
상술한 바와 같이 버텍스 최적화 모듈은 각 어셋이 나타내는 아이템의 키 포인트들과 경계(실루엣)을 기반으로 버텍스 개수, 배치 위치 등을 조절하여 최적화된 버텍스들을 생성한다. 최적화된 버텍스들은 위치에 따라 중요도를 갖는다. 버텍스의 중요도는 1 부터 5까지의 레벨로 설정될 수 있으나 본 예시에 국한되지 않는다. 도 20에 도시된 바와 같이 바깥 윤곽을 나타내는 버텍스(A)는 높은 중요도를 갖는 위치에 해당하므로 레벨 4-5가 할당된다. 내부 윤곽에 위치한 버텍스(B)는 그 다음 높은 중요도를 갖는 위치에 해당하므로 로 레벨 3이 할당된다. 그 외 범위에 위치한 버텍스(C)는 낮은 중요도를 갖는 것으로 레벨 1 및 2가 할당된다.
도 21은 RPI 3D 맵을 기반으로 렌더링 하는 과정을 나타내는 플로우 차트이다.
도 1 내지 도 17에서 설명한 실감형 패션 메타버스 서비스 제공 시스템(예를 들면 도 17에서 설명한 프리 glTF 인코더)은 모델링한 아이템별 버텍스 위치에 따라 렌더링 중요도 정보, 즉 RPI 3D 맵을 생성하고 glTF와 RPI 3D 맵을 인코딩 하여 프리 glTF를 생성한다. 실감형 패션 메타버스 서비스 제공 시스템은 생성된 프리 glTF를 저장하고 사용자 단말기로 전송할 수 있다(2110). 사용자 단말기는 프리 glTF를 디코딩하여 glTF를 생성하고, RPI 3D 맵을 기반으로 렌더링을 수행한다(2120).
도 22는 가상 피팅 타입의 예시를 나타낸다.
도 1 내지 도 21에서 설명한 바와 같이 실감형 패션 메타버스 서비스 제공 시스템은 아바타에 의류 아이템을 입히는 가상 피팅 서비스를 제공할 수 있다. 가상 피팅 서비스는 아바타의 바디 사이즈에 따라 의류 아이템의 사이즈를 변경하여 아바타에 무조건 의류 아이템을 피팅하는 제1 방식(에브리 핏 방식)과 아바타의 바디 사이즈에 따라 의류 아이템을 구성하는 물성, 중력 마찰, 저항 등의 변수에 따라 의류 아이템의 사이즈 변경이 제한되는 제 2 방식(사이즈 핏 방식) 중 적어도 하나를 기반으로 구현된다.
도 22는 제 1 방식 및 제 2 방식을 구현하기 위해 실감형 패션 메타버스 서비스 제공 시스템이 사용하는 3개의 가상 피팅 타입들을 나타낸다. 제 1 방식 및 제 2 방식은 3개의 가상 피팅 타입 각각 또는 적어도 하나 또는 그 이상의 결합을 통해 구현될 수 있다.
도 22의 (A)는 아바타 마스킹 피팅 타입(Avatar Masking Fitting Type)을 나타내고 (B)는 의류 쉐이더 피팅 타입 (Cloth_shader Fitting Type)을 나타내고 (C)는 의류 콜라이더 피팅 타입 (Cloth_Collider Fitting Type)을 나타낸다.
도 22는 도 2에서 설명한 아바타 제작서버(220)의 아바타 생성 과정에서 사용되는 기술을 나타낸다. 아바타 마스킹 피팅 타입은 버틱스 기반의 메쉬 모델링을 수행한 뒤 마스킹을 수행하여 피팅을 수행하는 기술이다. 의류 쉐이더 피팅 타입은 의류 아이템의 메인 텍스쳐들에 대하여 충돌지점(collision)을 찾고 이를 기반으로 쉐이더를 사용하여 버텍스 위치를 조절하여 피팅을 수행하는 기술이다. 의류 콜라이더 피팅 타입은 버텍스들 중 충돌되는 버텍스들만 변형하기 위한 유니티의 콜라이더를 생성하여 피팅을 수행하는 기술이다.
도 23은 아바타 마스킹 피팅 타입의 마스킹 과정을 나타낸다.
실감형 패션 메타버스 서비스 제공 시스템은 아바타 마스킹 피팅 타입에 따라 3D 오브젝트 (아바타)의 버텍스들 형태로 시작해서 면을 만들어 화면에 디스플레이 한다. 실감형 패션 메타버스 서비스 제공 시스템은 아바타의 기본 상태에서 버텍스들을 설정하고 각 버텍스의 위치에서 그 위치에서 아바타 안쪽 방향으로 Normal(수직)방향으로 충돌 감지할 수 있는 선(Ray)을 발생시킨다. 선과 옷 위의 메시(Mesh) 가 충돌하면 실감형 패션 메타버스 서비스 제공 시스템은 아바타 메시의 트라이엥글 (triangle, polygons) 부분이 보이지 않도록 마스킹 값을 설정할 수 있다.
도 24는 아바타 마스킹 피팅 타입의 처리 과정을 나타낸다.
도 24의 (A)는 면이 아닌 버텍스들의 위치 값만 가지고 충돌을 감지하여 마스킹을 하는 경우, 아바타에서 마스킹 처리가 안되는 부분의 예시를 나타낸다. 실감형 패션 메타버스 서비스 제공 시스템은 충돌이 안된 부분을 감지하기 위해 선을 구 형태(sphere)로 변경하고, 구 형태 내에 포함되는 모든 값들에 대해 마스킹 처리를 수행할 수 있다. 도 24의 (B)는 구 형태의 경우, 아바타와 의류 사이의 경계부분까지 아바타 메시(Mesh)처리가 되는 예시를 나타낸다 (B). 실감형 패션 메타버스 서비스 제공 시스템은 의류의 메시에 아바타와 의류 사이의 경계에 따라 마스킹시 예외로 처리할 예외충돌범위를 설정할 수 있다. 도 24의 (C)는 예외충돌범위의 예시를 나타낸다.
도 25는 의류 쉐이더 피팅 타입의 처리 과정을 나타낸다.
의류 쉐이더 피팅 타입은 의류 기준에서 충돌지점을 찾아낸다는 점에서 아바타 마스킹 피팅 타입과 다르다. 의류 쉐이더 피팅 타입은 충돌지점의 위치를 UV 좌표화하여 쉐이더(shader)에서 버텍스의 위치를 조절한다. 도 25는 충돌지점을 UV 좌표화하는 과정을 나타낸다.
도 26은 의류 쉐이딩 피팅 타입의 처리 과정을 나타낸다.
도 26의 (A)는 실감형 패션 메타버스 서비스 제공 시스템이 의류 아이템을 디폼하여 아바타에 피팅하는 예시를 나타내고, 도 26의 (B)는 실감형 패션 메타버스 서비스 제공 시스템이 선을 통해 충돌 위치를 감지하는 예시를 나타낸다. 도 26의 (C)는 실감형 패션 메타버스 서비스 제공 시스템이 UV 좌표화된 충돌 위치에 대응하는 버텍스들의 위치를 확보하고 버텍스들의 위치에 따라 쉐이더를 조절하는 예시를 나타낸다. 도 26의 (D)는 실감형 패션 메타버스 서비스 제공 시스템이 최종 피팅 결과물을 출력하는 예시를 나타낸다.
도 27은 의류 콜라이더 피팅 타입의 처리 과정을 나타낸다.
의류 콜라이더 피팅 타입은 각 버텍스에 콜라이더(collider)를 생성해 변화된 아바타에 맞춰 가상 피팅을 수행하는 기술이다.
도 27의 (A)는 각 버텍스 별로 동일한 사이즈의 콜라이더를 생성하는 예시를 나타내고, 도 27의 (B)는 각 버텍스 별로 다른 사이즈의 콜라이더를 생성하는 예시를 나타낸다.
도 27의 (A)의 예시와 같이 각 버텍스 별로 동일한 사이즈의 콜라이더를 생성하여 사용하면, 충돌되는 지점에 따라 전체적인 의류 형태가 변경될 수 있다.
따라서 도 27의 (B)와 같이 실감형 패션 메타버스 서비스 제공 시스템은 충돌 위치에 해당하는 버텍스에 대해서는 충돌에 따른 크기 변화를 줄 수 있도록 상대적으로 더 큰 콜라이더를 생성하고, 충돌 위치에 해당하지 않는 버텍스에 대해서는 상대적으로 작은 콜라이더를 생성하여 의류 형태가 변경되지 않도록 한다.
도 28은 의류 콜라이더 피팅 타입의 처리 과정을 나타낸다.
도 28의 (A)는 실감형 패션 메타버스 서비스 제공 시스템이 의류 아이템을 디폼하여 아바타에 피팅하는 예시를 나타내고, 도 28의 (B)는 실감형 패션 메타버스 서비스 제공 시스템이 선을 통해 충돌 위치를 감지하는 예시를 나타낸다. 도 28의 (C)는 실감형 패션 메타버스 서비스 제공 시스템이 좌표화된 충돌 위치에 대응하는 버텍스들의 위치를 확보하고 버텍스들의 위치에 따라 같거나 다른 콜라이어들을 생성하는 예시를 나타낸다. 도 28의 (D)는 실감형 패션 메타버스 서비스 제공 시스템이 최종 피팅 결과물을 출력하는 예시를 나타낸다.
도 29는 이미지 심리스 텍스쳐링 알고리즘 (image seamless texturing algorithm)을 나타내는 플로우 차트이다.
도 1 내지 도 28에서 설명한 실감형 패션 메타버스 서비스 제공 시스템은 이미지 심리스 텍스쳐링 알고리즘을 기반으로 사용자가 원하는 이미지를 가상 의류 전체에 프린팅할 수 있다. 도 29의 플로우(2900)은 이미지 심리스 텍스쳐링 알고리즘을 나타낸다. 이미지 심리스 텍스쳐링 알고리즘은 프리프로세싱 (2910), 인터섹션 바운더리 프로세싱 (2920), 포인트 프로세싱 (2930), 인터섹션 라인 프로세싱 (2940) 및 매트릭스 트랜스폼 프로세싱 (2950)을 포함한다.
프리프로세싱 (2910)은 의류 아이템 (예를 들면 티셔츠)의 메시들(예를 들면 티셔츠의 앞면을 나타내는 메시, 티셔츠의 뒷면을 나타내는 메시, 우측 소매를 나타내는 메시 및 좌측 소매를 나타내는 메시 등)을 준비하는 과정이다. 여기서는 의류 아이템을 예시하였으나 의류 아이템이 아닌 가구 아이템 등도 적용이 가능하며, 작은 소품 아이템에서 심지어 차량이나 건물 외관 등의 대형 물품이나 동산이 아닌 아이템의 외관을 꾸밀 수 있는 어떤 아이템도 본 실시 예가 적용될 수 있다.
인터섹션 바운더리 프로세싱 (2920)은 심리스 텍스쳐링을 위하여 메시들간 서로 겹치는 바운더리 (인터섹션 바운더리), 예를 들면 어깨 바운더리 등을 찾는다. 포인트 프로세싱 (2930)은 적어도 하나의 메시(예를 들면 티셔츠의 앞면을 나타내는 메시)에 대하여 사용자가 선택한 사진 또는 이미지와 메시가 서로 겹치는 영역을 나타내는 포인트들을 찾는다. 인터섹션 라인 프로세싱 (2940)은 포인트들을 기반으로 해당 메시에 대하여 다른 메시들과 겹치는 라인을 직선으로 만든다. 매트릭스 트랜스폼 프로세싱 (2950)은 메시와 연결되는 다른 메시들에 대해서도 이미지를 출력하기 위해 매트릭스 연산을 수행하여 이미지를 회전하거나 전환하여 각 메시에 이미지를 출력한다. 포인트 프로세싱 (2930)은 사용자가 선택한 사진 또는 이미지와 메시가 서로 겹치는 영역을 나타내는 포인트들을 찾는다.
도 30은 이미지 심리스 텍스쳐링 알고리즘의 예시를 나타낸다.
도 30의 (A)은 심리스 텍스쳐링을 위하여 메시들(메시 1 및 메시 2)간 서로 겹치는 바운더리 (인터섹션 바운더리), 예를 들면 어깨 바운더리 등을 찾는 인터섹션 바운더리 프로세싱(도 29의 인터섹션 바운더리 프로세싱 (2920))의 예시를 나타낸다.
도 30의 (B)는 사용자가 선택한 이미지(3010)과 메시(3020)가 겹치는 경우, 겹치는 영역을 나타내는 포인트들 p1, p2, p3 및 p4을 찾는 포인트 프로세싱 (포인트 프로세싱 (2930))의 예시를 나타낸다. 포인트들 p1, p2, p3 및 p4의 좌표는 도면에 도시된 수학식에 따라 도출된다.
도 31은 이미지 심리스 텍스쳐링 알고리즘의 예시를 나타낸다.
도 31의 (A)는 포인트들을 기반으로 사용자가 선택한 이미지가 출력되는 메시에 대해 다른 메시들과 겹치는 바운더리를 직선(3110)으로 만드는 인터섹션 라인 프로세싱 (도 29의 인터섹션 라인 프로세싱 (2940))의 예시를 나타낸다.
도 31의 (B)는 메시와 연결되는 다른 메시들에 대해서도 이미지를 출력하기 위해 매트릭스 연산을 수행하여 이미지를 회전하거나 전환하여 각 메시에 회전되거나 전환된 이미지를 출력하는 매트릭스 트랜프폼 프로세싱 (도 29의 매트릭스 트랜스폼 프로세싱 (2950))의 예시를 나타낸다.
도 32는 실감형 패션 메타버스 서비스 제공 방법을 나타내는 플로우차트이다.
실감형 패션 메타버스 서비스 제공 시스템은 실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일들을 생성한다(3210). 파일들은 사용자의 얼굴 사진을 기반으로 생성된 3D 얼굴 및 사용자 신체 사이즈 정보를 기반으로 생성된 사용자 체형을 반영한 아바타를 결합하여 생성되는 아바타 파일, 상기 실감형 메타버스 서비스의 콘텐츠를 구성하는 3D공간을 나타내는 3D 공간 파일 및 아바타에 가상 피팅을 하기 위한 의류 아이템을 나타내는 의류 파일을 포함한다. 구체적인 설명은 도 1 내지 도 31에서 설명한 바와 동일하다.
실감형 패션 메타버스 서비스 제공 시스템은 각 생성된 파일에 대해 AI 알고리즘을 기반으로 중요도 판단을 수행하여 렌더링을 위한 우선 순위를 나타내는RPI (Rendering Priority Index) 3D 맵(3D map) 정보를 생성한다(3220). 구체적인 설명은 도 1 내지 도 31에서 설명한 바와 동일하다.
실감형 패션 메타버스 서비스 제공 시스템은 각 생성된 파일을 glTF 파일로 변환하고, RPI 3D 맵 정보와 함께 프리 glTF 파일로 인코딩한다(3230). 구체적인 설명은 도 1 내지 도 31에서 설명한 바와 동일하다.
실시예들에 따른 사용자의 신체 사이즈 정보는 사용자의 측면 이미지 및 정면 이미지로부터 도출된 픽셀 단위의 키 값과 사용자로부터 입력된 키 값의 오차율을 측정하고, 사용자의 측면 이미지에 나타나는 사용자 얼굴의 회전 정도인 피치 값을 측정하여 측정된 오차율을 측정된 피치값으로 보정하여 측정된다.
실시예들에 따른 사용자의 신체 사이즈 정보는 가슴 둘레값을 포함하고, 가슴둘레값은 상기 사용자의 측면 이미지 내에 하나 또는 그 이상의 제 1 키 포인트들을 설정하고 설정된 제 1 키 포인트들 간의 거리를 측정하고, 사용자 정면 이미지 내에 하나 또는 그 이상의 제 2 키 포인트들을 설정하고 설정된 제 2 키 포인트들 간의 거리를 측정하고, 제 1 키 포인트들간의 거리와 제 2 키 포인트들간의 거리를 기반으로사용자의 측면 이미지에 표현된 사용자 바디의 회전 각도를 측정하여 측정된 회전각도를 기반으로 생성된다.
각 생성된 파일에 대해 AI 알고리즘을 기반으로 중요도 판단을 수행하여 렌더링을 위한 우선 순위를 나타내는RPI (Rendering Priority Index) 3D 맵(3D map) 정보를 생성하는 단계는,
파일이 나타내는 이미지에 하나 또는 그 이상의 버텍스들을 설정하는 단계 및 설정된 하나 또는 그 이상의 버텍스들의 중요도를 기반으로 상기 RPI 3D 맵 정보를 생성하는 단계를 포함한다. 버텍스는 위치 정보 및 텍스쳐 정보를 갖는 점으로서 각 버텍스는 위치를 기반으로 중요도를 갖는다.
실감형 패션 메타버스 서비스 제공 시스템은 프리 glTF 파일을 디코딩하여 RPI 3D 맵 정보 및 glTF 파일을 확보하는 단계 및 확보된 RPI 3D 맵 정보를 기반으로glTF 파일을 렌더링하여 실감형 패션 메타버스 서비스의 콘텐츠를 제공하는 단계를 수행할 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 그리고, 통상의 기술자의 필요에 따라, 이전에 설명된 실시예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 실시예들의 권리범위에 속한다. 실시예들에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다. 실시예들의 바람직한 실시예에 대하여 도시하고 설명하였지만, 실시예들은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 실시예들의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 실시예들의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다. 실시예들에 따른 장치 및 방법에 대한 설명은 서로 보완하여 적용될 수 있다.
도 1 내지 도 32에서 설명한 실감형 패션 메타버스 서비스 제공 시스템 및 구성요소들(예를 들면 인코더, 모듈 등)은 하드웨어, 소프트웨어, 펌웨어 또는 그것들의 조합에 의해 구성될 수 있다. 실시예들의 다양한 구성요소들은 하나의 칩, 예를 들면 하나의 하드웨어 서킷으로 구현될 수 있다 실시예들에 따라, 구성요소들은 각각 별도의 칩들로 구현될 수 있다. 실시예들에 따라, 실시예들에 따른 장치의 구성요소들 중 적어도 하나 이상은 하나 또는 그 이상의 프로그램들을 실행 할 수 있는 하나 또는 그 이상의 프로세서들로 구성될 수 있으며, 하나 또는 그 이상의 프로그램들은 실시예들에 따른 동작/방법들 중 어느 하나 또는 그 이상의 동작/방법들을 수행시키거나, 수행시키기 위한 인스트럭션들을 포함할 수 있다. 실시예들에 따른 장치의 방법/동작들을 수행하기 위한 실행 가능한 인스트럭션들은 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적이지 않은 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있거나, 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적인 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있다. 또한 실시예들에 따른 메모리는 휘발성 메모리(예를 들면 RAM 등)뿐 만 아니라 비휘발성 메모리, 플래쉬 메모리, PROM등을 전부 포함하는 개념으로 사용될 수 있다. 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함될 수 있다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이 문서에서 “/”와 “,”는 “및/또는”으로 해석된다. 예를 들어, “A/B”는 “A 및/또는 B”로 해석되고, “A, B”는 “A 및/또는 B”로 해석된다. 추가적으로, “A/B/C”는 “A, B 및/또는 C 중 적어도 하나”를 의미한다. 또한, “A, B, C”도 “A, B 및/또는 C 중 적어도 하나”를 의미한다. 추가적으로, 이 문서에서 “또는”는 “및/또는”으로 해석된다. 예를 들어, “A 또는 B”은, 1) “A”만을 의미하거나, 2) “B”만을 의미하거나, 3) “A 및 B”를 의미할 수 있다. 달리 표현하면, 본 문서의 “또는”은 “추가적으로 또는 대체적으로(additionally or alternatively)”를 의미할 수 있다.
제1, 제2 등과 같은 용어는 실시예들의 다양한 구성요소들을 설명하기 위해 사용될 수 있다. 하지만 실시예들에 따른 다양한 구성요소들은 위 용어들에 의해 해석이 제한되어서는 안된다. 이러한 용어는 하나의 구성요소를 다른 구성요소와 구별하기 위해 사용외는 것에 불과하다. 것에 불과하다. 예를 들어, 제1 사용자 인풋 시그널은 제2사용자 인풋 시그널로 지칭될 수 있다. 이와 유사하게, 제2사용자 인풋 시그널은 제1사용자 인풋시그널로 지칭될 수 있다. 이러한 용어의 사용은 다양한 실시예들의 범위 내에서 벗어나지 않는 것으로 해석되어야만 한다. 제1사용자 인풋 시그널 및 제2사용자 인풋 시그널은 모두 사용자 인풋 시그널들이지만, 문맥 상 명확하게 나타내지 않는 한 동일한 사용자 인풋 시그널들을 의미하지 않는다.
실시예들을 설명하기 위해 사용된 용어는 특정 실시예들을 설명하기 위한 목적으로 사용되고, 실시예들을 제한하기 위해서 의도되지 않는다. 실시예들의 설명 및 청구항에서 사용된 바와 같이, 문맥 상 명확하게 지칭하지 않는 한 단수는 복수를 포함하는 것으로 의도된다. 및/또는 표현은 용어 간의 모든 가능한 결합을 포함하는 의미로 사용된다. 포함한다 표현은 특징들, 수들, 단계들, 엘리먼트들, 및/또는 컴포넌트들이 존재하는 것을 설명하고, 추가적인 특징들, 수들, 단계들, 엘리먼트들, 및/또는 컴포넌트들을 포함하지 않는 것을 의미하지 않는다. 실시예들을 설명하기 위해 사용되는, ~인 경우, ~때 등의 조건 표현은 선택적인 경우로만 제한 해석되지 않는다. 특정 조건을 만족하는 때, 특정 조건에 대응하여 관련 동작을 수행하거나, 관련 정의가 해석되도록 의도되었다.
210: 1460: 서비스 서버
220, 1440: 아바타 제작 메인 서버
230, 1420: 아바타 얼굴 제작 전용 서버
240, 1430: 스토리지 서버
250, 1450: 데이터 베이스 서버
1200: 사용자의 정면
1210:: 사용자의 회전 옆면
1220: 사용자의 완전 측면
220, 1440: 아바타 제작 메인 서버
230, 1420: 아바타 얼굴 제작 전용 서버
240, 1430: 스토리지 서버
250, 1450: 데이터 베이스 서버
1200: 사용자의 정면
1210:: 사용자의 회전 옆면
1220: 사용자의 완전 측면
Claims (15)
- 실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일들을 생성하는 단계로서, 상기 파일들은 사용자의 얼굴 사진을 기반으로 생성된 3D 얼굴 및 사용자 신체 사이즈 정보를 기반으로 생성된 사용자 체형을 반영한 아바타를 결합하여 생성되는 아바타 파일, 상기 실감형 메타버스 서비스의 콘텐츠를 구성하는 3D공간을 나타내는 3D 공간 파일 및 상기 아바타에 가상 피팅을 하기 위한 의류 아이템을 나타내는 의류 파일을 포함하고;
상기 각 생성된 파일에 대해 AI(Artificial Intelligence) 알고리즘을 기반으로 중요도 판단을 수행하여 렌더링을 위한 우선 순위를 나타내는 RPI (Rendering Priority Index) 3D 맵(3D map) 정보를 생성하는 단계; 및
상기 각 생성된 파일을 glTF 파일로 변환하고, 상기 RPI 3D 맵 정보와 함께 프리 glTF((GL Transmission Format) 파일로 인코딩하는 단계를 포함하는 실감형 패션 메타버스 서비스 제공 방법. - 제 1 항에 있어서,
상기 사용자의 신체 사이즈 정보는 사용자의 측면 이미지 및 정면 이미지로부터 도출된 픽셀 단위의 키 값과 사용자로부터 입력된 키 값의 오차율을 측정하고, 상기 사용자의 측면 이미지에 나타나는 사용자 얼굴의 회전 정도인 피치 값을 측정하여 상기 측정된 오차율을 측정된 피치값으로 보정하여 측정되는 실감형 패션 메타버스 서비스 제공 방법. - 제 2 항에 있어서,
상기 사용자의 신체 사이즈 정보는 가슴 둘레값을 포함하고, 상기 가슴둘레값은 상기 사용자의 측면 이미지 내에 하나 또는 그 이상의 제 1 키 포인트들을 설정하고 상기 설정된 제 1 키 포인트들 간의 거리를 측정하고, 상기 사용자 정면 이미지 내에 하나 또는 그 이상의 제 2 키 포인트들을 설정하고 상기 설정된 제 2 키 포인트들 간의 거리를 측정하고,
상기 제 1 키 포인트들간의 거리와 상기 제 2 키 포인트들간의 거리를 기반으로 상기 사용자의 측면 이미지에 표현된 상기 사용자 바디의 회전 각도를 측정하여 측정된 회전각도를 기반으로 생성되는 것을 포함하는 실감형 패션 메타버스 서비스 제공 방법. - 제 1 항에 있어서,
상기 각 생성된 파일에 대해 AI 알고리즘을 기반으로 중요도 판단을 수행하여 렌더링을 위한 우선 순위를 나타내는 RPI (Rendering Priority Index) 3D 맵(3D map) 정보를 생성하는 단계는,
상기 파일이 나타내는 이미지에 하나 또는 그 이상의 버텍스들을 설정하는 단계로서, 상기 버텍스는 위치 정보 및 텍스쳐 정보를 갖는 점으로서 각 버텍스는 위치를 기반으로 중요도를 갖고;
상기 설정된 하나 또는 그 이상의 버텍스들의 중요도를 기반으로 상기 RPI 3D 맵 정보를 생성하는 단계를 포함하는 실감형 패션 메타버스 서비스 제공 방법. - 제 4 항에 있어서,
상기 프리 glTF 파일을 디코딩하여 상기 RPI 3D 맵 정보 및 상기 glTF 파일을 확보하는 단계; 및
상기 확보된 RPI 3D 맵 정보를 기반으로 상기 glTF 파일을 렌더링하여 실감형 패션 메타버스 서비스의 콘텐츠를 제공하는 단계를 포함하는 실감형 패션 메타버스 서비스 제공 방법. - 실감형 메타버스 서비스의 콘텐츠를 구성하는 컴포넌트들에 대응하는 파일들을 생성하는 하나 또는 그 이상의 모듈들로서, 상기 파일들은 사용자의 얼굴 사진을 기반으로 생성된 3D 얼굴 및 사용자 신체 사이즈 정보를 기반으로 생성된 사용자 체형을 반영한 아바타를 결합하여 생성되는 아바타 파일, 상기 실감형 메타버스 서비스의 콘텐츠를 구성하는 3D공간을 나타내는 3D 공간 파일 및 상기 아바타에 가상 피팅을 하기 위한 의류 아이템을 나타내는 의류 파일을 포함하고;
상기 각 생성된 파일에 대해 AI 알고리즘을 기반으로 중요도 판단을 수행하여 렌더링을 위한 우선 순위를 나타내는RPI (Rendering Priority Index) 3D 맵(3D map) 정보를 생성하는 RPI 3D 맵 모듈; 및
상기 각 생성된 파일을 glTF 파일로 변환하고, 상기 RPI 3D 맵 정보와 함께 프리 glTF 파일로 인코딩하는 인코더를 포함하는 실감형 패션 메타버스 서비스 제공 장치. - 제 6 항에 있어서, 상기 사용자의 신체 사이즈 정보는 사용자의 측면 이미지 및 정면 이미지로부터 도출된 픽셀 단위의 키 값과 사용자로부터 입력된 키 값의 오차율을 측정하고, 상기 사용자의 측면 이미지에 나타나는 사용자 얼굴의 회전 정도인 피치 값을 측정하여 상기 측정된 오차율을 측정된 피치값으로 보정하여 측정되는 실감형 패션 메타버스 서비스 제공 장치.
- 제 7 항에 있어서,
상기 사용자의 신체 사이즈 정보는 가슴 둘레값을 포함하고, 상기 가슴둘레값은 상기 사용자의 측면 이미지 내에 하나 또는 그 이상의 제 1 키 포인트들을 설정하고 상기 설정된 제 1 키 포인트들 간의 거리를 측정하고, 상기 사용자 정면 이미지 내에 하나 또는 그 이상의 제 2 키 포인트들을 설정하고 상기 설정된 제 2 키 포인트들 간의 거리를 측정하고,
상기 제 1 키 포인트들간의 거리와 상기 제 2 키 포인트들간의 거리를 기반으로 상기 사용자의 측면 이미지에 표현된 상기 사용자 바디의 회전 각도를 측정하여 측정된 회전각도를 기반으로 생성되는 것을 포함하는 실감형 패션 메타버스 서비스 제공 장치. - 제 6 항에 있어서,
상기 RPI 3D 맵 모듈은,
상기 파일이 나타내는 이미지에 하나 또는 그 이상의 버텍스들을 설정하고, 상기 버텍스는 위치 정보 및 텍스쳐 정보를 갖는 점으로서 각 버텍스는 위치를 기반으로 중요도를 갖고,
상기 설정된 하나 또는 그 이상의 버텍스들의 중요도를 기반으로 상기 RPI 3D 맵 정보를 생성하는, 실감형 패션 메타버스 서비스 제공 장치. - 제 9 항에 있어서,
상기 프리 glTF 파일을 디코딩하여 상기 RPI 3D 맵 정보 및 상기 glTF 파일을 확보하는 디코더; 및
상기 확보된 RPI 3D 맵 정보를 기반으로 상기 glTF 파일을 렌더링하여 실감형 패션 메타버스 서비스의 콘텐츠를 제공하는 렌더러를 포함하는 실감형 패션 메타버스 서비스 제공 장치. - 하나 이상의 프로세서에 의해 실행되는, 상기 하나 이상의 프로세서가 실감형 패선 메타버스 서비스 제공 방법을 수행하도록 하는 인스트럭션을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체로서, 상기 실감형 패션 메타버스 서비스 제공 방법은,
상기 파일들은 사용자의 얼굴 사진을 기반으로 생성된 3D 얼굴 및 사용자 신체 사이즈 정보를 기반으로 생성된 사용자 체형을 반영한 아바타를 결합하여 생성되는 아바타 파일, 상기 실감형 메타버스 서비스의 콘텐츠를 구성하는 3D공간을 나타내는 3D 공간 파일 및 상기 아바타에 가상 피팅을 하기 위한 의류 아이템을 나타내는 의류 파일을 포함하고;
상기 각 생성된 파일에 대해 AI 알고리즘을 기반으로 중요도 판단을 수행하여 렌더링을 위한 우선 순위를 나타내는RPI (Rendering Priority Index) 3D 맵(3D map) 정보를 생성하는 단계; 및
상기 각 생성된 파일을 glTF 파일로 변환하고, 상기 RPI 3D 맵 정보와 함께 프리 glTF 파일로 인코딩하는 단계를 포함하는 비일시적 컴퓨터 판독 가능 기록 매체. - 제 11 항에 있어서,
상기 사용자의 신체 사이즈 정보는 사용자의 측면 이미지 및 정면 이미지로부터 도출된 픽셀 단위의 키 값과 사용자로부터 입력된 키 값의 오차율을 측정하고, 상기 사용자의 측면 이미지에 나타나는 사용자 얼굴의 회전 정도인 피치 값을 측정하여 상기 측정된 오차율을 측정된 피치값으로 보정하여 측정되는 비일시적 컴퓨터 판독 가능 기록 매체. - 제 12 항에 있어서,
상기 사용자의 신체 사이즈 정보는 가슴 둘레값을 포함하고, 상기 가슴둘레값은 상기 사용자의 측면 이미지 내에 하나 또는 그 이상의 제 1 키 포인트들을 설정하고 상기 설정된 제 1 키 포인트들 간의 거리를 측정하고, 상기 사용자 정면 이미지 내에 하나 또는 그 이상의 제 2 키 포인트들을 설정하고 상기 설정된 제 2 키 포인트들 간의 거리를 측정하고,
상기 제 1 키 포인트들간의 거리와 상기 제 2 키 포인트들간의 거리를 기반으로 상기 사용자의 측면 이미지에 표현된 상기 사용자 바디의 회전 각도를 측정하여 측정된 회전각도를 기반으로 생성되는 것을 포함하는 비일시적 컴퓨터 판독 가능 기록 매체. - 제 11 항에 있어서, 상기 각 생성된 파일에 대해 AI 알고리즘을 기반으로 중요도 판단을 수행하여 렌더링을 위한 우선 순위를 나타내는RPI (Rendering Priority Index) 3D 맵(3D map) 정보를 생성하는 단계는,
상기 파일이 나타내는 이미지에 하나 또는 그 이상의 버텍스들을 설정하는 단계로서, 상기 버텍스는 위치 정보 및 텍스쳐 정보를 갖는 점으로서 각 버텍스는 위치를 기반으로 중요도를 갖고;
상기 설정된 하나 또는 그 이상의 버텍스들의 중요도를 기반으로 상기 RPI 3D 맵 정보를 생성하는 단계를 포함하는 비일시적 컴퓨터 판독 가능 기록 매체. - 제 14 항에 있어서,
상기 프리 glTF 파일을 디코딩하여 상기 RPI 3D 맵 정보 및 상기 glTF 파일을 확보하는 단계; 및
상기 확보된 RPI 3D 맵 정보를 기반으로 상기 glTF 파일을 렌더링하여 실감형 패션 메타버스 서비스의 콘텐츠를 제공하는 단계를 포함하는 비일시적 컴퓨터 판독 가능 기록 매체.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210164561 | 2021-11-25 | ||
| KR20210164561 | 2021-11-25 | ||
| KR1020210164560 | 2021-11-25 | ||
| KR20210164560 | 2021-11-25 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230077645A true KR20230077645A (ko) | 2023-06-01 |
Family
ID=86539843
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220146055A KR20230077647A (ko) | 2021-11-25 | 2022-11-04 | 실감형 패션 메타버스 서비스 제공하는 방법, 그 장치 및 그 방법을 수행하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체 |
| KR1020220146053A KR20230077645A (ko) | 2021-11-25 | 2022-11-04 | 실감형 패션 메타버스 서비스 제공하는 방법, 그 장치 및 그 방법을 수행하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체 |
| KR1020220146054A KR20230077646A (ko) | 2021-11-25 | 2022-11-04 | 실감형 패션 메타버스 서비스 제공하는 방법, 그 장치 및 그 방법을 수행하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220146055A KR20230077647A (ko) | 2021-11-25 | 2022-11-04 | 실감형 패션 메타버스 서비스 제공하는 방법, 그 장치 및 그 방법을 수행하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220146054A KR20230077646A (ko) | 2021-11-25 | 2022-11-04 | 실감형 패션 메타버스 서비스 제공하는 방법, 그 장치 및 그 방법을 수행하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체 |
Country Status (2)
| Country | Link |
|---|---|
| KR (3) | KR20230077647A (ko) |
| WO (1) | WO2023096208A1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150079585A (ko) * | 2012-09-05 | 2015-07-08 | 바디 패스 리미티드 | 일련의 2ｄ 이미지로부터 정확한 신체 사이즈 치수를 도출하는 시스템 및 방법 |
| KR20160032935A (ko) * | 2014-09-17 | 2016-03-25 | 삼성전자주식회사 | 렌더링 데이터를 처리하는 방법, 장치 및 기록매체 |
| KR102132721B1 (ko) * | 2019-01-03 | 2020-07-10 | (주) 아이딕션 | 신체 사이즈 측정용 사진 획득 방법 및 이를 이용한 신체 사이즈 측정 방법, 서버 및 프로그램 |
| KR20210054664A (ko) * | 2019-11-06 | 2021-05-14 | 김보민 | 모바일 단말기를 이용한 의상의 가상 피팅 방법 및 시스템 |
| KR102328072B1 (ko) * | 2020-11-27 | 2021-11-18 | 에이아이바 주식회사 | 가상 피팅 서비스 제공 서버 및 이를 이용한 가상 피팅 서비스 제공 방법 |
-
2022
- 2022-11-04 KR KR1020220146055A patent/KR20230077647A/ko unknown
- 2022-11-04 KR KR1020220146053A patent/KR20230077645A/ko unknown
- 2022-11-04 KR KR1020220146054A patent/KR20230077646A/ko unknown
- 2022-11-04 WO PCT/KR2022/017236 patent/WO2023096208A1/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023096208A1 (ko) | 2023-06-01 |
| KR20230077647A (ko) | 2023-06-01 |
| KR20230077646A (ko) | 2023-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10679046B1 (en) | Machine learning systems and methods of estimating body shape from images | |
| US10997787B2 (en) | 3D hand shape and pose estimation | |
| US10922898B2 (en) | Resolving virtual apparel simulation errors | |
| KR102346320B1 (ko) | 고속 3d 모델 피팅 및 인체 측정법 | |
| US20200193591A1 (en) | Methods and systems for generating 3d datasets to train deep learning networks for measurements estimation | |
| EP2852935B1 (en) | Systems and methods for generating a 3-d model of a user for a virtual try-on product | |
| KR102130709B1 (ko) | 디지털 패션 기반 제품 미리보기를 이용한 커스텀 의류 제작 서비스 제공 방법 | |
| US11836862B2 (en) | External mesh with vertex attributes | |
| CN113129450B (zh) | 虚拟试衣方法、装置、电子设备和介质 | |
| CN107452049B (zh) | 一种三维头部建模方法及装置 | |
| US11908083B2 (en) | Deforming custom mesh based on body mesh | |
| US11663792B2 (en) | Body fitted accessory with physics simulation | |
| CN111787242A (zh) | 用于虚拟试衣的方法和装置 | |
| KR20240071398A (ko) | 외부 메시를 사용한 현실 세계 객체의 변형 | |
| US20240013463A1 (en) | Applying animated 3d avatar in ar experiences | |
| KR20230077645A (ko) | 실감형 패션 메타버스 서비스 제공하는 방법, 그 장치 및 그 방법을 수행하는 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 기록 매체 | |
| US20220270337A1 (en) | Three-dimensional (3d) human modeling under specific body-fitting of clothes | |
| CN116051694B (zh) | 虚拟形象生成方法、装置、电子设备以及存储介质 | |
| Chen et al. | Two‐dimensional virtual try‐on algorithm and application research for personalized dressing | |
| US20240029346A1 (en) | Single image three-dimensional hair reconstruction | |
| Yan et al. | Animation of Refitted 3D Garment Models for Reshaped Bodies | |
| Parrilla et al. | Capture and Automatic Production of Digital Humans in Real Motion with a Temporal 3D Scanner | |
| WO2024010800A1 (en) | Applying animated 3d avatar in ar experiences | |
| CN116977417A (zh) | 位姿估计方法、装置、电子设备及存储介质 | |
| KR20240090365A (ko) | 정점 속성을 갖는 외부 메시 |