KR20230043343A - 신체 사이즈 기반 가상 피팅 서비스 시스템 - Google Patents

Abstract

본 발명의 실시 예에 따른 시스템은, 사용자 단말기에 설치된 피팅 앱을 통해 입력 및 촬영된 사용자의 키 정보, 정면 이미지 및 측면 이미지를 기초로 사용자의 신체 사이즈를 검출하는 신체사이즈검출부; 상기 신체사이즈검출부의 신체 사이즈 검출을 위한 옆모습 정보를 보정하는 옆모습 보정부; 상기 신체사이즈검출부에서 검출된 신체 사이즈에 상응하는 기초 아바타를 생성하는 아바타생성부; 상기 기초 아바타에 의류 정보를 오버레이 하여 3차원 기반의 합성 아바타를 생성하는 피팅부; 상기 피팅부의 합성 아바타 생성에 대응하는 3차원 충돌 보정을 처리하는 충돌 보정 처리부; 복수의 2차원, 3차원 의류 이미지가 의류 종류 및 의류 사이즈 별로 구분하여 저장되고, 피팅 앱을 통해 그 동안 판매되었던 복수의 의류 판매 정보가 저장된 데이터베이스; 상기 수신부에서 수신한 의류 종류와 신체사이즈검출부에서 검출된 신체 사이지를 기초로 데이터베이스에 저장된 의류 판매 정보를 활용하여 반품 이력이 가장 적은 의류 사이즈를 사용자에게 추천할 의류 사이즈를 검출하는 의류 사이즈 검출부; 및 상기 합성 아바타를 이용하여, 3차원 가상 공간으로 제공되는 메타버스 커머스 상에서의 가상 피팅 및 구매 처리를 수행하는 메타버스 커머스 연동 처리부를 포함한다.

Description

신체 사이즈 기반 가상 피팅 서비스 시스템{System for virtual fitting service based on body size}

본 발명은 신체 사이즈 기반 가상 피팅 서비스 시스템에 관한 것이다.

의류를 구매하고자 하는 소비자는 해당 의류를 판매하는 매장에 직접 방문하여 해당 의류를 직접 입어보고 자신에게 맞는지 확인한 후에 구매하는 것이 일반적이다.

하지만, 그로 인해 소비자는 해당 매장을 직접 방문하여야 하는 등의 번거로움이 있었다.

최근에는 인터넷 기술의 발달로 인해 온라인 매장을 통해 의류 구매가 활발히 이루어지고 있고, 그로 인해 상술한 번거로움이 상당 부분 해소될 수 있지만, 소비자는 해당 의류가 자신에게 맞는지 시각적으로 확인할 방법이 없어 선택에 곤란을 겪는 문제가 있었다. 또한, 판매자 입장에서는 소비자가 의류를 수령한 후 만족하지 못해 반품하는 경우가 빈번하게 발생하게 되어 불필요한 지출이 증가하는 문제도 있었다.

이를 해결하기 위해, 온라인 가상 피팅 서비스 등이 제안되고는 있으나, 신체사이즈를 정확하게 파악하기 어려운 경우가 많으며, 가상 피팅된 모델이 3차원 공간 상에서 정상적이지 않게 출력되는 다양한 문제점들이 도출되고 있다.

이에 따라, 가상 공간상에서 소비자가 자신의 아바타를 이용하여 의류를 실제와 같이 입어보기 위한 시스템은 그 구현의 한계로 인해 아직까지도 정상적으로 구현되지 못하고 있으며, 상용 서비스로 이어지지 못하고 있는 실정이다.

본 발명은 상기한 바와 같은 과제를 해결하고자 안출된 것으로, 사용자에게 가상 공간에서의 피팅 서비스를 제공함에 있어서의 신체 사이즈 검출 정확도를 향상시키고, 3차원 모델링을 적절하게 처리함에 따라, 가상 메타버스 커머스 공간에서의 가상 피팅 및 구매에 의한 실제 제품이 배송될 수 있는 메타버스 커머스 서비스를 현실적으로 구현할 수 있는 신체 사이즈 기반 가상 피팅 서비스 시스템을 제공하는 데 그 목적이 있다.

상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 시스템은, 사용자 단말기에 설치된 피팅 앱을 통해 입력 및 촬영된 사용자의 키 정보, 정면 이미지 및 측면 이미지를 기초로 사용자의 신체 사이즈를 검출하는 신체사이즈검출부; 상기 신체사이즈검출 단계의 신체 사이즈 검출을 위한 옆모습 정보를 보정하는 옆모습 보정부; 상기 신체사이즈검출 단계에서 검출된 신체 사이즈에 상응하는 기초 아바타를 생성하는 아바타생성부; 상기 기초 아바타에 의류 정보를 오버레이 하여 3차원 기반의 합성 아바타를 생성하는 피팅부; 상기 피팅 단계의 합성 아바타 생성에 대응하는 3차원 충돌 보정을 처리하는 충돌 보정 처리부; 복수의 2차원, 3차원 의류 이미지가 의류 종류 및 의류 사이즈 별로 구분하여 저장되고, 피팅 앱을 통해 그 동안 판매되었던 복수의 의류 판매 정보가 저장된 데이터베이스; 상기 수신부에서 수신한 의류 종류와 신체사이즈검출부에서 검출된 신체 사이지를 기초로 데이터베이스에 저장된 의류 판매 정보를 활용하여 반품 이력이 가장 적은 의류 사이즈를 사용자에게 추천할 의류 사이즈를 검출하는 의류 사이즈 검출부; 및 상기 합성 아바타를 이용하여, 3차원 가상 공간으로 제공되는 메타버스 커머스 상에서의 가상 피팅 및 구매 처리를 수행하는 메타버스 커머스 연동 처리부를 포함한다.

본 발명의 실시 예에 따르면, 사용자에게 가상 공간에서의 피팅 서비스를 제공함에 있어서의 신체 사이즈 검출 정확도를 향상시키고, 3차원 모델링을 적절하게 처리함에 따라, 가상 메타버스 커머스 공간에서의 가상 피팅 및 구매에 의한 실제 제품이 배송될 수 있는 메타버스 커머스 서비스를 현실적으로 구현할 수 있는 신체 사이즈 기반 가상 피팅 서비스 시스템을 제공할 수 있다.

도 1은 본 발명의 실시 예에 따른 메타버스 커머스 서비스 제공 장치를 도시한 블록도이다.
도 2는 본 발명의 실시 예에 따른 신체사이즈 검출부를 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 메타버스 커머스 서비스 제공 장치의 동작을 설명하기 위한 흐름도이다.
도 4 및 도 5는 사용자 단말기에 설치된 피팅 앱의 디스플레이 화면의 예시도이다.
도 6 내지 도 8은 본 발명의 실시 예에 따른 메타버스 커머스 연동 처리부의 구성 및 동작을 설명하기 위한 도면들이다.
도 9 내지 도 14는 본 발명의 실시 예에 따른 충돌 보정 처리부의 구성 및 동작을 설명하기 위한 도면들이다.
도 15 내지 도 17은 본 발명의 실시 예에 따른 옆모습 보정부의 구성 및 동작을 설명하기 위한 도면들이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 메타버스 커머스 서비스 제공 장치(10)는 수신부(100), 신체사이즈검출부(200), 아바타생성부(300), 피팅부(400) 및 송신부(500)를 포함할 수 있고, 데이터베이스(600) 및/또는 의류사이즈검출부(700)를 더 포함할 수도 있다.

또한, 본 발명의 실시 예에 따른 메타버스 커머스 서비스 제공 장치(10)는, 신체사이즈검출부(200)와 연동하는 옆모습 보정부(250)와, 피팅부(400)와 연동된 충돌 보정 처리부(450)와, 메타버스 커머스 연동 처리부(800)를 더 포함할 수 있다.

수신부(100)는 사용자 단말기(20)로부터 키 정보와 사용자의 정면 이미지 및 측면 이미지를 수신할 수 있다.

예를 들어, 사용자 단말기(20)에는 피팅 앱(application)이 설치될 수 있고, 사용자는 피팅 앱을 통해 본인의 키 정보를 입력하는 한편 피팅 앱에 연동된 카메라 모듈을 이용하여 본인의 정면 이미지와 측면 이미지를 촬영할 수 있다. 이와 같이 획득된 키 정보, 정면 이미지 및 측면 이미지는 무선 통신망을 통해 서버(10)로 전송될 수 있다.

또한, 사용자는 피팅 앱을 통해 판매자가 제공하는 복수의 의류 종류 및 의류 사이즈를 확인하고 선택할 수 있으며, 수신부(100)는 피팅 앱을 통해 입력되는 의류 종류 및 의류 사이즈, 즉 사용자가 선택한 의류 종류 및 의류 사이즈를 수신할 수 있다.

신체사이즈검출부(200)는 수신부(100)에서 수신한 키 정보, 정면 이미지 및 측면 이미지를 이용하여 사용자의 신체 사이즈를 검출할 수 있다. 여기서, 신체 사이즈는 신체 부위별 길이, 둘레 등을 포함할 수 있다.

아바타생성부(300)는 신체사이즈검출부(200)에서 검출된 신체 사이즈에 상응하는 기초 아바타를 생성할 수 있다. 따라서, 기초 아바타는 사용자와 실질적으로 동일한 체형을 가질 수 있다. 기초 아바타는 2차원 또는 3차원 이미지로 구현될 수 있다.

피팅부(400)는 기초 아바타에 의류 이미지를 오버레이 하여 합성 아바타, 즉 기초 아바타가 해당 의류를 착용한 상태로 표현되는 이미지를 생성할 수 있다. 여기서, 의류 이미지는 데이터베이스(600)로부터 제공받을 수 있다.

구체적으로, 피팅부(400)는 수신부(100)에서 수신한 의류 종류 및 의류 사이즈, 즉 사용자가 피팅 앱을 통해 선택한 의류 종류 및 의류 사이즈에 상응하는 의류 이미지를 데이터베이스(600)에 요청할 수 있고, 데이터베이스(600)로부터 로딩된 해당 의류 이미지를 기초 아바타에 오버레이 함으로써 합성 아바타를 생성할 수도 있다.

송신부(500)는 피팅부(400)에서 생성된 합성 아바타가 사용자 단말기(20)의 피팅 앱을 통해 디스플레이 될 수 있도록 합성 아바타에 대한 정보를 사용자 단말기(20)에 전송할 수 있다.

또한, 송신부(500)는 의류사이즈검출부(700)에서 검출한 의류 사이즈가 사용자 단말기(20)에 사용자에게 추천할 의류 사이즈로 디스플레이 될 수 있도록 의류 사이즈검출부(700)에서 검출한 의류 사이즈에 대한 정보를 사용자 단말기(20)에 전송할 수도 있다.

데이터베이스(600)에는 복수의 2차원 또는 3차원 의류 이미지가 의류 종류 및 의류 사이즈 별로 구분하여 저장될 수 있다.

또한, 데이터베이스(600)에는 피팅 앱을 통해 그 동안 판매되었던 복수의 의류 판매 정보가 저장될 수도 있다.

예를 들어, 각각의 의류 판매 정보는 사용자가 구매한 의류의 의류 종류 및 의류 사이즈에 대한 정보, 신체사이즈검출부(200)에서 검출된 해당 사용자의 신체 사이즈에 대한 정보, 및 해당 사용자가 해당 의류를 구매한 후 반품한 이력을 포함할 수 있다.

의류사이즈검출부(700)는 수신부(100)에서 수신한 의류 종류와 신체사이즈검출부(200)에서 검출된 신체 사이즈를 기초로 데이터베이스(600)에 저장된 의류 판매 정보를 활용하여 반품 이력이 가장 적은 의류 사이즈를 사용자에게 추천할 의류 사이즈를 검출할 수 있다.

그리고, 메타버스 커머스 서비스 연동 처리부(800)는, 상기 합성 아바타를 이용하여, 3차원 가상 공간으로 제공되는 메타버스 커머스 상에서의 가상 피팅 및 구매 처리를 수행할 수 있다.

이를 위해, 메타버스 커머스 서비스 연동 처리부(800)는, 상기 사용자 단말로 상기 메타버스 커머스의 3차원 가상 공간을 렌더링하고, 상기 피팅부의 합성 아바타를 이용하여, 상기 상기 메타버스 커머스의 3차원 가상 공간상에서 가상 피팅을 처리할 수 있다.

이에 따라, 본 발명의 실시 예에 따른 메타버스 커머스 서비스 제공 장치(10)는, 사용자에게 가상 공간에서의 피팅 서비스를 제공함에 있어서의 신체 사이즈 검출 정확도를 향상시키고, 3차원 모델링을 적절하게 처리함에 따라, 가상 메타버스 커머스 공간에서의 가상 피팅 및 구매에 의한 실제 제품이 배송될 수 있는 메타버스 커머스 서비스를 현실적으로 구현할 수 있는 메타버스 커머스 서비스 제공 장치 및 그 동작 방법을 제공할 수 있다.

한편, 본 발명의 메타버스 커머스 서비스 제공 장치(10)를 구성하는 각각의 구성요소, 예를 들어 수신부(100), 신체사이즈검출부(200), 아바타생성부(300), 피팅부(400), 송신부(500), 데이터베이스(600) 및 의류사이즈검출부(700) 및 메타버스 커머스 서비스 연동 처리부(800)는, 서버 기판에 실장되는 CPU, IC칩, 메모리, LTE모뎀 등에 의해 구현될 수 있다.

도 2를 참조하면, 신체사이즈검출부(200)는 키포인트생성부(210), 이미지매핑부(220), 이미지세그멘테이션부(230) 및 이미지분석부(240)를 포함할 수 있다. 또한, 신체사이즈검출부(200)는 전술한 옆모습 보정부(250)에 의해 보정된 정면 이미지와 측면 이미지로 이미지를 분석할 수 있는 바, 이에 대하여는 도 15 내지 도 17을 통해 보다 구체적으로 설명하도록 한다.

키포인트생성부(210)는 수신부(100)에서 수신된 정면 이미지와 측면 이미지에 복수의 키포인트를 신체 부위별로 표시할 수 있다. 각각의 키포인트는 해당 키포인트가 표시되는 신체 부위의 중심에 표시될 수 있지만, 반드시 이에 한정되는 것은 아니다.

복수의 키포인트는 사용자의 눈, 목, 어깨, 가슴, 허리, 엉덩이, 팔꿈치, 손목, 무릎 및 발목 중 적어도 하나 이상에 표시될 수 있다.

예를 들어, 복수의 키포인트는 사용자의 눈에표시되는 제1 키포인트(1), 사용자의 목에 표시되는 제2 키포인트(2), 사용자의 어깨에 표시되는 제3 키포인트(3), 사용자의 가슴에 표시되는 제4 키포인트(4), 사용자의 허리에 표시되는 제5키포인트(5), 사용자의 엉덩이에 표시되는 제6 키포인트(6), 사용자의 팔꿈치에 표시되는 제7 키포인트(7), 사용자의 손목에 표시되는 제8 키포인트(8), 사용자의 무릎에 표시되는 제9 키포인트(9), 사용자의 발목에 표시되는 제10 키포인트(11) 등을 포함할 수도 있다.

한편, 키포인트생성부(210)는 정면 이미지와 측면 이미지에서 복수의 키포인트를 추출하기 위해 공지된 다양한 이미지 분석 알고리즘, 예를 들어 Harriscorner detector, Shi&Tomasi, SIFT(Scale Invariant Feature Transform), SURF, BRIEF 등을 이용할 수 있다.

이미지매핑부(220)는 정면 이미지와 측면 이미지의 키포인트가 동일한 높이에 위치하도록 정면 이미지 또는 측면 이미지를 확대 또는 축소시킬 수 있다. 따라서, 정면 이미지와 측면 이미지는 서로 다른 거리에서 촬영된 이미지라고 하더라도 동일한 크기로 조절될 수 있다.

특히, 이미지매핑부(220)가 이미지 매핑 시에 정면 이미지의 눈과 발목에 위치한 키포인트와 측면 이미지의 눈과 발목에 위치한 키포인트를 이용할 때에 매핑 정밀도가 가장 높은 것으로 확인되었다. 예를 들어, 이미지매핑부(220)는 정면 이미지의 제1 키포인트(1)와 측면 이미지의 제1 키포인트(1)를 동일한 높이에 위치시킨 후에, 정면 이미지의 제10 키포인트(11)와 측면 이미지의 제10 키포인트(11)가 서로 동일한 높이에 위치할 때까지 정면 이미지 또는 측면 이미지를 확대 또는 축소시킬 수 있다.

이미지세그멘테이션부(230)는 정면 이미지와 측면 이미지에서 사용자의 신체영역을 배경 영역으로부터 분리할 수 있다.

따라서, 정면 이미지와 측면 이미지의 사용자 신체 영역의 경계를 따라 경계선이 형성될 수 있고, 이는 후술하는 것처럼 신체 부위별 둘레를 산출하는데 활용될 수 있다.

한편, 이미지세그멘테이션부(230)는 신체 영역 분리를 위해 공지된 다양한 이미지 세그멘테이션 알고리즘(image segmentation algorithm)을 이용할 수 있다.

또한, 이미지세그멘테이션부(230)는 이미지 세그멘테이션 시에 OPEN CV의 침식/확장 기술을 이용하여 신체 영역의 경계선을 매끄럽게 변환시킬 수도 있다.

키포인트생성부(210), 이미지매핑부(220) 및 이미지세그멘테이션부(230)에 의한 이미지 가공은 도면에 도시된 순서에 한정되는 것이 아니라 다양한 순서로 이루어질 수 있다.

이미지분석부(240)는 키포인트생성부(210), 이미지매핑부(220) 및 이미지세 그멘테이션부(230)에 의해 가공된 정면 이미지와 측면 이미지를 기초로 신체 사이즈를 검출할 수 있다.

먼저, 이미지분석부(240)는 정면 이미지와 측면 이미지에서 신체 사이즈를 측정 내지 산출할 수 있다.

일 예로, 이미지분석부(240)는 복수의 키포인트 사이의 거리를 측정하여 신체 사이즈, 예를 들어 팔 길이, 다리 길이 등을 측정할 수 있다.

다른 예로, 이미지분석부(240)는 신체부위별 둘레를 하기 수학식을 이용하여 산출할 수도 있다.

상기 수학식에서 C는 신체 부위별 둘레를 의미할 수 있고, a는 정면 이미지에서 해당 신체 부위의 폭을 의미할 수 있으며, b는 측면 이미지에서 해당 신체 부위의 폭을 의미할 수 있다.

예를 들면, 이미지분석부(240)는 허리 둘레를 구하고자 하는 경우에는 정면이미지에서 허리의 상하로 가장 근접한 2개의 키포인트(4, 6)를 선정할 수 있고, 선정된 2개의 키포인트(4, 6) 사이에서 신체 영역의 폭이 가장 작은 지점을 추출할 수 있다. 그 결과, 정면 이미지에서의 허리 폭(a)은 추출된 지점에서의 신체 영역의 폭을 측정하여 얻을 수 있고, 측면 이미지에서의 허리 폭(b)은 추출된 지점과 동일한 높이에서의 신체 영역의 폭을 측정하여 얻을 수 있다.

다른 예를 들면, 이미지분석부(240)는 가슴 둘레를 구하고자 하는 경우에는 측면 이미지에서 가슴의 상하로 가장 근접한 2개의 키포인트(2, 5)를 선정할 수 있고, 선정된 2개의 키포인트(2, 5) 사이에서 신체 영역 경계의 변곡점, 예를 들어 신체 영역의 좌측 경계의 기울기가 아래로 갈수록 양의 값에서 음의 값으로 변하는 지점을 추출할 수 있다. 그 결과, 측면 이미지에서의 가슴 폭(b)은 추출된 변곡점에서의 신체 영역의 폭을 측정하여 얻을 수 있고, 정면 이미지에서의 가슴 폭(a)은 추출된 변곡점과 동일한 높이에서의 신체 영역의 폭을 측정하여 얻을 수 있다.

또 다른 예를 들면, 이미지분석부(240)는 엉덩이 둘레를 구하고자 하는 경우 에는 측면 이미지에서 엉덩이의 상하로 가장 근접한 2개의 키포인트(5, 9)를 선정할 수 있고, 선정된 2개의 키포인트(5, 9) 사이에서 신체 영역 경계의 변곡점, 예를 들어 신체 영역의 우측 경계의 기울기가 아래로 갈수록 음의 값에서 양의 값으로 변하는 지점을 추출할 수 있다. 그 결과, 측면 이미지에서의 가슴 폭(b)은 추출된 변곡점에서의 신체 영역의 폭을 측정하여 얻을 수 있고, 정면 이미지에서의 가슴 폭은(a)은 추출된 변곡점과 동일한 높이에서의 신체 영역의 폭을 측정하여 얻을수 있다.

한편, 변곡점 추출을 위해 신체 영역 경계에서의 기울기를 구할 때에 다양한 이미지 분석 기술이 사용될 수 있다.

예를 들어, 신체 영역의 경계에 위치한 각각의 픽셀에서 소벨(sobel)의 x방향 필터와 y방향 필터를 이용하여 x방향 및 y방향의 이미지 가중치를 계산한 후에 해당 픽셀에서 기울기 각도를 계산함으로써 변곡점이 추출될 수 있다.

또 다른 예로, 목, 허벅지, 팔, 다리 둘레 등은 정면 이미지 또는 측면 이미지에서 직경을 측정한 후에 원의 둘레 공식 등을 이용하여 산출할 수도 있다.

다음으로, 이미지분석부(240)는 상술한 것과 같이 측정 내지 산출한 신체 사이즈를 수신부(100)에서 수신한 키 정보와 비교하여 환산 비율을 산출할 수 있고,

산출된 환산 비율을 측정 내지 산출한 신체 사이즈에 곱해 실제 신체 사이즈를 검출할 수 있다.

예를 들어, 이미지분석부(240)에서 산출한 키가 A cm이고, 수신부(100)에서 수신한 키는 B cm라고 한다면, 환산 비율은 B를 A로 나눈 값, 즉 B/A일 수 있다.

도 3은 본 발명의 실시 예에 따른 메타버스 커머스 서비스 제공 장치의 동작을 설명하기 위한 흐름도이다.

도 3을 참조하면, 본 발명의 일 실시 예에 따른 가상 피팅 서비스 제공 방법은 사용자의 키 정보, 정면 이미지 및 측면 이미지를 수신하는 단계(S10), 사용자의 신체 사이즈를 검출하는 단계(S20), 기초 아바타를 생성하는 단계(S30), 사용자가 선택한 의류 종류를 수신하는 단계(S40), 사용자에게 추천할 의류 사이즈를 검출하는 단계(S50), 사용자 단말기에 검출된 의류 사이즈에 대한 정보를 전송하는 단계(S60), 사용자가 선택한 의류 사이즈를 수신하는 단계(S70), 합성 아바타를 생성하는 단계(S80), 및 상기 사용자 단말로 상기 메타버스 커머스의 3차원 가상 공간을 렌더링하고, 상기 피팅부의 합성 아바타를 이용하여, 상기 상기 메타버스 커머스의 3차원 가상 공간상에서 가상 피팅을 처리하는 단계(S90)를 포함할 수 있다.

한편, 가상 피팅 서비스 제공 방법은 가상 피팅 서비스 제공 서버(10)를 이용하여 구현될 수 있고, 이에 따라 중복될 수도 있는 구체적인 설명은 생략하기로한다.

먼저, 서버(10)는 사용자 단말기(20)로부터 사용자의 키 정보, 정면 이미지 및 측면 이미지를 수신하면(S10), 수신된 키 정보, 정면 이미지 및 측면 이미지를 기초로 사용자의 신체 사이즈를 검출할 수 있고(S20), 이와 같이 검출된 신체 사이즈에 상응하는 기초 아바타를 생성할 수 있다(S30).

다음으로, 서버(10)는 사용자 단말기(20)로부터 메타버스 커머스에 대응하여 사용자가 선택한 의류 종류를 수신하면(S40), 검출된 신체 사이즈와 수신된 의류 종류를 기초로 반품 이력이가장 적은 의류 사이즈를 검출할 수 있고(S50), 이와 같이 검출된 의류 사이즈가추천 사이즈로 디스플레이 될 수 있도록 검출된 의류 사이즈에 대한 정보를 사용자 단말기(20)로 전송할 수 있다(S60). 그러나, 반드시 이에 한정되는 것은 아니고, 서버(10)는 추천 사이즈를 검출 내지 제공하지 않고 사용자가 선택한 의류 사이즈를 수신할 수도 있다.

다음으로, 서버(10)는 사용자 단말기(20)로부터 사용자가 선택한 의류 사이즈를 수신하게 되면(S70), 수신된 의류 종류 및 의류 사이즈에 상응하는 의류 이미지를 기초 아바타에 오버레이 하여 합성 아바타를 생성할 수 있다(S80).

그리고, 상기 사용자 단말에서는 상기 메타버스 커머스의 3차원 가상 공간을 렌더링하고, 상기 피팅부의 합성 아바타를 이용하여, 상기 상기 메타버스 커머스의 3차원 가상 공간상에서 가상 피팅을 처리함에 따른 메타버스 커머스와 합성 아바타에 관한 정보를 사용자 단말기(20)에 전송할 수 있다(S90).

이후, 상기 메타버스 커머스와의 서비스 연동을 통해, 해당 의류의 현실에서의 구매 및 배송 서비스가 연계되어 제공될 수 있다.

도 4 및 도 5는 사용자 단말기에 설치된 피팅 앱의 디스플레이 화면의 예시도이다.

도 4를 참조하면, 사용자는 피팅 앱을 통해 사용자 본인의 정면 이미지와 측면 이미지를 촬영할 수 있다. 이때, 사용자 단말기(20)에 설치된 카메라 모듈이 사용될 수 있다. 또한, 피팅 앱은 카메라 모듈의 수평 및 수직 방향의 정렬 여부와 사용자의 촬영 자세에 대한 정보를 화살표 또는 텍스트 등의 형태로 제공함으로써 이미지 분석이 용이한 형태의 촬상 이미지를 획득할 수도 있다.

도 5를 참조하면, 사용자 단말기(20)는 의류사이즈검출부(700)에서 검출한 의류 사이즈, 즉 사용자에게 메타버스 커머스상에서 추천할 의류 사이즈를 수신하여 피팅 앱을 통해 디스플레이 할 수 있다. 따라서, 사용자는 의류 사이즈를 선택할 때에 피팅 앱에 의해 추천된 의류사이즈를 참작할 수 있어 그 만큼 반품 가능성이 줄어들 수 있다.

도 6 내지 도 8은 본 발명의 실시 예에 따른 메타버스 커머스 연동 처리부의 구성 및 동작을 설명하기 위한 도면들이다.

먼저 도 6을 참조하면, 본 발명의 실시 예에 따른 메타버스 커머스 서비스 연동 처리부(800)는, 멤버 관리부, 가상 피팅부 및 커머스 서비스부를 포함할 수 있다.

멤버 관리부는 고객 및 의류 데이터베이스를 분석하여, 추천 사이즈를 도출할 수 있다.

가상 피팅부는 메타버스 커머스 서비스를 통해 제공될 3차원 아바타의 가상 피팅을 처리할 수 있으며, 이를 위한 GLTF, FBX 포맷과 같은 3차원 데이터 생성 및 인코딩을 처리할 수 있다.

그리고, 커머스 서비스부는, 메타버스 공간을 렌더링하고, 상기 가상 피팅부의 3차원 아바타와 의류가 합성된 합성 아바타를 이용하여, 상기 메타버스 공간상에서 렌더링 처리할 수 있다. 또한, 렌더링 정보를 디코딩하여 사용자 단말기(20)를 통해 출력되도록 처리할 수 있다.

또한, 도 7을 참조하면, 커머스 서비스부는, 메타버스로 구현되는 패션 플랫폼 정보를 처리하는 패션 플랫폼 처리부를 더 포함할 수 있으며, 패션 플랫폼 처리부는, 신체사이즈측정부(200)를 이용한 나의 아바타 관리부, 제품 보기 기능부, 나의 아바타 호출 및 내 옷 사이즈 추천부, 가상 피팅 소셜 기능부를 포함하여, 메타버스로 구현된 패션 플랫폼에 의해, 사용자 단말기(20)의 앱 연동및 구매와 배송까지 처리하는 프로세스를 수행할 수 있다 또한, 메타머스 패션 플랫폼을 VR 데이터로 구성하여 사용자의 VR기기로 제공하는 VR모드 프로세스를 수행할 수도 있다.

이에 따라 도 8에 도시된 바와 같이, VR 기기 등에 대응하는 메타버스 커머스 플랫폼상에 사용자의 신체 사이즈와 동일한 사이즈의 아바타가 이동하면서 다양한 의류를 가상 피팅해볼 수 있으며, 이에 따른 구매결정을 통해 적절한 의류가 배송됨으로써 사용자 편의성을 향상시키고 반품율 등을 낮출 수 있다.

도 9 내지 도 14는 본 발명의 실시 예에 따른 충돌 보정 처리부의 구성 및 동작을 설명하기 위한 도면들이다.

도 9를 참조하면, 메타버스 커머스 서비스 제공 장치(10)는, 상기 피팅부(400)의 메타버스용 3차원 합성 아바타 생성에 대응하는 3차원 충돌 보정을 처리하는 충돌 보정 처리부를 더 포함할 수 있다.

보다 구체적으로, 도 10에 도시된 바와 같이, 사이즈 변경된 아바타에 대한 옷 입히기를 처리하는 경우, 옷이 뚫리는 충돌 영역이 발생될 수 있다.

이를 방지 및 보정 처리하기 위해, 상기 충돌 보정 처리부는, 상기 합성 아바타 생성시 발생되는 충돌 메시를 예측 검출하는 충돌 메시 검출부, 상기 충돌 메시에 대응하는 예외범위를 설정하는 예외범위 설정부, 상기 예외범위를 상기 피팅부로 제공하여, 3차원 합성 아바타에 대응하는 옷 입히기를 처리하는 옷 입히기 처리부 및 상기 옷 입히기 처리에서 발생되는 충돌 영역을 마스킹 보정하는 마스킹 보정부를 포함할 수 있다.

보다 구체적으로, 3D 오브젝트는 Vertices의 점 형태로 시작해, 면을 만들어 최종적으로 모델로 화면에 비춰주게 된다.

이를 고려하여, 도 11에 도시된 바와 같이, 충돌 메시 검출부는, 아바타의 Vertices 위치값에 접근하여, 그 위치에서 아바타 안쪽 방향으로 Normal(수직)방향으로 충돌 감지할 수 있는 Ray(선)을 발생 시키며, Ray(선)에 옷의의 Mesh와 충돌이 발생하면 마스킹 보정부는 아바타 Mesh의 triangles(polygons)부분을 안보이게 하는 마스킹 값을 설정할 수 있는 것이다.

그러나, 도 12(1)에 도시된 바와 같이, 면이 아닌 점(Vertices) 위치 값만 가지고 충돌 감지 하면, 마스킹 처리가 안되는 부분이 발생될 수 있다.

따라서, 도 12(2)에 도시된 바와 같이, 본 발명의 실시 예에 따른 예외범위 설정부는, 충돌 안된 부분을 감지하기 위해 1단계 후 Ray(선)에서 Sphere(구형태)로 감지 범위를 확대함에 따라, 구 안에 걸리는 모든 값들 마스킹 처리하게 할 수 있다.

그리고, 도 12(3)에 도시된 바와 같이 본 발명의 실시 예에 따른 예외범위 설정부는, Sphere 형태의 마스킹 처리시 옷과 아바타의 경계 부분까지 아바타 메시가 마스킹 처리가 되는 부분이 발생하기 때문에 Mesh에 예외 처리할 충돌 공간을 사전 설정하여 예외 처리할 수 있다.

도 13 내지 도 14는 본 발명의 실시 예에 따른 상기 충돌 보정 처리부의 충돌 보정 동작을 예시와 함께 보다 구체적으로 나타낸다.

도 15 내지 도 17은 본 발명의 실시 예에 따른 옆모습 보정부의 구성 및 동작을 설명하기 위한 도면들이다.

도 15를 참조하면, 본 발명의 실시 예에 따른 옆모습 보정부(250)는, 상기 정면 이미지로부터 제1 포인팅 지점을 추출하는 정면 이미지 포인팅부, 상기 측면 이미지로부터 제2 포인팅 지점을 추출하는 정면 이미지 포인팅부, 상기 제1 포인팅 지점과 상기 제2 포인팅 지점을 이용하여 측면 회전 각도를 산출하는 측면 회전 각도 산출부 및 상기 측면 회전 각도를 기반으로 상기 정면 이미지 또는 상기 측면 이미지를 보정하는 보정 적용부를 포함한다.

보다 구체적으로, 2장의 사진(정면과 측면)의 이용한 가슴 측정 방법은 정면 길이와 측면 길이를 이용하여 계산하는데 정면이나 측면의 길이의 측정이 잘못되면 가슴 둘레 계산을 부정확해지는 문제가 발생한다. 정확한 둘레 계산을 위한 조건으로 정확한 정면과 측면의 길이 측정이 중요한데, 보통 정면 촬영시에는 몸 회전이 거의 일어나지 않지만 측면 촬영시에서 카메라를 응시하므로 몸 회전이 일어나는 경우가 많다.

따라서, 본 발명의 실시 예에 따른 옆모습 보정부(250)는, 정확한 옆면 길이 측정을 위해 옆면 촬영시 사람의 회전 각도를 구하고, 회전 각도와 정면길이를 이용하여 정확한 옆면 길이를 산출한다.

이를 위해, 옆모습 보정부(250)는, 도 16에 도시된 바와 같이 정면과 측면 사진에서 딥러닝(Human Pose Estimation)을 이용하여 신체의 각 포인팅 위치 지점을 산출하고, 이 위치를 이용하여 사람이 회전한 각도를 찾을 수 있다.

보다 구체적으로, 제1 포인팅 지점들로부터 딥러닝 기반으로 산출된 x1을 정면 이미지상의 양 어깨 길이라고 하고, 제2 포인팅 지점들로부터 딥러닝 기반으로 산출된 x2를 측면 이미지상의 양 어깨 길이라고 하면, 측면 회전 각도는 아래의 수학식 2와 같이 산출된다.

그리고, 도 17에 도시된 바와 같이, 옆면 길이는 상기 측면 회전 각도를 기반으로 산출되는 사람의 회전 각도를 이용하여, 정확한 값으로 산출될 수 있는 바, 이에 대한 산출식은 아래의 수학식 3과 같다.

여기서, X1은 정면 길이, X측은 측정된 측면 길이, X2는 실제 측면 길이, θ 는 수학식 2에 의해 구해진 측면 회전 각도, adj는 회전각도 보정 값으로서, 옆면이 직각이 아닌 굴곡이므로 굴곡 정도에 따른 보정이 필요하기 때문에, 다수의 사람들의 측정값 분석을 통한 체형과 회전 각도에 따른 보정치 통계 테이블을 이용하여 산출되는 값이다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (3)

1. 사용자 단말기에 설치된 피팅 앱을 통해 입력 및 촬영된 사용자의 키 정보, 정면 이미지 및 측면 이미지를 기초로 사용자의 신체 사이즈를 검출하는 신체사이즈검출부;
   상기 신체사이즈검출부의 신체 사이즈 검출을 위한 옆모습 정보를 보정하는 옆모습 보정부;
   상기 신체사이즈검출부에서 검출된 신체 사이즈에 상응하는 기초 아바타를 생성하는 아바타생성부;
   상기 기초 아바타에 의류 정보를 오버레이 하여 3차원 기반의 합성 아바타를 생성하는 피팅부;
   상기 피팅부의 합성 아바타 생성에 대응하는 3차원 충돌 보정을 처리하는 충돌 보정 처리부;
   복수의 2차원, 3차원 의류 이미지가 의류 종류 및 의류 사이즈 별로 구분하여 저장되고, 피팅 앱을 통해 그 동안 판매되었던 복수의 의류 판매 정보가 저장된 데이터베이스;
   상기 수신부에서 수신한 의류 종류와 신체사이즈검출부에서 검출된 신체 사이지를 기초로 데이터베이스에 저장된 의류 판매 정보를 활용하여 반품 이력이 가장 적은 의류 사이즈를 사용자에게 추천할 의류 사이즈를 검출하는 의류 사이즈 검출부; 및
   상기 합성 아바타를 이용하여, 3차원 가상 공간으로 제공되는 메타버스 커머스 상에서의 가상 피팅 및 구매 처리를 수행하는 메타버스 커머스 연동 처리부를 포함하는
   신체 사이즈 기반 가상 피팅 서비스 시스템.
2. 제1항에 있어서,
   상기 충돌 보정 처리부는,
   상기 합성 아바타 생성시 발생되는 충돌 메시를 예측 검출하는 충돌 메시 검출부;
   상기 충돌 메시에 대응하는 예외범위를 설정하는 예외범위 설정부;
   상기 예외범위를 상기 피팅부로 제공하여, 3차원 합성 아바타에 대응하는 옷입히기를 처리하는 옷 입히기 처리부; 및
   상기 옷 입히기 처리부에서 발생되는 충돌 영역을 마스킹 보정하는 마스킹 보정부;를 포함하는
   신체 사이즈 기반 가상 피팅 서비스 시스템.
3. 제1항에 있어서,
   상기 옆모습 보정부는,
   상기 정면 이미지로부터 제1 포인팅 지점을 추출하는 정면 이미지 포인팅부;
   상기 측면 이미지로부터 제2 포인팅 지점을 추출하는 측면 이미지 포인트부;
   상기 제1 포인팅 지점과 상기 제2 포인팅 지점을 이용하여 측면 회전 각도를 산출하는 측면 회전 각도 산출부; 및
   상기 측면 회전 각도를 기반으로 상기 정면 이미지 또는 상기 측면 이미지를 보정하는 보정 적용부를 포함하는
   신체 사이즈 기반 가상 피팅 서비스 시스템.

Images