KR102632230B1 - 사용자 특성을 통한 의류 추천 장치 - Google Patents

Abstract

본 발명에서는 사용자 특성을 통한 의류 추천 장치가 개시된다.
본 발명의 사용자 특성을 통한 의류 추천 장치는 사용자로부터 영상을 수신받아 데이터를 입력하는 입력부; 상기 입력부에서 입력된 상기 데이터를 통해 상기 사용자의 가입 정보를 수집하고, 수집된 상기 가입 정보에 기초하여 이에 대응되는 구매 정보를 수집된 상기 가입 정보로부터 추출하여 저장하는 저장부; 상기 저장부에서 저장된 데이터와 비교 및 학습을 수행하는 프레임워크부; 상기 프레임워크부와 상기 저장부 사이에서 학습 결과를 해석하거나 관리하는 제어부; 및 상기 사용자에게 상기 제어부에 따른 결과를 출력하는 출력부;를 포함한다.

Description

사용자 특성을 통한 의류 추천 장치{THE APPARATUS FOR RECOMMENDING CLOTHING BASED ON USER CHARACTERISTICS}

본 발명은 사용자 특성을 통한 맞춤용 의류 추천 장치에 관한 것으로, 더욱 상세하게는 적대적 신경 생성망(Generative Adversarial Network, GAN)을 활용하여 사용자 특성 대비 최적의 트렌드 의류를 추천하는, 사용자 특성을 통한 의류 추천 장치에 관한 것이다.

최근 다양한 정보통신 기술의 보급으로 많은 양의 영상 데이터가 생성되어 다양한 매체를 통해 공유되고 있다. 이와 함께 시대적 흐름으로 자리잡으면서 패션 산업에서도 스타일 테크(Style Tech) 시대가 열리고 있다.

스타일 테크란 서비스의 방향성에 따라 빅데이터 분석 및 추천 서비스, AR?VR 기반 가상체험 및 사이즈 측정 서비스, 데이터 분석을 통한 제품 공유 및 대여 서비스, 개인별 데이터 기반 맞춤형제조 서비스, AI 활용 B2B 솔루션 및 디자인 기획 서비스, 기타 서비스로 분류되어 발전하고 있으며, 지속적인 성장세에 있어, 이를 통한 연구 및 발전을 위한 투자 가치 또한 기하급수적으로 성장하고 있는 실정이다.

소비자 입장에서는 소비자의 데이터를 기반으로 서비스의 방향이 결정되기 때문에, 서비스 업체는 소비자의 성향 및 취향을 정확하게 파악할 수 있고, 서비스 업체는 정확히 파악된 소비자의 성향 및 취향을 바탕으로 최대한 비슷한 상품을 보여주는데 초점을 맞춤으로써 소비자가 관심을 가질 만할 상품을 판매자는 추천할 수 있고, 소비자 역시 추천받은 상품에 대한 만족도가 높고, 추천받은 상품은 소비자의 구매로 이어질 수 있다.

다만, 소비자의 입장에 한정하여 제품을 추천하는 추천 시스템은 패션 트렌드를 쫓아가지 못하는 한계가 있다.

또한, 소비자 중심에서 제품을 선별하고 추천하는 시스템은 결국 비슷한 스타일 혹은 비슷한 느낌의 옷으로 한정하여 추천되어지기 때문에, 점점 소비자의 만족도가 떨어지고, 구매 욕구를 자극시키지 못하는 문제점이 존재하나 이에 대한 기술적 해결수단은 전무한 실정이다.

이에, 판매자는 다각도로 최신 트렌드 코드에 맞춰 트렌드 의류 분석 학습을 수행하되, 소비자가 선호할 수 있는 스타일의 옷을 최신 트렌드 코드에 맞춰 추천할 수 있는 기술적 해결수단이 필요하다.

대한민국 등록특허공보 제 10-2499853호(2023.02.09) 대한민국 등록특허공보 제 10-2176139호(2020.11.03.)

상기한 바와 같은 종래의 문제점을 해결하기 위한 본 발명의 목적은 사용자 특성을 고려하여 적대적 신경 생성망(Generative Adversarial Network, GAN)을 활용한 최적의 트렌드 의류를 제공함으로써 사용자는 자신에게 필요한 의류를 신속하고 정확하게 파악할 수 있도록 하기 위한 사용자 특성을 통한 의류 추천 장치를 제공하는 것이다.

상기 목적을 해결하기 위해, 본 발명에 따른 사용자 특성을 통한 의류 추천 장치는 사용자로부터 영상을 수신받아 데이터를 입력하는 입력부; 상기 입력부에서 입력된 상기 데이터를 통해 상기 사용자의 가입 정보를 수집하고, 수집된 상기 가입 정보에 기초하여 이에 대응되는 구매 정보를 수집된 상기 가입 정보로부터 추출하여 저장하는 저장부; 상기 저장부에서 저장된 데이터와 모델 통합 프로세스를 수행하는 프레임워크부; 상기 프레임워크부와 상기 저장부 사이에서 학습 결과를 해석하거나 관리하는 제어부; 및 상기 사용자에게 상기 제어부에 따른 결과를 출력하는 출력부;를 포함한다.

또한, 본 발명에 따른 사용자 특성을 통한 의류 추천 장치에서, 상기 프레임워크부는, 공개 데이터로부터 최근 3개월 이내 업로드된 고화질 이미지를 수집하고, 상기 고화질 이미지로부터 의류 데이터만 선별하여 데이터셋으로 수집하고, 수집된 상기 데이터셋으로부터 상기 의류 데이터와 대응되는 상기 신체 정보를 수집하고, 수집된 상기 신체 정보에 기초하여 상기 의류 데이터를 식별하여 추출하는 외부 입력 모듈; 상기 외부 입력 모듈로부터 수신한 상기 신체 정보와 상기 신체 정보에 기반한 상기 의류 데이터를 RGB 채널, 마스크 채널 및/내지 스케치 채널로 스트라이드 컨볼루션 레이어를 통한 특징점을 반복적으로 부트-스트랩하여 획득한 의류 이미지를 생성하는 제1 이미지 생성 모듈; 상기 제1 이미지 생성 모듈로부터 입력된 상기 신체 정보 및 상기 신체 정보에 기반한 상기 의류 데이터를 동일한 그룹에 속하는 이미지인지 신경망 모델을 학습시키고, 획득된 상기 학습 신경망 모델에 따라 클러스터링 하여 해당 클러스터로 분류를 수행하는 이미지 분류 모듈; 상기 저장부에 저장된 상기 사용자 가입 정보에 기반한 상기 구매 정보와 상기 구매 정보에 기반한 상기 사용자 의류 데이터를 RGB 채널, 마스크 채널 및/내지 스케치 채널로 스트라이드 컨볼루션 레이어를 통한 특징점을 부트-스트랩하여 새로운 의류 이미지를 생성하는 제2 이미지 생성 모듈; 및 상기 제2 이미지 생성 모듈로부터 생성된 상기 새로운 의류 이미지가 상기 제1 이미지 생성 모듈의 상기 의류 이미지와 얼마나 차이가 나는지 검증을 수행하는 이미지 검증 모듈;을 더 포함하고, 상기 프레임워크부에서 수행하는 상기 모델 통합 프로세스는, 상기 제2 이미지 생성 모듈에서 추출한 상기 사용자 의류 이미지로부터 신체 특징점을 검출하여 신체 영역으로 자르고 정렬하되, 상기 잘린 신체 영역의 이미지를 세분화한 뒤, 상기 사용자 의류 이미지에 대한 부분 이미지를 함께 추출하는 전처리 단계; 상기 전처리 단계에서 추출된 상기 의류 이미지 내에 지워진 영역만을 포함하여 마스크 이미지를 생성하는 마스크 이미지 생성 단계; 적대적 생성 신경망(GAN)을 이용하여 상기 마스크 이미지 내에서 지워진 영역에 합성될 이미지를 상기 제1 이미지 생성 모듈의 상기 새로운 의류 이미지와 얼마나 다른지 판별하는 이미지 판별 단계; 상기 이미지 판별 단계에서의 결과값을 상기 의류 이미지 내에 상기 지워진 영역에 합성하여 새로운 이미지를 생성하는 이미지 생성 단계; 및 상기 이미지 생성 단계에서 생성된 상기 새로운 이미지를 상기 이미지 분류 모듈의 상기 클러스터에 매핑하고, 상기 매핑된 클러스터의 정보를 상기 사용자에게 출력하는 이미지 출력 단계;를 포함하고, 상기 전처리 단계는, 상기 마스크 채널, 상기 스케치 채널, 상기 RGB 채널로부터 각각 입력 값을 설정하고, 상기 설정된 입력 값으로부터 특징맵을 추출하고, 상기 이미지 판별 단계는, 상기 수집된 데이터셋에 포함된 상기 마스크 이미지 내에서 지워진 영역의 픽셀 값과 상기 의류 이미지와 상기 새로운 의류 이미지 사이의 픽셀 값의 차이를 이용하여 정의된 손실함수를 통해 학습하는 것을 특징으로 한다.

또한, 본 발명에 따른 사용자 특성을 통한 의류 추천 장치에서, 상기 이미지 판별 단계는, 상기 제2 이미지 생성 모듈로부터 생성된 상기 새로운 의류 이미지가 상기 제1 이미지 생성 모듈의 상기 의류 이미지와 얼마나 차이가 나는지 검증을 수행하되 [수학식 1]에 기반하여 산출하고,

[수학식 1]

상기 [수학식 1]에서 는 상기 새로운 의류 이미지와 상기 의류 이미지의 차이를 의미하고, 는 상기 스트라이드 컨볼루션 레이어를 통해 미리 학습된p 번째 레이어를 의미하고, 은 상기 제2 이미지 생성 모듈의 상기 새로운 의류 이미지를 의미하고, 는 상기 제1이미지 생성 모듈의 상기 의류 이미지를 의미하고, 상기 새로운 의류 이미지 및 상기 의류 이미지의 서로 다른 영역만을 추출하여 계산하되, 수신되는 손실함수의 결과값이 최소가 되도록 학습하는 것을 특징으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

본 발명에 의하면, 다음과 같은 효과가 있다.

상술한 바와 같이 본 발명에 의하면, 저작권 문제가 없이 공개되어 있는 트렌드 의류가 포함되어 있는 고화질이미지를미리학습한사전학습모델로배포하고, 이를 기반으로 특징점 예측 프로세스를 반복적으로 부트-스트랩 하여 제공한다. 이에 따라, 사용자 특성을 통한 의류 추천 장치는 사용자로 하여금 최신 의류 정보를 적대적 신경 생성망을 활용한 특징점을 추출한 후, 반복하여 학습을 수행함으로써, 사용자에게 가장 적합하면서도 최신 의류 트렌드를 반영한 추천 아이템을 선별하여 제공하는 효과가 있다.

발명의 상세한 설명 중 본 발명의 다양한 예들로부터 얻을 수 있는 효과들은 이상에서 언급된 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 이하의 상세한 설명을 기반으로 당해 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다.

도 1은 본 발명에 따른 트렌드 분석 정보를 제공하는 사용자 특성을 통한 의류 추천 장치에서 사용자 특성을 통한 의류 추천 시스템을 설명하기 위한 개념적인 모식도.
도 2는 도 1의 사용자 특성을 통한 의류 제공 장치의 일 예를 나타내는 블록도.
도 3은 일 실시예에 따른 사용자 특성을 통한 의류 추천 장치에서 사용자 특성을 통한 의류 추천 장치 중 프레임워크부를 설명하기 위한 블록도.
도 4는 본 발명의 일 실시예에 따른 사용자 특성을 통한 의류 추천 장치에서 사용자 특성을 통한 의류 추천 장치 중 프레임워크부에서 수행하는 모델 통합 프로세스의 전체 흐름을 나타내는 플로우 차트.
도 5는 본 발명의 일 실시예에 따른 사용자 특성을 통한 의류 추천 장치에서 사용자 특성을 통한 의류 추천 장치 중 프레임워크부에서 수행하는 모델 통합 프로세스 중 전처리 단계를 자세히 나타내는 플로우 차트.
도 6은 도 5에서 도시화한 사용자 특성을 통한 의류 추천 장치에서 프레임워크부에서 수행한 모델 통합 프로세스 중 전처리 단계를 통해 신체 특징점을 추출한 결과값.

이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.

도 1은 본 발명에 따른 트렌드 분석 정보를 제공하는 사용자 특성을 통한 의류 추천 장치(10)에서 사용자 특성을 통한 의류 추천 시스템(1)을 설명하기 위한 개념적인 모식도이다.

본 발명에 따른 사용자 특성을 통한 의류 추천 장치(10)는 사용자 단말(15)로 트렌드 적합성 정보를 이용한 최적 의류 추천 내역 서비스를 제공할 수 있다.

이에 따라, 사용자 특성을 통한 의류 추천 시스템(1)은 사용자로 하여금 자신에게 필요한 의류 트렌드 정보 및 최적 의류 추천 서비스를 신속하고 정확하게 파악할 수 있도록 한다.

도 1을 참조하면, 본 개시의 일 예에 따른 사용자 특성을 통한 의류 추천 시스템(1)은 사용자 특성을 통한 의류 추천 장치(10)와 사용자 단말(15)을 포함한다.

사용자 특성을 통한 의류 추천 시스템(1)은 사용자 특성을 통한 의류 추천 장치(10)로부터 사용자 단말(15)에 자신에게 필요한 의류 트렌드 정보 및 최적 의류 추천 서비스를 제공하기 위한 시스템으로서, 통신망을 통해 사용자 단말(15)에 연결되어 의류 추천 서비스를 제공하기 위한 데이터를 수신한다.

사용자 단말(15)은 사용자 특성을 통한 의류 추천 장치(10)에서 이미지를 수신하는 서버에 한정하지 않고, 장치 및 기구를 모두 포함할 수 있다.

사용자 단말(15)은 고객, 즉 사용자가 보유한 단말에 대응하도록 구성한다. 사용자 단말(15)은 통신망을 통해 사용자 특성을 통한 의류 추천 장치(10)에 의해 제공되는 의류 추천 서비스를 이용하기 위한 어플리케이션이 설치될 수도 있고, 어플리케이션을 통해 사용자 특성을 통한 의류 추천 시스템(1)과 다양한 데이터를 주고받으면서 의류 추천 서비스를 제공받을 수도 있다.

사용자 단말(15)에는 어플리케이션이 설치될 수 있다.

사용자 단말(15)은 어플리케이션으로 한정하여 설명하지만, 소형화 기기 즉, 통신이 가능한 휴대용 전자기기를 더 포함할 수 있다.

사용자 특성을 통한 의류 추천 장치(10)와 사용자 단말(15)은 무선 통신을 통해 통신한다.

또한, 무선 통신은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈에 의해 이루어질 수 있다.

이와 같은 구성에 의해, 사용자 특성을 통한 의류 추천 장치(10)로부터 받은 이미지 및 정보는 사용자 단말(15)로 안전하게 수신될 수 있다.

또한, 본 발명의 일 실시 예에 따른 사용자 특성을 통한 의류 추천 장치(10)는 전술한 구성 이외에, 트렌드 특성에 따른 의류 추천 결과를 도출하는 적합도 검출 장치를 더 포함할 수 있다.

이상에서 설명한 바와 같이, 본 발명에 따른 사용자 특성을 통한 의류 추천 장치(10)는 사용자 단말(15)로 최신 의류 트렌드 정보 및 최적의 의류 추천 서비스를 제공할 수 있다. 이에 따라, 사용자 특성을 통한 의류 추천 시스템(1)은 사용자로 하여금 자신에게 필요한 최적의 의류 상품을 신속하고 정확하게 파악할 수 있도록 한다.

도 2는 도 1의 사용자 특성을 통한 의류 제공 장치(10)의 일 예를 나타내는 블록도이다.

도 2를 참조하면, 본 발명에 따른 사용자 특성을 통한 의류 제공 시스템(1)의 사용자 특성을 통한 의류 제공 장치(10)는 입력부(100)와, 저장부(200)와, 프레임워크부(300)와, 제어부(400)와, 네트워크부(500)와, 출력부(600)를 포함한다.

이와 같은 본 발명의 실시 예에 따른 사용자 특성을 통한 의류 제공 장치(10)는 상술한 바와 같이, 입력부(100)로부터 여러 단계(steps)를 거쳐 출력부(500)를 통해 정제되어 출력될 수 있다.

이상의 입력부(100)와, 저장부(200)와, 프레임워크부(300)와, 제어부(400)와, 네트워크부(500)와, 출력부(600)를 포함하는 본 발명에 따른 사용자 특성을 통한 의류 제공 장치(10)의 전체 구성 내지는 적어도 일부 구성은 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로 구현될 수 있다.

여기서, 소프트웨어 모듈이란, 예컨대, 사용자 특성을 통한 의류 제공 장치(10) 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 사용자 특성을 통한 의류 제공 장치(10) 내 메모리에 탑재된 형태를 가질 수 있다.

또한, 각 구성부들에 대한 구분은 각 구성부가 담당하는 주 기능 별로 구분한 것에 불과함을 명확히 한다.

이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다.

이에 대해 좀 더 상세히 후술하도록 한다.

사용자 특성을 통한 의류 제공 장치(10)를 구성하는 입력부(100)는 사용자로부터 영상을 수신받아 데이터를 입력한다. 구체적으로 입력부(100)로 수신된 데이터는 사용자로부터 입력된 신호에 따라, 2D 이미지 혹은 렌더링된 3D 이미지를 모두 수신될 수 있다.

저장부(200)는 입력부(100)에서 입력된 상기 데이터를 통해 상기 사용자의 가입 정보를 수집하고, 수집된 상기 가입 정보에 기초하여 이에 대응되는 구매 정보를 수집된 상기 가입 정보로부터 추출하여 저장하는 형태로 구현될 수 있다.

저장부(200)는 이미지 프로세싱을 통해 정확도가 높은 판단 결과를 얻기 위해, 최근에는 뉴럴 네트워크(Neural Network)를 사용하고 있다. 뉴럴 네트워크는 인간의 뉴럴 네트워크와 유사한 구조로 가지는 네트워크 구조로써, 딥 뉴럴 네트워크라고 명명되기도 한다.

뉴럴 네트워크는 Convolutional Neural Networks(CNN), Recurrent Neural Networks(RNN), Deep Belief Networks, Restricted Boltzman Machines, Generative Adversarial Network(GAN), 회귀 딥러닝 네트워크 등을 포함할 수 있으며, 상기 예시에 제한되지 않는다.

프레임워크부(300)는 프레임워크에 의해 제어되는 프로세스들 중 일부 또는 전부를 수행하거나, 추출하는 기능을 하며, 본 개시의 설명, 제안, 방법 및/또는 순서도를 수행하기 위한 명령어들을 포함하는 소프트웨어 코드를 저장 및/또는 수행할 수 있다.

프레임워크부(300)는 저장부(200) 전체 혹은 일부를 제어하며, 저장부(200)에 저장된 명령어를 실행하여 본 개시의 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 구현하도록 구성될 수 있다. 예를 들어, 프레임워크부(300)는 저장부(200)를 통해 신호를 수신하고, 신호에 포함된 정보를 저장부(200)에 저장할 수 있다. 또한, 프레임워크부(300)는 저장부(200)에 저장된 명령어에 기초하여 서비스를 제공할 수 있다. 또한, 프레임워크부(300)는 저장부(200)에 저장된 정보를 처리하여 신호를 생성한 뒤, 생성한 무선 신호를 전송할 수 있다.

프레임워크부(300)에 관해서는 도 3 내지 도 4를 참조하여 좀 더 상세히 후술하도록 한다.

제어부(400)는 프레임워크부(300)와 저장부(200) 사이에서 학습 결과를 해석하거나 관리하는 역할을 수행한다.

제어부(400)에 따른 결과를 상기 사용자에게 출력부(600)는 결과를 출력하는 형태로 구현될 수 있다.

각 구성부들에 대한 구분은 각 구성부가 담당하는 주 기능 별로 구분한 것에 불과함을 명확히 한다.

이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다.

도 3은 일 실시예에 따른 사용자 특성을 통한 의류 추천 장치(10)에서 사용자 특성을 통한 의류 추천 장치(10) 중 프레임워크부(300)를 설명하기 위한 블록도이다.

도 3을 참조하면, 본 발명에 따른 사용자 특성을 통한 의류 추천 장치(10)의 프레임워크부(300)는 외부 입력 모듈(310)과, 제1 이미지 생성 모듈(320)과, 제1 이미지 생성 모듈(330)과, 이미지 분류 모듈(340)을 포함하며, 상기 프레임워크부(300)는 모델통합 프로세스를 수행하는 형태로 구현될 수 있다.

외부 입력 모듈(310)은 공개 데이터로부터 최근 3개월 이내 업로드된 고화질 이미지를 수집하고, 상기 고화질 이미지로부터 의류 데이터만 선별하여 데이터셋으로 수집하고, 수집된 상기 데이터셋으로부터 상기 의류 데이터와 대응되는 상기 신체 정보를 수집하고, 수집된 상기 신체 정보에 기초하여 상기 의류 데이터를 식별하여 추출한다.

외부 입력 모듈(310)에서 수집된 업로드된 고화질의 공개 데이터는 인플루언서, 의류 모델 및 패션 모델로부터 수집된 데이터로, 저작권 문제가 없는 공개된 데이터로부터 입력받는 것을 특징으로 하되, 최근 3개월 이내에 업로드된 트렌드 양상에 맞춰진 의류를 추출하여 입력할 수 있다.

외부 입력 모듈(310)로 수집되는 공개 데이터는 세그맨테이션 네트워크를 통해 영상을 검출 받을 수 있다.

세그맨테이션 네트워크는 회귀 딥러닝 모델 기반의 영상 검출 방법으로, 회귀 딥러닝 모델에 객체 및 배경이 포함된 영상을 입력하는 단계 및 회귀 딥러닝 모델을 이용하여 영상에서 객체가 구분된 출력 영상을 생성하는 단계를 포함할 수 있다.

세그맨테이션 네트워크의 회귀 딥러닝 모델 구조는 컨볼루션 인코더, 디코더 딥러닝 네트워크를 사용할 수 있다.

상기 세그맨테이션 네트워크의 인코더 구조는 Resnet을 사용해 RGB 이미지가 입력되는 방식에 대해 설명하지만, 상기 예시에 제한되지 않는다.

상기 세그맨테이션 네트워크는 회귀 딥러닝 모델 중 픽셀 단위의 회귀 방식으로, 객체와 배경을 구분하여 같은 크기의 2차원 벡터 확률맵을 출력할 수 있다.

이는 별도의 카메라를 통해, 촬영된 영상 정보로부터 영상 정보가 분류되며, 상기 세그맨테이션 네트워크는 딥러닝 네트워크 알고리즘을 이용하여 분류된 영상 정보를 학습하여 생성된 네트워크 파라미터 정보가 저장된다.

또한 상기 영상 정보 및 이미지 정보를 분석할 때에는 2D 특징과 렌더링된 3D 특징을 모두 학습할 수 있다.

세그맨테이션 네트워크는 인코더와 디코더로 이루어진다.

인코더는 영상 크기를 줄여 나가면서 반복적으로 컨볼루션(convolution), 정규화(normalization), 활성화(activation) 계층으로 이루어져 각 계층을 통과하여 입력 영상을 대표하는 특징(edge, pattern, texture)을 추출하는 방법을 포함한다. 디코더는 인코더를 통해 추출된 특징을 사용하여 해당 화소를 분류한다. 또한, 디코더는 인코더로 들어온 영상의 크기를 줄였기 때문에 원본 영상과 동일한 크기를 제공하기 위하여 업-샘플링(up-sampling)하는 계층이 포함될 수 있다.

디코더는, 인코더에서 들어온 영상의 크기가 줄어들 때, 상세 정보를 보충하기 위해, 추상화 레벨은 낮지만 화소의 상세 변화 정보가 있는 특징을 제공할 수 있다.

다시 말해, 인코더에서 들어온 정보를 디코더에서 추출할 때, 디코더의 정보는 특정 위치의 화소를 분류하기 위한 콘텍스트(context) 정보와 각 화소 간의 상관 관계를 재구성하기 위한 정보를 모두 필요로 하지만, 이에 꼭 한정하지는 않는다.

상기 방식으로 수신된 외부 입력 모듈(310)로부터 수신된 데이터는 이후 사용자 특성을 통한 의류 추천 장치(10)의 저장부(200)에서 미리 결정된 기준에 따라 신경망 모델로 학습한 정보가 수신될 수 있다.

다시 말해, 저장부(200)로 수신된 정보는 분류 및 예측 알고리즘을 통해 학습된 정보일 수 있으며, 수신된 저장부(200)의 결과 정보가 저장된다.

즉, 저장부(200)에서 학습된 정보는 가중치 파라미터를 통해 저장부(200)로 전송되되, 신경망 모델의 갱신에는 직접 반영되지 않는 것을 방식으로 전송할 수 있으나 이에 꼭 한정하지는 않는다.

제1 이미지 생성 모듈(320)은 외부 입력 모듈(310)로부터 수신한 상기 신체 정보와 상기 신체 정보에 기반한 상기 의류 데이터를 RGB 채널, 마스크 채널 및/내지 스케치 채널로 스트라이드 컨볼루션 레이어를 통한 특징점을 반복적으로 부트-스트랩하여 획득한 의류 이미지를 생성한다.

이미지 분류 모듈(340)은 제1 이미지 생성 모듈(320)로부터 생성된 상기 의류 이미지가 동일한 그룹에 속하는 이미지인지 신경망 모델을 학습시키고, 학습된 상기 신경망 모델은 이미지에 따라 클러스터링 하여 해당 클러스터로 분류를 수행한다.

제2 이미지 생성 모듈(330)은 저장부(200)에 저장된 사용자 가입 정보에 기반한 상기 구매 정보와 상기 구매 정보에 기반한 상기 의류 데이터를 RGB 채널, 마스크 채널 및/내지 스케치 채널로 스트라이드 컨볼루션 레이어를 통한 특징점을 부트-스트랩하여 새로운 의류 이미지를 생성한다.

이미지 검증 모듈(350)은 제2 이미지 생성 모듈(330)로부터 생성된 새로운 의류 이미지가 제1 이미지 생성 모듈(320)의 의류 이미지와 얼마나 차이가 나는지 검증을 수행한다.

도 4는 본 발명의 일 실시예에 따른 사용자 특성을 통한 의류 추천 장치(10)에서 사용자 특성을 통한 의류 추천 장치(10) 중 프레임워크부(300)에서 수행하는 모델 통합 프로세스의 전체 흐름을 나타내는 플로우 차트이다.

도 4를 참조하면, 본 발명에 따른 사용자 특성을 통한 의류 추천 장치(10)에서 프레임워크부(300)의 모델 통합 프로세스의 전체 흐름은 5개의 단계를 포함할 수 있다.

이와 같은 프레임워크부(300)에서 동작하는 모델 통합 프로세스 방법은 외부 입력 모듈(310)과, 제1 이미지 생성 모듈(320)과, 제1 이미지 생성 모듈(330) 과 이미지 분류 모듈(340) 및 사용자 단말(15)을 포함하는 사용자 특성을 통한 의류 추천 장치(10)에 의해 구현된다.

본 발명에 따른 프레임워크부(300)에서 동작하는 모델 통합 프로세스 방법의 S100 단계에서, 공개 데이터로부터 신체 데이터 및 의류 데이터를 획득한다.

본 발명에 따른 프레임워크부(300)에서 동작하는 모델 통합 프로세스 방법의 S110 단계에서, 신체영역 이미지 및 의류영역 이미지를 전처리한다.

본 발명에 따른 프레임워크부(300)에서 동작하는 모델 통합 프로세스 방법의 S120 단계에서, 전처리결과를 패션 특징 추출 모델에 입력하여 마스크 이미지를 생성한다.

본 발명에 따른 프레임워크부(300)에서 동작하는 모델 통합 프로세스 방법의 S130 단계에서, 마스크 이미지와 새로운 이미지와의 차이를 판별하고, 새로운 이미지를 생성한다.

본 발명에 따른 프레임워크부(300)에서 동작하는 모델 통합 프로세스 방법의 S140 단계에서, 이미지 분류 모듈에서 매핑된 클러스터의 딥러닝 추천 모델을 사용자에게 출력한다.

본 발명에 따른 프레임워크부(300)에서 동작하는 모델 통합 프로세스 방법에 대해 자세히 후술하도록 하겠다.

프레임워크부(300)에서 동작하는 모델 통합 프로세스 방법에서 전처리 단계인 S110 단계는 저장부(200)로부터 비교 분석을 위해 수집한 이미지 데이터를 수치형 데이터 및 범주형 데이터로 범주 크기를 구분하여 데이터 불균형을 해소하고, 수치형 데이터 및 상기 범주형 데이터를 스케일링하는 특징을 제공한다. 전처리 단계(S110)는 수치형 데이터 및/또는 범주형 데이터의 분포를 불균형 유무를 검출하는 데이터 분석을 수행하고, 샘플링 기법에 기초하여 수치형 데이터 및 범주형 데이터의 표본은 채널별로 추출하여 표본을 제어하는 특징을 제공할 수 있다. 여기에서 채널은 RGB 채널, 마스크 채널 및 스캐치 채널을 입력으로 하여 스트라이드 컨볼루션 레이어를 통해 패치의 특징을 추출하나, 이에 꼭 한정하지는 않는다.

여기에서 샘플링 기법은 비지도 학습(Unsupervised Learning)으로, 모델이 입력 패턴의 통계적 구조를 학습하는 방식 즉, 특정 입력 패턴을 분류하는 법을 학습하는 기법이다. 지도 학습(Supervised Learning)과 강화 학습(Reinforcement Learning)과는 다르게, 예측 값에 대한 보상이나 해당 문제에 대한 정답을 입력으로 받지 않고 입력에 대한 답을 찾기보다는 입력의 구조적인 특성이나 서로 다른 입력들 사이의 관계를 찾는 데에 사용된다.

S110 단계는 제2 이미지 생성 모듈(330)에서 추출한 사용자 의류 이미지로부터 신체 특징점을 검출하여 신체 영역으로 자르고 정렬하고, 상기 잘린 신체 영역의 이미지를 세분화하는 세그맨테이션 네트워크를 수행하고, 상기 사용자 의류 이미지에 대한 부분 이미지를 함께 추출하는 프로세스를 더 포함할 수 있다.

S120 단계는, S110 단계에서 추출된 상기 의류 이미지 내에 지워진 영역만을 포함하여 마스크 이미지를 생성하는 마스크 이미지 생성 단계이다.

S130 단계에서는, 적대적 생성 신경망(GAN)을 이용하여 상기 마스크 이미지 내에서 지워진 영역에 합성될 이미지를 상기 제1 이미지 생성 모듈(320)의 상기 새로운 의류 이미지와 얼마나 다른지 판별하고, 의류 이미지 내에 상기 지워진 영역에 합성하여 새로운 이미지를 생성하는 단계를 모두 포함할 수 있다.

S130 단계에서는, 이미지 판별 전, 상기 마스크 이미지 내에서 지워진 영역에 합성될 이미지와 상기 제1 이미지 생성 모듈(320)의 상기 새로운 의류 이미지의 유사점수를 먼저 산출할 수 있다.

보다 상세하게, 유사점수는 마스크 이미지 내에서 지워진 영역에 합성될 이미지와 상기 제1 이미지 생성 모듈(320)의 상기 새로운 의류 이미지의 속성을 기초로 하기 수학식 3에 의해 유사점수를 산출할 수 있다. 여기서 속성은 색상, 채도, 의류 재질, 종류 등일 수 있다.

[수학식 3]

수학식 3을 참조하면, 유사점수(SS)는 각 속성 사이의 유사도(Sa)와 가중치(Ma) 사이의 곱을 모든 속성들(1 이상 n 이하의 개수를 갖는 속성, a으로 표시)에 대하여 산출하고, 산출된 값을 모든 속성들에 대한 가중치(Ma)의 합으로 나눈 값일 수 있다.

수학식 3에서, 가중치(Ma)는 이미지 간 동일한 속성이 있는 경우 1이고, 없는 경우 0 일 수 있다.

속성 사이의 유사도(Sa)는 비교하고자 하는 2개의 속성이 서로 동일한 범주에 속하면 1이고, 속하지 않으면 0일 수 있다. 예를 들어, 이미지에서 의류의 색상이 동일하면 1이고 동일하지 않으면 0일 수 있다.

한편, 적대적 생성 신경망(GAN)의 목적함수는 하기 [수학식 4]와 같고 이에 기반하여 이미지를 판별할 수 있다.

[수학식 4]

여기서, V(G,D)는 변수 D와 G에 대한 minmax를 해결하는 가치 함수(value function)이며, E는 기대값으로서 는 속하는 x라는 데이터들의 기대값이 된다. D(x)는 x에 대한 판별기이며, G(z)는 잠재변수 z에 대한 생성기이다.

GAN의 목적 함수를 살펴 보면, D가 V(D,G)를 최대화하는 관점에서 보면 의 확률분포이고, x는 그 중 샘플링 데이터이다. 판별자 D는 출력이 실제 데이터가 들어오면 1에 가깝게 확률을 추정하고, 생성자 G가 만들어 낸 가짜 데이터가 들어오면 0에 가깝게 한다. 따라서, 로그를 사용했기 때문에 실제 데이터라면 최댓값인 0에 가까운 값이 나오고, 가짜 데이터라면 무한대로 발산하기 때문에 V(D,G)를 최대화하는 방향으로 학습하게 된다. 생성자 G 부분인 오른쪽 부분이 V(D,G)를 최소화하는 관점에서 보면, 는 보통 정규분포로 사용 하는 임의의 노이즈 분포이고 z는 노이즈 분포에서 샘플링한 것이다. 이 입력을 생성자 G에 넣어 만든 데이터를 판별자 D가 진짜로 판별하면 이기 때문에, 는 1이며, D가 가짜로 판별하면 는 0 이기 때문에 는 0에 가까운 최댓값이 나오게 될 것이다. 따라서, G는 V(D,G)에 있어서 G는 이를 최소화하는 방향으로 D는 최대화하는 방향으로 간다.

S130 단계에서 마스크 이미지 내에서 지워진 영역에 합성될 이미지와 새로운 의류 이미지와 얼마나 다른지 판별하는 판별 단계는, 수집된 데이터셋에 포함된 상기 마스크 이미지 내에서 지워진 영역의 픽셀 값과 상기 의류 이미지와 상기 새로운 의류 이미지 사이의 픽셀 값의 차이를 이용하여 정의된 손실함수를 통해 학습할 수 있다.

S130 단계인 이미지 판별 단계는 제2 이미지 생성 모듈(330)로부터 생성된 상기 새로운 의류 이미지가 상기 제1 이미지 생성 모듈(320)의 상기 의류 이미지와 얼마나 차이가 나는지 검증을 수행하되, [수학식 1]에 기반하여 산출하고,

[수학식 1]

는 상기 새로운 의류 이미지와 상기 의류 이미지의 차이를 의미하고, 는 상기 스트라이드 컨볼루션 레이어를 통해 미리 학습되어 있는 VGG16의 된 p 번째 레이어의 특징을 의미하며, 은 제2 이미지 생성 모듈(330)의 새로운 의류 이미지를 의미하고, 는 제1 이미지 생성 모듈(320)의 의류 이미지를 의미하고, 새로운 의류 이미지 및 상기 의류 이미지의 서로 다른 영역만을 추출하여 계산하되, 거리가 가까울수록 손실 값은 낮아지는 방향으로 인공신경망의 가중치가 학습되도록 손실 함수 값은 최소가 되도록 학습할 수 있다.

[수학식 2]

[수학식 2]에서 는 S110 단계에서 반복 학습을 통해 정의한 하이퍼 파라미터로, 1, 1, 0.001, 1로 설정하였으나, 꼭 이에 한정하지 않는다.

상기 [수학식 2]에서 는 Reconstruction loss, 는 style loss.

`` 은 Hinge Loss가 적용된 GAN의 손실함수를 의미한다.

은 [수학식1]과 같은 값으로, De-identification Loss로 원본 영상 및 생성 영상과 다른 마스크 영역만을 추출하여 비교하여 계산되며, 비교를 위해 사전 훈련된 VGG16을 사용하여 각 이미지에서 특징 벡터를 추출하고 추출된 특징 벡터 간의 차이를 계산하여 구해질 수 있다.

S140 단계에서는, S130 단계에서 생성된 새로운 이미지를 이미지 분류 모듈의 상기 클러스터에 매핑하고, 상기 매핑된 클러스터의 정보를 상기 사용자에게 출력할 수 있다.

도 5 및 도 6은 S110 단계를 자세히 나타내는 플로우 차트이다.

도 5는 본 발명의 일 실시예에 따른 사용자 특성을 통한 의류 추천 장치에서 사용자 특성을 통한 의류 추천 장치 중 프레임워크부에서 수행하는 모델 통합 프로세스 중 전처리 단계를 자세히 나타내는 플로우 차트이다.

도 6은 도 5에서 도시화한 사용자 특성을 통한 의류 추천 장치에서 프레임워크부에서 수행한 모델 통합 프로세스 중 전처리 단계를 통해 신체 특징점을 추출한 결과값이다.

도 5를 참조하면, S100 단계에서 공개 데이터로부터 업로드된 고화질 영상을 획득할 수 있다.

도 5 및 도 6을 참조하면, S110-1 단계로부터, S100 단계에서 수신한 신체 정보와 상기 신체 정보에 기반한 의류 데이터를 RGB 채널, 마스크 채널 및/내지 스케치 채널로 입력하여 스트라이드 컨볼루션 레이어를 통한 특징점을 반복적으로 부트-스트랩하여 수정할 수 있다.

다시 말해, 스트라이드 컨볼루션 레이어를 통한 특징점을 반복적으로 부트-스트랩하여 수정함으로써, 모델의 정확성과 견고성 향상시킬 수 있다.

공개 데이터로부터 업로드된 고화질 영상을 획득한 후, 캡쳐한 이미지에서 사람을 인식하고, 특징점을 검출하기 위해 GOOGLE의 Mediapipe를 사용하였으나 이에 한정하지는 않는다.

정확한 특징점을 추출하기 위해 신체적 특징점은 GOOGLE의 Mediapipe를 이용하여 2D의 이미지 혹은 렌더링된 3D 이미지에서 468개의 점을 추출한 뒤 그 중 중요한 특징점을 나타내는 33개의 특징점을 추출하였다. 선별한 특징점의 예에는 양쪽 어깨의 값을 이용해 양쪽 어깨의 사이의 중점을 구하고, 특징점 간 거리, 각도를 계산한 값과 특징점의 검출 유무를 통해 신체 정보 등을 선별할 수 있다.

다만, 이는 하나의 예에 불과할 뿐, 이에 한정하는 것은 아니며, 다양한 방법을 통해 구현될 수 있다.

상술한 구성에 의해, S110-1 단계는, 상기 S100 단계에서 수신받은 영상으로부터 다양한 영상을 수신받을 수 있으며, 영상에서 사람에 해당하는 하나 이상의 객체를 식별하고, 상기 하나 이상의 객체 각각에서 영상 분석을 통해 신체 영역을 식별한 후 해당 신체 영역을 추출하여 상기 추출된 신체 영역으로 구성된 원본 이미지를 생성할 수 있다.

상기 전처리 단계(S110-1) 및 S110 단계에서 미리 설정된 영상 분석 알고리즘을 이용하여 전경과 배경을 분리하고, 전경에 해당하는 객체를 식별할 수 있다.

상기 영상에 배경 모델링을 위한 다양한 영상 분석 알고리즘을 적용할 수 있으며, 일례로 차분영상 방법, GMM(Gaussian Mixture Models)을 이용하는 MOG(Model of Gaussian) 알고리즘, 코드북(Codebook) 알고리즘 등을 적용할 수 있다.

상기 프로세스가 적용되는 프레임워크부(300)는, 영상에서 식별된 하나 이상의 객체 중에서 사람에 해당되는 객체를 식별하기 위해, 특징 정보 추출을 위한 특징 추출 알고리즘이 미리 설정되어 해당 특징 추출 알고리즘을 통해 상기 식별 된 하나 이상의 객체 각각에 대해 특징 정보를 추출하고, 상기 추출된 특징 정보를 사람에 해당하는 객체의 식별을 위해 미리 설정된 기준 특징 정보와 비교하여 상기 식별된 하나 이상의 객체 중에서 사람에 해당되는 객체를 식별할 수 있다.

상기 특징 추출 알고리즘의 일례로, SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient), Haar feature, Ferns 등과 같은 특징 정보 추출을 위한 알고리즘이 이용될 수 있다.

이하 설명에서 사용되는 객체는 상기 사람에 해당되는 객체를 의미할 수 있다.

사용자 특성을 통한 의류 추천 장치(10) 중 프레임워크부(300)와 저장부(200) 사이에서 학습 결과를 해석하거나 관리하는 제어부(400)는 프레임워크부(300) 및 저장부(200) 전체 혹은 일부를 제어하며, 프레임워크부(300)에 저장된 명령어를 실행하여 본 개시의 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 구현하도록 구성될 수 있다. 예를 들어, 프레임워크부(300)는 인터페이스를 통해 신호를 수신하고, 신호에 포함된 정보를 저장부(200)에 저장할 수 있다.

*이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.

또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

1 : 사용자 특성을 통한 의류 추천 시스템
10 : 사용자 특성을 통한 의류 추천 장비
15 : 사용자 단말
100 : 입력부
200 : 저장부
300 : 프레임워크부
310 : 외부 입력 모듈
320 : 제1 이미지 생성 모듈
330 : 제2 이미지 생성 모듈
340 : 이미지 분류 모듈
350 : 이미지 검증 모듈
400 : 제어부
500 : 네트워크부
600 : 출력부

Claims (3)

1. 사용자로부터 영상을 수신받아 데이터를 입력하는 입력부;
   상기 입력부에서 입력된 상기 데이터를 통해 상기 사용자의 가입 정보를 수집하고, 수집된 상기 가입 정보에 기초하여 이에 대응되는 구매 정보를 수집된 상기 가입 정보로부터 추출하여 저장하는 저장부;
   상기 저장부에서 저장된 데이터와 모델 통합 프로세스를 수행하는 프레임워크부;
   상기 프레임워크부와 상기 저장부 사이에서 학습 결과를 해석하거나 관리하는 제어부; 및
   상기 사용자에게 상기 제어부에 따른 결과를 출력하는 출력부;를 포함하고,
   상기 프레임워크부는,
   공개 데이터로부터 최근 3개월 이내 업로드된 고화질 이미지를 수집하고, 상기 고화질 이미지로부터 의류 데이터만 선별하여 데이터셋으로 수집하고, 수집된 상기 데이터셋으로부터 상기 의류 데이터와 대응되는 신체 정보를 수집하고, 수집된 상기 신체 정보에 기초하여 상기 의류 데이터를 식별하여 추출하는 외부 입력 모듈;
   상기 외부 입력 모듈로부터 수신한 상기 신체 정보와 상기 신체 정보에 기반한 상기 의류 데이터를 RGB 채널, 마스크 채널 및/내지 스케치 채널로 스트라이드 컨볼루션 레이어를 통한 특징점을 반복적으로 부트-스트랩하여 획득한 의류 이미지를 생성하는 제1 이미지 생성 모듈;
   상기 제1 이미지 생성 모듈로부터 생성된 상기 의류 이미지가 동일한 그룹에 속하는 이미지인지 신경망 모델을 학습시키고, 학습된 상기 신경망 모델은 이미지에 따라 클러스터링 하여 해당 클러스터로 분류를 수행하는 이미지 분류 모듈;
   상기 저장부에 저장된 상기 사용자 가입 정보에 기반한 상기 구매 정보와 상기 구매 정보에 기반한 상기 의류 데이터를 RGB 채널, 마스크 채널 및/내지 스케치 채널로 스트라이드 컨볼루션 레이어를 통한 특징점을 부트-스트랩하여 새로운 의류 이미지를 생성하는 제2 이미지 생성 모듈; 및
   상기 제2 이미지 생성 모듈로부터 생성된 상기 새로운 의류 이미지가 상기 제1 이미지 생성 모듈로부터 생성된 상기 의류 이미지와 얼마나 차이가 나는지 검증을 수행하는 이미지 검증 모듈;을 더 포함하고,
   상기 프레임워크부에서 수행하는 상기 모델 통합 프로세스는,
   상기 의류 이미지로부터 신체 특징점을 검출하여 신체 영역으로 자르고 정렬하되, 상기 잘린 신체 영역의 이미지를 세분화한 뒤, 상기 의류 이미지에 대한 부분 이미지를 함께 추출하는 전처리 단계;
   상기 전처리 단계에서 추출된 상기 의류 이미지 내에 지워진 영역만을 포함하여 마스크 이미지를 생성하는 마스크 이미지 생성 단계;
   적대적 생성 신경망(GAN)을 이용하여 상기 마스크 이미지 내에서 지워진 영역에 합성될 이미지를 상기 새로운 의류 이미지와 얼마나 다른지 판별하는 이미지 판별 단계;
   상기 이미지 판별 단계에서의 결과값을 상기 의류 이미지 내에 지워진 영역에 합성하여 새로운 이미지를 생성하는 이미지 생성 단계; 및
   상기 이미지 생성 단계에서 생성된 상기 새로운 이미지를 상기 이미지 분류 모듈의 상기 클러스터에 매핑하고, 상기 매핑된 클러스터의 정보를 상기 사용자에게 출력하는 이미지 출력 단계;를 포함하고,
   상기 전처리 단계는,
   상기 마스크 채널, 상기 스케치 채널, 상기 RGB 채널로부터 각각 입력 값을 설정하고, 상기 설정된 입력 값으로부터 특징맵을 추출하고,
   상기 이미지 판별 단계는,
   상기 수집된 데이터셋에 포함된 상기 마스크 이미지 내에서 지워진 영역의 픽셀 값과 상기 의류 이미지와 상기 새로운 의류 이미지 사이의 픽셀 값의 차이를 이용하여 정의된 손실함수를 통해 학습하는 것을 특징으로 하고,
   상기 이미지 판별 단계는,
   상기 제2 이미지 생성 모듈로부터 생성된 상기 새로운 의류 이미지가 상기 제1 이미지 생성 모듈의 상기 의류 이미지와 얼마나 차이가 나는지 검증을 수행하 되 [수학식 1]에 기반하여 산출하고,
   [수학식 1]
   상기 [수학식 1]에서 는 상기 새로운 의류 이미지와 상기 의류 이미지의 차이를 의미하고, 는 상기 스트라이드 컨볼루션 레이어를 통해 미리 학습된 p 번째 레이어를 의미하고, 은 상기 제2 이미지 생성 모듈의 상기 새로운 의류 이미지를 의미하고, 은 상기 제1이미지 생성 모듈의 상기 의류 이미지를 의미하고,
   상기 새로운 의류 이미지 및 상기 의류 이미지의 서로 다른 영역만을 추출하여 계산하되, 수신되는 손실함수의 결과값이 최소가 되도록 학습하는 것을 특징으로 하고,
   상기 이미지 판별 단계에서는,
   이미지 판별 전, 상기 마스크 이미지 내에서 지워진 영역에 합성될 이미지와 상기 제2 이미지 생성 모듈의 상기 새로운 의류 이미지의 속성을 기초로 [수학식 3]에 기반하여 유사점수를 산출하고,
   [수학식 3]
   상기 [수학식 3]에서, 유사점수(SS)는 각 속성 사이의 유사도(Sa)와 가중치(Ma) 사이의 곱을 모든 속성들(1 이상 n 이하의 개수를 갖는 속성, a로 표시)에 대하여 산출하고, 산출된 값을 모든 속성들에 대한 가중치(Ma)의 합으로 나눈 값을 의미하고,
   적대적 생성 신경망(GAN)의 목적함수는 하기 [수학식 4]와 같고 이에 기반하여 이미지를 판별하고,
   [수학식 4]
   V(G,D)는 변수 D와 G에 대한 minmax를 해결하는 가치 함수(value function)이며, E는 기대값으로서 는 속하는 x라는 데이터들의 기대값이고, D(x)는 x에 대한 판별기이며, G(z)는 잠재변수 z에 대한 생성기를 의미하는,
   사용자 특성을 통한 의류 추천 장치.
   
2. 삭제
3. 삭제