KR20210123872A - 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치 및 방법 - Google Patents

Abstract

본 발명은 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치 및 방법에 관한 것으로서, 더욱 상세히는 영상에서 딥러닝 기반으로 사람에 해당하는 객체를 인식하고, 해당 객체에서 의류 영역과 관절 구조를 추출한 후 사용자에게 최적화된 의류를 추천할 수 있는 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치 및 방법에 관한 것이다. 본 발명은 영상에 나타난 사람에 해당하는 객체에서 의류로 식별된 영역과 객체의 관절 구조에 따른 자세 및 상기 객체가 착용한 의류에 대한 상품을 학습하여 다양한 객체의 자세에서 영상에 나타나는 의류 상품의 형태를 기초로 의류 상품과 연관된 상품 정보를 파악할 수 있는 기준 상품 정보를 산출하도록 딥러닝 기반으로 학습할 수 있으며, 이를 통해 사용자가 상품 추천 요청을 위해 입력한 영상에서 사용자가 추천을 요청하는 의류가 착용된 상태인 객체의 자세와 연관지어 상기 의류가 가지는 특성을 분석하고 이를 기반으로 해당 특성과 가장 유사한 특성을 가지는 상품을 선별하여 사용자에게 추천할 수 있으므로, 객체의 자세를 고려하여 추천을 요청하는 의류 상품의 정확한 특성을 파악하고 해당 특성을 기반으로 추천 상품을 선정하여 추천 상품의 정확도를 높일 수 있을 뿐만 아니라 사용자의 취향이 반영된 정확한 상품을 추천할 수 있다.

Description

영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치 및 방법{Service providing apparatus and method for providing fashion information based on image analysis}

본 발명은 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치 및 방법에 관한 것으로서, 더욱 상세히는 영상에서 딥러닝 기반으로 사람에 해당하는 객체를 인식하고, 해당 객체에서 의류 영역과 관절 구조를 추출한 후 사용자에게 최적화된 의류를 추천할 수 있는 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치 및 방법에 관한 것이다.

현재 정보통신 기술의 발전과 더불어 다양한 상품을 온라인 쇼핑몰과 같은 온라인 마켓 시장이 급격히 발전하고 있으며, 이에 따라 판매자들은 점차 상품을 온라인 마켓을 통해 판매하는 사례가 늘고 있다.

이러한 상품의 온라인 판매를 위해 판매자들은 판매 상품과 관련된 상품 이미지와 판매 상품의 종류, 판매 상품의 판매 대상 등과 같은 다양한 데이터를 포함하는 상품 정보를 생성하여 온라인 마켓에 등록하게 되는데, 온라인 마켓의 급격한 발전과 더불어 이러한 상품 정보가 기하급수적으로 증가하고 있다.

특히, 패션과 관련된 온라인 마켓 시장은 유행에 민감하여 대중이 요구하는 상품의 변화가 시시각각 변화하는 분야로서, 패션 분야에서 두각을 나타내기 위해서는 이러한 빅데이터의 활용이 무엇보다도 중요시되고 있고 있을 뿐만 아니라 다른 분야에 비해서 지속적으로 단기간에 수많은 상품이 출시되므로 빅데이터 분석을 위한 정보량 역시 충족되는 분야이다.

또한, 이러한 온라인 마켓 뿐만 아니라 SNS의 활성화와 더불어 사용자가 다양한 상품 정보를 SNS를 통해 공유하면서 기존 상품 정보와 연계하여 새로운 상품 정보가 지속적으로 사용자를 통해 생산되어 웹을 통해 게시됨으로써 상품 정보의 형태 또한 다양하게 제공되고 있다.

따라서, 최근 딥러닝 기반으로 이러한 상품 정보를 학습하여 사용자가 요구하는 최적화된 패션 관련 상품을 추천하고자 하는 다양한 시스템이 등장하고 있으나, 기존의 시스템은 사용자가 검색한 이미지에 포함된 상품 객체와 유사한 상품을 추천하는 과정에서 사용자의 체형을 고려하지 않고 상품 객체의 분석에 치중하여 상품을 추천함으로써 패션 관련 추천 상품에 대한 만족도가 떨어지는 문제가 있다.

한국공개특허 제10-2019-0142526호

본 발명은 영상에 나타난 사람에 해당하는 객체에서 의류로 식별된 영역과 객체의 관절 구조에 따른 자세 및 상기 객체가 착용한 의류에 대한 상품 사이의 상관관계를 학습하고, 이러한 상관관계를 기초로 사용자가 상품 추천을 요청하기 위해 입력한 사용자 입력 영상에 나타난 객체의 자세와 객체가 착용한 의류과 관련도가 높은 상품을 추천함으로써, 사용자 입력 영상에 나타난 객체의 자세에서 사용자가 마음에 든 상품의 특성이 반영된 상품들이 선별되어 추천되도록 하여 사용자가 마음에 든 상품과 유사한 상품들을 제공할 수 있어 사용자의 만족도를 높일 수 있도록 하는데 그 목적이 있다.

본 발명의 실시예에 따른, 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치는, 영상을 수신하는 영상 수신부와, 상기 영상 수신부를 통해 수신된 영상에서 딥러닝 기반으로 사람에 해당되는 객체의 의류 영역을 추출하기 위한 딥러닝 기반 제 1 알고리즘을 통해 객체의 의류 영역을 추출하는 의류 추출부와, 상기 영상 수신부를 통해 수신된 영상에서 딥러닝 기반으로 사람에 해당되는 객체와 관절 구조를 분석하는 딥러닝 기반 제 2 알고리즘을 통해 객체의 관절 구조에 대한 관절 구조 정보를 생성하는 관절 분석부와, 상기 의류 추출부로부터 제공되는 의류 영역 및 상기 관절 분석부로부터 제공되는 상기 관절 구조 정보가 포함된 착용 정보를 생성하고, 상기 의류 영역에 대응되는 상품 정보와 상기 착용 정보를 매칭하여 DB에 저장하는 상품 관리부 및 상기 착용 정보 및 상품 정보 사이의 상관관계가 학습되어 미리 설정된 제 3 알고리즘에 상기 영상 수신부를 통해 수신된 사용자 입력 영상으로부터 상기 의류 추출부 및 관절 분석부를 통해 얻어진 의류 영역 및 관절 구조 정보를 포함하는 검색 정보를 적용하여 추천 상품의 기준이 되는 기준 상품 정보를 산출하고, 상기 기준 상품 정보를 기초로 상기 DB를 검색하여 상기 기준 상품 정보와 미리 설정된 기준치 이상 유사하여 선택된 하나 이상의 상품 정보를 추천 상품 정보로 제공하는 추천부를 포함할 수 있다.

본 발명과 관련된 일 예로서, 상기 추천부는 상기 기준 상품 정보를 구성하는 하나 이상의 속성별 파라미터를 기준으로 상기 DB에 저장된 상품별 상품 정보와 상기 기준 상품 정보 사이의 유사도를 판단하고, 상기 유사도가 미리 설정된 기준치 이상인 하나 이상의 상품 정보를 추출하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 하나 이상의 속성은, 의류 종류, 치수, 색상, 가격 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 영상은 이미지인 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 상품 관리부는, 상기 관절 구조 정보에 대응되는 객체의 신체 정보를 수신하여 상기 관절 구조 정보에 포함시키며, 상기 추천부는, 상기 신체 정보가 포함된 관절 구조 정보를 포함하는 착용 정보와 상품 정보 사이의 상관관계가 상기 제 3 알고리즘에 학습되도록 하고, 상기 추천부는, 상기 영상 수신부를 통해 사용자 입력 영상이 포함된 추천 요청 정보를 수신하고, 상기 추천 요청 정보를 기초로 검색한 회원 정보에 포함된 신체 정보를 상기 사용자 입력 영상에 대응되어 얻어진 상기 검색 정보의 관절 구조 정보에 포함시켜 상기 제 3 알고리즘에 적용하고, 상기 제 3 알고리즘을 통해 상기 검색 정보에 따른 신체치수와 자세 및 의류 종류에 대응되는 기준 상품 정보를 산출하고, 상기 기준 상품 정보를 기초로 상기 DB를 검색하여 하나 이상의 추천 상품 정보를 제공하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 추천부는 상기 추천 상품 정보에 포함된 상품 이미지를 상기 신체 정보에 맞추어 변형한 후 상기 사용자 입력 영상에 대응되어 얻어진 상기 관절 구조 정보에 맞추어 상기 상품 이미지의 자세 및 크기 중 적어도 하나를 변경하여 생성한 최종 이미지를 상기 사용자 입력 영상의 상기 객체에 합성하여 합성 영상을 생성하고, 상기 합성 영상을 제공하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 추천부는 신경망 모델인 판별 모델과 생성 모델을 포함하여 구성되며, 상기 생성 모델에 의류를 착용한 상태의 객체를 촬영한 실제 영상을 학습시켜 상기 생성 모델에서 상기 실제 영상과 유사한 가상 영상을 생성하도록 상기 생성 모델을 학습시키고, 상기 판별 모델에 상기 실제 영상을 학습시켜 상기 생성 모델에서 생성하는 상기 가상 영상의 오류 여부를 판정하도록 상기 판별 모델을 학습시켜 상기 가상 영상에 대한 상기 판별 모델의 판정 결과를 상기 생성 모델에 학습시키며, 학습이 완료된 상기 생성 모델에 상기 합성 영상을 적용하여 상기 생성 모델을 통해 상기 합성 영상을 실제 영상과 유사하도록 보정한 상기 가상 영상인 보정 영상을 생성하여 제공하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 상품 관리부는 상기 영상 수신부를 통해 수신된 영상에 대응되는 상기 착용 정보 및 상품 정보를 상기 영상과 매칭하여 상기 DB에 저장하고, 특정 상품 정보에 대응되는 의류가 복수의 서로 다른 영상 각각의 영상 내 상기 의류 영역으로 포함된 경우 상기 특정 상품 정보를 복수의 서로 다른 영상과 각각 중복 매칭하여 저장하며, 상기 추천부는 상기 기준 상품 정보의 산출에 이용된 검색 정보에서 관절 구조 정보를 기준 구조 정보로 추출하고, 상기 기준 상품 정보에 대응되는 추천 상품 정보와 매칭되어 상기 DB에 저장된 하나 이상의 착용 정보 중 상기 기준 구조 정보와 유사도가 미리 설정된 기준치 이상이거나 일치하는 관절 구조 정보가 포함된 착용 정보를 식별하며, 상기 식별된 착용 정보와 매칭되어 상기 DB에 저장된 영상을 추출한 후 상기 선택된 추천 상품 정보와 매칭하여 추천 영상으로 제공하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 추천부는 상기 사용자 입력 영상에서 사람에 해당되는 복수의 객체가 식별된 경우 상기 복수의 객체별 객체 식별 정보를 포함하는 추천 대상 지정을 요청하기 위한 추천 대상 지정 요청 정보를 사용자 입력을 수신하는 사용자 인터페이스부에 전송하고, 상기 사용자 인터페이스부로부터 상기 복수의 객체 중 사용자 입력에 따라 선택된 객체에 대한 객체 선택 정보 수신시 상기 객체 선택 정보에 대응되는 특정 객체에 대해 의류 영역과 관절 구조 정보가 생성되도록 상기 의류 추출부 및 관절 분석부를 제어하는 것을 특징으로 할 수 있다.

본 발명의 실시예에 따른, 서비스 제공 장치의 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 방법은, 영상을 수신하고, 상기 수신된 영상에서 딥러닝 기반으로 사람에 해당되는 객체의 의류 영역을 추출하기 위한 딥러닝 기반 제 1 알고리즘을 통해 객체의 의류 영역을 추출하는 단계와, 상기 수신된 영상에서 딥러닝 기반으로 사람에 해당되는 객체와 관절 구조를 분석하는 딥러닝 기반 제 2 알고리즘을 통해 객체의 관절 구조에 대한 관절 구조 정보를 생성하는 단계와, 상기 의류 영역 및 상기 관절 구조 정보가 포함된 착용 정보를 생성하고, 상기 의류 영역에 대응되는 상품 정보와 상기 착용 정보를 매칭하여 미리 설정된 제 3 알고리즘에 학습시키는 단계 및 상기 착용 정보와 상품 정보 사이의 상관관계가 학습된 상기 제 3 알고리즘에 사용자 입력 영상으로부터 상기 제 1 및 제 2 알고리즘을 통해 얻어진 의류 영역 및 관절 구조 정보를 포함하는 검색 정보를 적용하여 추천 상품의 기준이 되는 기준 상품 정보를 산출하고, 상기 기준 상품 정보를 기초로 상품 정보가 저장된 DB를 검색하여 상기 기준 상품 정보와 미리 설정된 기준치 이상 유사하여 선택된 하나 이상의 상품 정보를 추천 상품 정보로 제공하는 단계를 포함할 수 있다.

본 발명은 영상에 나타난 사람에 해당하는 객체에서 의류로 식별된 영역과 객체의 관절 구조에 따른 자세 및 상기 객체가 착용한 의류에 대한 상품을 학습하여 다양한 객체의 자세에서 영상에 나타나는 의류 상품의 형태를 기초로 의류 상품과 연관된 상품 정보를 파악할 수 있는 기준 상품 정보를 산출하도록 딥러닝 기반으로 학습할 수 있으며, 이를 통해 사용자가 상품 추천 요청을 위해 입력한 영상에서 사용자가 추천을 요청하는 의류가 착용된 상태인 객체의 자세와 연관지어 상기 의류가 가지는 특성을 분석하고 이를 기반으로 해당 특성과 가장 유사한 특성을 가지는 상품을 선별하여 사용자에게 추천할 수 있으므로, 객체의 자세를 고려하여 추천을 요청하는 의류 상품의 정확한 특성을 파악하고 해당 특성을 기반으로 추천 상품을 선정하여 추천 상품의 정확도를 높일 수 있을 뿐만 아니라 사용자의 취향이 반영된 정확한 상품을 추천할 수 있다.

또한, 본 발명은 객체의 자세에서 의류가 보여지는 형태를 학습하므로, 서로 다른 상품별로 동일한 객체의 자세에서 보여지는 형태를 상호 비교할 수 있고, 이를 통해 특정 자세에서 추천 요청 대상인 상품과 가장 유사하게 영상에 보여지는 특성을 가진 상품을 추천 대상으로 선정하여 추천할 수 있어, 추천 상품에 대한 정확도를 높일 수 있다.

본 발명은 사용자 입력 영상에 포함된 객체에 추천 상품의 상품 이미지를 합성한 합성 영상을 딥러닝 기반으로 보정하여 사용자 입력 영상에 포함된 사용자가 지정한 객체가 상품 이미지에 대응되는 의류를 실제 착용한 상태를 촬영한 실제 영상과 차이가 미미한 고품질의 합성 영상을 제공할 수 있으며, 이를 통해 사용자가 제시한 사용자 입력 영상을 통해 사용자가 지정한 객체에 대한 추천 상품의 실제 착용 상태를 확인 가능하도록 제공하여 추천 상품과 관련된 사용자 편의성 및 만족도를 높이는 효과가 있다.

도 1은 본 발명의 실시예에 따른 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치의 구성 환경도.
도 2는 본 발명의 실시예에 따른 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치의 구성도.
도 3 내지 도 7은 본 발명의 실시예에 따른 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치의 동작 예시도.
도 8은 본 발명의 실시예에 따른 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 방법에 대한 순서도.

이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.

도 1은 본 발명의 실시예에 따른 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치(100)(이하, 서비스 제공 장치(100))의 구성 환경도로서, 도시된 바와 같이 상기 서비스 제공 장치(100)는 보유 DB(101)를 포함하여 구성될 수 있으며, 사용자 입력을 수신하고 각종 정보를 표시하는 사용자 인터페이스부(10)와 통신 연결될 수 있다.

이때, 상기 서비스 제공 장치(100)는 상기 사용자 인터페이스부(10)를 포함하여 구성될 수도 있다.

또한, 상기 서비스 제공 장치(100)는 상기 사용자 인터페이스부(10)와 통신망을 통해 연결되어 상호 통신하거나 통신 선로를 통해 연결되어 상호 통신할 수 있다.

이때, 통신망은 유/무선 통신망을 포함할 수 있으며, 이러한 무선 통신망의 일례로 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스(Bluetooth), LoRa(Long Range), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.

또한, 상기 사용자 인터페이스부(10)는 사용자 단말로서 구성될 수 있으며, 해당 사용자 단말은 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, 텔레비전(Television), 3D 텔레비전, 홈 시어터(Home Theater) 시스템, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal) 등과 같은 다양한 단말기를 포함할 수 있다.

또한, 상기 사용자 인터페이스부(10)는 각종 정보(일례로, 서비스 제공 장치(100)로부터 수신된 정보)를 표시하는 표시 모듈과, 사용자 입력을 수신하는 입력 모듈과, 상기 서비스 제공 장치(100)와의 통신을 위한 통신 모듈과, 상기 사용자 인터페이스부(10)의 전반적인 제어 기능(일례로, 표시 모듈과 입력 모듈 및 통신 모듈의 제어)을 수행하는 제어 모듈 등을 포함할 수 있으며, 해당 제어 모듈은 CPU, MCU(Micro Controller Unit) 등을 포함하여 구성될 수 있다. 이때, 상기 사용자 인터페이스부(10)가 상기 서비스 제공 장치(100)에 포함되어 구성되는 경우 상기 사용자 인터페이스부(10)의 제어 모듈은 생략될 수 있으며, 상기 서비스 제공 장치(100)에 구성된 제어부에 의해 상기 사용자 인터페이스부(10)의 전반적인 제어가 수행될 수 있다.

한편, 상기 보유 DB(101)에는 패션(fashion) 관련 복수의 서로 다른 상품과 연관되는 다양한 정보들이 미리 저장될 수 있으며, 일례로, 상품 관련 상품 이미지, 상품의 광고 정보, 상품의 제품 소개 정보, 상품의 웹 페이지(web page) 정보, 상품의 댓글 정보 등과 같은 다양한 정보들이 저장될 수 있다.

이때, 본 발명에서 설명하는 의류는, 상의, 하의, 신발, 액세서리(accessory) 등과 같은 사용자의 신체에 착용되는 다양한 패션 관련 상품을 의미할 수 있다.

상술한 구성을 기초로, 본 발명은 영상 분석을 통해 사람에 해당되는 객체로부터 얻어진 의류 영역과 상기 객체의 관절 구조를 상품 정보와 함께 딥러닝 기반으로 학습하고, 학습이 완료된 딥러닝 기반의 알고리즘을 통해 사용자가 입력한 영상에서 확인된 의류 영역과 관절 구조에 최적화된 상품을 추천하여, 사용자가 지정한 특정인에게 최적화되면서 상기 특정인의 취향을 만족시킬 수 있는 패션 관련 상품이 추천되도록 하여 사용자 만족도를 높일 수 있는데, 이를 이하 도면을 참고하여 상세히 설명한다.

이하, 상술한 구성을 토대로, 도 2 내지 도 6을 참고하여 본 발명의 상세 실시예를 설명한다.

도 2는 본 발명의 실시예에 따른 서비스 제공 장치(100)의 상세 구성도이고, 도 3 내지 도 6은 본 발명의 실시예에 따른 서비스 제공 장치(100)의 동작 예시도이다.

우선, 도 2에 도시된 바와 같이, 상기 서비스 제공 장치(100)는 회원 관리부(110), 영상 수신부(120), 의류 추출부(130), 관절 분석부(140), 상품 관리부(150) 및 추천부(160)를 포함하여 구성될 수 있다.

이때, 상기 서비스 제공 장치(100)를 구성하는 적어도 하나의 구성부가 다른 구성부에 포함되어 구성될 수도 있으며, 일례로 의류 추출부(130) 및 관절 분석부(140)가 상기 추천부(160)에 포함되어 구성될 수도 있다.

도 3을 참고하여, 서비스 제공 장치(100)를 구성하는 각 구성부의 동작 예시를 설명한다.

우선, 회원 관리부(110)는 서비스 제공 장치(100)를 이용하는 사용자별 회원 정보를 수신하여 상기 서비스 제공 장치(100)에 포함되는 회원 DB(102)에 저장할 수 있다.

이때, 상기 회원 정보는 사용자 식별정보, 사용자의 신체 정보, 사용자가 선혼하는 의류에 대한 선호 정보 등을 포함하여 구성될 수 있다.

또한, 상기 신체 정보는 키, 가슴둘레, 허리둘레, 체중 등을 포함할 수 있으며, 상기 선호 정보는 의류 종류별로 사용자가 선호하는 브랜드, 색상 등을 포함할 수 있다.

또한, 상기 영상 수신부(120)는 영상을 수신하여 상기 의류 추출부(130) 및 관절 분석부(140)에 제공한다.

이때, 본 발명에서 설명하는 상기 영상과 이하에서 설명하는 사용자 입력 영상은 이미지일 수 있으며, 상기 이미지는 와일드 환경에서의 배경과 전경을 포함하는 이미지일 수 있다.

도 4에 도시된 바와 같이, 상기 의류 추출부(130)는 상기 영상 수신부(120)를 통해 수신된 영상에서 사람에 해당하는 객체를 식별하고, 상기 객체를 세그먼팅(segmenting)하여 의류 영역에 대한 세그먼테이션(segmentation) 정보를 생성한 후 상기 세그먼테이션 정보를 포함하는 의류 영역을 추출하도록 딥러닝(deep learning) 기반으로 미리 설정된 제 1 알고리즘에 학습시킬 수 있다.

이에 따라, 상기 의류 추출부(130)는 상기 영상 수신부(120)를 통해 수신된 영상에서 학습 완료된 딥러닝 기반 제 1 알고리즘을 통해 세그먼테이션 정보를 포함하는 객체의 의류 영역을 추출할 수 있다. 이때, 상기 의류 영역은 상기 영상에서 의류 영역에 대응되는 이미지 영역에 대한 세그먼테이션 정보를 포함할 수 있다.

이때, 상기 의류 추출부(130)는 상기 영상에서 제 1 알고리즘을 통해 의류 영역을 식별하고, 상기 식별된 의류 영역에 대한 의류 종류, 색상, 사이즈 등과 같은 속성 정보를 상기 세그먼테이션 정보에 포함시킬 수 있다.

또한, 도 5에 도시된 바와 같이, 상기 관절 분석부(140)는 상기 영상 수신부(120)를 통해 수신된 영상을 분석하여 사람에 해당되는 객체를 식별하고, 상기 식별된 객체에 대해 관절 구조를 분석하여 상기 관절 구조에 대한 관절 구조 정보(또는 자세 정보)를 생성하도록 딥러닝 기반으로 미리 설정된 제 2 알고리즘에 학습시킬 수 있다.

이에 따라, 상기 관절 분석부(140)는 상기 영상 수신부(120)를 통해 수신된 영상에서 학습 완료된 딥러닝 기반 제 2 알고리즘을 통해 객체의 관절 구조를 분석하여 관절 구조 정보를 생성할 수 있다.

또한, 상기 의류 추출부(130)는 상기 의류 영역을 상품 관리부(150)에 제공하고, 상기 관절 분석부(140)는 상기 관절 구조 정보를 상기 상품 관리부(150)에 제공할 수 있다.

또한, 상기 상품 관리부(150)는 상기 영상 수신부(120)에 수신된 영상에 대응되어 상기 의류 추출부(130)로부터 수신한 의류 영역과 상기 관절 분석부(140)로부터 수신한 관절 구조 정보를 상호 매칭하여 상기 의류 영역과 관절 구조 정보를 포함하는 착용 정보를 생성할 수 있다.

또한, 상기 상품 관리부(150)는 상기 착용 정보에 포함된 의류 영역에 대응되는 상품 정보를 상기 착용 정보와 매칭하여 상기 서비스 제공 장치(100)에 포함된 보유 DB(101)에 저장할 수 있다.

이때, 상기 영상 수신부(120)는 외부 장치와 통신 가능한 통신부로 구성될 수 있으며, 상기 상품 정보를 등록하기 위한 외부 장치로부터 상기 상품 정보 및 영상을 수신할 수 있다.

또한, 상기 상품 관리부(150)는 상기 영상 수신부(120)를 통해 상기 영상 및 상품 정보를 수신할 수 있으며, 상기 영상에 대응되어 상기 의류 추출부(130) 및 관절 분석부(140)로부터 수신된 의류 영역과 관절 구조 정보를 상호 매칭하여 상호 매칭되는 상기 의류 영역과 관절 구조 정보가 포함된 착용 정보를 생성하고, 상기 착용 정보를 상기 상품 정보와 매칭하여 상기 보유 DB(101)에 저장할 수 있다.

이때, 상기 의류 영역은 의류 영역에 대응되는 영역 정보와 경계선 정보 등을 포함하는 세그먼테이션 정보를 포함하여 구성될 있으며, 상기 세그먼테이션 정보는 상기 의류 영역에 대응되는 의류의 종류(일례로, 상의, 하의, 신발, 액세서리 등), 상기 의류 영역에 대응되는 의류의 색상 등과 같은 정보를 더 포함할 수 있다.

따라서, 상기 의류 추출부(130)는 배경이 포함된 와일드 환경에서의 영상에서 사람에 해당되는 객체를 식별하고, 상기 객체가 착용한 의류가 상의, 하의, 신발 등과 같이 다양한 복수의 의류 종류를 착용한 경우 복수의 의류 종류 각각에 대한 세그먼트 정보인 의류 영역을 상기 영상으로부터 추출하여 생성할 수 있으며, 상기 복수의 의류 종류별 의류 영역에 대한 정보를 상기 상품 관리부(150)에 제공할 수 있다.

이에 따라, 상기 상품 관리부(150)는 상기 의류 영역에 대한 세그먼테이션 정보와 상기 상품 정보를 의류 종류, 의류 색상 등과 같이 미리 설정된 비교 대상 속성별로 상호 비교하여 특정 세그먼테이션 정보와 상기 비교 대상 속성별 파라미터가 동일한 상품 정보를 상기 특정 세그먼테이션 정보에 대응되는 특정 의류 영역에 매칭되는 상품 정보인 것으로 식별할 수 있으며, 상기 특정 의류 영역이 포함된 착용 정보와 상품 정보를 상호 매칭하여 보유 DB(101)에 저장할 수 있다.

또한, 상품 관리부(150)는 상기 착용 정보에 대응되는 영상과 상기 상품 정보 및 상기 착용 정보를 상호 매칭하여 보유 DB(101)에 저장할 수 있다.

상술한 구성에 따라, 추천부(160)는 보유 DB(101)에 저장된 정보를 기초로 영상 수신부(120)를 통해 수신된 사용자 입력 영상에 대응되어 사용자에게 최적화된 상품을 추천할 수 있는데, 이를 도 6을 참고하여 상세히 설명한다.

우선, 추천부(160)는 상기 서비스 제공 장치(100)의 전반적인 제어 기능을 수행하는 제어부로 구성될 수 있다.

이에 따라, 추천부(160)는 미리 저장된 프로그램 및 데이터를 이용하여 상기 서비스 제공 장치(100)의 전반적인 제어 기능을 실행할 수 있다. 또한, 추천부(160)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 서비스 제공 장치(100)에 구성된 별도의 저장부에 액세스하여, 저장부에 저장된 O/S(Operating System)를 이용하여 부팅을 수행할 수 있으며, 저장부에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.

또한, 상기 서비스 제공 장치(100)는 보유 DB(101)와 연결되거나 보유 DB(101)를 포함하여 구성될 수 있으며, 상기 보유 DB(101)는 상기 저장부로 구성될 수도 있다.

상술한 구성에 따라, 추천부(160)는 상품 관리부(150)와 연동하여 상품 관리부(150)에 의해 보유 DB(101)에 착용 정보와 상품 정보가 매칭되어 저장시마다, 미리 설정된 제 3 알고리즘에 상기 착용 정보 및 상품 정보를 학습시킬 수 있다.

이때, 상기 추천부(160)는 딥러닝 기반의 제 3 알고리즘에 상기 착용 정보 및 상품 정보를 학습시켜 상기 착용 정보와 상품 정보 사이의 상관관계가 학습되도록 할수 있다.

즉, 상기 추천부(160)는 상기 착용 정보에 따라 영상에서 검출된(식별된) 사람에 해당되는 객체의 관절 구조에 따른 특정 자세에서 보여지는 상기 객체가 착용한 의류에 대한 의류 영역의 형태와 가장 유사하거나 유사도가 미리 설정된 기준치 이상인 상품을 구분하도록 상기 제 3 알고리즘을 학습시킬 수 있다.

이를 통해, 상기 추천부(160)는 상기 제 3 알고리즘이 영상에 나타난 특정 자세를 취한 객체가 착용한 의류 영역에 대응되는 의류와 가장 유사한 의류 상품을 식별할 수 있는 상관관계가 학습되도록 상기 제 3 알고리즘에 상기 상품 관리부(150)에 의해 상호 매칭된 상기 착용 정보와 상품 정보를 학습시킬 수 있다.

상술한 구성에서, 본 발명에서 설명하는 제 1 알고리즘과 제 2 알고리즘 및 제 3 알고리즘은 신경망으로 구성된 딥러닝 알고리즘으로 구성될 수 있으며, 이때 상기 신경망은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성될 수 있다.

또한, 상기 신경망 모델에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), SVM(Support Vector Machine) 등과 같은 다양한 종류의 신경망이 적용될 수 있다.

이때, 신경망이 CNN으로 구성된 경우 하나 이상의 콘볼루션 계층(Convolutional Layer), 통합 계층(Pooling Layer) 및 완전하게 연결된 계층(Fully Connected Layer)을 포함하여 구성될 수 있다.

상술한 구성에 따라, 상기 추천부(160)는 상기 영상 수신부(120)를 통해 사용자 입력 영상을 포함하는 상품 추천 요청을 위한 추천 요청 정보를 수신할 수 있다.

이때, 상기 추천부(160)는 상기 사용자 인터페이스부(10)로부터 추천 요청 정보를 상기 영상 수신부(120)를 통해 수신할 수도 있으며, 상기 사용자 인터페이스부(10)로부터 직접 추천 요청 정보를 수신할 수도 있다.

또한, 상기 사용자 입력 영상은 상기 사용자 인터페이스부(10)가 사용자 단말인 경우 사용자 단말에 의해 생성된 영상일 수 있다.

또한, 상기 영상 수신부(120)는 상기 추천 요청 정보 수신시 상기 추천부(160)에 상기 추천 요청 정보를 제공함과 아울러 상기 의류 추출부(130) 및 관절 분석부(140)에 상기 추천 요청 정보에 포함된 사용자 입력 영상을 제공할 수 있다.

또는, 상기 추천부(160)가 상기 추천 요청 정보에 포함된 사용자 입력 영상을 상기 의류 추출부(130) 및 관절 분석부(140)에 제공할 수 있다.

또한, 상기 추천부(160)는 상기 추천 요청 정보에 대응되어 상기 의류 추출부(130) 및 관절 분석부(140)로부터 의류 영역 및 관절 구조 정보를 수신할 수 있다.

이때, 상기 추천부(160)는 상기 의류 추출부(130) 또는 관절 분석부(140)와 연동하여 상기 사용자 입력 영상에서 사람에 해당되는 객체를 식별할 수 있으며, 상기 사용자 입력 영상에서 사람에 해당되는 객체가 복수로 존재하는 경우 상기 복수의 객체 중 상품 추천 대상인 객체의 지정(선택)을 요청하기 위한 상기 복수의 객체별 객체 식별 정보가 포함된 추천 대상 지정 요청 정보를 상기 사용자 인터페이스부(10)에 제공할 수 있다.

또한, 상기 사용자 인터페이스부(10)는 상기 추천 대상 지정 요청 정보를 기초로 상기 사용자 입력 영상에 사람에 해당되는 복수의 객체별 객체 식별 정보를 태깅하거나 미리 설정된 표식으로 마킹할 수 있으며, 사용자 입력을 기초로 패션과 관련된 추천 상품을 추천하기 위한 추천 대상인 객체를 선택하여 객체 선택 정보를 생성한 후 상기 추천부(160)에 전송할 수 있다.

또한, 상기 추천부(160)는 상기 객체 선택 정보를 기초로 상기 사용자 입력 영상에서 식별된 복수의 객체 중 상기 객체 선택 정보에 대응되는 특정 객체에 대해 의류 영역과 관절 구조 정보가 생성되도록 상기 의류 추출부(130) 및 관절 분석부(140)를 제어할 수 있다.

또한, 상기 추천부(160)는 상기 추천 요청 정보에 대응되어 상기 의류 추출부(130) 및 관절 분석부(140)로부터 수신된 의류 영역 및 관절 구조 정보를 기초로 검색 정보를 생성할 수 있으며, 상기 검색 정보는 상기 추천 요청 정보에 대응되어 상기 의류 추출부(130) 및 관절 분석부(140)로부터 수신된 의류 영역 및 관절 구조 정보를 포함할 수 있다.

또한, 상기 추천부(160)는 상기 의류 추출부(130)로부터 사용자 입력 영상에서 복수의 서로 다른 의류 영역이 추출된 경우 상기 의류 영역별 세그먼테이션 정보와 상기 추천 요청 정보에 포함된 검색 대상 정보를 기초로 상기 복수의 서로 다른 의류 영역 중 상기 검색 대상 정보에 따른 의류 종류와 일치하는 의류 종류가 설정된 세그먼테이션 정보인 특정 의류 영역을 선택할 수 있다.

다시 말해, 상기 추천부(160)는 사용자 입력 영상에 대응되어 상기 의류 추출부(130)가 상기 특정 객체에 대해 추출한 복수의 의류 영역 중 상기 추천 요청 정보에 사용자가 검색 대상(검색 대상 정보)으로 설정한 의류 종류와 일치하는 의류 종류가 설정된 특정 의류 영역을 추천 상품의 선정을 위한 검색 파라미터로 설정하고, 상기 특정 의류 영역을 상기 검색 정보에 포함시킬 수 있다.

또한, 상기 추천부(160)는 상기 검색 정보를 상기 제 3 알고리즘에 적용할 수 있으며, 상기 제 3 알고리즘을 통해 상기 검색 정보에 대응되어 추천 상품의 기준이 되는 기준 상품 정보를 산출할 있다.

즉, 상기 제 3 알고리즘은 상기 검색 정보에 포함된 의류 영역과 상기 관절 구조 정보를 기초로 객체가 취하고 있는 자세에서 영상을 통해 보여지는(나타나는) 의류 영역에 따른 의류와 가장 유사하거나 유사도가 미리 설정된 기준치 이상인 상품인 기준 상품을 상품 정보를 구성하는 속성별(또는 상품 속성별) 파라미터로서 산출할 수 있으며, 이러한 상기 기준 상품에 대한 속성별 파라미터(상품 속성별 파라미터)가 포함된 기준 상품 정보를 산출할 수 있다.

일례로, 상기 추천부(160)는 상기 제 3 알고리즘을 통해 사용자가 나타난 영상에서 사용자에 해당되는 객체가 착용하고 있는 티셔츠가 상기 객체가 취하고 있는 특정 자세에서 보여지는 형태와 가장 유사하게 상기 객체의 특정 자세에서 영상에 나타날 수 있는 다른 티셔츠에 대한 상품 정보인 기준 상품 정보를 산출할 수 있으며, 해당 기준 상품 정보는 상품 정보를 구성하는 속성별로 상기 제 3 알고리즘을 통해 산출된 파라미터를 포함할 수 있다.

상술한 구성에 따라, 상기 추천부(160)는 상기 검색 정보에 대응되는 사용자 입력 영상에 나타난 객체가 착용한 상기 특정 의류 영역에 대응되는 특정 의류와 유사한 상품을 선정하기 위한 기준 상품 정보가 상기 제 3 알고리즘을 통해 산출되면, 상기 기준 상품 정보를 기초로 상기 보유 DB(101)를 검색하여 상기 기준 상품 정보와 미리 설정된 기준치 이상 유사한 하나 이상의 상품 정보를 선택할 수 있다.

이때, 상기 추천부(160)는 상기 기준 상품 정보 및 상기 보유 DB(101)에 저장된 상품 정보 각각에 포함되며 비교 대상으로 미리 설정된 하나 이상의 상품 속성별 파라미터를 미리 설정된 유사도 판단 알고리즘에 적용하여 상기 보유 DB(101)에 저장된 상품별 상품 정보와 상기 기준 상품 정보 사이의 유사도를 판단하고, 상기 기준 상품 정보와 상기 유사도가 미리 설정된 기준치 이상인 하나 이상의 상품 정보를 추출할 수 있다.

여기서, 상기 상품 정보를 구성하는 하나 이상의 속성(또는 상품 속성)은, 의류 종류, 치수, 색상, 가격 등과 같은 다양한 속성을 포함할 수 있다.

또한, 상기 추천부(160)는 상기 기준 상품 정보를 기초로 상기 보유 DB(101)를 검색하여 추출한 상기 하나 이상의 상품 정보 각각을 추천 상품 정보로 생성할 수 있으며, 상기 하나 이상의 추천 상품 정보를 상기 사용자 인터페이스부(10)를 통해 표시하거나 상기 사용자 인터페이스부(10)에 해당되는 사용자 단말로 전송할 수 있다.

이때, 상기 추천부(160)는 상기 영상 수신부(120)를 통해 상기 추천 상품 정보를 상기 사용자 인터페이스부(10)에 전송할 수도 있다.

또한, 상기 추천부(160)는 상기 하나 이상의 추천 상품 정보를 포함하는 추천 정보를 생성하여 상기 사용자 인터페이스부(10)에 전송할 수도 있다.

이를 통해, 상기 추천부(160)는 사용자가 입력한 사용자 입력 영상에 대응되어 사용자에게 상품을 추천할 수 있다.

상술한 구성을 통해, 본 발명은 영상에 나타난 사람에 해당하는 객체에서 의류로 식별된 영역과 객체의 관절 구조에 따른 자세 및 상기 객체가 착용한 의류에 대한 상품을 학습하여 다양한 객체의 자세에서 영상에 나타나는 의류 상품의 형태를 기초로 의류 상품과 연관된 상품 정보를 파악할 수 있는 기준 상품 정보를 산출하도록 딥러닝 기반으로 학습할 수 있으며, 이를 통해 사용자가 상품 추천 요청을 위해 입력한 영상에서 사용자가 추천을 요청하는 의류가 착용된 상태인 객체의 자세와 연관지어 상기 의류가 가지는 특성(속성별 파라미터)을 분석하고 이를 기반으로 해당 특성과 가장 유사한 특성을 가지는 상품을 선별하여 사용자에게 추천할 수 있으므로, 객체의 자세를 고려하여 추천을 요청하는 의류 상품의 정확한 특성을 파악하고 해당 특성을 기반으로 추천 상품을 선정하여 추천 상품의 정확도를 높일 수 있을 뿐만 아니라 사용자의 취향이 반영된 정확한 상품을 추천할 수 있다.

다시 말해, 본 발명은 영상에 나타난 사람에 해당하는 객체에서 의류로 식별된 영역과 객체의 관절 구조에 따른 자세 및 상기 객체가 착용한 의류에 대한 상품 사이의 상관관계를 학습하고, 이러한 상관관계를 기초로 사용자가 상품 추천을 요청하기 위해 입력한 사용자 입력 영상에 나타난 객체의 자세와 객체가 착용한 의류과 관련도가 높은 상품을 추천함으로써, 사용자 입력 영상에 나타난 객체의 자세에서 사용자가 마음에 든 상품의 특성이 반영된 상품들이 선별되어 추천되도록 하여 사용자가 마음에 든 상품과 유사한 상품들을 제공할 수 있어 사용자의 만족도를 높일 수 있다.

또한, 본 발명은 객체의 자세에서 의류가 보여지는 형태를 학습하므로, 서로 다른 상품별로 동일한 객체의 자세에서 보여지는 형태를 상호 비교할 수 있고, 이를 통해 특정 자세에서 추천 요청 대상인 상품과 가장 유사하게 영상에 보여지는 특성을 가진 상품을 추천 대상으로 선정하여 추천할 수 있어, 추천 상품에 대한 정확도를 높일 수 있다.

한편, 본 발명의 실시예에 따른 서비스 제공 장치(100)는 상술한 구성 이외에도 다양한 정보를 이용하여 사용자에게 추천하는 상품에 대한 정확도를 높일 수 있는데, 이를 상세히 설명한다.

우선, 상기 상품 관리부(150)는 상기 영상 수신부(120) 또는 상기 사용자 인터페이스부(10)를 통해 상기 관절 구조 정보에 대응되는 객체의 신체 정보를 수신하여 상기 관절 구조 정보에 포함시킬 수 있다.

이에 따라, 상기 추천부(160)는, 상기 신체 정보가 포함된 관절 구조 정보를 포함하는 착용 정보와 상품 정보 사이의 상관관계가 상기 제 3 알고리즘에 학습되도록 할 수 있다.

이를 통해, 상기 추천부(160)는, 상기 영상 수신부(120)를 통해 사용자 입력 영상이 포함된 추천 요청 정보를 수신하면, 상기 추천 요청 정보를 기초로 상기 회원 DB(102)를 검색하여 상기 추천 요청 정보에 대응되는 회원 정보를 추출할 수 있다.

또한, 상기 추천부(160)는 상기 추천 요청 정보에 대응되어 추출한 회원 정보에서 신체정보를 추출하고, 상기 신체 정보를 상기 사용자 입력 영상에 대응되어 얻어진 상기 검색 정보의 관절 구조 정보에 포함시켜 상기 신체 정보가 포함된 검색 정보를 상기 제 3 알고리즘에 적용할 수 있다.

또한, 상기 추천부(160)는 상기 제 3 알고리즘을 통해 상기 검색 정보에 따른 신체 수치와 자세 및 의류 종류에 대응되는 기준 상품 정보를 산출하고, 상기 기준 상품 정보를 기초로 상기 DB를 검색하여 하나 이상의 추천 상품 정보를 제공할 수 있다.

이때, 상기 신체 치수는 상기 신체 정보에 포함된 정보이며, 상기 자세는 상기 관절 구조 정보에 따른 정보일 수 있다.

즉, 상기 추천부(160)는 사용자 입력 영상에 나타나는 사용자가 지정한 객체의 자세에서 보여지는 의류의 형태 뿐만 아니라 해당 객체의 실제 신체 치수를 더 고려한 기준 상품 정보를 산출할 수 있으며, 이를 통해 신체 치수가 반영된 추천 상품이 선정되도록 하여 추천 상품의 정확도를 높일 수 있다.

또한, 상기 서비스 제공 장치(100)는 사용자 입력 영상에 나타난 객체의 자세와 동일한 자세를 가진 객체가 추천 상품을 착용한 상태가 포함된 추천 영상을 제공할 수 있다.

일례로, 상술한 바와 같이, 상기 상품 관리부(150)는 상기 영상 수신부(120)를 통해 수신된 영상에 대응되는 상기 착용 정보 및 상품 정보를 상기 영상과 매칭하여 상기 보유 DB(101)에 저장하고, 특정 상품 정보에 대응되는 의류가 복수의 서로 다른 영상 각각의 영상 내 상기 의류 영역으로 포함된 경우 상기 특정 상품 정보를 복수의 서로 다른 영상과 각각 매칭하여 저장할 수 있다.

다시 말해, 상기 상품 관리부(150)는 특정 상품 정보가 복수의 서로 다른 영상과 연관성이 있는 경우 상기 특정 상품 정보를 복수의 서로 다른 영상 각각에 중복 매칭하여 상기 보유 DB(101)에 저장할 수 있다.

또한, 상기 추천부(160)는 상기 기준 상품 정보의 산출에 이용된 검색 정보에서 관절 구조 정보를 기준 구조 정보로 추출할 수 있다.

또한, 상기 추천부(160)는, 상기 기준 상품 정보에 대응되는 추천 상품 정보와 매칭되어 상기 보유 DB(101)에 저장된 하나 이상의 착용 정보 중 상기 기준 구조 정보와 유사도가 미리 설정된 기준치 이상이거나 일치하는 관절 구조 정보가 포함된 착용 정보를 식별할 수 있다.

또한, 상기 추천부(160)는, 상기 식별된 착용 정보와 매칭되어 상기 DB에 저장된 영상을 추출한 후 상기 선택된 추천 상품 정보와 매칭하여 추천 영상으로 상기 사용자 인터페이스부(10)를 통해 제공할 수 있다.

즉, 상기 추천부(160)는, 기준 상품 정보에 대응되어 추천 상품 선정 완료시 기준 상품 정보의 산출 근거가 된 객체의 자세와 동일한 자세를 가진 다른 객체가 상기 추천 상품을 착용한 상태에 대한 영상을 추천 상품별로 선별하여 추천 영상으로 제공함으로써, 사용자 입력 영상에서 사용자가 취한 자세와 동일한 자세에서 상기 추천 상품이 보여지는 형태를 상기 추천 영상을 통해 사용자가 확인 가능하도록 제공하여 사용자가 추천 상품이 자신이 원하는 상품이 맞는지 더욱 정확하게 판단 가능하도록 제공할 수 있다.

또한, 본 발명의 실시예에 따른 서비스 제공 장치(100)는 추천 상품에 대한 추천 상품 정보를 기초로 추천 상품을 사용자가 입력한 사용자 입력 영상에서 사용자가 지정한 객체에 맞추어 합성하여 객체가 추천 상품을 착용한 합성 영상을 제공할 수 있으며, 이러한 합성 영상과 실제 영상의 차이를 지속적으로 학습하여 합성 영상과 실제 영상과의 오차를 감소시킴으로써 객체가 추천 상품을 실제 착용한 상태를 촬영한 실제 영상과 차이가 없는 합성 영상을 제공하여 의류를 실제 착용한 상태를 확인 가능하도록 제공할 수 있는데, 이를 도 7을 참고하여 상세히 설명한다.

도 7에 도시된 바와 같이, 상기 추천부(160)는 상기 추천 요청 정보에 대응되어 얻어진 상기 추천 상품 정보에서 상품 이미지를 추출하고, 상기 추천 요청 정보에 대응되어 검색된 회원 정보에 포함되는 상기 신체 정보에 맞추어 상기 상품 이미지를 변형할 수 있다.

이때, 상기 상품 이미지는 치수 변경이 가능하도록 구성된 3차원 이미지로 구성될 수 있으며, 상기 추천부(160)는 상기 상품 이미지를 상기 신체 정보를 구성하는 복수의 서로 다른 신체 속성별로 설정된 파라미터를 확인하고, 상기 복수의 신체 속성과 상기 상품 이미지를 구성하는 의류 부위(또는 착용 부위) 사이의 상관관계가 설정된 이미지 조절 알고리즘에 상기 신체 정보에 따른 복수의 서로 다른 신체 속성별 파라미터와 상기 상품 이미지를 적용하여 상기 상품 이미지의 의류 부위별 치수를 상기 신체 정보에 따라 조절하여 상기 상품 이미지를 변형할 수 있다.

또한, 상기 추천부(160)는 상기 상품 이미지를 상기 신체 정보에 맞추어 변형한 후 상기 사용자 입력 영상의 특정 객체에 대응되어 얻어진 관절 구조 정보에 맞추어 상기 상품 이미지의 자세와 크기 중 적어도 하나를 변경하여 생성한 최종 이미지를 상기 사용자 입력 영상에 포함된 특정 객체에 합성하여 합성 영상을 생성할 수 있다.

이때, 상기 추천부(160)는 상기 추천 요청 정보 수신시 상기 의류 추출부(130) 및 관절 분석부(140) 중 적어도 하나와 연동하여 상기 추천 요청 정보에 포함된 사용자 입력 영상에서 사람에 해당되는 객체를 하나 이상의 식별할 수 있으며, 사람에 해당되는 객체가 복수인 경우 상기 사용자 인터페이스부(10)에 상기 사용자 입력 영상에서 식별된 복수의 서로 다른 객체별 객체 식별 정보를 포함하는 추천 대상 지정 요청 정보를 전송하고, 상기 추천 대상 지정 요청 정보에 대응되어 사용자가 사용자 입력 영상에서 지정한(선택한) 객체에 대한 객체 선택 정보를 상기 사용자 인터페이스부(10)로부터 수신하거나 상기 영상 수신부(120)를 통해 수신할 수 있다.

이에 따라, 상기 추천부(160)는 상기 객체 선택 정보를 기초로 상기 사용자 입력 영상에서 선택된 상기 특정 객체에 대해 상기 의류 추출부(130) 및 관절 분석부(140)를 통해 상기 의류 영역 및 관절 구조 정보를 추출하고, 상기 특정 객체에 대해 합성 영상을 생성하여 제공할 수 있다.

한편, 상기 추천부(160)는 신경망 모델(딥러닝(Deep learning) 모델)인 판별 모델(161)과 생성 모델(162)을 포함하여 구성될 수 있으며, 상기 추천부(160)는 상기 생성 모델(162)에 의류를 착용한 상태의 객체를 촬영한 실제 영상을 학습시켜 상기 생성 모델(162)에서 상기 실제 영상과 유사한 가상 영상을 생성하도록 상기 생성 모델(162)을 학습시킬 수 있다.

이때, 상기 실제 영상은 상기 사용자 입력 영상일 수 있으며, 상기 판별 모델(161)과 생성 모델(162)은 GAN(Generative Adversarial Network)으로 구성될 수 있다.

또한, 상기 추천부(160)는 상기 판별 모델(161)에 상기 실제 영상을 학습시켜 상기 생성 모델(162)에서 생성하는 상기 가상 영상의 오류 여부를 판정하도록 상기 판별 모델(161)을 학습시킬 수 있으며, 상기 판별 모델(161)에 의해 판정된 오류 여부에 대한 판정 결과가 상기 생성 모델(162)에 학습되도록 함으로써, 상기 생성 모델(162)이 실제 영상에 근접한 가상 영상을 생성하도록 상기 생성 모델(162)을 학습시킬 수 있다.

이에 따라, 상기 추천부(160)는 학습이 완료된 생성 모델(162)에 상기 합성 영상을 적용하여 상기 합성 영상과 유사한 가상 영상을 생성하도록 할 수 있으며, 이와 같은 가상 영상은 실제 영상과 유사하도록 보정한 보정 영상으로 구성될 수 있다.

따라서, 상기 추천부(160)는 상기 합성 영상을 상기 생성 모델(162)에 적용하여 상기 합성 영상을 실제와 같이 보정한 보정 영상이 상기 생성 모델(162)을 통해 생성되도록 할 수 있다.

또한, 상기 추천부(160)는 상기 생성 모델(162)을 통해 생성한 보정 영상을 상기 사용자 인터페이스부(10)에 제공할 수 있다.

이를 통해, 본 발명의 실시예에 따른 서비스 제공 장치(100)는, 사용자 입력 영상에 포함된 객체에 추천 상품의 상품 이미지를 합성한 합성 영상을 딥러닝 기반으로 보정하여 사용자 입력 영상에 포함된 사용자가 지정한 객체가 상품 이미지에 대응되는 의류를 실제 착용한 상태를 촬영한 실제 영상과 차이가 미미한 고품질의 합성 영상을 제공할 수 있으며, 이를 통해 사용자가 제시한 사용자 입력 영상을 통해 사용자가 지정한 객체에 대한 추천 상품의 실제 착용 상태를 확인 가능하도록 제공하여 추천 상품과 관련된 사용자 편의성 및 만족도를 높일 수 있다.

도 8은 본 발명의 실시예에 따른 서비스 제공 장치(100)의 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 방법에 대한 순서도이다.

도시된 바와 같이, 서비스 제공 장치(100)는 외부 장치로부터 영상을 수신하고(S1), 상기 수신된 영상에서 딥러닝 기반으로 사람에 해당되는 객체의 의류 영역을 추출하기 위한 딥러닝 기반 제 1 알고리즘을 통해 객체의 의류 영역을 추출할 수 있다(S2).

또한, 상기 서비스 제공 장치(100)는, 상기 수신된 영상에서 딥러닝 기반으로 사람에 해당되는 객체와 관절 구조를 분석하는 딥러닝 기반 제 2 알고리즘을 통해 객체의 관절 구조에 대한 관절 구조 정보를 생성할 수 있다(S2).

또한, 상기 서비스 제공 장치(100)는, 상기 의류 영역 및 상기 관절 구조 정보가 포함된 착용 정보를 생성하고(S3), 상기 의류 영역에 대응되는 상품 정보와 상기 착용 정보를 매칭하여 미리 설정된 제 3 알고리즘에 학습시킬 수 있다(S4, S5).

또한, 상기 서비스 제공 장치(100)는, 추천 요청 정보 수신시(S4), 상기 착용 정보와 상품 정보 사이의 상관관계가 학습된 상기 제 3 알고리즘에 상기 추천 요청 정보에 포함된 사용자 입력 영상으로부터 상기 제 1 및 제 2 알고리즘을 통해 얻어진 의류 영역 및 관절 구조 정보를 포함하는 검색 정보를 적용하여 추천 상품의 기준이 되는 기준 상품 정보를 산출하고(S6), 상기 기준 상품 정보를 기초로 상품 정보가 저장된 보유 DB(101)를 검색하여 상기 기준 상품 정보와 미리 설정된 기준치 이상 유사하여 선택된 하나 이상의 상품 정보를 추천 상품 정보로 제공할 수 있다(S7).

본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 사용자 인터페이스부 100: 서비스 제공 장치
110: 회원 관리부 120: 영상 수신부
130: 의류 추출부 140: 관절 분석부
150: 상품 관리부 160: 추천부

Claims (10)

1. 영상을 수신하는 영상 수신부;
   상기 영상 수신부를 통해 수신된 영상에서 딥러닝 기반으로 사람에 해당되는 객체의 의류 영역을 추출하기 위한 딥러닝 기반 제 1 알고리즘을 통해 객체의 의류 영역을 추출하는 의류 추출부;
   상기 영상 수신부를 통해 수신된 영상에서 딥러닝 기반으로 사람에 해당되는 객체와 관절 구조를 분석하는 딥러닝 기반 제 2 알고리즘을 통해 객체의 관절 구조에 대한 관절 구조 정보를 생성하는 관절 분석부;
   상기 의류 추출부로부터 제공되는 의류 영역 및 상기 관절 분석부로부터 제공되는 상기 관절 구조 정보가 포함된 착용 정보를 생성하고, 상기 의류 영역에 대응되는 상품 정보와 상기 착용 정보를 매칭하여 DB에 저장하는 상품 관리부; 및
   상기 착용 정보 및 상품 정보 사이의 상관관계가 학습되어 미리 설정된 제 3 알고리즘에 상기 영상 수신부를 통해 수신된 사용자 입력 영상으로부터 상기 의류 추출부 및 관절 분석부를 통해 얻어진 의류 영역 및 관절 구조 정보를 포함하는 검색 정보를 적용하여 추천 상품의 기준이 되는 기준 상품 정보를 산출하고, 상기 기준 상품 정보를 기초로 상기 DB를 검색하여 상기 기준 상품 정보와 미리 설정된 기준치 이상 유사하여 선택된 하나 이상의 상품 정보를 추천 상품 정보로 제공하는 추천부
   를 포함하는 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치.
   
2. 청구항 1에 있어서,
   상기 추천부는 상기 기준 상품 정보를 구성하는 하나 이상의 속성별 파라미터를 기준으로 상기 DB에 저장된 상품별 상품 정보와 상기 기준 상품 정보 사이의 유사도를 판단하고, 상기 유사도가 미리 설정된 기준치 이상인 하나 이상의 상품 정보를 추출하는 것을 특징으로 하는 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치.
   
3. 청구항 1에 있어서,
   상기 하나 이상의 속성은, 의류 종류, 치수, 색상, 가격 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치.
   
4. 청구항 1에 있어서,
   상기 영상은 이미지인 것을 특징으로 하는 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치.
   
5. 청구항 1에 있어서,
   상기 상품 관리부는, 상기 관절 구조 정보에 대응되는 객체의 신체 정보를 수신하여 상기 관절 구조 정보에 포함시키며,
   상기 추천부는, 상기 신체 정보가 포함된 관절 구조 정보를 포함하는 착용 정보와 상품 정보 사이의 상관관계가 상기 제 3 알고리즘에 학습되도록 하고,
   상기 추천부는, 상기 영상 수신부를 통해 사용자 입력 영상이 포함된 추천 요청 정보를 수신하고, 상기 추천 요청 정보를 기초로 검색한 회원 정보에 포함된 신체 정보를 상기 사용자 입력 영상에 대응되어 얻어진 상기 검색 정보의 관절 구조 정보에 포함시켜 상기 제 3 알고리즘에 적용하고, 상기 제 3 알고리즘을 통해 상기 검색 정보에 따른 신체치수와 자세 및 의류 종류에 대응되는 기준 상품 정보를 산출하고, 상기 기준 상품 정보를 기초로 상기 DB를 검색하여 하나 이상의 추천 상품 정보를 제공하는 것을 특징으로 하는 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치.
   
6. 청구항 5에 있어서,
   상기 추천부는 상기 추천 상품 정보에 포함된 상품 이미지를 상기 신체 정보에 맞추어 변형한 후 상기 사용자 입력 영상에 대응되어 얻어진 상기 관절 구조 정보에 맞추어 상기 상품 이미지의 자세 및 크기 중 적어도 하나를 변경하여 생성한 최종 이미지를 상기 사용자 입력 영상의 상기 객체에 합성하여 합성 영상을 생성하고, 상기 합성 영상을 제공하는 것을 특징으로 하는 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치.
   
7. 청구항 6에 있어서,
   상기 추천부는 신경망 모델인 판별 모델과 생성 모델을 포함하여 구성되며, 상기 생성 모델에 의류를 착용한 상태의 객체를 촬영한 실제 영상을 학습시켜 상기 생성 모델에서 상기 실제 영상과 유사한 가상 영상을 생성하도록 상기 생성 모델을 학습시키고, 상기 판별 모델에 상기 실제 영상을 학습시켜 상기 생성 모델에서 생성하는 상기 가상 영상의 오류 여부를 판정하도록 상기 판별 모델을 학습시켜 상기 가상 영상에 대한 상기 판별 모델의 판정 결과를 상기 생성 모델에 학습시키며, 학습이 완료된 상기 생성 모델에 상기 합성 영상을 적용하여 상기 생성 모델을 통해 상기 합성 영상을 실제 영상과 유사하도록 보정한 상기 가상 영상인 보정 영상을 생성하여 제공하는 것을 특징으로 하는 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치.
   
8. 청구항 1에 있어서,
   상기 상품 관리부는 상기 영상 수신부를 통해 수신된 영상에 대응되는 상기 착용 정보 및 상품 정보를 상기 영상과 매칭하여 상기 DB에 저장하고, 특정 상품 정보에 대응되는 의류가 복수의 서로 다른 영상 각각의 영상 내 상기 의류 영역으로 포함된 경우 상기 특정 상품 정보를 복수의 서로 다른 영상과 각각 중복 매칭하여 저장하며,
   상기 추천부는 상기 기준 상품 정보의 산출에 이용된 검색 정보에서 관절 구조 정보를 기준 구조 정보로 추출하고, 상기 기준 상품 정보에 대응되는 추천 상품 정보와 매칭되어 상기 DB에 저장된 하나 이상의 착용 정보 중 상기 기준 구조 정보와 유사도가 미리 설정된 기준치 이상이거나 일치하는 관절 구조 정보가 포함된 착용 정보를 식별하며, 상기 식별된 착용 정보와 매칭되어 상기 DB에 저장된 영상을 추출한 후 상기 선택된 추천 상품 정보와 매칭하여 추천 영상으로 제공하는 것을 특징으로 하는 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치.
   
9. 청구항 1에 있어서,
   상기 추천부는 상기 사용자 입력 영상에서 사람에 해당되는 복수의 객체가 식별된 경우 상기 복수의 객체별 객체 식별 정보를 포함하는 추천 대상 지정을 요청하기 위한 추천 대상 지정 요청 정보를 사용자 입력을 수신하는 사용자 인터페이스부에 전송하고, 상기 사용자 인터페이스부로부터 상기 복수의 객체 중 사용자 입력에 따라 선택된 객체에 대한 객체 선택 정보 수신시 상기 객체 선택 정보에 대응되는 특정 객체에 대해 의류 영역과 관절 구조 정보가 생성되도록 상기 의류 추출부 및 관절 분석부를 제어하는 것을 특징으로 하는 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치.
   
10. 서비스 제공 장치의 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 방법에 있어서,
    영상을 수신하고, 상기 수신된 영상에서 딥러닝 기반으로 사람에 해당되는 객체의 의류 영역을 추출하기 위한 딥러닝 기반 제 1 알고리즘을 통해 객체의 의류 영역을 추출하는 단계;
    상기 수신된 영상에서 딥러닝 기반으로 사람에 해당되는 객체와 관절 구조를 분석하는 딥러닝 기반 제 2 알고리즘을 통해 객체의 관절 구조에 대한 관절 구조 정보를 생성하는 단계;
    상기 의류 영역 및 상기 관절 구조 정보가 포함된 착용 정보를 생성하고, 상기 의류 영역에 대응되는 상품 정보와 상기 착용 정보를 매칭하여 미리 설정된 제 3 알고리즘에 학습시키는 단계; 및
    상기 착용 정보와 상품 정보 사이의 상관관계가 학습된 상기 제 3 알고리즘에 사용자 입력 영상으로부터 상기 제 1 및 제 2 알고리즘을 통해 얻어진 의류 영역 및 관절 구조 정보를 포함하는 검색 정보를 적용하여 추천 상품의 기준이 되는 기준 상품 정보를 산출하고, 상기 기준 상품 정보를 기초로 상품 정보가 저장된 DB를 검색하여 상기 기준 상품 정보와 미리 설정된 기준치 이상 유사하여 선택된 하나 이상의 상품 정보를 추천 상품 정보로 제공하는 단계;
    를 포함하는 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 방법.

Images