KR102299095B1 - 유사 패션 상품 데이터 검색 및 제공 방법과 그를 위한 컴퓨팅 장치 - Google Patents

Abstract

본 발명의 일실시예에 따른 컴퓨팅 디바이스에서 유사상품 검색 및 제공 방법은, 단말로부터 검색 대상인 이미지를 수신하는 단계; 상기 수신한 이미지에서 패션 아이템이 포함된 객체를 인식하고, 인식된 객체에서 패션 아이템을 크롭하는 단계; 상기 크롭한 이미지 데이터와 데이터베이스에 저장된 패션 상품 이미지 데이터를 사전 학습된 네트워크 함수에 포함된 서브 네트워크들을 이용한 연산을 하여 이미지 유사도를 추정하는 단계; 및 추정된 이미지 유사도에 기초하여 유사상품 데이터를 상기 단말로 제공하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.

Description

유사 패션 상품 데이터 검색 및 제공 방법과 그를 위한 컴퓨팅 장치{METHOD OF SEARCHING AND PROVIDING DATA OF SIMILAR FASHION GOODS AND COMPUTING DEVICE THEREFOR}

본 발명은 유사 패션 상품 검색 및 제공에 관한 것으로, 보다 상세하게는 이미지 유사도 추정 모델을 이용하여 수신되는 이미지를 이미지 대 이미지(iamge to image) 비교 방식으로 그와 유사한 패션 상품을 검색 및 제공하는 방법과 그를 위한 컴퓨팅 장치에 관한 것이다.

종래 오프라인 상점을 통한 패션 상품에 대한 전통적인 소비 방식이, 최근 기술의 발전과 활성화로 인하여 모바일 단말을 통하여 시간, 장소 등의 구애없이 다양한 형태로 변하고 또한 확장되고 있다.

특히, 검색 방식에 있어서, 기존 키워드 등의 텍스트를 중심으로 한 검색에서 이미지 내지 영상 기반 검색이 제안되고 있다.

그러나, 패션 상품의 종류가 다양해지고 그 개수 또한 증가하면서 그러한 검색 작업에 의하더라도 원하는 패션 상품을 빠르고 정확하게 검색하기가 어려워지고 있다.

한편, 최근 인공지능 기술의 발전에 따라 이를 이용한 검색 방법 개선 시도가 이루어지고 있으나, 여전히 이미지에 속성을 태깅한 데이터를 학습시켜 분류 모델을 구축하여, 이미지를 입력으로 주면 태깅된 속성(text)이 반환되고, 해당 속성을 보유한 이미지를 검색 결과를 반환하는 이미지 대 텍스트(image to text) 방식이어, 판매자가 속성값을 수기로 입력하여 데이터베이스로부터 검색 결과를 반환하는데, 매칭되는 상품 대상이 많아 여전히 문제가 되고 있다.

이에 이미지로부터 빠르고 정확한 패션 상품 검색 및 결과 제공에 대한 니즈(needs)가 있다.

본 발명의 일 과제는,　패션 아이템에 특화한 이미지 유사도 추정 방법을 제공하는 것이다.

본 발명의 다른 과제는, 이미지 유사도 추정에 따라 제공되는 검색 결과의 유사 상품의 수를 조절하고, 검색 결과의 정확성을 높이는 방법을 제공하는 것이다.

본 발명의 또 다른 과제는, 상기한 방법을 위한 컴퓨팅 디바이스 및 그를 포함한 시스템을 제공하는 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며,　언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 문제점을 해결하기 위한 본 발명의 일실시예에 따른 컴퓨팅 디바이스에서 유사상품 검색 및 제공 방법은, 단말로부터 검색 대상인 이미지를 수신하는 단계; 상기 수신한 이미지에서 패션 아이템이 포함된 객체를 인식하고, 인식된 객체에서 패션 아이템을 크롭하는 단계; 상기 크롭한 이미지 데이터와 데이터베이스에 저장된 패션 상품 이미지 데이터를 사전 학습된 네트워크 함수에 포함된 서브 네트워크들을 이용한 연산을 하여 이미지 유사도를 추정하는 단계; 및 추정된 이미지 유사도에 기초하여 유사상품 데이터를 상기 단말로 제공하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 일실시예에 따른 컴퓨팅 디바이스에서 유사상품 검색 및 제공 방법에서, 상기 서브 네트워크들은, 딥 뉴럴 네트워크 구조 중 컨벌루션 뉴럴 네트워크(CNN: Convolutional Neural Network) 구조를 포함하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 컴퓨팅 디바이스에서 유사상품 검색 및 제공 방법에서, 상기 서브 네트워크들은, 샴 네트워크(Siamese network)의 적어도 일 부분을 구성하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 컴퓨팅 디바이스에서 유사상품 검색 및 제공 방법은, 상기 추정한 이미지 유사도와 관련하여 검색 결과 리턴을 위한 임계값을 설정하는 단계;를 더 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 일실시예에 따른 컴퓨팅 디바이스에서 유사상품 검색 및 제공 방법은, 상기 설정된 임계값에 기초하여 이미지 유사도가 추정된 이미지 중 검색 결과로 리턴할 이미지에 대한 데이터를 조절하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 컴퓨팅 디바이스에서 유사상품 검색 및 제공 방법에서, 상기 수신한 이미지에서 패션 아이템이 포함된 객체를 인식하고, 인식된 객체에서 패션 아이템을 크롭하는 단계는, 상기 패션 아이템에 특화하여 학습된 패스터 R-CNN 계열의 모델을 이용하여 상기 객체 인식 및 관심영역(ROI: Region of Interest)를 자동 크롭하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 유사상품 검색 및 제공을 위한 컴퓨팅 디바이스는, 단말로부터 검색 대상인 이미지를 수신하는 수신부; 상기 수신한 이미지에서 패션 아이템이 포함된 객체를 인식하고, 인식된 객체에서 패션 아이템을 크롭하는 객체 인식/크롭부; 상기 크롭한 이미지 데이터와 데이터베이스에 저장된 패션 상품 이미지 데이터를 사전 학습된 네트워크 함수에 포함된 서브 네트워크들을 이용한 연산을 하여 이미지 유사도를 추정하는 이미지 유사도 추정부; 및 추정된 이미지 유사도에 기초하여 유사상품 데이터를 상기 단말로 제공하도록 제어하는 제어부;를 포함하여 구성하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 유사상품 검색 및 제공을 위한 컴퓨팅 디바이스에서, 상기 서브 네트워크들은, 딥 뉴럴 네트워크 구조 중 컨벌루션 뉴럴 네트워크(CNN: Convolutional Neural Network) 구조를 포함하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 유사상품 검색 및 제공을 위한 컴퓨팅 디바이스에서, 상기 서브 네트워크들은, 샴 네트워크(Siamese network)의 적어도 일 부분을 구성하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 유사상품 검색 및 제공을 위한 컴퓨팅 디바이스에서, 상기 제어부는, 상기 추정한 이미지 유사도와 관련하여 검색 결과 리턴을 위한 임계값을 설정하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 유사상품 검색 및 제공을 위한 컴퓨팅 디바이스에서, 상기 제어부는, 상기 설정된 임계값에 기초하여 이미지 유사도가 추정된 이미지 중 검색 결과로 리턴할 이미지에 대한 데이터를 조절하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 유사상품 검색 및 제공을 위한 컴퓨팅 디바이스에서, 상기 객체 인식/크롭부는, 상기 패션 아이템에 특화하여 학습된 패스터 R-CNN 계열의 모델을 이용하여 상기 객체 인식 및 관심영역(ROI: Region of Interest)를 자동 크롭하는 것을 특징으로 한다.

상기와 같은 본 발명에 따르면 아래에 기재된 효과를 얻을 수 있다.　다만,　본 발명을 통해 얻을 수 있는 효과는 이에 제한되지 않는다.

첫째,　패션 아이템에 특화한 이미지 유사도 추정 방법을 제공하는 효과가 있다.

둘째, 이미지 유사도 추정에 따라 제공되는 검색 결과의 유사 상품의 수를 조절하고, 검색 결과의 정확성을 높이는 방법을 제공하는 효과가 있다.

셋째, 상기한 방법을 위한 컴퓨팅 디바이스 및 그를 포함한 시스템을 제공하는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 유사상품 검색 및 제공을 위한 시스템을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 컴퓨팅 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일실시예에 따른 컴퓨팅 장치에서 이미지 내 객체 인식과 ROI 크롭 과정을 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 이미지-투-이미지 방식의 유사 패션상품 검색을 위한 유사도 추정 모델을 설명하기 위해 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 학습 모델을 설명하기 위해 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 패션상품 객체로부터 추출되는 속성을 설명하기 위해 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 유사 패션 상품 검색 결과 제공 방법을 설명하기 위해 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 유사 패션 상품 검색 및 제공 방법을 설명하기 위해 도시한 순서도이다.

이하,　본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다.　첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며,　본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.

단지 본 실시예들은 본 발명의 게시가 완전하도록 하고,　본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전히 알려주기 위해 제공되는 것이며,　본 발명은 청구항의 범주에 의해 정의될 뿐이다.

몇몇의 경우,　본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나,　각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.　또한,　본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.

명세서 전체에서,　어떤 부분이 어떤 구성요소를　"포함(comprising　또는　including)"한다고 할 때,　이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한,　명세서에 기재된　"??부"의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며,　이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.　나아가, "일(a　또는　an)", "하나(one)",　및 유사 관련어는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한,　단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

아울러,　본 발명의 실시예들에서 사용되는 특정(特定)　용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며,　다르게 정의되지 않는 한,　기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.　이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.

이하 첨부된 도면을 참조하여 본 발명에 따른 다양한 실시예들을 설명하면,　다음과 같다.

도 1은 본 발명의 일실시예에 따른 유사상품 검색 및 제공을 위한 시스템을 도시한 도면이다.

도 1을 참조하면, 유사 상품 검색 및 제공을 위한 시스템(100)은, 하나의 단말(110)과 하나의 컴퓨팅 디바이스(120)가 도시되었으며, 양 디바이스는 네트워크를 통하여 연결되어 상호간에 데이터 커뮤니케이션을 수행할 수 있다.

이하 본 명세서에서는 편의상 단말(110)과 컴퓨팅 디바이스(120)가 각각 단수로 도 1에 도시하고 설명하나, 본 발명은 반드시 이에 한정되는 것은 아니다. 예컨대, 상기 단말(110)과 컴퓨팅 디바이스(120)는 각각 복수 개로 본 발명에 따른 유사상품 검색 및 제공을 위한 시스템(100)이 구현될 수 있다.

단말(110)은 TV, PC와 같은 고정 단말 또는 스마트폰(smart phone), 휴대폰, 네비게이션, 노트북, 태블릿 PC 등과 같은 이동 단말일 수 있다.

이러한 단말(110)은 유/무선 통신 네트워크를 통하여 다른 단말(미도시), 컴퓨팅 디바이스(120) 등과 데이터 커뮤니케이션을 수행할 수 있다.

한편,　상기 유/무선 통신 네트워크는 본 발명에 따른 유사상품 검색 및 제공 시스템(100)의 구성요소들 사이에서 다양한 데이터를 서로 주고받을 수 있도록 통신 프로토콜을 지원하며,　그 종류는 특별히 제한되지 않는다.　필요에 따라,　상기 단말(110), 컴퓨팅 디바이스(120) 등을 통하여 웹상의 데이터를 수집하는 등의 경우에도 이를 지원할 수 있다.

일실시예에 따라,　상기 유/무선 통신 네트워크는,　인터넷 프로토콜(IP)을 통하여 대용량 데이터 커뮤니케이션을 지원하는 아이피(IP: Internet Protocol)망 또는 서로 다른　IP　망을 통합한 올 아이피(All IP)　망일 수 있다.

다른 일실시예에 따라,　상기 유/무선 통신 네트워크는 유선망, WCDMA를 포함하는 이동 통신망, HSDPA(High Speed Downlink Packet Access)　및　LTE(Long Term Evolution)를 포함하는 이동 통신망, LTE advanced(LTE-A)를 포함하는 이동 통신망,　위성 통신망 및 와이파이(Wi-Fi)망 중 하나이거나 또는 이들 중 적어도 둘 이상의 결합에 의하여 형성될 수도 있다.　여기에 블루투스 통신도 지원될 수 있다.

컴퓨팅 디바이스(120)는, 단말(110)의 요청에 따라 유사상품 검색 및 제공을 실질적으로 수행하는 구성요소로서, 원격에 위치한 서버(server)일 수 있으나, 반드시 이에 한정되는 것은 아니다.

이러한 컴퓨팅 디바이스(120)는,　본 발명에 따른 다양한 데이터를 생성,　가공,　저장 등 처리하거나 그를 지원하는 하드웨어/소프트웨어(Hardware/Software)를 말하는 것으로, 실시예에 따라서는 프로세서(processor), 제어부(controller)　등으로 명명되어 기술될 수도 있으나 그 명칭에 의해 제한 해석되어서는 안됨을 미리 밝혀 둔다.

한편, 실시예에 따라,　컴퓨팅 디바이스(120)는,　클라우드(Cloud)　서버, IMS(IP Multimedia Subsystem)　서버,　텔레포니 어플리케이션(Telephony Application)　서버, IM(Instant Messaging)　서버, MGCF(Media Gateway Control Function)　서버, MSG(Messaging Gateway)　서버, CSCF(Call Session Control Function)　서버 등 중 어느 하나의 형태로 구현될 수도 있다.

한편, 컴퓨팅 디바이스(120)는 유/무선 통신 네트워크를 통해 접속한 단말(110)로 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우 단말(110)은컴퓨팅 디바이스(120)로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다. 또한, 단말(110)은 그 운영체제(OS: operating system)나 프로그램을 통하여컴퓨팅 디바이스(120)와 연결되어 그의 서비스나 패션 상품 컨텐츠를 수신 또는 이용할 수 있다.

특히, 컴퓨팅 디바이스(120)는 단말(110)로부터 이미지를 수신하여 본 발명에 따라 상기 수신한 이미지와 유사상품을 검색하고 그 검색 결과를 상기 단말(110)로 리턴(return)한다. 이에 관해서는 하기에서 보다 상세하게 설명한다.

한편, 비록 도시되진 않았으나, 도 1에서 상기 컴퓨팅 디바이스(120)는 하나의 모듈 형태로 단말(110)의 내부 구성요소로 구현될 수도 있거나 상기 단말(110)의 내부 구성요소 중 어느 하나가 상기 컴퓨팅 디바이스(120)의 기능을 일부 또는 전부 수행할 수도 있다. 예를 들어, 본 발명에 따른 유사상품 검색 및 제공이 단말(110)에 설치된 어플리케이션을 통하여 수행되는 경우에는, 상기 단말(110)의 CPU(central processing unit) 등과 같은 내부 제어 구성이 상기 컴퓨팅 디바이스(120)의 기능을 대체하거나 일부 수행할 수 있다.

도 2는 본 발명의 일실시예에 따른 컴퓨팅 장치의 구성을 설명하기 위한 블록도, 도 3은 본 발명의 일실시예에 따른 컴퓨팅 장치에서 이미지 내 객체 인식과 ROI 크롭 과정을 설명하기 위해 도시한 도면, 도 4는 본 발명의 일실시예에 따른 이미지-투-이미지 방식의 유사 패션상품 검색을 위한 유사도 추정 모델을 설명하기 위해 도시한 도면, 도 5는 본 발명의 일실시예에 따른 학습 모델을 설명하기 위해 도시한 도면, 도 6은 본 발명의 일실시예에 따른 패션상품 객체로부터 추출되는 속성을 설명하기 위해 도시한 도면, 도 7은 본 발명의 일실시예에 따른 유사 패션 상품 검색 결과 제공 방법을 설명하기 위해 도시한 도면, 그리고 도 8은 본 발명의 일실시예에 따른 유사 패션 상품 검색 및 제공 방법을 설명하기 위해 도시한 순서도이다.

도 1에서는 전술한 바와 같이, 하나의 단말(110)과 하나의 컴퓨팅 디바이스(120)가 개시되었는데, 복수 개인 경우에 각각은 서로 동일하거나 다른 구성요소를 포함하여 구현될 수도 있다.

이하에서는 본 발명의 이해를 돕고 설명의 편의를 위하여, 도 8의 순서도를 기준으로 하여 다양한 실시예를 설명한다. 이때, 상기 도 8의 순서도는 반드시 도시된 순서에만 한정되는 것은 아니며, 일부 단계가 동시에 또는 도시된 순서와는 다른 단계로 수행될 수도 있다.

본 발명에 따르면, 유사 패션상품 검색 및 제공 방법은, - 편의상 컴퓨팅 디바이스(120)의 측면에서 기술한다. 다만, 이에 한정되는 것은 아니다. - 단말(110)로부터 검색 대상 이미지를 수신한다(S810).

컴퓨팅 디바이스(120)는, 수신된 단말(110)의 검색 대상 이미지를 분류한다(S820).

컴퓨팅 디바이스(120)는, 분류된 단말(110)의 검색 대상 이미지로부터 패션 상품 관련 객체를 인식하고, 상기 객체 내 패션 상품 관련 부분을 관심영역(ROI: region of interest)로 설정한 후 설정된 ROI 부분을 크롭한다(S830).

컴퓨팅 디바이스(120)는, 상기 크롭한 이미지 데이터와 데이터베이스에 저장된 패션 상품 이미지 데이터를 사전 학습된 네트워크 함수에 포함된 서브 네트워크들을 이용한 연산을 하여 이미지 유사도를 추정한다(S840). 예컨대, 컴퓨팅 디바이스(120)는, 검색 대상 이미지로부터 크롭된 ROI 부분을 유사도 추정 모델을 이용하여 이미지-투-이미지(image-to-image) 방식의 추정을 통한 검색을 수행한다.

컴퓨팅 디바이스(120)는, 추정된 이미지 유사도에 기초하여 검색된 결과로 유사상품 데이터를 상기 단말로 제공한다(S850).

도 2는 컴퓨팅 디바이스(120)의 내부 구성 블록도가 도시된 것으로, 본 발명은 반드시 이에 한정되는 것은 아니다. 예를 들어, 비록 도시되진 않았으나, 실시예에 따라서는 일부 구성이 더 추가되거나 도 2에 도시된 구성 중 일부가 생략될 수도 있다. 또한, 비록 도 2의 각 구성요소가 개별 구성요소로 도시되고 설명되더라도 실시예에 따라서는 일부 구성들이 하나의 모듈로 구현되거나 반대로 일부 구성은 둘 이상의 구성요소로 더 세분화되도록 구현될 수도 있다.

도 2를 참조하면, 컴퓨팅 디바이스(120)는 통신 인터페이스부(210), 이미지 수집부(220), 이미지 분류부(230), 객체 인식/크롭부(240), 이미지 유사도 추정부(250), 데이터베이스(DB: database)(260), 제어부(270) 등을 포함하여 구성된다.

먼저, 도 2를 참조하여, 컴퓨팅 디바이스(120)의 구성요소를 간략히 설명하면, 다음과 같다.

통신 인터페이스부(210)는, 도 1에 도시된 단말(110)과 통신하여 상기 단말(110)로부터 검색 대상인 이미지 데이터를 포함하여 다양한 데이터를 수신한다. 여기서, 상기 단말(110)로부터 수신되는 검색 대상인 이미지 데이터는, 캡쳐 또는 스냅샷 이미지, 촬영한 이미지, 다운로드받은 이미지, 단말(110)에 기 저장된 이미지 등 중 적어도 하나에 해당할 수 있다.

이미지 수집부(220)는 상기 통신 인터페이스부(210)를 통해 수신한 단말(110)의 검색 대상 이미지 데이터를 수신한다.

이미지 분류부(230)는 상기 이미지 수집부(220)에서 수신한 단말(110)의 검색 대상 이미지 데이터를 분류한다. 이렇게 분류되는 이미지는 패션 이미지 착용샷, 패션 이미지 상품샷, 비패션 이미지 등과 같이 구분할 수 있다. 한편, 이미지 분류부(230)는 전술한 바와 같이, 수신한 단말(110)의 검색 대상 이미지를 분류하기 위하여, 딥 러닝(deep learning) 기반의 멀티-클래스 분류 모델을 사용하여 이미지의 종류를 구분할 수 있다. 이를 위해, 상기 이미지 분류부(230)는 상기 이미지 수집부(220)에서 웹, 제조사의 보유 상품 이미지 등을 통하여 수집된 다양한 형태의 패션 이미지 데이터를 수신하여 상기 딥 러닝 모델을 통하여 미리 학습할 수 있다. 이렇게 학습된 결과는 데이터베이스(260)에 저장될 수 있다. 한편, 상기 이미지 분류부(230)에 사용되는 딥 러닝 기반의 멀티-클래스 분류 모델은 미리 데이터베이스(260)에 저장될 수 있으며, 도 6에 도시된 바와 같이, 클래스(가방) 등과 같은 형태일 수 있다.

객체 인식/크롭부(240)는, 패스터(Faster) R-CNN(Convolutional Neural Network features) 계열의 모델을 이용하여 객체 탐지 및 크롭을 수행한다. 도 3의 (a)는 FPN에서 추출되는 자질 맵 피라미드를 도시한 것이고, 도 3의 (b)는 FPN에서 추출된 자질 맵 피라미드를 사용하는 R-CNN 계열의 구조의 일 예를 도시한 것이다. 상기 패스터 R-CNN 계열의 모델에 대한 상세한 설명과 후술하는 도 3의 (a) 및 (b)에 대한 설명은 공지된 내용을 참고하며 이에 대한 상세한 설명은 생략한다. 다만, 현재 공개된 R-CNN 계열의 모델뿐만 아니라 향후 개발되고 공지되는 R-CNN 계열의 모델의 경우에도 본 발명과 관련하여, 패션 아이템이 포함된 객체 탐지 및 탐지 객체로부터 해당 패션 아이템을 자동 크롭하는 과정에 이용될 수 있다.

먼저, 상기 객체 인식/크롭부(240)는, 전술한 이미지 분류부(230)에서 분류 결과 패션 이미지로 판명되고, 그 클래스가 확인되면, 상기 단말(110)로부터 기수신한 검색 대상 이미지 내 상기 확인된 클래스의 패션 이미지와 관련된 객체를 인식한다.

다시 말해, 특히 패션 아이템에 특화하여 미리 학습된 Faster R-CNN 계열의 모델을 구축하고, 이렇게 구축된 모델을 이용하여 단말(110)로부터 수신한 이미지 내에 적어도 하나 이상의 객체들 중 특히 패션 아이템과 관련된 객체를 탐지할 수 있다. 종래 객체 탐지 모델의 경우, 수신한 이미지에 포함된 모든 객체를 탐지하는 것이 일반적이었으나, 본 발명은 패션 아이템에 대해 특화하여 미리 학습된 객체 탐지 모델을 통하여 이미지로부터 필요한 객체만을 유의미한 객체로 판단하여 탐지함으로써, 객체 탐지 시간, 연산 소요 시간 등을 줄여 시스템 전체의 효율을 높일 수 있다.

한편, 도시되진 않았으나, 예를 들어 사용자의 선택이나 설정 등에 따라 예컨대, 패션 아이템 중 취급하지 않는 아이템은 제외하고 취급하고 있는 특정 아이템(들)에만 특화하여 미리 학습시킨 해당 객체 탐지 모델을 이용하며, 효율을 더욱 높일 수 있다.

또는, 패션 아이템들 임의로 분류하여 분류된 아이템에 해당하는 객체 탐지 모델을 여러 개 사용할 수도 있다. 이 경우, 상기 객체 탐지 모델은 사용자의 관심도가 높거나 판매도 내지 보유 상품의 종류나 개수가 많아 그 우선순위가 높음과 같은 기준에 따라 순차로 적용하거나 병렬적으로 적용하여 패션 아이템과 관련된 객체를 탐지할 수 있다.

그 밖에, 객체 탐지의 경우에는 후술하는 크롭 과정이 남아 있으므로, 크리티컬하게 패션 아이템이 있는 객체를 구분하는 등과 같은 복잡한 과정을 수행하지 않고, 미리 정한 기준 등에 따라 객체를 탐지하여 크롭 과정을 수행하도록 할 수 있다.

한편, 상기 객체 인식/크롭부(240)에서, 객체 탐지 결과 패션 아이템과 관련된 객체가 복수 개 탐지되면, 설정에 따라 처리할 수 있다. 여기서, 설정에 따른다고 함은 예컨대, 크롭 과정에서 복수의 객체 중 특정 객체를 선택하도록 탐지된 모든 객체를 상기 크롭 과정으로 전달하거나 상기 크롭 과정에서의 수행 편의를 위하여 미리 판단하여 복수의 탐지 객체들 중 원하는 패션 아이템과 관련된 패션 아이템이 포함된 객체만을 판별하여 이를 크롭 과정으로 전달할 수도 있다. 한편, 탐지된 객체 중 동일 분류에 속하는 패션 아이템들이 포함된 객체들은 되도록 그룹화하여 크롭 과정으로 전달하는 것이 바람직하다.

상기 객체 인식/크롭부(240)는 이렇게 인식된 객체로부터 실제 상기 확인된 클래스의 패션 이미지 부분을 관심영역 즉, ROI(Region of Interest)로 판별하여, 상기 객체로부터 해당 부분 즉, ROI 부분을 크롭한다. 본 발명에서 이용하는 객체 탐지 및 크롭 모델로서 R-CNN 계열의 모델을 통하면, 상기 ROI를 자동으로 크롭하여 후술하는 유사상품 검색에 바로 이용할 수 있다.

이와 같이, 본 발명에 따른 객체 인식/크롭부(240)를 통하여 패션 아이템에 특화된 학습 모델을 이용하고, 이를 통해 인식 정확도를 높이고 단말(110)에서 이미지 검색 단계에 객체별 크롭된 이미지 다수를 수동으로 개별적으로 입력하지 않고, 통합된 하나의 코디 이미지를 넣어 유사 패션 상품을 검색할 수 있어, 사용자의 편의성을 향상시킬 수 있다.

전술한 내용은 객체 탐지를 수행하고, 탐지된 객체로부터 검색 대상이 되는 실제 패션 아이템 부분을 ROI로부터 크롭하는 과정이었다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니다. 예컨대, 객체 탐지의 경우에는 이미지로부터 검색 대상이 되는 패션 아이템을 크롭하여 검색에 이용하기 위한 것으로, 비록 도시되진 않았으나, 학습에 따라 또는 미리 입력된 패션 아이템을 통하여 상기 패션 아이템이 포함된 객체의 탐지 과정이 생략될 수 있다. 즉, 결국 이미지로부터 검색에 이용할 패션 아이템을 추출하는 것이므로, 그를 포함한 객체의 탐지 과정을 제거하고 이를 대신하여 패션 아이템을 탐지하는 과정으로 대신할 수도 있다. 이렇게 함으로써 탐지된 패션 아이템을 바로 크롭하여 처리 속도 내지 연상량을 줄여 시스템 효율을 높일 수도 있다.

이미지 유사도 추정부(250)는 상기 객체 인식/크롭부(240)에서 크롭된 패션 이미지를 데이터베이스(260)에 저장된 보유 상품 이미지와 이미지-투-이미지 비교하여 유사도를 산출한다. 상기 이미지 유사도 추정부(250)는 이렇게 산출한 유사도에 기초하여 검색 결과로 리턴되는 유사상품 후보의 순위를 설정할 수 있다.

본 발명에 따라 이미지 유사도 추정부(250)는, 이미지 유사도 추정 및 검색을 위하여 상기 크롭한 이미지 데이터와 데이터베이스에 저장된 패션 상품 이미지 데이터를 사전 학습된 네트워크 함수에 포함된 서브 네트워크들을 이용한 연산을 하여 이미지 유사도를 추정하고 이를 통해 유사상품을 검색한다. 여기서, 상기 서브 네트워크들은, 딥 뉴럴 네트워크 구조 중 컨벌루션 뉴럴 네트워크(CNN: Convolutional Neural Network) 구조를 포함할 수 있다. 도 4에 도시된 바와 같이, 상기 서브 네트워크들은, 샴 네트워크(Siamese network)의 적어도 일 부분을 구성할 수 있다. 다만, 본 발명이 반드시 그에 한정되는 것은 아니다. 한편, 전술한 바와 같이, 상기 딥 뉴럴 네트워크 구조 중 컨벌루션 뉴럴 네트워크(CNN), 샴 네트워크(Siamese network) 등에 대한 상세한 설명은 공지 기술을 참조하여 본 명세서에서 별도 설명은 생략한다.

종래 유사상품을 검색하는 방법은 주로 이미지-투-텍스트 검색 방식, 즉 이미지에 속성을 태깅한 데이터를 미리 학습시켜 분류 모델을 구축하여 검색 대상 이미지가 입력되면 텍스트인 태깅된 속성이 리턴되고, 해당 속성을 보유한 이미지가 검색 결과로 제공되는 방식이었다. 예를 들어, 의류 이미지가 검색 대상 요청되면, ??흰색", ??긴팔", ??라운드넥" 등의 속성값이 리턴되고, 이렇게 리턴된 의류 이미지의 속성을 판매자가 수기로 넣은 데이터베이스에서 매칭하여 검색 결과를 반환하는데 이 경우 매칭되는 유사상품의 대상이 넓고 많아 검색 요청자의 의도에 부합하기가 어려웠다.

반면, 본 발명에 따라 도 4에 도시된 샴 네트워크를 이용한 이미지-투-이미지 검색 방식을 이용하면, 유사도의 지표가 수치적으로 산출 가능하다. 따라서, 산출된 유사도 지표를 임의로 조정 내지 설정함으로써 리턴될 유사상품 검색 결과값이 달라질 수 있으며, 이를 통해 조절하고 검색 요청자의 의도나 니즈에 보다 부합할 수 있다.

예를 들어, 검색 요청한 단말의 정보(예: 단말의 화면 크기 등)를 알 수 있다면, 해당 단말에 최적화된 검색 결과의 리턴을 위하여 상기 산출된 유사도 지표를 추정한 이미지 유사도와 관련하여 검색 결과 리턴을 위한 임계값(threshold value)을 설정하여 이를 조정할 수도 있다. 다시 말해, 단말이 상대적으로 화면 사이즈가 작은 스마트폰이라면, 번거롭게 스크롤을 통하여 많은 유사상품을 보도록 제공하는 것보다는 오히려 스크롤이 없이 한 번에 한 화면에서 볼 수 있도록 가장 유사도가 높은 유사상품들만 검색 결과로 제공되도록 할 수 있다. 또한, 이에 대한 단말의 피드백은 다음 학습에 이용되어 오차를 줄여 나갈 수 있다.

관련하여, 본 발명에서는 패션 온톨로지(fashion ontology)를 구성하여 이를 이미지에 포함된 속성 추출에 사용하되, 상기 속성을 한정시켜 유사도 추정모델에 입력될 상품 후보군을 축소할 수 있다. 이는 예컨대, 13개의 상위 복종 클래스와 하위 색상, 스타일, 소재, 패턴, 형태 등의 속성 정보로 구성될 수 있다. 관련하여, 도 6에서는 패션 객체로부터 추출된 속성의 일 예를 도시하였다. 다만, 본 발명에 따른 패션 온톨로지는 반드시 이에 한정되는 것은 아니며, 다른 구성과 정의로 구현될 수도 있다. 도 5에서는 학습 모델이 도시되었는데 이러한 학습 모델을 통하여 탐지한 객체의 속성값을 추출할 수 있다. 일실시예로 구글의 인셉션-V3 학습 모델이 도 5에서 되었으며, 관련하여 공지된 내용을 참조하며, 상기 학습 모델에 대한 구체적 설명은 본 명세서에서 생략한다.

예를 들어, 탐지된 속성과 동일한 속성을 보유한 이미지들을 데이터베이스(260)에서 독출하여 검색 후보군으로 삼을 수 있다. 이후 샴 네트워크 기반의 유사도 추정 모델과 연계하여 후보군의 순위를 정하여 도 7과 같이 검색 결과로 리턴할 수 있다.

또한, 탐지된 속성에 따라 검색결과로 반환된 상품들을 사용자가 제외/포함하여 상세 검색을 할 수 있는 필터 기능으로 사용할 수도 있게 된다.

즉, 종래에는 리테일러(retailer) 또는 서비스 공급자(service provider)가 직접 상품 속성 정보를 입력해야 하는 번거로움이 있었으나, 본 발명에서는 미리 패션 온톨로지를 구축하여 입력된 이미지로부터 속성을 자동 추출/태깅함으로써 판매자 측면에서 서비스 절차를 단축시킬뿐만 아니라 소비자 측면에서도 편의성을 높일 수 있게 된다.

한편, 단말(소비자)-컴퓨팅 디바이스(판매자) 사이에 전술한 과정 즉, 유사상품 검색 요청-유사상품 검색 결과 리턴 및 상기 검색 결과 제공에 따른 단말의 선택을 학습에 반영하여 업데이트함으로써 효율을 더욱 높일 수 있다.

만약, 컴퓨팅 디바이스가 단말의 정보를 가질 수 있다면, 학습을 통하여 해당 단말 사용자에 커스터마이즈된 개인화 유사상품 검색 및 제공 서비스도 가능해진다. 이와 같이, 개인화를 하면, 전술한 다양한 모델들의 팩터 값을 더욱 간소하게 구성하고 학습을 통하여 효율을 더욱 개선할 수 있을 뿐만 아니라 빠르게 원하는 유사 패션 상품에 대한 결과를 도 7과 같이 제공할 수 있다.

한편, 데이터베이스(260)는, 본 발명과 관련하여, 수신한 이미지, 보유 상품 정보, 전술한 패션 온톨로지 등 전술한 다양한 데이터를 저장한다. 한편, 이러한 데이터베이스(260)는 비록 도 2에서는 하나로 도시되고 설명되나, 반드시 이에 한정되는 것은 아니다. 한편, 데이터베이스(260)는 반드시 컴퓨팅 디바이스(120)(또는 단말(110))의 내부에 구축되어야 하는 것은 아니다. 이러한 데이터베이스(260)는 또한, 클라우드 형태로 데이터를 저장하고, 필요에 따라 url(uniform resource locator)를 리턴하여 컴퓨팅 디바이스(120) 내지 단말(110)에서 리턴된 url을 접속하여 관련 데이터를 획득할 수 있도록 구축될 수도 있다.

상기 제어부(270)는 도 2에 도시된 컴퓨팅 디바이스(120)의 전 과정을 전반적으로 제어하며, 필요에 따라 각 구성을 적절히 제어할 수 있다. 상기 제어부(270)는 전술한 이미지 유사도 추정부(250)를 대신하거나 직접 그 동작을 제어할 수 있다.한편,　상술한 방법은,　컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고,　컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.　또한,　상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다.　본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 저장하는 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면,　롬,　플로피 디스크,　하드 디스크 등),　광학적 판독 매체(예를 들면,　시디롬, DVD　등)와 같은 저장 매체를 포함한다.

본원 발명의 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.　그러므로,　개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다.　본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며,　그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

1. 컴퓨팅 디바이스에서 유사상품 검색 및 제공 방법에 있어서,
   패션 온톨로지를 구축하고, 구축한 패션 온톨로지에 기초하여 보유 패션 상품 이미지에 대한 속성을 자동 추출 및 태깅하여 패션 상품 이미지 데이터를 데이터베이스에 저장하는 단계;
   단말로부터 검색 대상인 이미지를 수신하는 단계;
   딥-러닝 기반의 멀티-클래스 분류 모델을 이용하여 수신한 이미지를 분류하는 단계;
   상기 수신한 이미지에서 상기 분류한 클래스의 패션 상품 이미지와 관련된 패션 아이템이 포함된 객체를 인식하는 단계;
   인식된 객체에서 상기 분류한 클래스의 패션 상품 이미지 부분을 크롭하여 통합된 하나의 코디 이미지를 생성하는 단계;
   상기 패션 온톨로지를 이용하여 생성된 코디 이미지 내 이미지의 속성 데이터와 상기 데이터베이스에 저장된 패션 상품 이미지 데이터를 패션 아이템에 특화되어 사전 학습된 네트워크 함수에 포함된 서브 네트워크들을 이용한 연산을 통해 이미지 유사도를 추정하여 유사상품을 검색하는 단계; 및
   검색된 유사상품 데이터를 상기 단말로 제공하는 단계;를 포함하는,
   컴퓨팅 디바이스에서 유사상품 검색 및 제공 방법.
2. 제1항에 있어서,
   상기 서브 네트워크들은,
   딥 뉴럴 네트워크 구조 중 컨벌루션 뉴럴 네트워크(CNN: Convolutional Neural Network) 구조를 포함하는,
   컴퓨팅 디바이스에서 유사상품 검색 및 제공 방법.
3. 제1항에 있어서,
   상기 서브 네트워크들은,
   샴 네트워크(Siamese network)의 적어도 일 부분을 구성하는,
   컴퓨팅 디바이스에서 유사상품 검색 및 제공 방법.
4. 제1항에 있어서,
   상기 추정한 이미지 유사도와 관련하여 검색 결과 리턴을 위한 임계값을 설정하는 단계;
   를 더 포함하는,
   컴퓨팅 디바이스에서 유사상품 검색 및 제공 방법.
5. 제4항에 있어서,
   상기 설정된 임계값에 기초하여 이미지 유사도가 추정된 이미지 중 검색 결과로 리턴할 이미지에 대한 데이터를 조절하는,
   컴퓨팅 디바이스에서 유사상품 검색 및 제공 방법.
6. 제1항에 있어서,
   상기 수신한 이미지에서 패션 아이템이 포함된 객체를 인식하고, 인식된 객체에서 패션 아이템을 크롭하는 단계는,
   상기 패션 아이템에 특화하여 학습된 패스터 R-CNN 계열의 모델을 이용하여 상기 객체 인식 및 관심영역(ROI: Region of Interest)를 자동 크롭하는,
   컴퓨팅 디바이스에서 유사상품 검색 및 제공 방법.
7. 유사상품 검색 및 제공을 위한 컴퓨팅 디바이스에 있어서,
   단말로부터 검색 대상인 이미지를 수신하는 수신부;
   딥-러닝 기반의 멀티-클래스 분류 모델을 이용하여 수신한 이미지를 분류하는 이미지 분류부;
   상기 수신한 이미지에서 상기 분류한 클래스의 패션 상품 이미지와 관련된 패션 아이템이 포함된 객체를 인식하고, 인식된 객체에서 상기 분류한 클래스의 패션 상품 이미지 부분을 크롭하여 통합된 하나의 코디 이미지를 생성하는 객체 인식/크롭부;
   패션 온톨로지를 이용하여 생성된 코디 이미지 내 이미지의 속성 데이터와 데이터베이스에 저장된 패션 상품 이미지 데이터를 패션 아이템에 특화되어 사전 학습된 네트워크 함수에 포함된 서브 네트워크들을 이용한 연산을 통해 이미지 유사도를 추정하여 유사상품을 검색하는 이미지 유사도 추정부; 및
   검색된 유사상품 데이터를 상기 단말로 제공하도록 제어하는 제어부;를 포함하되,
   상기 제어부는,
   패션 온톨로지를 구축하고, 구축한 패션 온톨로지에 기초하여 보유 패션 상품 이미지에 대한 속성을 자동 추출 및 태깅하여 패션 상품 이미지 데이터를 상기 데이터베이스에 저장하도록 제어하는,
   컴퓨팅 디바이스.
   
8. 삭제
9. 삭제
10. 삭제

Images