KR102102161B1

KR102102161B1 - 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램

Info

Publication number: KR102102161B1
Application number: KR1020180056826A
Authority: KR
Inventors: 여재윤
Original assignee: 오드컨셉 주식회사
Priority date: 2018-05-18
Filing date: 2018-05-18
Publication date: 2020-04-20
Also published as: CN112154451A; SG11202011439WA; KR20190134933A; US20210256258A1; WO2019221551A1; JP2021524103A

Abstract

본 발명은 객체의 대표 특성을 추출하는 방법 및 장치에 관한 것이다. 본 발명은 서버가 이미지 내 객체의 대표 특성을 추출하는 방법에 있어서, 쿼리 이미지를 수신하는 단계, 상기 쿼리 이미지를 특정 상품에 대해 학습된 제1 학습 모델에 적용하여 상기 쿼리 이미지에 포함된 상기 특정 상품에 해당하는 객체의 내부 영역을 추출하는 관심맵(saliency map)을 생성하는 단계, 객체 특성 추출을 위하여 학습된 제2 학습 모델에 상기 관심맵을 가중치로 적용하는 단계, 상기 쿼리 이미지를 상기 가중치가 적용된 제2 학습 모델에 입력하여 상기 객체의 내부 영역의 특성 분류 정보를 추출하는 단계를 포함하는 것을 일 특징으로 한다.

Description

이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM FOR EXTRACTING REPRESENTATIVE FEATURE OF OBJECT IN IMAGE}

본 발명은 객체의 대표 특성을 추출하는 방법 및 장치에 관한 것으로, 보다 자세하게는 이미지에 포함된 상품 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.

일반적으로 수집할 수 있는 상품 이미지들은 상품에 대한 호감도를 높이기 위한 다양한 객체들을 포함한다. 예를 들어, 의류나 장신구는 호감도 높은 광고 모델이 의류나 장신구를 착용한 상태에서 광고 이미지나 상품 이미지를 촬영하는 것이 일반적인데, 이는 모델이나 배경, 소품 등이 만들어내는 전체 이미지가 주는 느낌이 상품에 대한 호감도에 영향을 미칠 수 있기 때문이다.

따라서 어떠한 상품을 검색했을 때 검색 결과로 얻어지는 이미지 대부분에는 배경이 포함되는 것이 일반적이다. 그 결과, 배경의 비중이 높은 이미지가 DB에 포함된 경우, 색상을 쿼리로 검색을 수행했을 때 해당 색상을 배경색으로 하는 이미지가 검색결과로 출력되는 등의 오류가 발생할 수 있다.

이러한 오류를 줄이기 위하여 한국등록특허 제10-1801846호(공개일: 2017.03.08.)에 개시된 바와 같이 물체 검출 모델을 이용하여 후보 영역을 추출하고, 후보 영영에서 특징을 추출하는 방법이 사용되고 있다. 상기와 같은 종래 기술은 도 1에 도시된 바와 같이 객체 별로 바운딩 박스(10)를 생성하여 바운딩 박스에서 특징을 추출하는데, 이 경우에도 배경의 비중이 전체 이미지에서 조금 줄어들었을 뿐, 바운딩 박스 내에서 배경의 특성이 객체의 특성으로 잘못 추출되는 오류를 완전히 제거하지는 못한다. 따라서 적은 연산량으로도 이미지에 포함된 객체의 대표적인 특성을 정확하게 추출할 수 있는 방법이 필요하다.

본 발명은 전술한 문제점을 해결하기 위한 것으로서, 적은 연산량으로 이미지에 포함된 상품의 대표적인 특성을 추출할 수 있는 방법을 제공하는 것을 일 목적으로 한다.

본 발명은 이미지에 포함된 배경 특성에 의해 이미지 내 상품의 특성을 정확하게 추출하지 못하는 문제를 해결하고, 종래 방식에 비해 빠른 속도로 상품의 특성을 식별하는 것을 다른 목적으로 한다.

이러한 목적을 달성하기 위한 본 발명은 서버가 이미지 내 객체의 대표 특성을 추출하는 방법에 있어서, 쿼리 이미지를 수신하는 단계, 상기 쿼리 이미지를 특정 상품에 대해 학습된 제1 학습 모델에 적용하여 상기 쿼리 이미지에 포함된 상기 특정 상품에 해당하는 객체의 내부 영역을 추출하는 관심맵(saliency map)을 생성하는 단계, 객체 특성 추출을 위하여 학습된 제2 학습 모델에 상기 관심맵을 가중치로 적용하는 단계, 상기 쿼리 이미지를 상기 가중치가 적용된 제2 학습 모델에 입력하여 상기 객체의 내부 영역의 특성 분류 정보를 추출하는 단계를 포함하는 것을 일 특징으로 한다.

또한 본 발명은 이미지 내 객체의 대표 특성을 추출하는 장치에 있어서, 쿼리 이미지를 수신하는 통신부, 특정 상품에 대해 학습된 제1 학습 모델을 이용하여 상기 쿼리 이미지 내 상기 특정 상품에 해당하는 객체의 내부 영역에 대응하는 관심맵(saliency map)을 생성하는 맵 생성부, 객체 특성 추출을 위하여 학습된 제2 학습 모델에 상기 관심맵을 가중치로 적용하는 가중치 적용부, 상기 가중치가 적용된 제2 학습 모델에 상기 쿼리 이미지를 입력하여 상기 객체의 내부 영역의 특성 분류 정보를 추출하는 특성 추출부를 포함하는 것을 다른 특징으로 한다.

전술한 바와 같은 본 발명에 의하면, 적은 연산량으로 이미지에 포함된 객체의 대표적인 특성을 추출할 수 있다.

또한, 본 발명에 의하면 이미지에 포함된 배경 특성에 의해 이미지 내 객체의 특성을 정확하게 추출하지 못하는 문제를 해결할 수 있으며, 종래 방식에 비해 빠른 속도로 상품의 특성을 식별할 수 있다.

또한, 본 발명에 의하면 객체의 내부 영역만을 특성 검출에 사용하므로, 특성 검출 시 발생되는 오류를 현저하게 줄일 수 있다.

도 1은 종래 기술이 이미지에서 객체를 추출하는 방법을 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 객체의 대표 특성을 추출하는 시스템을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 객체의 대표 특성 추출 장치의 구성을 설명하기 위한 블록도,
도 4는 본 발명의 일 실시 예에 따른 객체의 대표 특성 추출 방법을 설명하기 위한 순서도,
도 5는 본 발명의 일 실시 예에 따른 관심맵의 가중치 적용 방법을 설명하기 위한 순서도,
도 6은 합성곱 신경망을 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 의한 학습 모델의 인코더-디코더 구조를 설명하기 위한 도면,
도 8은 본 발명의 일 실시 예에 의한 객체의 대표 특성 추출을 설명하기 위한 도면이다.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.

도 2는 본 발명의 일 실시 예에 따른 대표 특성 추출 시스템을 도시한 도면이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 대표 특성 추출 시스템은 단말(50) 및 대표 특성 추출 장치(100)를 포함한다. 단말(50)은 유무선 네트워크(30)를 통해 임의의 쿼리 이미지를 대표 특성 추출 장치(100)로 전송할 수 있으며, 대표 특성 추출 장치(100)는 쿼리 이미지에 포함된 특정 상품의 대표 특성을 추출하여 단말(50)에 전송할 수 있다. 쿼리 이미지는 시장에서 거래될 수 있는 물건(이하, ‘상품’이라함)을 포함하는 이미지로 본 발명은 상품의 종류에 의해 제한되지 아니하나, 본 명세서에서는 설명의 편의상 의류, 신발, 가방 등의 패션 상품을 중심으로 설명한다. 한편 본 명세서에서 상품의 특성은 상품의 색상, 텍스처, 카테고리, 패턴, 소재 등 상품을 설명할 수 있는 특징적인 요소를 의미하는 것으로 이해될 수 있으며, 대표 특성은 해당 상품을 가장 잘 나타내는 대표적인 색상, 텍스처, 카테고리, 패턴, 소재 등을 의미하는 것으로 이해될 수 있다.

도 3을 참조하면, 본 발명의 일 실시 예에 따른 대표 특성 추출 장치(100)는 통신부(110), 맵 생성부(120), 가중치 적용부(130), 특성 추출부(140)를 포함하며, 레이블링부(150), 검색부(160), 데이터베이스(170)를 더 포함할 수 있다.

통신부(110)는 단말(50)과의 데이터를 송수신한다. 예를 들어, 통신부(110)는 단말(50)로부터 쿼리 이미지를 수신할 수 있으며, 쿼리 이미지로부터 추출된 쿼리 이미지의 대표 특성을 단말(50)로 전송할 수 있다. 이를 위해 통신부(110)는 TCP/IP 프로토콜 또는 UDP 프로토콜을 지원하는 유선 통신 방식 및/또는 무선 통신 방식을 지원할 수 있다.

맵 생성부(120)는 특정 상품에 대해 학습된 제1 학습 모델을 이용하여 쿼리 이미지 내 특정 상품에 해당하는 객체의 내부 영역에 대응하는 관심맵(saliency map)을 생성할 수 있다. 맵 생성부(120)는 딥 러닝(Deep Learning)을 기반으로 학습된 학습 모델을 통해 관심맵을 생성한다.

딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 용약하는 작업)을 시도하는 기계학습(machine learning) 알고리즘의 집함으로 정의된다. 딥 러닝은 인공 신경망(Neural Network)를 이용하여 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다. 딥 러닝 기법의 일 예로는 심층 신경망(Deep Neural Network), 합성곱 신경망(Convolutional deep Neural Networks, CNN), 순환 신경망(Reccurent Neural Nework, RNN), 심층 신뢰 신경망(Deep Belief Networks, DBM) 등이 있다.

본 발명의 일 실시 예에 따라 관심맵을 생성하는 제1 학습 모델로는 인코더(encoder) - 디코더(decoder) 구조를 갖는 합성곱 신경망(Convolutional Neural Network) 학습 모델이 사용될 수 있다.

합성곱 신경망은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 합성곱 신경망은 하나 또는 여러개의 합성곱 계층(convolutional layer)과 그 위에 올려진 일반적인 인공신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 합성곱 신경망은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다.

합성곱 신경망은 입력 이미지에 대하여 합성곱과 서브샘플링을 번갈아 수행함으로써 입력 영상으로부터 특징을 추출한다. 도 6은 합성곱 신경망의 구조를 예시한 도면이다. 도 6을 참조하면, 합성곱 신경망은 여러 개의 합성곱 계층(Convolution layers), 여러 개의 서브 샘플링 계층(Subsampling layer, Relu layer, Dropout layer, Max-pooling layer), 완전 연결 계층(Fully-Connected layer)를 포함한다. 합성곱 계층은 입력 이미지에 대해 합성곱을 수행하는 계층이며, 서브샘플링 계층은 입력 이미지에 대해 지역적으로 최대값을 추출하여 2차원 이미지로 매핑하는 계층으로, 국소적인 영역을 더 크게 하고, 서브 샘플링을 수행할 수 있다.

합성곱 계층은 큰 입력 이미지를 컴팩트하고 밀도가 높은 표현으로 변환하는 특징을 가지며, 이러한 고밀도 표현은 완전히 연결된 분류망(fully connected classfier network)에서 이미지를 분류하는 데 사용된다.

인코더-디코더 구조를 갖는 합성곱 신경망은 이미지 세분화(image segmentation)을 위해 사용되는 것으로, 도 7에 도시된 바와 같이 합성곱 계층과 서브 샘플링 계층을 이용하여 입력 데이터의 주요 특징을 나타내는 Latent Variable을 생성하는 인코더(encoder)와, 역합성곱(deconvolution) 계층을 이용하여 주요 특징으로부터 데이터를 복원시키는 디코더(decoder)로 구성된다.

본 발명은 인코더-디코더를 이용하여 입력 이미지와 동일한 크기를 갖는 2차원특성 맵(feature map)을 생성하며, 이 때 입력 이미지와 동일한 크기를 갖는 특성 맵이 바로 관심맵(saliency map)이다. 관심맵은 샐리언시 맵 또는 돌출맵이라고도 하며, 어느 이미지에 대하여 시각적 관심영역과 배경영역을 분리하여 시각적으로 표시한 영상을 의미한다. 인간은 어떤 이미지를 볼 때 특정 부분에 더 집중하게 되는데, 색상의 차이가 심하거나, 밝기의 차이가 심하거나, 윤곽선의 특징이 강한 영역을 먼저 쳐다본다. 관심맵이란 이처럼 인간이 먼저 쳐다보게 되는 눈에 띄는 영역인 시각적 관심영역을 표시한 영상을 의미한다. 나아가 본 발명의 맵 생성부(120)에서 생성되는 관심맵은 쿼리 이미지 내에서 특정 상품에 해당하는 객체의 내부 영역(region)에 대응한다. 즉, 배경과 객체 영역이 분리되며, 이는 객체의 윤곽선(outbound)만을 추출하거나, 객체를 포함하는 사각 영역(bound box)만을 추출하여 객체를 검출하는 종래의 기술과는 명확히 차이가 있다

본 발명의 맵 생성부(120)에서 생성되는 관심맵은 객체의 내부 영역 전체를 배경과 분리시키기 때문에, 배경의 특성(색상, 질감, 패턴 등)과 객체의 특성이 혼재될 수 있는 가능성을 완벽히 차단할 수 있다.

본 발명의 일 실시 예에 따른 관심맵 생성 모델(제1 학습 모델)의 인코더는 합성곱 계층(convolution layer), 활성화 함수 계층(Relu layer), 드롭아웃 계층(dropout layer)와 맥스풀링 계층(Max-pooling layer)을 조합하여 생성할 수 있으며, 디코더는 업샘플링 계층(upsampling layer), 역합성곱 계층(deconvolution layer), 시그모이드 계층(sigmoid layer), 드롭아웃 계층을 조합하여 생성할 수 있다. 즉, 관심맵 생성 모델(125)은 인코더-디코더 구조를 가지며, 합성곱 신경망 기법으로 학습된 모델인 것으로 이해될 수 있다.

관심맵 생성 모델(125)은 특정 상품에 대한 이미지를 데이터셋(dataset)으로 하여 기 학습된 것으로, 예를 들어 도 8에 도시된 관심맵 생성 모델(125)의 경우 다수의 청바지 이미지를 데이터셋으로 하여 미리 학습된 것일 수 있다. 한편 쿼리 이미지에 포함되는 상품의 종류는 제한되지 않으므로, 본 발명의 관심맵 생성 모델(125)은 쿼리 이미지의 관심맵을 생성하기 위하여 다양한 종류의 상품 이미지를 미리 학습한 것으로 이해되어야 한다.

다시 도 3을 참조하면, 가중치 적용부(130)는 객체 특성 추출을 위하여 학습된 제2 학습 모델(특성 추출 모델)에 관심맵을 가중치로 적용할 수 있다. 제2 학습 모델은 객체 특성 추출을 위한 것으로, 이미지 분류를 위한 합성곱 신경망 기법으로 학습된 모델일 수 있으며, 하나 이상의 상품 이미지를 데이터셋으로 하여 학습된 것일 수 있다. 특성 추출 모델(145)은 AlexNet, VGG, ResNet, Inception, InceptionResNet MobileNet, SqueezeNet DenseNet, NASNet과 같은 합성곱으로 구성된 신경망들이 사용될 수 있다.

또 다른 실시 예로, 특성 추출 모델(145)이 특정 상품의 내부 영역의 색상을 추출하기 위하여 생성된 모델인 경우, 특성 추출 모델(145)은 특정 상품의 컬러 이미지, 관심 맵, 컬러 라벨을 데이터셋으로 하여 학습된 모델일 수 있다. 또한 입력 이미지는 RGB, HSV, YCbCr과 같은 컬러 모델을 사용할 수 있다.

가중치 적용부(130)는 관심맵의 크기를 특성 추출 모델(145)에 포함된 제1 합성곱 계층(가중치가 적용될 합성곱 계층)의 크기로 변환하여 가중치 필터를 생성하고, 제1 합성곱 계층과 가중치 필터를 채널별로 요소별 곱셈(element-wise multiplication)하는 방법으로 특성 추출 모델(145)에 가중치를 적용할 수 있다. 전술한 바와 같이, 특성 추출 모델(145)은 복수의 합성곱 계층으로 이루어져 있는 바, 가중치 적용부(130)는 관심맵의 크기를 특성 추출 모델(145)에 포함된 합성곱 계층 중 어느 하나(제1 합성곱 계층)의 크기에 대응되도록 관심맵의 크기를 리사이즈할 수 있다. 예를 들어 합성곱 계층의 크기가 24 x 24 이고 관심맵의 크기가 36 x 36 이라면, 관심맵의 크기를 24 x 24로 줄이는 식이다. 다음으로 특성 추출 모델(145)은 리사이즈된 관심맵에서 각 픽셀의 값을 스케일링(scaling)할 수 있다. 여기서 스케일링이란, 값의 범위를 미리 정한 한계 내에 들게 하기 위해 정수(배율)을 곱해서 그 값을 바꾸는 기준화 작업을 의미한다. 예를 들어, 가중치 적용부(130)는 가중치 필터의 값들을 0에서 1 사이의 값으로 스케일링하고, 그 크기는 제1 합성곱 계층의 크기(m x n)와 동일한 크기를 갖는 m x n 크기의 가중치 필터를 생성할 수 있다. 제1 합성곱 계층을

, 가중치 필터를

라고 하면, 제1 합성곱 계층에 가중치 필터가 적용된 제2 합성곱 계층

으로 계산될 수 있으며, 이는 동일한 위치의 성분끼리 곱하는 것을 의미하고, 합성곱 계층에서 객체에 해당하는 영역 - 도 8의 흰색 영역(355) - 을 더욱 강하게 활성화 시킬 수 있다.

특성 추출부(140)는 가중치가 적용된 제2 학습 모델에 쿼리 이미지를 입력하여 객체의 내부 영역의 특성 분류 정보를 추출한다. 가중치가 적용된 제2 학습 모델에 쿼리 이미지를 입력하면, 제2 학습 모델의 학습에 사용된 합성곱 신경망에 의하여 쿼리 이미지의 특성(색상, 텍스처, 카테고리) 등이 추출되는데, 제2 학습 모델에는 가중치가 적용되어 있으므로, 관심맵에서 추출된 객체의 내부 영역이 강조된 특성만 추출할 수 있다.

즉, 도 8의 예를 참조하면, 잔디밭을 배경으로 서있는 청바지 모델의 하반신 이미지를 쿼리 이미지로 입력하면, 맵생성부(120)는 청바지에 해당하는 객체의 내부 영역만을 추출하여, 내부 영역과 배경을 구분하는 관심맵(350)을 생성한다. 관심맵(350)에서 청바지의 내부 영역은 배경과 명확히 분리되어 있다.

가중치 적용부(130)는 관심맵의 크기를 제2 학습 모델(145)에 포함된 가중치가 적용될 합성곱 계층의 크기(m x n)으로 변환 및 스케일링하여 가중치 필터를 생성하며, 상기 합성곱 계층과 관심맵을 요소별 곱셈함으로써 관심맵을 제2 학습 모델(145)에 가중치로 적용한다. 특성 추출부(140)는 가중치가 적용된 제2 학습 모델(145)에 쿼리 이미지(300)를 입력하여 객체의 내부 영역에 해당하는 청바지 영역(370)의 특성을 추출한다. 추출하는 특성이 색상인 경우, 색번호 000066: 78%, 색번호 000099: 12% 와 같이 내부 영역을 구성하는 색상의 분류 정보가 결과로 도출될 수 있다. 즉, 본 발명에 의하면, 배경이 제거된 청바지 내부 영역의 특성 분류 정보만을 추출할 수 있기 때문에, 추출된 특성의 정확도가 높고, 배경의 특성(예를 들어 쿼리 이미지(300)의 배경이되는 잔디의 초록색 등)이 객체 특성으로 삽입되는 등의 오류가 현저하게 줄어드는 효과가 있다.

레이블링부(140)는 특성 추출부(140)에서 추출된 특성 분류 정보를 분석하여 가장 높은 확률로 존재하는 특성을 객체의 대표 특성으로 설정하고, 대표 특성을 쿼리 이미지에 레이블링할 수 있다. 레이블링된 쿼리 이미지는 데이터베이스(170)에 저장될 수 있으며, 학습 모델 생성을 위한 상품 이미지로 사용되거나, 검색에 사용될 수 있다.

검색부(160)는 특성 추출부(140)에서 쿼리 이미지의 대표 특성을 이용하여 동일한 특성을 갖는 상품 이미지를 데이터베이스(170)에서 검색할 수 있다. 예를 들어, 청바지의 대표 색상이 ‘군청색’으로 추출되고, 대표 텍스처가 ‘데님 텍스처’로 추출되었다면, 레이블링부(140)는 쿼리 이미지(130)에 군청색과 데님을 레이블링할 수 있으며, 검색부(160)는 ‘군청색’ 과 ‘데님’으로 데이터베이스에 저장된 상품 이미지를 검색할 수 있다.

데이터베이스(170)에는 하나 이상의 쿼리 이미지 및/또는 상품 이미지가 저장될 수 있으며, 데이터베이스(170)에 저장된 상품 이미지에는 전술한 방법을 통해 추출된 대표 특성들이 레이블링되어 함께 저장될 수 있다.

이하에서는 도 4 내지 도 5를 참조하여 본 발명의 일 실시 예에 의한 대표 특성 추출 방법을 설명한다.

도 4를 참조하면, 서버는 쿼리 이미지를 수신하면(S100), 쿼리 이미지를 특정 상품에 대해 학습된 제1 학습 모델에 적용하여 쿼리 이미지에 포함된 특정 상품에 해당하는 객체의 내부 영역을 추출하는 관심맵(saliency map)을 생성한다(S200). 서버는 객체 특성 추출을 위하여 학습된 제2 학습 모델에 관심맵을 가중치로 적용하고(S300), 쿼리 이미지를 가중치가 적용된 제2 학습 모델에 입력하여 객체의 내부 영역의 특성 분류 정보를 추출할 수 있다(S400).

단계 300에서 서버는 관심맵의 크기를 제2 학습 모델에 포함된 제1 합성곱 계층의 크기로 변환하고 픽셀 값을 스케일링하여 가중치 필터를 생성한 후(S310), 가중치가 적용될 제1 합성곱 계층에 가중치 필터를 요소별 곱셈(element-wise multiplication)할 수 있다(S330).

한편, 단계 200에서 쿼리 이미지에 적용되는 제1 학습 모델은 인코더(encoder) - 디코더(decoder) 구조를 갖는 합성곱 신경망(Convolutional Neural Network) 기법으로 학습된 모델일 수 있으며, 단계 300에서 가중치 적용되고, 단계 400에서 쿼리 이미지에 적용되는 제2 학습 모델은 표준 분류 합성곱 신경망(Convolutional Neural Network) 기법에 의하여 학습된 모델일 수 있다.

제2 학습 모델의 또 다른 실시 예로, 제2 학습 모델은 특정 상품의 내부 영역의 색상을 학습하기 위하여 특정 상품의 컬러 이미지, 관심 맵 또는 컬러 라벨 중 적어도 하나를 입력값으로 학습된 모델일 수 있다.

한편, 단계 400 이후에, 서버는 특성 분류 정보를 분석하여 가장 높은 확률로 존재하는 특성을 객체의 대표 특성으로 설정하고, 대표 특성을 쿼리 이미지에 레이블링할 수 있다(S500). 예를 들어, 쿼리 이미지에 원피스에 해당하는 객체가 포함되어 있고, 특성 분류 정보로 원피스 내부 영역의 색상 정보로 노란색(0.68), 흰색(0.20), 검은색(0.05) 등이 서로 다른 확률로 추출되는 경우, 서버는 가장 높은 확률로 존재하는 노란색을 쿼리 이미지의 대표 색상으로 설정하고, ‘노란색’을 쿼리 이미지에 레이블링 할 수 있다. 특성 분류 정보로 스트라이프 패턴(0.7), 도트 패턴(0.2) 등이 추출되었다면, ‘스트라이프 패턴’이 대표 패턴으로 설정되며, 상기 쿼리 이미지에는 ‘스트라이프 패턴’이 레이블링될 수 있다.

본 명세서에서 생략된 일부 실시 예는 그 실시 주체가 동일한 경우 동일하게 적용 가능하다. 또한, 전술한 본 발명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.

30: 유무선 네트워크
50: 전자장치
100: 대표 특성 추출 장치(서버)
300: 쿼리 이미지

Claims

서버가 이미지 내 객체의 대표 특성을 추출하는 방법에 있어서,
쿼리 이미지를 수신하는 단계;
상기 쿼리 이미지를 특정 상품에 대해 학습된 제1 학습 모델에 적용하여 상기 쿼리 이미지에 포함된 상기 특정 상품에 해당하는 객체의 내부 영역을 추출하는 관심맵(saliency map)을 생성하는 단계;
객체 특성 추출을 위하여 학습된 제2 학습 모델에 상기 관심맵을 이용하여 생성된 가중치 필터를 적용하는 단계;
상기 쿼리 이미지를 상기 가중치 필터가 적용된 제2 학습 모델에 입력하여 상기 객체의 내부 영역의 특성 분류 정보를 추출하는 단계를 포함하는 대표 특성 추출 방법.
제1항에 있어서,
상기 관심맵을 가중치로 적용하는 단계는
상기 관심맵의 크기를 상기 제2 학습 모델에 포함된 제1 합성곱 계층의 크기로 변환 및 스케일링하여 가중치 필터를 생성하는 단계;
상기 제1 합성곱 계층에 상기 가중치 필터를 요소별 곱셈(element-wise multiplication)하는 단계를 포함하는 대표 특성 추출 방법.
제1항에 있어서,
상기 제1 학습 모델은 인코더(encoder) - 디코더(decoder) 구조를 갖는 합성곱 신경망(Convolutional Neural Network) 학습 모델인 것을 특징으로 하는 대표 특성 추출 방법.
제1항에 있어서,
상기 제2 학습 모델은 표준 분류 합성곱 신경망(Convolutional Neural Network) 학습 모델인 것을 특징으로 하는 대표 특성 추출 방법.
제1항에 있어서,
상기 제2 학습 모델은 상기 특정 상품의 내부 영역의 색상을 학습하기 위하여 상기 특정 상품의 관심맵과 상기 특정 상품의 컬러 이미지, 관심 맵 또는 컬러 라벨 중 적어도 하나가 데이터셋으로 적용된 합성곱 신경망 학습 모델인 것을 특징으로 하는 대표 특성 추출 방법.
제1항에 있어서,
상기 특성 분류 정보를 분석하여 가장 높은 확률로 존재하는 특성을 상기 객체의 대표 특성으로 설정하는 단계;
상기 대표 특성을 상기 쿼리 이미지에 레이블링하는 단계를 더 포함하는 대표 특성 추출 방법.
제1항 내지 제6항의 방법 중 어느 하나의 방법을 실행시키기 위하여 컴퓨터 판독 가능 매체에 저장된 대표 특성 추출 응용 프로그램.
쿼리 이미지를 수신하는 통신부;
특정 상품에 대해 학습된 제1 학습 모델을 이용하여 상기 쿼리 이미지 내 상기 특정 상품에 해당하는 객체의 내부 영역에 대응하는 관심맵(saliency map)을 생성하는 맵 생성부;
객체 특성 추출을 위하여 학습된 제2 학습 모델에 상기 관심맵을 가중치로 적용하는 가중치 적용부;
상기 가중치가 적용된 제2 학습 모델에 상기 쿼리 이미지를 입력하여 상기 객체의 내부 영역의 특성 분류 정보를 추출하는 특성 추출부를 포함하는 대표 특성 추출 장치.